konto usunięte

Temat: Automatyzacja testów

Witam.

Chciałbym poruszyć temat nurtujący mnie od jakiegoś czasu, a mianowicie automatyzację testów.

Był już opisywany w innym wątku temat samego testowania jednostkowego itp. Tym razem chciałbym poznać wasze pomysły na temat przeprowadzania atomatycznych testów wg gotowego schematu. W testach takich ważne jest aby zweryfikować wsteczną zgodność dzialania nowej wersji aplikacji.

Szukając informacji na ten temat natrafiłem m.in. na:
http://selenium-ide.openqa.org/

Czekam na wasze inne propozycje :)

Temat: Automatyzacja testów

Wlasny system testow zintegrowany z wlasnym frameworkiem.

Programowanie zaczyna sie juz robic nudne, ja juz tylko klepie zapytania sql reszta 'sama' sie robi :(
Marcin Tarapata

Marcin Tarapata Analityk/Tester

Temat: Automatyzacja testów

Fajna wtyczka do Firefoxa, szkoda że nie ma wersji pod IE :( za darmo oczywiście ;)
Tomasz D.

Tomasz D. test entrepreneur

Temat: Automatyzacja testów

Selenium działa pod IE (i pod czymkolwiek innym), jedyny pikuś, że trzeba nagrać pod FF albo napisać test "z palca".

Selenium to dość dobre narzędzie (szczególnie w stosunku do ceny ;) do przeprowadzania automatycznych testów GUIa aplikacji sieciowej.

Oczywiście wszystko zależy o jakie testy Ci chodzi. Jeśli ma być coś co wejdzie na stronę, poklika tu i tam i sprawdzi czy pojawia się to co trzeba tam gdzie trzeba, to Selenium jest fajne.

konto usunięte

Temat: Automatyzacja testów

Tomasz Doroz:
Selenium działa pod IE (i pod czymkolwiek innym), jedyny pikuś, że trzeba nagrać pod FF albo napisać test "z palca".

Selenium to dość dobre narzędzie (szczególnie w stosunku do ceny ;) do przeprowadzania automatycznych testów GUIa aplikacji sieciowej.

Oczywiście wszystko zależy o jakie testy Ci chodzi. Jeśli ma być coś co wejdzie na stronę, poklika tu i tam i sprawdzi czy pojawia się to co trzeba tam gdzie trzeba, to Selenium jest fajne.

Dokładnie, można to podobno robić pod IE, choć jeszcze tego w praktyce nie sprawdziłem:) Tuataj artykulik o tym : http://osdir.com/ml/web.selenium.user/2005-10/msg00087... .

Wiesz interesuje mnie cały zakres testów przedwdrożeniowych. Z reguły kiepsko jest z testerami z prawdziwego zdarzenia oraz stosownej do tego dokumentacji. A pracuje przy aplikacjach w których każda zmiana kwoty może narazić klienta na straty także testowanie wstecznej zgodności jest dla mnie priorytetem.

Szukam najepszego środowiska do całego tego procesu, najlepiej żeby było to coś kompleksowego, coś co nie tylko jak Selenium wykonuje żadane akcje wg schematu ale też zgłasza błędy do programistów i pozwala monitorować cykl życia takiego buga.

Dodam że rozwiązania komercyjne również są w moim kręgu zainteresowań. Gdyby ktoś posiadał jakieś doświadczenie w tej dziedzinie prosił bym o wskazówki:)
Tomasz D.

Tomasz D. test entrepreneur

Temat: Automatyzacja testów

Z rozwiązań komercyjnych polecam całą gamę produktów HP (jedyny ich minus, to to, że ceny zaczynają się chyba od kilku tys. $ za licencję na stanowisko ;)

Korzystałem z Selenium pod IE, Operą i FF bez problemów. Tak naprawdę Selenium potrafi robić różne ciekawe rzeczy i po ewentualnym doprogramowaniu jest całkiem przydatne.

Selenium + Bugzilla ftw?

konto usunięte

Temat: Automatyzacja testów

Tomasz Doroz:
Selenium + Bugzilla ftw?

Ok, dzięki. Popróbuje w tej konfiguracji:)
Marcin Tarapata

Marcin Tarapata Analityk/Tester

Temat: Automatyzacja testów

Tak, tak... już doczytałem i nawet uruchomiłem :) Działa na IE niestety bez tego przyjemnego IDE z Firefoxa.

Dla zainteresowanych jeszcze jedno darmowe narzędzie http://www.badboy.com.au/Marcin Tarapata edytował(a) ten post dnia 17.11.08 o godzinie 13:55

konto usunięte

Temat: Automatyzacja testów

Witam
Z całkiem niedrogich (ok. 2tys. dolarów za licencję) jest narzędzie o nazwie TestComplete. Nadaje się rewelacyjnie do testów regresji. Minusem dla nieznających się w ogóle na programowaniu jest to, że wymaga umiejętności programistycznych (języki skryptowe typu jscript, VBScript). I co ważne, działa na różnych przeglądarkach.

konto usunięte

Temat: Automatyzacja testów

Ludzie, bez zartow z wtyczkami :)

Proponuje serwer selenium (napisany w javie) ktory automatycznie przeprowadzi wszystkie testy na podstawie scenariuszy.

My budujac reguly QA podlaczylismy testy jednostkowe, funkcjonalne itp itd do operacji budowania wersji stabilnej - razem z generowaniem raportow, failow builda i synchronizacji z produkcja w przypadku braku wykonania testow.

konto usunięte

Temat: Automatyzacja testów

Testy automatyczne to ogólna nazwa testów wykonywanych automatycznie. Na początku należy określić poziom tych testów: na poziomie kodu czy funkcjonalnym? W tym pierwszym przypadku nie ma chyba innej sensownej alternatywy niż PHPUnit (jeśli ktoś ma doświadczenie z innymi systemami testów jednostkowych to proszę o info).

Jeśli mówimy tutaj o testach funkcjonalnych to Selenium jest niezły i darmowy. To dobre i skalowalne narzędzie. Pytanie czy biznesowo uzasadnione jest budowanie i utrzymanie infrastruktury serwera selenium, nocnych buildów itd jeśli projekt jest niewielki?;)

Z dobrych darmowych narzędzi pozwolę sobie zareklamować program o nazwie BadBoy (darmowy dla przedsięwzięć niekomercyjnych). Badboy podobnie jak selenium jest programem typu capture-replay. Jest banalny w obsłudze, dobrze łyka wszelkie AJAXy a do tego ma narzędzia do bezpośrednich testów wielowątkowych (np. wydajności). Testy można również wyeksportować w formacie JMetera (mniam:)). Polecam!

Z płatnych narzędzi oczywiście WinRunner i QTP. Ale przy aplikacjach webowych te cudeńka często głupieją.

Po wielu miesiącach pisania różnych automatów funkcjonalnych mogę stwierdzić co następuje:
- każdy program tego rodzaju wywala się na różnych strukturach (jeden pada na dziwnych formach, inny zgłupieje na ajaxie, a już prawie wszystkie klękają na popupach;))
- żeby testy automatyczne miały sens trzeba założyć testy regresyjne (prawda?:)), a to oznacza konieczność utrzymania, aktualizacji i wersjonowania zarówno kodu programu jak i automatów (albo robimy coś sensownie albo udajemy sensownych)
- czas poświęcony na napisane dobrego w miarę uniwersalnego automatu jest spory. Zakłada się, że pisanie i utrzymanie testu automatycznego jest opłacalne jeśli zamierzamy go użyć więcej niż 6-8 razy (zależnie od wielkości).

A wszystko to napisałem będąc zwolennikiem automatów.:) Pozdrawiam!

konto usunięte

Temat: Automatyzacja testów

Paweł K.:
Testy automatyczne to ogólna nazwa testów wykonywanych automatycznie. Na początku należy określić poziom tych testów: na poziomie kodu czy funkcjonalnym? W tym pierwszym przypadku nie ma chyba innej sensownej alternatywy niż PHPUnit (jeśli ktoś ma doświadczenie z innymi systemami testów jednostkowych to proszę o info).

SimpleTest.

konto usunięte

Temat: Automatyzacja testów

Damian Legawiec:
Paweł K.:
Testy automatyczne to ogólna nazwa testów wykonywanych automatycznie. Na początku należy określić poziom tych testów: na poziomie kodu czy funkcjonalnym? W tym pierwszym przypadku nie ma chyba innej sensownej alternatywy niż PHPUnit (jeśli ktoś ma doświadczenie z innymi systemami testów jednostkowych to proszę o info).

SimpleTest.

Tylko przez chwilę rzuciłem lewym okiem na SimpleTest i wygląda obiecująco.:) Tak to jest jak człowiek się zamknie i pozostaje w pod ciepłą kołderką przyzwyczajeń.;)

konto usunięte

Temat: Automatyzacja testów

Paweł K.:
Damian Legawiec:
Paweł K.:
Testy automatyczne to ogólna nazwa testów wykonywanych automatycznie. Na początku należy określić poziom tych testów: na poziomie kodu czy funkcjonalnym? W tym pierwszym przypadku nie ma chyba innej sensownej alternatywy niż PHPUnit (jeśli ktoś ma doświadczenie z innymi systemami testów jednostkowych to proszę o info).

SimpleTest.

Tylko przez chwilę rzuciłem lewym okiem na SimpleTest i wygląda obiecująco.:) Tak to jest jak człowiek się zamknie i pozostaje w pod ciepłą kołderką przyzwyczajeń.;)

Wczesniej korzystalem z SimpleTest - nie ma porownania do tego co dzisiaj oferuje PHPUnit.

PHPUnit z kazdym wydaniem dodaje nowe ficzery ( ostania mozliwosc okreslenia zaleznosci pomiedzy testami ) i jest dolaczana do wiekszosci srodowisk/frameworkow.

konto usunięte

Temat: Automatyzacja testów

Marcin B:
Paweł K.:
Damian Legawiec:
Paweł K.:
Testy automatyczne to ogólna nazwa testów wykonywanych automatycznie. Na początku należy określić poziom tych testów: na poziomie kodu czy funkcjonalnym? W tym pierwszym przypadku nie ma chyba innej sensownej alternatywy niż PHPUnit (jeśli ktoś ma doświadczenie z innymi systemami testów jednostkowych to proszę o info).

SimpleTest.

Tylko przez chwilę rzuciłem lewym okiem na SimpleTest i wygląda obiecująco.:) Tak to jest jak człowiek się zamknie i pozostaje w pod ciepłą kołderką przyzwyczajeń.;)

Wczesniej korzystalem z SimpleTest - nie ma porownania do tego co dzisiaj oferuje PHPUnit.

PHPUnit z kazdym wydaniem dodaje nowe ficzery ( ostania mozliwosc okreslenia zaleznosci pomiedzy testami ) i jest dolaczana do wiekszosci srodowisk/frameworkow.

Chyba odchodzimy od głównego wątku.;) Ja zawsze używałem PHPUnit (jest takim niepisanym standardem:)). SimpleTest ma w nazwie simple;) co wcale nie oznacza, że jest zły. Kwestia tego co robimy. Jeśli zamek z piasku to wystarczy łopatka i wiaderko. Jeśli budujesz dom, to bez betoniarki, spychacza i dźwigu się nie obejdzie.:)

konto usunięte

Temat: Automatyzacja testów

A czy ktos tu dal chociaz zarys tego jak to wyglada u niego ?

Nikt nawet nie chce slowa wydusic. Moze automatyzacja testow nie istnieje w polskich firmach ?

Następna dyskusja:

System do testów.




Wyślij zaproszenie do