Jan Sabak

Jan Sabak Pomagam testerom w
zdobyciu
certyfikatów ISTQB

Temat: Jakich frameworków używacie z Selenium?

Pytanie jak w tytule. Chodzi mi o frameworki do zarządzania testami i ich uruchamiania. Selenium samo w sobie jest za proste, żeby coś konkretnego zrobić, więc trzeba je czymś uzupełnić i od strony samego skryptu, i od strony zarządzania.

Pogrzebałem trochę na forum i w internecie i wyszło mi, że większość używa Fitnesse. Krystian kiedyś napisał, że uruchamia skrypty Selenium z TestNG. Znam ludzi, którzy używają Bamboo.

Dodatkowo Google pokazał:
* STAF
* Robot Framework
* JSystemTest

W kontekście używania frameworka interesuje mnie głównie w jakich technologiach macie aplikacje i jak radzicie sobie z wersjonowaniem skryptów i konfiguracji.
Janek

konto usunięte

Temat: Jakich frameworków używacie z Selenium?

Test Link - może nie do końca framework ale można zintegrować skrypty po przez wystawiony interfejs. Co do testmenagmentu to wtedy oczywiście uzyskujemy to co jest Test Linku.
Marcin Z.

Marcin Z. “Testing is an
infinite process of
comparing the
invisibl...

Temat: Jakich frameworków używacie z Selenium?

Framework własny.
Dla uzupełnienia listy wspomnę o BROMINE.
Wszystko zależy od tego w jakim formacie wytwarzasz testy. Jeżeli w formacie kompatybilnym z którymś ze wspieranych języków programowania to bez większych problemów powinno dać się podpiąć do narzędzia od Unit testów dla tego języka.
Piotr D.

Piotr D. Tester
Oprogramowania

Temat: Jakich frameworków używacie z Selenium?

Można też sięgnąć po nowomodne podejście BDD - Cucumber dla Ruby i wzorowane na nim klony na inne platformy (np. dla .NET są bodaj 3, w tym SpecFlow).

Mnie osobiście Fitnesse drażni - tzn. pomysł to był i dobry, tylko wykonanie zostało, że tak powiem lost in translation. Jak na de facto wrapper w którym i testy i fikstury trzeba pisać samemu, jest nieco zbyt absorbujący. Piotr D. edytował(a) ten post dnia 15.08.11 o godzinie 15:16
Miron B.

Miron B. Test Leader / Senior
Quality Engineer

Temat: Jakich frameworków używacie z Selenium?

Odkąd Selenium pojawiło się w wersji 2.0 to korzystam z:
BDD (SpecFlow), Page Object Pattern, NUnit.
Wcześniej przymierzałem się do Bromine, ale jakoś mi nie podeszło, głównie z powodu technologii w jakiej jest zrobione i ograniczeń samego Bromine.
Mateusz Serkowski

Mateusz Serkowski Advanced Technical
Test Analyst,
Automatyzacja Testów

Temat: Jakich frameworków używacie z Selenium?

Moze nie do konca na temat, ale odpalalem kiedys skrypty przez TeamCity, to jest darmowe narzedzie do kilku userow. Zapisywalem swoje skrypty jako pliki bat i przez teamCity mozna je zdalnie odpalac na wirtualnych maszynach. Team city jest serwerem na windowsie, a na wirtualnych maszynach instaluje sie agenta. Co prawda, team city jest w zalozeniu narzedziem do uruchamiania bildów, ale kazdy test jak potraktujemy jako bild, to mozna je niezle wykorzystac. Gdyby kazdy skrypt wpisywal jeszcze wynik testu do TestLink, to bylo by juz niezle zintegrowane srodowisko.
Piotr D.

Piotr D. Tester
Oprogramowania

Temat: Jakich frameworków używacie z Selenium?

Mateusz Serkowski:
Moze nie do konca na temat, ale odpalalem kiedys skrypty przez TeamCity, to jest darmowe narzedzie do kilku userow.

Konkretnie do 3 agentów jest w wersji darmowej.
Mateusz Serkowski:
Zapisywalem swoje skrypty jako pliki bat i przez teamCity mozna je zdalnie odpalac na wirtualnych maszynach. Team city jest serwerem na windowsie, a na wirtualnych maszynach instaluje sie agenta. Co prawda, team city jest w zalozeniu narzedziem do uruchamiania bildów,

I można spokojnie odpalać testy w kilku frameworkach - NUnit, MBunit, MS TEST itp.
Zresztą, taki zestaw testów może być nie tylko osobną build-konfiguracją, ale chyba też jednym z kroków w konfiguracji.
Wtedy wyniki - jak również historia wykonania każdego testu (czas, rezultat) - są dostępne bezpośednio w TeamCity.
Mateusz Serkowski:
Gdyby kazdy skrypt wpisywal jeszcze wynik testu do TestLink, to bylo by juz niezle zintegrowane srodowisko.

Myślę, że jest to spokojnie do osiągnięcia poprzez albo TestLink API albo mniej elegancko - lobotomię bezpośrednio na bazie :]
Można też napisać skrypt, który po wykonaniu zestawu przeparsuje plik wynikowy generowany przez dany framework (zwykle to XMLe z innym rozszerzeniem) i odpowiednio wrzuci wyniki do TL-a.

Aczkolwiek czytałem na Forum Test Linka, że autorzy nie chcą - z pełną świadomością - zrobić jeszcze jednego narzędzia do uruchomiania testów, tylko narzędzie do utrzymywania wymagań i dokumentacji testowej. I dlatego integracja z takimi narzędziami nie będzie priorytetem.

Wreszcie - zrobienie testów data driven w TestLinku jest jakby jeszcze bardziej pod górę a i samemu narzędziu, choć całkiem fajnemu, przydałby się ktoś od usability.

PS: Selenium.... jakby WatiN dorobił się wsparcia dla XPath a ktoś obmyślił wygodny wzorzec do poruszania się po wielu oknach / zakładkach....Piotr D. edytował(a) ten post dnia 14.12.11 o godzinie 20:45
Tomasz Bień

Tomasz Bień Test Manager,
automation tester
(webdriver), volvo
polska

Temat: Jakich frameworków używacie z Selenium?

Selenium/webdriver + maven lub ant + junit + jenkins/hudson + junit report i wszystko bardzo fajnie smiga. pod CI podlaczone, z ladnym raportem html'owym. do tego jakiś loger aby mieć więcej informacji co się wysypało. wszystko zorganizowane we własny framework gdzie testy są oddzielone od warstwy biznesowej.

konto usunięte

Temat: Jakich frameworków używacie z Selenium?

Bamboo + Selenium/webdriver bardzo dobrze sie spisuje

konto usunięte

Temat: Jakich frameworków używacie z Selenium?

W sumie to sobie nie wyobrażam odpalania testów czymś innym niż jakimś narzędziem do Continues Integretion. Tak jak napisał Tomasz, jenkins/hudson to b dobry wybór. System pluginów pozwala w łatwy sposób rozszerzać podstawowe funkcjonalności.
Tomasz Bień

Tomasz Bień Test Manager,
automation tester
(webdriver), volvo
polska

Temat: Jakich frameworków używacie z Selenium?

Piotr K.:
Bamboo + Selenium/webdriver bardzo dobrze sie spisuje


hej,
ja teraz to tez ustawilem, ale mam problem z odpowiednim raportowaniem testow poniewaz zamiast junit podpialem testng. wiesz moze jak skonfigurowac bamboo aby ladnie mi wysylal raport z testow zgodnie z reportng? i chodzi mi o cos wiecej niz o to czy buld/job przeszedl czy nie. czyli cos zgodnego z reportng. pod jenkinsem nie bylo by problemu ale jak to zrobic z bamboo i junit parserem?

moj problem to teraz aby ladnie to zaprezentowac szczegolnie jak ma na to patrzec osoba nie techniczna. jezeli ktos ma jakas podpowiedz to bede wdzieczny.

oczywiscie cos w rodzaju fitnesse lub Concordion wchodza w rachube ale znowu musi to byc skonfigurowane z bamboo.

pozdrawiam

konto usunięte

Temat: Jakich frameworków używacie z Selenium?

Tomasz B.:

hej,
ja teraz to tez ustawilem, ale mam problem z odpowiednim raportowaniem testow poniewaz zamiast junit podpialem testng. wiesz moze jak skonfigurowac bamboo aby ladnie mi wysylal raport z testow zgodnie z reportng? i chodzi mi o cos wiecej niz o to czy buld/job przeszedl czy nie. czyli cos zgodnego z reportng. pod jenkinsem nie bylo by problemu ale jak to zrobic z bamboo i junit parserem?

moj problem to teraz aby ladnie to zaprezentowac szczegolnie jak ma na to patrzec osoba nie techniczna. jezeli ktos ma jakas podpowiedz to bede wdzieczny.

oczywiscie cos w rodzaju fitnesse lub Concordion wchodza w rachube ale znowu musi to byc skonfigurowane z bamboo.

pozdrawiam

Niestety nie przykladalismy sie do odpowiedniego raportowania, dla nas taka informacja o blednym wykonaniu sie testu jest wystarczajaca:
org.openqa.selenium.NoSuchElementException: Unable to locate element: .....
Tomasz Bień

Tomasz Bień Test Manager,
automation tester
(webdriver), volvo
polska

Temat: Jakich frameworków używacie z Selenium?

rozwiązałem to poza bamboo. biorę sobie taki raport w html'u stworzony przez ReportNG bo sciezke znam i wysylam go poprostu z kodu javy. chyba bedzie prosciej niz szukac jak to zrobic przez bamboo.

Następna dyskusja:

Selenium 2.0 z Webdriverem




Wyślij zaproszenie do