Łukasz K.

Łukasz K. powrot do biegania

Temat: Quick Test vs Rational Functional Tester

Witam
Proszę o wasze opinie na temat: "czy jedno z tych narzędzi jest lepsze od drugiego (testy aplikacji webowych)?"

W kwestii wyjaśnienia: zmieniłem pracę, w nowej nie ma w ogóle automatyzacji, ale szansa na nią jest, tylko muszę sam wszystko zrobić:) Mamy Rationala, którego nie znam, nie mamy za to QTP, które znam bardzo dobrze.

Są dwie opcje:
1. przekonać szefa by kupił QTP, ale muszą znaleźć się jakieś argumenty potwierdzające wyższość QTP nad RFT, argument, że za pomocą QTP pójdzie mi to kilka razy szybciej nie jest wystarczający, argument, że drugi tester też zna QTP a nie zna narzędzi IBM'a też nie wystarcza.
2. przekonać się do RFT, wszystko potrwa dłużej, ale zawsze zostanie wiedza.

Szczerze mówiąc nie wiem, która opcja jest lepsza, dłuoterminowo i biorąc pod uwagę swój interes na pewno opcja nr 2, ale biorąc pod uwagę brak testerów z jakim się borykamy i nadmiar projektów, znacznie ułatwiłoby obecną pracę rozwiązanie nr 1.

Chodzi mi głównie o opinie ludzi którzy pracowali z oboma narzędziami, znam zalety i wady QTP, wiem niewiele o Rationalu. Czy jest w ogóle możliwe ocenić, które z tych narzędzi jest obiektywnie lepsze?

edit:
Zapomniałem dopisać o jednej rzeczy - aplikacja wysyła maile, czy w którymś z tych tooli znajduje się sensowne narzędzie do sprawdzania maili w Outlooku?Łukasz K. edytował(a) ten post dnia 09.02.11 o godzinie 11:17
Jakub Thiele-Wieczorek

Jakub Thiele-Wieczorek Software QA
Specialist/QA
Manager

Temat: Quick Test vs Rational Functional Tester

Przede wszystkim zrób małe porównanie i sprawdź, czy RFT i QTP rozpoznają obiekty w aplikacjach, które piszecie.

W 2 firmach, w których miałem okazję brać udział w selekcji narzędzia do automatyzacji testów funkcjonalnych RFT nie mógł zostać zastosowany ze względu na to, że po prostu nie "widział" obiektów w aplikacjach webowych (problemy występowały przy AJAXie i GWT).

Co do maili - ich sprawdzanie musisz sam oprogramować, korzystając np. z command-line'owego klienta email (ja w tym celu używałem getmaila - żeby zapewnić obsługę połączeń szyfrowanych, można połączyć go z odpowiednio skonfigurowanym stunnelem).

konto usunięte

Temat: Quick Test vs Rational Functional Tester

QTP myślę, że znam nie najgorzej, także dla aplikacji webowych ale RFT nie miałem niestety okazji używać więc trudno mi porównać te dwa narzędzia. W QTP najbardziej "bolała mnie" toporna obsługa XPathów (trzeba się było nadłubać w czystym VBScripcie) - podobno naprawiono to niedopatrzenie w QTP 11 (HP Functional Testing 11), niemniej jednak nie miałem jeszcze okazji używać 11-stki.

"QTP 10 version was able to identify object through normal object identification method only where QTP11 is able to identify the object in following different ways:

* Normal object identification ( Like QTP10)
* Using XPath - XPath tutorial
* Using CSS - CSS tutorial
"

Poza tym lista supportowanych przeglądarek (a nawet ich konkretnych wersji) w QTP jest raczej cienka jak na tego typu narzędzie.

Osobiście do aplikacji webowych polecam Selenium/Grid, od ponad pół roku mam z nim do czynienia i jestem bardzo zadowolony z wyboru - ma znacznie lepsze wsparcie:

http://seleniumhq.org/about/platforms.html

Dodatkowo Grid, możliwość pisania testów wprost w Javie (czy innych językach takich jak C#, Python, Ruby etc.), ciekawe frameworki JUnit/TestNG etc. - a testy można sobie pisać/debugować choćby i wprost w Eclipsie przy którym edytor w QTP wymięka. ;), łatwa integracja z Hudsonem i wiele wiele innych ciekawych opcji, długo by wymieniać...

Wiem, że trochę nie na temat ale może warto wziąć pod uwagę selenium?Krzysztof S. edytował(a) ten post dnia 09.02.11 o godzinie 20:08

konto usunięte

Temat: Quick Test vs Rational Functional Tester

Albo może Sahi?
Łukasz K.

Łukasz K. powrot do biegania

Temat: Quick Test vs Rational Functional Tester

no ale eclipce, java to wszystko mam w Rationalu, nie?:)
wlasnie powstaje u nas nowa wersja aplikacji, z calkowicie zmienionym interfejsem
musze sie dowiedziec z czego beda korzystac bo juz AJAX sie gdzies przewinal i jesli RFT go nie wspiera to byloby kiepsko

a jak Selenium radzi sobie z AJAXem? i QTP?
Piotr D.

Piotr D. Tester
Oprogramowania

Temat: Quick Test vs Rational Functional Tester

Podstawowe kryterium to - choć mozolne - zrobienie toru przeszkód z elementów istniejacych w aplikacji, jakie narzędzie w aplikacji może spotkać, i wybór tego, które najłatwiej / najbardziej niezawodnie będzie można uzupełnić o brakującą funkcjonalność.

Jeżeli już mimo wszystko wspomniano Selenium - to warto rzucić okiem na pokrewny projekt
Tellurium http://code.google.com/p/aost/ - choćby ze względu na mechanizm selekcji, oprogramowywania testów i wstępną integrację z innymi narzędziami.

Łukasz K.:
Zapomniałem dopisać o jednej rzeczy - aplikacja wysyła maile, czy w którymś z tych tooli znajduje się sensowne narzędzie do sprawdzania maili w Outlooku?

AutoIt albo któryś z licznej rodziny VB Microsoftu, jeżeli koniecznie dla Outlooka (oba podejścia w swoim czasie sprawdziłem, 'u mnie działało'). Przykładów na automatyzację Outlooka i dokumentację można znaleźć na stronach MS.Piotr D. edytował(a) ten post dnia 10.02.11 o godzinie 00:57
Jakub Thiele-Wieczorek

Jakub Thiele-Wieczorek Software QA
Specialist/QA
Manager

Temat: Quick Test vs Rational Functional Tester

Osobiście do aplikacji webowych polecam Selenium/Grid, od ponad pół roku mam z nim do czynienia i jestem bardzo zadowolony z wyboru - ma znacznie lepsze wsparcie:

http://seleniumhq.org/about/platforms.html

Niestety ma też jeden problem - jeśli część obiektów na stronie jest doładowywana dynamicznie, Selenium ich nie "zauważa" (przez to nie nadaje się np. do większośći aplikacji pisanych z użyciem GWT).
Poza tym nadaje się wyłącznie do aplikacji stricte webowych, wszystkie technologie "pochodne" typu Java uruchamiana przez przeglądarkę ale działająca we własnym oknie wykraczają już poza możliwości Selenium.

Narzędzie ma natomiast jedną wielką zaletę - jest darmowe :)

konto usunięte

Temat: Quick Test vs Rational Functional Tester

Jakub Thiele-Wieczorek:
Niestety ma też jeden problem - jeśli część obiektów na stronie jest doładowywana dynamicznie, Selenium ich nie "zauważa" (przez to nie nadaje się np. do większośći aplikacji pisanych z użyciem GWT).

Z samym GWT się nie zetknąłem, ale z Ajaxem jako takim tak.

Tu jest ciekawe rozwiązanie:

http://i-proving.ca/space/Cynick+Young/blog/2009-09-25_1

Generalnie i najprościej mówiąc o Ajaxie/JavaScripcie etc. - samo sprawdzanie pełnego załadowania się strony można zrealizować chociażby w ten sposób, że można poprosić development o chociażby wstawienie w kod stronki taga, który sygnalizowałby, że strona jest gotowa a następnie sprawdzać jego istnienie. Z elementami doładowywanymi na stronkę też można sobie poradzić ;)

Ja osobiście jak dotąd nie narzekam na Ajaxa i Selenium - w moim przypadku wydaje się ono radzić sobie ze wszystkim całkiem nieźle czego nie mogę powiedzieć o QTP. ;) Może jeszcze nie zetknąłem się w Selenium z problemem takiego kalibru jak Ty ale jak dla mnie działa całkiem przyzwoicie.
Poza tym nadaje się wyłącznie do aplikacji stricte webowych, wszystkie technologie "pochodne" typu Java uruchamiana przez przeglądarkę ale działająca we własnym oknie wykraczają już poza możliwości Selenium.

Narzędzie ma natomiast jedną wielką zaletę - jest darmowe :)
Tak jest darmowe i z pewnością jest to duży plus i na pewno nie zamieniłbym je na QTP ale tak jak piszesz niestety tylko do zastosowań stricte webowych.

Poza tym zawsze miałem "ciągotki" do developerki a z Selenium jest to możliwe w większym stopniu i w sensownym języku (nie przepadam łagodnie mówiąc za VBScriptem).Krzysztof S. edytował(a) ten post dnia 10.02.11 o godzinie 18:53

konto usunięte

Temat: Quick Test vs Rational Functional Tester

RFT ma jedną dużą zaletę w porównaniu do QTP - językiem skryptu jest java, można więc zrobić dużo i dosyć łatwo.
Oba narzędzia różnie sobie radzą z różnymi technologiami (znam i używam/używałem obu), mimo że wg. specyfikacji powinny sobie bez problemu działać :)
Jeśli klient dopiero szuka narzędzia najpierw próbuję 'ugryźć' aplikację każdym z nich i w zależności od wyniku POC'a to narzędzie rekomenduję.

Z AJAX'em to osoba automatyzująca musi sobie poradzić, a nie narzędzie :)
Jakub Thiele-Wieczorek

Jakub Thiele-Wieczorek Software QA
Specialist/QA
Manager

Temat: Quick Test vs Rational Functional Tester

W QTP też można zrobić dużo i... jeszcze łatwiej - jeśli zna się VBScript (to bardzo prosty język) ;)

"Jeśli klient dopiero szuka narzędzia najpierw próbuję 'ugryźć' aplikację każdym z nich i w zależności od wyniku POC'a to narzędzie rekomenduję." - i dokładnie to miałem na myśli w mojej pierwszej odpowiedzi na ten post.

Co do Selenium z AJAX i GWT - dzięki za linka z propozycją rozwiązania, muszę je przetestować :) Do tej pory do aplikacji pisanych z użyciem tych technologii używałem QTP, ponieważ po dodaniu pluginu GWT (niestety trzeba go dobrze poszukać na stronach supportowych - nie jest dostarczany w instalacji) radzi sobie z nimi całkiem przyzwoicie.

Następna dyskusja:

Merqury (HP) Quality Center...




Wyślij zaproszenie do