Temat: Load Test - zdumiewające...

Szykuje mi się nowy projekt, gdzie do testów automatycznych mógłbym użyć jakiegoś nowego automatu. Najlepiej w tym projekcie (aplikacja WWW (ASP.NET na IIS7), budżet uniemożliwiający użycie narzędzi HP i IBM) powinien spisać się Test Complete. Miałem kilka wolnych godzin, więc zajrzałem jak to narzędzie się spisuje.

Z testami funkcjonalnymi nie byłoby problemów, ale wydajnościowe wydają mi się niewykonalne. Np.:
1. TC nie rozpoznaje żadnych elementów na stronie - jest tylko jeden obiekt: strona. Jak więc zrobić checkpointy sprawdzające dane na stronie (dane w tabelkach, labelki)? Tylko porównywanie obszarów??? A co gdy stronę trzeba przewinąć, rozwinąć jakiś element?
2. [Anulowane - znalazłem już rozwiązanie]
3. Wyniki testów są w formacie XML, bez możliwości eksportu do czegoś innego - choćby standardowego html'a (pomijam .mht), doc'a, rtf'a, pdf'a.
Nie można wyników/wykresów skojarzyć z liczbą wirtualnych użytkowników - czyli np. czas odpowiedzi w zależności od VU.

Cóż, tak na gorąco wygląda to zdumiewająco (choć pewnie skrzywiony LoadRunnerem mam złe podejście :)) - jak to możliwe, że w 2010 roku można mieć z komercyjnym produktem takie problemy? Jak nasze testy mają być dobre?
Pracując zdezelowaną łopatą trudno być mistrzem w kopaniu rowów...

Do napisania tego posta skłoniła mnie jednak nie chęć pożalenia się, że TC jest "be" (być może nawet tak nie jest - jeśli ktoś wie jak obejść poszczególne punkty, to proszę śmiało prostować - moje hipotezy powstały po bardzo szybkim obejrzeniu testów wydajnościowych w tym narzędziu i mogę się w wielu kwestiach mylić), lecz refleksja, iż testy wydajnościowe są obecnie zbyt drogie dla klientów.
A drogie są nie tylko dlatego, że brakuje specjalistów w tej dziedzinie, ale również dlatego, że narzędzi (porządnych i wiarygodnych) brakuje, a te które są, są zdecydowanie zbyt drogie.

Co gorsza polityka licencyjna rozdających karty na rynku może budzić tylko obawy, że lepiej nie będzie.
Co z tego, że firma kupi sobie licencje na np. takiego LoadRunnera, skoro nie ma prawa testować nim systemów klientów (tylko do użytku własnego)? Ostatnio chciałem np. zagranicznemu klientowi zrobić testy LoadRunnerem - ale jak usłyszał ile kosztować go będzie miesięczna licencja na protokół plus jeszcze licencja na kontroler, to nie było o czym rozmawiać.

Wiem, że są narzędzia darmowe, są inne komercyjne (niektóre nawet bardzo dobre), ale... przecież projektu dla np. ministerstwa nie zrobię na open source. Pewna grupa klientów nie toleruje narzędzi firm, których nie zna. Co z tego, że firma X ma świetne narzędzie używane przez BMW, Volvo itd.? Przecież X to "niewiadomo co".
Z jednej strony to kompetentna osoba powinna dobierać narzędzia, ale z drugiej to klient wybiera oferty i nie będzie szukał co to jest "firma X". Tłumaczyć można, jak się ma umowę podpisaną, wygrany przetarg...

Jeśli macie lepsze doświadczenia, to chętnie poczytam. Teksty "ku pokrzepieniu serc" szczególnie mile widziane. Przynajmniej dzisiaj... :)Marcin K. edytował(a) ten post dnia 22.01.10 o godzinie 10:57

Temat: Load Test - zdumiewające...

A może Visual Studio? Fortuny zdaje się nie kosztuje, firma dość znana...

Swoją drogą nie za bardzo rozumiem czemu klient ma w ogóle dotykać tematu wyboru narzędzia. Owszem, są tacy, których z jakiegoś niezrozumiałego dla mnie powodu to interesuje, ale ja osobiście w miarę możliwości nie wchodziłbym z klientem na ten temat.

Zahaczając jeszcze o Test Complete - jeżeli zapisuje wyniki do jakiegoś swojego xml'a, to zrobić z tego html'a z drobną pomocą XSL (a w szczególności XSLT) to nie tylko żaden problem a wręcz idealne ćwiczenie na rozgrzanie szarych komórek :) Drukowanie tego potem na drukrce poscriptowej do pdf'a czy wklejenie do word'a też nie brzmi jak rocket science.

Temat: Load Test - zdumiewające...

Krzysztof Mierzejewski:
A może Visual Studio? Fortuny zdaje się nie kosztuje, firma dość znana...

VisualStudio for Testers mamy w firmie i używamy od czasu do czasu (choć np. ostatni projekt dla pewnego ministerstwa pokazał, że w VS można osiągnąć takie wyniki jakie tylko chce się osiągnąć :)).
Jak już pisałem w tym projekcie pojawiła się szansa użycia czegoś nowego. Z decyzjami politycznymi lepiej nie dyskutować (szczególnie jeśli są nam na rękę :)).

Swoją drogą nie za bardzo rozumiem czemu klient ma w ogóle dotykać tematu wyboru narzędzia. Owszem, są tacy, których z jakiegoś niezrozumiałego dla mnie powodu to interesuje, ale ja osobiście w miarę możliwości nie wchodziłbym z klientem na ten temat.

Teoretycznie tak powinno być, ale... Klientowi przed rozpoczęciem pracy musisz dostarczyć założenia, plan testów itd.
Narzędzia musisz tam uwzględnić (rzadko trafiają mi się klienci, którzy nie zwracają na to uwagę). Teraz albo to zaakceptują albo nie.

Zahaczając jeszcze o Test Complete - jeżeli zapisuje wyniki do jakiegoś swojego xml'a, to zrobić z tego html'a z drobną pomocą XSL (a w szczególności XSLT) to nie tylko żaden problem a wręcz idealne ćwiczenie na rozgrzanie szarych komórek :) Drukowanie tego potem na drukrce poscriptowej do pdf'a czy wklejenie do word'a też nie brzmi jak rocket science.

Tak, wiem, że jest to możliwe i nie jest to jakoś specjalnie trudne, ale pytanie nasuwa się samo: dlaczego narzędzie kosztujące 4499$ nie ma tego eksportu w standardzie?