Przemysław Nojman

Przemysław Nojman JIT Solutions
Konsultant ds.
testowania
oprogramowania

Temat: Zarządzanie testami

Witam, moje pytanie dotyczy narzędzi do zarzadzania testami. Czy jest sens wdrażać w organizacji narzędzia do testów funkcjonalnych i wydajnościowych bez narzędzie które będzie zarządzać tymi wynikami testów.

Przykład:
Firma X wdraża narzędzie WinRunner(testy funkcjonalne) oraz LoadRunner(testy wydajnościowe). Jakie korzyści mogą płynać z poniesienia dodatkowych kosztów na zakup narzędzia typu TestDirector-a ? A może korzysći są na tyle małe że szkoda zachodu?

Z góry dzięki za odpowiedz ;)
Adam Frelak

Adam Frelak Analyst, IT Quality
Assurance

Temat: Zarządzanie testami

Win runner nie jest juz aktualizaowany , polecam przesiadke na QTP.
Po drugie pod pojeciem Test Director rozumiesz zapewne Quality Center (są dwa produkty z tej rodziny Quality Center i Performance Center)

Czego oczekujesz po narzedziu typu Quality Center ? Że samo wypluje ci raport z testów automatyczynych - jesli tak to zpaomnij.
Jesli chcesz miec repozytorium to i owszem.

Korzysci z posiadania QC sa nastepujace - wspolne repozytorium dla skryptow i wymagan. Powiazanie wspomnianych wczesniej elementow i mozliwosc bezposredniego raportowania i zarzadznia bledami do wspomnianych obszarow.
Krzysztof Kukla

Krzysztof Kukla Test Manager

Temat: Zarządzanie testami

Moje zdanie jest takie, że wszystko zależy od skali/wielkości projektu. W przypadku "małego", wystarczy oczywiście samo narzędzie do automatyzacji plus nieśmiertelny "excel".

W przypadku bardziej złożonych systemów, bez zarządzania wymaganiami, testami, labem oraz błędami się nie obędzie.

KK
Przemysław Nojman

Przemysław Nojman JIT Solutions
Konsultant ds.
testowania
oprogramowania

Temat: Zarządzanie testami

Podsumowując warto w przypadku dużych projektów inwestować w narzędzia wspomagające zarządzanie testami.

Kontynuując wątek znacie może jakieś ciekawe szkolenia, książki w których opisane jest podejście do zarządzania testów uwzględniające metodologie prowadzenia projektu ?

Adamie F., nie miej mi tego za złe ale podpatrzyłem twój profil i zauważyłem, że byłeś na szkoleniu Tests Management - ZTS (Altkom Academy). Warto ?
Dariusz P.

Dariusz P. Wdrażanie i
zarządzanie
innowacją w
korporacjach, m.in.
R...

Temat: Zarządzanie testami

Przemysław Nojman:
Podsumowując warto w przypadku dużych projektów inwestować w narzędzia wspomagające zarządzanie testami.

Zanim kupisz to sprawdź czy jakieś darmowe rozwiązanie (względnie dwa) nie załatwią sprawy. Sporo osób jedzie korzystając z Bugzilli, Scaraba, Mantisa (to do baboli - jedna z funkcjonalności QC), do testów może być Test Link?

Za darmo jest też jeszcze SFEE (Source Forge Enterprise Edition) - dla ograniczonej ilości użytkowników.

Pozdro,
D.Dariusz P. edytował(a) ten post dnia 27.11.08 o godzinie 19:19
Przemysław Nojman

Przemysław Nojman JIT Solutions
Konsultant ds.
testowania
oprogramowania

Temat: Zarządzanie testami

Osobiście zwolennikiem jestem komercyjnych rozwązań ponieważ jednym narzędziem jesteś w stanie zrobić prawie "wszystko".

Wymienione przez Ciebie narzędzia pewnie są dobre (niektóre z nich nawet używam) ale największą wadą jest to, że działają w pojedynkę. Jedno jest od tego drugie od tamtego. Zanim się obejrzysz a okaże się, że używasz 10 narzędzi które w sumie nic większego nie wnoszą do organizacji ;)

Przemek
Krystian K.

Krystian K. Agile Coach, Autor

Temat: Zarządzanie testami

Przemysław Nojman:
Osobiście zwolennikiem jestem komercyjnych rozwązań ponieważ jednym narzędziem jesteś w stanie zrobić prawie "wszystko".

Tia... A jak znajdziesz buga, to Ci powiedza ze wiedza o nim i bedzie fix w nastepnym release za rok. W przypadku feature musisz zaplacic oczywiscie. No i od czasu do czasu trzeba zaplacic serwisowi za rozwiazywanie problemow. :)
Adam Frelak

Adam Frelak Analyst, IT Quality
Assurance

Temat: Zarządzanie testami

Oj moglbym tu pojechac po supporcie pewnej firmy ktora stworzyla rewelacyjne narzedzie do zarzadznia testami .. :)
Poczawszy od planowania poprawek na za okolo 10!!! lat, poprzez stwierdzenia "o faktycznie to nie dziala , ale i tak nic z tym nie zrobimy" :P

Niestety niekiedy nie ma wyjscia i trzeba pracowac w takim , a nie innym standardzie.

Ale jak to ladnie Krzysztof napisal :
"Moje zdanie jest takie, że wszystko zależy od skali/wielkości projektu."

^^^ - Taka jest prawda ... wszyscy kiedys zaczynali od jakiegos arkusza (niekoniecnzie w excellu bo go wtedy nie bylo :) i na tym pracowali ... wszystko zalezy od skali i ilosci $$$ ktore mozna wydac na ten cel.
Krystian K.

Krystian K. Agile Coach, Autor

Temat: Zarządzanie testami

Adam Frelak:
wszystko zalezy od skali i ilosci $$$ ktore mozna
wydac na ten cel.

Swięte słowa :) Ja jestem zdania, że jak jest coś za free to po co na to wydawać pieniądze? Lepiej wydać te $$$ na szkolenia dla testerów. To tylko tool do raportowania, który bez dobrego zespołu w niczym nie pomoże. A problemy z narzędziami będą zawsze, bo żadne nie spełni w 100% naszych wymagań. Po co się denerwować na support wyżej wymienionej firmy, że za nasze pieniądze mówi tylko "wiemy o tym..."? ;)
Przemysław Nojman

Przemysław Nojman JIT Solutions
Konsultant ds.
testowania
oprogramowania

Temat: Zarządzanie testami

To wszystko jeszcze zależy od punktu widzenia. Niestety prawda jest taka, że te wszystkie większe "bogatsze" firmy nie bawią się w narzędzia z grupy opensource. A najczęściej w takich firmach realizauje się bardzo ciekawe projekty. Poszukują ludzi z doświadczeniem, ze znajomością hp/mercurego lub rationala.

Nie mniej, gdybym był wlascicielem firmy wówczas skupiał bym się jedynie na produktach typu opensource.
Krystian K.

Krystian K. Agile Coach, Autor

Temat: Zarządzanie testami

W duzych firmach to troche polityka albo maja juz ten soft z licencja na firme albo odpowiednia ilosc userow, wiec go chca wykorzystac. Nie potrzebuja dodatkowego toola ktory robi to samo, ale jest open source. Czesto znaja juz problemy z obecnym oprogramowaniem i maja rozwiazania.

Temat: Zarządzanie testami

W dużych firmach liczy się również niezawodność i mówiąc ogólnie jakość, którą z zasady powinno gwarantować oprogramowanie komercyjne (powinno, nie twierdzę, że zawsze tak jest). Jednym słowem uwielbiane przez dyrekcję "płacę to wymagam".

Wracając jednak do pytania pierwotnego w tym wątku, to nikt nie wspomniał o zwiększonych możliwościach jeśli chodzi o uruchamianie procesów testowych. Mnie osobiści przypadł do gustu wygodny sposób ustalania kolejności i parametrów odpalanych skryptów (np. wskazanie, że jeżeli jeden skrypt zakończył się błędem, to nie wywołuj już kolejnego, a jeśli skrypty X i Y były OK, to na kolejnych hostach odpal skrypty Z i Q...).
Ogólnie nie tylko raportowanie, ale wszystko zależy od organizacji środowiska testowego i tak naprawdę tego co chce się osiągnąć.

konto usunięte

Temat: Zarządzanie testami

Przemek

Z pewnością nie znajdziesz złotego środka, gdyż każde z rozwiązań ma swoje plusy i minusy. Jeśli jednak zajmujesz się dużymi projektami bądź Twoja firma prowadzi testy na zasadzie releasów testowych to sądzę, że warto pomyśleć o HP Quality Center i Quick Test Professional. Jest to naprawdę sprawdzone narzędzie i przy okazji masz w jednym miejscu kilka elementów - repozytorium scenariuszy/skryptów/danych testowych, możliwość prowadzenia testów manualnych i automatycznych, zarządzanie błędami, raportowanie statusu testów.
Oczywiście możesz również skorzystać z narzędzi darmowych z których do samej obsługi błędów mogę polecić Bugzillę.
Zauważyłem, że w trakcie dyskusji padła informacja o narzędziu Source Forge-słyszałem negatywną opinię na temat używania tego narzędzia, jest podobno mało intuicyjny w użyciu i niespecjalnie przyjazny dla użytkownika.
Bartosz Jarzębski

Bartosz Jarzębski Head of Quality
Assurance in
Delivery Assurance

Temat: Zarządzanie testami

My obecnie walczymy z Mantis i TestLinkiem, małe i proste. Wydają się całkiem udanymi narzędziami :)

konto usunięte

Temat: Zarządzanie testami

Oracle wypuściło takie narzędzie:
http://www.oracle.com/technology/software/products/app...

Z racji korporacji miałem przyjemność go używać i muszę przyznać, że wypada całkiem nieźle - nawet w porównaniu do Mercurego od HP.

Testlinka polonizowaliśmy i przerabialiśmy - niestety odpadł z powodu braku możliwości nagrywania scenariuszy - nie do tego służy - tylko do zarządzania przypadkami testowymi - jest fajny, po przyzwyczajeniu nawet intuicyjny i da się go konfigurować.

Mimo wszystko polecam OATS - daje duże możliwości - raportowania, nagrywania i zarządzania test caseami
Adam Frelak

Adam Frelak Analyst, IT Quality
Assurance

Temat: Zarządzanie testami

Ale OTAS ma jedną zasadniczą wadę - tylko webowe appsy.

konto usunięte

Temat: Zarządzanie testami

Owszem, ale średnio 60-70% aplikacji wdrażanych w firmach teraz jest właśnie w formie aplikacji webowych.
Adam Frelak

Adam Frelak Analyst, IT Quality
Assurance

Temat: Zarządzanie testami

Dużo zależy od branży, ale wolałbym nie wypowiadać się o skali , bo moja percepcja jest nieco inna...

Pozostaje jeszcze jedna kwestia - koszt tego narzędzia .. nie przyglądałem się temu dokładnie, ale przyznam, że nigdzie nie znalazłem info o cenach.
Adam Pikos

Adam Pikos Senior Advanced
Support Engineer,
Oracle

Temat: Zarządzanie testami

A mieliście okazję popracowac i co myślicie (jeżeli mieliście okazję) o narzedziu QF-Test? Ja ostatnio używam tego narządka do tworzenia automatycznych testów regresji grubego klienta (SWING) i jestem pod ogromnym wrażeniem jego możliwości, prostoty,łatwości rozbudowy (python rulez), oraz oczywiście ceny.

Mozna w nim testowac równiez CK , ale tego jeszcze nie przerobiłem.
Łukasz K.

Łukasz K. Agile consultant

Temat: Zarządzanie testami

Swego czasu używałem QFtesta do testów regresyjnych i wydajnościowych. Praktycznie wszystkie przypadki polegały na przeklikaniu GUI java/swing. Narzędzie to ma olbrzymie możliwości. Mogę polecić z pewnością



Wyślij zaproszenie do