Temat: czy mierzycie w jakis sposob jakosc testow?

Piotr D.:
Przed dalszą dyskusją może wyciągnijmy nielubianego wampira z szafy, bo to mimo wszystko ważna rzecz: czy mówimy o jakości PROJEKTU testów czy WYKONANIA testów (realizacji tego projektu)... bo to jakby dwie różne rzeczy...

Mam na mysli jakosc poczatkowego planu/projektu testow.

Chociaz zdaje sobie sprawe ze jakosc projektu wpywa najakosc wykonywania testow i vice versa. Bo jakos wykonania testow tez dostarcza ci feedbacku na temat projektu. Np. przeciez projekt testow uaktualnia sie w trakcie testow, tak jak kazdy plan. Masz poczatkowy plan testow na biezacy sprint, i nagle odkrywasz, ze dana funkcjonalnosc wymaga wiecej testow niz inna, bo jest np. obciazana wiekszym ryzykiem, znalazlem tam wiecej bledow niz przy innej, okazalo sie, ze dla klienta to jest najwazniejsza, etc.

Temat: czy mierzycie w jakis sposob jakosc testow?

-Maciej Gawinecki edytował(a) ten post dnia 25.03.12 o godzinie 22:43

Temat: czy mierzycie w jakis sposob jakosc testow?

Maciej Gawinecki:
A ty Piotr jak planujesz testy i masz niekompletna specyfikacje, to jak sie upewniasz ze masz wszystkie testy?

Co prawda nie było to skierowane do mnie, ale się dopytam - nieco przewrotnie - a niby jak i po co właściwie ?
Nie ma wymagań - nie ma testu. Test to eksperyment, który ma obalić lub potwierdzić jakąś hipotezę wysnutą na podstawie rozumowania i przesłanek (wymagań ;-) ).
W każdym innym wypadku jest to znalezisko, sugestia, uwaga, artefakt... ważne, potrzebne itp. Ale to nie test.

Maciej Gawinecki:
Mam na mysli jakosc poczatkowego planu/projektu testow.

No dobrze, ale mierzoną w odniesieniu do... ? Faktycznej liczby błędów ? Nie da się.
Wymagań ? Niepełne. Co ma być metryką takiego pomiaru - jeżeli jasno nie zdefiniowano (co już ktoś inny napisał) celu testów ? Dlaczego akurat ta a nie inna metryka ?

Dowolny plan można oceniać - moim zdaniem - na dwa sposoby. Jak wyglądała jego realizacja w sytuacji na którą został opracowany, albo jakie dał efekty w sytuacji w której został zastosowany. Coś jak u Heisenberga.

Maciej Gawinecki:
Chociaz zdaje sobie sprawe ze jakosc projektu wpywa najakosc wykonywania testow i vice versa. Bo jakos wykonania testow tez dostarcza ci feedbacku na temat projektu.

Maciej Gawinecki:
Np. przeciez projekt testow uaktualnia sie w trakcie testow, tak jak kazdy plan.

... przez co staje się zupełnie innym planem.

Maciej Gawinecki:
Masz poczatkowy plan testow na biezacy sprint

A jeżeli obrazoburczo nie należę do Wyznawców Kultu Braku Wymagań a.k.a Agile'a ? :-) I nie mam sprintów ? :)

Maciej Gawinecki:
i nagle odkrywasz, ze dana funkcjonalnosc wymaga wiecej testow niz inna, bo jest np. obciazana wiekszym ryzykiem, znalazlem tam wiecej bledow niz przy innej, okazalo sie, ze dla klienta to jest najwazniejsza, etc.

Proste - robię korektę na następny "sprint", iterację czy cokolwiek. Ew. dokładam nową.
Tzn. tak bym robił, bo w praktyce to już decyzja zazwyczaj jest wyżej, i zazwyczaj - jak to decyzja z góry - cały misterny plan posyła w obłoki.
Jeżeli jakaś sekwencja testów ma wnieść coś miarodajnego, to moim zdaniem powinna być, używając terminologii zapożyczonej od bazodanowców, ACID :-).
W innym przypadku robi się teoretyzowanie dla zasady.

Temat: czy mierzycie w jakis sposob jakosc testow?

Piotr D.:

Maciej Gawinecki:
A ty Piotr jak planujesz testy i masz niekompletna specyfikacje, to jak sie upewniasz ze masz wszystkie testy?

Co prawda nie było to skierowane do mnie, ale się dopytam - nieco przewrotnie - a niby jak i po co właściwie ?
Nie ma wymagań - nie ma testu. Test to eksperyment, który ma obalić lub potwierdzić jakąś hipotezę wysnutą na podstawie rozumowania i przesłanek (wymagań ;-) ).
W każdym innym wypadku jest to znalezisko, sugestia, uwaga, artefakt... ważne, potrzebne itp. Ale to nie test.

Hehe. Nie chce wchodzic w polemike tutaj co testem jest a co nie jest, bo nie jest to tematem tego watku. Chce tylko podkreslic ze rozne autorytety patrza na to roznie.
Bach, Kaner mowia (w lekcji 53 z Lessons Learned in Software Testing) o potrzebie testowaniu w stosunku do specyfikacji, ale rowniez w oparciu heurystyki: poprzednie wersje produktu, podobne produkty. W lekcji 179 mowia nawet "You aren't helpless if no one gives you a specification. Plenty of other sources of information can help you steer your thinking." W 177 daja jeszcze lepszy przyklad. Widziales kiedys specyfikacje ktora w sposob kompletny okreslac error handling dla wszystkich mozliwych bledow ktore moga wystapic w systemie?
A co jesli spefikacja jest niejasna? Potrzebujesz innych zrodel, zeby ja doprecyzowac, co jest tak naprawde oczekiwane.

Maciej Gawinecki:
Mam na mysli jakosc poczatkowego planu/projektu testow.

No dobrze, ale mierzoną w odniesieniu do... ? Faktycznej liczby błędów ? Nie da się.
Wymagań ? Niepełne. Co ma być metryką takiego pomiaru - jeżeli jasno nie zdefiniowano (co już ktoś inny napisał) celu testów ? Dlaczego akurat ta a nie inna metryka ?

Dowolny plan można oceniać - moim zdaniem - na dwa sposoby. Jak wyglądała jego realizacja w sytuacji na którą został opracowany, albo jakie dał efekty w sytuacji w której został zastosowany. Coś jak u Heisenberga.

Co rozumiesz przez efekt realizacji planu testow? Bez wchodzenia w metryki, jak oceniasz ze dany plan testow sie sprawdzil? Jednym slowem kiedy jestes usatysfakcjonowany z przeprowadzonych testow?

I kiedy Twoj klient jest?

Maciej Gawinecki:
Chociaz zdaje sobie sprawe ze jakosc projektu wpywa najakosc wykonywania testow i vice versa. Bo jakos wykonania testow tez dostarcza ci feedbacku na temat projektu.
Maciej Gawinecki:
Np. przeciez projekt testow uaktualnia sie w trakcie testow, tak jak kazdy plan.

... przez co staje się zupełnie innym planem.

Maciej Gawinecki:
Masz poczatkowy plan testow na biezacy sprint

A jeżeli obrazoburczo nie należę do Wyznawców Kultu Braku Wymagań a.k.a Agile'a ? :-) I nie mam sprintów ? :)

To to jestesmy w jednej druzynie. Ale to nie jest forum religijne, a ja nie wyglaszam manifestu, tylko dalem przyklad. Mysle, ze bez wiekszego wplywu na glowne pytanie tego watku.

Maciej Gawinecki:
i nagle odkrywasz, ze dana funkcjonalnosc wymaga wiecej testow niz inna, bo jest np. obciazana wiekszym ryzykiem, znalazlem tam wiecej bledow niz przy innej, okazalo sie, ze dla klienta to jest najwazniejsza, etc.

Proste - robię korektę na następny "sprint", iterację czy cokolwiek. Ew. dokładam nową.
Tzn. tak bym robił, bo w praktyce to już decyzja zazwyczaj jest wyżej, i zazwyczaj - jak to decyzja z góry - cały misterny plan posyła w obłoki.
Jeżeli jakaś sekwencja testów ma wnieść coś miarodajnego, to moim zdaniem powinna być, używając terminologii zapożyczonej od bazodanowców, ACID :-).
W innym przypadku robi się teoretyzowanie dla zasady.

Podoba mi sie metafora z ACID. Zeby mi nikt nie zmienial planu/wymagan w danej iteracji, sprincie, milestonie etc.

Ale ok, wracajac do tematu, to tak w nieskonczonosc bedziemy dokladac te iteracje jak znajdziesz ze czegos brakowalo w planie testow? ;-) Daje Ci budzet na testy. W jaki sposob mi zagwarantujesz, ze juz wiecej iteracji nie dodasz a ja bede jako sponsor testow zadowolony z ich realizacji?Maciej Gawinecki edytował(a) ten post dnia 25.03.12 o godzinie 23:28

Temat: czy mierzycie w jakis sposob jakosc testow?

A ty Piotr jak planujesz testy i masz niekompletna specyfikacje, to jak sie upewniasz ze masz wszystkie testy?

W czasach kiedy nie było niczego oprócz gotowego sprzętu do przetestowania, to brało się jego datasheet i funkcje zamieniało na testy funkcjonalne.
Później korzystało się z funkcji występujących w zapytaniu ofertowym.
W projektach naukowych, gdzie koncepcja systemu nie była z góry ustalona korzystało się z wielu źródeł: standardów branżowych, dokumentacji sprzętowych narzędzi testujących, modeli ruchu sieciowego.

Temat: czy mierzycie w jakis sposob jakosc testow?

Ciekawy "slajd" z cartoon testera o mierzeniu wydajności testera. Myślę, że można łatwo dostosować to do mierzenia jakości testów. Proste, ale z grubsza daje jako takie pojęcie co testerzy robią i jak im to idzie.

http://cartoontester.blogspot.com/2012/03/ddp-stc-imho...

Temat: czy mierzycie w jakis sposob jakosc testow?

Na stronach http://eurostarconference.com są dostępne darmowe seminaria z testowania i jest tam jedno związane z zyskami i kosztami testów, ale nie pamiętam już jaki miało tytuł - zachęcam do przejrzenia wszystkich tytułów i wybrania tego co interesuje daną osobę.

Temat: czy mierzycie w jakis sposob jakosc testow?

Piotr, nie chodzilo przypadkiem o http://www.eurostarconferences.com/ ("s" w nazwie)?Maciej Gawinecki edytował(a) ten post dnia 03.04.12 o godzinie 08:49

Temat: czy mierzycie w jakis sposob jakosc testow?

Maciej Gawinecki:
Piotr, nie chodzilo przypadkiem o http://www.eurostarconferences.com/ ("s" w nazwie)?

Tak, źle zapamiętałem. Dla rekompensaty podaje pełne, sprawdzone łącze:
http://www.eurostarconferences.com/community/member/we...