konto usunięte

Temat: Testy regresji na środowisku przedprodukcyjnym

Witam,

chciałabym poznać Wasze zdanie na temat braku testów regresji na środowisku przedprodukcyjnym.
Czyli brak standardowej, wewnętrznej regresji, a jedynie testy akceptacyjne, przeprowadzane przez osoby z biznesu.

Jak uważacie?
Czy takie rozwiązanie wystarczy, czy jednak lepiej, żeby na każdym nowym środowisku odbywały się testy regresji, przeprowadzane przez zespół wewnętrzny?

konto usunięte

Temat: Testy regresji na środowisku przedprodukcyjnym

Troche malo szczegolow. Oczywiscie najprosciej jest odpowiedziec, ze zawsze warto cos jeszcze przetestowac - czyli odpowiadajac na Twoje pytanie - lepiej, zeby odbywaly sie testy regresji. Ale w sumie zalezy co sie dzialo z softem na "wczesniejszych" srodowiskach, jakie sa roznice miedzy nimi, a tym przedrpdukcyjnym itd...
Katarzyna M.

Katarzyna M. Certyfikowany tester
oprogramowania

Temat: Testy regresji na środowisku przedprodukcyjnym

Moim zdaniem, jeżeli zmiany w oprogramowaniu były duże i system ma dużo powiązanych modułów to same testy akceptacyjne nie są wystarczające. Testy regresywne mają na celu zminimalizowanie ryzyka nieznalezienia usterek w oprogramowaniu, które wcześniej działało poprawnie. Stąd przykładowo, gdy testy akceptacyjne wykonuje osoba z małym doświadczeniem to istnieje ryzyko, że przetestuje jeden obszar, ale już "przegapi" błąd w innym module, który jest powiązany z modyfikowanym.

konto usunięte

Temat: Testy regresji na środowisku przedprodukcyjnym

wydaje mi się że abstrahując od szczegółów procesu biznesowego zawsze JAKAŚ regresja procesów
a) najczęściej wykonywanych
b) mogących przynieść w razie godziny w straty finansowe

powinna być
Piotr Tomasz Piotrowski

Piotr Tomasz Piotrowski Inżynier Testów,
Analityk Danych,
Menedżer, Działacz
społ...

Temat: Testy regresji na środowisku przedprodukcyjnym

Sylwia J.:
Witam,

chciałabym poznać Wasze zdanie na temat braku testów regresji na środowisku przedprodukcyjnym.
Czyli brak standardowej, wewnętrznej regresji, a jedynie testy akceptacyjne, przeprowadzane przez osoby z biznesu.

Jak uważacie?
Czy takie rozwiązanie wystarczy, czy jednak lepiej, żeby na każdym nowym środowisku odbywały się testy regresji, przeprowadzane przez zespół wewnętrzny?
Najlepiej takie pytanie skierować do klienta, który odbiera oprogramowanie. Czy klient akceptuje na przykład, że podczas testów akceptacyjnych są znajdowane poważne błędy?
Drugie źródło informacji, od którego bym zaczął to:
Co jest zapisane w kontrakcie?
Testowanie regresywne poprzedzające testy akceptacyjne jest w stanie wykryć średnio 20-30% błędów wg. jednej z książek o ekonomice inżynierii oprogramowania.
Dodatkowo same naprawy defektów mogą wprowadzać średnio 7% nowych defektów.Ten post został edytowany przez Autora dnia 15.09.14 o godzinie 19:03
Piotr Tomasz Piotrowski

Piotr Tomasz Piotrowski Inżynier Testów,
Analityk Danych,
Menedżer, Działacz
społ...

Temat: Testy regresji na środowisku przedprodukcyjnym

Aleksandra G.:
wydaje mi się że abstrahując od szczegółów procesu biznesowego zawsze JAKAŚ regresja procesów
a) najczęściej wykonywanych
b) mogących przynieść w razie godziny w straty finansowe

powinna być
Jest to odmiana testowania rozumianego jako potwierdzanie prawidłowego działania najważniejszych funkcji oprogramowania, zwana pozytywną.
Są też okoliczności, w których można zastosować podejście negatywne skupione wokół znalezienia jak największej liczby błędów, niezależnie które funkcje się testuje. W takim przypadku testowanie wstrzymuje się jeśli klient końcowy znajduje mniej niż 5-15% błędów.

konto usunięte

Temat: Testy regresji na środowisku przedprodukcyjnym

Piotr Tomasz P.:
im bardziej skomplikowany proces biznesowy tym bardziej takie % można sobie w nos wsadzić

mnie wystarczy że źle się przelicza na 1 grosz - i to jest już podstawa do odrzucenia
:)

a wracając do regresji
znowu odnosząc się do wszelkich aplikacji gdzie w jakiś sposób dotykamy spraw finansowych - bardzo ciężko określić w jaki sposób zmiana w systemie ingeruje w resztę funkcjonalności i tu testy regresji w pewien sposób zabezpieczają nas przed grubymi wpadkami przynajmniej

poza tym ja wolę powiedzieć klientowi
"Nowa wersja aplikacji działa poprawnie - da się na niej pracować"
niż
"Na nowej wersji aplikacji działają nowe procesy"

Zaplanowanie testów regresji mądrze - tak aby sprawdzić istotne części systemu to naprawdę duży projekt - i wydaje mi się że trzeba dobrze znać system aby coś takiego zrobić
Piotr Tomasz Piotrowski

Piotr Tomasz Piotrowski Inżynier Testów,
Analityk Danych,
Menedżer, Działacz
społ...

Temat: Testy regresji na środowisku przedprodukcyjnym

Aleksandra G.:
Piotr Tomasz P.:
im bardziej skomplikowany proces biznesowy tym bardziej takie % można sobie w nos wsadzić

Podane wartości to tylko wstęp do dyskusji, są oczywiście bardziej specyficzne wyliczenia, do przedstawienia których zachętę stanowi pewna doza uprzejmości w wypowiedziach
mnie wystarczy że źle się przelicza na 1 grosz - i to jest już podstawa do odrzucenia
:)

Powyższa wypowiedź stwarza wrażenie, że pomylono kwestie rozkładu błędów w produkcie z działaniem konkretnych ścieżek danych kodu źródłowego
a wracając do regresji
znowu odnosząc się do wszelkich aplikacji gdzie w jakiś sposób dotykamy spraw finansowych - bardzo ciężko określić w jaki sposób zmiana w systemie ingeruje w resztę funkcjonalności i tu testy regresji w pewien sposób zabezpieczają nas przed grubymi wpadkami przynajmniej

Popieram, tylko staram się właśnie zacząć pisać o tym jakie są konsekwencje zmian w systemie i jak w odpowiedzi na nie należy zastosować dokładniej celowane testy regresywne.
poza tym ja wolę powiedzieć klientowi
"Nowa wersja aplikacji działa poprawnie - da się na niej pracować"
niż
"Na nowej wersji aplikacji działają nowe procesy"

Czyli bardziej kompleksowo, choć testy nowych funkcji często wykrywają więcej błędów niż testy regresywne
Zaplanowanie testów regresji mądrze - tak aby sprawdzić istotne części systemu to naprawdę duży projekt - i wydaje mi się że trzeba dobrze znać system aby coś takiego zrobić

Dodatkowo można wziąć pod uwagę koszt posiadania u klienta TCO (lub inne występujące w modelu biznesowym parametry finansowe) - w uproszczeniu rozpatrzyć, od strony biznesowej, które funkcje w przypadku ich nie działania spowodują największe straty finansowe u klienta.

Wszystko powyższe to zaledwie wstępne tezy do zbudowania "dokładniejszej" strategii testów regresywnych, gdzie proponowanego przez Panią podejścia nie uważam za błędne, tylko odpowiednie na początek.

Następna dyskusja:

automatyczne testy flasha/f...




Wyślij zaproszenie do