GoldenLine
Zaloguj się
Wojciech S.

Wojciech S. BushidoIT.com

Temat: Testy usability a uzytkownicy

Witam,

Mam 2 pytania dotyczace uzytkownikow ktorych bierzemy do testow
uzytecznosci. Pomyslalem ze moze niektore bardziej doswiadczone osoby beda chcialy
sie swoja wiedza na ten temat podzielic i wyjasnij trapiace mnie
sprawy :)

1. Skad brac uzytkownikow do testow. To pytanie juz zadawalem, ale
problemu nie udalo nam sie rozwiazac. Przykladowo w najblizszym czasie
bedziemy potrzebowali osob w wieku 30 - 50 lat ktorzy w malym i
srednim stopniu znaja sie na komputerze. Jak Wy szukacie osob z
ograniczonej grupy docelowej? Myslelismy nad tym aby skontaktowac sie
z urzedem pracy, czy ma to sens? Drugim pomyslem byla proba
telefonicznego naklaniania osob do pojawienia w danym terminie sie w naszej siedzibie w
celu przeprowadzenia testu, zastanawiamy sie jednak nad skutecznoscia
tej metody...

2. Drugie pytanie jest nieco innej natury, finansowo-ksiegowej.
Uzytkownikowi za poswiecony czas i wlozony wysilek nalezy zaplacic, w
jaki sposob rozliczacie sie z osobami ktore testuja aplikacje? Czy
kazdej nalezy wystawic umowe o dzielo? a na koniec roku wyslac pita?
A moze zorganizowac to w sposob jak robia to akwizytorzy wysylajacy
zaproszenia na roznego rodzaju pokazy, w ktorych to kusza
"gwarantowanymi nagrodami". Jak wy wyjasniacie tego typu wydatki z
urzedem skarbowym?

z gory dziekuje za odpowiedz
pozdrawiam
Link do wypowiedziLink
Patryk Pawlikowski

Patryk Pawlikowski Rób to co kochasz,
wtedy zrobisz to
dobrze!

Temat: Testy usability a uzytkownicy

Ad.1 Jeśli są to testy niskobudżetowe to najlepiej skorzystać znajomych znajomych z danej grupy celowej. JEśli macie na to budżet to poprostu polecam ogłoszenie np. na gumtree z wymaganiami z grupy celowej i propozycją wynagrodzenia. Niemacie konieczności pobierania danych personalnych więc interesuje was tylko stanowisko wiek i inne dane. Dobrze zbudować sobie taką bazę na przyszłość.
Link do wypowiedziLink
Bartosz T.

Bartosz T. One Man Army

Temat: Testy usability a uzytkownicy

Ad 1. Tak, jak przedmówca polecam znajomych i ich znajomych, jeżeli jesteś typem samotnika to zawsze możesz dać ogłoszenie w gazecie lokalnej, najlepiej jakby tester był z twojej miejscowości. W ogłoszeniu możesz zaznaczyć kogo ci chodzi, ale od czego jest net lokalne serwisy ogłoszeń, lub fora grup docelowych, z zaznaczeniem z twojego miasta (bo inaczej dopłacasz za przejazd)

Ad 2. hmm...jak ja bylem testerem i Service checkerem to pieniadze przychodzily na konto i koniec, bez zadnych pitow, bo nie bylo umow, zeby sie nierozdrabniac na kazdego, to wystaw kumplowi jedna zbiorcza, a im plac do reki bez kwita, najlepiej najszybciej...

pozdrawiam
Link do wypowiedziLink
Wojciech S.

Wojciech S. BushidoIT.com

Temat: Testy usability a uzytkownicy

"Dobrze zbudować sobie taką bazę na przyszłość."

Hmm, czy testowanie serwisow na tych samych uzytkownikach ma sens? Czy uzytkownik taki jest miarodajny i czy wciaz mozna uwazac go za stosunkowo standardowa osobe odwiedzajaca serwis? Wydaje mi sie ze nie. Podczas testowania roznych serwisow niejednokrotnie zdarzaly sie pytania ktore sie powtarzaja.

Do czego strona sluzy
Jaka jest nazwa
Co przedstawia logo
etc...

uzytkownik po przeprowadzaniu n testow bedzie juz odruchowo zwracal uwage na te aspekty witryny, wiec moim osobistym zdaniem ponowne wykorzystywanie tych samych osob nie wchodzi w gre. Oczywiscie wyjatkiem sa tu wszelkiego rodzaju systemy intranetowe, czy tez test w ktorych nalezy sprawdzic funkcjonalnosc serwisu.

Z tego tez powodu, w koncu skoncza mi sie znajomi ^^ a z najomych znajomych tez nie ma w wystarczajacej ilosci (pewnie na pare testow starczy :) ). Same testy w firmie zaczelismy przeprowadzac stosunkowo niedawno, z tad te pytania.

Aktualen pozostaje wiec rowniez moje 2gie pytanie... nie moge wystawic zbiorczej umowy bo jest ona zawsze tylko jednorazowa. W jaki sposob rozwiazac wiec problem rozliczania, tak aby po ewentualnych odwiedzinach pani ze skarbowki nie placic bajonskich kar?

dziekuje za dotychczasowe odpowiedzi i pozdrawiam
Wojciech Skowronek
Link do wypowiedziLink
Bartosz T.

Bartosz T. One Man Army

Temat: Testy usability a uzytkownicy

Z tego tez powodu, w koncu skoncza mi sie znajomi ^^ a z najomych znajomych tez nie ma w wystarczajacej ilosci (pewnie na pare testow starczy :) ). Same testy w firmie zaczelismy przeprowadzac stosunkowo niedawno, z tad te pytania.

Dlatego też, sens istnienia mają firmy specjalizujące się w przeprowadzaniu badań użyteczności i funkcjonalności.
Link do wypowiedziLink
Patryk Pawlikowski

Patryk Pawlikowski Rób to co kochasz,
wtedy zrobisz to
dobrze!

Temat: Testy usability a uzytkownicy

Wojciech S.:
"Dobrze zbudować sobie taką bazę na przyszłość."

Hmm, czy testowanie serwisow na tych samych uzytkownikach ma sens?

Oczywiście że nie, w budowaniu bazy chodzi o zbieranie wszystkich aplikacji a do testów wykorzystanie tylko grupy celowej, pozostałe kandydatury są w pogotowiu na kolejne testy. Co do formy rozliczania to umowa o dzieło będzie chyba tu najodpowiedniejszą.

Pozdrawiam
Link do wypowiedziLink
Wojciech S.

Wojciech S. BushidoIT.com

Temat: Testy usability a uzytkownicy


Oczywiście że nie, w budowaniu bazy chodzi o zbieranie wszystkich aplikacji a do testów wykorzystanie tylko grupy celowej, pozostałe kandydatury są w pogotowiu na kolejne testy.


Tez o tym myslelismy, a masz moze jakis pomysl skad brac aplikacje do tego typu bazy? W jaki sposob szukac ludzi do testow?


Co do formy rozliczania to umowa o dzieło będzie chyba tu najodpowiedniejszą.


Ale jest dosc klopotliwa od strony ksiegowej. Kazda osobe trzeba osobno rozliczyc, a na poczatku roku do kazdej wyslac pita...
Link do wypowiedziLink
Patryk Pawlikowski

Patryk Pawlikowski Rób to co kochasz,
wtedy zrobisz to
dobrze!

Temat: Testy usability a uzytkownicy

Wojciech S.:
Tez o tym myslelismy, a masz moze jakis pomysl skad brac aplikacje do tego typu bazy? W jaki sposob szukac ludzi do testow?

Oczywiście że mam sposób. Proponuję dać ogłoszenie w którym jest mowa o poszukiwanych osobach chętnych do testowania. Nawet niema potrzeby charakteryzować konkretnie profilu, więc interesuje to wszystkich. Ważne aby dopisać stawkę za taki test oraz to że NIE MUSZĄ podawać danych osobowych, potrzebujecie tylko ich profil życiowo/zawodowych. To ważne ponieważ z zasady ludzie bardzo niechętnie podają swoje dane, tu unikasz problemu. Polecam darmowe serwisy ogłoszeniowe takie jak gumtree.pl
Link do wypowiedziLink
Wojciech S.

Wojciech S. BushidoIT.com

Temat: Testy usability a uzytkownicy


Ważne aby dopisać stawkę za taki test oraz to że NIE MUSZĄ podawać danych osobowych, potrzebujecie tylko ich profil życiowo/zawodowych. To ważne ponieważ z zasady ludzie bardzo niechętnie podają swoje dane, tu unikasz problemu.


Zazwyczaj ich jednak potrzebujemy :) Wielu klientow wymaga od nas poufnosci, wiec i my musimy jej wymagac od testerow... bez odpowiedniego imiennego oswiadczenia zazwyczaj sie nie obejdzie... ale to juz jest odejscie od tematu... dzieki za rade, sprobujemy z ogloszeniem. Byloby fajnie gdyby wypowiedzial sie rowniez ktos kto ma doswiadczenie w rozliczaniu z takimi osobami :)

pozdrawiam
Link do wypowiedziLink
Jarek Muras

Jarek Muras eyetracking.pl

Temat: Testy usability a uzytkownicy

1. My zwykle przy większych projektach korzystamy z usług firmy rekrutacyjnej, która dostarcza nam target. Zwykle dzieje sie to w przypadkach kiedy robimy jednocześnie FGI. Przy mniejszych projektach rekrutujemy poprzez ogłoszenia, ale czasem zadarza się jak jest mała i w miare ogólny target że bierzemy znajomych

2. W temacie rozliczeń robimy to na dwa sposoby, albo wystawiamy umowy o dzieło przy większych badaniach, lub bez umowy dajemy kase do ręki i wystawiamy rachunek. W drugim przypadku zdarza się tak że klient (np firma z branży kosmetycznej) daje nam gadżety i wtedy z userami rozliczamy się barterowo :)

Dodatkowo testerzy podpisują umowę o poufności oraz kwestionariusz osobowy i zgode na przetwarzanie danych osobowych.

Swoją drogą jakiś czase temu myślałem o czymś takim jak otwarta baza testerów. Gdzie każdy się może zgłosić i wrazie potrzeby zostanie zaproszony na badanie.
Link do wypowiedziLink

konto usunięte

Temat: Testy usability a uzytkownicy

Jakiś powód, by jej nie stworzyć?

W sumie mam 20% czasu w pracy wolnego…
Link do wypowiedziLink
Marcin Charkiewicz

Marcin Charkiewicz Manager w Orange;
nauczyciel
akademicki

Temat: Testy usability a uzytkownicy

1. Nie należy rekrutować użytkowników z grona własnych znajomych.

2. Nie należy brac do badania osoby, która w przeciągu ostatniego pół roku brała udział w jakichkolwiek badaniach konsumenckich, a w szczególności w testach użyteczności. Tworzymy w ten sposób tzw. "dobrą osobę badaną", czyli kogoś, kto nie zachowuje się w sposób naturalny, a modyfikuje swoje działania zależnie od naszych oczekiwań.

3. Te i inne kryteria rekrutacyjne reguluje m.in. kodeks ESOMAR i inne dobre praktyki biznesowe. Sa to podstawowe standardy i firmy/badacze ich nie przestrzegający nie będą nigdy poważnie traktowani przez świadomych klientów.

4. Kryterium 30-50 lat jest tak szerokie, że nie potrzeba żadnej szczególnej akcji rekrutacyjnej. Wystarczy kilkadziesiąt rozmów telefonicznych, by znaleźć próbę. Gorzej, gdy potrzebujemy np. kobiet w wieku 18-24 o dużych umiejętnościach obsługi komputera (tzn...), mających doświadczenie w korzystaniu z bankowości elektronicznych, mówiących po angielsku i posiadających w domu łącze typu ADSL (chociaż i to nie są wyrafinowane kryteria, miałem dużo trudniejsze nieraz). Wtedy zwykle sięga się do wyspecjalizowanych firm rekrutacyjnych, bo te posiadają stosowne bazy danych i dedykowanych "łapaczy".

5. Płacić za udział w badaniu wolno, chociaż teoretycznie idealnie jest tego nie robić. W praktyce nie dostrzegam istotnych różnic w zaangażowaniu, pod warunkiem dodatkowego screeningu na użytkownikach pod kątem motywacji wzięcia udziału w badaniu. Skrajna finansowa wyklucza usera.

6. Tak, wynagordzenie za udział w badaniu powinno być rejestrowane, powinna być spisana umowa o dzieło (bądź dzieło twórcze) i uwzględnione w podatku.
Link do wypowiedziLink
Maciek Lipiec

Maciek Lipiec User Experience
Director, K2
Internet S.A.

Temat: Testy usability a uzytkownicy

Marcin C.:
1. Nie należy rekrutować użytkowników z grona własnych znajomych.

No nie zgodzę się, że to takie straszne. Oczywiście lepiej jest robić wszystko profesjonalnie, ale czasem jest to jedyna możliwa, szybka i tania opcja, gdy stajemy przed wyborem to albo nic.
Oczywiście ważne, żeby ci znajomi nie stali się zawodowymi badanymi i żeby nie byli to psychologowie, socjologowie czy programiści :> chyba że taka jest grupa celowa.
Link do wypowiedziLink
Robert Drózd

Robert Drózd WebAudit / Świat
Czytników

Temat: Testy usability a uzytkownicy

Marcin C.:
2. Nie należy brac do badania osoby, która w przeciągu ostatniego pół roku brała udział w jakichkolwiek badaniach konsumenckich, a w szczególności w testach użyteczności. Tworzymy w ten sposób tzw. "dobrą osobę badaną", czyli kogoś, kto nie zachowuje się w sposób naturalny, a modyfikuje swoje działania zależnie od naszych oczekiwań.

Racja jeśli chodzi o różne rodzaje badań rynkowych, testy produktu, fokusy itd.

Natomiast co do testów użyteczności nie jest to chyba aż takie ważne obostrzenie. Jak niby ma zmodyfikować swoje działanie ta osoba? Bardziej się zaangażuje? To nawet lepiej. W "głośnym myśleniu" może gadać bzdury żeby wypaść jak najlepiej - ale i tak przede wszystkim liczy się realizacja zadań.

Oczywiście jest zasada, żeby nie wychowywać "ekspertów", którzy pułapki nawigacji będą znali jak własną kieszeń; ale nie potrafię ocenić po ilu różnych testach badani tacy się stają.
Link do wypowiedziLink
Marcin Charkiewicz

Marcin Charkiewicz Manager w Orange;
nauczyciel
akademicki

Temat: Testy usability a uzytkownicy

Maciek L.:
Marcin C.:
1. Nie należy rekrutować użytkowników z grona własnych znajomych.

No nie zgodzę się, że to takie straszne. Oczywiście lepiej jest robić wszystko profesjonalnie, ale czasem jest to jedyna możliwa, szybka i tania opcja, gdy stajemy przed wyborem to albo nic.
Oczywiście ważne, żeby ci znajomi nie stali się zawodowymi badanymi i żeby nie byli to psychologowie, socjologowie czy programiści :> chyba że taka jest grupa celowa.


Tu się nie ma co zgadzać, bądź nie :) to jest wymóg standardowy. Jeżeli się tego nie przestrzega, to wyniki badania są nie do obrony i nie do zweryfikowania.
Poza tym jest OGROMNA różnica pomiędzy badaniem z udziałem osób mi znajomych, a nieznajomych. Dla celów badawczych robiłem takie porównania i jestem pewien, że badania na osobach znajomych znacznie tracą na rzetelności.
Poza wszystkim: tak jak idąc do lekarza czy psychologa chcemy wiedzieć, że przestrzega kodeksu etyki zawodowej, tak samo zlecając badanie mamy prawo oczekiwać tego samego, czyli badań w zgodzie ze sztuką. Ja bym nie zlecił badania komuś, kto to olewa, bo jak olewa to, to pewnie i do innych rzeczy nie przywiązuje wagi.
Link do wypowiedziLink
Marcin Charkiewicz

Marcin Charkiewicz Manager w Orange;
nauczyciel
akademicki

Temat: Testy usability a uzytkownicy

Robert D.:

Racja jeśli chodzi o różne rodzaje badań rynkowych, testy produktu, fokusy itd.

Natomiast co do testów użyteczności nie jest to chyba aż takie ważne obostrzenie. Jak niby ma zmodyfikować swoje działanie ta osoba? Bardziej się zaangażuje? To nawet lepiej. W "głośnym myśleniu" może gadać bzdury żeby wypaść jak najlepiej - ale i tak przede wszystkim liczy się realizacja zadań.

Oczywiście jest zasada, żeby nie wychowywać "ekspertów", którzy pułapki nawigacji będą znali jak własną kieszeń; ale nie potrafię ocenić po ilu różnych testach badani tacy się stają.


Ponownie: to jest standard badania konsumenckiego. Mało kiedy testy uzyteczności robi się w oderwaniu od innych elementów "new usability", czyli np. wywiadu rodem z IDI. raz, że to sztuczne. Dwa, że nie zapytanie o opinię użytkownika psuje badanie, bo sprawia wrażenie, że nie traktujemy go jako gracza podczas testu.

I tak poza wszystkim: to przecież naprawdę nie jest wielki wymóg, żeby nie robić badania 5 raz na pani Basi, jak można zaprosić panią Kasię. Robienie z tego problemu przez firmę badawczą świadczyłoby o braku profesjonalizmu. Sorry, ale tak to widzę również jako osoba, ktora zlecała badania, a nie tylko sama je wykonywała. Co więcej: zapewniam, że na świecie - a z kilkoma firmami w kilku krajach miałem do czynienia w zakresie user testów - nie jest to tematem. Równajmy w tamtym kierunku :)
Link do wypowiedziLink
Jarek Muras

Jarek Muras eyetracking.pl

Temat: Testy usability a uzytkownicy

Ja jestem bardzo ciekaw jak wymogi o których napisałeś mają się do badań pomiarowych takich jak np eyetracking. O ile w przypadku wywiadów typ relacji z respondentam ma znaczenie to w przypadku et ciężko mi sobie to wyobrazić.

Podobnie zastanawia mnie konieczność rezygnowania z "dobrej osoby badanej", bo takie właśnie osoby są najlepsze na grupe kreatywną...
Link do wypowiedziLink
Marcin Charkiewicz

Marcin Charkiewicz Manager w Orange;
nauczyciel
akademicki

Temat: Testy usability a uzytkownicy

Jarek M.:
Ja jestem bardzo ciekaw jak wymogi o których napisałeś mają się do badań pomiarowych takich jak np eyetracking. O ile w przypadku wywiadów typ relacji z respondentam ma znaczenie to w przypadku et ciężko mi sobie to wyobrazić.

Podobnie zastanawia mnie konieczność rezygnowania z "dobrej osoby badanej", bo takie właśnie osoby są najlepsze na grupe kreatywną...

1) eyetracking jest techniką pomocniczą, nie wystarcza, by usprawnić usługę. Samo stwierdzenie "użytkownicy patrzyli tu, a tam nie", to dużo za mało. Trzeba dociec przyczyn, zastanowić się czy to dobrze etc. Do tego potrzebny jestr IDI bądź inna technika rodem z badań marketingowych.

2) grupa kreatywna ma się nijak do badań konsumenckich. Zwykle konstruuje się ją z zawodowców, dla których jest wręcz standardowym dodatkowym zajęciem udział w takich sesjach, znają sami odpowiednie techniki i są zgrani. To nie jest badanie marketingowe i nie podlega pod kodeks ESOMAR ani inne wytyczne branży badawczej.
Link do wypowiedziLink
Jarek Muras

Jarek Muras eyetracking.pl

Temat: Testy usability a uzytkownicy

Ech bardzo liczyłem na odpowiedz na pierwsze pytanie. Tym bardziej że macie u siebie prawie ten sam eyetracker.

Eyetracking jest oczywiście techniką pomocniczą, co do dociekania przyczyn i IDI... Podam poprostu bardzo prosty przykład z prowadzonych przez nas badań serwisu jednego z banków:

Badani mieli problem ze znalezieniem linku / przycisku prowadzącego do formularza założenia konta onLine. Nikt z nich nie był w stanie powiedzieć dlaczego chociaż wszscy stwierdzali że mieli z tym problem, oczywiście pojawiały się jakieś spontanicznie wygenerowane z dobrej woli współpracy powody, całkowicie niezwiązane z rzeczywistością. Analiza filmów z rejestracji ET już po 3 osobach wskazała przyczynę, w postaci konkretnych elementów zakłucających uwagę znajdujących się podrodze do szukanego elementu. Dodatkowo analiza wykazała że badani pobieżnie lub częściowo czytali tekst - i szukali dalej ! co dowodzi źle zredagowanego labelu, którego nikt z badanych nie rozumiał po pierwszym przeskanowaniu...
Link do wypowiedziLink
Marcin Charkiewicz

Marcin Charkiewicz Manager w Orange;
nauczyciel
akademicki

Temat: Testy usability a uzytkownicy

Jarek M.:
Ech bardzo liczyłem na odpowiedz na pierwsze pytanie. Tym bardziej że macie u siebie prawie ten sam eyetracker.

Eyetracking jest oczywiście techniką pomocniczą, co do dociekania przyczyn i IDI... Podam poprostu bardzo prosty przykład z prowadzonych przez nas badań serwisu jednego z banków:

Badani mieli problem ze znalezieniem linku / przycisku prowadzącego do formularza założenia konta onLine. Nikt z nich nie był w stanie powiedzieć dlaczego chociaż wszscy stwierdzali że mieli z tym problem, oczywiście pojawiały się jakieś spontanicznie wygenerowane z dobrej woli współpracy powody, całkowicie niezwiązane z rzeczywistością. Analiza filmów z rejestracji ET już po 3 osobach wskazała przyczynę, w postaci konkretnych elementów zakłucających uwagę znajdujących się podrodze do szukanego elementu. Dodatkowo analiza wykazała że badani pobieżnie lub częściowo czytali tekst - i szukali dalej ! co dowodzi źle zredagowanego labelu, którego nikt z badanych nie rozumiał po pierwszym przeskanowaniu...


Ja nie neguję wartości eyetrackera, przecież mocno forsowałem jego zakup :) I to nie tylko w Polsce zresztą, Francuzów tez skutecznie przekonywałem.
Przykład który podałeś jest ciekawy i przyznaję, że takie się zdarzają. Ale żeby być uczciwym: częściej jest na odwrót, gdy na eyetrackerze wiele wychodzi, ale by to zinterpretować i wykorzystac potrzebny jest wywiad albo inne techniki rodem z bardziej klasycznych testów konsumenckich :)
Stąd powinno się przestrzegać zaleceń dla testów marketingowych.
Link do wypowiedziLink
« Wróć do tematów
Odpowiedz

Podobne tematy


Następna dyskusja:

Accessibility i Usability




Wyślij zaproszenie do
Anuluj