Temat: Reprezentatywność badań w internecie
Widzę tu dwie kwestie:
1) Zdecydowanie odczuwam brak analiz porównujących wyniki badań online (access panel vs ankieta wieszana jako pop-up "gdzie popadnie") z f2f i CATI.
W rezultacie wybór metodologii jest podyktowany z jednej strony intuicją badacza, z drugiej - życzeniem i budżetem klienta. To zdecydowanie za mało, by czuć sie naprawdę komfortowo.
Są przypadki oczywiste, gdy natura grupy docelowej sugeruje metodologię. Ale powiedzmy że celem badania jest zebranie opinii użytkowników GL: czy samo zawieszenie ankiety na GL zapewnia reprezentatywność wyników? Raczej nie.
2) Reprezentatywność badań w ogóle jest tak naprawdę rzadko tematem poważnych rozważań. A tymczasem:
- prawdziwie rygorystyczne stosowanie random route jest rzadkością, wiele firm do badań ogólnopolskich stosuje próby kwotowe (ale epatuje klientów "reprezentatywnością")
- niezależnie od metodologii jest problem dotarcia: jak dotrzeć do respondenta, którego notorycznie nie ma w domu? jak dostać się na osiedle zamknięte? jak (i w ogóle czy) nakłaniać ankieterów (ankieterki) by robili wywiady w niebezpiecznych dzielnicach?)
- a potem jest problem odmów - wskaźnik non-response prekracza już 50%.
- wiele badań odbywa się na próbach celowych i w ogóle nie mówimy tu o reprezentatywności (a przynajmniej nie powinniśmy) - tu zazwyczaj wpadają wszystkie testy reklam, produktów itd. W takich przypadkach zakładamy milcząco, że kwotowy dobór próby jest usprawiedliwiony homogeniczną strukturą grupy docelowej, przynajmniej pod względem ważnych dla nas charakterystyk. W tej chwili badania online mieszczą się właśnie w tej kategorii.
Uważam, że w większości przypadków w praktyce powinnismy zmienić pytanie. Zamiast pytać, czy próba zapewnia reprezentatywność, trzeba pytać, czy próba jest odpowiednia do założeń i celów badania. Coraz częściej się okazuje, że gdy musimy dokonać oszacowań (np. wolumetrycznych) dla całej populacji, to wyniki badań trzeba skorygować o dodatkowe informacje