Temat: Eyetracking a Facebook
Postaram się odpowiedzieć rozwiać wątpliwości :)
Marcin Nagraba:
Myślę, że raport ma raczej marketingową niż badawczą wartość i cięzko jest go traktować poważnie...
Podstawowym błędem jest dobór próby (czemu prawie sami faceci, czemu heavy users, czemu brak osób z przedziału 15-20).
Nie uważam, aby nasz dobór próby był na tyle błędny, aby od razu stwierdzać, że badanie nie ma wartości i nie można go traktować poważnie. Zostało to już po części przedyskutowane w innej grupie (
http://www.goldenline.pl/forum/2292166/eye-tracking-fa..., ale dorzucę jeszcze coś od siebie.
Uznaliśmy, że dobór "reprezentatywnej grupy" (czyli odzwierciedlającej demograficznie realną populację użytkowników Facebooka), nie jest tak bardzo istotny. Po pierwsze w badaniach eyetrackingowych (jak i w różnego rodzaju badaniach użyteczności), nie jest istotne dokładne odwzorowanie użytkowników serwisu. Nie są to badania opinii publicznej, nie są to badania ilościowe a raczej insight, jak użytkownicy korzystają z serwisu. Temat ekstrapolacji wyników z małej próby na populację jest ogólnie głęboki jak rzeka i nie zamierzam go tutaj roztrząsać. Istotne jest to, że w ogóle przeprowadza się badania z użytkownikami, które są bardziej wartościowe niż gdybania ekspertów.
Po drugie uznaliśmy, że odwzorowanie populacji nie ma dużego znaczenia w przypadku badania procesów poznawczych przebiegających w środowisku tworzonym przez użytkowników - wall to zbieranina spraw, które interesują tylko danego użytkownika, reklamy wyświetlane są w zależności od moich zachowań na Facebooku i ogólnie w internecie (o ile nie wylogowuję się z Facebooka). Płeć i wiek nie powinien mieć większego wpływu na to czy czytam informacje, o które sama poprosiłam.
Badani mieli screena a nie klikalna stronę (mi jak coś się podoba to klikam a nie skanuje całego wall'a).
Tak jak zostało to napisane we wstępie raportu - zrobiliśmy tak w celu zachowania pewnej spójności i upodobnienia warunków badania między respondentami. Jeśli każdy mógłby dowolnie przeglądać klikane strony, pojawiłoby się wiele zmiennych wpływających na poziom zainteresowania samym wallem i sposób przeglądania go. Dodatkowo budowa Facebooka (dynamiczne elementy na stronie, ciągły refresh) oraz ograniczenia oprogramowania wykorzystywanego do analizy fiksacji, znacznie utrudniłyby rzetelną analizę takich danych.
Niestety nie ma idealnych metod przeprowadzania badań i każdorazowo badacz musi zdecydować jakie są cele jego badania i jak uzyskać najlepsze odpowiedzi na postawione badania. I czasem trzeba z czegoś zrezygnować.
Poza tym jak się bada 30 osób a potem mówi że 97% respondentów
Jeżeli wiemy, że respondentów było 30, to łatwo policzyć, że 97% to 29 z 30. Chyba nie rozumiem w czym problem.
czy w materiale filmowym pokazuje marzec 2011 a w prezentacji październik 2010
W materiale filmowym jest data publikacji raportu (marzec 2011), a w raporcie jest napisane, że badania zostały przeprowadzone w październiku 2010. Pewnie ktoś może błędnie założyć, że data w filmie to czas badań, ale to nadinterpretacja. Zakładamy, że raport a nie video jest źródłem wiedzy o badaniu. Video ma tylko do tego raportu zachęcać.
to można spodziewać się też innych zbytnich uproszczeń ("dekalog" na końcu to wnioski które bardzo ciężko wprost odnieść do prezentowanych danych)...
Zgadzam się, że tworząc ostateczny kształt dekalogu, skupiliśmy się na tym, aby go nie przegadać i nie dawaliśmy do każdego przykazania rozległych uzasadnień. Z drugiej strony zaznaczyliśmy, że nie opiera się on tylko na samych wynikach, ale też na naszej wiedzy eksperckiej i doświadczeniu w prowadzeniu profili naszych klientów. Jeśli są wątpliwości do zasadności któregoś z przykazań, to chętnie wyjaśnię, jakie były nasze intencje.