GoldenLine
Zaloguj się
Marcin Jóźwicki

Marcin Jóźwicki Analityk NPS/CX

Temat: Raport OFBOR na temat sondazy - dla dociekliwych i...

Gdyby ktoś był bardziej zainteresowany tematyką to od jakiegoś czasu można sobie poczytać. Jest dosyć długi i pisany akademickim językiem, ale mimo wszystko zainteresowanym polecam...

http://www.ofbor.pl/files/Ocena_metodologii_sondazy_wy...
Link do wypowiedziLink
Michał Bojanowski

Michał Bojanowski socjolog, analityk

Temat: Raport OFBOR na temat sondazy - dla dociekliwych i...

Raport rzeczywiście ciekawy i do tego bardzo potrzebny.

Niestety najważniejsze kwestie zostały w nim pominięte, przede wszystkim, jak się domyślam, z powodu braku możliwości dotarcia do odpowiednich danych:

1. Poziom realizacji próby w poszczególnych badaniach

2. Sposób traktowania odmów przez poszczególne firmy badawcze

3. Sposób wyznaczania przedziałów ufności.

Wg mnie czynniki omówione w raporcie w odróżnieniu do powyższych mają znaczenie co najwyżej drugorzędne.

Ciekaw jestem co na ten temat myślą praktycy z firm badawczych, których zdajsie nie mało na tym forum?Michał Bojanowski edytował(a) ten post dnia 06.03.11 o godzinie 02:40
Link do wypowiedziLink

konto usunięte

Temat: Raport OFBOR na temat sondazy - dla dociekliwych i...

Michale w podsumowaniu jest mowa o większości aspektów na które zwracasz uwagę:
Michał Bojanowski:
Raport rzeczywiście ciekawy i do tego bardzo potrzebny.

Niestety najważniejsze kwestie zostały w nim pominięte, przede wszystkim, jak się domyślam, z powodu braku możliwości dotarcia do odpowiednich danych:

1. Poziom realizacji próby w poszczególnych badaniach

Cytat:
Czynnikiem osłabiającym trafność pomiaru jakiegokolwiek zjawiska są błędy systematyczne związane z niskim odsetkiem realizacji próby. Na ogół niski response rate
oznacza, że przebadana zbiorowość różni się od struktury populacji, co dotyczy również
zachowań wyborczych. Punktem odniesienia mogą być standardy stosowane w badaniach akademickich, np. w Europejskim Sondażu Społecznym, uznawanym za najbardziej zaawansowane metodologicznie badanie typu surveyowego – wymagany odsetek
realizacji wynosi 70 procent założonej próby. Uzyskany przez nas materiał wskazuje,
że w niektórych sondażach przedwyborczych odsetek ten kształtował się na poziomie
10 – 20, co sugeruje, że jest małe prawdopodobieństwo, aby uzyskany w nich wynik
odzwierciedlał dokładnie preferencje wyborcze. Najwyższe wskaźniki realizacji nie wychodziły poza 40 – 50%, co jest bliskie normy w większości krajów zachodnich. Należy
jednak podkreślić, że systematyczne odchylenia związane z niskim response rate (bo
jakieś być na pewno musiały) nie zaważyły w znaczącym stopniu na trafności wyników

2. Sposób traktowania odmów przez poszczególne firmy badawcze
Implicite raport stwierdza, iż była presja czasu, więc prawdopodobnie nic nie robiono z nonrespondentami

3. Sposób wyznaczania przedziałów ufności.
Kolejny cytat: Firmy nie korzystają z możliwości oferowanych przez standardowe pakiety statystyczne w zakresie estymacji parametrów i błędów standardowych bardziej efektywną
metodą bootstraping, nie kontrolują efektu outliers ani nie stosują imputacji w celu
osłabienia efektu „braków danych”. W badaniach społecznych korygowanie tych zjawisk
na etapie analizy danych staje się normą, a nieuwzględnianie obniża ocenę profesjonalizmu badacza.

Moje (małe) doświadczenia pokrywają się z wnioskami raportu. Choć uważam, że w branży powinna pojawić się certyfikacja i egzaminy na badaczy - spotkałem wielu badaczy ilościowych którzy nie wiedzieli prawie nic o statystyce, nie mówiąc już odróżnieniu trafności od rzetelności, błędu systematycznego od losowego etc etc
Link do wypowiedziLink
Michał Bojanowski

Michał Bojanowski socjolog, analityk

Temat: Raport OFBOR na temat sondazy - dla dociekliwych i...

Może źle się wyraziłem. Nie chodziło mi, o to, że autorzy raportu wątki 1-3 po prostu zignorowali. Owszem, wspominają o nich min. w paragrafach, które przytoczyłeś. Chodzi raczej o to, że ich znaczenie oraz uwaga poświęcona im w raporcie jest według mnie wysoce niewystarczająca. Kluczowym powodem, z którego tak się stało nie była świadoma decyzja autorów a najpewniej fakt, iż firmy nie dostarczyły odpowiednio dokładnych informacji dotyczących realizacji sondaży przedewyborczych, które analizuje się w raporcie.

ad 1.

To, że w badaniach response rate jest niski jest wiedzą niemalże powszechną. Od tego typu raportu oczekuje się jednak analizy, która pokazuje jakie są tego konsekwencje dla precyzji pokazywanych wyników.

ad 2.
Implicite raport stwierdza, iż była presja czasu, więc
prawdopodobnie nic nie robiono z nonrespondentami

Tu również oczekiwałbym jakie to ma skutki na jakość końcowych wyników. Inna sprawa, że trochę to dziwna strategia: Musimy policzyć ile jest 2 + 2, ale że działamy pod presją czasu więc przyjmijmy, że to jest 5 a nie 4...

ad 3.

Szerokość przedziału ufności to jest tak naprawdę prawdziwy "towar", który firmy badawcze sprzedają swoim klientom. W tej chwili sytuacja wygląda tak, że np. jakaś stacja TV zamawia sondaż poparcia partii politycznych, sondaż jest przeprowadzany na próbie 1000 osób z RR rzędu 30%, a następnie stacja TV prezentuje wyniki ekscytując się zmianami w poparciu partii wielkości rzędu pojedynczego punktu procentowego. Bardzo wątpię, żeby taki sondaż dostarczał aż tak precyzyjne wyniki. Szkoda że w raporcie się tym nie zajęto.

Poza powyższymi rzeczami w raporcie jest sporo ciekawych wyników, np. ten, że badania CATI dawały średnio lepsze prognozy niż badania face2face.
Link do wypowiedziLink
Paweł P.

Paweł P. Operations Director,
Ipsos

Temat: Raport OFBOR na temat sondazy - dla dociekliwych i...

Witam,
ciężko w kilku zdaniach ten raport skomentować. Ma z pewnością elementy dobre, ale zawiera też kompletnie "dziwaczne" rezultaty/wnioski.

(1) poruszone już przed przedmówców dane o RR, traktowanie odmów, przedziały ufności

Jasne jest, że firmy nie udostępniły całej "kuchni" (TNS również). Natomiast jak widzę to co zrobiono z udostępnionymi danymi i udzielonymi informacjami to nie wiem co myśleć.
W raporcie zamieszcza się np. dziwaczną analizę non-response. Według niej wychodzi, że wbrew logice, wiedzy ogólnej z innych badań itd. przy realizacji badań przedwyborczych jest trudniej zrealizować wywiad na wsi niż w mieście. To jest "odkrycie" i nowość w mojej ponad 10 letniej pracy w agencji badawczej. Z drugiej strony autorzy nie zadają sobie chyba pytania, dlaczego miałoby tak być? We wszystkich badaniach jest odwrotnie, a tutaj jest tak i to dowód, że ankieterzy oszukują ... ciekawe bez kontroli to stwierdzili ...

(2) cały blok modeli regresji

Analiza sama w sobie może i ciekawa. Pytanie tylko na ile wartościowa. Modele te cechuje z reguły niska jakość (współczynnik wyjaśnianej wariancji R kwadrat czasami poniżej 0.1)

(3) analiza sondażu z 20 czerwca

To również gratka. Przypomnę, że 20 czerwca mieliśmy wybory. Autorzy analizując jakość tego sondażu nie odnieśli się de facto do wyników. A mieli ku temu najlepszą okazję. Jest dzień wyborów, jest sondaż robiony tego dnia. Oceniamy jego rzetelność porównując wyniki. Nader rzadka to okazja w świecie badań. Autorzy jednak prognozują "coś" z kiepskiej jakości modeli regresji i wyciągają wnioski jak widać.

Można by jeszcze trochę różnych rzeczy dołożyć. Do tematu się odniosłem, głównie żeby zasugerować, iż nie wszystko tam napisane na swoje miejsce w firmach badawczych.
Podnoszony już cytat:
Firmy nie korzystają z możliwości oferowanych przez standardowe pakiety statystyczne w zakresie estymacji parametrów i błędów standardowych bardziej efektywną metodą bootstraping, nie kontrolują efektu outliers ani nie stosują imputacji w celu osłabienia efektu „braków danych”. W badaniach społecznych korygowanie tych zjawisk na etapie analizy danych staje się normą, a nieuwzględnianie obniża ocenę profesjonalizmu badacza.
wziął się np. z tego iż przynajmniej my jako TNS odpowiedzieliśmy iż nie udzielimy na te pytania odpowiedzi.
Link do wypowiedziLink
Michał Bojanowski

Michał Bojanowski socjolog, analityk

Temat: Raport OFBOR na temat sondazy - dla dociekliwych i...

Dzięki za głos w dyskusji.
(1) poruszone już przed przedmówców dane o RR, traktowanie odmów, przedziały ufności

Jasne jest, że firmy nie udostępniły całej "kuchni" (TNS również). Natomiast jak widzę to co zrobiono z udostępnionymi danymi i udzielonymi informacjami to nie wiem co myśleć.
W raporcie zamieszcza się np. dziwaczną analizę non-response. Według niej wychodzi, że wbrew logice, wiedzy ogólnej z innych badań itd. przy realizacji badań przedwyborczych jest trudniej zrealizować wywiad na wsi niż w mieście.

Doskonale rozumiem to, że "audytowane" firmy nie chciały udostępniać tych wszystkich informacji. To jest warsztat i na tym po części polega ten biznes. Są to jednak informacje o centralnym znaczeniu dla odpowiedzi na pytania, które postawili sobie OFBOR i autorzy raportu. To raczej średnio rzetelny audyt, jeżeli audytorowi nie udostępnia się najważniejszych danych. I nie jest broń boże zarzut do autorów, tylko pewnie raczej do sposobu, w jaki OFBOR pracę nad tym raportem zaaranżował. Wydaje mi się, że możliwe by było zorganizowanie tak, aby, z jednej strony, zachowana była tajemnica handlowa i know-how poszczególnych firm, a z drugiej raport był w stanie rzetelnie wypowiedzieć się na postawione pytania.

Muszę powiedzieć, że ogólnie jest dość rozczarowany tym raportem. Również ze względu na to, że jego autorzy do czołówka polskiej socjologii jeżeli chodzi o badania, metodologię ich realizacji, sondaże wyborcze etc. Mam wrażenie, że właśnie z powodu braku dostępu do kluczowych danych autorzy musieli się ograniczyć do wniosków niejako pośrednich. Stąd też może trochę "dziwacznych" analiz i wniosków, które mają nie wiele wspólnego z najważniejszym postawionym pytaniem: Skąd się wzięła taka rozbieżność sondaży przed wyborami prezydenckimi?

(2) cały blok modeli regresji

Analiza sama w sobie może i ciekawa. Pytanie tylko na ile wartościowa. Modele te cechuje z reguły niska jakość (współczynnik wyjaśnianej wariancji R kwadrat czasami poniżej 0.1)

Mniejsze wartość R^2, są głównie efektem sporych rozbieżności pomiędzy poszczególnymi sondażami, a w drugiej kolejności z nieliniowego trendu w prognozach wraz ze zbliżaniem się daty wyborów. Z poznawczego punktu widzenia to, że R^2 małe czy duże i tak nic wnosi.

Firmy nie korzystają z możliwości oferowanych przez standardowe pakiety statystyczne w zakresie estymacji parametrów i błędów standardowych bardziej efektywną metodą bootstraping, nie kontrolują efektu outliers ani nie stosują imputacji w celu osłabienia efektu „braków danych”. W badaniach społecznych korygowanie tych zjawisk na etapie analizy danych staje się normą, a nieuwzględnianie obniża ocenę profesjonalizmu badacza.
wziął się np. z tego iż przynajmniej my jako TNS odpowiedzieliśmy iż nie udzielimy na te pytania odpowiedzi.

Szczerze mówiąc też nie za bardzo zrozumiałem ten wywód. To, że ktoś nie udziela informacji wcale nie sugeruje, że czegoś tam nie robi profesjonalnie.

Swoją drogą jestem ciekaw, czy jak ktoś zamawia takie badanie, np. sondaż przedwyborczy, to co dostaje? Tylko tabelkę z procentowym poparciem kandydatów? Tabelkę z przedziałowymi oszacowaniami dla poszczególnych kandydatów? Dane surowe?Michał Bojanowski edytował(a) ten post dnia 08.03.11 o godzinie 11:45
Link do wypowiedziLink
Paweł P.

Paweł P. Operations Director,
Ipsos

Temat: Raport OFBOR na temat sondazy - dla dociekliwych i...

Michał Bojanowski:
Swoją drogą jestem ciekaw, czy jak ktoś zamawia takie badanie, np. sondaż przedwyborczy, to co dostaje? Tylko tabelkę z procentowym poparciem kandydatów? Tabelkę z przedziałowymi oszacowaniami dla poszczególnych kandydatów? Dane surowe?

Zgodnie z życzeniem i zamówieniem klienta:)
Czasami są to wszystkie rzeczy, które wymieniłeś (no może poza przedziałami, ale to może wyliczyć dysponując informacją o wielkości błędu losowego).
Link do wypowiedziLink
Marcin Jóźwicki

Marcin Jóźwicki Analityk NPS/CX

Temat: Raport OFBOR na temat sondazy - dla dociekliwych i...

A mnie zainteresował następująca kwestia:
Cytat:
"Z doświadczeń
tych wynika bowiem, że na wsi odmowy są znacząco rzadsze. Nie można więc
wykluczyć, że w omawianych badaniach przedwyborczych część ankieterów pracowała nieuczciwie. Nie podejmując próby realizacji wywiadów pod „trudniejszymi” adresami,tzn. na wsi, zaznaczała odmowę. Pokazuje to konieczność objęcia kontrolą nie tylko wywiadów zrealizowanych, ale także niezrealizowanych. Jest to standard w niektórych badaniach międzykrajowych."

Wyobraźmy sobie ankietera, który wsiada w autobus jedzie 60 km do wioski, która została wylosowana do badania. Dociera na miejsce...i co...zamiast zrobić jak najwięcej wywiadów i jak najszybciej stamtąd uciekać do domu na kolację...to wpisuje odmowy pod adresami, które są trudne i nawet nie pyta o możliwość wywiadu. Trudne - czyli jakie? Takie gdzie psy się pałętają, gdzie jest wysokie ogrodzenie...A jak wszystkie domostwa są takie?
Link do wypowiedziLink
Dagmara D.

Dagmara D. Field Research
Poland - Badania
rynku - moja miłość.
Wykł...

Temat: Raport OFBOR na temat sondazy - dla dociekliwych i...

Jeśli jedzie 60 km i a do zrobienia niemożliwą liczbę adresów - zacznie ściemniać. Po prostu zrobi pół :):) Żeby wrócić do domu. Drugi raz nie pojedzie, bo nikt mu nie zapłaci. Proste.

I co gorsza - ja go rozumiem. Jeśli zleceniodawca nie sięga aż tak daleko wyobraźnią ile można zrobić wywiadów dziennie, a gdzie zaczyna się niemożliwe...

P.S. proponuję robić kontrolę tam, gdzie nikogo nie było w domu :):)Dagmara D. edytował(a) ten post dnia 11.03.11 o godzinie 01:44
Link do wypowiedziLink

konto usunięte

Temat: Raport OFBOR na temat sondazy - dla dociekliwych i...

Trudne - czyli jakie? Takie gdzie psy się
pałętają, gdzie jest wysokie ogrodzenie...A jak wszystkie domostwa są takie?

Ja bardzo miło wspominam wywiady na wsiach. Fakt, ciężko dojechać, jeszcze ciężej wrócić, psy szczekają, wywiad trwa dłużej... Ale ludzie są ufniejsi, mają czas, nie ściemniają. I kawką poczęstują i serniczkiem... :)Aleksandra Łach edytował(a) ten post dnia 11.03.11 o godzinie 03:37
Link do wypowiedziLink
Dagmara D.

Dagmara D. Field Research
Poland - Badania
rynku - moja miłość.
Wykł...

Temat: Raport OFBOR na temat sondazy - dla dociekliwych i...

Teraz już nie jest tak kolorowo... ale i tak lepiej niż w dużych miastach :)
Link do wypowiedziLink
Marcin Jóźwicki

Marcin Jóźwicki Analityk NPS/CX

Temat: Raport OFBOR na temat sondazy - dla dociekliwych i...

Dagmara D.:
Jeśli jedzie 60 km i a do zrobienia niemożliwą liczbę adresów - zacznie ściemniać. Po prostu zrobi pół :):) Żeby wrócić do domu. Drugi raz nie pojedzie, bo nikt mu nie zapłaci. Proste.


Dokładnie. Zazwyczaj w badaniach na próbach reprezentatywnych w takiej wiosce losowanych jest 5- 10 wywiadów. Jak zrobi 4 i zastanie go noc, to jest takie prawdopodobieństwo, że nieuczciwy ankieter ostatni zrobi go niezgodnie z zasadami losowania lub w domu... Co mu da, że wpisze sobie więcej odmów?...

Jedyne co mi przychodzi do głowy to taka sytuacja, w której zrobi wywiady z kimkolwiek, bez reguły losowania gospodarstw domowych zwanych "Random Routem" a żeby uwiarygodnić swoją pracę wpisuje odmowy, że niby chodził i pytał...

Szkoda, że żaden aktywny ankieter nie przyłączył się do dyskusji :) ...
Link do wypowiedziLink
Marcin Jóźwicki

Marcin Jóźwicki Analityk NPS/CX

Temat: Raport OFBOR na temat sondazy - dla dociekliwych i...

Aleksandra Łach:
Trudne - czyli jakie? Takie gdzie psy się
pałętają, gdzie jest wysokie ogrodzenie...A jak wszystkie domostwa są takie?

Ja bardzo miło wspominam wywiady na wsiach. Fakt, ciężko dojechać, jeszcze ciężej wrócić, psy szczekają, wywiad trwa dłużej... Ale ludzie są ufniejsi, mają czas, nie ściemniają. I kawką poczęstują i serniczkiem... :)Aleksandra Łach edytował(a) ten post dnia 11.03.11 o godzinie 03:37

Nadal Response Rate na wsiach jest około 2 razy lepszy niż w miastach. Występują też różnice geograficzne i dużo zależy też ankiety, przygotowania badania itp.

Potwierdzam, ze swoich doświadczeń ankieterskich, że przeprowadzanie wywiadów na wsiach jest "o niebo" lepsze niż w miastach, zwłaszcza dużych. Pamiętam, że nieraz byłem zapraszany na obiad, ciasto, podwożony na dworzec PKS :)

Z drugiej strony bywają i niebezpieczne sytuacje. Kiedyś byłem goniony przez skacowanego syna gospodarza z siekierką, któremu nie spodobało się, że przeprowadzam wywiad z jego ojcem:)
Link do wypowiedziLink
Krzysztof Dudziak

Krzysztof Dudziak Analityk danych

Temat: Raport OFBOR na temat sondazy - dla dociekliwych i...

Dla mnie cała sprawa z tym raportem jest niepoważna. OFBOR najpierw zleca naukowcom ocenę metodologii sondaży, a potem Ci sami członkowie OFBOR'u przesyłają szczątkowe informacje na temat własnych badań. Na co oni liczyli?? Dla kogo miał być ten raport? W tej sytuacji wygląda to na próbę ratowania twarzy, po jakby nie patrzeć, sondażowej kompromitacji - pokazanie "że OFBOR coś z tym robi", a nie rzeczywiste działanie mające na celu podniesienie jakości sondaży wyborczych.
Z resztą to, że nic ten raport nie zmienił już widać. W sondażu jednego członka OFBOR'u jedna partia zdobywa 50%, a w sondażu przeprowadzonym w tym samym czasie przez innego członka OFBOR'u tama sama partia ma 32% (!). Żenada i prosta droga do kolejnej kompromitacji. A później pretensje do polityków, że ci podkopują zaufanie do firm badawczych - dobre...
Link do wypowiedziLink
Maciej B.

Maciej B. Doktorant

Temat: Raport OFBOR na temat sondazy - dla dociekliwych i...

Witam,
czy ktoś z Was zapisał ten raport na dysku? Link niestety jest już nieaktywny. Proszę o kontakt na priv.
pozdr,
MB
Link do wypowiedziLink
Przemysław C.

Przemysław C. opis umarł śmiercią
tragiczną :)))

Temat: Raport OFBOR na temat sondazy - dla dociekliwych i...

Obecne badania sondażowe to kpina w żywe oczy.Same rozbieżności w sondażach różnych ośrodków dyskredytują je całkowicie.Nikt normalny nie wierzy już sondażom,a same ośrodki najlepiej pozamykać.Nie warto czytać jakichkolwiek na ten temat diagnoz, bo to strata czasu.Przemysław C. edytował(a) ten post dnia 03.06.11 o godzinie 21:51
Link do wypowiedziLink
Dagmara D.

Dagmara D. Field Research
Poland - Badania
rynku - moja miłość.
Wykł...

Temat: Raport OFBOR na temat sondazy - dla dociekliwych i...

Przemysław C.:
Obecne badania sondażowe to kpina w żywe oczy.Same rozbieżności w sondażach różnych ośrodków dyskredytują je całkowicie.Nikt normalny nie wierzy już sondażom,a same ośrodki najlepiej pozamykać.Nie warto czytać jakichkolwiek na ten temat diagnoz, bo to strata czasu.
LOL :):) Czy Ty czasem nie bierzesz pensji za robienie badań ????
Zastanawia mnie jak to się stało skoro totalnie nie masz o nich pojęcia ...Dagmara D. edytował(a) ten post dnia 03.06.11 o godzinie 22:04
Link do wypowiedziLink
Przemysław C.

Przemysław C. opis umarł śmiercią
tragiczną :)))

Temat: Raport OFBOR na temat sondazy - dla dociekliwych i...

Dagmara D.:
Przemysław C.:
Obecne badania sondażowe to kpina w żywe oczy.Same rozbieżności w sondażach różnych ośrodków dyskredytują je całkowicie.Nikt normalny nie wierzy już sondażom,a same ośrodki najlepiej pozamykać.Nie warto czytać jakichkolwiek na ten temat diagnoz, bo to strata czasu.
LOL :):) Czy Ty czasem nie bierzesz pensji za robienie badań ????
Zastanawia mnie jak to się stało skoro totalnie nie masz o nich pojęcia ...
Ja proszę Pani nie z tego działu badań:):).
Poza tym jakoś nie kręci mnie pilnowanie swego interesu za wszelką cenę.Przemysław C. edytował(a) ten post dnia 03.06.11 o godzinie 22:16
Link do wypowiedziLink
Dagmara D.

Dagmara D. Field Research
Poland - Badania
rynku - moja miłość.
Wykł...

Temat: Raport OFBOR na temat sondazy - dla dociekliwych i...

Przemysław C.:
Dagmara D.:
Przemysław C.:
Obecne badania sondażowe to kpina w żywe oczy.Same rozbieżności w sondażach różnych ośrodków dyskredytują je całkowicie.Nikt normalny nie wierzy już sondażom,a same ośrodki najlepiej pozamykać.Nie warto czytać jakichkolwiek na ten temat diagnoz, bo to strata czasu.
LOL :):) Czy Ty czasem nie bierzesz pensji za robienie badań ????
Zastanawia mnie jak to się stało skoro totalnie nie masz o nich pojęcia ...
Ja proszę Pani nie z tego działu badań:):).
No po co się wypowiadasz o rzeczach o których nie masz pojęcia -że zadam RETORYCZNE pytanie po raz drugi.
Zastanów się co robisz.
Link do wypowiedziLink
Przemysław C.

Przemysław C. opis umarł śmiercią
tragiczną :)))

Temat: Raport OFBOR na temat sondazy - dla dociekliwych i...

Dagmara D.:
Przemysław C.:
Dagmara D.:
Przemysław C.:
Obecne badania sondażowe to kpina w żywe oczy.Same rozbieżności w sondażach różnych ośrodków dyskredytują je całkowicie.Nikt normalny nie wierzy już sondażom,a same ośrodki najlepiej pozamykać.Nie warto czytać jakichkolwiek na ten temat diagnoz, bo to strata czasu.
LOL :):) Czy Ty czasem nie bierzesz pensji za robienie badań ????
Zastanawia mnie jak to się stało skoro totalnie nie masz o nich pojęcia ...
Ja proszę Pani nie z tego działu badań:):).
No po co się wypowiadasz o rzeczach o których nie masz pojęcia -że zadam RETORYCZNE pytanie po raz drugi.
Zastanów się co robisz.
A po co mam się znać skoro widać efekty pracy tych "rzeczy".Już chyba w Biblii była mowa,że po owocach ich poznacie :):).
Poza tym nikt mi nie płaci,żebym się znał,a statystyka mnie zawsze męczyła.Przemysław C. edytował(a) ten post dnia 03.06.11 o godzinie 22:26
Link do wypowiedziLink
« Wróć do tematów
Odpowiedz

Podobne tematy


Następna dyskusja:

Atrakcyjna oferta pracy dla...




Wyślij zaproszenie do
Anuluj