Temat: Extended DISC vs Insights Discovery
Na wstępie odpowiadając na zarzut Artura, który cytuję:
„Inna sprawa, że to Twoja strandardowa i mocno manipulatywna taktyka w naszej dyskusji - pojawiasz się na chwilę, uciekasz od głównego tematu, strzelasz jakąś anegdotką, która ma rzekomo potwierdzić wartość MBTI i znowu znikasz ;)”
Nigdy nie byłem tutaj aktywny i nie zaglądam zbyt często na goldenline (poza moderacją grupy MBTI, zaglądam częściej na linkedin - gdzie grupy MBTI liczą po kilka tysięcy osób). Po prostu życie, rodzina i dużo pracy (w tym związanej z MBTI) uczy koncentracji na rzeczach najważniejszych. Dlatego znając swój kalendarz wcześniej napisałem, że odpowiem po kilku tygodniach – bez jak to pisze Artur ‘strzelania anegdotkami’ – tych którzy są nimi zainteresowani i uważają je za wartościowe, zachęcam do otwarcia nowej dyskusji dotyczącej MBTI i jak mnie zaprosicie, chętnie coś ‘wrzucę’ – a mam z czego ☺
Tak więc poniżej odpowiadam, a powyższy zarzut Artura Króla traktuje jedynie za jego styl prowadzenia dyskusji.
Najpierw kilka wątpliwości na temat samych metaanaliz. Moi drodzy, biorąc pod uwagę coraz szersze podejście do przyglądania się wszystkim badaniom – nie bierzcie ‘na ślepo’ jakiejkolwiek metaanalizy. Jest coraz więcej dyskusji na temat ich ograniczeń i rzeczywistej wartości. (stąd kampania Ben’a - ‘
http://www.alltrials.net/’)
Poniżej przedstawiam kilka moich (i nie tylko) wątpliwości na temat metaanaliz:
1. Problem z doborem danych wejściowych do metaanalizy: Autorzy mają tendencję do wybierania takich danych wejściowych, czy badań które wskazują na ich punkt widzenia. Pozostawiając na boku te które okiem autora wydają się ‘nie interesujące’ lub nie wskazujące na daną tezę (zostawiając te badania w zaciszu szuflady). Więcej na ten temat znajdziecie szukając pod hasłem „the file drawer problem”. Również jest ten temat przedmiotem kampanii Bena Goldacre’a – uwolnij dane z szaf! ‘All Trialls campaing’ (link powyżej). Brak tych danych sprawia, że metaanaliza jest zafałszowana, stronnicza i prowadzi do błędnych wniosków. Artykuł Pittenger’a w mojej ocenie patrzy tylko na wycinek badań. (1) (2)
2. Wybór kryteriów: Badania wybrane do metaanalizy powinny być jak jabłka – jednakowe – tak by statystycznie zbadać i porównać jabłko do jabłka – a nie jabłko do kapusty i papierosów.
Brak cech ilościowych, mierzalnych i porównywalnych nie pozwala na rzeczywistą statystyczną analizę. Co również może bardzo ograniczyć możliwość wyboru i w ostateczności nie pozwolić na dobre przeprowadzenie statystycznie rzetelnej metaanalizy. Pittenger porównuje jabłka do gruszek – nie jest to metaanaliza a jedynie przegląd literatury. Biorąc pod uwagę te kryteria, również nie znalazłem żadnej innej, dobrej metaanalizy na temat MBTI (wyłączając Harvey 1996). Tak więc to co przedstawiam, to również przegląd literatury potwierdzającej wartość MBTI.
3. Osobiste uprzedzenia: Oczywistym jest, że jeżeli autor ma jakieś osobiste przekonania na dany temat, to może skutkować stronniczością badań. Skutkuje to ‘cherry picking”. Pisałem już o tym w pkt. 1 (3)
4. Metaanalizy potrafią zaprzeczyć większym rzetelnym badaniom: LeLorier porównał wyniki 40 metaanaliz z wynikami pojedyńczych ale bardzo szerokich i dużych badań. Stwierdził, że metaanalizy prowadziły wręcz do przeciwnych wniosków niż same badania. To skłania do myślenia, że te metaanalizy są po prostu do kitu – ZŁE. Podobnie jest z porównianiem – 30 publikacji dotyczących starych danych i małych próbek – z przytoczonymi przeze mnie wcześniej badaniami z próbką ponad 200 000 osób. Po raz kolejny, ten przegląd literatury ( już nie piszę metaanaliza – aby nie fałszować rzeczywistości) pokazuje, że może być do kitu. (4)
5. Paradoks Simpson’a (5): Gdy zaczniemy porównywać różne grupy danych czasem pojawia się paradoks Simpson’a. W skrócie: tendencje pojawiające się w poszczególnych badaniach, znikają w przypadku, gdy te badania połączymy razem i pojawia się całkowicie odmienny trend prowadzący czasem do przeciwnych wniosków.
1 Rosenthal, Robert (1979). "The "File Drawer Problem" and the Tolerance for Null Results". Psychological Bulletin 86 (3): 638–641. doi:10.1037/0033-2909.86.3.638
2 Hunter, John E; Schmidt, Frank L (1990). Methods of Meta-Analysis: Correcting Error and Bias in Research Findings. Newbury Park, California; London; New Delhi: SAGE Publications
3 Stegenga, J. (2011). "Is meta-analysis the platinum standard?". Studies in History and Philosophy of Biological and Biomedical Sciences 42 (4): 497–507. doi:10.1016/j.shpsc.2011.07.003
4 LeLorier J, Gregoire G, Benhaddad A, Lapierre J, Derderian F. Discrepancies between meta-analyses and subsequent large randomized, controlled trials. N Engl J Med 1997;337:536e42.
5 Simpson, Edward H. (1951). "The Interpretation of Interaction in Contingency Tables". Journal of the Royal Statistical Society, Ser. B 13: 238–241.
Jest jeszcze kilka innych ‘zarzutów’ – jednak biorąc pod uwagę tylko wyżej wymienione, uważam, że z dużą ostrożnością powinniśmy podchodzić do metaanaliz. Najlepiej jest osobiście doświadczyć, zrozumieć i znając temat od środka wyrobić sobię swoją opinię. Dlatego zapraszam do bliższego zapoznania się z samą metodą – na przykład podczas kursów certyfikujących, gdzie mamy możliwość takiej dyskusji – na żywo.
A więc, w nawiązaniu do moich wątpliwość odnośnie przyjmowania metaanaliz, jako jedynego wyznacznika wiarygodności - w szczególności narzędzi psychometrycznych, jeszcze raz zachęcam do analizy wszelkich dostępnych badań, nie tylko jednej strony. Dotyczy to przede wszystkim badań medycznych – (poprzyjcie kampanię alltrials Ben’a Goldacre’a – podpisem, dobrym słowem czy dotacją).
Z doświadczenia wiem, że w świecie psychologii poza psychologią kliniczną, dość trudno o naprawdę dobre metaanalizy. W świecie i paradygmacie w którym się poruszam, częściej opieram się zarówno na wiarygodnych źródłach i badaniach, jak i na "doświadczanym efekcie przez klienta". Jeżeli pomaga – bliżej przyglądam się narzędziu czy podejściu i w ramach ‘primum non nocere’ stosuję. W tym miejscu podkreślę moje uznanie i szacunek dla Artura dotyczący walki z parapsychologią i nazywaniem wprost efektu placebo, zaznaczając, że takowego nie widzę w procesie proponowanym przez instrument czy podejście MBTI. Właściwie każda moja sesja MBTI jest badaniem trafności konstrukcyjnej tego narzędzia – opis jak to robię zamieściłem we wcześniejszych moich postach.
Czyli można powiedzieć, że przeprowadziłem od 1998 roku setki takich badań.
Artur podając link do artykułu Pittenger’a zaznacza, że jest to metaanaliza.
Powtórzę: w świecie naukowym
ten artykuł nie jest rzeczywistą metaanalizą. Przypominam, że metaanalizy korzystają ze statystycznego podejścia i metod łączenia rezultatów z różnych badań. Ten artykuł tego nie robi. Tak więc podkreślam, jest to po prostu przegląd literatury – dość stronniczy. Taki rodzaj artykułu, który ma na celu krytyczną ocenę obecnego poglądu czy dowodów dotyczących danego tematu.
Oczywiście, nie chcę zarzucić niemerytoryczność czy falsyfikacje. Jest to dobrze przygotowany przegląd literatury, zaś miejsce publikacji - Consulting Psychology Journal dość poczytnym czasopismem dostępnym dla szerokiego grona odbiorców – psychologów, konsultantów. Niemniej nie jest to metaanaliza.
Zwróćmy uwagę na fakt, że ten artykuł został napisany w 2005 roku, ponad 8 lat temu, a przez ten czas dużo się wydarzyło – między innymi, doszło szereg dodatkowych danych, poza tym przetłumaczyliśmy i przeprowadziliśmy walidację MBTI Step I oraz Step II w języku polskim.
Ponadto on sam dorobił się cytowań w innych artykułach. Zgodnie z prośbą Artura nie podaję źródeł ‘związanych’ z praktykami MBTI, z fundacją Center of Application of Psychology Types, firmami CPP, OPP czy też Journal of Psychological Type (co trochę jest tak jak proszenie aby badania medyczne nie były robione przez lekarzy, a psychologiczne przez psychologów – no ale OK)
Nie biorąc pod uwagę setek artykułów z tych (moim zdaniem wiarygodnych) źródeł, podaję jeden cytat z innego solidnego opracowania obejmującego ponad 11 000 osób wskazujący na coś wręcz przeciwnego niż Pittenger.
“In sum, although the MBTI is very widely used in organizations, with literally millions of administrations being given annually (e.g., Moore, 1987; Suplee, 1991), the criticisms of it that have been offered by its vocal detractors (e.g., Pittenger, 1993) have led some psychologists to view it as being of lower psychometric quality in comparison to more recent tests based on the FFM (e.g., McCrae & Costa, 1987). In contrast, we find the findings reported above – especially when viewed in the context of previous confirmatory factor analytic research on the MBTI, and meta-analytic reviews of MBTI reliability and validity studies (Harvey, 1996) – to provide a very firm empirical foundation that can be used to justify the use of the MBTI as a personality assessment device in applied organizational settings.“
(Hierarchical Confirmatory Factor Analysis of the Myers-Briggs Type Indicator, Tammy L. Bess, Robert J. Harvey, Dana Swartz Virginia Polytechnic Institute and State University, 2003. Paper presented at the 2003 Annual Conference of the Society for Industrial and Organizational Psychology, Orlando.)
Drążąc dalej publikację Pittenger’a, w większości zarzuca on brak ewidencji na korzystanie z instrumentu MBTI w przypadku selekcji. W tym wypadku moja odpowiedź jest bardzo prosta.
BINGO! MBTI nie może być stosowany do selekcji – jest to narzędzie rozwojowe. Jest to podstawowe pytanie egzaminacyjne podczas certyfikacji MBTI.
Tak więc, nie powinno być żadnych dowodów związanych tym obszarem.
Moim zdaniem, świadczyć to może o podstawowym niezrozumieniu przez autora samego narzędzia i istoty jego zastosowania.
Aby nie być gołosłownym, kilka przykładów z Pittenger’a
Pittenger:
“Cohen (1983) demonstrated that dichotomising a continuous scale reduces the shared variance with another variable by .64; dichotomising both scales reduces the shared variance by .40;. By implication, the four-letter type formula limits its own predictive power, especially if the criterion is a binary condition. Consequently, counsellors who advocate the MBTI as a component of job selection of team-forming process, as McCaulley (2000) recommended, may well be promoting a decision-making tool whose own procedures reduce its predictive validity, especially in cases where the final decision is dichotomous (e.g. hire vs. not hire)."
Moja odpowiedź:
To narzędzie nie zostało zaprojektowane by służyć do selekcji czy rekrutacji. Zostało one opracowane w celach budowania zespołów, czy też osobistego rozwoju. Podkreślam! Narzędzie MBTI nie powinno być nigdy wykorzystywane do selekcji. Dla wyjaśnienia dlaczego – w psychologi mamy dwa podejścia – teorię cech i teorię typów. Nasz spór oczywiście może dotyczyć tej fundamentalnej różnicy w podejściu i Artur może mi zarzucić, że typ nie istnieje. Niemniej to nie spór ze mną, ale z ogólnymi założeniami psychologii pozytywnej. W tym wypadku prawdopodobnie nie jesteśmy w stanie się zgodzić. Ja jestem ze ‘szkoły’ psychologii pozytywnej – typ istnieje.
W skrócie: MBTI jest zbudowane na bazie teorii typu osobowości.
Uważa się, że to cechy warunkują nasze zachowanie i w tym wypadku powinniśmy dobierać do danego zadania osoby o odpowiednich cechach.
Typ odnosi się do preferencji i wynik preferencji wskazuje na jej klarowność, a nie siłę. Jest to całkowicie odmienne podejście od typowego psychologicznego skwantyfikowanego mierzącego siłę cechy.
W podejściu MBTI możesz preferować jedną rzecz a robić inną – to Twój wybór. Trochę tak jak ze śpiewaniem pod prysznicem – nie potrafię ale lubię to robić (staram się aby nikt mnie nie słyszał ☺), zaś nie cierpię gotować ale robię to tak dobrze, że proszą mnie o przygotowanie posiłków. Nawet jeżeli tego nie preferuję, nadal mogę to robić. O tym właśnie mówi MBTI, dodatkową szczególną wartością tej koncepcji, jest fakt, że każdy jest w stanie znaleźć swój unikalny talent - co buduje i wzmacnia daną osobą.
Pittenger:
“Unfortunately, there are no published data to demonstrate incremental validity of either instrument as a method for predicting job performance or other work-related behaviour. Therefore, conclusions regarding the superiority of either the MBTI or other instruments are, at present, premature.”
Moja odpowiedź:
Tak jak już wcześniej pisałem – MBTI nigdy nie powinno być wykorzystywane do selekcji! Nie jest to wada – ale ZALETA tego narzędzia.
No i jeszcze kilka dodatkowych fragmentów - w mojej ocenie bardzo ciekawych i wskazujących na niezrozumienie przez autora istoty narzędzia MBTI, dlatego cytując - dyskutuję...
Pittenger:
“I do not believe that the relevant data justify the conclusion that the MBTI is a direct measure of Jung’s (1921/1971) theory of personality types.”
Moja odpowiedź:
MBTI nie jest narzędziem bezpośrednio mierzącym koncepcje Junga, jest w niej zakorzeniony, następnie rozwinięty przez Isabel Myers i Katharine Briggs.
Pittenger:
“Using a conventional 95% confidence interval, the standard error of measurement (SEM) for each scale is 20 or larger (Harvey & Murry, 1994; Pittenger, 1993). From a statistical perspective, the MBTI four-letter type formula may imply statistically significant personality differences where none exists.”
Moja odpowiedź:
Nawiązuje to tylko do samego kwestionariusza podającego typ raportowany, jest to niewystarczająca informacja. Siłą i realną wartością tego narzędzia jest cały proces coachingowy, proces sesji informacji zwrotnej, podczas której osoba decyduje jaki jest jej typ najlepszego dopasowania.
Pittenger:
When it comes to Factor Analysis, the factor structure with four factors has not been replicated.
Moja odpowiedź:
Factor analysis – analiza czynnikowa jest kompleksową statystyczną procedurą, gdzie rezultaty często prowadzą do różnych interpretacji i wniosków. Źródła, które znam – między innymi Podręcznik MBTI – “MBTI manual” podaje, że analiza czynnikowa ostatnich 10 lat badań nad MBTI wspiera strukturę 4 wymiarów MBTI (strona 173 podręcznika – jak będzie potrzeba, na priv przedstawię dokładne badania dotyczące tej metody statystycznej w odniesieniu do MBTI)
Potwierdza to również artykuł opublikowany przez Bess, Harvey & Swartz (2003).
No i obiecuję już przedostatni fragment - w mojej ocenie pokazujący jak dużo wnosi podejście opracowane przez Isabel i Katherine.
Pittenger:
There are correlations among scales, which, as the author argues, should not happen, because the four dimensions should be independent.
Moja odpowiedź:
Jednym z celów opracowania MBTI było stworzenie 4 odrębnych wymiarów, niezależnych od siebie. Udało się to zrobić za wyjątkiem S-N i J-P. Korelacja między S-N a J-P jest na poziomie 0.33 i 0.52. Typy Sensing zazwyczaj raportują J zaś N mają tendencję do P. Według Myers może być to bardziej wynik rzeczywistego rozkładu w społeczeństwie niż efekt błędu konstrukcyjnego kwestionariusza. “Typy S zazwyczaj preferują poleganie na przeszłych doświadczeniach i nie lubią niespodzianek, które wymagają natychmiastowej oceny nowych możliwości. Zaś preferowanie J prowadzi do życia, które jest zaplanowane, dość spójne i stałe, zmniejszając liczbę takich niespodziewanych wydarzeń. Z drugiej strony typ intuicyjny N preferuje przyszłe możliwości, zaś postawa P “otwiera drzwi” na strumień nowych możliwości” (MBTI Manual, 1985, p.150 & 154).
a teraz zgodnie z obietnicą - ostatni.
Pittenger:
The Big Five subsume the variance explained by the MBTI.
Moja odpowiedź:
Oczywiście, korelacja z wielką piątką to dobra sprawa! Jedyna krytyka MBTI może dotyczyć tylko faktu, nie mierzy on Neurotyczności. Z drugiej strony jest to silna strona tego narzędzia, i jest to jeden z powodów dla którego to narzędzie jest tak wartościowe i popularne w obszarze rozwoju innych osób. Celem narzędzia MBTI jest celebracja różnorodności, koncentracja na silnych stronach (raczej niż na słabych), tworzenie angażującego środowiska, zapraszającego osoby do rozwoju i do zadań rozwojowych.
Tyle na temat samego artykułu.
Artur – masz jakiś inny – prześlij na priv (biuro@forid.pl) – chętnie przeanalizuję i odpowiem. Ale już poza tym forum lub może w innym wątku – ten pozostawmy dla Extended lub Insight.
Mam nadzieję, że wyczerpująco odpowiedziałem na Twoje pytanie.
W pierwszej odpowiedzi podałem link do tabel statystycznych wskazujących na rzetelność i trafność MBTI. W mojej ocenie i ocenie innych osób zajmujących się statystyką – są to materiały spełniające wszelkie kryteria rzetelnych badań statystycznych.
A jeżeli mamy rzetelne i trafne narzędzie, warto jeszcze zbadać, czy faktycznie ono pomaga i czy przynosi pozytywne efekty organizacji, która je stosuje. Jest to kolejny etap, przez który należy przeprowadzić metody/narzędzia, z których korzystamy w pracy z naszymi klientami. W celu przeprowadzenia dobrej analizy, warto przyjąć ostre kryteria. Wybrałem klika publikacji spełniających poniższe kryteria:
a) Podają one odpowiednie empiryczne i ilościowe wyniki (np. włączające porównanie grup, interwencyjne porówniania pre i post z podaniem odpowiednich metod badań statystycznych)
b) Weryfikują aktywności/inicjatywy w oparciu o metodykę i narzędzie MBTI
c) Prowadzone są w realnym otoczeniu – realnym świecie – nie na uczelni czy w pracowni psychologicznej.
d) uczestnikami tych badań są aktualni pracownicy danej firmy
e) Przyglądają się zmianom po interwencji w odniesieniu do ważnych czynników (z punktu widzenia organizacji): na przykład: skuteczność, wydajność, satysfakcja z pracy, tolerancja stresu, budowanie zespołu, komunikacja, rozwiązywanie konfliktów, wydajność, zaangażowanie, przywództwo, efekty kształcenia, podejmowanie decyzji, rozwiązywanie problemów, wypalenie zawodowe i sukces w organizacji.
Oto tylko kilka z nich:
Evans, M. J. (1994). An evaluation of the effectiveness of the Myers-Briggs Type Indicator as a means of improving leadership in a petrochemical organization. Dissertation Abstracts International Section A: Humanities and Social Sciences, Vol 56(2-A), Aug 1995, pp. 0479.
Goodspeed, R. B., & DeLucia, A. G. (1990). Stress reduction at the worksite: An evaluation of two methods. American Journal of Health Promotion. Vol 4(5), May-Jun 1990, pp. 333-337.
Harwood, S. G. (1992). Teambuilding and the process of change, DAI, 53, no. 03A, (1992): 0757.
Huckaby, G. C. (1998). The effectiveness of personality feedback in facilitating change among mid-level managers: A study of the Myers-Briggs Type Indicator. Dissertation Abstracts International: Section B: The Sciences and Engineering, Vol 59(7-B), Jan 1999, pp. 3746.
Osoby zainteresowane skrótem tych czy innych badań/ studiów przypadku, danych statystycznych – proszę o kontakt na priv. I tak podałem zbyt dużo danych jak na jeden post i jak na ten wątek.
Podsumowując:
Jeżeli bierzemy się za metaanalizy warto mieć na uwadze, że nie jest to ostateczny wyznacznik tego czy coś działa, czy nie.
Przytoczone przez Artura Króla artykuły nie są metaanalizami
Ja również nie znalazłem żadnej innej metaanalizy w tym temacie (szukanie metaanalizy za i przeciw jest trochę bez sensu – rzetelna metaanaliza powinna wskazywać jak jest, a nie jak powinno być)
Główna linia sporu wydaje się być na linii – teoria typu vs. teoria cechy – tego sporu tutaj nie rozwikłamy.
Obecne narzędzie MBTI Step I oraz Step II w wersji polskiej - na podstawie dostępnych mi badań spełniających wszelkie rygory badań statystycznych – jest rzetelnym i trafnym instrumentem.
Dodatkową wartością są badania wskazujące nie tylko na rzetelność/trafność instrumentu, ale i na efektywność interwencji i szkoleń z wykorzystaniem narzędzia MBTI.
To tyle w tym temacie,
Jak już wcześniej pisałem – to co miałem do powiedzenia – powiedziałem. Szanuję różne punkty widzenia – również Twój Arturze. Ja uważam, ze typ i talent istnieje. Ty uważasz, że talent nie istnieje, tej różnicy zdań chyba tutaj na tym forum już nie rozwikłamy ☺. W przypadku jeżeli mój głos jest niewystarczający, zapraszam na seminaria z cyklu ‘Psychologia Pozytywna’, najbliższe na Akademii Leona Koźmińskiego 23.04.2013 – jeden z wykładowców jest certyfikowanym praktykiem MBTI – podyskutuj.
Wydaje się, że przedstawiony powyżej spór dotyka dość fundamentalnej kwestii (typ vs cecha, jest talent czy go nie ma…) Osoby zainteresowane innym spojrzeniem zapraszam na strony:
http://forid.eu
http://papt.pl
http://mbti.org.pl
http://cpp.com
http://capt.org
http://opp.com/en/blog
lub do osobistego kontaktu (pozdrawiam wszystkich, z którymi miałem przyjemność rozmowy na poprzednich konferencjach czy Coachowiskach – wiem, że śledzicie ten wątek ☺ )
Ewentualnie, jak otworzycie wątek o narzędziu MBTI – zaproście – chętnie od czasu do czasu coś napiszę.
Do zobaczenia/ do usłyszenia.
Przemek
Ps. dobrze, że temat „wiarygodności MBTI” został podniesiony przez Ciebie Arturze (za to dałem Ci plusa ☺) – choć nie wiem, czy powinien być pod tym wątkiem – w sumie tutaj zaglądają osoby, które interesuje Extended Disc czy Insight Discovery, zaś ostatecznie został on zdominowany przez dyskusję o wiarygodności wskaźnika MBTI. Z drugiej strony jako zwolennik łączenia narzędzi – ja jestem z tym OK. Co na to pan Andi Lothian (autor Insight Discovery) – nie wiem, może zapytam osobiście ☺.
Przemysław Duchniewicz edytował(a) ten post dnia 14.04.13 o godzinie 10:19