konto usunięte

Temat: Profile XT - impresje

Widziałem kilka pytań w różnych miejscach o to narzędzie, pogrzebałem trochę i opisuję co ustaliłem (na wypadek gdyby się komuś przydało). Polskich materiałów oczywiście nie ma (bo po co, wszak hamerykańskie), więc opierałem się na anglojęzycznych (a i tu jest biednie):

A. Struktura

System używa dość standardowego trójpodziału badanych obszarów
1. inteligencja - nazywana oczywiście inaczej - Stylem Myślenia (żeby nie było niemiło), w zakresie
a) uzdolnień werbalnych i symbolicznych, na poziomie a) wyciągania wniosków (reasoning) i rozwiązywania problemów (ability) - [ale ten podział jest cokolwiek sztuczny, podobnie jak alternatywny: "myślenie" i "wyciąganie wniosków" ]
b) niestety brak uzdolnień przestrzennych - co może być zrozumiałe na stanowiskach biurowych (z tym, że nie na pewno, bo wszelkie analizy diagramów, wykresów itp. są dość ważnym składnikiem pracy np. w marketingu czy finansach)
c) oraz skali zwanej Indeksem Uczenia się (jak znam życie to odpowiednik Otwartości na Doświadczenie z tzw. Wielkiej Piątki - tak czy owak wysoce skorelowany z inteligencją, ale to rozsądny dodatek)

2. osobowości - też oczywiście nazwanej inaczej (cechami behawioralnymi ...), z zakresie głównie społecznym (Asertywność, Towarzyskość/Uspołecznienie, Niezależność i "Pomocność"),
z temperamentalnch mamy Poziom Energii, oraz inne: Zarządzalność (można to rozumieć jako np. niezawodność, konformizm wobec norm), Obiektywizm Sądów, Decyzyjność i Nastawienie (w sumie jest to orientacja optymizm/pesymizm). Co do Decyzyjności chciałem zwrócić uwagę, że to jest skłonność do podejmowania decyzji, a nie umiejętność ich podejmowania (korelacje z Asertywnością i Energią na poziomie r=0.8 co poddaje w wątpliwość sens tej skali)

Przekrój jest dość przyjemny, pozwalający się odnieść głównie do pracy zespołowej typu korporacyjnego. Sam model jest ateoretyczny (nie realizuje żadnej znanej koncepcji osobowości), co akurat poczytam za plus (że nie jest to kolejny klon wielkopiątkowy). Niestety widać też brak skali kłamstwa (np. siły autoprezentacji badanego)

3. preferencje zawodowe - zwane oczywiście inaczej (zainteresowaniami i motywacjami), w skalach zawodów: Przedsiębiorczych, Finansowych, Opiekuńczych (People Service), Twórczych, Technicznych i Mechanicznych. Ten podział jest autorski, nawiązuje koncepcji Hollanda (psychoanalitycznej zresztą :), ale widać w nim echa podziału Ann Roe (zawody związane z Danymi/Ludźmi/Rzeczami) oraz Kudera/Stronga (Realistyczne/Artystyczne/Konwencjonalne (np. Rachunkowe i Biurowe)/Badawcze/Społeczne/Przedsiębiorcze)

Podział jest zasadny i całkiem przydatny w rzeczywistości biznesowej - widać, że był świadomie wybrany do tego kontekstu (bo warto pamiętać, że większość koncepcji preferencji obejmuje też okres wczesnych etapów ścieżki edukacyjnej, oraz zawody podstawowe, niespecjalistyczne, fizyczne itd.). Natomiast warto wyraźnie zauważyć, że to nijak nie bada motywacji i zainteresowań rozumianych potocznie.

B. Zastosowanie
Autorzy systemu obiecują, że można do stosować w kontekście selekcji na stanowisko, ale też rozwoju zawodowego, szkoleń itp. Co do selekcji nie ma wątpliwości, że system ma porządny potencjał: przekrój cech jest szeroki i uzasadniony, choć oczywiście zależy to od tego, jak się go wykorzysta (opieranie się na samym raporcie z generatora, werbalizującym wnioski ma ograniczoną jakość - mierzone są głównie cechy wiec w sumie kwalifikuje się do interpretacji przez psychologa).

Natomiast poparcia dla drugiej grupy zastosowań w strukturze sytemu nie widzę. Wszystkie mierzone charakterystyki osobowe są względnie stałe (w życiu, zwł dorosłego). Innymi słowy, o ile test działa dobrze technicznie, wyniki będą podobne niezależnie od sytuacji (np. momentu w rozwoju zawodowym, aktualnych potrzeb, motywacji, sytuacji itd.). Nie da się tego wykorzystać np. do badania efektywności szkoleń, rozwoju itp.

W ograniczonym zakresie można to stosować w sensie projektowania rozwoju wewnątrz organizacji, ale osobiście uważam, że jest to strzelanie do muchy z armaty (bo dorosły pracownik o którym wiemy jak realizuje zdania ma świadomość preferowanych celów i możemy ocenić ich realność). Z drugiej strony może to być przydatne na poziomie badań typu audytowego (z serii "jaki jest nasz staff/kierownicy itd.") - czyli takiego, gdzie wnioski są grupowe, a nie indywidualne (niestety to chyba nie jest łatwo wspierane informatycznie, ale pewności nie mam).

Ktoś mający pewną wiedzę o psychometrii może być słusznie zdziwiony po co mierzone są jednocześnie predyspozycje (cechy osobowości i inteligencji), oraz preferencje (które naturalnie wynikają z predyspozycji i doświadczeń). Odpowiedź jest prosta i w sumie niezaskakująca: ponieważ nie da się łatwo opracować metody pozwalającej ja na stworzenie profilu wymagań specyficznego dla konkretnego stanowiska, w zamian użyto preferencji (stanowiska wpadają w konkretne typy zawodów).

System obiecuje możliwość dopasowania osoby do stanowiska (np. kontekście selekcji) ale warto się naprawdę zainteresować jak to realizuje - bo intuicyjne rozumienie tego rozwiązania, nie do końca pokrywa się z tym, co faktycznie ma miejsce. Niemniej za puls trzeba poczytać to, że system wychodzi poza prosty model badania cech.

Ponoć można system zbadać zasadność awansu pracownika. No niestety nijak nie można bo - przypominam - opiera się o cechy stałe: nie ma co liczyć na to, że dopasowanie się radykalnie zmieni w wyniku stażu, doświadczenia, szkoleń itp. Innymi słowy pracownik ma tę co do zasady samą "zdolność awansu" od pierwszego dnia w pracy (bo tak naprawdę chodzi tylko o potencjał do pracowania na docelowym stanowisku, co oczywiście może się mieć średnio do wyników jak i samych aspiracji osoby).

Trzeba to rozumieć jako dopasowanie do typu/rodziny stanowisk i samemu ocenić na ile dane stanowisko jest typowe. Sam pomiar dopasowania odbywa się przez obliczenie dystansu (punktowych wyników osoby i przedziałowych grupy stanowisk) i jest wyrażony w procentach. W amerykańskiej wersji użyto standardowego myku zapobiegającego głębokim rozczarowaniom konkretnymi wynikami, tj. dopasowanie technicznie może się zmieniać tylko w przedziale 25% - 95% (a wiec system nigdy nie wypowie się kategorycznie: 100% lub 0%)

Obietnicę "prognozowania wyników pracy" - poza kontekstem selekcyjnym - pozostawię bez komentarza.

C. Jakość
Oczywiście nie ma raportów normalizacyjno/adaptacyjnych dla Polski - a to niestety jest bardzo ważne, bo wszystkie skale w systemie są badane w sposób obciążony kulturowo (nawet pozycje z uzdolnień symbolicznych/numerycznych). Brak informacji o normach, okresie testowania, parametrach psychometrycznych (nawet rzetelnościach, co już jest niefajne). Dla wersji amerykańskiej raport jest udostępniony

System używa skal stenowych, co sugeruje, że powinny mieć one rozkład normalny, zweryfikowany w normalizacji. Mam nadzieję, że nie zachodzi skandaliczne zjawisko używania amerykańskich norm (wówczas można to spokojnie wyrzucić do kosza - np. poziomy cech społecznych mają się nijak) - niestety nie wiem tego na pewno (bo nie ma raportu). Ale jestem dobrej myśli bo pracowali na tym ponoć ludzie z UAM (a to, obok UW, najmocniejsze środowisko tego typu w Polsce).

Całość badania wg. deklaracji zajmuje ok 60 min, co przy standardowym przeliczniku daje ok 180 pozycji, co - przy 22 skalach - oznacza że mają średnio ok 8 pozycji (choć zapewne cześć inteligencji ma nieco mniej, a pozostałe więcej). To raczej dolna granica długości skal (aby miały odpowiednią jakość), ale ze względu na szerokość zakresu badania myślę, że to decyzja zrozumiała (aby nie zamęczyć badanego). Niemniej efekt widać: skale osobliwości mają typową rzetelność alfa=0.79 (.73 - .87) co jest wynikiem nieoszałamiającym (alfa ok 0.8 przyjmuje się za minimum do diagnozy indywidualnej).

Konkludując:
- system jest kompleksowy, wyraźnie różni się na plus od prostych narządek kilkuskalowych (np. obiecujących zdiagnozować wszystko 15 pytaniami)
- raporty są czytelne i ładne, na pewno przydadzą się niepsychologom (można znaleźć na sieci)
- jakość skal (model, korelacje i rzetelności) pozostawiają coś do życzenia
- deklarację, że jest to "najbardziej zaawansowany technologicznie system mierzenia potencjału" proszę traktować marketingowo,
- sam fakt rekomendowania przez PSZK narzędzia sprzedawanego przez Bigram - jakby to rzec - rozumiem. Nie jest to jednak argument za jakością

Przydałoby się, aby wypowiedział się ktoś mający jakąkolwiek wiedzę o polskiej adaptacji, bo to jest kluczowe - niestety jest to wiedza tajemna.

Deklaracja: nie pełnię żadnej funkcji w konkurencji, ani nie pobieram wygrodzenia, ani nikt mi nie zapłacił za powyższe słowa (w aspekcie krytycznym - pozytywnym niestety też :). Tego typu systemami zajmuję się 12 lat.

konto usunięte

Temat: Profile XT - impresje

Errata: "skale osobliwości" = "skale osobowości" :D
Mariusz Perlak

Mariusz Perlak Talent Acquisition
Manager

Temat: Profile XT - impresje

kawał dobrej roboty. Chociaz dyskusja na ten temat nie będzie tak emocjonująca jak "zaproszono mnie na rozmowę i nie poczestowano herbatą"

konto usunięte

Temat: Profile XT - impresje

Mariusz Perlak:
kawał dobrej roboty.

Dzięks :)
Chociaz dyskusja na ten temat nie będzie tak emocjonująca jak
"zaproszono mnie na rozmowę i nie poczestowano herbatą"

Rzeczywiście nie spodziewam się, chyba że zechce się wypowiedzieć ktoś np. z zespołu normalizującego, lub sprzedawców. Ale, że uzus w tej tematyce jest raczej typu "ignorować, bo rozgłos jest złem", to nie wstrzymuję oddechu :)
Piotr M.

Piotr M. Senior Talent
Management
Consultant

Temat: Profile XT - impresje

Hej,
Korzystałem i korzystam z tych testów. Nawet je sprzedawałem do niektórych klientów, do których moja firma sprzedawać te testy może.
Osobiście podobają mi się ze wzg. na pozytywne sprawy, które zauważyłeś (wielowątkowość badania, różne wymiary). Nie dbam o to, czy coś nawiązuje do Big Five, raczej o to jak test przydaje mi się w biznesie. I tu akurat się sprawdza (obszar zainteresowań o którym pisałeś jest ok, oraz niektóre dane z cech behawioralnym wydają mi się bardzo przydatne - jak np. samodzielność).
Podzielam jednakowoż całkowicie Twoją "krytyczną" część wypowiedzi - uczciwie mówiąc tak właśnie jest z tymi testami. Mam tu np. na myśli, że w kontekście upływu czasu nie jesteśmy w stanie mierzyć wzrostu umiejętności zawodowych testem (nie chodzi mi tu oczywiście np. o matematyczne umiejętności, ale te bardziej stanowiskowe).
Nie odbierałbym Twojej opinii jako krytycznej - raczej obiektywna jest ona. A to co Bigram pisze i obiecuje... no cóż. ;-)

Pzdr,

Piotr

konto usunięte

Temat: Profile XT - impresje

Piotr M.:
Nie odbierałbym Twojej opinii jako krytycznej - raczej obiektywna jest ona.

Dzięki :) A mógłbyś powiedzieć słowo jak działa to dopasowywanie do stanowisk? Cokolwiek o mechanizmie (bo niestety nie mam jak zweryfikować informacji w praktyce) lub w sensie praktycznym, tj. jak Ci się sprawdzało?
Piotr M.

Piotr M. Senior Talent
Management
Consultant

Temat: Profile XT - impresje

Michał,
Ja to brałem z praktyki - jeden facet w naszej firmie jest bardzo zajarany i stosuje te testy regularnie w Wiedniu, w centrali.
nauczył mnie jak odnosić wyniki do potrzeb mojej organizacji - np. jesli w naszej firmie cenimy ludzi proaktywnych, którzy ciągną temat do końca - zwracamy uwagę na samodzielność. sprawdza się doskonale (w sensie korelacji), jeśli szukamy kogoś na funkcję handlową - preferujemy servicing people + przedsiębiorczość w zainteresowaniach zawodowych.
jeśli szukamy trenerów - patrzymy na kreatywność + dostosowanie.

itd. - wychodzi nam to z praktyki po prostu.

Temat: Profile XT - impresje

z mojego punktu widzenia - uwaga odnosi się do większości testów, w właściwie kwestionariuszy opisowych - skuteczność narzędzia jest wypadkową wiary i motywacji... badacza i osoby badanej. Zatem jeżeli wierzysz, że test działa i przekonasz do tego osobę badaną, będziesz mieć zapewne dobre wyniki (czułe, różnicujące). Pytanie co z tymi, którzy nie uwierzą.

Drugim - często pomijanym aspektem jest drobna różnica funkcjonowania pozycji testowych w zależności od sytuacji. Troszkę inaczej ludzie odpowiadają gdy są w procesie rekrutacji, inaczej gdy na szkoleniu / na development center a jeszcze inaczej w próbie normalizacyjnej.

Ale to off topic, nie za bardzo komentuje samo narzędzie Profile XT. Nie mniej jestem ciekawy czy przy adaptacji pracowali też polscy naukowcy, psychometrzy. Gdyby pracowali, to by w Bigram napisali o tym, więc zakładam że tylko przetłumaczyli to zwyczajnie, zdanie po zdaniu i tyle.

A to nie jest za dobry znak dla testu.
Piotr M.

Piotr M. Senior Talent
Management
Consultant

Temat: Profile XT - impresje

Bartosz Grajewski:
z mojego punktu widzenia - uwaga odnosi się do większości testów, w właściwie kwestionariuszy opisowych - skuteczność narzędzia jest wypadkową wiary i motywacji... badacza i osoby badanej. Zatem jeżeli wierzysz, że test działa i przekonasz do tego osobę badaną, będziesz mieć zapewne dobre wyniki (czułe, różnicujące). Pytanie co z tymi, którzy nie uwierzą.

Drugim - często pomijanym aspektem jest drobna różnica funkcjonowania pozycji testowych w zależności od sytuacji. Troszkę inaczej ludzie odpowiadają gdy są w procesie rekrutacji, inaczej gdy na szkoleniu / na development center a jeszcze inaczej w próbie normalizacyjnej.

Ale to off topic, nie za bardzo komentuje samo narzędzie Profile XT. Nie mniej jestem ciekawy czy przy adaptacji pracowali też polscy naukowcy, psychometrzy. Gdyby pracowali, to by w Bigram napisali o tym, więc zakładam że tylko przetłumaczyli to zwyczajnie, zdanie po zdaniu i tyle.

A to nie jest za dobry znak dla testu.
Bartek,
A długo już korzystasz z tych testów? Masz bardziej doświadczenia rozwojowe, czy do rekrutacji?

Pzdr,

Piotr

Następna dyskusja:

Logical assignment and a pe...




Wyślij zaproszenie do