GoldenLine
Zaloguj się
Bartłomiej Polakowski

Bartłomiej Polakowski Kierownik Zespołu
E-learning
odpowiedzialny za
wdrażanie ...

Temat: Metody mierzenia efektywności szkoleń

Ostatnio sporo czytałem o modelu Kirkpatricka. Zmusiło mnie to zastanowienia się w jaki sposób mógłbym mierzyć efektywność tworzonych przeze mnie szkoleń. Do tej pory koncentrowałem się głównie na zadowoleniu odbiorców i wynikach testów poszkoleniowych. Ta część jest prosta. Wystarczy zrobić ankietę i e-test i mamy wyniki. Nie mam jednak jeszcze za bardzo pomysłu w jaki sposób weryfikować czy wiedza zdobyta na szkoleniu jest wykorzystywana przez uczestników w pracy i w jak wpływa na ich wyniki. Czy macie jakieś sprawdzone sposoby?
Link do wypowiedziLink

konto usunięte

Temat: Metody mierzenia efektywności szkoleń

Moje doświadczenia to:

Przykład 1

Jak badać wyniki pracy?
Gdy mam raporty np.
z badań tajemniczego klienta
lub
raportu reklamacji
lub
raportu satysfakcji Klienta
lub
raportu błędów pracowników
możemy sprawdzić jak zmieniały się dane po wdrożeniu szkolenia i jaki to ma wpływ na jakość pracy.

pozdrawiam
darek
Link do wypowiedziLink
Olaf Sawajner

Olaf Sawajner Projekty HR, Trener
& Coach

Temat: Metody mierzenia efektywności szkoleń

Dariusz Rybiński:
Jak badać wyniki pracy?
Gdy mam raporty np.
z badań tajemniczego klienta
lub
raportu reklamacji
lub
raportu satysfakcji Klienta
lub
raportu błędów pracowników
możemy sprawdzić jak zmieniały się dane po wdrożeniu szkolenia i jaki to ma wpływ na jakość pracy.

pozdrawiam
darek

Dokładnie - im więcej danych, tym lepiej możemy je odnieść i więcej na ich podstawie wnioskować. Różne źródła oceny tego samego czynnika (np. wiedzy w zakresie X) są z wiadomych powodów lepsze.

Przykład z prowadzonych przeze mnie badań nad efektywnością e-learningu:

1. Ankieta (chyba coś ok 40 pytań)
2. Wywiady pogłębione (uczestnicy + przełożeni (w tym wypadku wykładowcy, prowadzący i wybrani pracodawcy))*
3. Przygotowywane projekty (różnice w jakości) (eliminacja efektu eksperymentatora - trzy niezależne oceny ekspertów)
4. Testy wiedzy (jednokrotny wybór) (jw)
5. Wpływ motywacji (osobne testy i wskaźniki)

Zainteresowanych zapraszam na moją krótką prezentację w trakcie konferencji Edukacja w dobie Internetu - w najbliższą sobotę w gmachu Szkoły Wyższej Psychologii Społecznej w Warszawie**

Pozdrawiam
Olaf

-----
*badanie było przeprowadzane na grupach studentów w latach 2007/08/09
**oczywiście darmowa. Strona spotkania dla zainteresowanych http://www.goldenline.pl/spotkanie/edukacja-w-dobie-in...
Link do wypowiedziLink
Bartłomiej Polakowski

Bartłomiej Polakowski Kierownik Zespołu
E-learning
odpowiedzialny za
wdrażanie ...

Temat: Metody mierzenia efektywności szkoleń

Dariusz Rybiński:
Moje doświadczenia to:

Przykład 1

Jak badać wyniki pracy?
Gdy mam raporty np.
z badań tajemniczego klienta
lub
raportu reklamacji
lub
raportu satysfakcji Klienta
lub
raportu błędów pracowników
możemy sprawdzić jak zmieniały się dane po wdrożeniu szkolenia i jaki to ma wpływ na jakość pracy.

pozdrawiam
darek

Podałeś na prawdę ciekawe metody, o których nie pomyślałem. Sprawdzałeś je może w praktyce? Widzę tylko jeden problem. Przy grupie szkoleniowej składającej się z paru tysięcy osób ciężko zebranie potrzebnych danych może być ciężkie. Można oczywiście podzielić ją na mniejsze podgrupy ale zastanawiam się czy wtedy wyniki pierwszych nie będą wpływały na następne.
Link do wypowiedziLink
Marek Vogt-Goliasz

Marek Vogt-Goliasz kognitywista,
e-learning dla
biznesu, llidero.com

Temat: Metody mierzenia efektywności szkoleń

Na początek propozycja. Nigdy nie spotkałem kursu/platformy, gdzie uczestnik miałby rozwiązać pretest. Chodzi o to, by pytania w obu testach badały te same problemy. Porównanie danych z postestu i pretestu pokaże zarys przyrostu wiedzy.

Jeśli chodzi o weryfikację przydatności szkolenia w miejscu pracy, to wbrew pozorom całkiem nieźle sprawdza się rozmowa z przełożonym kursanta:)

Widzę jednak inną możliwość. Co oczywiste, przed zapoznaniem się z materiałami uczestnik powinien poznać cele i program szkolenia. Warto, by mógł się do nich ustosunkować wyrażając (np. na forum) jakie ma oczekiwania. Gdy zapozna się z materiałami, jego zadaniem będzie samoocena na ile kurs spełnił jego oczekiwania.
Ze względu na jakościową analizę danych (która może być bardzo inspirująca) polecam tę metodę dla małych grup.

Olaf Sawajner:
Przykład z prowadzonych przeze mnie badań nad efektywnością e-learningu:

1. Ankieta (chyba coś ok 40 pytań)
2. Wywiady pogłębione (uczestnicy + przełożeni (w tym wypadku wykładowcy, prowadzący i wybrani pracodawcy))*
3. Przygotowywane projekty (różnice w jakości) (eliminacja efektu eksperymentatora - trzy niezależne oceny ekspertów)
4. Testy wiedzy (jednokrotny wybór) (jw)
5. Wpływ motywacji (osobne testy i wskaźniki)

Czy badanie motywacji polegało na analizie raportów o liczbie zalogowań, przejrzanych ekranach itp. czy też deklaracji uczestników?Marek Goliasz edytował(a) ten post dnia 17.09.09 o godzinie 09:12
Link do wypowiedziLink
Agnieszka Świątecka

Agnieszka Świątecka there is no try

Temat: Metody mierzenia efektywności szkoleń

Marek Goliasz:
Na początek propozycja. Nigdy nie spotkałem kursu/platformy, gdzie uczestnik miałby rozwiązać pretest.

a ja spotkałam nieraz, choćby szkolenia Akademii PARP.

A wracając do tematu:
Ważny (a często pomijany) jest również feedback (autoewaluacja, analiza poszczególnych sytuacji, problemów, subiektywna ocena wyników itp.) ze strony prowadzących, w kluczowych momentach kursu i po jego zakończeniu.
Link do wypowiedziLink
Olaf Sawajner

Olaf Sawajner Projekty HR, Trener
& Coach

Temat: Metody mierzenia efektywności szkoleń

Marek Goliasz:
Czy badanie motywacji polegało na analizie raportów o liczbie zalogowań, przejrzanych ekranach itp. czy też deklaracji uczestników?

Marku badanie było oparte zarówno o czynniki jakościowe jak i dane ilościowe. Brałem pod uwagę zarówno ilość logowań, pobierane pliki, przeglądane ekrany, czas spędzany na platformie itp. Jednak to tylko informacje dotyczące grupy eksperymentalnej. Celem porównania z gr. kontrolną (motywem przewodnim była szeroko pojmowana "efektywność" a pobocznymi m.in.: motywacja, bariery wyjścia i wejścia). Niektóre z czynników, które były brane pod uwagę w przypadku motywacji:
- wywiad ze studentami
- wywiad z prowadzącymi i wybranymi pracodawcami
- obecność (porównanie)
- oceny
- chęć udziału w dodatkowych projektach
- czynniki wynikające z teorii psychologicznych jak: przynależność do grupy, zaspokojenie potrzeb itp., które powinny wpływać na tzw. "motywację".

Pozdrawiam
Link do wypowiedziLink
Marek Hyla

Marek Hyla Dyrektor
Zarządzający
e-learning.pl

Temat: Metody mierzenia efektywności szkoleń

Na czwartym poziomie Kirkpatricka (lub jak kto woli - piątym poziomie Philipsa) mierzyć można po prostu parametry finansowe (przychód, zysk, etc.). Mamy za sobą takie doświadczenia (co tam, pochwalę się - w jednym z projektów obrót po jego zakończeniu wzrósł o 300%). Problem w tym, że trudno wyseparować wpływ szkolenia na tego typu parametry od innych czynników (np. wzrostu sprzedaży z powodów wzrostu koniunktury). Nie wiadomo więc ile w tym naszej zasługi, a ile zewnętrznych czynników...

A teraz jeszcze z innej beczki...

Mierzenie efektywności kosztuje. Gdzieś spotkałem się ze statystykami, które określają koszt pomiaru na 3 i 4 poziomie Kirkpatricka na poziomie kilku procent wartości projektu. To (razem z powodem podanym powyżej) jest sporą barierą wejścia (nie dość, że kosztuje extra, to jeszcze generuje rozmyte wyniki). Niewielu Klientów jest gotowych zapłacić za takie dodatkowe działania projektowe.

O tym zagadnieniu trochę więcej znajdziecie też na moim blogu (http://www.SzkoleniaXXIwieku.pl) tutaj: http://testabz.ning.com/profiles/blogs/2275885:BlogPos...

Pozdrawiam

MarekMarek Hyla edytował(a) ten post dnia 17.09.09 o godzinie 15:18
Link do wypowiedziLink
Bartłomiej Polakowski

Bartłomiej Polakowski Kierownik Zespołu
E-learning
odpowiedzialny za
wdrażanie ...

Temat: Metody mierzenia efektywności szkoleń

Marek Hyla:
Na czwartym poziomie Kirkpatricka (lub jak kto woli - piątym poziomie Philipsa) mierzyć można po prostu parametry finansowe

No chyba, że zdefiniowaliśmy sobie na początku inny cel szkolenia:), ale wydaje mi się, że na razie przynajmniej w przeważającej ilości będzie to maksymalizacja zysków lub minimalizacja kosztów.
Mierzenie efektywności kosztuje. Gdzieś spotkałem się ze statystykami, które określają koszt pomiaru na 3 i 4 poziomie Kirkpatricka na poziomie kilku procent wartości projektu. To (razem z powodem podanym powyżej) jest sporą barierą wejścia (nie dość, że kosztuje extra, to jeszcze generuje rozmyte wyniki). Niewielu Klientów jest gotowych zapłacić za takie dodatkowe działania projektowe.
A czy w swoich projektach dla innych firm, nie wykorzystywaliście zasobów "pracodowaców"? W końcu do przygotowania raportów kosztowych, bądź przeprowadzenia akcji, o których pisze Dariusz można wykorzystać własnych pracowników.
Link do wypowiedziLink

konto usunięte

Temat: Metody mierzenia efektywności szkoleń

Bartłomiej Polakowski:
Dariusz Rybiński:
Moje doświadczenia to:

Przykład 1

Jak badać wyniki pracy?
Gdy mam raporty np.
z badań tajemniczego klienta
lub
raportu reklamacji
lub
raportu satysfakcji Klienta
lub
raportu błędów pracowników
możemy sprawdzić jak zmieniały się dane po wdrożeniu szkolenia i jaki to ma wpływ na jakość pracy.

pozdrawiam
darek

Podałeś na prawdę ciekawe metody, o których nie pomyślałem. Sprawdzałeś je może w praktyce? Widzę tylko jeden problem. Przy grupie szkoleniowej składającej się z paru tysięcy osób ciężko zebranie potrzebnych danych może być ciężkie. Można oczywiście podzielić ją na mniejsze podgrupy ale zastanawiam się czy wtedy wyniki pierwszych nie będą wpływały na następne.

W dużych firmach takie badania są robione co jakiś czas i często w wyniku takich badań jest decyzja o przeprowadzeniu szkolenia więc później przy następnym badaniu można sprawdzić skuteczność.
Link do wypowiedziLink
Marek Hyla

Marek Hyla Dyrektor
Zarządzający
e-learning.pl

Temat: Metody mierzenia efektywności szkoleń

Mierzenie efektywności kosztuje. Gdzieś spotkałem się ze statystykami, które określają koszt pomiaru na 3 i 4 poziomie Kirkpatricka na poziomie kilku procent wartości projektu. To (razem z powodem podanym powyżej) jest sporą barierą wejścia (nie dość, że kosztuje extra, to jeszcze generuje rozmyte wyniki). Niewielu Klientów jest gotowych zapłacić za takie dodatkowe działania projektowe.
A czy w swoich projektach dla innych firm, nie wykorzystywaliście zasobów "pracodowaców"? W końcu do przygotowania raportów kosztowych, bądź przeprowadzenia akcji, o których pisze Dariusz można wykorzystać własnych pracowników.

No tak, ale to też koszt... Nawet proste analizy zajmują czas (a więc kosztują)... Oczywiście - im lepszymi narzędziami dysponuje firma (w sensie - danych/rozwiązań analitycznych/możliwości sprawnego raportowania) tym ten koszt jest mniejszy, ale jednak jest...

Pozdrawiam

Marek
Link do wypowiedziLink
Bartłomiej Polakowski

Bartłomiej Polakowski Kierownik Zespołu
E-learning
odpowiedzialny za
wdrażanie ...

Temat: Metody mierzenia efektywności szkoleń

Zgadza się, ale z doświadczenia wiem, że koszty bez faktury z zewnątrz są łatwiej akceptowalne a wyniki takich badań mogą przynieść już namacalne korzyści, które możemy wpisać do Excel'a:)
Link do wypowiedziLink
Kamil Niezgoda

Kamil Niezgoda specjalista HR,
Doradztwo personalne

Temat: Metody mierzenia efektywności szkoleń

Jednym ze sposobów jest przeprowadzenie testów kompetencyjnych wśród pracowników – dzięki nim można zyskać informacje którzy osiągają najlepsze wyniki, a którzy nie pasują profilem do stanowiska. Moja firma korzystała kiedyś z takich testów robionych przez Instytu Gaussa – iakg.pl – okazały się bardzo pomocne
Link do wypowiedziLink
Bartłomiej Polakowski

Bartłomiej Polakowski Kierownik Zespołu
E-learning
odpowiedzialny za
wdrażanie ...

Temat: Metody mierzenia efektywności szkoleń

Nie jestem pewien czy szkolenia przekładają się bezpośrednio na kompetencje.
Tutaj dochodzi też kwestia praktyki, doświadczeń.

www.e-learning.blog.pl
Link do wypowiedziLink

konto usunięte

Temat: Metody mierzenia efektywności szkoleń

Proponuję poczytać o metodzie J. J. Phillipsa - obliczanie wskaźnika zwrotu z inwestycji w szkolenia.

Mierzy wyniki na 5ciu poziomach (pierwsze cztery zaczerpnięte z Kirkpatrick'a):

1) poziom reakcji (czy uczestnikom podobało się szkolenie),
2) poziom uczenia się (czy uczestnicy szkolenia nabyli wiedzę, umiejętności lub/i zmienili swoje nastawienie),
3) poziom zachowania (czy uczestnicy stosują nabyte kompetencje w praktyce)
4) poziom wyników (czy szkolenie przyniosło wymierne korzyści w postaci zmiany wielkości kluczowych mierników działalności firmy
5) obliczenie wskaźnika zwrotu z inwestycji przy wykorzystaniu danych zgromadzonych na
wspomnianych wyŜej czterech poziomach

Można wpisać je wtedy do Excela :)

Pozdrawiam!
Link do wypowiedziLink
Bartłomiej Polakowski

Bartłomiej Polakowski Kierownik Zespołu
E-learning
odpowiedzialny za
wdrażanie ...

Temat: Metody mierzenia efektywności szkoleń

Małgorzata P.:
Proponuję poczytać o metodzie J. J. Phillipsa - obliczanie wskaźnika zwrotu z inwestycji w szkolenia.

Mierzy wyniki na 5ciu poziomach (pierwsze cztery zaczerpnięte z Kirkpatrick'a):

1) poziom reakcji (czy uczestnikom podobało się szkolenie),
2) poziom uczenia się (czy uczestnicy szkolenia nabyli wiedzę, umiejętności lub/i zmienili swoje nastawienie),
3) poziom zachowania (czy uczestnicy stosują nabyte kompetencje w praktyce)
4) poziom wyników (czy szkolenie przyniosło wymierne korzyści w postaci zmiany wielkości kluczowych mierników działalności firmy
5) obliczenie wskaźnika zwrotu z inwestycji przy wykorzystaniu danych zgromadzonych na
wspomnianych wyŜej czterech poziomach

Można wpisać je wtedy do Excela :)

Pozdrawiam!

Proste...przynajmniej dwa pierwsze punkty:)

www.e-learning.blog.pl
Link do wypowiedziLink
« Wróć do tematów
Odpowiedz

Podobne tematy


Następna dyskusja:

Metody ewaluacji szkoleń




Wyślij zaproszenie do
Anuluj