Temat: Test przekrojowy PHP
Witam.
Nie czytałem całego wątku, ale spodziewam się, co się w nim pojawiło :) dlatego postanowiłem dorzucić swoje trzy grosze. Piszę z pozycji programisty, który już programował aplikacje testów psychologicznych (osobowościowych i zdolności kognitywnych), miał do czynienia z psychologami i metodami testów, no i z racji wykonywanego zawodu ma jako takie pojęcie o zawartości merytorycznej :)
Małgorzata Marzec:
Witam,
zastanawiam się nad opracowaniem testu sprawdzającego kompetencje z zakresu znajomości i posługiwania się PHP.
Chwalebna rzecz. Zakładam, że zdajesz sobie sprawę, że przy pomocy prostego testu co najwyżej odsiejesz kompletnych tumanów (a i to nie wszystkich), a nie wyłowisz perełki. Cytat: 'The most serious disadvantage is the limited types of knowledge that can be assessed by multiple choice tests. Multiple choice tests are best adapted for testing well-defined or lower-order skills. Problem-solving and higher-order reasoning skills are better assessed through short-answer and essay tests. However, multiple choice tests are often chosen, not because of the type of knowledge being assessed, but because they are more affordable for testing a large number of students.', za: Phelps, Richard (Fall, 1996),
"Are US Students the Most Heavily Tested on Earth?", Educational Measurement: Issues and Practice 15 (3): 19–27.
Pomyślałam sobie, że podzielę go na takie oto kategorie pytań:
Kategorie powinny być rozłączne. Jeżeli jedna pozycja (pytanie) wchodzi w skład więcej niż jednej skali (kategorii), to komplikuje się model obliczeniowy.
Łącznie 63 pytania w teście. Jak myślicie? Dobry podział? Czy
Moje sugestie:
1. skale (kategorie) powinny zawierać 10-15 pytań; każda skala w co najmniej dwóch wersjach, różnych ze względu na poziom zaawansowania; dlaczego - o tym za chwilę - w sekcji o punktowaniu,
2. kandydaci nie odpowiadają na pytania ze wszystkich skal; skale powinny być grupowane w profile po 3-4 skale; to daje Ci możliwość dopasowania testu do kandydata - każdy określi się, w czym jest mocny i pod tym kątem możesz go testować,
3. taki test będzie trwał ok. 30-45 min, co jest wartością optymalną.
może coś istotnego pominęłam? Da się z tego wyciągnąć jakieś już w miarę konkretne informacje?
Tak. Pominęłaś obliczanie wyników. O tym niżej.
Dodam, że pytania będą jedno- i wielokrotnego wyboru.
Nie ma sensu. Pytania wielokrotnego wyboru nie dają jakościowo lepszych wyników a komplikują model. Nie pamiętam literatury, ale jak chcesz, to poszukam źródła.
Nad punktacją wciąż jeszcze się zastanawiam:
1 pyt. = 1 pkt
czy może 1pkt - prawidłowa odp.
0pkt - brak odp.
-1pkt - zła odpowiedź...
Kompletnie bez sensu. Sumując punkty (nawet z ujemnymi) otrzymasz najwyżej wynik surowy, który Ci kompletnie nic nie powie. Co Ci przyjdzie z wiedzy, że 90% kandydatów odpowiedziało poprawnie na 8 z 10 pytań w danej skali (kategorii)? Nic. Wszyscy byli rewelacyjni? Nie. Najprawdopodobniej wszyscy byli przeciętni. Dlatego wynik wypadałoby przeliczyć na którąś ze skal statystycznych: stenową, centylową, decylową, itp.
Z założenia taka cecha jak znajomość języka programowania ma rozkład Gaussa. Dlatego wyniki powinny być znormalizowane (musisz znać średnią i odchylenie standardowe dla danej normy) i porównane z normami. Wtedy dostaniesz informację, jak dany kandydat prezentuje się na tle populacji, dla której masz normy (czyli np. populacji programistów PHP w Polsce) - uzyskasz wtedy wskazanie, czy dany kandydat prezentuje wynik obniżony, przeciętny czy podwyższony w porównaniu z innymi programistami PHP. Ponieważ raczej nie istnieją normy - a w zasadzie nie są mi znane - dla 'Polaków programujących w PHP na poziomie zaawansowanym', pierwsze badania powinnaś potraktować jako testy na potrzeby tworzenia norm :)
Oczywiście dla każdego poziomu trudności skali musisz mieć osobne normy (intuicyjnie czujesz, ze na poziomie zaawansowanym wynikiem przeciętnym może być 4 poprawne odpowiedzi, a na podstawowym 7, prawda?).
Chętnie wysłucham uwag od osób specjalizujących się w PHP.
Zatem możesz z czystym sumieniem olać moje wypociny, bo nie specjalizuję się w PHP :)
Jeżeli jesteś zainteresowana szczegółami, pisz na priv. Szkoda śmiecić grupę PHP takimi rzeczami :)
Pozdrawiam.
Marcin MOLGA edytował(a) ten post dnia 20.09.10 o godzinie 01:40