Moderne technologie bij assessment en selectie van personeel
prof.dr. Marise Ph. Born, Erasmus Universiteit Rotterdam, Instituut voor Psychologie en Vrije Universiteit Amsterdam, Vakgroep Sociale & Organisatiepsychologie dr. Janneke K. Oostrom Erasmus Universiteit Rotterdam – Instituut voor Psychologie Workship NIP-congres – 9 maart 2012
Praktijkvoorbeelden
Voorbeeldsituatie
Voorbeeldsituatie
Veelbruikte instrumenten in Nederland • Interviews • Cognitive vaardigheidstests • Biodata • Persoonlijkheidsvragenlijsten • Assessment centers
Waarom zijn multimediale test populair? • Technologische ontwikkeling – Internet – Multimedia
• Reacties van kandidaten
– Functie-relevantie – Rechtvaardigheidspercepties
Kenmerken 1) Simulaties, waarin belangrijke aspecten van de baan worden gepresenteerd Historisch:
Signs
a
b
c
d
e
Samples
Kenmerken 2) Videoclips om situaties te presenteren
VS.
Kenmerken 3) Antwoordformat: meerkeuze (SJT) of openvragen (webcamtest)
Kenmerken 4) Scoringsmethoden SJTs: vergeleken met antwoorden referentiegroep (automatisch) Webcamtest: achteraf beoordeeld door experts
Enkele voordelen 1) Flexibiliteit in afnames -> minder kosten (Olson-Buchanan & Drasgow, 2006)
2) Situaties zijn gedetailleerd en realistisch (Weekley & Jones, 1997) 3) Kandidaten reageren positief, meer gemotiveerd (Stricker, 1982)
Stelling 1 “Het maakt echt niet uit of je technologisch
geavanceerde tests of klassieke tests gebruikt voor het meten van verschillen tussen mensen. Deze moderne tests zijn oude wijn in peperdure nieuwe zakken en ze hebben ook nog eens een beperkte houdbaarheid.”
Onderzoek Oostrom et al. (2010)
• Webcamtest toegevoegde waarde boven kennistest bij voorspellen effectiviteit werkadviseurs
Oostrom et al. (2011)
• Webcamtest toegevoegde waarde boven cognitieve capaciteitentest en persoonlijkheid bij voorspellen studiesucces
Christian et al. (2010)
• Video-SJT voorspelt beter dan papieren SJT
Conclusie stelling 1 “Het maakt echt niet uit of je technologisch
geavanceerde tests of klassieke tests gebruikt voor het meten van verschillen tussen mensen. Deze moderne tests zijn oude wijn in peperdure nieuwe zakken en ze hebben ook nog eens een beperkte houdbaarheid.”
→ Onjuist
Stelling 2 “Geen idee wat multimediale tests meten. Ze
zien er fantastisch uit maar er gaat niets, geen enkel psychologisch begrip, achter schuil. Leuke speeltjes voor IT-ers maar als psycholoog heb ik er helemaal niets mee.”
Onderzoek SJT review door Christian et al. (2010) Construct
1 Leiderschap 2 Heterogeen
3 Interpersoonlijke vaardigheden 4 Persoonlijkheidstrekken 5 Overig
Percentage 37.50%
33.09% 12.50% 9.56% 7.35%
Onderzoek De Meijer et al. (2010): • SJT voor Integriteit
– Gemiddelde tot hoge relaties met :
• ‘How –I-Think’ (cognitieve verdraaiingstest; Barriga et al., 2001) • Selectiegesprek gericht op integriteit
– Geen verband met cognitieve capaciteiten
Conclusie stelling 2 “Geen idee wat multimediale tests meten. Ze
zien er fantastisch uit maar er gaat niets, geen enkel psychologisch begrip, achter schuil. Leuke speeltjes voor IT-ers maar als psycholoog heb ik er helemaal niets mee.”
→ Onjuist
Stelling 3 “Multimediale tests leiden tot minder etnische scoreverschillen dan papieren tests.”
Onderzoek Instrument Intelligentietests
Persoonlijkheidsvragenlijsten
Papieren SJT
Multimedia SJT Webcamtest
D-waarden Amerika
D-waarden Nederland
1.00*
0.38 – 0.64**
-0.04 – 0.21*
-0.21 – 0.23**
0.31*
0.38**
0.40* ?
?
0.14***
* Ployhart & Holtz, 2008 ** De Meijer, Born, Van Zielst, Van der Molen, 2010 *** De Soete, Lievens, Oostrom, & Westerveld, submitted
Onderzoek • Vereiste leesvaardigheden en cognitieve lading van invloed op scoreverschillen (Whetzel, McDaniel, & Nguyen, 2008)
• Type antwoordformat:
– SJT → kennis (intelligentie) – Webcamtest → gedrag (persoonlijkheid)
Onderzoek • Binnen SJTs (Whetzel & McDaniel, 2008): – “Should do” instructie → d = .39 – “Would do” instructie → d = .34
• Binnen webcamtest (De Soete, Oostrom et al.): – Uitspreken → d ≈ 0.10 – Uitschijven → d ≈ 0.30 – Transcripten → d ≈ 0.20
Conclusie stelling 3 “Multimediale tests leiden tot minder etnische scoreverschillen dan papieren tests.”
→ Juist
Stelling 4 “Multimediale tests, zoals SJTs, zijn eenvoudig te faken.”
Onderzoek •
•
Faken: “bewust andere antwoorden geven om positiever te scoren” (McFarland & Ryan, 2000)
Nguyen, Biderman & McDaniel (2005): – – –
–
“should do” en “would do” instructies Twee afnames: eerlijk of niet eerlijk “would do” → d = 0.15 en 0.34 “should do” → d = -0.34 en 0.45
Onderzoek 2. Peeters & Lievens (2005) – – –
Studenten, “would do” instructies Fakers scoorden d = 0.89 hoger dan niet-fakers Verband met cijfers hoger voor niet-fakers (r = .33) dan fakers (r = .09)
→ Faken nadelig voor voorspellende waarde → Oplossing: gebruik ‘should do’ instructies
Conclusie stelling 4 “Multimediale tests, zoals SJTs, zijn eenvoudig te faken.”
→ Onjuist
Stelling 5 “Deze tests automatiseren psychologen weg. Ze gaan tot werkeloosheid onder psychologen leiden.”
“Evidence-based selecteren is beter, maar in mijn praktijk….” “Succesvol selecteren is en blijft goeddeels toeval maar geen reden om op te houden met serieus onderzoek.”
Stelling 5 “Deze tests automatiseren psychologen weg. Ze gaan tot werkeloosheid onder psychologen leiden.”
→ Juist? Onjuist?
Referenties Christian, M.S., Edwards, J.C., & Bradley, J.C. (2010). Situational judgment tests: Constructs assessed and a metaanalysis of their criterion-related validities. Personnel Psychology, 63, 83-117 De Meijer, L.A.L., Born, M.P., Van Zielst, J. & Molen, H.T. van der (2010). The construct-driven development of a video-based situational judgment test measuring integrity: A study in a multi-ethnic police setting. European Psychologist, 15, 229-236. De Soete, B., Lievens, F., Oostrom, J.K., & Westerveld, L. (submitted). Alternative predictors in personnel selection for reducing ethnic performance differences: Constructed response multimedia tests vis-à-vis other instruments. McFarland, L., & Ryan, A.M. (2000). Variance in faking across noncognitive measures. Journal of Applied Psychology, 85, 812-821. Nguyen, Biderman & McDaniel (2005): Olson-Buchanan, J.B., & Drasgow, F. (2006). Multimedia situational judgment tests: The medium creates the message. In F. Drasgow & J.A. Weekley (Eds.), Innovations in computerized assessment (pp. 1-5). Mahwah, NJ: Lawrence Erlbaum. Oostrom, J.K., Born, M.Ph., Serlie, A.W. & Molen, H.T. van der (2010). Webcam testing: Validation of an innovative open-ended multimedia test. European Journal of Work and Organizational Psychology, 19(5), 532-550. Oostrom, J.K., Born, M.Ph., Serlie, A.W. & Molen, H.T. van der (2010). The role of individual differences in the perceived job relatedness of a cognitive ability test and a multimedia situational judgment test. International Journal of Selection and Assessment, 18, 395-407. Oostrom, J.K., Born, M.Ph., Serlie, A.W. & Molen, H.T. van der (2011). A multimedia situational test with a constructed-response format: Its relationship with personality, cognitive ability, leadership experience, and academic performance. Journal of Personnel Psychology, 10, 78-88. Peeters, H., & Lievens, F. (2005). Situational judgment tests and their predictiveness of college students’ success: The influence of faking. Educational and Psychological Measurement, 65, 70-89. Ployhart, R.E., & Holtz, B.C. (2008). The diversity-validity dilemma: Strategies for reducing racioethnic and sex subgroup differences and adverse impact in selection. Personnel Psychology, 61, 153-172. Stricker, L.J. (1982). Interpersonal competence instrument: Development and preliminary findings. Applied Psychological Measurement, 6, 69-81. Weekley, J.A., & Jones, C. (1997). Video-based situational testing. Personnel Psychology, 50, 25-49. Whetzel, D.L., & McDaniel, M.A., & Nguyen, N.T. (2008). Subgroup differences in situational judgment test performance: A meta-analysis. Human Performance, 21, 291-309.
Contact Marise Ph. Born Erasmus Universiteit Rotterdam Instituut voor Psychologie en Vrije Universiteit Amsterdam Vakgroep Sociale & Organisatiepsychologie 010 –408 8814
[email protected] Janneke K. Oostrom Erasmus Universiteit Rotterdam Instituut voor Psychologie 010 – 408 2933
[email protected]
