De ontwikkeling van een ‘videobased Situational Judgment Test’ Lonneke A. L. de Meijer en Marise Ph. Born Erasmus Universiteit Rotterdam
Jaap van Zielst De Politieacademie
Henk T. van der Molen Erasmus Universiteit Rotterdam
Nederlandse Stichting voor Psychotechniek Utrecht, 16 november 2007
Inhoud z Ontwikkeling
van een ‘Situational Judgment Test’ (SJT): – Gebaseerd op videofragmenten – Bedoeld om 3 specifieke constructen te
meten – In een multi-etnische setting z Voor
de selectie van politieagenten
Wat is een SJT? z Work-sample
test bestaande hypothetische scenario’s
z Vaak
gebruik bij personeelsselectie
z Problematische
(voorbeelden)
werksituaties
Voorbeeld 1
Voorbeeld 2
Hoe ziet een SJT er uit? z
Verschillende problematische werksituaties
z
Vier antwoordmogelijkheden bij elke situatie
z
Effectiviteitbeoordeling – ‘Hoe effectief is deze reactie in de gegeven
situatie?’ – 5-punt Likert scale
SJT-scoring z z z
Effectiviteitbeoordeling van de respondent Effectiviteitbeoordeling van de expert Absoluut verschil tussen beide is de eigenlijke score – Als een experts zegt dat een bepaalde reactie erg
effectief is gegeven de situatie, terwijl de respondent zegt dat dit geen effectieve reactie is, dan is dit een slechte score (op een bepaald construct)
Iets over SJT-onderzoek z
Bestaan reeds vanaf de jaren 20 Toegenomen in populariteit in de laatste 20 jaar (e.g., Chan & Schmitt, 1997, 2005; McDaniel et al., 2007)
z
Redenen:
z
– Incrementele validiteit boven intelligentie- en
persoonlijkheidstests (e.g., McDaniel et al., 2007) – Minder ‘adverse impact’ ten opzichte van etnische minderheidsgroepen (e.g., Nguyen & McDaniel, 2003; Weekley & Jones, 1997, 1999)
Nieuwe technologie en SJTs z
Nieuwe technologie maakt de ontwikkeling van ‘video-based’ SJTs mogelijk
z
Voordelen: – Hogere predictieve valditeit (e.g., Lievens & Sackett, 2006)
– Minder ‘adverse impact’ – Hoger realiteitsgehalte, leidend tot
betrouwbaardere reacties van respondenten (e.g., Chan & Schmitt, 1997; Richman-Hirsch et al., 2000)
Maar… ook enige kritiek z
SJTs: Construct-heterogeen
z
Twee gezichtspunten: – Eén SJT-construct: ‘Job knowledge’ (Schmidt & Hunter, 1993)
– SJTs zijn ‘measurement methods’:
Consciëntieusheid, vriendelijkheid, emotionele stabiliteit en g (e.g., McDaniel & Nguyen, 2001)
Construct-heterogeen?? z
Wij betwijfelen of SJTs beperkt zijn tot het meten van deze constructen
z
Het huidige onderzoek beschrijft de ontwikkeling van: – – –
een SJT bedoeld om integriteit te meten in verschillende etnische groepen
Waarom integriteit? z
Integriteit voorspelt werk-gerelateerde resultaten, zoals diefstal en werkprestaties (e.g., Ones, Viswesvaran, & Schmidt, 1993)
z
Sub-dimensies van integriteit, die belangrijke werknemerkenmerken zijn voor de politie: – – – –
Eerlijkheid Weerstand tegen drugs of fraude Klantvriendelijkheid Adequaat gebruik van autoriteit
Hypotheses z
Hypothese 1: Scores op de IntegriteitSJT zijn sterker gecorreleerd aan andere integriteit-dimensies dan aan niet-integriteit-dimensies
z
Hypothese 2: Scoreverschillen tussen etnische groepen op de Integriteit-SJT zijn kleiner dan op de intelligentietest
Methode z
Veldstudie bij de Politieacademie
z
Deelnemers: – –
Kandidaten tussen maart 2005 en augustus 2006 N = 1,696 (68% man; Mage = 24.39, SD = 6.77), waarvan 189 allochtone kandidaten ~ Allochtone kandidaten komen van de Nederlandse Antillen, Marokko, Suriname en Turkije
Integriteit-SJT vanaf het begin z
z
z
Problematische werksituaties: Kritischeincidenteninterviews met 15 experts (ong. 15 jaar werkervaring) Resulterende scenario’s and reacties zijn door dezelfde experts beoordeeld m.b.t. realiteitsgehalte Paper-en-pencil-versie voor pilot-studie (N = 228; 72% man, Mage = 24.08, SD = 6.78) – –
Drie van veertien items werden verwijderd Verschillende items werden herschreven
Video-opname z
Elf items zijn opgenomen: – –
z
Autochtone en allochtone acteurs Autochtone en allochtone politieagenten voor de beoordeling van realiteitsgehalte
50 experts vulde de ‘video-based’ SJT in m.b.t. de antwoordsleutel: – – – –
10 uit elke etnische groep Ong. 14 jaar werkervaring Overeenstemming tussen experts (mean ICC = .70) Modus
Andere instrumenten Integriteit-instrumenten en -dimensies:
z –
Persoonlijkheidstest:
Vriendelijkheid, Consciëntieusheid en Emotionele Stabiliteit
–
Diepte-interview:
Eerlijkheid-Nederigheid
–
HID-vragenlijst:
Cognitieve vervormingen
Niet-integriteit-instrumenten en -dimensies:
z – – –
Intelligentietest: 6 sub-factors Persoonlijkheidstest: Extraversie and Intellect Assessment center (AC): 2 factoren: ‘Agency’ and ‘Communion’
Resultaten: convergente validiteit Integriteit-SJT Integriteit-instrumenten
aut.
all.
Persoonlijkheid
Vriendelijkheid Consciëntieusheid Emotionele stabiliteit
0.16* 0.17* 0.22*
0.10 0.08 0.17*
Diepte-interview
Eerlijkh.-Nederigh.
0.27*
0.21
HID-vragenlijst
Cognitieve vervorm.
-0.34*
-0.43*
NB. Geen significante verschillen tussen de correlaties van de autochtone en allochtone groep * p < .05.
Resultaten: convergente validiteit z
Integriteit-SJT-score vertoonde sterkste correlatie met: –
Eerlijkheid-Nederigheid, meer specifiek: Normbesef (d.w.z. fraude en corruptie kunnen vermijden en onwillig staan t.o.v. profiteren van anderen of de samenleving; Lee & Ashton, 2004)
–
Cognitieve vervormingen, meer specifiek: Opposition-Defiance (d.w.z. geen respect tonen voor regels, wetten en autoriteit; Barriga et al., 2001)
Resultaten: discriminante validiteit Integriteit-SJT Niet-integriteit-instrumenten
aut.
all.
Intelligentie
0.04
0.13
Persoonlijkheid
Extraversie Intellect
0.09* 0.21*
-0.03 0.14
AC
‘Agency’ ‘Communion’
0.15* 0.06*
0.15 -0.02
NB. Geen significante verschillen tussen de correlaties van de autochtone en allochtone groep * p < .05.
Resultaten: Hypothese 1 z
Scores op de Integriteit-SJT zijn sterker gecorreleerd met andere integriteit-dimensies dan met nietintegriteit-dimensies
z
Steun is gevonden voor Hypothese 1
Resultaten: scoreverschillen z
Scoreverschillen op de intelligentietest: o o
z
.48 SD Variërend van .38 SD tot .64 SD op de zes subtests
Scoreverschil op de Integriteit-SJT: o
.38 SD
Resultaten: Hypothese 2 z
Scoreverschil tussen etnische groepen op de Integriteit-SJT is kleiner dan op de intelligentietest
z
Steun is gevonden voor Hypothese 2
Conclusie z
De ‘video-based’ SJT die is ontwikkeld, meet integriteit in verschillende etnische groepen
z
Het scoreverschil tussen etnische groepen op de SJT is kleiner dan op de intelligentietest
Discussie en toekomstig onderzoek z
Opmerkelijke bevinding: –
De correlatie met ‘Agency’ was groter dan verwacht –
z
Beperking: –
z
Verklaring: Flexibiliteit and besluitvaardigheid
Predictieve validiteit kon nog niet onderzocht worden
Toekomst: –
Onderzoek naar andere construct-specifieke SJTs nodig
[email protected] Lonneke de Meijer Erasmus Universiteit Rotterdam
Nederlandse Stichting voor Psychotechniek Utrecht, 16 november 2007
