Situational Judgement Tests Alain Hosdey en Michael Tack
Inhoud • Inleiding • Situational Judgement Tests • Demo • Omschrijving • ‘The making of’ • Kwaliteit van SJTs • Balans • Tips voor doe het zelvers en concurrenten • Stellingen en discussie
Inleiding • Alain Hosdey en Michael Tack • Adforum • Oefening
Inleiding • Alain Hosdey en Michael Tack • Adforum • Uitgangspunten: • Innovatief • Wetenschappelijk • Praktijkgericht • Activiteiten: • Ontwikkeling HR-tools • Audit • Varia
Relevante projecten die momenteel lopen:
Oefening VRAAG: WAT DOE JE? Je bent personeelsverantwoordelijke van een grote firma.Het is begin september. Op de camerabeelden is te zien dat een van de administratieve medewerksters een viertal cursusblokken en wat balpennen in haar tas steekt. Wanneer ze hierover wordt aangesproken door de bewaking, geeft ze toe dat ze het materiaal voor private doeleinden wou gebruiken. Ze is alleenstaande moeder met twee kinderen, zo zegt ze en september is een dure maand.Extra schoolgerief komt goed van pas. In het arbeidsreglement staat: Diefstal = ontslag.
Oefening
Stellingen: Bent u akkoord? 1)
Uit de reactie die iemand geeft op de situatie, leren we iets over die persoon.
1)
Die kennis over die persoon is nuttig om te voorspellen (met mate van onzekerheid) hoe iemand zal reageren in een professionele context.
1)
Iemands ervaring heeft een invloed op wat iemand al dan niet een goede reactie vindt.
1)
In verschillende organisaties zal je geconfronteerd worden met verschillende professionele uitdagingen.
Oefening De bovenstaande stellingen vormen de uitgangspunten om te gaan werken met testen in het algemeen en SJTs in het bijzonder.
Situational Judgement Tests
• Demo
• Omschrijving • ‘The making of’ • Kwaliteit • Tips voor doe het zelvers en concurrenten • Balans
SJT- DEMO • Tekstueel: Selor • Multimediaal: Vlaamse Overheid
10
Demo: Tekstueel SITUATIE: Anita is een grote flapuit. Dit zorgt vaak voor hilarische situaties, maar soms kwetst ze mensen hiermee. Tijdens de koffiepauze maakt ze een mopje over ‘dikke mensen’. Carla, die zelf nogal stevig is gebouwd, voelt zich gekwetst en loopt kwaad naar buiten met de woorden ‘Anita, jij kan toch echt lomp ziin. Je denkt beter twee keer na voor je iets zegt!’. Henri, een derde collega, staat naast Anita wanneer dit gebeurt. Anita: “Zeg, Henri, Carla is toch ook snel op haar tenen getrapt, hé!” Henri reageert als volgt:
11
Demo: Tekstueel Hoe gepast vindt u elk van volgende reacties? • Ja, inderdaad, ze kan niet tegen een grapje. Nogal flauw van haar, vind ik. • En toch moet ik haar geen ongelijk geven, hoor. Soms kan je nogal scherp overkomen met je grappen. • Ach, dat waait wel weer over. Ze zal waarschijnlijk een slechte dag hebben vandaag. • Misschien moet je even naar haar toe gaan om te zien of wel alles in orde is met haar. 12
Demo: Multimediaal item Demo Vlaamse Overheid (Generieke proef)
13
Omschrijving Situational Judgement Tests geven ons een beeld van hoe kandidaten situaties inschatten waarmee ze worden geconfronteerd in een professionele context. Kandidaten worden geconfronteerd met een aantal werkgerelateerde uitdagingen en worden gevraagd een oordeel te geven over een aantal beschreven reacties. (Eigen definitie op basis van verschillende definities uit de literatuur) 14
Overzicht verloop test Kandidaat neemt plaats voor PC
Kandidaat scoort antwoordalternatieven op gepastheid
Opslaan resultaten
Instructies
Kandidaat bekijkt antwoordalternatieven
Verwerking van de resultaten
Oefenitem
Filmpje van professionele situatie speelt af of kanidaat leest de situatie
Resultaat: Score en feedback
The making of Typisch traject om SJT te maken: • Incl. keuzes die moeten worden gemaakt • In samenspraak met de opdrachtgever (i.c. Selor)
16
The making of Beslissing 1: Wat willen we meten? • Optie 1: P-O fit op ‘gedrags-’niveau (Klassieke benadering)
The making of Beslissing 1: Wat willen we meten? • Optie 2: Competenties Aanbieden van: • Cases • Goede reacties (= indien competentie beheerst) • Slechte reacties (= indien competentie niet beheerst)
The making of Beslissing 1: Wat willen we meten? • Optie 3: Ethisch verantwoord gedrag (Recent) Aanbieden van: • Cases • Goede reacties (= indien men ethisch handelt) • slechte reacties (= indien men niet ethisch handelt) = Experimenteel ⇒Valkuilen: sociale wenselijkheid, helderheid ethische normen, doorzichtigheid situaties ⇒ Experimenten afwachten
The making of Keuze die we maakten samen met Selor: Meten van competenties aan de hand van confrontatie van kandidaat met herkenbare situaties voor federale ambtenaren
The making of Beslissing 2: Hoe gaan we kritische incidenten genereren? • Via workshops/interviews in organisatie • Via eigen ervaring en inspiratie Werkwijze bij dit project: verschillende bronnen van input: • Workshops • Interviews • Eigen ervaring, voorgelegd aan Selor
The making of Kritische incidenten sorteren: • Samenvoegen gelijkaardige voorvallen • Elimineren van te specifieke situaties (bijvoorbeeld te specifiek voor één FOD)
The making of • Ontwikkeling items (situaties) Zoeken van een balans tussen: • Context niet té specifiek voor één categorie van ambtenaren (probleem van voorkennis) • Context niet té specifiek voor één soort functies • Herkenbaar voor externen, maar geen context die typerend is voor private sector
The making of • Ontwikkeling items Indien verfilmd: aandachtspunten: • Professionele filmploeg • Professionele acteurs die • Niet (te) bekend zijn • Niet ‘te geschoold’ zijn Ideaal= trainingsacteurs • Verregaande aandacht voor non-verbale elementen (in scripts en regie) • Rigoureusheid als consultant: • Voor jezelf • Voor anderen
The making of Beslissing 3: Welke instructies gebruik je? • Inhoud: Peilen naar: • Inzicht? (Hoe gepast vindt u deze reacties?) • Gedrag? (Wat zou je doen?) • Hoe: • Normatief? (Kandidaat geeft oordeel over iedere reactie) • Ipsatief? (Kandidaat kiest beste (en eventueel slechtste) reactie)
The making of In dit project kozen we voor: • Peilen naar inzicht (Hoe gepast vindt u deze reacties?)
• Normatieve bevraging (Kandidaat geeft oordeel over iedere reactie)
The making of Beslissing 4: Welke scoringssleutel gebruik je? • Optie 1: Theoretisch model • Competenties • Theoretische visie op wat goede medewerker is • Nieuw type medewerker (bijvoorbeeld naar aanleiding van nieuwe strategie) •…
The making of Beslissing 4: Welke scoringssleutel gebruik je? • Optie 2: Empirisch criterium: Gebruik een groep medewerkers als criterium: • ‘High performers’ (bijv. Beste scores bij evaluaties) • Hoge anciënniteit • Juiste competenties • Juiste waarden … Vergelijk antwoorden van kandidaten met antwoorden deze groep
The making of Beslissing 4: Welke scoringssleutel gebruik je? • Optie 3: Experten Panel Vraag aan experten hoe een goede kracht op de situaties zou moeten reageren: • Topmanagement • Directe leidinggevenden • Extern panel van specialisten •… Resultaten bepalen als gemiddelde individuele responsen (variant op empirische methode) In workshop komen tot ideale antwoorden
The making of Beslissing 4: Welke scoringssleutel gebruik je? Keuze in dit project: Optie 1: Theoretische sleutel: Selor competenties Hoe gaat dit concreet in zijn werk?
The making of
Beschrijving van de situatie
Stap 1: Framework opmaken per item: TEST 131 Itemnr. 1.1 Compet entie In team werken SITUAT IE
Reactie
Indicator
ALT A
ALT B
ALT C
ALT D
Dimensie beste score is Overleggen: ideeën en Bespreekt problemen en opvattingen op een open dossiers met de andere manier delen met anderen teamleden om zo tot en hen ertoe uitnodigen een oplossing te komen. hetzelfde te doen. POS Overleggen: ideeën en Zet medewerkers en/of opvattingen op een open collega’s aan om manier delen met anderen spontaan informatie en en hen ertoe uitnodigen opinies uit te wisselen. hetzelfde te doen. NEU Groepsgevoel stimuleren: Neemt de nodige teamgeest creëren door het aanmoedigen van initiatieven die de groepssfeer ten geode communicatie en door het komen. bundelen van krachten. POS Geeft het geode Groepsgevoel stimuleren: voorbeeld door zelf teamgeest creëren door actief samen te werken het aanmoedigen van en te communiceren communicatie en door het met de teamleden. bundelen van krachten. POS
Indicator waarvan de reactie een (tegen)indicatie van is.
Dimensie waartoe de indicator behoort
Het ideale antwoord is … (at random verdeeld)
The making of Stap 2: Invullen framework: TEST 131 Itemnr. 1.1 Compet entie In team werken SITUAT Anita is een grote flapuit. Dit zorgt vaak voor hilarische situaties, maar IE soms kwetst ze mensen hiermee. Tijdens de koffiepauze maakt ze een
mopje over ‘dikke mensen’. Carla, die zelf nogal stevig is gebouwd, voelt zich gekwetst en loopt kwaad naar buiten met de woorden ‘Anita, jij kan toch echt lomp ziin. Je denkt beter twee keer na voor je iets zegt!’. Henri, een derde collega, staat naast Anita wanneer dit gebeurt. Anita: “Zeg, Henri, Carla is toch ook snel op haar tenen getrapt, hé!” Henri reageert als volgt:
Indicator
Dimensie
En toch kan ik haar geen ongelijk geven, hoor. Soms kan je nogal scherp overkomen met je grappen. Ik weet niet of Overleggen: ideeën en je je daar bewust van Bespreekt problemen en opvattingen op een open bent. Heb je daar al dossiers met de andere manier delen met anderen ALT eens bij stil gestaan? teamleden om zo tot en hen ertoe uitnodigen A een oplossing te komen. hetzelfde te doen.
beste score is
POS
The making of Stap 3: Evaluatie door ‘maagdelijke’ consultant: Binnen het team is er steeds iemand die niet meewerkt aan de eerste versies van de items en de reacties. Zijn/haar rol is kritisch bevragen of reacties effectief een goede (tegen)indicatie zijn van de gedragsindicator Stap 4: Selor leest kritisch na en gaat na of: • De situaties herkenbaar zijn • De reacties realistisch zijn binnen de federale overheid • De reacties ook volgens hen een goede (tegen)indicatie zijn van de gedragsindicator
The making of Na de eerste afname, worden de gegevens geanalyseerd: • Verdeling van de antwoorden wordt bekeken • Alpha coëfficiënten: • Per indicator • Per competentie • Per test
The making of Na de eerste afname, worden de gegevens geanalyseerd: • Verdeling van de antwoorden • Antwoordpatronen (Gemiddelden en standaardafwijkingen) • Alpha coëfficiënten (interne consistentie): • Per indicator • Per competentie • Per test
The making of De scores worden genormeerd naar de schaal van Selor: Gemiddelde 10 en standaardafwijking 4 Feedback wordt voorzien per gedragsindicator Wie slecht scoort, krijgt ook een ontwikkeltip per indicator
Kwaliteit van SJTs Kwaliteit van SJTS als testvorm (uit de literatuur): • Grote verschillen in kwaliteit tussen verschillende SJTs • Maar: • Globale resultaten zijn positief • Predictieve validiteit performantie is ok (0,3-0,4) • SJT heeft zekere incrementele validiteit t.a.v. ‘klassieke’ screeningstechnieken
Kwaliteit van SJTs Over het algemeen: • Methodologische ‘rigor’ van ontwikkelaar is van cruciaal belang • Verder onderzoek rond bruikbaarheid in het kader van meting van het concept van ‘ethisch gedrag’ is nodig • Resultaten zijn positiever bij normatieve scoring
Kwaliteit van SJTs Over het algemeen: • Instructies hebben invloed op: • Sociale wenselijkheid (Meer sociale wenselijkheid indien gevraagd wordt wat men zou doen dan wanneer wordt gevraagd wat men het beste vindt) • De mate waarin men beredeneerd (Hoe gepast vindt u deze reactie) dan wel gevoelsmatig (Wat zou u doen?) gaat reageren.
Kwaliteit Ervaringen van eigen projecten: • Waar mogelijk correleren aan resultaten evaluaties (afwachten tot kandidaten tijdje in dienst zijn) • Wel al resultaten van bevraging kandidaten die SJT aflegden (Vlaamse overheid): • Perceptie relevantie • Perceptie moeilijkheid • Kandidaten (test): 12189 Respondenten (vragenlijst): 9875
Perceptie moeilijkheidsgraad: Textuele items
41
Perceptie moeilijkheidsgraag: Video Based items
42
Perceptie relevantie textuele items
43
Perceptie relevantie video based items
44
Balans
Algemene voordelen SJT voor organisaties: • Gezichtsvaliditeit • Predictieve validiteit ok • Incrementele validiteit • Inhoudsvaliditeit (tailor-made) • Geen re-test effect van andere selectieprocedures • Positieve, plezante ‘user experience’ • Kan gerecycleerd worden in een ontwikkelingscontext
Nadeel SJT: = Op maat gemaakt => Kwaliteit staat of valt met methodologische ‘rigor’ van de ontwikkelaar
45
Balans Gefilmde items: Voordelen: • Minder adverse impact (Taal) • ‘Sexy’ (employer branding) • Intonatie and lichaamstaal • Van toepassing voor hoger en lager geschoolden Nadeel: • Kost
Balans Textuele items: Voordelen: • Kost • Relevante inhoud Nadelen: Meer nadelen van klassieke testing: • Taal (adverse impact) • Geen info over non-verbaal gedrag 47
Balans Uitdagingen waarmee we leerden omgaan: • Algemene items voor een toch nog diverse groep • Positieve ‘user-experience’ voor zéér lage opleidingsgroepen (alle testing via PC) • Feedback van hoge kwaliteit • Creatie van draagvlak voor nieuwe testingsmethoden (ook bij HR-mensen) • IT: • Veiligheid • Capaciteit • Opvolging van de ontwikkeling van medewerkers • Klassieke SJT of Webcamtest?
Tips voor doe het zelvers en concurrenten Mocht u na deze uiteenzetting zin hebben om zelf SJTs te gaan ontwikkelen en deze te gaan verkopen of als u deze knowhow wil doorspelen aan onze concurrenten, wil ik u alvast de volgende tips meegeven: TIP 1: Verras uw klant • Vertel uw klant dat je met een SJT alles kan meten wat hij wenst. Hij zal erg blij zijn met dit nieuws • Vertel op voorhand niets over de scoringsmethodiek. Dat is veel te technisch voor klanten.
Tips voor doe het zelvers en concurrenten TIP 2: Verzin een eigen procedure om een SJT te maken • Laat uw leiden door uw inspiratie van het moment (creativiteit en innovatie zijn erg belangrijk in deze tijden van crisis) • Werk efficiënt: Sla zoveel mogelijk stappen in het ontwikkelproces over. Time is money
Tips voor doe het zelvers en concurrenten TIP 3: Laat u inspireren door hedendaagse poëzie om uw items te schrijven • Vermijd klassieke grammatie • Gebruik de kracht van de suggestie • Laat geen kritiek toe op uw werk, het is uw individuele expressie van uw intieme emoties
Tips voor doe het zelvers en concurrenten TIP 4: Tracht zo snel mogelijk een verfilmde SJT te verkopen. • Het is een uitstekende gelegenheid om uw nichtje met acteertalenten haar eerste filmervaring te laten opdoen. • Verras uw klant met de afrekening. Best nog niet op voorhand vertellen (zou demotiverend kunnen werken)
Stellingen en discussie
Stellingen Ik blijf nog wat bezorgd over de sociale wenselijkheid bij SJTs.
Stellingen SJTs zijn vooral geschikt voor sociale competenties, minder voor cognitieve competenties.
Stellingen Ik vind het jammer dat de reacties al op voorhand zijn vastgelegd. Ik zou het beter vinden dat de mensen hun reactie kunnen neerpennen (of indien verfilmd kunnen inspreken op een webcam).
Stellingen Al bij al vind ik SJTs een interessant type test.
Stellingen Ik denk dat ik zelf een bedrijf zal beginnen dat SJTs maakt. De tips die we kregen vond ik echt nuttig!
Vragen?
