UNIVERSITEIT GENT Faculteit Psychologie en Pedagogische Wetenschappen Academiejaar 2010-2011 Eerste examenperiode
Beoordelen tijdens het assessment center: Onderzoek naar de effecten van de voorkennis van gestandaardiseerde prompts Scriptie neergelegd tot het behalen van de graad van Master in de Psychologie, optie Bedrijfspsychologie en Personeelsbeleid door Cindy Van den Hoecke
Promotor: Prof. Dr. Filip Lievens Begeleiding: Eveline Schollaert
Ondergetekende, Cindy Van den Hoecke geeft toelating tot het raadplegen van de scriptie door derden.
Cindy Van den Hoecke
i
ABSTRACT
Assessment centers spelen een belangrijke rol in de huidige bedrijfswereld. Ze worden ingezet bij selectie, ontwikkeling en het diagnosticeren van trainingsnoden van de werknemers in een bedrijf (Thornton & Rupp, 2006). Ondanks hun grote waarde wordt het constructvaliditeitsprobleem in de literatuur vaak aangehaald. Dit probleem is reeds benaderd vanuit de trekactivatietheorie (Tett & Guterman, 2000) en deze studie gaat hier verder op in. In deze studie wordt de trekactivatietheorie prescriptief gebruikt in plaats van descriptief. Men gebruikt gestandaardiseerde cues in simulatieoefeningen van een assessment center om situatierelevant gedrag uit te lokken bij de kandidaten. Men gaat na welk effecten deze cues hebben op de constructvaliditeit en de interbeoordelaarsbetrouwbaarheid van assessment centers. Door de standaardisatie van deze cues, ook prompts genoemd, wordt een verhoogde constructvaliditeit en interbeoordelaarsbetrouwbaarheid verwacht. Deze prompts geven de kandidaat de kans om gedrag te laten zien dat relevant is voor de competenties omdat het gedrag als het ware door de prompts wordt uitgelokt. Voor deze studie werden data gebruikt van 48 laatstejaarsstudenten die vrijwillig deelnamen aan een sollicitatietraining. Deze training vond plaats aan de faculteit Psychologie en Pedagogische Wetenschappen van de Associatie Universiteit Gent en bestond uit twee assessment center oefeningen, een werkgesprek en een presentatie. De resultaten tonen een positief effect van het gebruik van gestandaardiseerde prompts op de constructvaliditeit en interbeoordelaarsbetrouwbaarheid.
ii
INHOUD ABSTRACT ...................................................................................................................... i INHOUD .......................................................................................................................... ii LIJST MET TABELLEN ................................................................................................ iv VOORWOORD................................................................................................................ v INLEIDING...................................................................................................................... 1 ASSESMENT CENTER .................................................................................................. 3 Definitie ........................................................................................................................ 3 Historiek ....................................................................................................................... 3 Kenmerken.................................................................................................................... 4 Soorten Assessment Centers......................................................................................... 6 AC voor selectie ....................................................................................................... 6 AC voor ontwikkeling .............................................................................................. 6 Diagnostisch AC....................................................................................................... 6 Praktijksimulaties ......................................................................................................... 7 Postbak-in-oefening.................................................................................................. 7 Case study................................................................................................................. 8 Rollenspel ................................................................................................................. 8 Mondelinge presentatie............................................................................................. 8 Groepsdiscussie ........................................................................................................ 8 Observatie..................................................................................................................... 8 Assessoren .................................................................................................................... 9 Rollenspeler ................................................................................................................ 10 Psychometrische Kenmerken ..................................................................................... 10 Criteriumvaliditeit .................................................................................................. 10 Predictieve validiteit ............................................................................................... 11 Gezichtsvaliditeit .................................................................................................... 11 Constructvaliditeit .................................................................................................. 11 TREKACTIVATIETHEORIE ....................................................................................... 13 Interactionistische Visie ............................................................................................. 13 Trekactivatietheorie en Assessment Center Oefeningen ............................................ 14 Trekactivatietheorie en Prompts................................................................................. 15 METHODE..................................................................................................................... 17 Steekproef en Procedure............................................................................................. 17 Rollenspeler ................................................................................................................ 18 Ontwikkeling van prompts voor rollenspelers........................................................ 18 Training van de rollenspeler ................................................................................... 19 Manipulatiecontrole................................................................................................ 20 Meetinstrumenten ....................................................................................................... 20 Beoordelingen door assessoren .............................................................................. 20 Observatie en Beoordelingsproces ............................................................................. 21 Assessor en training van assessoren ....................................................................... 21 Assessment Center Oefeningen .................................................................................. 22 Werkgesprek........................................................................................................... 22 Presentatie............................................................................................................... 23 Data-analyse ............................................................................................................... 23 RESULTATEN .............................................................................................................. 24 Descriptieve Resultaten en Hypothesetoetsing........................................................... 24
iii
Descriptieve resultaten ........................................................................................... 24 Hypothesetoetsing .................................................................................................. 25 Discriminante validiteit. ..................................................................................... 26 Convergente validiteit......................................................................................... 27 Interbeoordelaarsbetrouwbaarheid. .................................................................... 27 Andere Variantiecomponenten ................................................................................... 28 DISCUSSIE .................................................................................................................... 29 Conclusie .................................................................................................................... 33 REFERENTIES .............................................................................................................. 34 Bijlage 1...................................................................................................................... 38 Bijlage 2...................................................................................................................... 39 Bijlage 3...................................................................................................................... 45
iv
LIJST MET TABELLEN Tabel 1
Beschrijvende statistieken en correlaties tussen de dimensiescores
24
van de kandidaten
Tabel 2
Generaliseerbaarheidanalyse
26
v
VOORWOORD
Bij het aanbieden van deze scriptie gaat mijn dank uit naar alle personen die door hun daadwerkelijke steun en raadgevingen geholpen hebben om deze masterproef tot een goed einde te brengen.
Allereerst wil ik Prof. Dr. Filip Lievens, mijn promotor, bedanken. Dankzij hem kon ik mij verdiepen in deze boeiende materie.
Daarnaast wil ik ook mijn grote dank en waardering uitspreken tegenover mijn begeleidster, Lic. Eveline Schollaert. Ze heeft me niet enkel geholpen met haar wetenschappelijke kennis en goede raad maar ook met de vormgeving van mijn onderzoek en het inzamelen van de data. Ze bleef me ook steeds motiveren en steunen.
Vervolgens zou ik ook alle vrijwillige rollenspelers en beoordelaars willen bedanken. Hun inzet maakte het mogelijk om de nodige data voor deze studie te verzamelen. Uiteraard wil ik ook de laatstejaarsstudenten van de Associatie Universiteit Gent bedanken die vrijwillig deelgenomen hebben aan dit onderzoek.
Tenslotte zou ik ook mijn naaste familie en vrienden willen bedanken voor hun steun en advies tijdens het schrijven van deze scriptie.
Cindy Van den Hoecke,
Gent, mei 2011
1
INLEIDING
Assessment centers (ACs) zijn een belangrijk onderdeel bij selectieprocedures, bij het diagnosticeren van trainingsnoden van werknemers en bij het faciliteren van de ontwikkeling van personeel (Thornton & Rupp, 2006). Ze bestaan uit meerdere simulatieoefeningen die gebruikt worden om de vaardigheden van de kandidaat, ook wel assessee genoemd, te evalueren op verschillende domeinen (Gibbons & Rupp, 2009). Ze zijn duur en tijdrovend, maar ze hebben tevens veel voordelen. Dit blijkt uit vorig onderzoek (Lievens, 2006). Daarnaast worden ze gekenmerkt door een vrij hoge voorspellende waarde voor het later functioneren in de job, afhankelijk van de dimensie die men wenst te meten (Arthur, Day, McNelly, & Edens, 2003). De interbeoordelaarsbetrouwbaarheid is gemiddeld tot hoog. Het verschil in de overeenkomst van de beoordeling door de assessoren kan men voornamelijk verklaren door het verschil in ervaring en door het trainen van de assessoren (Thornton & Rupp, 2006). Een ander voordeel is ook dat de assessees positief reageren op de procedure. Assessees beschouwen een AC als een fair beoordelingsinstrument (Thornton & Rupp, 2006). Het samenspel van deze factoren draagt dan ook bij tot de populariteit van deze methode. In een groot aantal landen verspreid over heel de wereld worden ACs gebruikt, zowel in de private als in de publieke sector (Thornton & Rupp, 2006). De constructvaliditeit van ACs zorgt echter nog voor enkele vraagtekens gezien de verschillende dimensies binnen een zelfde oefening vrij hoog met elkaar correleren maar de correlatie tussen dezelfde dimensies over verschillende oefeningen vrij laag is (Gibbons & Rupp, 2009; Lievens, 2009; Lievens, Chasteen, Day, & Christiansen, 2006; Lievens, Dilchbert, & Ones, 2009; Rupp, Thornton, & Gibbons, 2008).
De trekactivatietheorie (TAT) is een mogelijke theorie die men kan gebruiken om in te spelen op dit constructvaliditeitsprobleem. Deze theorie probeert de gedragsmatige uiting van een trek te verklaren aan de hand van reacties in situaties met cues die relevant zijn voor die trek. Een trek kan maar tot uiting komen wanneer er in de omgeving cues aanwezig zijn die relevant zijn voor die trek (Tett & Guterman, 2000).
2
In dit onderzoek zal de TAT toegepast worden op ACs om de constructvaliditeit en de interbeoordelaarsbetrouwbaarheid van ACs trachten te verbeteren. Op basis van de TAT hebben we gestandaardiseerde cues ontwikkeld, prompts genaamd, die via de rollenspelers jobrelevant gedrag bij kandidaten pogen op te roepen. Deze prompts worden door de rollenspeler gebruikt om gedrag uit te lokken bij de kandidaten. Dit biedt een mogelijkheid voor de kandidaten om hun vaardigheden en competenties te tonen. Bovendien kan mogelijks daardoor de kwaliteit van de beoordelingen van de assessoren verbeterd worden.
De theoretische bijdrage van dit onderzoek bestaat erin dat de TAT toegepast wordt op ACs om de constructvaliditeit en de interbeoordelaarsbetrouwbaarheid te verhogen. Naast een theoretische bijdrage heeft dit onderzoek ook een praktische bijdrage. In de praktijk kan men met het doorvoeren van een kleine en goedkope aanpassing van ACs de kwaliteit van de beoordelingen verbeteren.
Deze studie zal beginnen met het kaderen van het AC, de TAT en prompts. Hierna volgt de formulering van de hypothesen die tijdens het onderzoek getoetst zullen worden. Daarna wordt de gehanteerde methode uitgelegd. Vervolgens gaat men over naar de resultaten van het onderzoek om tenslotte te eindigen met de discussie. In deze discussie worden de beperkingen van dit onderzoek en de mogelijkheden voor toekomstig onderzoek besproken.
3
ASSESMENT CENTER
Definitie
“Een assessment center (AC) bestaat uit een gestandaardiseerde evaluatie van gedrag gebaseerd op meerdere informatiebronnen. Men doet beroep op meerdere getrainde observatoren en verschillende technieken” (International Task Force, 2009, p. 244-245). In tegenstelling tot wat veel mensen denken, is een AC geen specifieke plaats (Lievens & Van Keer, 1999). Een volledig AC bestaat voornamelijk uit meerdere praktijksimulaties, meerdere assessoren die de kandidaat beoordelen, intelligentietesten, persoonlijkheidsvragenlijsten en een selectie-interview (Kok & de Jongh, 2004). Een volledig AC noemt men ook wel eens een AC in ruime zin. Wanneer men enkel de simulatieoefeningen beschouwt als AC oefening, spreekt men van een AC in enge zin (Lievens & Van Keer, 1999). In dit onderzoek zal gebruik gemaakt worden van een AC in enge zin.
Historiek
ACs zijn ontstaan in militaire context. De eerste ACs die gebruikt werden om de geschiktheid van militairen te evalueren zijn ontstaan net voor Wereldoorlog II. De militairen van Wereldoorlog II zijn dus geselecteerd met behulp van ACs. In 1948 publiceerde het Office of Strategic Services (O.S.S.) het boek “The Assessment of Men”. Dit boek beschrijft de gebruikte methode, de resultaten en de ervaringen in verband met het AC. Het eerste AC dat in een niet-militaire setting plaatsvond, vinden we terug in Groot-Brittannië (Anstey, 1971). Het werd gebruikt als tweede deel van een selectieproces. In de Verenigde Staten werd de AC methode voor het eerst grootschalig toegepast bij de selectie van personeel. Dit gebeurde in het bedrijf American Telegraph & Telephone Company (AT&T). De beoordeling van de assessees gebeurde in de beginperiode voornamelijk door psychologen. Later fungeerden ook lijnmanagers als assessoren.
4
Het gebruik van de AC methode kende een enorme groei in de Verenigde Staten in het begin van de jaren ’70 door het ontstaan van consultantsbureaus die AC materiaal verkochten aan organisaties. Op het einde van de jaren ’70 kende de methode een internationale doorbraak (Howard, 1997). In België gebruikt men deze methode sinds ‘80 (Lievens & Van Keer, 1999). Door de toename in gebruik was er nood aan ethische richtlijnen omdat er allerlei wanpraktijken ontstonden Deze werden voor het eerst bepaald op het derde Internationaal Congres voor de assessment center methode in mei 1975 en werden neergeschreven in Guidelines and Ethical Considerations for Assessment Center Operations of afgekort Guidelines (International Task Force, 2009). Deze richtlijnen werden al herhaaldelijk aangepast om aan de veranderende inzichten en omgevingen te voldoen. Tot op vandaag is het AC wereldwijd een veel gebruikte methode die niet enkel in een organisatiecontext wordt gebruikt, maar ook wordt toegepast in andere contexten zoals in het onderwijs, bij de overheid, in het leger, in de industrie, in een militaire setting en bij de ordediensten. Deze methode wordt zowel in de private als in de publieke sector toegepast (Howard, 1997; Thornton & Rupp, 2006).
Kenmerken
Vooraleer men een AC ontwikkelt, gaat men gewoonlijk een jobanalyse uitvoeren. Men gaat hierbij na welke competenties gerelateerd zijn aan het al dan niet succesvol zijn in een job (International Task Force, 2009). Deze competenties zijn belangrijk bij het ontwikkelen van AC oefeningen, het observeren van de kandidaten, het evalueren van de kandidaten en om feedback te geven aan de kandidaten. Om als een AC beschouwd te kunnen worden moet men volgens de Guidelines (International Task Force, 2009) aan een aantal essentiële kenmerken voldoen. Een eerste kenmerk is dat een AC uit verschillende informatiebronnen bestaat. Men moet dus gebruik maken van meerdere AC technieken. Dit kunnen persoonlijkheidsvragenlijsten, intelligentietesten, interviews en praktijksimulaties zijn. De diversiteit aan bronnen is nodig om het complexe gedrag van kandidaten te kunnen bestuderen (International Task Force, 2009).
5
Een tweede kenmerk is dat de assessee door verschillende assessoren geobserveerd en geëvalueerd moet worden. Het is ook belangrijk dat de assessoren roteren zodat elke assessee door verschillende assessoren beoordeeld wordt. De bedoeling hiervan is om eventuele vertekening te reduceren (Thornton & Rupp, 2006). Een derde kenmerk is dat de assessoren een training moeten gevolgd hebben die voldoet aan de richtlijnen die beschreven zijn in het trainingsdeel van de Guidelines (International Task Force, 2009). De assessoren hebben verschillende taken, zowel tijdens als na het AC. Ze moeten het gedrag van de kandidaten kunnen observeren en noteren om het gedrag daarna te classificeren in dimensies of competenties, om het prestatieniveau te kunnen beoordelen, om de eigen observaties te kunnen meedelen en om de informatie afkomstig van andere observatoren te kunnen integreren. Hierna moeten ze een evaluatie kunnen maken van het geheel en aanbevelingen geven voor ontwikkeling in de toekomst. Een vierde belangrijk kenmerk is dat het gedrag op een systematische manier genotuleerd en gescoord wordt tijdens het moment van de observatie. Een vijfde belangrijk kenmerk is de integratie van de data. Als het AC is afgelopen beginnen de assessoren de informatie te verwerken die ze verkregen hebben tijdens de verschillende oefeningen. Hierna komen de verschillende assessoren samen om de informatie die ze verkregen hebben te bundelen tot een profiel voor iedere assessee (Thornton & Rupp, 2006). Er zijn twee verschillende methoden om de data te integreren in een profiel: de consensus methode en de statistische methode (Thornton & Rupp, 2006). Bij de consensus methode komen de assessoren tot een consensus op elke dimensie via een discussie. Bij de statistische methode daarentegen maakt men gebruik van een statistische formule om de verscheidene delen informatie te integreren tot een geheel. Men heeft op voorhand vastgelegd wat de gewichten zijn van de verschillende deeltjes informatie en daarna geeft men deze informatie in de formule in. De bevindingen schrijft men neer in een rapport en deze informatie wordt daarna meegedeeld aan de kandidaat (Kok & de Jongh, 2004).
6
Soorten Assessment Centers
ACs kunnen verschillende toepassingen hebben. Ze kunnen ingezet worden bij selectie, ontwikkeling of loopbaanadvies (Kok & de Jongh, 2004). Hierbij is het belangrijk dat de karakteristieken van het AC overeenstemmen met het doel waarvoor het AC ontwikkeld werd. ACs zijn dus niet altijd volledig hetzelfde en er zijn ook meerdere manieren om ze uit te voeren (Thornton & Rupp, 2006).
AC voor selectie Wanneer een AC gebruikt wordt bij selectie gaat men na of de kandidaat de competenties bezit om de functie waarvoor men solliciteert succesvol uit te oefenen. Men kan het AC voor selectie zowel gebruiken bij externe als interne selectie (Thornton & Krause, 2009).
AC voor ontwikkeling Een ontwikkelingsassessment of development center peilt naar de competenties waarop een werknemer hoog scoort en welke vaardigheden men nog verder kan ontwikkelen. Men krijgt na afloop een beeld van de sterktes en zwaktes van de werknemer (Thornton & Krause, 2009). Kenmerkend voor dit soort van ACs is dat de kandidaten eerst een oefening uitvoeren, daarna krijgen ze feedback en dan mogen ze de oefening voor een tweede keer uitvoeren. Men eindigt met het opstellen van een persoonlijk ontwikkelingsplan (Lievens & Van Keer, 1999).
Diagnostisch AC Wanneer een werknemer van functie wil veranderen of wanneer een verandering nodig is om aan de nieuwe bedrijfssituatie te voldoen, maakt men gebruik van AC bij loopbaanadvies of outplacement. Deze twee vormen van diagnostisch AC zijn dus verschillend van elkaar op het punt van wie de aanvrager is van de functieverandering. Bij een diagnostisch AC probeert men dus te achterhalen welke interesses de werknemer heeft (Kok & de Jongh, 2004).
7
Praktijksimulaties
Kandidaten krijgen in praktijksimulaties de mogelijkheid om hun vaardigheden te tonen in situaties die relevant zijn voor de functie (International Task Force, 2009). De assessee moet zichzelf zijn in een nagebootste werkelijkheid. Het is dus de bedoeling dat de assessee toont welk gedrag men zou stellen in een situatie die gelijkend is aan een situatie die op de werkvloer kan voorkomen. De assessor beoordeelt de assessee op het concreet gedrag dat men stelt. Gedrag dat niet getoond wordt is ook gedrag. Men beoordeelt de assessee dus niet op wat men pretendeert te doen in een gelijkaardige situatie. Huidig gedrag is immers ook een goede voorspeller van toekomstig gedrag. Praktijksimulaties richten zich dus niet op de motieven en intenties van mensen. Gedrag is ook gemakkelijker te bespreken met de assessee omdat men zich meer bewust is van het net gestelde gedrag dan van onderliggende kenmerken (Kok & de Jongh, 2004). Praktijksimulaties zijn waarschijnlijk het meest kenmerkende aan ACs. Er bestaan verschillende soorten praktijksimulaties. Ze zijn te herleiden tot vijf algemene types: postbak-in-oefeningen, case study, rollenspelen, mondelinge presentaties en groepsdiscussies (Bowler & Woehr, 2006). Men kan de opdrachten persoonlijk aanbieden maar men kan dat ook via videobeelden, de telefoon, het internet of het intranet (International Task Force, 2009). Lievens, Van Keer en Volckaert (2010) toonden reeds aan dat gecomputeriseerde en gestandaardiseerde ACs efficiënter en goedkoper zijn, dat ze gerelateerd zijn aan verschillende criteria waarin men geïnteresseerd is en aan de managementcompetenties van de kandidaten.
Postbak-in-oefening Deze simulatieoefening bestaat uit een aantal brieven, nota’s, e-mails,… die de assessee in een bepaalde tijdslimiet moet lezen en verwerken. Bij de papieren versie is het de bedoeling dat de kandidaat alles opschrijft wat men van plan is te doen met de daarbij horende overwegingen. In de mondelinge variant moet de kandidaat in een vastgelegde tijd de zaken doornemen om daarna mondelinge toelichting te geven. Tegenwoordig zijn er ook elektronische versies van deze postbak-in-oefening beschikbaar (Kok & de Jongh, 2004). Op basis van wat de persoon gelezen heeft moet
8
men dan beslissingen nemen over wat men in die situatie zal doen. Deze simulatie is toepasselijk voor management- en administratieve functies.
Case study Bij deze oefening krijgt de assessee een complexe dataset waarover men een schriftelijk rapport moet maken. Vaak is er meer informatie aanwezig dan nodig zodat de assessee de data moet selecteren die nodig zijn (Thornton & Rupp, 2006).
Rollenspel Hierbij moet de assessee interageren met de rollenspeler. Het is de bedoeling dat de assessee richting geeft aan het gesprek. Het rollenspel gebruikt men onder andere om de inter-persoonlijke vaardigheden te meten in een context die sterk lijkt op de werkomgeving (Thornton & Rupp, 2006).
Mondelinge presentatie Bij deze oefening krijgt de assessee informatie over een onderwerp. De assessee krijgt dan een bepaalde tijd om een presentatie voor te bereiden. Hoe men de presentatie geeft is belangrijker dan de inhoud van de presentatie. De assessoren besteden vooral aandacht aan de presentatievaardigheden van de assessee (Kok & de Jongh, 2004).
Groepsdiscussie Aan een groepsdiscussie nemen meerdere kandidaten tegelijkertijd deel. Bij deze opdracht krijgen de assessees informatie over het bedrijf en het probleem. Het kan zijn dat iedereen dezelfde informatie krijgt maar dat is niet altijd het geval. Binnen een bepaalde tijdslimiet moeten de assessees gezamenlijk een probleem oplossen en beslissingen nemen. Het onderwerp van de discussie is afhankelijk van het doel van het AC (Kok & de Jongh, 2004).
Observatie
“Een goede observatie is een beschrijving van gedrag die zeer specifiek aangeeft wat een persoon zegt of doet” (Gaugler & Thornton, 1989, p.613).
9
Aangezien de capaciteit van mensen om informatie te verwerken beperkt is (Friedman, Polson, Dafoe, & Gaskill, 1982), heeft men een aantal technieken ontwikkeld om aan deze beperkingen tegemoet te komen. Een veelgebruikte techniek is de hercodering van de informatie-input aan de hand van operaties die de informatie herleiden tot een beperkt aantal categorieën (Miller, 1956). Dit kunnen we ook verwachten bij assessoren. Zij moeten een grote hoeveelheid aan informatie verwerken die ze verkrijgen tijdens het AC en die moeten ze dan toewijzen aan een aantal dimensies. Er zijn een aantal technieken om de frequentie van goede observaties te verhogen. Om de observeerbaarheid te verhogen kan men het aantal dimensies waarop de assessoren de assessee moet beoordelen limiteren (Gaugler & Thornton, 1989; Lievens, 1998; Schneider & Schmitt, 1992; Woehr & Arthur, 2003). Men kan dit ook doen door een gedragsmatige observatiechecklist te gebruiken (Lievens & Van Keer, 1999; Reilly, Henry, & Smither, 1990). De assessoren beschikken dan voor elke oefening over een lijst met een opsomming van de voor elke dimensie relevante gedragingen. Het trainen van de assessoren verhoogt eveneens hun observatievermogen (Lievens, 1998). Ook kan men de rollenspelers trainen. Wanneer zij getraind zijn om het dimensiegerelateerde gedrag uit te lokken, wordt dit gedrag beter observeerbaar (Lievens, 1998). Met goed gestructureerde oefeningen kunnen de assessoren het gedrag gemakkelijker observeren (Lievens & Van Keer, 1999). Aan de hand van gestandaardiseerd gedrag van de rollenspelers zal in dit onderzoek getracht worden meer structuur aan te brengen in de simulatieoefeningen.
Assessoren
Assessoren worden opgeleid om het gedrag van de assessees te observeren, te registreren, te classificeren en te beoordelen tijdens de simulatieoefeningen (Bartels & Doverspike, 1997).
10
Tijdens een simulatieoefening zijn ten minste twee assessoren aanwezig. De rollenspeler moet er voor zorgen dat de gedachten en de overwegingen van de assessee tot uiting komen. De assessoren scoren het gedrag van de kandidaat op de verschillende dimensies (Kok & de Jongh, 2004). Als de assessoren de assessee elk afzonderlijk beoordeeld hebben komen ze samen om de verzamelde data te integreren en tot een gemeenschappelijk besluit te komen over de prestaties van de assessee over de verschillende oefeningen (Gaugler & Thornton, 1989). Deze informatie wordt dan opgenomen in een rapport waarin de conclusies staan (Kok & de Jongh, 2004). Op basis van dit rapport maakt men dan een beslissing. Assessoren zijn vaak psychologen maar dat is niet altijd het geval. Soms treden lijnmanagers ook op als beoordelaar.
Rollenspeler
De taak van de rollenspeler is om de kandidaat zo actief mogelijk aan de AC opdracht te laten deelnemen en gedrag uit te lokken. Hierbij is het belangrijk dat de rollenspeler zich zo consistent mogelijk gedraagt over de kandidaten heen. De verschillen tussen kandidaten mogen niet te wijten zijn aan het feit dat de rollenspeler zich niet op de zelfde manier gedroeg ten op zicht van de kandidaten (Thornton & Rupp, 2006).
Psychometrische Kenmerken
Criteriumvaliditeit Dit is de mate waarin een test de prestatie van een persoon kan voorspellen op een extern criterium. Men noemt dit ook de externe validiteitstrategie (Lievens & Van Keer, 1999). ACs hebben in het algemeen een vrij goede criteriumvaliditeit. Afhankelijk van de dimensie die men meet, varieert de criteriumvaliditeit van .25 tot .39 (Arthur, Day, McNelly & Edens, 2003).
11
Predictieve validiteit Twee belangrijke meta-analyses (Arthur et al., 2003; Gaugler, Rosenthal, & Thornton, 1987) tonen een gemiddelde predictieve waarde voor ACs van respectievelijk .45 en .37. Maar er is een zeer grote variatie in deze voorspellende validiteitcoëfficiënten. Dit komt vooral doordat de resultaten van verschillende oefeningen samengeteld worden. Deze meta-analyses tonen ook aan dat de totale AC beoordeling een goede voorspeller is van verschillende criteria waaronder jobprestaties, potentieel, trainingprestaties en carrièrevooruitgang. De resultaten van een meta-analyse van Hermelin, Lievens, en Robertson (2007) tonen aan dat de totale AC beoordeling een goede predictor is van de beoordeling door de baas op de jobprestaties.
Gezichtsvaliditeit Dit is de mate waarin een kandidaat van een test vindt dat hij op het eerste zicht meet wat hij behoort te meten. In vergelijking met andere testen blijken ACs een grote gezichtsvaliditeit te bezitten (Thornton & Rupp, 2006). Dit komt waarschijnlijk doordat de kandidaat vindt dat er door de simulatieoefeningen een grote overlap is met de job en dat dit minder het geval is bij algemene vragenlijsten die bijvoorbeeld de persoonlijkheid meten.
Constructvaliditeit Dit is de mate waarin een test meet wat hij beoogt te meten. Men noemt dit ook de interne validiteitstrategie. Constructvaliditeit is verder onder te verdelen in convergente en discriminante validiteit (Lievens & Van Keer, 1999). Convergente validiteit verkrijgt men wanneer verschillende metingen van eenzelfde construct gelijkaardige resultaten oplevert. Discriminante validiteit verwijst naar geen of geringe samenhang van verschillende constructen die met dezelfde methode gemeten worden. Men kan de constructvaliditeit meten aan de hand van een nomologisch netwerk. Men gaat hier de samenhang na tussen dimensies die gemeten worden via verschillende methodes. Bij ACs bekijkt men of er een samenhang bestaat tussen de resultaten
12
verkregen via de simulatieoefeningen en de scores voor de zelfde constructen verkregen via intelligentietest en persoonlijkheidsvragenlijsten (Lievens & Van Keer, 1999). Een andere techniek om de constructvaliditeit te onderzoeken is via een multitrek-multimethode (MTMM) matrix. In het begin onderzocht men met deze methode de relatie tussen beoordelingen van assessoren en beoordelingen van andere personen zoals bazen en collega’s. Hierbij stellen de dimensiebeoordelingen over oefeningen de trekken voor en het AC zelf stelt de methode voor (Campbell & Fiske, 1959). In later onderzoek beschouwt men de gedragskenmerken als de trekken en de oefeningen als de methoden (Kuptsch, Kleinmann, & Köller, 1998). Onderzoek toont aan dat wanneer men dezelfde dimensies beoordeelt over verschillende oefeningen (monotrek-heteromethode correlaties) dat deze onderling laag correleren. Dit wijst op een lage convergente validiteit. Wanneer men kijkt naar beoordelingen van verschillende dimensies op eenzelfde oefening (heterotrek-monomethode correlaties) vindt men dat deze onderling wel hoog correleren. Hiermee toont men een lage discriminante validiteit aan (Kudisch, Ladd, & Dobbins, 1997; Kleinman & Köller, 1997). Recent heeft men echter het gebruik van de MTMM-benadering als enige manier om de validiteit van ACs aan te tonen bekritiseerd (Arthur, Day, & Woehr, 2008; Howard, 2008; Lance, 2008; Rupp, Thornton, & Gibbons, 2008). Hun argument is dat de MTMM-benadering te beperkt is in de criteria die deze techniek gebruikt omdat AC oefeningen niet kunnen beschouwd worden als vervangende metingen en omdat de dimensies van ACs geen stabiele trekken zijn. De constructvaliditeit van ACs werd in de literatuur al meermaals in vraag gesteld. Om de constructvaliditeit te verbeteren heeft men enkele aanpassingen aan het AC design gedaan. Omdat assessoren beperkt zijn in de informatie die ze kunnen verwerken heeft men procedures ontwikkeld die de assessoren ondersteunen tijdens het beoordelen en evalueren van de kandidaat. Dit kan bijvoorbeeld door het aantal dimensies te laten afnemen (Lievens, 2002; Lievens & Conway, 2001; Woehr & Arthur, 2003) of door het gebruik van gedragsmatige observatiecontrolelijsten (Lievens & Conway, 2001). Men kan het probleem van de constructvaliditeit ook bekijken vanuit een invalshoek die gebaseerd is op schema’s. Dan kan men de constructvaliditeit verbeteren
13
door het trainen van assessoren om meer correcte schema’s te gebruiken (Woehr & Arthur, 2003). Ook het inzetten van psychologen als assessoren in plaats van managers en leken (Lievens & Conway, 2001) en het gebruik van ‘across-exercise’ beoordelingen (evaluatie van de assessee na elke oefening) heeft een positief effect op de constructvaliditeit (Woehr & Arthur, 2003). In sommige studies bleken deze aanpassingen de constructvaliditeit niet voldoende te verbeteren (Lievens, 2001, 2002) De trekactivatietheorie kan een nieuwe invalshoek bieden om dit constructvaliditeitsprobleem op een andere manier aan te pakken.
TREKACTIVATIETHEORIE
Interactionistische Visie
De trekactivatietheorie (TAT) is een theorie waarbij de focus ligt op de interactie tussen een persoon en de situatie. Deze theorie probeert een verklaring te vinden voor gedrag aan de hand van reacties in situaties met cues die relevant zijn voor die trek (Tett & Guterman, 2000). Persoonlijkheidstrekken zijn eigenschappen van individuen om op een specifieke manier te handelen in functie van de omgevingseisen. Deze manier van reageren is consistent binnen de persoon maar verschilt van deze van andere personen. Een trek kan maar tot uiting komen wanneer er in de omgeving relevante cues voor de trek aanwezig zijn. Trekrelevantie en situatiesterkte zijn kenmerken van de omgeving die verschillend zijn. Trekrelevantie is een kwalitatief begrip terwijl situatiesterkte eerder een kwantitatief begrip is (Tett & Guterman, 2000). Trekrelevantie geeft aan in welke omstandigheden de uiting van een latente trek te verwachten is. Een situatie kan men als relevant voor een trek beschouwen als de situatie cues verschaft voor de uiting van trekrelevant gedrag (Tett & Guterman, 2000). Dit idee is gebaseerd op het begrip “situational press” van Murray, Barret en Homberger (1938). Het is bijvoorbeeld niet aan te raden om personen te beoordelen op de trek agressie tijdens een religieuze plechtigheid zoals een huwelijk omdat er in die situatie
14
weinig cues aanwezig zijn om agressief gedrag uit te lokken. Het is beter om personen te beoordelen op deze trek tijdens een opstand omdat er in die situaties veel meer cues aanwezig zijn die agressief gedrag kunnen uitlokken. Situatiesterkte verwijst naar de duidelijkheid die er bestaat over hoe een situatie wordt geïnterpreteerd. In sterke situaties zijn er weinig individuele verschillen in de antwoorden op de situatie doordat de uitkomsten van het gedrag algemeen gedeeld zijn (Mischel, 1973). Iedereen zal zich dus min of meer op dezelfde manier gedragen in sterke situaties. De grootste variantie in trekuiting wordt verwacht in zwakke situaties. Dit wil zeggen dat de verwachtingen niet duidelijk zijn waardoor men meer verscheiden gedrag kan observeren. Trekrelevantie en situationele sterkte stellen verschillende eigenschappen voor van situaties die leiden tot het concept trekactivatiepotentieel (TAP; Tett & Burnett, 2003). Om duidelijk te maken wat het onderscheid is tussen de twee concepten vergelijken Tett en Burnett (2003) deze met een radio. Trekrelevantie komt overeen met het kanaal waarop de radio staat en situatiesterkte met het volume.
Trekactivatietheorie en Assessment Center Oefeningen
De verschillende AC oefeningen lokken verschillende gedragingen uit die geobserveerd kunnen worden. De TAP van AC oefeningen verschilt over de verschillende situaties. Als een oefening een lage TAP heeft, wil dat zeggen dat de kans waarmee men een bepaald gedrag in een oefening voor een bepaalde trek kan observeren laag is. Omgekeerd, als een oefening een hoge TAP heeft, is de kans waarmee men een bepaald gedrag in een oefening voor een bepaalde trek kan observeren hoog. Of men een verschil kan observeren in trekrelevant gedrag is zowel afhankelijk van de relevantie en de situationele sterkte. Deze kenmerken zijn beiden belangrijk voor de constructvaliditeit van ACs. Als men meerdere oefeningen gebruikt die verschillen in de mate waarin ze gedrag uitlokken dat geassocieerd is met een bepaalde trek dan zal het moeilijk zijn om consistent gedrag over verschillende oefeningen te observeren. Wanneer men gebruik maakt van oefeningen die gelijk zijn in de mate waarin ze de mogelijkheid bieden om het gedrag te observeren dan zal de convergente validiteit hoger zijn (Lievens et al.,
15
2006; Haaland & Christiansen, 2002). Men moet dus niet hetzelfde gedrag vertonen op verschillende oefeningen om als gelijkend aanschouwd te worden. Het is voldoende dat het getoonde gedrag gerelateerd is aan dezelfde persoonlijkheidstrek. Uit een studie van Lievens et al. (2006) komt naar voor dat de discriminante validiteit beter is voor de dimensies als die geen uiting zijn van dezelfde onderliggende trek in vergelijking met de dimensies die wel uiting zijn van dezelfde onderliggende trek. De TAT kan beschouwd worden als een theorie die een deel van de constructvaliditeit van ACs kan verklaren. Andere factoren (supra) blijven ook belangrijk in het verklaren van de constructvaliditeit van ACs.
Trekactivatietheorie en Prompts
Bij een rollenspel wil men de assessee zo veel mogelijk de kans geven om zijn vaardigheden te uiten. Het gedrag van de rollenspeler moet dus gezien worden als een ‘presenteerblaadje’ of mogelijkheid voor de assessee om zijn kunnen te demonstreren. (Kok & de Jongh, 2004). Op basis van de TAT werden er relevante cues ontwikkeld die de kandidaat de mogelijkheid geven om jobgerelateerd gedrag te tonen. We noemen deze cues prompts. In deze studie wordt gekozen voor de volgende definitie van prompts: “Prompts zijn gepredetermineerde verbale en non-verbale handelingen die door rollenspelers over alle kandidaten consistent gehanteerd worden, met als doel competentiegerelateerd gedrag uit te lokken” (Schollaert & Lievens, in press). Wanneer men rollenspelers een training geeft over de prompts die ze moeten gebruiken, dan zijn ze ook daadwerkelijk in staat om deze prompts te gebruiken tijdens het rollenspel (Schollaert & Lievens, in press). In deze scriptie zal het effect nagegaan worden van deze prompts op de observatie door assessoren. Zowel de rollenspelers als de assessoren zullen de prompts aanleren. De rollenspelers dienen zo veel mogelijk relevant gedrag voor de job op te wekken via de prompts. De assessoren zien deze prompts, gebruikt door de rollenspeler, als hints voor bepaalde competenties. Zij worden door de hints geprimed, hun aandacht wordt extra getrokken naar jobrelevant gedrag. Kandidaten krijgen ook meer kansen om gedrag te tonen voor de relevante dimensies.
16
Aangezien de assessoren zich waarschijnlijk kunnen baseren op meer gedragingen en dat er voor de verschillende dimensies gedrag uitgelokt wordt, zullen ze waarschijnlijk meer kunnen discrimineren tussen dimensies. In de literatuur (Brannick, Michaels, & Baker, 1989) wordt soms het probleem aangehaald dat assessoren zich op een gedrag moeten baseren om meerdere dimensies te beoordelen. Via prompts proberen we dit probleem te verhelpen. Dit leidt tot onderstaande hypothese:
Hypothese 1: Indien rollenspelers gestandaardiseerde prompts gebruiken en de assessoren op de hoogte zijn van deze prompts (via training) zal de discriminante validiteit hoger zijn dan wanneer er geen gestandaardiseerde prompts gebruikt worden.
Aangezien over de verschillende oefeningen heen cues gebruikt worden om de competenties uit te lokken wordt verwacht dat dit de convergente validiteit zal verbeteren. Aangezien er over de verschillende oefeningen heen jobrelevant gedrag opgeroepen wordt, vermoeden we dat de beoordelingen van de assessoren over oefeningen heen beter zullen correleren. Dit leidt tot de volgende hypothese:
Hypothese 2: Indien rollenspelers gestandaardiseerde prompts gebruiken en de assessoren op de hoogte zijn van deze prompts (via training) zal de convergente validiteit hoger zijn dan wanneer er geen gestandaardiseerde prompts gebruikt worden.
Lievens en Van Keer (1999) toonden reeds aan dat hoe gemakkelijker het is om trekken te observeren, hoe hoger de interbeoordelaarsbetrouwbaarheid. Het gebruik van gestandaardiseerde prompts zou er voor kunnen zorgend dat de aandacht van de assessoren gericht wordt op dezelfde zaken en hierdoor de interbeoordelaarsbetrouwbaarheid hoger wordt. Dit brengt ons tot de laatste hypothese:
Hypothese 3: Indien rollenspelers gestandaardiseerde prompts gebruiken en de assessoren op de hoogte zijn van deze prompts (via training) zal de interbeoordelaarsbetrouwbaarheid hoger zijn dan wanneer er geen gestandaardiseerde prompts gebruikt worden.
17
METHODE
Steekproef en Procedure
Men heeft data van 48 AC kandidaten ingezameld die deelgenomen hebben aan een AC simulatie. Deze kandidaten waren laatstejaarsstudenten aan de Associatie Universiteit Gent (56.4% vrouwen; gemiddelde leeftijd = 22.2 jaar, SD = 1.7 jaar). De meerderheid van de deelnemers had een masterdiploma in de rechten of in een wetenschappelijke richting. De rekrutering gebeurde met behulp van een e-mail waarin men de personen uitnodigt om deel te nemen aan een simulatie van een selectieproces. Het volledige selectieproces nam ongeveer een dag in beslag. We hebben onze uiterste best gedaan om de simulatie van het selectieproces zo werkelijkheidsgetrouw mogelijk te laten verlopen. Vooreerst werd elke kandidaat individueel verwelkomd en begeleid doorheen de dag door een gecertificeerde testbegeleider. Bij het begin van de sessie werd gezegd dat de deelnemers hun ervaring met een selectieprocedure konden verhogen door deel te nemen aan deze simulatie. Vervolgens kregen de deelnemers de opdracht om een aantal gevarieerde vragenlijsten in te vullen en deel te nemen aan een AC oefening. Na het doornemen van de catalogi van verschillende consultancy bureaus, kochten we een specifiek rollenspel dat gericht was op kandidaten die een managementfunctie voor starters ambieerden. De gemeten dimensies waren interpersoonlijke sensiviteit, plannen en organisatie, probleemoplossend gedrag en omgaan met stress. Onder ‘interpersoonlijke sensitiviteit’ verstaat men de mate waarin een individu tijdens zijn handelen rekening houdt met de gevoelens en behoeften van andere mensen. ‘Plannen en organiseren’ wordt gedefinieerd als de mate waarin een individu systematisch zijn/haar werk en middelen regelt alsook dat van anderen voor een efficiënte taakverwezenlijking en de mate waarin een individu op de toekomst anticipeert en er zich op voorbereidt. Met ‘probleemoplossend gedrag’ bedoelt men de mate waarin een individu informatie verzamelt, relevante technische en professionele informatie begrijpt, effectief data en informatie analyseert, valabele mogelijkheden, ideeën en oplossingen genereert, verdedigbare actieplannen voor problemen en situaties selecteert, beschikbare middelen op nieuwe manieren gebruikt en verbeeldingrijke oplossingen genereert en herkent. ‘Omgaan met stress’ wordt gedefinieerd als de mate
18
waarin een individu effectiviteit behoudt in verschillende situaties onder gevarieerde mate van druk, weerstand en teleurstelling. Deze dimensies heeft men geïdentificeerd als relevant voor een beginnende managementfunctie (Arthur, Day, McNelly, & Edens, 2003). Enkele weken na het selectieproces ontvingen de kandidaten een gedetailleerd feedbackrapport. Er was anekdotische evidentie dat de kandidaten gemotiveerd waren om deel te nemen aan het AC en de selectiesimulatie waarnamen op dezelfde manier als een echte selectiesetting. Dit wordt verondersteld omdat ze zelf hadden beslist om deel te nemen aan de gesimuleerde selectiesetting. Wat nog meer was, ze rapporteerden allemaal dat ze zenuwachtig en bang waren om deel te nemen aan de test. Ze droegen ook zakelijke kledij. Om hun motivatie te meten, werd aan hen gevraagd om een testmotivatieschaal in te vullen (van de Test Attitude Survey, Arvey, Strickland, & Drauden, 1990). Na de AC oefening werd gevraagd aan de kandidaten om deze schaal in te vullen. Deze schaal bestond uit 5 items ( Bijvoorbeeld: “ Goed presteren op deze oefening is belangrijk voor mij”). Aan de kandidaten werd gevraagd hoe accuraat elke uitspraak hen beschreef, gebruik makend van een Likert-schaal, gaande van 1 (zeer onnauwkeurig) tot 5 (zeer nauwkeurig). De interne consistentie betrouwbaarheids alpha was .82 en de gemiddelde score bedroeg 3.8 (SD = .53).
Rollenspeler
Ontwikkeling van prompts voor rollenspelers Om relevante prompts voor een rollenspeler te genereren, voerden we een voorstudie uit om rollenspelerprompts te ontwikkelen die gelinkt zijn aan de vier relevante dimensies. In een eerste fase, om er ons van te verzekeren dat de prompts die zouden gebruikt worden weldegelijk gehanteerd worden in ACs, werd aan zeven ervaren assessoren (gemiddelde leeftijd= 38.6 jaar, SD= 7.87; 57% mannen; gemiddelde ervaring in selectie= 13.3 jaar, SD= 8.80) gevraagd om mogelijke prompts te rapporteren die rollenspelers konden gebruiken om jobgerelateerd gedrag uit te lokken tijdens het rollenspel. Tijdens deze fase werden 198 unieke prompts gerapporteerd. In een tweede fase verfijnden we deze lijst door het reduceren van prompts die (a) ongeschikt (b) te vaag (c) te concreet en (d) overbodig waren. Na deze procedure bleven
19
slechts 84 prompts over. In een derde dase werden deze 84 prompts gepresenteerd aan twee andere groepen van assessoren: de ene groep bestond uit acht afgestudeerde studenten in Bedrijfspsychologie en Personeelsbeleid van de Associatie Universiteit Gent (62% mannen; gemiddelde leeftijd= 27.1 jaar, SD= 2.17) en de andere groep bestond uit twaalf ervaren assessoren (42% mannen; gemiddelde selectie-ervaring= 5.71 jaar, SD= 7.35). Aan deze twee groepen van assessoren werd gevraagd om de prompts te hervertalen naar de dimensies. Als er een overeenstemming was van ten minste 70% werden de prompt beschouwd als een goede cue om de respectievelijke dimensie uit te lokken. Hierdoor werd het aantal prompts nog gereduceerd. Uiteindelijk bleven 21 prompts over. Een voorbeeld van een prompt was “ Meld dat u er zich slecht bij voelde” (om inter-persoonlijke sensiviteit te triggeren).
Training van de rollenspeler Negentien rollenspelers (58% vrouwen; gemiddelde leeftijd = 22.9 jaar, SD = 1.5) werden at random toegewezen aan één van de twee condities (rollenspel training zonder prompts en rollenspel training met prompts). De trainer was een consultant met een diploma in de Bedrijfspsychologie en Personeelsbeleid en 15 jaar ervaring in personeelsselectie. Beide trainingen namen een halve dag in beslag en hadden een identieke samenstelling. De training begon met anderhalf uur doornemen van de handleiding waarin de rollenspelers de inhoud van het AC en hun specifieke rol leerden. Daarna werd een video van een rollenspel getoond (1.5 uur). In de training van de rollenspeler zonder prompts, introduceerde de trainer de videofilm (een rollenspeler zonder prompts) door uit te leggen dat de rollenspelers hun rol objectief en consistent moeten spelen, volgens de Guidelines and Ethical Considerations for AC operations (International Task Force on Assessment Center Guidelines, 2009). Bij de training met prompts, introduceerde de trainer de videofilm (van een rollenspeler die prompts gebruikt) door uit te leggen dat men de rol objectief en consistent moet spelen, maar men voegde er een demonstratie over het gebruik van prompts bij het rollenspel aan toe. Daarom werd aan de deelnemers uitgelegd hoe ze gestandaardiseerde prompts kunnen gebruiken om gedrag uit te lokken. In beide condities bestond het laatste deel van de training (twee uur) uit praktische oefeningen, feedback en discussie.
20
Manipulatiecontrole Om na te gaan of de rollenspelers daadwerkelijk prompts gebruikten na de prompt training, codeerden vier masterstudenten Bedrijfspsychologie en Personeelsbeleid van de Associatie Universiteit Gent (100% vrouwen; gemiddelde leeftijd = 21.8, SD =.96) het gedrag van de rollenspeler. De personen die het gedrag codeerden kregen hiervoor een halve dag training. Ze schreven onafhankelijk van elkaar het gedrag van de rollenspelers neer. Daarna telden ze het aantal keer dat een rollenspeler een prompt gebruikte om dimensiegerelateerd gedrag uit te lokken. Ze telden ook het aantal interventies dat niet kon beschouwd worden als dimensiegerelateerd gedrag. De interbeoordelaarsbetrouwbaarheid (kappa’s hoger dan .70) werd gezien als bevredigend, en dit voor alle dimensies. Discrepanties werden opgelost door discussie. Het aantal prompts per dimensie toonde aan dat de rollenspelers significant meer prompts gebruikten na het volgen van een prompttraining. In het rollenspel was de gemiddelde proportie van prompts .07 (1.54 prompts) in de conditie zonder prompts en .48 (13.12) in de conditie met prompts. De effect sizes waren groot, variërend van 1.43 tot 1.69. Hieruit concludeerden we dat de rollenspelers in staat waren om de prompts te gebruiken na het aanleren van deze prompts tijdens de training.
Meetinstrumenten
Beoordelingen door assessoren De beoordelingen gemaakt door de assessoren op elk van de vier dimensies werden gebruikt als afhankelijke variabelen om onze hypotheses te testen over interbeoordelaarsbetrouwbaarheid en constructvaliditeit. De getrainde assessoren werden at random toegewezen aan de kandidaten in een van de condities om hen blind te houden voor de manipulaties. In het rollenspel schreven de assessoren de geobserveerde gedragingen per dimensie neer. Onmiddellijk na het bekijken van een assessee in een rollenspel, scoorden de assessoren, onafhankelijk van elkaar, de assessees op de vier dimensies op een scoreformulier. De dimensies werden gescoord op een 5-punten schaal, van slecht
21
(1) tot excellent (5). Gemiddeld observeerden en beoordeelden de assessoren drie kandidaten. Dit proces duurde ongeveer 45 minuten.
Observatie en Beoordelingsproces
Assessor en training van assessoren Een groep van 62 studenten Bedrijfspsychologie en Personeelsbeleid van de Associatie Universiteit Gent (69.4% vrouwen; gemiddelde leeftijd: 20.9 jaar, SD = 1.32) werden getraind om als assessor te fungeren in een AC simulatie en om kandidaten te evalueren aan de hand van videobeelden. Deelnemers werden willekeurig toegewezen aan ofwel een training voor assessoren met prompts of training voor assessoren zonder prompts. De trainer was een gecertificeerd assessor met een masterdiploma in Bedrijfspsychologie en Personeelsbeleid. Beide trainingen duurden een halve dag en begonnen met een presentatie die de oorsprong, de basis en het beoordelingsproces van ACs omvatte. Na de presentatie ontvingen de assessoren gedetailleerde informatie over de twee AC oefeningen en de vier dimensies. Het volgende deel van de training was gedeeltelijk verschillend in beide condities. In de training voor assessoren zonder prompts, leerden de assessoren het proces van het observeren van het gedrag van de kandidaat. De trainer gaf de assessoren de instructies om beschrijvingen van het gedrag van de kandidaten te maken in plaats van gedragsmatige interpretaties te doen. De assessoren leerden dus om goede observaties neer te schrijven (Gaugler & Thornton, 1989). In een volgende stap werd er uitgelegd hoe ze notities moesten classificeren onder de vier dimensies. In de training met prompts kregen de assessoren ook instructies over hoe ze gedragsobservaties moesten neerschrijven en classificeren, maar deze training werd aangevuld met een uitleg over de gestandaardiseerde prompts. Ze werden er attent op gemaakt dat de rollenspelers gestandaardiseerde prompts gebruikten om de vier dimensies uit te lokken. In het bijzonder werd hen gezegd dat de gestandaardiseerde prompts die de rollenspeler gebruikt, dienen als “hints” voor de assessor om de relevante dimensies te observeren. De assessoren kregen een lijst met de gestandaardiseerde prompts die de rollenspelers gebruikten tijdens de AC oefeningen per dimensie. Terwijl ze observeerden kregen ze
22
de instructies om hun geschreven observaties aan te vullen met de overeenkomstige prompts die gebruikt werden door de rollenspelers. Het laatste deel van de training was identiek in beide condities. De assessoren voerden de praktische oefeningen uit door het observeren van gedragingen gebruik makende van een videoband met assessees die deelnamen aan een AC oefening. Na het bekijken van de videoband lokte de trainer een discussie uit tussen de assessoren over de observaties. Discrepanties werden opgehelderd en assessoren kregen feedback van de trainer.
Assessment Center Oefeningen
Er werden twee soorten praktijksimulaties gebruikt tijdens het AC: het werkgesprek en de presentatie. Deze worden hieronder kort toegelicht. In bijlage 2 en 3 kunnen de volledige instructiebladen terug gevonden worden.
Werkgesprek Tijdens dit rollenspel is de assessee de chef en de rollenspeler profileert zicht als een werknemer van de chef. Er zijn de laatste tijd enkele problemen in verband met de werknemer gemeld, zowel van een zeer belangrijke klant als van enkele collega’s. Dat is de reden waarom de chef zijn werknemer bij zich roept voor een gesprek. Bijkomend wil de werknemer dit jaar zeer graag aan een cursus deelnemen om zo promotie te maken. Het aantal deelnemers aan de cursus is beperkt. Vorig jaar heeft de werknemer deze cursus mislopen omdat de cursus volzet was. In de ideale situatie maakt de assessee een zorgvuldige analyse van alle klachten om zo te ontdekken wat er aan de basis ligt van de problemen. De assessee stelt hiernaast ook een oplossing of plan voor naar de toekomst toe. Het is ook belangrijk dat het gesprek zo stressloos mogelijk verloopt en dat de kandidaat de zaken op een interpersoonlijke sensitieve manier aanpakt. Om de oefening voor te bereiden krijgt de kandidaat 15 minuten. Vervolgens krijgt men 15 minuten om het gesprek te voeren.
23
Presentatie Tijdens deze oefening is de assessee een consultant en de rollenspeler is een kaderlid van een park, Mosaic Park. Een overleden baron heeft geld geschonken aan het park en hij wil dat hiermee het park vernieuwd wordt. Voorwaarde hierbij is dat men rekening moet houden met de wensen van de baron. Eén van zijn wensen is dat men een externe consultant moet raadplegen om een plan uit te werken voor de vernieuwing van het park. De assessee is één van de mogelijke consultants die zijn/haar ideeën komt voorstellen aan het kaderlid van Mosaic Park. Net zoals in het werkgesprek krijgt de assessee 15 minuten om de presentatie voor te bereiden en daarna nog eens 15 minuten om de presentatie te geven en te antwoorden op de vragen van het kaderlid.
Data-analyse
In voorgaande studies koos men meestal voor een multitrek-multimethode analyse of een confirmatorische factoranalyse om de constructvaliditeit en de interbeoordelaarsbetrouwbaarheid te bepalen (Lievens, 2009). In deze studie werd gebruik gemaakt van een generaliseerbaarheidanalyse om de constructvaliditeit en de interbeoordelaarsbetrouwbaarheid te bepalen. Onderzoek raadt aan om een generaliseerbaarheidanalyse uit te voeren wanneer men de constructvaliditeit en de interbeoordelaarsbetrouwbaarheid wil bepalen (Lievens, 2009). In tegenstelling tot de multitrek-multimethode analyse houdt deze methode niet enkel rekening met oefeningen en dimensies als mogelijke bronnen van variantie. Ook de assessoren kunnen naast de oefeningen en dimensies het meetproces beïnvloeden. Vooraleer men een generaliseerbaarheidanalyse uitvoert definieert men de factoren die het meetproces beïnvloeden. Deze factoren worden ook facetten genoemd (Lievens, 2001). In deze studie zijn de vier facetten: assessor (A), assessor met kandidaat genest (A(K)), oefening (O) en dimensie (D). Deze vier facetten worden volledig met elkaar gekruist. Na het uitvoeren van een generaliseerbaarheidanalyse wordt een geobserveerde variantie omgezet in twee variantie componenten (VCs). Eén van deze twee
24
componenten is een component die betrekking heeft op de daadwerkelijke verschillen in de score, de werkelijke variantie. De andere component is een error component die het meetproces beïnvloedt, de error variantie (Kane, 1982). Wanneer men de generaliseerbaarheidanalyse gebruikt in plaats van de klassieke testtheorie dan heeft met als voordeel dat men tegelijkertijd verschillende bronnen van variantie in de metingen kan bekijken. Men bekomt dus een genuanceerder beeld van de verschillende bronnen van variantie binnen het meetproces van ACs.
RESULTATEN
Descriptieve Resultaten en Hypothesetoetsing
Descriptieve resultaten In Tabel 1 zijn de gemiddelden, de standaarddeviaties en de correlaties tussen de dimensies weergegeven die in dit onderzoek gebruikt zijn. Er werd gebruik gemaakt van de Pearson Correlaties. Deze Pearson correlaties werden bekomen via het statistisch programma SPSS 17. De belangrijkste resultaten worden hieronder besproken.
Tabel 1. Beschrijvende statistieken en correlaties tussen de dimensiescores van de kandidaten (N=48) Variabelen
M
SD
1
2
1. Probleemanalyse en -oplossing 3.73
2.02
2. Plannen en organiseren
3.00
1.66
.29**
3. Inter-persoonlijke sensitiviteit
4.41
2.22
.17**
.23**
4. Stresstolerantie
2.99
1.68
.18**
.20**
3
4
.09**
De dimensies probleemanalyse en -oplossing, plannen en organiseren, interpersoonlijke sensitiviteit en stresstolerantie correleren allemaal significant positief met elkaar. De sterkste correlatie werd gevonden tussen probleemanalyse en -oplossing en plannen en organiseren (.29, p<.01). De zwakste correlatie werd gevonden tussen interpersoonlijke sensitiviteit en stresstolerantie (.09, p<.01).
25
Hypothesetoetsing
Constructvaliditeit. Om de constructvaliditeit na te gaan werd gebruik gemaakt van een generaliseerbaarheidanalyse. Om deze analyse uit te voeren werd gebruik gemaakt van het statistisch programma SPSS 17.
In het kader van de generaliseerbaarheidanalyse worden de VCs weergegeven. Deze VCs representeren voor ieder facet de bijdrage aan de totale variantie. Omdat de geschatte VCs afhankelijk zijn van de omvang van de metingen is het interessant om deze componenten te interpreteren in termen van hun relatieve belangrijkheid. De relatieve belangrijkheid bekomt men door de procentuele bijdrage van iedere VC aan de totale variantie te berekenen. Deze procentueel verklaarde variantie per facet verkrijgt men door de som te nemen van alle VCs, en dan elke VC afzonderlijk te delen door deze som (Lievens, 2001). De resultaten van de generaliseerbaarheidanalyse zijn terug te vinden in Tabel 2.
26
Tabel 2. Generaliseerbaarbeidanalyse (N=48) Effect
Assessoren niet op de
Assessoren op de hoogte
hoogte van de gebruikte
van de gebruikte
gestandaardiseerde
gestandaardiseerde
prompts
prompts
VC
VC(%)
VC
VC(%)
K(andidaat)
.06
4.44
.20
14.18
A(ssessor(Kandidaat))
.31
22.96
.18
12.77
D(imensie)
.03
2.22
.03
2.12
O(efening)
.01
.74
.00
.00
K(andidaat) x D(imensie)
.05
3.70
.08
5.67
O(efening) x D(imensie)
.02
1.48
.00
.00
K(andidaat) x O(efening)
.17
12.59
.04
2.84
K(andidaat) x D(imensie) x
.00
.00
.00
.00
.70
51.85
.88
62.41
O(efening) A(ssessor(Kandidaat) x D(imensie) x O(efening) Noot. VC = variantiecomponent; VC(%) = procentuele variantiecomponent. Discriminante validiteit. Om de discriminante validiteit te onderzoeken bekijkt men de VC die geassocieerd is met de interactie van kandidaat x dimensie (KD) (Kane, 1982). Wanneer de interactie een hoge waarde heeft, wijst dit er op dat er substantiële verschillen zijn in de scores van de kandidaten op de verschillende dimensies. Anders gezegd, de score van een kandidaat op de ene dimensie is verschillend van de score van dezelfde kandidaat op een andere dimensie. In de conditie waar de assessoren de gebruikte prompts kennen verklaart de procentuele VC kandidaat x dimensie (KD) 5.67 % van de totale variantie. In de conditie waar de assessoren geen weet hebben van de gebruikte gestandaardiseerde prompts verklaart de procentuele VC kandidaat x dimensie (KD) 3.70% van de totale variantie. Hoewel beide percentages nog altijd vrij laag zijn, is de verklaarde variantie bijna verdubbeld in de conditie waar de assessoren een training krijgen over de
27
gebruikte gestandaardiseerde prompts. Deze resultaten suggereren dus dat het implementeren van een training over de prompts voor de assessoren een positieve impact heeft op de discriminante validiteit. Er is dus enige evidentie voor hypothese 1. In de conditie waar de assessoren de gebruikte gestandaardiseerde prompts kennen is de discriminante validiteit dus hoger dan in de conditie waar dit niet het geval is. Hier kan worden verondersteld dat wanneer de assessoren zich kunnen baseren op meer gedragingen en wanneer er voor de verschillende dimensies gedrag uitgelokt wordt, ze meer kunnen discrimineren tussen dimensies.
Convergente validiteit. Om de convergente validiteit te onderzoeken bekijkt men de VC die geassocieerd is met de interactie van kandidaat x oefening (KO) (Kane, 1982). Een lage waarde van de VC van kandidaat x oefening (KO) suggereert dat er een invariantie is van de scores die de kandidaten krijgen doorheen de oefeningen. In de conditie waar de assessoren de gebruikte prompts kennen, verklaart de procentuele VC kandidaat x oefening (KO) 2.84% van de totale variantie. In de conditie waar de assessoren geen weet hebben van de gebruikte gestandaardiseerde prompts verklaart de procentuele VC kandidaat x oefening (KO) 12.59% van de totale variantie. In de conditie waar de assessoren de gebruikte gestandaardiseerde prompts kennen is de procentuele VC meer dan vier keer kleiner dan in de conditie waar de assessoren de gebruikte gestandaardiseerde prompts niet kennen. Er is dus meer variantie in de scores die de kandidaten krijgen over de verschillende oefeningen wanneer de assessoren de gebruikte gestandaardiseerde prompts niet kennen. De hypothese dat de convergente validiteit hoger zal zijn wanneer de rollenspelers gestandaardiseerde prompts gebruiken en de assessoren op de hoogte zijn van deze gestandaardiseerde prompts dan wanneer de assessoren niet op de hoogte zijn van deze prompts, wordt dus bevestigd.
Interbeoordelaarsbetrouwbaarheid. Om de interbeoordelaarsbetrouwbaarheid te bespreken bekijkt men de procentuele VC van assessor x kandidaat (A(K)) (Kane, 1982). Dit geeft de scores van de kandidaten over assessoren, dimensies en oefeningen heen. Dit wil zeggen dat de kandidaten niet allemaal door dezelfde assessor beoordeeld worden. In de conditie waar de assessoren de gebruikte gestandaardiseerde prompts niet kennen bedraagt de procentuele VC 22.96. In de conditie waar de assessoren deze
28
gestandaardiseerde prompts wel kennen bedraagt de VC 12.77. In deze laatste conditie is er dus minder variantie aanwezig. De hypothese over interbeoordelaarsbetrouwbaarheid wordt hierdoor bevestigd.
Andere Variantiecomponenten
In de tabel zijn nog andere VCs weergegeven die tot nu toe niet werden behandeld omdat deze niet relevant waren om onze hypothesen omtrent de constructvaliditeit en de interbeoordelaarsbetrouwbaarheid te bespreken. De procentuele VCs van de hoofdeffecten kandidaat (K), dimensie (D) en oefening (O) worden hieronder besproken. Wanneer we kijken naar de procentuele VC van het hoofdeffect kandidaat (K) zien we dat deze 4.44% bedraagt in de conditie waar de assessoren niet op de hoogte zijn van de gebruikte prompts en 14.18% in de conditie waar de assessoren wel de gebruikte gestandaardiseerde prompts kennen. Het hoofdeffect kandidaat (K) weerspiegelt de variatie in de scores van de kandidaten over oefeningen, assessoren en dimensies heen. In de conditie waar de assessoren op de hoogte zijn van de gebruikte prompts is er dus meer variantie in de scores die de kandidaten krijgen over oefeningen, assessoren en dimensies heen. De procentuele VC van het hoofdeffect dimensie (D) bedraagt in de conditie waar de assessoren niet op de hoogte zijn van de gebruikte gestandaardiseerde prompts 2.22% en in de conditie waar de assessoren de gebruikte gestandaardiseerde prompts wel kennen 2.12%. Deze waarden zijn vrij laag en verschillen niet veel van elkaar. Het hoofdeffect van dimensie (D) representeert de variantie in de scores op de dimensies over oefeningen, kandidaten en assessoren. In beide condities is er weinig variantie in de scores op de dimensies over oefeningen, kandidaten en assessoren heen. De verschillende dimensies krijgen dus in beide condities ongeveer een zelfde score. De procentuele VC van het hoofdeffect oefening (O) bedraagt in de conditie waar de assessoren niet op de hoogte zijn van de gebruikte gestandaardiseerde prompts .74% en in de conditie waar de assessoren de gebruikte gestandaardiseerde prompts wel kennen .00%. Deze waarden zijn zeer laag en verschillen niet veel van elkaar. Het hoofdeffect van oefening (O) representeert de variantie in de scores op de oefeningen
29
over dimensies, kandidaten en assessoren. In beide condities is er weinig variantie in de scores op de oefeningen over dimensies, kandidaten en assessoren heen.
DISCUSSIE
In dit onderzoek werd de TAT (Tett & Guterman, 2000) prescriptief gebruikt om cues te ontwikkelen, gestandaardiseerde prompts genaamd, om het effect na te gaan op de constructvaliditeit en de interbeoordelaarsbetrouwbaarheid van ACs. In het verleden vond men namelijk vaak tegenstrijdigheden in verband met de constructvaliditeit van ACs. Het onderzoek toont aan dat het invoeren van gestandaardiseerde prompts een positief effect heeft op de constructvaliditeit van ACs, en dit zowel op de convergente als de discriminante validiteit. Dit is in lijn met onze hypothesen. Bij de eerste hypothese gingen we er vanuit dat wanneer de assessoren op de hoogte waren van het gebruik van gestandaardiseerde prompts er een hogere discriminante validiteit zou zijn dan wanneer de beoordelaars niet op de hoogte waren van deze gebruikte gestandaardiseerde prompts. Hiervoor werd evidentie gevonden. Dit kunnen we verklaren doordat de assessoren aangeleerd werden dat de prompts ontwikkeld werden om de relevante dimensies zo exclusief mogelijk te vatten (Brannick, 2008). Wanneer assessoren op de hoogte zijn van welke gestandaardiseerde prompts die relevante gedragingen voor de job kunnen activeren, dan kunnen deze prompts fungeren als een soort van “assessor hint” tijdens de AC oefeningen. Bijgevolg, als antwoord op het gebrek aan gedragingen, worden via prompts per dimensie meerdere gedragingen opgeroepen (Brannick et al., 1989). Onze resultaten suggereren dat assessoren hierdoor waarschijnlijk beter kunnen discrimineren tussen gedragingen. Hierdoor veronderstellen we dat de assessoren beter in staat zullen zijn om een onderscheid te maken tussen de verschillende gedragingen. Bij de tweede hypothese gingen we er van uit dat wanneer de assessoren op de hoogte waren van het gebruik van gestandaardiseerde prompts, ontwikkeld op basis van de TAT, er een hogere convergente validiteit zou zijn dan wanneer de beoordelaars niet op de hoogte waren van deze gebruikte gestandaardiseerde prompts. Hiervoor werd evidentie gevonden.
30
Dit kunnen we verklaren doordat de assessoren prompts interpreteren als voor de situatie relevante hints en hierdoor de rollenspeler als het ware volgen door meer aandacht te hebben voor de job relevante gedragsreactie van de kandidaat. Dit gebeurt in de verschillende oefeningen en bijgevolg zullen de beoordelingen beter overeen komen. Het invoeren van gestandaardiseerde prompts heeft niet enkel een positief effect op de constructvaliditeit. Ook de interbeoordelaarsbetrouwbaarheid neemt toe. De hypothese stelt dat de interbeoordelaarsbetrouwbaarheid hoger zou zijn in de praktijksimulatie waar de assessoren op de hoogte zijn van de gebruikte gestandaardiseerde prompts dan in de praktijksimulatie waar dit niet het geval is. Dit onderzoek toont enige evidentie voor deze hypothese. Men vindt minder variantie tussen de scores die de assessoren aan de verschillende kandidaten geven in de conditie waar de assessoren op de hoogte zijn van de gebruikte gestandaardiseerde prompts. Dit kan men verklaren doordat men verwacht dat de gestandaardiseerde prompts als cues gaan fungeren en hierdoor ook de aandacht van alle assessoren meer trekken. De assessoren gaan met andere woorden meer aandacht besteden aan dezelfde situaties, hun aandacht wordt op dezelfde situaties gericht door de gestandaardiseerde prompts. Hierdoor verhoogt de interbeoordelaarsbetrouwbaarheid. Samengevat, het gebruik van gestandaardiseerde prompts heeft een positieve impact op zowel de constructvaliditeit als de interbeoordelaarsbetrouwbaarheid. Naast deze bijdrage zijn er ook methodologische reflecties. De steekproef bestond alleen uit laatstejaarsstudenten aan de Associatie Universiteit Gent. Dit kan problemen opleveren in verband met de externe validiteit. Het gebruik van enkel studentenpopulaties is al meermaals het onderwerp van onderzoek geweest. Er zijn verschillen tussen studenten en managers bij het maken van beslissingen met betrekking tot de beoordeling bij selectie. Een meta-analyse van Peterson (2001) toont aan dat er geen eenduidig antwoord is op de vraag of de resultaten die gevonden worden in een studentenpopulatie mogen gegeneraliseerd worden naar een niet-studentenpopulatie. Peterson (2001) raadt aan om een onderzoek dat gebaseerd is op een studentenpopulatie te repliceren bij een niet-studentenpopulatie vooraleer men resultaten kan generaliseren. Omdat onze steekproef uit laatstejaarsstudenten bestond, hadden ze nog geen ervaring met ACs. Het onderzoek vond bovendien ook niet plaats in een echte selectieomgeving.
31
Toch hebben we onze uiterste best gedaan om een echte selectieomgeving zo goed mogelijk te simuleren. De studenten hebben er zelf voor gekozen om deel te nemen aan een AC. Ze kregen hierna ook feedback over hun prestatie, en er was anekdotische evidentie dat de deelnemers de simulatie zagen als een echte selectieomgeving. In verband met de procedure kan vervolgens de opmerking gemaakt worden dat zowel de assessoren als de rollenspelers geen relevante ervaring hadden met ACs. Het waren masterstudenten Bedrijfspsychologie en Personeelsbeleid aan de Associatie Universiteit Gent die een training hadden gevolgd in verband met het observeren en scoren van kandidaten. Lievens (1998) heeft aangetoond dat het trainen van assessoren hun observatievermogen vergroot. Wat de resultaten ook kan beïnvloed hebben is dat de dezelfde assessor soms tot twintig oefeningen per dag moest observeren. Het AC bestond slechts uit twee oefeningen. Hierdoor kunnen de assessoren dit als repetitief ervaren hebben. Het was dus waarschijnlijk moeilijk voor de assessoren om elke oefening voortdurend met dezelfde focus en aandacht te observeren en te scoren op de verschillende dimensies. Deze studie heeft ook theoretische implicaties omdat er verder onderzoek wordt gedaan of de TAT een nieuwe invalshoek kan bieden voor het constructvaliditeitsprobleem van ACs door deze theorie op een prescriptieve manier te gebruiken bij de ontwikkeling van cues (Lievens et al., 2006). Hierdoor wordt er een bijdrage geleverd aan de verhoging van de kwaliteit van ACs. Wanneer de observator op de hoogte is van deze prompts zorgt dit er ook voor dat deze weet wanneer hij zeker aandachtig moet zijn voor het gedrag van de kandidaat. Wanneer de observator een training heeft gehad over de gestandaardiseerde prompts die gebruikt worden, heeft dit zowel een positief effect op de convergente als op de discriminante validiteit. Deze studie heeft ook meerdere werkgerelateerde stimuli gebruikt in de AC oefeningen terwijl de traditionele benaderingen voor het ontwerpen van AC oefeningen voornamelijk gericht zijn op de hele oefening als een basis voor het oproepen en beoordelen van gedrag. Naast de theoretische bijdrage heeft dit onderzoek ook praktische implicaties. Dit onderzoek bevestigt het belang van het gebruik van de gestandaardiseerde prompts tijdens ACs. Het kan van nut zijn om gestandaardiseerde prompts te ontwikkelen en die
32
te verwerken in de training van de assessoren en de rollenspelers omdat de gestandaardiseerde prompts nuttig zijn voor het verhogen van de interbeoordelaarsbetrouwbaarheid, de convergente validiteit en de discriminante validiteit van ACs. Deze studie geeft richtlijnen voor het ontwikkelen van de oefening en voor de training van rollenspelers en assessoren. Bovendien is het gebruik van gestandaardiseerde prompts zowel goedkoop als gemakkelijk te implementeren in een simulatieoefening. In dit onderzoek werden enkele interessante bevindingen gerapporteerd. Toekomstig onderzoek kan bijvoorbeeld uitwijzen of het gebruik van gestandaardiseerde prompts positieve effecten heeft op de criterium gerelateerde validiteit. Namelijk, door de gestandaardiseerde prompts aan te leren aan de rollenspelers en de assessoren kan de overlap van de cues met de job groter worden. Een andere interessante richting voor toekomstig onderzoek is dat men kan nagaan of men deze resultaten ook vindt wanneer men gebruikt maakt van andere cues dan de gestandaardiseerde prompts die in dit onderzoek gebruikt werden. Men kan onderzoeken of situationele stimuli kunnen geïmplementeerd worden via zowel taakgebaseerde en/of persoonsgebaseerde middelen voor het uitlokken van gedrag aangezien we prompts aanleerden aan de rollenspelers (Lievens et al., 2009). In dit onderzoek hebben we ons enkel gefocust op persoongebaseerde middelen voor het uitlokken van gedrag. Voor toekomstig onderzoek kan het interessant zijn om de focus te leggen op taakgebaseerde middelen om gedrag uit te lokken. Een voorbeeld van een taakgebaseerde middel is het implementeren van situationele stimuli in AC oefeningen door oefeninginstructies, videobeelden, of zelfs de virtuele realiteit. Men zou bijvoorbeeld kunnen nagaan of de oefeninginstructies die de kandidaten krijgen bij het begin van het AC een invloed hebben op de constructvaliditeit. Wanneer men vindt dat er een effect is van oefeninginstructies op deze variabelen dan zou men in verder onderzoek kunnen nagaan of de combinatie van prompts en oefeninginstructies tot betere resultaten leidt. Ook op methodologisch vlak kunnen voorstellen gedaan worden voor toekomstig onderzoek. Men zou ook de externe validiteit van de resultaten verder kunnen onderzoeken. Men kan nagaan of men dezelfde resultaten verkrijgt wanneer men andere steekproeven
33
gebruikt dan masterstudenten van de Associatie Universiteit Gent. Deze studenten namen deel op vrijwillige basis. Door het gebruik van een studentenpopulatie die vrijwillig deelnam aan het onderzoek moet men voorzichtig zijn bij het generaliseren van de resultaten naar andere populaties. Voor toekomstig onderzoek is het aangeraden om bijvoorbeeld random steekproeven te gebruiken van mensen die al enige ervaring in de praktijk hebben. Daarnaast kan men in verder onderzoek nagaan of de gevonden resultaten ook aangetroffen worden wanneer men meer ervaren rollenspelers en assessoren inzet in plaats van laatstejaarsstudenten Bedrijfspsychologie en Personeelsbeleid van de Associatie Universiteit Gent. Bovendien wordt aangeraden om in volgend onderzoek andere AC oefeningen te gebruiken. In deze studie werd enkel gebruikt gemaakt van de presentatie en het rollenspel. Wanneer men andere oefeningen gebruikt kan dit tot andere resultaten leiden. Ook kunnen meer dan twee soorten oefeningen in hetzelfde onderzoek gebruikt worden om na te gaan of men dezelfde resultaten krijgt. De gestandaardiseerde prompts werden ook enkel voor twee AC oefeningen ontwikkeld: het rollenspel en de mondelinge presentatie. Men kan nagaan of deze prompts ook bruikbaar zijn bij andere AC oefeningen.
Conclusie
Wanneer de TAT (Tett & Guterman, 2000) gebruikt wordt om gestandaardiseerde prompts te ontwikkelen dan vinden we dat dit zowel een positief effect blijkt te hebben op de constructvaliditeit als op de interbeoordelaarsbetrouwbaarheid van ACs. Deze bevindingen zijn van praktisch en theoretisch belang omdat het invoeren van gestandaardiseerde prompts een gemakkelijke en goedkope manier is om de constructvaliditeit en de interbeoordelaarsbetrouwbaarheid te verbeteren.
34
REFERENTIES
Anstey, E. (1971). The Civil Service Administrative Class: A follow-up of post-war entrants. Occupational Psychology, 45, 27-43. Arthur Jr., W., Day, E.A., McNelly, T.L., & Edens, P.S. (2003). A meta-analysis of the criterion-related validity of assessment center dimensions. Personnel Psychology, 56, 125-154. Arthur Jr., W., Day, E.A., & Woehr, D.J. (2008). Mend it, don’t end it: An alternative view of assessment center construct-related validity evidence. Industrial and Organizational Psychology, 1, 105-111. Bartels, L. K., & Doverspike, D. (1997). Assessing the assessor: The relationship of assessor personality to leniency in assessment center ratings. Journal of Social Behavior and Personality, 12 (5), 179-200. Bowler, M.C., & Woehr, D.J. (2006). A meta-analytic evaluation of the impact of dimension and exercise factors on assessment center ratings. Journal of Applied Psychology, 91, 1114-1124. Brannick, M.T. (2008). Back to basics of test construction and scoring. Industrial and Organizational Psychology, 1, 131-133. Brannick, M.T., Michaels, C.E., & Baker, D.P. (1989). Construct validity of in-basket scores, Journal of Applied Psychology, 74, 957-963. Campbell, D. T., & Fiske, D. W. (1959). Convergent and discriminant validity by the multitrait-multimethod matrix. Psychological Bulletin, 56, 81-105. Friedman, A., Polson, M. C., Dafoe, C. G., & Gaskill, S. G. (1982). Dividing attention within and between hemispheres: Testing a multiple resources approach to limited-capacity information processing. Journal of experimental psychology – Human perception and performance, 8 (5), 625-650. Gaugler, B.B., Rosenthal, D.B., Thornton, G.C.I.I.I., & Bentson, C. (1987). Metaanalysis of assessment center validity. Journal of Applied Psychology, 72, 493511. Gaugler, B.B., & Thornton, G.C.I.I.I. (1989). Number of assessment center dimensions as a determinant of assessor accuracy. Journal of Applied Psychology, 74, 4, 611-618.
35
Gibbons, A.M., & Rupp, D. E. (2009). Dimension consistency as an individual difference: a new (old) perspective on the assessment center construct validity debate. Journal of Management, 35, 1154-1180. Haaland, S., & Christiansen, N. D. (2002). Implications of trait-activation theory for evaluating the construct validity of assessment center ratings. Personnel Psychology, 55, 137-163. Hermelin, E., Lievens, F., & Robertson, I.T. (2007). The validity of assessment centers for the predicting of supervisory ratings: A meta-analysis. International Journal of Selection and Assessment, 15, 405-411. Howard, A. (1997). A reassessment of assessment centers: Challenges for the 21st century. Journal of Social Behavior and Personality, 12 (5), 13-52. Howard, A. (2008). Making assessment centers work the way they are supposed to. Industrial and Organizational Psychology, 1, 98-104. International Task Force on Assessment Center Guidelines (2009). Guidelines and ethical considerations for assessment center guidelines. International Journal of Selection and Assessment, 17. Kane, M.T. (1982). A sampling model for validity. Applied psychological measurement, 6, 125-150. Kok, B., & de Jongh, F. (2004). Assessment doen: Hoe werkt het in jouw voordeel? Houten: Het Spectrum. Kudisch, J.D., Ladd, R.T., & Dobbins, G.H. (1997). New evidence on the construct validity of diagnostic assessment centers: The findings may not be so troubling after all. Journal of Social Behavior and Personality, 12 (5), 129-144. Kuptsch, C., Kleinmann, M., & Köller, O. (1998). The chameleon effect in assessment centers: The influence of cross-situational consistency on the convergent validity of assessment centers. Journal of Social Behavior and Personality, 13 (1), 103116. Lance, C. E (2008). Where have we been, how did we get there, and where shall we go to? Industrial and Organizational Psychology, 1, 151-157. Lievens, F. (1998). Factors which improve the construct validity of assessment centers: A review. International Journal of Selection and Assessment, 6, 141-152.
36
Lievens, F. (2001). Assessors and use of assessment center dimensions: a fresh look at a troubling issue. Journal of Organizational Behaviour, 22, 203-221. Lievens, F. (2002). Trying to understand the different pieces in the construct validity puzzle of assessment centers: An examination of assessor and assessee effects. Journal of Applied Psychology, 87, 675-686. Lievens, F. (2006). Selectie en assessment van personeel. Handboek Human Resource Management. Back to basic. 121-171. Den Haag: Uitgeverij Lannoo. Lievens, F. (2009). Assessment centres: A tale about dimensions, exercises and dancing bears. European Journal of Work and Organizational Psychology, 18 (1), 102121. Lievens, F., Chasteen, C. S., Day, E. A., & Christiansen, N. D. (2006). Large scaleinvestigation of the role of trait-activation theory of understanding assessment center convergent and discriminant validity. Journal of Applied Psychology, 91, 247-258. Lievens, F., & Conway, J.M. (2001). Dimenison and exercise variance in assessment center scores: A large-scale evaluation of multitrait-multimethod studies. Journal of Applied Psychology, 86, 1202-1222.. Lievens, F., Dilchbert, S., & Ones, D. S. (2009). The importance of exercise and dimension factors in assessment centers: Simultaneous examinations of construct-related and criterion-related validity. Human Performance, 22 (5), 375-390. Lievens, F., & Van Keer, E. (1999). Assessment centers in Vlaanderen: Een wetenschappelijke evaluatie. Gent: Academia Press. Lievens, F., Van Keer, E., & Volckaert, E. (2010). Gathering behavioral samples through a computerized and standardized assessment center exercise: Yes, it’s possible. Journal of Personnel Psychology, 9 (2), 94-98. Miller, G. A. (1956). The magical number 7, plus or minus 2: Some limits on our capacity for processing information. Psychological Review, 63 (2), 81-97. Mischel, W. (1973). Toward a cognitive social learning reconceptualization of personality. Psychological Review, 80, 252-283.
37
Murray, H. A., Barret, W. G., & Homberger, E. (1938). Explorations in personality: a clinical and experimental study of fifty men of college age / by the workers at the Harvard psychological clinic. New York: Oxford University Press. Peterson, R.A. (2001). On the use of college students in social science research: Insights from a second-order meta-analysis. The Journal of consumer research, 28(3), 450-461. Reilly, R. R., Henry, S., & Smither, J. W. (1990). An examination of the effects of using behaviour checklists on the construct validity of assessment center dimensions. Personnel Psychology, 43, 71-84. Rupp, D. E., Thornton, G. C., III, & Gibbons, A. M. (2008). The construct validity of the assessment center method and usefulness of dimensions as focal constructs. Industrial and Organizational Psychology, 1, 116-120. Schneider, J. R. & Schmitt, N. (1992). An exercise design approach to understanding assessment center dimension and exercise constructs. Journal of Applied Psychology, 77, 32-41. Schollaert, E., & Lievens, F. (in press). The use of role-player prompts in assessment center exercises. International Journal of Selection and Assessment. Tett, R. P., & Guterman, H. A. (2000). Situation trait relevance, trait expression, and cross-situational consistency: Testing a principle of trait activation. Journal of Research in Personality, 34, 397-423. Tett, R.P., & Burnet D. D. (2003). A personality trait-based interactionist model of job performance. Journal of Applied Psychology, 88 (3), 500-517. Thornton, G.C., III, & Krause, D. E. (2009). Selection versus development assessment centers: An international survey of design, execution and evaluation. The International Journal of Human Resource Management, 20, 478-498. Thornton, G.C., III, & Rupp, D. E. (2006). Assessment centers in human resource management: strategies for prediction, diagnosis and development. Mahwah, NJ: Lawrence Erlbaum Associates. Woehr, D. J., & Arthur, W., Jr. (2003). The construct-related validity of assessment center ratings: A review and meta-analysis of the role of methodological factors. Journal of Management, 29 (2), 231-258.
38
Bijlagen Bijlage 1
SCHRIFTELIJKE TOELATING Informed Consent
Ondergetekende, (naam) ……………………………………………………… verklaart hierbij vrijwillig deelgenomen te hebben aan deze sollicitatietraining.
Ik heb de inhoud, het doel, en het verloop van deze sessie begrepen en weet dat mijn gegevens vertrouwelijk behandeld zullen worden. Ik verklaar mij akkoord voor het gebruik van de bekomen gegevens voor strikt wetenschappelijk onderzoek ter verbetering van de aangeboden tests en sollicitatietraining. Ik geef de toestemming voor video-opname van mijn oefeningen.
Met onderstaande handtekening geef ik mijn schriftelijke toelating voor mijn deelname en de video-opnames.
Plaats en datum
Handtekening
…………………………………
………………………………
39
Bijlage 2 Werkgesprek
Gesprekssimulatie Deelnemersinstructie Deelnemersinstructie
Werkgesprek
40
DEELNEMERSINSTRUCTIE IntroductiE. In deze oefening krijgt u de gelegenheid te laten zien hoe u een werkgesprek met één van uw medewerkers zou voeren. U bent Kim Bourguois, directeur bij Business Consult. Uw bedrijf is zeer snel gegroeid, en op korte tijd werden er heel wat medewerkers aangeworven. Door de drukte hebt u nog maar weinig tijd gehad om uw personeel te leren kennen. U heeft zich vooral moeten concentreren op het krijgen van relaties met klanten. De medewerker waarmee u het werkgesprek hebt is Dominique De Meester, uw systeemontwerper. Dominique De Meester is een zeer enthousiaste systeemontwerper. Dominique is altijd op de hoogte van de laatste ontwikkelingen en komt ook altijd met creatieve oplossingen voor problemen op het vakgebied. Wat technische kennis betreft behoort Dominique tot de besten van de regio. Ook al is Dominique nog jong, het is zeker iemand die in aanmerking komt voor de functie van Senior-systeemontwerper. Dominique stond dan ook op de nominatie om de cursus 'Projectleiding' te gaan volgen, een voorwaarde om voor Seniorsysteemontwerper in aanmerking te kunnen komen. Sluitingsdatum voor deze opleiding is over twee dagen. De volgende cursus is pas weer over één jaar gepland. De laatste tijd zijn er echter klachten over Dominique. Het lijkt erop dat Dominique minder gemotiveerd is, te lange pauzes neemt en soms absoluut onbereikbaar is, zowel voor collega's als klanten. Ook is Dominique oncollegiaal gedrag verweten. Dominique zou de laatste tijd niet meer beschikbaar zijn voor de collega's, terwijl dit voorheen juist een van de sterke kanten van Dominique was. Werk voor anderen levert Dominique soms niet op tijd af. Ook klanten zijn niet altijd tevreden. Dominique komt regelmatig te laat en zendt informatie soms later dan afgesproken. Bovendien sluit de informatie niet altijd aan bij de vraag, die de klant heeft gesteld. De directe aanleiding voor dit gesprek is een klacht van een klant: Technisch Adviesbureau Labitec uit Aalter. Dominique kwam te laat op de afspraak en Labitec was niet tevreden over het verloop van het gesprek. Dominique kwam snel met oplossingen op hun vragen, maar achteraf bleek dat Labitec niet gelukkig was met de oplossingen die nu geoffreerd gaan worden. Labitec overweegt om alsnog met de concurrent te gaan praten.
41
U hebt Dominique gevraagd bij u te komen voor een gesprek. Het doel van dit gesprek is een toezegging van Dominique dat het zal verbeteren; u wilt dat Dominique weer collegiaal wordt en met name naar klanten toe zich beter gedraagt. U vindt dit essentieel voor aanmelding voor de cursus 'Projectleiding'. Ook zal de relatie met Labitec moeten worden hersteld. U wilt Labitec niet als klant verliezen. Om u op dit gesprek voor te bereiden hebt u het personeelsdossier van Dominique opgevraagd. Personeelsgegevens •
•
• •
•
•
Dominique De Meester is 35 jaar, gehuwd en heeft twee kinderen. De partner van Dominique werkt als Hoofd personeelszaken in een ziekenhuis. Doordat deze ook veel weg is, moet Dominique regelmatig de kinderen opvangen. Dominique heeft HTS Informatie Technologie gedaan. Dominique had gemakkelijk universiteit aangekund maar voelt zich toch veel meer praktisch dan theoretisch georiënteerd. Daarnaast volgde Dominique bijna alle vakgerichte opleidingen die er zo'n beetje zijn (deed dit in eigen tijd). Dominique werkte voorheen bij Technet, een concurrent van Business Consult. Vorig jaar vroeg Dominique erom te worden toegelaten tot de cursus 'Projectleiding'. Dit is een dure cursus, die naast vrije tijd ook werktijd kost. De cursus is een voorwaarde om in aanmerking te kunnen komen voor de functie van Seniorsysteemontwerper. Vorig jaar echter kwam Dominique niet in aanmerking voor de cursus omdat deze reeds was volgeboekt, hoewel een andere collega later nog wel werd toegelaten. Dominique heeft tot nu toe altijd goede beoordelingen gehad. Met name de inventiviteit van Dominique werd hoog beoordeeld. Ook bleek Dominique altijd wel bereid om collega's te helpen. Dominique is in de vrije tijd een actief bestuurslid van de plaatselijke PC-club (organiseert als secretaris alle evenementen).
U ziet Dominique over 15 minuten. U hebt dan 10-15 minuten de tijd om Dominique weer op het rechte spoor te krijgen. Het staat U geheel vrij in hoe U één en ander wilt aanpakken. U kunt uw gesprek voorbereiden met behulp van bijgaand klad.
42
Werkgesprek Beoordelingsformulier
Mosaic Park
NAAM DEELNEMER: …………………
43
Noteer hier gedragingen die u observeert.
Competenties
44
45
Bijlage 3 Presentatie
Presentatieoefening Deelnemersinstructie Deelnemersinstructie
Mosaic Park
46
Deelnemersinstructie De taak. Via deze oefening wordt nagegaan hoe u omgaat met situaties die presentatievaardigheden vereisen. In deze oefening zal u uw ideeën moeten presenteren aan een potentiële klant. U dient de rol van Kim Bourguois, de mede-eigenaar en directeur van Business Consult aan te nemen. Dit bedrijf uit Middelkerke is gespecialiseerd in het geven van advies aan organisaties omtrent ondernemen. De oefening bestaat uit een ontmoeting met de manager van een regionale kunstgalerie, Mosaic Park. Het is de bedoeling dat u hem adviseert hoe de kunstgalerie een grote schenking optimaal kan besteden. U bent waarschijnlijk niet vertrouwd met deze rol. In plaats van de rol te ‘spelen’ is het bijgevolg beter dat u zich zo natuurlijk mogelijk gedraagt, wees gewoon uzelf. Probeer om te doen en te zeggen wat u in werkelijkheid zou doen en zeggen. Dit maakt het mogelijk voor de assessor om u over uw prestatie relevante en nuttige feedback te geven. U heeft 15 minuten om deze oefening voor te bereiden, gevolgd door 15 minuten waarin u uw advies presenteert aan de rollenspeler. Gedurende dit kwartier neemt u elk uw toegewezen rol aan. Er zal ook een derde persoon aanwezig zijn tijdens de presentatie, dit is de assessor. Hij/zij zal uw gedrag observeren en notities nemen om u nadien feedback te kunnen geven. Het is uw verantwoordelijkheid om de presentatie binnen de aangegeven tijd te geven. Na 15 minuten wordt de presentatie sowieso stopgezet. Op de volgende bladzijden vindt u informatie die u nodig heeft voor uw voorbereiding en presentatie. U bent geheel vrij in hoe u het wilt aanpakken. U kunt uw presentatie voorbereiden met behulp van bijgaand klad.
ACHTERGRONDINFORMATIE
Business Consult. Aanvankelijk waren u, Kim Bourguois, en Johan de enige twee medewerkers in het bedrijf. Na enkele maanden diende er echter een secretaresse aangenomen te worden, snel gevolgd door een extra consultant en een tweede persoon voor de administratie. Uw bedrijf breidde steeds meer uit en momenteel zijn er acht fulltime consultants en vijf administratieve personeelsleden tewerkgesteld. U heeft beslist om verdere expansie te beperken, zodat u beiden nog minstens de
47
helft van uw tijd aan consultancy zou kunnen spenderen. Op die manier wilt u vermijden dat u zich enkel nog zou moeten bezighouden met het leiden van de zaak. U heeft in de regio een vast cliëntenbestand opgebouwd. U geeft advies aan een brede groep organisaties over verschillende zakelijke topics. Een recent succesvol project bestond uit het adviseren van een energiebedrijf omtrent de effectiviteit van hun marketing strategieën. Een ander voorbeeld is de ondersteuning van de uitbreiding van een meubelzaak. Business Consult heeft zowel afgesloten projecten als verscheidene voortdurende contracten voor marketing en public relations opdrachten. Business Consult staat bijvoorbeeld aanhoudend in voor de PR van het regionale televisiestation.
Regio Middelkerke. Middelkerke is een stad in WestVlaanderen met ruim 17200 inwoners. Tijdens het zomerseizoen stijgt de populatie aanzienlijk door het toerisme. Toeristen logeren op talrijke plaatsen zoals hotels, appartementen, campings, bed & breakfasts, etc. Middelkerke ligt aan de kust en heeft een zandstrand. Aangrenzend daaraan ligt een drukke zeedijk met veel winkels en restaurants. De omgeving bestaat vooral uit landbouwgrond, hoewel er ook een kleine commerciële wijk is. Naast het strand en verscheidene kustwandelingen, zijn de voornaamste toeristische attracties het casino, de dronkenput -een ondergronds waterreservoir- en de talrijke vissershuisjes. De lokale bevolking heeft qua leeftijd en achtergrond ongeveer dezelfde verdeling als de meeste andere gemeenten uit die streek. Er is een redelijk hoog aantal gepensioneerden. Middelkerke is een pittoreske en vredige gemeente. het trekt veel kunstenaars aan, en ook mensen uit drukke streken die op zoek zijn naar rust. Het merendeel van de seizoensbezoekers zijn gezinnen met jonge kinderen. De openbare faciliteiten van Middelkerke zijn drie kleuter- en lagere scholen, een middelbare school, een kunst en design academie, een sportcentrum en een bingozaal. Meer gespecialiseerde voorzieningen zijn het Zeezicht Huis, een verblijf voor mensen met het Down-syndroom en andere speciale zorgen, en het Sint michaëls verpleeghuis voor terminaal zieke kankerpatiënten.
Mosaic Park – Algemene informatie. Mosaic Park bevindt zich aan de rand van Middelkerke en is reeds vijf jaar open voor publiek. Het was oorspronkelijk een landgoed in privé-eigendom, dat in de jaren ’90
48
gebruikt werd als trainingscentrum voor een bedrijf. In 2000 verhuisde dit bedrijf echter naar een ander deel van het land en het landgoed werd gekocht door een kunsthandelaar. Deze verbouwde het gelijkvloers van het landgoed in een kunstgalerie. Na enkele jaren ging deze galerij failliet en het terrein werd door de gemeente Middelkerke opgekocht om het te gebruiken als een openbaar kunstcentrum. Ze spendeerden twee jaar aan het renoveren van de belangrijkste delen van het landgoed en aan het bouwen van het Mosaic Theater naast het huis. De gemeente zorgde ook voor extra fondsen door de verkoop van een groot stuk grond naast het landgoed aan een plaatselijke landbouwer. De gemeente bezit het landgoed, maar de liefdadigheidsinstelling Mosaic Trust Limited staat in voor het beheer ervan. Het wordt gefinancierd door inkomsten van verscheidene evenementen in het centrum, sponsoring door plaatselijke bedrijven, privé giften en een kleine jaarlijkse subsidie van de gemeente.
Faciliteiten. Het landgoed heeft twee verdiepingen en uitgebreide kelders en zolderkamers, die al jaren niet meer gebruikt worden. Het gelijkvloers bestaat uit een grote galerij ruimte, een aanpalend atelier, en de hoofdingang met receptie en toiletfaciliteiten. De bovenverdieping van het gebouw bestaat uit acht kamers van variërende grootte. Vier van deze kamers werden omgebouwd tot bureaus voor het personeel van het centrum, maar de rest van de kamers wordt niet gebruikt. Het theater heeft een modern design, en er is plaats voor 150 personen. Het bevat zes privé kleedkamers, opslagplaats en een grote kleedruimte achter het podium. Er is een kleine bar boven in het theatergebouw. Er is ook een oud stalgebouw naast het galerij gebouw en een portierswoning aan de ingang van het domein. Geen enkele van deze gebouwen werd gerenoveerd, hoewel ze in een redelijk goede toestand zijn. Het park werd genoemd naar een opvallende mozaïek op een muur naast de portierswoning. Het toont twee scènes: één van het strand bij dag en één van het strand bij nacht. De mozaïek kwam er in opdracht van één van de vroegere eigenaars van het landgoed gedurende de jaren ’30, en is in art deco-stijl. Het landgoed omvat ongeveer 800 are grasland met twee kleine beboste gebieden en een kunstmatig aangelegd meer. Er is een
49
grote tuin naast het gallerij gebouw, met een doolhof, een visvijver, een fontein en verschillende planten en struiken.
Personeel. Mosaic Park heeft een algemeen manager, Chris Van Durme. Chris heeft een secretaresse, Hilde Claerhout. Daarnaast werken er voor Chris een administratieve manager en een faciliteiten manager, die elk beschikken over een assistent secretaris. De administratieve manager is verantwoordelijk voor de drie receptionisten, voor de twee bewakers, voor de poetser en voor de klusjesman die instaat voor het onderhoud en zorgt voor de gronden. De faciliteiten manager is verantwoordelijk voor de evenementen coördinator, voor de marketing coördinator, voor de vier portiers en voor de bar manager die twee personeelsleden heeft. De verschillende kunstenaars die lesgeven en die voorstellingen geven in het centrum zijn allen op freelance basis tewerkgesteld.
50
Organogram
Algemeen manager Chris Van Durme Secretaresse Hilde Claerhout
Administratieve manager
Faciliteiten manager
Receptionisten (3)
Evenementen manager
Bewakers (2)
Marketing coördinator
Klusjesman
Portiers (4)
Poetser
Bar manager
Barpersoneel (2)
PROBLEEMSTELLING Vorig week werd je opgebeld door Chris Van Durme, algemeen manager van Mosaic Park. Chris vertelde u dat een plaatselijke ondernemer die vorige maand gestorven was, 225000 euro aan Mosaic Park nagelaten had. Deze man, baron Alexander de Bury, was een bekend plaatselijk figuur die een keten van verscheidene succesvolle lokale winkels in zijn bezit had. Hij werkte ook onophoudelijk voor liefdadigheid en kreeg zijn adellijke titel baron op basis van zijn liefdadigheidswerk. Baron Alexander de Bury legde de volgende voorwaarden aan zijn nalatenschap op:
Mosaic Park moet een achtenswaardige commerciële organisatie raadplegen voor advies over de besteding van het geld. Deze organisatie dient het resulterende ontwikkelingsproject te managen. De organisatie moet betaald worden vanuit het nagelaten fonds. Deze geldsom mag maximaal 15% van het totale fonds bedragen. Het geld moet eerder gespendeerd worden aan nieuwe projecten dan aan het behouden van de huidige projecten.
51
De nieuwe projecten moeten potentieel hebben om voor alle lagen van de lokale gemeenschap van nut te zijn. Baron Alexander de Bury duidde drie fondsbeheerders aan: zijn neef, zijn advocaat en de burgemeester van de stad. Hij deed dit om zich ervan te verzekeren dat al zijn wensen gevolgd zouden worden. Deze personen moeten bij alle sleutelfasen van het project geraadpleegd worden. Hun goedkeuring is noodzakelijk om geld van het fonds te kunnen krijgen.
Chris Van Durme vroeg u of Business Consult eventueel geïnteresseerd zou zijn om zich aan te bieden voor deze job. U toonde meteen interesse en stelde Chris voor om een afspraak vast te leggen. Via uw lokale contacten weet u dat ten minste twee andere consultancybedrijven ook uitgenodigd zijn. Het ene bedrijf is gevestigd in Roeselare, op 60 km afstand van Middelkerke. Het andere bedrijf bevindt zich ruim 150 km ver van Middelkerke, in Leuven. Voor zover u weet, heeft er nog geen vergadering plaats gevonden tussen Chris Van Durme en deze rivaliserende bedrijven. Chris is geïnteresseerd in het bespreken van de aanpak die Business Consult bij dit project zou hanteren, en is benieuwd om uw ideeën te horen over hoe het centrum optimaal gebruik kan maken van de nalatenschap. In dit stadium zijn Chris en de fondsbeheerders niet geïnteresseerd in financiële details, ze willen eerder een overzicht krijgen van de visie van elk bedrijf op de ontwikkeling van Mosaic Park. Chris zal na de vergaderingen met de verschillende consultancybedrijven, rapporteren aan de fondsbeheerders en zij zullen dan een bedrijf selecteren. U heeft het project met Johan en de andere consultants besproken, en iedereen hoopt vurig dat Business Consult dit project toegewezen krijgt. Het Mosaic Park project zal bekend zijn in de streek, en er is reeds veel plaatselijke media-aandacht op afgekomen. U bent daarnaast ook enthousiast over dit project omdat het overduidelijk de gemeenschap ten goede zal komen. Chris Van Durme heeft u wat informatie gezonden over Mosaic Park, zie volgende pagina’s. U dient deze informatie te gebruiken voor het ontwikkelen van uw ideeën over hoe men de nalatenschap best zou kunnen aanwenden. Bereid u voor om de presentatie aan Chris te geven.
52
Informatie over Mosaic Park
Faxvoorblad _____________________________________________________ ___ Aan:
Directeur, BUSINESS CONSULT
Van:
Chris Van Durme, Manager, Mosaic Park
Aantal pagina’s:
3
(inclusief deze bladzijde)
______________________________________________________________________ _____
BERICHT Geachte heer/mevrouw, Ik heb deze samenvatting van een marketing onderzoek gevonden. Dit onderzoek werd enkele maanden geleden door de gemeente van Middelkerke uitgevoerd. Het behandelt de mening van de plaatselijke inwoners over Mosaic Park. Ik dacht dat het misschien nuttig kon zijn voor het ontwikkelen van uw ideeën. Ik kijk vol verwachting uit naar onze afspraak.
Chris Van Durme
53
Mosaic Park Survey Honderd inwoners van Middelkerke werden bevraagd. Dit gebeurde in het centrum van de gemeente, gedurende de laatste week van november. De bevraagden vormen een goede representatie van de bevolking van Middelkerke.
Hoe vaak heeft u het laatste jaar Mosaic Park bezocht? Aantal keer 10 of meer
% 18, deze groep van respondenten was vooral 55+ jaar oud.
6-9
12
4-5
9
2-3
10
1
17
Nooit
34, deze groep was vooral onder 25 jaar oud.
Wat was de hoofdreden voor uw bezoek, indien u het laatste jaar het park bezocht heeft? Reden Gallerij
% 16
Theater
12
Bar
4
Avondschool
32
Atelier
2
Tuinen
34
54
Wat houdt u tegen om het centrum meer te bezoeken? Reden Reden Te duur
% 32
Niets van het park interesseert me Moeilijk om er te geraken
36
Wist niet van het bestaan af
20
12
Opmerkingen van de bevraagden over Mosaic Park Ik denk dat mensen uit andere steden de hoofdgebruikers van het park zijn. Ik wist pas dat het bestond nadat ik hier reeds enkele jaren woonde.
Mevr. B., huisvrouw Het is allemaal van dat onnozel kunstgedoe, er is daar niets voor jonge mensen. Ik ging eens met mijn maten naar de galerij, en ze gooiden ons buiten omdat we iets aan het eten waren.
Mr. P., 18, mecanicien Mijn man en ik volgden de uitstekende kunst appreciatie workshop en hebben enkele theateruitvoeringen gezien, die van gemengd niveau waren.
Mevr. L., 64, lerares met pensioen Gezien het theater overdag vaak leeg is, hebben we geprobeerd om het voor repetities te gebruiken. Het werd ons echter niet toegestaan. We wilden er graag ook optreden omdat we veel plaatselijke fans hebben. Tot hiertoe willen ze dit niet overwegen.
Ms. D., 22, zangeres De galerij is eigenlijk fantastisch, maar het is een goed bewaard geheim. Mensen uit de omgeving realiseren zich waarschijnlijk niet dat het gratis is.
Mr. M., 41, paramedicus De tuinen zijn zalig om in rond te wandelen, maar het is zeer modderig aan het meer omdat de paden niet goed onderhouden zijn. Doorgang voor wandelwagens en rolstoelgebruikers is moeilijk.
Ms. W., 51, verzorgster Wanneer ik klanten mee uitneem, verkies ik om naar Oostende te gaan. Daar kan ik zowel een degelijke maaltijd als een goeie show aanbieden.
55
Mr. T., 45, zakenman Wat is Mosaic Park? Is het een speelgroep voor kinderen?
Mr. L., 28, kleinhandelaar Ik ben enkele keren naar de galerij geweest en ik bezocht de kunstenaar die er momenteel huist. Hij was van een andere planeet, ik kan me niet voorstellen dat zijn werk veel mensen aanspreekt.
Mevr E., 16, student
Dit blad kan u gebruiken als kladblad om uw voorbereidingen op neer te pennen.
56
Presentatieoefening Beoordelingsformulier
Mosaic Park
57
NAAM DEELNEMER: ………………… Noteer hier gedragingen die u observeert.
Competenties
58