Sociale Wetenschappen: Arbeid & Organisatie Open universiteit

Open Universiteit - SW Arbeid en organisatiepsychologie Valkenburgerweg 177 6419 AT Heerlen drs. W. Vander Meeren

Postbus 2960 6401 DL Heerlen tel: 31- (0)45- 576 27 39 fax: 31- (0)45- 576 29 39 e-mail: [email protected]

______________________________________________________________________________________________________

Project:

Effectiviteit van het practicum assessment center (PAC).

Sociale Wetenschappen: Arbeid & Organisatie Open universiteit

1

22-04-1999

Projectgegevens PAC - SW 2 _______________________________________________________________________________________

Samenvatting Het onderzoek dat hier wordt voorgesteld ligt in het verlengde van het ontwikkelings- en implementatieproces van het practicum assessment center (PAC). PAC is een multimediaal interactief programma dat een verplicht onderdeel is bij de cursus Selectie en assessment in het derde niveau van het diplomaprogramma: Arbeid en organisatie, binnen het leerstofgebied sociale wetenschappen. Het practicum heeft niet alleen als doel de cursist een diepgaand inzicht te geven in de bij personeelsbeoordeling en -selectie steeds vaker gebruikte assessment-center-methode, maar wil de student de methode ook leren toepassen door zelf als beoordelaar op te treden. Het aanleren van complexe (cognitieve) vaardigheden, zoals het evalueren en beoordelen van individuen is een kernactiviteit voor elke toekomstige A&O-psycholoog en manager. De ontwikkeling en implementatie van PAC is het resultaat van een intensieve samenwerking tussen SW en COP. Het onderzoek dat hieraan is vooraf gegaan en de opgedane kennis zijn ongetwijfeld van nut voor toekomstige IV-projecten. Het onderhavige project ligt in het verlengde van de implementatiefase van het practicum. Het hoofddoel ervan is na te gaan wat de effecten zijn van het practicum assessment center (verder PAC genoemd). Daarbij wordt een onderscheid gemaakt tussen inzichten (kennisdoelstelling van het PAC) en vaardigheden (gedragsdoelstelling van het PAC). Het onderzoek bestaat uit een produkten procesevaluatie van PAC. Voor de produktevaluatie wordt een experimenteel design gebruikt met voor-, nameting en controlegroep (zie verder). De procesevaluatie sluit aan bij het kwalitatief onderzoek en zal pogen verschillende leerstrategieën binnen het simulatiescenario te onderkennen (Van den Brande, 1993). Het project wordt ingebed in het onderzoek en de literatuur over het gebruik van technologische middelen bij het open- en afstandsleren (Eadtu, 1993) De belangrijkste eindprodukten van het project zijn: 1 Inzicht in de effectiviteit van het practicum. Zijn de studenten na het doorlopen van het practicum betere beoordelaars dan studenten die dat niet hebben gedaan? 2 Know-how expertise over het verwerven van een meer complexe vaardigheid in het open hoger afstandsonderwijs. Hoe leren studenten ‘beoordelen’: zijn er bepaalde leerstrategieën vast te stellen? 3 Kennis en inzicht in het gebruik van interactief videomateriaal en richtlijnen voor het ontwerpen, implementeren van gelijksoortige produkten aan de open universiteit. In welke mate zijn de resultaten extrapoleerbaar naar andere Ou-produkten? 4 Kennis van en inzicht in het verwerven van complexe (cognitieve) vaardigheden bij de student door het gebruik van interactieve video (= tele-leren). 5 Positionering en aansluiting van het onderzoek en de resultaten binnen het rapport ‘De Ou na(ar) 2000: cognitieve vaardigheden’ (Kirschner, 1993)

22-04-1999

2


Onderzoeksproject: Effecten van het Practicum assessment center (PAC) Theoretisch kader Wat is een assessment center? Zowel bij personeelsselectie als bij management development is het voorspellen van toekomstig functioneren in het geding. De laatste jaren wordt daarvoor met succes gebruik gemaakt van de zogenaamde assessment center methode (Jansen & de Jongh, 1993, Vander Meeren en Gerrichhauzen, 1993, Schmitt & Borman, 1993). Deze methode stelt personeelsfunctionarissen en vooral ook managers in staat op betrouwbare en doeltreffende wijze te bepalen over welke capaciteiten en ontwikkelingsmogelijkheden (toekomstige) medewerkers beschikken. De assessment center methode is een procedure waarbij op systematische wijze, met gebruikmaking van zowel groeps- als individuele opdrachten en simulaties, wordt getracht die kwaliteiten vast te stellen die essentieel zijn voor een goede functievervulling van een of meer (toekomstige) medewerkers. Hierbij worden de medewerkers of sollicitanten voor een aantal opdrachten en/of simulaties geplaatst waarin zij een aantal functierelevantie taken moeten verrichten of complexe problemen moeten oplossen. De observatoren (specialisten en/of lijnmanagers) beoordelen de medewerkers dan op een aantal relevante kwaliteiten of dimensies. Kenmerkend voor de methode is dat de verschillende stappen in het beoordelingsproces duidelijk onderscheiden moeten worden. Onderstaande figuur geeft de verschillende stappen weer. 1

Definiëren: de inhoud van de gedragsdimensie bepalen

2

Operationaliseren: dimensie in observeerbaar gedrag vertalen

3

Observeer het concreet gedrag

4

Registreer datgene wat iemand doet

5

Classificeer: vertaal het geobserveerde gedrag in dimensies

6

Waardeer het geclassificeerde gedrag als voldoende of onvoldoende

7

Evalueer en bespreek het eindresultaat met elkaar

Het beoordelingsproces. Bron: Moses and Byham, 1977.

22-04-1999

3


Gedrag wordt eerst geobserveerd, dan pas geregistreerd en geclassificeerd en als laatste geëvalueerd of beoordeeld (gescoord). Een voorbeeld van een dergelijke registratie is hoe een vraag van een kandidaat (in de proef) kan worden vastgelegd. Daarbij moet het gedrag zo zuiver en feitelijk mogelijk worden geregistreerd. Dit is het geval als we vastleggen: ‘De kandidaat vraagt wat het kost om een bepaald programma te ontwikkelen’. Men registreert dus niet ‘de kandidaat is wantrouwig of kritisch’ of ‘de kandidaat is analyserend’, maar legt het vertoonde gedrag zonder nadere interpretatie vast. Voordat personen in staat zijn mensen te beoordelen door middel van de assessment center methode, moeten ze op een of andere manier worden getraind; ze moeten leren beoordelen. De training van deze personen (assessoren) is een van de belangrijkste voorwaarden om een juist verloop en gebruik van de assessment center-methode te bewerkstelligen. Een gebrek aan aandacht voor het trainen van assessoren leidt tot weinig betrouwbare beoordelingen en verlaagt de validiteit van beslissingen aangaande de keuze van een kandidaat. Assessoren-training verhoogt niet alleen de effectiviteit van de assessment-methode. De assessoren die deelnemen aan een assessment-sessie zullen ook in hun andere dagelijkse werkzaamheden efficiënter beoordelen. De invloed van de assessment center-methode werkt niet alleen direct op de assessment-procedure zelf, maar eveneens indirect op het latere gedrag van de assessoren (personeelsfunctionarissen en managers) binnen hun werkterrein (Jansen, 1992). Het toenemende belang van assessment centers is meegenomen in de ontwikkeling van de cursus ‘Selectie en Assessment’ (S&A). Een poging om studenten niet alleen (theoretische) kennis te verschaffen omtrent deze methode maar ook bepaalde vaardigheden mee te geven, resulteerde in nauwe samenwerking met het COP tot de verwezenlijking van het Practicum Assessment Center (PAC). Context en ontwikkeling van PAC De cursus ‘Selectie en Assessment’ beoogt inzicht te geven en vaardigheden te ontwikkelen in het beoordelen van de geschiktheid van personen voor het vervullen van een bepaalde functie of loopbaan. Een van de selectiemethoden is de hierboven besproken ‘Assessment Center Methode’. Gezien het belang van deze methode voor SWstudenten, leek het ons (SW en COP) van belang te zoeken naar een mogelijkheid om studenten effectief deze vaardigheid aan te leren (zie vorige paragraaf voor het belang van ‘training’). De kernvraag hierbij was hoe deze beoordelingsvaardigheid kon worden aangeleerd, gegeven het open- en afstandskarakter van de Open universiteit en rekening houdend met de onderwijsdoelen en de kosteneffectiviteit. Deze vraag is door experts in constructie en afname van assessment centers, wetenschappers verantwoordelijk voor de cursus en de onderwijstechnoloog van het practicum in onderlinge samenwerking opgelost. Daarbij speelden onderstaande overwegingen een rol:

22-04-1999

4


De student ‘leert door te doen’. Dat is een didactisch principe. Het meelopen van een student bij echte assessment centers, is niet alleen vanwege de verstoring van de situatie, maar ook logistiek gezien, niet realistisch. Een vorm van simulatie ligt dan voor de hand. Ook ligt het voor de hand om de student de observaties te laten doen met behulp van op video geregistreerde situaties. Er is gekozen voor een zo echt mogelijke registratie: de acteurs moeten dus zelf de eigenschappen hebben van sollicitanten voor de job in kwestie, in dit geval de functie van mediakundige. Qua lengte van de situaties (proeven) is gekozen voor een (binnen zekere grenzen) fulllength registratie van een compleet assessment center met vier kandidaten. De keuze voor een practicum dat de werkelijkheid zo sterk benadert, betekent dat de student ruim een dag met de proeven bezig moet zijn. Is dat nodig? Het toegepaste didactische model: 'learning by doing' zou wellicht ook met minder oefening effect hebben. Naar de mening van de experts zou het voor een onervaren beoordelaar te moeilijk zijn om zonder alle aspecten zelf beoordeeld te hebben, tot een eindoordeel over de geschiktheid van personen te komen. Niet voor niets heeft men in een echt assessment center minstens een dag nodig om personen voldoende nauwkeurig te kunnen beoordelen (Hoogveld & Vander Meeren, 1994). De sturing door de diverse proeven in het practicum, het aanleren van de scheiding tussen observatie en beoordelen en de terugkoppeling op de beoordeling, de sterkte-zwakteanalyse en het eindoordeel zijn onderwerp van studie en discussie geweest in de ontwerpfase. De instructies die nodig zijn om al deze zaken te leren, kunnen gegeven worden door een trainer of kunnen door een computerprogramma worden uitgevoerd. De keus viel op het laatste. De gekozen didactische aanpak in het coo-programma is te kenschetsen als: stap voor stap instructie ter introductie van de werkwijze en directe toepassing van de methode met mogelijkheid tot terugkoppeling. Er is vanwege de voorkeur voor zelfstudie-oplossingen in de Open universiteit gekozen voor een multimediaal computerprogramma met video (een interactief videoprogramma). De infrastructuur daarvoor is aanwezig in alle studiecentra van de Open universiteit. Doelstelling van het PAC Het practicum assessment center heeft tot doel de student: een beter (diepgaander) inzicht te geven in de assessment-center-methode, de methode te leren toepassen door zelf als beoordelaar op te treden, m.a.w. leren onderkennen en ontwikkelen van vaardigheden die nodig zijn om observatie-, reflectie- en evaluatie-activiteiten zo goed mogelijk te verrichten, de methode op grond van de eerste ervaringen op zijn merites te laten beoordelen. Inhoud van het practicum Het practicum bevat een simulatie van de assessment center-methode. Dat gebeurt middels een interactief videoprogramma. Bij PAC wordt de student in de rol van assessor, iemand die kandidaten beoordeelt, geplaatst. Hierbij ziet hij/zij vier kandidaten, die vijf situatietests (proeven) doorlopen; deze situaties zijn specifiek ontworpen om gedragingen te observeren die relevant zijn voor de functie van mediakundige in een specifiek bedrijf, waarnaar de kandidaten solliciteren. 22-04-1999

5


De verschillende situatietests bestaan uit drie individuele oefeningen, namelijk de intake, de presentatie en de in-basket en twee groepsoefeningen namelijk de groepsdiscussie en de kooi. Iedere kandidaat moet geobserveerd en beoordeeld worden op verschillende dimensies: dit zijn eigenschappen en/of vaardigheden, die duidelijk waarneembaar zijn in de proef. De verschillende dimensies die in het PAC worden gehanteerd zijn gesprekstechnische en communicatieve vaardigheden, overtuigingskracht, sociale vaardigheden en planning en coördinatie. In de matrix hieronder wordt u een overzicht gegeven van de dimensies die in de verschillende proeven worden beoordeeld.

intake

Oefeningen

individuele presentatie

in-basket

groepsdiscussie

kooi

X

X

X

Dimensies Sociale vaardigheden

X

Gesprekstechnische vaardigheden

X

Communicatieve vaardigheden

X

X

X

Creativiteit

X

X

X

Overtuigingskracht Planning coördinatie

X

X

en

X

X

X

X

X

X

De beoordeling op een dimensie gebeurt in twee fasen. Ten eerste dient de student te beargumenteren welke indicatoren (concrete gedragingen hij geobserveerd heeft) relevant zijn voor de bewuste dimensie. Een tweede stap is het toekennen van een kwantitatieve score op een zespuntsschaal. Als dit gebeurd is, kan de student ‘vergelijk expert’ aanklikken. Nu krijgt de student de score en de argumentatie (indicatoren) te zien van de expert. Als een bepaalde indicator niet is opgemerkt door de student kan hij deze aanklikken, waarna hij al de gedragsfragmenten te zien krijgt waarop de expert zijn argumentatie heeft gebaseerd (Hoogveld & Vander Meeren, 1994). Behalve op de observatie steunt het oordeel van de student per sollicitant ook op drie focused interviews: men kan de kandidaat ‘rechtstreeks’ interviewen om bepaalde geobserveerde gebeurtenissen (tijdens de proef) verder uit te diepen of proberen te 22-04-1999

6


verklaren. De student kan een vraag kiezen op het scherm en die stellen. Het antwoord van de kandidaat volgt daarop, alleen in audio, omdat de student tijdens het luisteren naar het antwoord van de kandidaat, de brieven waar de kandidaat het over heeft, moet kunnen raadplegen in zijn werkboek. Ook dit focused interview wordt tijdens de eerder beschreven vergelijking met de expert teruggekoppeld door fragmenten uit het interview te laten horen of door naar relevante brieven in de handleiding te verwijzen. Het eindoordeel van elke kandidaat op de geschiktheid van de functie vindt plaats in twee stappen: • per gedragsdimensie geeft de student (over alle proeven waar die dimensie voorkomt) aan of hij de kandidaat sterk, zwak of matig vond. De expert antwoordt daar onmiddellijk op, waarna de student zijn oordeel (of zijn scores) kan bijstellen; • de uitkomsten van de sterkte-zwakte-analyse worden vervolgens overzichtelijk in verband gebracht met de taken die de kandidaat als mediakundige moet gaan uitvoeren en de student moet een eindoordeel vellen: is de kandidaat geschikt of niet geschikt om die taken te vervullen. Na het geven van dit eindoordeel krijgt de student het eindoordeel van de expert en diens argumentatie daarvoor te zien. Als de eindbeoordeling voor alle kandidaten voltooid is, verstrekt het systeem de student een bewijs van deelname dat ondertekend door student en een functionaris van het studiecentrum moet worden opgestuurd naar de examinator. Het systeem houdt namelijk elke invoer van de student bij op diens werkdiskette en kan zien of alle situaties zijn beoordeeld.

Probleemstelling en onderzoeksvragen Recapitulatie Zowel in het kader van personeelsselectie als in management development is het beoordelen van individuen een kernactiviteit. Voor een systematische en eerlijke beoordeling zijn beoordelingsvaardigheden nodig. Het doel van het PAC is de studenten inzichten en vaardigheden op dit terrein bij te brengen. Kenmerkend voor de assessment center methode is dat personen geconfronteerd worden met voor hen relevante praktijksituaties, (simulaties) die zij zo goed mogelijk moeten trachten te hanteren. Het gedrag van deze personen wordt op een systematische manier door onafhankelijke beoordelaars op een aantal gedragsdimensies, bijvoorbeeld planning en coördinatie, creativiteit en sociale vaardigheden. Hierbij is het toekennen van een cijfer niet voldoende, maar dient ook beargumenteerd te worden waarom een bepaald cijfer wordt toegekend. Dit gebeurt aan de hand van het geven van indicatoren (argumentaties) die relevant zijn voor een bepaalde dimensie. Het PAC heeft vooral tot doel de vaardigheid van studenten in het geven van een beargumenteerde beoordeling te vergroten. Hoewel enkele eerste ‘zachte’ evaluaties uitwijzen dat het PAC positief gewaardeerd wordt en het programma ook buiten de Ou erkenning heeft gekregen (Sony-Award), is nog geen evaluatie-onderzoek verricht dat aan strenge methodologische eisen voldoet. Daardoor is niet bekend hoe ‘hard’ en hoe groot de leeropbrengsten van dit innovatieve practicum zijn. 22-04-1999

7


Project In het voorgesteld project zal een experiment worden uitgevoerd dat wel aan strenge eisen voldoet. Ten behoeve van de zogenaamde ‘produktevaluatie’ (zie bijvoorbeeld Kirkpatrick, 1987; Lang en Van der Molen, 1992) wordt in het onderzoek gebruik gemaakt van een pretest-posttest-controlegroep design. Dat betekent dat zowel bij een groep studenten die het practicum doorlopen als bij een groep studenten die dat niet doen (wachtlijst-controlegroep) gegevens worden verzameld die tot doel hebben inzicht te krijgen in het inzichten vaardigheidsniveau van de betrokken. Ten behoeve van de procesevaluatie zal worden nagegaan ‘hoe studenten (leren) beoordelen’ en of er bij verschillende groepen studenten verschillende leerstrategieën te onderscheiden zijn. Het onderzoek zal worden uitgevoerd in nauwe samenwerking met een zestal studiecentra, waarbij tevens een aantal scriptiestudenten zal worden betrokken, die delen van de data-verzameling en een ‘deelvraag’ voor hun rekening nemen. Het bredere doel van dit project is de uitkomsten van dit experiment te extrapoleren naar andere (toekomstige) Ou-produkten. De belangrijke (deel)vragen in het onderzoek luiden als volgt: 1 Hoe effectief is het practicum. Zijn de studenten na het doorlopen van het practicum betere beoordelaars en hoe groot is de toename in beoordelingsvaardigheid, m.a.w. hebben de studenten een meer complexe vaardigheid aangeleerd en is PAC een goed trainingsinstrument. 2 Hoe leren studenten ‘beoordelen’: zijn er bepaalde leerstrategieën vast te stellen? 3 Kunnen er verbeteringen en/of aanpassingen worden aangebracht aan PAC? 4 Welke kennis en inzichten in het gebruik van interactief videomateriaal en richtlijnen voor het ontwerpen, implementeren en evalueren zijn extrapoleerbaar naar andere gelijksoortige Ou-produkten?

Methode van onderzoek Het hier voorgestelde onderzoek zal de effectiviteit van het PAC meten (produktevaluatie) en een bijdrage leveren aan het onderzoek naar leerstrategieën (stijlen) die studenten hanteren bij het doorlopen van een dergelijk programma (procesevaluatie). Deze twee begrippen zullen als een rode draad doorheen het gehele onderzoek lopen. Literatuuronderzoek *Het gehele onderzoek is ingebed in het kader van lifelong learning en tele-training. Ingegaan wordt op het gebruik van technologische middelen voor het aanleren van complexe vaardigheden in het open - en afstandsonderwijs, meer bepaald de persoonlijke leeromgeving (self-learning) (Verreck e.a.,: CTA, 1993; Eadtu-working paper, 1993) *Voor de produktevaluatie zal gebruik worden gemaakt van literatuur over evaluatieonderzoek en het opzetten van wetenschappelijk verantwoorde experimenten. *Voor de procesevaluatie dient in te worden gegaan op leertheorieën. De verschillende theorieën die relevant zijn voor ons onderzoek zullen bediscussieerd worden aan de hand 22-04-1999

8


van een aantal kernbegrippen die aansluiten bij het afstands- en open karakter van de Ou en die belangrijk zijn in het recente denken over ‘leren’ en ‘instructie’. Deze kernbegrippen zijn self learning competence, leren gebaseerd op ‘real life’ situaties en besluitvormingsprocessen, communicatie met anderen en interactie met de omgeving, didactische middelen (simulaties en leerstrategieën) en ondersteuning (Van den Brande, 1994) Onderzoeksdesign: Produkt- en procesevaluatie PRODUKTEVALUATIE

Om de leereffecten vast te stellen zal gebruik gemaakt worden van een pretest-posttestcontrolegroep design. Uit de methodologische literatuur komt dit design naar voren als één van de sterkste om op een objectieve wijze leereffecten vast te stellen. In de onderstaande figuur wordt het onderzoeksdesign gegeven. Voormeting (T1) Vaardigheidsdoel

Experimentele Groep I

Beoordelingsproeven - individuele situatietest - groeps-situatietest

Interventie

kennisdoel

tentamen S&A

Nameting (T2) Vaardigheidsdoel

Theoretisch gedeelte van de Cursus Selectie en Assessment én


kennisdoel

sys-tentamen S&A

PAC

Experimentele Groep II

Controle Groep I


tentamen S&A

Theoretisch gedeelte van de Cursus Selectie en Assessment



sys-tentamen S&A

Beoordelingsproeven tentamen S&A -----

- individuele situatietest - groeps-situatietest

Het Onderzoeksdesign S&A staat voor de cursus ‘Selectie en Assessment’

Voor een representatieve dekking van de cursusdoelstellingen (De Groot, 1982) is het nodig in het evaluatie-onderzoek verschillende instrumenten te betrekken. Voor de 22-04-1999

9

tentamen S&A


dekking van de kennis/inzichtsdoelstelling zal gebruik worden gemaakt van (reeds bestaande) tentamens. Voor de dekking van de vaardigheidsdoelstelling zal gebruik worden gemaakt van beoordelingsproeven. Om de vaardigheidsdoelstelling representatief te dekken worden twee situatietests gekozen. Naar analogie van PAC is geopteerd voor één groepsproef en één individuele test (in de groepstest worden vier kandidaten worden beoordeeld, in de individuele slechts één). Bij de constructie van die tests zal ervoor worden gezorgd dat de te beoordelen kandidaten op een aantal gedragsdimensies hoog scoren, op een aantal andere gemiddeld en op weer een aantal andere laag. Samengevat: Studenten moeten het gedrag van kandidaten in een tweetal verschillende proeven beoordelen op een aantal (vermoedelijk zes) gedragsdimensies. Om nu een ‘criterium’ te verkrijgen, waartegen de (kwaliteit) van de oordelen van studenten kan worden afgezet, is het eerst nodig te weten wat het oordeel van ‘experts’ is. Daarom zal het gedrag van de kandidaten (in de proeven) eerst door een aantal experts, d.w.z. mensen die veel ervaring hebben met het beoordelen van het gedrag van kandidaten in assessment centers, beoordeeld moeten worden. Om de betrouwbaarheid (in de betekenis van interbeoordelaarsovereenstemming) van het expert-oordeel te kunnen bepalen, zijn drie experts nodig. Deelvragen die worden gesteld zijn: - Is er gedurende het leerproces een verbetering merkbaar in de verschillende scores? - Wat is het kennis-leereffect - In welke mate is de vaardigheid toegenomen. - Wat is de relatie tussen de biografische gegevens en de voormeting/nameting; toename van kennis/vaardigheid. Bij wie is effect het grootst. - Hoe sterk hangen de verschillende dimensies en het eindoordeel met elkaar samen? (correlaties) - Worden bepaalde dimensies beter beoordeeld? Wat is de reden (procesevaluatie) - Hoeveel keer werd beroep gedaan op de terugkoppeling van de expert? PROCESEVALUATIE

Bij deze analyse staat de experimentele groep centraal. Gekeken zal worden of er bepaalde strategieën (leerstijlen) te onderscheiden zijn tussen de verschillende studenten. De centrale vraag is hierbij of er verschillen te vinden zijn in leerstrategieën van studenten die aan het eind van de rit een hoge beoordelingsvaardigheid hebben en studenten met een lage beoordelingsvaardigheid. Dit inzicht kan uiteindelijk leiden tot een betere didactische aansturing van studenten die het tijdens het leerproces niet goed doen. Deze evaluatie kan op verschillende niveaus worden uitgevoerd. (Deel)vragen die in de procesevaluatie gesteld kunnen worden zijn: - Hoe groot is de afwijking van de expertscore (foutenanalyse). - Wat is de kwaliteit van de argumentaties (indicatoren) die bij de dimensies horen? - Welke correcties werden aangebracht (de score, de indicatoren)? 22-04-1999

10


- Worden de beoordelingen beter door het opvragen van de expertscores en argumentaties? - Is er een duidelijke scheiding tussen observeren/registreren en interpreteren? - Worden de cognitieve schemata aangepast door gebruik te maken van de expertscore/feedback? - Zijn er personen die snel ‘leren te beoordelen’ en wat is hun strategie? - In welke mate speelt de tijdsduur een rol (vermoeidheid!)? Uit de procesevaluatie kunnen gegevens gegenereerd worden die aanleiding geven tot een betere didactische opzet en vormgeving van het programma. De analyse van de gegevens zal inzicht geven in ‘het leren beoordelen’ door de student en maakt het mogelijk verschillende leerstijlen te onderkennen. Deze bevindingen kunnen vervolgens geëxtrapoleerd worden naar gelijksoortige (nog te ontwikkelen) Ou-produkten. Instrumenten Het ontwikkelen van een vragenlijst (biografische- en programma gerelateerde gegevens) in samenwerking met COP en methodoloog. Ontwikkelen (video-opname) van twee beoordelingsproeven. Dus in totaal vier beoordelingsproeven, namelijk twee groeps- en twee individuele tests. Om deze instrumenten te ijken zal beroep op experts moeten worden gedaan. Aanpassing van PAC: inbouwen van software om gegevens automatisch te registreren (in samenwerking met COP). Proefpersonen De (totale) onderzoekspopulatie (n=180) zal bestaan uit een experimentele groep I, een experimentele groep II en een controlegroep I van elk 60 personen. Voor de eerste groep scriptiestudenten geldt: totale populatie (min) n = 60 (dus in elke groep min 20 personen). Voor de uitvoering van het project (experiment) zal nauw worden samengewerkt met een zestal studiecentra. Naast het betrekken van begeleiders in het onderzoek, wordt ook gedacht aan scriptiestudenten (die eventueel eerst zelf proefpersoon zijn geweest). Bij de proefpersonen zal een aantal biografische en programma-gerelateerde gegevens worden verzameld door middel van een vragenlijst. Deze variabelen zijn leeftijd, geslacht, opleidingsniveau, huidige werkzaamheden, hoeveel Ou-cursussen gevolgd, ervaring met selectie en assessment center methode, problemen met PAC als systeem of met de terugkoppeling, enzovoort. Data-analyse Bij de poduktevaluatie wordt door vergelijking van de gemiddelde scores bij de voor- en de nameting de grootte van de leeropbrengsten bepaald. Voor de vergelijking van de gemiddelde scores van de experimentele en controlegroep zal gebruik worden gemaakt van (multivariate) variantie-analyse. Bij de procesanalyse zal een protocolanalyse worden uitgevoerd. Hierbij wordt gedacht aan groepen (studenten) die extreem goed-slecht en gemiddeld beoordelen (zie procesevaluatie). De gegevens worden teruggekoppeld naar het algemene kader, het 22-04-1999

11


gebruik van technologische middelen bij open- en afstandsleren, waarin het onderzoek is geplaatst (zie ook literatuuronderzoek).

22-04-1999

12

Sociale Wetenschappen: Arbeid & Organisatie Open universiteit

Recommend Documents