Mogelijkheden. Mystery. guest. Saxion

Mysteery guestt  My M Mogelijkkheden n van m mysteryy guest beoorddelinge en  binneen het HBO.                

  © 2011 Lectorraat Assesssment  Saxion         Fabie nne van d der Kleij  Saskiaa Wools  etmans  Geerard Strae

 

 

  Mystery guest  Mogelijkheden van mystery guest beoordelingen  binnen het HBO.                       

                                Kenniscentrum Onderwijsinnovatie  Lectoraat Assessment    Fabienne van der Kleij   Saskia Wools  Gerard Straetmans   

 

 

Inhoudsopgave  Inleiding ................................................................................................................................................... 5  1. 

Mystery guest .................................................................................................................................. 6  1.1 Wat is een mystery guest? ............................................................................................................ 6  1.2 Mystery guest; hoe werkt het? ..................................................................................................... 6  1.3. Voorbeelden van mystery guest beoordelingen in het bedrijfsleven .......................................... 6  Samenvatting:.................................................................................................................................. 7 

2. 

Competentiegericht toetsen ........................................................................................................... 8  2.1 Competenties ................................................................................................................................ 8  2.2 Maximum en typical performance ................................................................................................ 8  2.3 Attitudes: een cruciale component ............................................................................................... 9  2.4 Mystery guest beoordelingen ....................................................................................................... 9  Samenvatting:................................................................................................................................ 10 

3. Mystery guest beoordeling in het onderwijs .................................................................................... 11  3.1 Assessment constructieproces .................................................................................................... 11  3.1.1 Specificatie van het doel .......................................................................................................... 11  3.1.2 Specificatie van methodiek en inhoud van het assessment .................................................... 11  3.1.3 Procedure en randvoorwaarden .............................................................................................. 12  3.1.4 Inhoud van het assessment en prestatiecriteria ...................................................................... 13  3.1.5 Proefafname ............................................................................................................................. 14  3.1.6 Referentiekader ........................................................................................................................ 15  3.1.7 Schrijven handleiding ............................................................................................................... 15  3.2 Praktische overwegingen ............................................................................................................ 15  3.3 Ethiek ........................................................................................................................................... 15  Samenvatting:................................................................................................................................ 16  4. Tot besluit .......................................................................................................................................... 17  Literatuurlijst ......................................................................................................................................... 18 

  3  

 

Voorw woord  Waarom m een nieuwee variant toevoegen aan  de toch al laange lijst van assessmenttmethodieke en? Dat  zullen so ommige lezers zich afvraggen als ze deeze brochure e ter hand ne emen. Voor ddegenen die wat  langer sttilstaan bij dee essentie va an competenntiegeoriënte eerd onderw wijs, ligt het aantwoord vo oor de  hand: Dee attitudinalee component van compeetent handelen vraagt erom dat bij d e beoordelin ng niet  alleen geekeken word dt naar wat ie emand kan,  maar ook naaar wat iema and wil doen  in een bepa aalde  taaksituaatie. Dat ben nadert vrij go oed het ondeerscheid dat Miller (1990 0) met zijn beekende ‘piramide’  (zie hiero onder) wildee  aanbrenge en tussen de  gedragingen n ‘show’ (in e een assessmeent demonsttreren  dat je vaaardig of bekkwaam bent) en ‘does’ (uuit eigen bew weging je vaa ardigheid of bbekwaamheid  inzetten in taaksituaties).      

  Figuur 1: Miller’s piraamide voor h het vast‐stel len van klinissche compettentiea.    Dat een goede beroeepshouding b belangrijk is,, weet iedere een die al ee ens te makenn heeft gehad d met  professio onals die dezze ontbeerde en, maar verrder vakinho oudelijk uiterst bekwaam  waren. Het loopt  gewoon niet lekker, het contact met zo’n ‘geehandicapte’ professiona al. Met de inttroductie van n  competeentiegeoriën nteerd onderrwijs is er gellukkig veel m meer aandach ht gekomen  voor de ontw wikkeling  van bero oepsattitudes. Of dit ookk werkelijk errtoe zal leide en dat toekom mstige profeessionals een n betere  beroepshouding heb bben, is voorr een belangrrijk deel afhaankelijk van d de vraag of m men erin zal slagen  op adequate e wijze te toeetsen. Toetsing en examinering bepallen immers  de beroeepsattitude o grotendeeels wat stud denten leren n en wat doccenten onderrwijzen. Deze e brochure bbeschrijft een n  methodiiek die er zich uitstekend d voor leent oom op gecon ntroleerde en gestandaa rdiseerde wiijze een  beeld te  krijgen van de beroepsa attitude.    Gerard SStraetmans  Lector A Assessment     

                                                             a  Miller, G.E. (1990). The assessm ment of cliniccal skills/com mpetence/performance. A Academic M Medicine,  65, 9, 633‐67.   

  4  

 

Inleiding    Sinds het begin van de vorige eeuw worden door bandenfabrikant Michelin sterren uitgedeeld aan  excellente restaurants die het omrijden waard zijn. De toekenning van de sterren gebeurt naar  aanleiding van een bezoek van anonieme recensenten. Door het anonieme karakter van de  beoordeling is het voor toekomstig sterrenchefs onmogelijk om in het kader van de beoordeling een  andere kookprestatie te leveren dan gebruikelijk. Er is gekozen voor deze methodiek omdat men  verwacht dat de recensent op deze manier de kwaliteit ervaart die normaal gesproken geboden  wordt.     De anonieme recensent van Michelin zouden we ook een mystery guest kunnen noemen. Het  inzetten van een mystery guest is een veelgebruikte methodiek bij het beoordelen van de kwaliteit  van de dienstverlening door bedrijven. Er zijn talloze bedrijven die onderzoek doen met behulp van  mystery guests om de servicegerichtheid van bijvoorbeeld hotels, callcenters, supermarkten of grote  warenhuizen te onderzoeken.     Een mystery guest kan ook ingezet worden voor de beoordeling van studenten in competentiegericht  onderwijs. Een dergelijke methodiek kan een goede aanvulling zijn op de huidige toetsmethoden die  ingezet worden om competenties te beoordelen. De mystery guest methode is een  gestandaardiseerde beoordeling van de prestaties van de student in een beroepsauthentieke  situatie.    In deze brochure wordt beschreven hoe de methodiek van een mystery guest gebruikt zou kunnen  worden in assessmentsituaties. Eerst zal op de theoretische achtergrond van mystery guest  beoordelingen ingegaan worden. Vervolgens zullen de mogelijkheden van de mystery guest als  onderdeel van een toetsingsprogramma in een competentiegerichte opleiding besproken worden.  Ten slotte zullen een aantal ontwerprichtlijnen en praktische tips aan de orde komen.   

  5  

 

1. Mystery guest    In dit hoofdstuk wordt ingegaan op het concept 'mystery guest', de werkwijze van een mystery guest  en de doelen van een mystery guest onderzoek. Ook worden enkele voorbeelden gegeven van  variaties op mystery guest onderzoek en van de vragen die kunnen worden beantwoord met behulp  van een mystery guest onderzoek.   1.1 Wat is een mystery guest? Het concept ‘mystery guest’ komt uit de Verenigde Staten. Oorspronkelijk werden mystery guests  ingezet door bedrijven in de Human Resource Management branche om de kwaliteit van de  dienstverlening te onderzoeken. Zo werden mystery guests bijvoorbeeld ingezet om de  dienstverlening in restaurants, hotels, of winkels te onderzoeken en te beoordelen. Het voordeel van  het inzetten van mystery guests is dat er geobserveerd kan worden hoe het er dagelijks aan toe gaat  op de werkvloer. Dit komt doordat de persoon, of groep personen die beoordeeld wordt, zich niet  bewust is van het feit dat hij of zij beoordeeld wordt. De mystery guest observeert dus het gedrag  dat het personeel normaal gesproken vertoont en niet het gedrag dat het personeel zou vertonen als  het wist dat het beoordeeld werd. Denk bijvoorbeeld eens aan de eigenaar van een restaurant. Als  de eigenaar vooraf zou weten dat er een recensent van Michelin kwam eten, zou hij zijn uiterste best  doen om de best mogelijke prestatie neer te zetten, maar bij een beoordeling door een mystery  guest weet de eigenaar van niets en zal hij dus presteren zoals op iedere andere dag.   1.2 Mystery guest; hoe werkt het? Een mystery guest kruipt in de huid van de 'klant' en doorloopt een bepaald proces. Deze mystery  guest is eigenlijk een beoordelaar die getraind is om aan de hand van vooraf opgestelde scripts en  beoordelingscriteria bepaalde aspecten te evalueren. Het onderzoek kan bijvoorbeeld gericht zijn op  klantvriendelijkheid, service, of vaardigheden van medewerkers. Doordat vooraf vastligt wat  geëvalueerd wordt, hoe dit moet gebeuren en welke criteria hierbij worden gebruikt, kunnen we met  deze methode op een gestandaardiseerde manier informatie verzamelen over de te beoordelen  werknemer. Het bijzondere aan deze methode van beoordeling is dat de persoon of groep mensen  die beoordeeld wordt tijdens het bezoek niet weet dat de mystery guest een beoordelaar is.  Hierdoor levert het onderzoek een representatief beeld op van het gebruikelijke werkgedrag van de  beoordeelde(n), in het bijzonder van zijn of haar beroepshouding.   1.3. Voorbeelden van mystery guest beoordelingen in het bedrijfsleven Tegenwoordig zijn er bedrijven die zelf een organisatie inhuren om een mystery guest beoordeling  uit te voeren, zodat zij op basis hiervan hun bedrijfsvoering kunnen verbeteren. In andere sectoren,  zoals de horeca, is het meer gangbaar dat een externe opdrachtgever het initiatief neemt voor een  mystery guest beoordeling. Een voorbeeld hiervan zijn de al eerder genoemde beoordelingen van  restaurants door Michelin. Niet alleen in commerciële bedrijven wordt gebruik gemaakt van mystery  guest onderzoek, ook overheidsinstellingen, provincies en gemeenten maken er gebruik van.     Er zijn vele variaties op het concept mystery guest denkbaar. Al deze vormen van mystery guest  beoordelingen kunnen gebruikt worden om een antwoord te vinden op vragen zoals: "Hoe  klantvriendelijk en vakbekwaam zijn de medewerkers?", "Voldoet de geleverde service aan de  verwachtingen die zijn gewekt?", "Hoe ervaart de gast de algemene sfeer?", "Hoe snel wordt een  klant geholpen?". Hieronder geven wij enkele voorbeelden met daarbij de bedrijfstak waarin deze  vorm van mystery guest gebruikt wordt en het doel van de beoordeling.   

  6  

   

 



Mystery guest. Dit is de meest algemene vorm van mystery beoordelen, het gaat hier om de  beleving van de gast bij een bepaalde organisatie. Deze organisatie is bijvoorbeeld een hotel,  een restaurant, een sportvoorziening etc.   Mystery shopper. Steeds meer organisaties besteden aandacht aan het verbeteren van hun  servicegerichtheid en de kwaliteit van het geleverde product. Om een gestandaardiseerde  beoordeling te doen van klantervaringen, huren zij een mystery shopper in die zich als  reguliere klant voordoet in de winkel. Deze vorm van mystery guest beoordeling is  voornamelijk geschikt voor bijvoorbeeld supermarkten, warenhuizen, servicedesks of  banken.   Mystery caller. Veel organisaties hebben een telefonische helpdesk, receptie of  verkoopafdeling. Om de klantvriendelijkheid en kwaliteit van deze telefonische services te  evalueren wordt een mystery caller ingezet, welke telefonisch de evaluatie uitvoert.   Mystery e‐mailer. Tegenwoordig hebben veel bedrijven en instellingen een helpdesk die per  e‐mail te bereiken is. Een mystery e‐mailer wordt ingezet om de kwaliteit van deze service te  evalueren, het bedrijf of de instelling wordt beoordeeld op de communicatie per e‐mail.   Mystery patiënt. Deze vorm van mystery beoordeling wordt ingezet bij zorginstellingen,  zoals ziekenhuizen of huisartsenpraktijken. Het doel is om zowel de beleving van de patiënt  te onderzoeken, als de bekwaamheid van het personeel en de kwaliteit van de behandeling.  

Samenvatting:    Een  mystery  guest  is  een  beoordelaar  die  zich  voordoet  als  een  reguliere  'klant'.  Aan  de  hand  van  vooraf opgestelde richtlijnen en beoordelingscriteria evalueert de mystery guest bepaalde aspecten  van een organisatie. Er zijn veel variaties op het concept mystery guest denkbaar, zoals een mystery  shopper,  caller  of  patiënt.  Doordat  vooraf  vastligt  welke  procedures  geëvalueerd  worden  en  welke  criteria  worden  gebruikt  bij  de  beoordeling,  worden  gegevens  op  een  gestandaardiseerde  wijze  verzameld.  De  persoon  of  groep  die  beoordeeld  wordt,  weet  niet  dat  de  mystery  guest  een  beoordelaar  is.  Hierdoor  levert  het  onderzoek  een  representatief  beeld  op  van  de  gebruikelijke  dienstverlening van de beoordeelde(n).     

  7  

 

2. Competentiegericht toetsen  In dit hoofdstuk wordt ingegaan op motieven om mystery guest beoordeling in te zetten in het  onderwijs. Hierbij richten wij ons op de beoordeling van studenten en niet op de evaluatie van de  onderwijsinstelling.   2.1 Competenties Het beroepsonderwijs in Nederland is sinds een tiental jaren ingericht volgens de principes van  competentiegericht opleiden. Over wat een competentie precies is bestaat echter nog steeds veel  discussie. Binnen deze brochure hanteren we de volgende definitie: “Competentie behelst de  bekwaamheid om op creatieve, bewuste en verantwoorde wijze geleerde kennis en vaardigheden in  te zetten in slecht gestructureerde taaksituaties uit een bepaald domein, leidend tot een resultaat  (proces en product) dat voldoet aan de geldende kwaliteitsnormen gelet op de te vervullen functie of  rol van de beginnende beroepsbeoefenaar” (1, p. 14). Uit deze definitie wordt duidelijk dat wij onder  een competentie geen generieke eigenschap verstaan. Het gaat om de bekwaamheid op een  specifiek terrein. Belangrijk in de definitie zijn ook de adjectieven ‘creatieve’, ‘bewuste’ en  ‘verantwoorde’, waaruit valt op te maken dat competentie niet kan blijken uit processen die op de  automatische piloot worden uitgevoerd. Competent zijn betekent meer dan in staat zijn om een  bepaalde procedure foutloos uit te voeren. Het gaat er juist om dat de beroepsbeoefenaar in staat is  om geleerde procedures, als de situatie daarom vraagt, te kunnen aanpassen aan de vereisten van de  taak en de condities waaronder die taak moet worden uitgevoerd. Daarvoor is kennis nodig en veel  ervaring met de taaksituaties die zich kunnen voordoen, maar ook een goede instelling of  beroepshouding.    Dat iemand een competentie verworven heeft moet blijken uit het feit dat hij in complexe, voor het  beroep of functie representatieve taaksituaties adequaat kan handelen. Traditionele kennistoetsen  zijn daarvoor niet geschikt. Dat is de reden waarom binnen menig HBO‐opleiding naarstig  geëxperimenteerd wordt met alternatieve assessmentvormen. Die onderscheiden zich van de  traditionele kennistoetsen vooral in de grotere overeenkomst tussen wat beoordeeld wordt en dat  waarover een uitspraak gedaan moet worden. Sommigen concluderen hieruit wat al te gemakkelijk  dat met alternatieve assessmentvormen op valide wijze competenties beoordeeld kunnen worden.  Eén van de redenen waarom dat niet zonder meer waar is, heeft te maken met het feit dat de  beoordeelde er zich van bewust is dat hij of zij beoordeeld wordt en zich daardoor anders gedraagt  dan hij of zij normaal gesproken zou doen.  2.2 Maximum en typical performance Volgens Straetmans1 is het zwakke punt van alternatieve assessmentvormen dat de aanwezigheid  van een beoordelaar het gedrag van de student beïnvloedt. In tekst 1 wordt beschreven hoe  Straetmans de validiteitsproblemen van alternatieve assessmentvormen typeert.    Tekst 1  Het is in het voordeel van de beoordeelde persoon als die zijn gedrag probeert af te stemmen  op wat de assessor graag wil zien. Maar daarmee wordt gedeeltelijk het zicht ontnomen op  hoe de kandidaat zou handelen in een natuurlijke situatie, als er niemand op zijn vingers kijkt.  De vraag is dan hoe serieus de kandidaat de aspecten van competent handelen neemt. Hoe  bereid is hij alles wat in de assessmentsituatie wordt gevraagd ook in de dagelijkse praktijk  toe te passen. Deze bereidheid voert terug op opvattingen en attitudes, een belangrijke  basiscomponent van competenties. Dat dit problematisch kan zijn, blijkt bijvoorbeeld uit het  agressieve rijgedrag van een groeiende groep weggebruikers. Ongetwijfeld hebben alle  agressieve rijders tijdens hun rijexamen laten zien dat ze in staat zijn om defensief te rijden,  maar kennelijk is ‘kunnen’ iets anders dan ‘doen’. (1, p. 25) 

  8  

    Het verschil tussen ‘kunnen’ en ‘doen’ (zie tekst 1) kan ook getypeerd worden als het verschil tussen  ‘typical’ en ‘maximum’ performance. Er wordt van typical performance gesproken als een student  presteert zoals hij of zij normaal gesproken doet. Terwijl we spreken van een maximum performance  wanneer een student zijn maximale kunnen demonstreert. In assessmentsituaties wordt al snel  maximum performance gemeten in plaats van typical performance2. Voor bepaalde competenties is  het van belang om niet alleen te weten waartoe de student maximaal in staat is, maar ook wat zijn of  haar doorsnee prestatie is in representatieve taaksituaties. Wanneer we dergelijke competenties  willen beoordelen is het verstandig in een assessment taaksituaties aan te bieden die niet alleen zicht  geven op waartoe een kandidaat maximaal in staat is, maar ook op wat hij of zij normaal gesproken  zou doen in dergelijke situaties.  2.3 Attitudes: een cruciale component Zoals gezegd laten studenten in toetssituaties een maximum performance zien terwijl we in sommige  gevallen juist geïnteresseerd zijn in de typical performance. Het verschil tussen een maximum en  typical performance ontstaat doordat een student verschillende drijfveren kan hebben: in het geval  van een toetssituatie zal de student er op gebrand zijn de taak zo goed mogelijk te voltooien terwijl  de student tijdens een reguliere taaksituatie andere belangen kan hebben en daardoor de taak  anders uitvoert.     Huidige methoden voor competentie assessment bieden weinig tot geen mogelijkheden voor het  meten van typical performance. Er is met name slecht zicht op de attitudinale component van  competenties, omdat juist dat aspect beïnvloed wordt door de aanwezigheid van een beoordelaar.  Een ander aspect dat de attitudebeoordeling vertroebelt, is dat het gedrag dat iemand vertoont niet  in overeenstemming hoeft te zijn met de achterliggende drijfveren. Dat een caissière een klant  vriendelijk behandelt, wil bijvoorbeeld niet zeggen dat zij een vriendelijk persoon is. Bij het meten  van competenties wordt vaak alleen attitude op een lager niveau gemeten3. In tekst 2 wordt dit  nader toegelicht.       Tekst 2  Attitude is te verdelen in twee verschillende aspecten die enerzijds onlosmakelijk met elkaar    verbonden zijn, echter anderzijds ook apart tentoongesteld kunnen worden. Zo hoort bij een    specifiek beroep ook een specifieke attitude, de zogenaamde beroepsattitude. De attitude is    het gedrag en de redenen van het gedrag van het individu in het leven van het individu.    Beroepsattitude daarentegen is het gedrag en de redenen van het gedrag van het individu in    de specifieke arbeidsomstandigheid. Medewerkers kunnen ondanks een verschillende    persoonlijke attitude toch hetzelfde werk op een verantwoorde manier uitvoeren. (4, p. 8)    Uit tekst 2 blijkt dat attitude en beroepsattitude twee verschillende dingen zijn. Bij het meten van  een competentie zijn we voornamelijk geïnteresseerd in wat een persoon laat zien binnen een  bepaald beroep; dit is de beroepsattitude. In een beroepssituatie hoort de beroepsbeoefenaar zich  te gedragen naar de waarden die in het beroep geaccepteerd en gewenst zijn. Een competent  beroepsbeoefenaar is zich bewust van deze gewenste gedragingen. Tijdens het uitoefenen van het  beroep maakt deze persoon zijn of haar persoonlijke behoeften (voortkomend uit de persoonlijke  attitude) ondergeschikt aan de beroepsattitude. Het spreekt hierbij voor zich dat de persoonlijke  attitude niet haaks zou moeten staan op de beroepsattitude. Van iemand die steelt kan bijvoorbeeld  niet worden verwacht dat hij of zij het beroep politieagent op een verantwoorde manier kan  uitvoeren.  2.4 Mystery guest beoordelingen Uit het voorgaande zal duidelijk zijn geworden dat het beoordelen van beroepsattitudes vraagt om: 

  9  

  1. authentieke taaksituaties;  2. waarbij de student zich niet bewust is van het feit dat er beoordeeld wordt.  Aan de eerste eis is vrij eenvoudig te voldoen. Alle HBO‐opleidingen kennen langdurige  stageperiodes waarbij voldoende gelegenheid is om hoogwaardige bewijzen te verzamelen waarmee  de verwerving van de competentie(s) kan worden aangetoond. Desondanks zullen die bewijzen,  vanwege de reeds besproken problemen, vaak weinig zicht geven op de beroepsattitude van de  kandidaat.    Bovendien is een bezwaar van observatie op de stageplek dat het inefficiënt is. Het kan soms erg lang  duren voordat het gedrag waarin de beoordelaar geïnteresseerd is zich voordoet.    De mystery guest methode biedt voor beide bezwaren een oplossing. De kandidaat wordt zonder dat  die daar erg in heeft beoordeeld en de mystery guest kan tegelijkertijd bij de kandidaat precies dat  gedrag uitlokken waarnaar de interesse uitgaat. Een mystery guest beoordeling heeft vooral een  toegevoegde waarde doordat er een meting kan worden gedaan van de beroepsattitude in een  beroepsauthentieke situatie. Deze beroepsauthentieke situatie kan waarschijnlijk niet in een  opleidingssituatie gecreëerd worden terwijl deze situatie tijdens een stage al voorhanden of vrij  eenvoudig te realiseren is.   Samenvatting:    Competentie  moet  blijken  uit  het  feit  dat  de  student  adequaat  handelt  in  taaksituaties  die  representatief  zijn  voor  de  kritische  taken  waarvoor  de  competentie  moet  worden  vastgesteld.  De  student  moet  daarvoor  beschikken  over  voldoende  kennis  en  vaardigheden  en  over  de  juiste  beroepsattitude.  Deze  laatste  component  laat  zich  echter  lastig  beoordelen  aangezien  formele  beoordelingssituaties  het  zicht  ontnemen  op  datgene  waarnaar  de  interesse  uitgaat.  De  mystery  guest methode biedt een waardevolle manier om competentie van kandidaten te beoordelen in een  authentieke beroepssituatie.   

   

 

  10  

 

3. Mystery guest beoordeling in het onderwijs  In hoofdstuk 2 is aangegeven waarom de mystery guest methode een waardevolle toevoeging zou  kunnen zijn aan de momenteel veelgebruikte assessmentmethoden. Dat geldt uiteraard alleen als de  mystery guest methode betrouwbare en valide scores oplevert. Door een systematisch ontwerp,  volgens algemeen geldende richtlijnen voor de constructie van onderwijskundige meetinstrumenten,  wordt de kans daarop groter.   3.1 Assessment constructieproces Een systematische ontwerpprocedure biedt de beste garantie voor de ontwikkeling van een  assessment dat scores oplevert waarmee op valide wijze beslissingen genomen kunnen worden over  kandidaten of over het onderwijs zelf. In deze paragraaf worden de stappen van zo’n  ontwerpprocedure uitgewerkt voor een mystery guest beoordeling.   3.1.1 Specificatie van het doel De constructie van een assessment begint altijd met het zorgvuldig vaststellen van het doel. In het  geval van een mystery guest beoordeling zal dus bepaald moeten worden welke competentie en  bijbehorende beroepsattitude beoordeeld wordt. Daarnaast moet bepaald worden of de mystery  guest beoordeling een formatief of summatief doel heeft.     Een summatief assessment is een assessment dat gebruikt wordt om een eindoordeel te geven over  de mate waarin een student de doelstelling van een studieonderdeel verworven heeft. Dit is  bijvoorbeeld een eindbeoordeling bij een stage of een tentamen als afsluiting van een  studieonderdeel. Na de uitslag van de toets krijgen de studenten vaak nog wel een kans om het  beoordelingsprotocol of nagekeken tentamen in te kijken maar hebben zij geen gelegenheid meer  om iets aan hun leerstrategie te veranderen. Summatieve assessments worden vaak gebruikt om  (belangrijke) beslissingen te nemen, bijvoorbeeld over zakken of slagen. Om tot een zak‐  /slaagbeslissing te komen wordt zo veel mogelijk informatie verzameld, om tot een zo betrouwbaar  mogelijk oordeel te komen.    Wanneer een assessment wordt ingezet om het leerproces te verbeteren, spreekt men van een  formatief assessment. Formatieve assessments richten zich vooral op het verzamelen van informatie  die sturend is voor het leerproces van de student. Het gaat erom de student door het geven van  feedback te helpen de leerstof te verwerven.   Een summatief assessment, zeker als daarmee informatie wordt verzameld in authentieke  taaksituaties, levert behalve informatie over het bereikt zijn van de doelstellingen, ook gegevens op  die bruikbaar zijn met het oog op de verdere ontwikkeling van de competentie(s) van de  beoordeelde. In een maatschappij waarin levenslang leren een noodzaak is geworden voor vaklieden  en professionals, is dat een erg nuttige eigenschap. Immers, de ontwikkeling van de competentie(s)  houdt niet op bij de afsluiting van de opleiding of het studieonderdeel.    Na het vaststellen van het doel van het assessment moet bepaald worden welke competentie en  beroepsattitude met de mystery guest methode beoordeeld worden. Hierbij is het van belang om te  omschrijven wat de competentie inhoudt, wanneer een student competent gedrag vertoont en ten  slotte, welke beroepsattitude gewenst is bij de uitvoering van taken uit de beroepspraktijk.  3.1.2 Specificatie van methodiek en inhoud van het assessment In deze fase van de constructie wordt de assessmentvorm gekozen, worden zo nodigb de opdrachten                                                                b

Bij sommige observaties op de werkplek is er eigenlijk geen sprake van expliciete opdrachten. De kandidaat is  ‘gewoon’ aan het werk en demonstreert zijn competentie(s) in reactie op gebeurtenissen die zich daarbij  voordoen. 

  11  

  bepaald die de kandidaat moet uitvoeren en de randvoorwaarden van de beoordeling vastgesteld.  Aangezien er in dit voorbeeld al voor de mystery guest beoordeling gekozen is, wordt hier alleen  ingegaan op de randvoorwaarden. Deze randvoorwaarden betreffen bijvoorbeeld de  beschikbaarheid van geld en tijd, het aantal assessoren dat wordt ingezet, het aantal uit te voeren  beoordelingen per student, de te waarborgen veiligheid tijdens de beoordeling, hoe de objectiviteit  van de beoordeling gewaarborgd wordt en hoe de beoordeling zo gestandaardiseerd mogelijk kan  verlopen. In 3.1.3 worden de randvoorwaarden verder gespecificeerd.    Ten aanzien van het moment in de opleiding waarop de mystery guest beoordeling wordt ingezet  geldt dat mystery guest beoordelingen bij uitstek geschikt zijn om te worden ingezet tijdens stages,  om competenties van studenten te beoordelen. Een mystery guest beoordeling speelt zich af in een  authentieke werksituatie, maar van te voren moet worden vastgelegd in welke taaksituaties de  competentie gedemonstreerd en beoordeeld wordt. Hierbij is van belang dat de taaksituaties die  worden voorgelegd aan de student representatief zijn voor (een deel van) het takenpakket van een  beginnend beroepsbeoefenaar. Zoals eerder vermeld is de mystery guest beoordeling met name  geschikt om gedrag te toetsen dat zich in de beroepspraktijk minder vaak zal aandienen. Welke taak  er precies uitgevoerd moet worden, hangt onder andere ook af van het al verzamelde bewijs  afkomstig van de inzet van andere assessmentvormen. Mystery guest beoordelingen maken het  mogelijk om gaten in de beschikbare informatie over de student op te vullen omdat het mogelijk is  om juist de situaties waar nog weinig over bekend is te simuleren.     Om de objectiviteit van de mystery guest beoordeling te waarborgen, is het van belang dat de  mystery guest volgens een nauwgezet voorgeschreven procedure te werk gaat. Hiervoor kan een  script worden opgesteld dat door de mystery guest wordt gevolgd. Het is met het oog op het  verkrijgen van de juiste informatie belangrijk dat de mystery guest zich aan het script houdt. Op die  manier kan op een efficiënte wijze dat gedrag worden uitgelokt waarin men geïnteresseerd is. In het  script staan zowel de procedurele aspecten als de randvoorwaarden en de inhoudelijke invulling  beschreven.  3.1.3 Procedure en randvoorwaarden Een voorbeeld van een script: stagiair makelaardij, opleiding Vastgoed &Makelaardij.    Scenario:  De rollen zijn als volgt verdeeld:   Rol student: medewerker makelaarskantoor.   Rol mystery guest: potentiële koper.     De student begeleidt een bezichtiging in een te koop staand huis. De afspraak is via een collega /  assistent(e) gemaakt. Tijdens het bezoek stelt de mystery guest vragen aan de student. Het doel van  dit assessment is inzicht krijgen in de klantvriendelijkheid en professionaliteit van de student op het  niveau van beginnend beroepsbeoefenaar. De te beoordelen competentie is het leiden van een  bezichtiging van een koophuis. De bijbehorende beroepsattitude is het hebben van een professionele  en klantvriendelijke houding.     Bij het uitvoeren van de procedure zijn de volgende randvoorwaarden van belang:   Duur mystery guest bezoek: ongeveer één uur.    De mystery guest is getraind voor beoordeling en uitvoering van de rol.   De mystery guest volgt het script tijdens de beoordeling.    De mystery guest is op de hoogte van alle (verborgen) gebreken van het huis en de eventuele  problemen met de ligging van het pand.   

  12  

  Een belangrijke stap in het proces van de constructie van het assessment is het selecteren en trainen  van de mystery guest, in dit geval de persoon die de beoordeling uitvoert. Een mystery guest kan in  principe  iedere  getrainde  beoordelaar  zijn  die  representatief  is  (of  zich  zo  kan  gedragen)  voor  de  reguliere  klantenpopulatie.  Naast  de  reguliere  training  voor  beoordelaars,  is het  van  belang  dat  de  mystery guest een gerichte training ondergaat om te leren waar hij of zij op moet letten tijdens het  beoordelen, aan de hand van de vooraf opgestelde scripts en de prestatiecriteria.   3.1.4 Inhoud van het assessment en prestatiecriteria Bij de constructie van het materiaal voor het assessment wordt de inhoud van het script verder  geconcretiseerd binnen de gestelde randvoorwaarden.     Script voor mystery guest beoordelingc    Scenario  De mystery guest is op zoek naar een huis voor hem en zijn partner. De partner was niet beschikbaar  op het moment van de bezichtiging. De mystery guest bevindt zich in de oriënterende fase. De  mystery guest stelt zich tijdens de bezichtiging teleurgesteld op over het huis, het huis is niet zoals hij  verwachtte.    Tijdens de bezichtiging stelt de mystery guest in ieder geval de volgende vragen:   Hoe is de constructie van de bouw van het huis?   Heeft het huis gebreken die niet door normaal onderhoud zijn te verhelpen?   Hoe kindvriendelijk is de omgeving waarin het huis staat?   Wat zijn de mogelijkheden tot uitbouw van het huis?    Na afloop vult de mystery guest een beoordelingsformulier in en voert eventueel een feedback‐ gesprek met de student.     Het hier beschreven script bevat slechts de grote lijnen van de te volgen procedure. Het moet  specifieker beschreven worden om gebruikt te kunnen worden. In deze brochure is er echter voor  gekozen om een voor iedereen begrijpelijke taaksituatie als uitgangspunt voor het script te nemen,  zodat hier flexibel mee omgegaan kan worden wanneer dit wordt toegepast binnen een ander  vakgebied. Wat er in het script staat wordt in principe grotendeels bepaald door de te toetsen  competentie en de taaksituaties en prestatiecriteria die het resultaat zijn van de operationalisatie  van de betreffende competentie.    Richtlijnen voor de beoordeling:   Betrek bij de beoordeling de antwoorden die de student gegeven heeft op de gestelde  vragen tijdens de bezichtiging.   Geef naast het oordeel aan de hand van het beoordelingsvoorschrift ook een beschrijving  van de gang van zaken tijdens het bezoek. Dit kan nuttig zijn om eventuele feedback te  kunnen geven op concrete situaties die zich hebben voorgedaan.     Beoordelingsvoorschrift:  Voor elke indicator kent de beoordelaar een score 0 of 1 toe.     Vrij vertaald is een competentie de bekwaamheid van een beginnend beroepsbeoefenaar om  adequaat te functioneren in een bepaalde klasse van taaksituaties1. Wat adequaat is moet in eerste  instantie beschreven worden door een reeks van beoordelingsaspecten waarmee het gedrag en de                                                               c

 Let op: dit is een fictief voorbeeld! 

 

  13  

  resultaten van dat gedrag te beoordelen zijn. Vervolgens wordt elk beoordelingsaspect nader  geoperationaliseerd door middel van meer concreet omschreven prestatie‐indicatoren. Om de  prestatie van de student hierop te scoren is een schaal nodig. Voorbeelden van mogelijke schalen  zijn:    onvoldoende, voldoende;   onvoldoende, matig, voldoende, goed;   geen beheersing, matige beheersing, voldoende beheersing, goede beheersing, uitstekende  beheersing.   Wat een zinvolle schaal is hangt vooral af van de vraag in hoeverre het mogelijk en (didactisch)  gewenst is om fijnere differentiaties te maken tussen de prestatieniveaus. In tabel 1 is gekozen om  een tweepuntsscchaal schaal (0 of 1 punt) te gebruiken.    Tabel 1. Fictief beoordelingsvoorschrift voor de competentie het leiden van een bezichtiging van een  koophuis door een student makelaardij. 

Beoordelings‐ aspect 

Indicator   

Klantvriendelijke  opstelling 

        

Professioneel  handelen 

      

De student groet de klant op een professionele manier.  De student is op tijd.  De student is gepast gekleed.  De student heeft een uitnodigende houding.  De student spreekt verstaanbaar.  De student toont interesse in de klant en zijn of haar  wensen.  De student stelt zich geduldig op tegenover de klant.   De student gedraagt zich volgens algemeen geldende  omgangsvormen.  De student vat tijdens het gesprek wat er besproken  wordt samen.  De student is eerlijk.  De informatie die de student verstrekt is feitelijk juist.  De student geeft antwoorden die concreet zijn voor de  vragen van de klant.  De student stelt relevante vragen aan de klant.  De student verwijst de klant door naar  informatiebronnen of personen.  De student verstrekt contactgegevens aan de klant.  De student deelt mee benaderbaar te zijn voor  informatie over of bezichtigingen van andere huizen. 

0 

1 

 

 

 

 

3.1.5 Proefafname Als duidelijk is wat het doel van het assessment is en hoe het assessment er uit komt te zien, is de  basis voor het assessment gelegd. In de dan volgende fase is het nuttig om met collega's te  overleggen over de inhoud van het ontworpen assessment.     Om te kijken of het ontworpen script en de prestatiecriteria leiden tot het gewenste resultaat moet  worden proefgedraaid met het uitvoeren van de mystery guest beoordeling. Het oefenen van de  procedure kan leiden tot meerdere inzichten, bijvoorbeeld dat er onduidelijkheden zijn in het script,  dat de beoordelingscriteria niet duidelijk genoeg zijn voor de beoordelaar of dat het script niet  aansluit bij de te toetsen competentie(s). Het is vooral van belang dat onderzocht wordt of de  voorgeschreven acties van de mystery guest het gedrag uitlokken waar men in geïnteresseerd is.  

  14  

  3.1.6 Referentiekader De toegekende scores krijgen pas betekenis door ze af te zetten tegen een vooraf bepaalde  prestatiestandaard, ook wel aangeduid met de term “cesuurscore”. Dit is de kwantitatieve  representatie van het minimaal vereiste niveau van functioneren door de student. Een gedetailleerde  beschrijving ten aanzien van het vaststellen van de cesuurscore valt buiten het bestek van deze  brochure. Geïnteresseerde lezers vinden hierover meer informatie in de publicaties van Straetmans 1  (p. 36); 2 (p. 28).  3.1.7 Schrijven handleiding Om er voor te zorgen dat het assessment en de bijbehorende resultaten op de gewenste manier  worden gebruikt, moet er een handleiding zijn. De handleiding dient minimaal informatie te bevatten  over (a) het doel van het assessment, (b) de condities waaronder de student de assessment‐taken  moet uitvoeren, (c) het script dat de mystery guest moet volgen, (d) de wijze waarop het  geobserveerde gedrag beoordeeld moet worden en (e) de informatie die teruggekoppeld moet  worden naar de student in het geval van een formatieve of summatieve toepassing van het  instrument.   3.2 Praktische overwegingen Een vraag die men zich vooraf dient te stellen is of een beoordeling door een mystery guest de  moeite en het geld waard zijn. Een terechte vraag, zeker als men zich realiseert dat de inzet van  mystery guests hooguit een waardevolle aanvulling kan zijn op ander bewijsmateriaal, afkomstig van  de inzet van andere methoden voor competentiegericht beoordelen. In algemene zin luidt het  antwoord op deze vraag dan ook dat de mystery guest methode een meerwaarde kan hebben voor  het vaststellen van competenties waarin de attitudinale component van cruciale invloed is op het  succesvol handelen van de beroepsbeoefenaar. Een voorbeeld van opleidingen waarin het gebruik  van mystery guests aanbevelenswaardig is, zijn de (para)medische opleidingen. In (para)medische  taaksituaties is het bijvoorbeeld van belang dat de student respectvol maar gedecideerd kan omgaan  met patiënten. Maar ook binnen opleidingen die bijvoorbeeld opleiden tot adviseur op het gebied  van zakelijke kredietverlening of financiële planning kan een mystery guest beoordeling een  waardevolle toevoeging zijn. In zijn algemeenheid is de toepassing van de mystery guest methode te  overwegen bij opleidingen voor beroepen waarin iemand gemakkelijk voor ethische dilemma’s kan  komen te staan.    Als een mystery guest beoordeling wordt uitgevoerd op de stageplaats van een student, is het van  belang om hierover duidelijke afspraken te maken met de stageplaats. Het is goed om hen van te  voren in te lichten over de komst van een mystery guest. Er kan bijvoorbeeld worden aangegeven in  welke week het bezoek plaats zal vinden. Het is uiteraard niet de bedoeling dat de student hiervan  op de hoogte is. Ook kan met de stagebegeleider worden overlegd over wat een geschikt moment is  om een mystery guest beoordeling uit te voeren, met het oog op de stageplanning.  3.3 Ethiek In bedrijfscontexten leidt de inzet van mystery guests regelmatig tot spanningen tussen de  beoordeelde werknemers en hun bazen. Werknemers vinden het nogal eens onethisch dat ze  stiekem bekeken en beoordeeld worden en zijn bovendien bang dat de resultaten voor meer  doeleinden gebruikt worden dan voor het doel dat de baas aangeeft. Als de mystery guest methode  wordt ingezet in onderwijscontexten is de kans op soortgelijke oppositie aanzienlijk kleiner. In de  eerste plaats omdat docenten in hun beoordelende rol maar zelden verborgen doelstellingen zullen  hebben. In de tweede plaats omdat studenten middels de studiegids of het onderwijs‐ en  examenreglement op de hoogte (kunnen) zijn van de mogelijkheid dat zij door een mystery guest  beoordeeld worden. Het feit dat studenten weten dat ze op deze manier beoordeeld kunnen worden  tast de effectiviteit van de methode niet of nauwelijks aan aangezien men niet op de hoogte is van 

  15  

  het tijdstip waarop de beoordeling plaatsvindt en wie de mystery guest is. Restauranthouders,  bijvoorbeeld, zijn ook op de hoogte van het feit dat ze beoordeeld kunnen worden door een  werknemer van de Michelin organisatie. Dit vermindert de kracht van de methode maar weinig  aangezien het ondoenlijk is om de zaken gedurende langere tijd mooier voor te doen dan ze in  werkelijkheid zijn.    Tijdens het bezoek van de mystery guest weet de student niet dat hij of zij beoordeeld wordt. Het is  echter van belang om dit snel na het bezoek te vermelden, onder andere om de student aan te  zetten tot reflecteren op het eigen handelen in de beoordeelde situatie. Dit met het oog op de  nabespreking waarin terugkoppeling zal worden gegeven over de prestatie.   Het is mogelijk om tijdens het bezoek van de mystery guest opnamen te maken met bijvoorbeeld  verborgen camera's of verborgen audioapparatuur. Dit heeft als voordeel dat na afloop van het  bezoek samen met de student teruggeblikt kan worden op bepaalde momenten. Ook kan er  bijvoorbeeld door meerdere beoordelaars naar de video‐opnamen worden gekeken, wat kan leiden  tot een meer betrouwbaar oordeel. Door het gebruik van opnameapparatuur worden echter ook de  ethische dilemma's vergroot. In ieder geval geldt dat er zeer zorgvuldig met het materiaal moet  worden omgegaan, om ongewenst uitlekken van persoonlijke informatie te voorkomen.  Samenvatting:    Stappen bij het ontwerpen van een mystery  guest assessment    1. Specificeer het doel 

2. Specificeer de methode en  assessmentinhoud   

  Inhoud van de te nemen stappen 

     

4. Proefafname 

    

5. Referentiekader 



6. Schrijf handleiding 



3. Construeer prestatiecriteria 

Formatief / summatief  Welke competentie  Welke beroepsattitude  Authentieke taak op de werkplek  Complex en representatief voor  beroepspraktijk  Gestructureerd (zelfde taak etc., volgens  scenario)  Indicatoren en beoordelingsaspecten  Schaal construeren  Intercollegiaal overleg  Selecteren en trainen beoordelaars  Controle / oefenen van procedure met  beoordelaar  Censuurbepaling, wat is het minimaal  gewenste niveau van een beginnend  beroepsbeoefenaar?  Vastleggen hoe scores geïnterpreteerd  moeten worden  

   

 

  16  

 

4. Tot besluit  In deze brochure werden de mogelijkheden verkend om de mystery guest methode, die in het  bedrijfsleven al vaker ingezet wordt, ook voor onderwijsdoeleinden te gebruiken. Anders dan bij  toepassing in het bedrijfsleven is de aandacht daar gericht op de beoordeling van de studenten in  plaats van op de kwaliteit van de dienstverlening van een organisatie. De conclusie van deze  brochure is dat mystery guest beoordelingen voor bepaalde opleidingen een waardevolle aanvulling  kunnen zijn op de huidige assessmentvormen. De meerwaarde zit erin dat de student in het  assessment zal handelen zoals hij of zij normaal gesproken zou doen in de reële werksituatie. Dit  maakt het mogelijk om een indruk te krijgen van de beroepsattitude. In het algemeen kan gesteld  worden dat de mystery guest methode interessant kan zijn voor het vaststellen van competenties  waarin het aspect attitude van cruciale invloed is op het succesvol handelen van de  beroepsbeoefenaar. Voor het uitvoeren van een beoordeling met de mystery guest methode is het,  net als bij elke andere assessmentvorm, van belang dat de ontwikkeling gebeurt volgens een  systematische ontwerpprocedure.    

 

  17  

 

Literatuurlijst    1

Straetmans, G. J. J. M. (2006). Bekwaam beoordelen en beslissen: Beoordelen en beslissen in    competentiegerichte beroepsopleidingen (lectorale rede). Enschede: Saxion Hogescholen.     2  Straetmans, G. J. J. M. (2004). Protocol portfolio scoring: Een methode voor het systematisch scoren    en vaststellen van competenties. BVE en HO Brochurereeks Perspectief op Assessment, nr 4.    Arnhem: Citogroep.    3

     

Standaert, R. (2008). Competenties: Een zoektocht naar toegevoegde waarde. In Vlaamse  Onderwijsraad (Eds.), Competentie‐ontwikkeld onderwijs: een verkenning (pp. 55‐70). Antwerpen ‐ Apeldoorn: Garant. 

4

Castermans, G. (2006). Competentiegericht opleiden binnen organisaties. Edu‐line. Verkregen van    http://members.home.nl/jreij/Competentie‐leerpsychologie.pdf     

  18