Het EVC-assessment Methodiek-handleiding voor de Assessor
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
1
Inhoudsopgave 1 1.1 1.2
Inleiding: ontwikkelingen EVC Wat is EVC? Landelijke ontwikkelingen
4 4 4
2 2.1 2.2 2.3 2.4 2.5
De EVC-procedure van QRM Stap 1: Voorlichting en intake Stap 1a (optioneel): invullen quick scan Stap 2: Herkennen Stap 3: Waarderen (het EVC-assessment, hier is de assessor bij betrokken!) Stap 4: Rapporteren (hier is de assessor bij betrokken!) Stap 5: Evaluatie en optimalisatie (hier is de assessor bij betrokken!)
6 6 6 7 7 8 8
3 3.1 3.2 3.3 3.3.1 3.3.2 3.3.3
Het assessment in de praktijk: de voorbereiding Aanvraag vanuit QRM Bekijken van het portfolio van de EVC-kandidaat Assessment plannen Inzet Criterium gericht interview (CGI) Inzet werkplekbezoek Contact opnemen met de kandidaat
10 10 10 11 11 11 12
4 4.1 4.1.1 4.1.2 4.1.3 4.2 4.2.1 4.2.2 4.2.3 4.2.4 4.2.5 4.3 4.3.1 4.4
Het assessment uitvoeren Het portfolio beoordelen De zelfbeoordeling van de kandidaat Aftekenen dat u het bewijsstuk hebt gezien Koppelen van de bewijsstukken aan de onderdelen van de opleidingsstandaard Het criterium gericht interview Voorbereiden van een criterium gericht interview De STAR(RT)-methode Hoe richt je het interview in? Het begin van het interview Afronding van het interview Het werkplekbezoek De WAKKER-methode Nabespreking ter afronding van het assessment
14 14 14 15 15 16 16 17 17 18 20 20 21 22
5 5.1 5.1.1 5.1.2 5.1.3 5.1.4 5.1.5 5.1.6 5.1.7
De rapportage De onderdelen van de rapportage voor de assessor Toelichting bij: Het loopbaandoel van de kandidaat voor dit EVC-traject Toelichting bij: scoren bewijs op vraak-criteria Toelichting bij: Conclusie per werkproces/deelkwalificatie Toelichting bij: Onderbouwing per werkproces/deelkwalificatie:waar blijkt dat uit? Toelichting bij: Advies per werkproces/deelkwalificatie Toelichting bij: Conclusie met betrekking tot het loopbaandoel van de kandidaat Toelichting bij: Aanbeveling met betrekking tot het loopbaandoel van de kandidaat De afronding Tot slot
23 23 26 26 28 29 31 31 32
Bijlagen Bijlage 1: Valkuilen en tips werkplekbezoek
35 36
5.2 5.3
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
32 33
2
Bijlage 2: Valkuilen en tips Criterium gericht interview (CGI) Bijlage 3: Het CGI - STARR gesprekstechniek Bijlage 4: Valkuilen bij Interviews Bijlage 5: Feedback geven Bijlage 6: Checklist EVC-rapportage
38 39 43 44 45
© QRM 2010 Alle rechten voorbehouden. Niets uit deze uitgave mag worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch, door fotokopieën, opnamen of enige andere manier, zonder voorafgaande toestemming van QRM. Voor zover het maken van kopieën uit deze uitgave is toegestaan op grond van artikel 16B Auteurswet o 1912 j het Besluit van 20 juni 1974, St.b. 351, zoals gewijzigd bij Besluit van 23 augustus 1985, St.b 471 en artikel 17 Auteurswet 1912, dient men daarvoor wettelijk verschuldigde vergoedingen te voldoen aan de Stichting Reprorecht. Voor het overnemen van gedeelte(n) uit deze uitgave in bloemlezingen, readers en andere complilatie- of andere werken (artikel 16 Auteurswet 1912), in welke vorm dan ook, dient men zich tot QRM te wenden.
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
3
1. Inleiding: ontwikkelingen EVC 1.1 Wat is EVC? EVC is de afkorting van Erkennen van Verworven Competenties, maar we komen het tegenwoordig ook tegen als ‘ ErVaringsCertificaat’. EVC beoogt de erkenning en/of waardering van wat een individu heeft geleerd in elke mogelijke leeromgeving: in formele omgevingen zoals op school, maar ook in niet-formele omgevingen zoals de werkplaats of thuis. In een EVC-traject worden de reeds opgedane competenties (kennis, houding en vaardigheden) van de kandidaat naast een landelijk erkende meetlat gelegd. Deze meetlat kan een vastgelegde HBO- of MBO-opleidingsstandaard zijn of een erkende branche-standaard. De meeste EVC-trajecten die QRM uitvoert hebben betrekking op een MBO-opleidingsstandaard: een kwalificatiedossier of een eindtermendocument. In een EVC-traject wordt dus gemeten in hoeverre de kandidaat de onderdelen van deze standaard op het moment van het assessment (aantoonbaar) beheerst. De in kaart gebrachte competenties van de kandidaat, gerelateerd aan een landelijk erkende standaard, worden vastgelegd in een EVC-rapportage. Deze rapportage heet het Ervaringscertificaat. Het Ervaringscertificaat is het eindproduct van het EVC-traject. Met dit certificaat kan de kandidaat aantonen welke deskundigheid hij al in huis heeft voor de werkgever, maar het certificaat kan ook ter verzilvering worden aangeboden aan een opleidingsinstelling. Afhankelijk van de mate waarin de kandidaat de vereisten van een standaard beheerst, kan een examencommissie besluiten een kandidaat een diploma te geven, nog een extra onderdeel te beoordelen (zoals taalvaardigheid of leren, loopbaan & burgerschap) of een aanbieding te doen voor een (verkort) opleidingstraject. De kandidaat kan het certificaat ook inzetten voor andere loopbaandoeleinden door het mee te nemen bij sollicitaties of beoordelingen.
1.2 Landelijke ontwikkelingen De betekenis van het Ervaringscertificaat is de afgelopen jaren sterk toegenomen. De economische recessie heeft het belang van het Ervaringscertificaat nog actueler gemaakt. Naast dat het kabinet al jaren een kenniseconomie nastreeft waarin iedereen in Nederland minimaal een startkwalificatie bezit (MBO niveau 2 of havo/vwo-diploma), is EVC een van de geïnitieerde maatregelen om potentiële werkzoekenden sneller van werk naar werk te helpen. EVC wordt dan ook steeds meer opgenomen in COA’s, bij Opleidingsfondsen en in stimuleringsmaatregelen van de overheid of een branche. Naast de ontwikkelingen op het gebied van EVC, is het MBO ook erg in verandering. Zo is de opleidingsstructuur aan het veranderen van eindtermgericht naar competentiegericht onderwijs, wat naast
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
4
de vorm en inhoud van dossiers samengaat met enkele veranderende eisen. Zo gelden voor de competentiegerichte standaarden: •
het brondocument LL&B voor Leren, loopbaan en burgerschap, inclusief het addendum Nederlands (eisen aan Nederlandse taalvaardigheid vanuit burgerschap geformuleerd)
•
hogere taaleisen, gerelateerd aan het Europees raamwerk (5 deelvaardigheden van taal met een niveau A1 t/m C2, dat vanaf 2010-2011 wordt vervangen door het raamwerk Meijerink)
•
vanaf 2010-2011 eisen voor rekenvaardigheid.
Naast deze inhoudelijke wijzigingen is ook het toezicht in ontwikkeling. In juli 2009 is er een nieuw convenant vastgesteld waarin de kwaliteitscode EVC in een meer uitgewerkte versie is opgenomen, evenals de registratiesystematiek van EVC-aanbieders. Het register werd beheerd door het Kenniscentrum EVC. Vanaf 1 januari 2010 gaat de overheid de regie nemen in de kwaliteitsversterking van EVC. Dit houdt in dat de overheid een beslissing neemt over de besluiten van registratie en de aansturing van de beoordelende organisaties. De projectdirectie Leren en Werken is het nieuwe aanspreekpunt en het Kenniscentrum EVC behoudt enkel haar rol in de ondersteuning van de ontwikkeling van EVC.
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
5
2. De EVC-procedure van QRM Op dit moment maken de onderdelen Rekenen (nog geen vereiste in de gehanteerde standaarden) en Leren, loopbaan en burgerschap (LL&B, uitsluitend gericht op het aantonen van groei, en niet op het behalen van een bepaald niveau!) geen onderdeel uit van de EVC-procedure van QRM. Voor LL&B heeft QRM een digitale vragenlijst die de kandidaat kan invullen (afhankelijk van het doel van het EVC-traject). Aangezien er geen oordeel kan volgen, hoeft de assessor hier niet naar te kijken. De taalvaardigheid van de kandidaat kan als het wenselijk is – afhankelijk van het doel van het EVC-traject – wel beoordeeld worden volgens het Europees raamwerk. Dit gebeurt dan deels digitaal, deels door een taalassessor – en is dus niet opgenomen in deze methodiek-handleiding voor assessoren. Verder kunnen de onderdelen van het beroepsgerichte deel (werkprocessen of deelkwalificaties) altijd worden beoordeeld in het EVC-traject. Hieronder zijn de stappen van onze EVC-procedure opgenomen. Meer informatie over onze EVCprocedure en de verschillende rollen die daarbij betrokken zijn, kunt u vinden op onze website www.qrm.nl onder de link EVC-procedure (http://www.evcportfolio.nl/evcportfolio/evc_code/evc_code01.cfm).
2.1 Stap 1: Voorlichting en intake (hier is de assessor nog niet bij betrokken) De kandidaat wordt door de trajectbegeleider geïnformeerd over de EVC-procedure van QRM, de verwachtingen richting de kandidaat en wat het traject de kandidaat oplevert. Tijdens de intake maken de trajectbegeleider en de kandidaat met name afspraken over: •
het doel van de kandidaat voor het EVC-traject,
•
de selectie van de standaard en te beoordelen onderdelen (talen, LLB, beroepscompetenties)
•
de tijd die iemand nodig heeft voor het vullen van het portfolio en of een quick scan nodig is.
Deze afspraken worden vastgelegd in een ondertekende opdrachtovereenkomst EVC kandidaat.
Stap 1a (optioneel): invullen quick scan (hier is de assessor nog niet bij betrokken) De quick scan is een vragenlijst over de beroepscompetenties van een standaard (een MBO-, HBO- of brancheopleiding). De kandidaat (en optioneel diens leidinggevende) beoordeelt zelf in hoeverre hij per onderdeel voldoende kennis, werkervaring en/of competenties denkt te bezitten. De quick scan kan tot doel hebben:
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
6
•
om vast te stellen of een EVC-traject zinvol is (voldoende relevante, aantoonbare, actuele ervaring?)
•
of om een keuze te maken tussen meerdere standaarden (na het invullen van meerdere quick scans).
2.2 Stap 2: Herkennen (hier is de assessor nog niet bij betrokken) Nadat de opdrachtovereenkomst door de EVC kandidaat is ondertekend, vult de EVC-kandidaat zijn digitale portfolio. Zijn digitaal portfolio bestaat uit de volgende onderdelen: •
NAW-gegevens,
•
opleidingsgegevens,
•
gegevens betreffende gevolgde cursussen,
•
werkervaring en
•
hobby’s.
Daarnaast uploadt of registreert hij bewijsstukken, waarmee hij kan aantonen over welke competenties hij beschikt en vult de kandidaat een zelfbeoordeling (EVC-vragenlijst) in, waarbij hij bij elk onderdeel (werkproces of deelkwalificatie) zijn oordeel kan onderbouwen en ruimte heeft te verwijzen naar bewijsstukken. De kandidaat krijgt vooraf een korte handleiding over het invullen van het portfolio en heeft telefonisch, per mail en/of fysiek een portfoliobegeleider (diverse vormen mogelijk) die ondersteunt, stimuleert en begeleidt bij het vullen van het portfolio. Bij de uitvoering van de stappen 1 en 2 bent u als assessor nog niet betrokken. Pas bij de volgende stap (stap 3), wordt uw rol in de EVC procedure duidelijk.
2.3 Stap 3: Waarderen (het EVC-assessment, hier is de assessor bij betrokken!) Het EVC-assessment van het beroepsgerichte deel bestaat in ieder geval uit een portfoliobeoordeling en een criterium gericht interview en kan, als deze twee instrumenten onvoldoende aantoonbaar bewijs opleveren, aangevuld worden met (indien mogelijk) een werkplekbezoek.
Het portfolio van de kandidaat wordt beoordeeld door een assessor, die contact opneemt met de kandidaat om een criterium gericht interview (en indien nodig en mogelijk een werkplekbezoek) te plannen. De assessor beoordeelt de competenties van de kandidaat aan de hand van de EVC-vragenlijst, waarin de
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
7
assessor de kandidaat beoordeelt op de onderdelen van de opleidingsstandaard en waarbij hij zijn oordeel onderbouwt. Leren Loopbaan en Burgerschap (LL&B) en de taligheid maken hier momenteel geen onderdeel van uit.
2.4 Stap 4: Rapporteren (hier is de assessor bij betrokken!) De competenties van de kandidaat worden (gerelateerd aan de gekozen standaard) opgenomen en onderbouwd in de EVC-rapportage. Deze rapportage is het Ervaringscertificaat van de kandidaat, welke wordt opgesteld door de assessor. De trajectbegeleider leest het rapport door (op taal en volledigheid) en stuurt het Ervaringscertificaat op naar de kandidaat. Standaard worden bij QRM de eerste twee rapporten van de assessor ‘tegengelezen’ door de onderwijskundige, die de assessor feedback geeft op de formulering en onderbouwing van de conclusies en aanbevelingen. Daarna wordt alleen steekproefsgewijs tegengelezen. Als LL&B en de taalvaardigheid beoordeeld worden, worden deze door QRM - met de behaalde resultaten - ook opgenomen in het Ervaringscertificaat. Klachten- en bezwaarprocedure De EVC-kandidaat kan, indien hij het niet eens is met het Ervaringscertificaat of ontevreden is over het EVC-traject, tot 10 werkdagen na ontvangst van het Ervaringscertificaat (11 werkdagen na het versturen van het Ervaringscertificaat) een klacht indienen. Indien de kandidaat zich niet kan vinden in de door QRM voorgestelde klachtafhandeling kan hij binnen 10 werkdagen na dagtekening van de terugkoppeling (reactie klachtafhandeling) een bezwaar indienen bij de bezwarencommissie EVC van QRM. De bezwarencommissie EVC doet uitspraak binnen een termijn van 10 werkdagen na dagtekening van de ontvangstbevestiging bezwaarschrift. De uitspraak van de bezwarencommissie is bindend. Deze procedure en de formulieren voor het indienen van een klacht, zijn te vinden op onze website onder de link contact (http://www.qrm.nl/qrm/over_contact.cfm).
2.5 Stap 5: Evaluatie en optimalisatie (hier is de assessor bij betrokken!) Als de klachten- en bezwaartijd is verstreken, zet de trajectbegeleider voor de betrokken partijen (kandidaat en eventuele opdrachtgever) een digitaal evaluatieformulier klaar in het systeem.
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
8
Voor assessoren, portfoliobegeleider en trajectbegeleider wordt eens per twee maanden een evaluatieformulier klaargezet, dit om deze partijen niet onnodig te belasten met evaluaties. De resultaten van alle evaluaties worden benut om het EVC-proces te optimaliseren. U kunt als assessor in de digitale omgeving de evaluatieresultaten van uw kandidaten zien. Deze informatie staat in het assessoren Portfolio onder de link ‘Rapportage evaluatie EVC-trajecten’. De evaluatie met opleidingsinstellingen waar verzilverd wordt, vindt veelal fysiek plaats in gesprekken met examencommissies.
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
9
3. Het assessment in de praktijk: de voorbereiding 3.1 Aanvraag vanuit QRM Als er een kandidaat voor u is, neemt QRM contact met u op. U ontvangt dan de volgende gegevens: •
De opdrachtovereenkomst van de kandidaat (inclusief contactgegevens)
•
Uw inloggegevens op het EVC Portfolio system (indien u hierover nog niet beschikt)
•
Het stappenplan assessor (voor het gebruik van het digitale systeem)
•
De methodiekhandleiding voor assessoren (dit document)
•
Freelance overeenkomst assessoren QRM
•
Declaratieformulier
•
Aanvraag verklaring arbeidsrelatie (VAR)
Bent u recentelijk als EVC-assessor ingezet door QRM, dan heeft u de meeste van bovenstaande documenten en gegevens al. U ontvangt dan alleen de opdrachtovereenkomst van de kandidaat. Nadat u hebt ingelogd op het digitale systeem van het EVC-Portfolio (http://www.evcportfolio.nl) staat het portfolio van de EVC-kandidaat in uw digitale omgeving voor u klaar: •
Het persoonlijk portfolio van de kandidaat, met diens werkervaring, cursussen ed.
•
De rapportage zelfassessment van de kandidaat (EVC-vragenlijst met onderbouwing/verwijzing naar bewijsstukken ingevuld door de kandidaat)
•
De Quick scan rapportage (optioneel)
•
Het door de EVC-kandidaat ge-uploade en geregistreerde bewijsmateriaal
Bovendien staat er voor u een in te vullen EVC-vragenlijst over deze kandidaat klaar.
3.2 Bekijken van het portfolio van de EVC-kandidaat Voordat u contact opneemt met de kandidaat om het assessment te plannen, bekijkt u eerst diens portfolio. Dit doet u zoals beschreven in de systeemhandleiding ‘Stappenplan bij het invullen van de EVCvragenlijst voor Assessoren’. In de hoofdstukken “Inloggen op het systeem” en “Gegevens EVC-kandidaat inzien” worden deze stappen beschreven.
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
10
Gegevens van EVC kandidaten inzien: diens portfolio, uploads en bewijsstukken Als u het portfolio van de kandidaat bekijkt, dan kijkt u naar het volgende: •
Heeft de kandidaat voldoende actuele & relevante werkervaring?
•
Heeft de kandidaat nu een - voor de opleidingsstandaard - relevante werkplek?
•
Hoeveel en welk soort bewijslast is er aangeleverd (digitaal)?
•
Is er bewijslast geregistreerd (op papier, mee te nemen tijdens het interview)?
•
Is er voor alle onderdelen (werkprocessen/deelkwalificaties) bewijslast aangeleverd of zijn er nog gaten/niet aantoonbare onderdelen?
•
Indien er voor bepaalde werkprocessen/deelkwalificaties geen bewijslast is aangeleverd, is dit werkproces dan nog te beoordelen door middel van een interview? Of dient er een werkplekbezoek plaats te vinden (als sprake is van handelingen)?
Ook neemt u de EVC-vragenlijst zelf door, zodat u een goed beeld heeft van de beoordelingscriteria en het vereiste niveau (mate van zelfstandigheid, verantwoordelijkheid). Tip: als u voor extra achtergrondinformatie gebruik maakt van het bijbehorende kwalificatiedossier (zie http://www.kwalificatiesmbo.nl ), let dan goed op het cohort (het jaartal) dat van toepassing is! Het cohort waarvoor de EVC-vragenlijst klaar staat in het portfolio is leidend. Het zou erg vervelend zijn als u de voorbereidingen of het interview uitvoert aan de hand van een ouder of nieuwer kwalificatiedossier met andere werkprocessen en/of beoordelingscriteria.
3.3 Assessment plannen Bepaal, ter voorbereiding op het feitelijke assessment, welke instrumenten u kunt en wilt inzetten om de ontbrekende informatie te verzamelen.
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
11
Als de kandidaat geen voor de opleidingsstandaard relevante werkplek heeft, of geen werkplekbezoek wenst, dan bestaat het assessment uit een portfoliobeoordeling en een criterium gericht interview (max 1,5 uur aan te houden als richtlijn voor het CGI).
3.3.1 Inzet Criterium gericht interview (CGI) In een criteriumgericht interview kunt u het volgende beoordelen: •
De mondelinge taalvaardigheid;
•
Het reflectieve vermogen;
•
De kennis van de kandidaat;
•
De authenticiteit van de bewijsstukken (hebben deze echt betrekking op de kandidaat).
Ook kun je in het interview aanvullende vragen stellen over de bewijsstukken die de kandidaat aandraagt. Let op: de vragen in het CGI mogen wel leiden tot meer duidelijkheid over de bewijsvoering, maar mogen niet de plaats van die bewijsvoering innemen! Beheersing van handelingen of praktische vaardigheden kun je dus niet ‘aantonen’ door middel van een criterium gericht interview. Vaardigheden zijn bij een criterium gericht interview immers niet te waar te nemen.
3.3.2 Inzet werkplekbezoek Tijdens een werkplekbezoek dient u feitelijk te observeren wat de kandidaat doet. Ook kunt u vragen stellen aan de kandidaat, over hoe en waarom hij iets uitvoert. Een werkplekbezoek zet u in als: •
De kandidaat onvoldoende zijn beheersing van onderdelen kan aantonen met bewijsstukken en het interview, en beheersing op de werkplek wel aantoonbaar is;
•
De assessor nog twijfelt of iemand het onderdeel beheerst en de vaardigheden en houding van de kandidaat wil waarnemen op de werkplek.
In een werkplekbezoek kunt u het volgende beoordelen: •
Hoe de kandidaat met protocollen, voorschriften, wet- en regelgeving omgaat;
•
De houding van de kandidaat;
•
De mate van zelfstandigheid en de verantwoordelijkheden van de kandidaat;
•
Sfeer, relatie met collega’s en hoe de kandidaat daar mee omgaat;
•
Hoe de kandidaat een werkproces uitvoert (handeling: afhankelijk van de aard van het te beoordelen werkproces);
•
De netheid/orde op de werkplek;
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
12
•
Documenten en materialen die worden gebruikt (aanvullend bewijs?).
De vaardigheden, houding en soms ook kennis is waarneembaar wanneer iemand een onderdeel uitvoert of wanneer hij kan laten zien hoe hij bepaalde protocollen hanteert. De assessor heeft redelijk veel ruimte om te bepalen hoe het werkplekbezoek wordt ingericht. Deze inrichting is afhankelijk van de reeds aangeleverde bewijslast door de kandidaat, de mogelijkheden op de werkplek en de gekozen opleidingsstandaard. Bedenk vooraf wat het doel is van de inzet van het instrument. Wat wilt u op tafel krijgen door middel van het CGI? Wat wilt u aantonen (kunnen onderbouwen) door middel van het werkplekbezoek? Dit helpt u ook om gericht de voorbereidingen te treffen, aantekeningen te maken en te rapporteren. Met name voor de onderbouwing van uw oordeel wilt u scherp hebben hoe uw oordeel tot stand is gekomen (wat heeft de kandidaat gezegd/laten zien waardoor u een voldoende scoort?).
3.3.3 Contact opnemen met de kandidaat Als u heeft bepaald of u een interview wel of niet aangevuld met een werkplekbezoek wilt realiseren, neemt u contact op met de kandidaat. Dit dient te gebeuren binnen een week nadat u van QRM de gegevens van de kandidaat heeft ontvangen. Met de kandidaat stemt u af: •
Op welke datum en welk tijdstip u langs komt voor het interview en eventueel het werkplekbezoek (voor een interview max 1,5 uur aanhouden, werkplekbezoek tussen de 30 minuten en 2 uur, afhankelijk van hetgeen beoordeeld dient te worden, de werkplek en mogelijkheden, een combinatie van deze instrumenten kost minder tijd dan de optelsom);
•
Op welke locatie het interview en eventueel het werkplekbezoek plaatsvindt;
•
Dat de kandidaat een rustige ruimte regelt en u - waar nodig - aanmeldt als bezoeker;
•
Op welke punten nog bewijslast ontbreekt en waarop u zich tijdens het werkplekbezoek en/of interview grofweg zult richten. De kandidaat kan zich dan hierop voorbereiden en eventueel nog enkele aanvullende documenten uploaden of meenemen naar het interview.
Als de afspraken gemaakt zijn, geeft u aan uw contactpersoon bij QRM door, wanneer en waar het assessment plaatsvindt.
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
13
4. Het assessment uitvoeren 4.1 Portfolio beoordelen U bekijkt de portfolio onderdelen van de kandidaat. Welke werkervaring, opleidingen en hobby’s heeft de kandidaat? Welke bewijslast (bewijsstukken, documenten) heeft de kandidaat in diens portfolio geupload of geregistreerd? Hoe ziet de zelfbeoordeling van de kandidaat eruit?
Bekijken van portfolio onderdelen van de kandidaat en diens geuploade bewijsstukken. Bewijsstukken accorderen en EVC-vragenlijst inkijken (of beantwoorden)
4.1.1 De zelfbeoordeling van de kandidaat De zelfbeoordeling van de kandidaat vindt u bij de portfolio onderdelen van de kandidaat. De kandidaat vult altijd een zelfbeoordeling (EVC-vragenlijst kandidaat) in. Hierin scoort hij zichzelf op de beoordelingscriteria en onderbouwt hij zijn oordeel per onderdeel. Wenselijk is dat de kandidaat hier een situatie beschrijft waarin hij dat werkproces heeft uitgevoerd en verwijst naar bewijsstukken uit zijn portfolio die dit ondersteunen. Dit geeft u een handvat bij de portfoliobeoordeling. Let op: zelfbeoordelingen en quickscans (mogelijk ingevuld door de leidinggevende) leveren geen hard bewijs! Deze documenten tonen alleen maar hoe de kandidaat over zichzelf oordeelt, dan wel hoe diens leidinggevende de kandidaat inschat. Dit is nooit objectief bewijs en altijd indirect.
Dit betekent dat er altijd een andere bewijsvorm (document, waarneming, antwoord) aangevoerd dient te worden ter onderbouwing van een oordeel en dat deze documenten (zelfbeoordeling en quickscan) enkel een handvat voor de assessor kunnen bieden. Verwijs in uw eigen onderbouwing dus nooit naar deze documenten. U kunt hooguit verwijzen naar een relevant voorbeeld dat de kandidaat daar heeft aangedragen.
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
14
4.1.2 Aftekenen dat u het bewijsstuk hebt gezien Bij ‘Bewijsstukken accorderen’ geeft u (per bewijsstuk) aan of u dit bewijsstuk hebt gezien (zie afbeelding hieronder).
Aangeven of het bewijsstuk door u gezien is en koppelen van (papieren of digitaal) bewijsstuk aan opleidingsstandaard Voor digitale (geuploade) bewijsstukken is dit natuurlijk redelijk vanzelfsprekend en vooral handig als check voor uzelf: heb ik het bewijsstuk gezien en beoordeeld? Dit aftekenen heeft echter extra waarde bij papieren bewijsstukken die de kandidaat per post heeft opgestuurd of die u enkel tijdens het werkplekbezoek of interview heeft gezien. Dit is dus een extra controle. U kunt zelf bepalen wanneer u deze stap uitvoert. Als er sprake is van papieren stukken die tijdens het interview worden meegenomen, kunt u ‘door de assessor gezien’ dus pas aanvinken na het interview. Alle bewijsstukken (dus ook de papieren) dient QRM 3 jaar te bewaren. Het is dus belangrijk dat QRM van alle bewijsstukken een versie in bezit heeft. •
Als de kandidaat een nieuw bewijsstuk laat zien of meeneemt bij het interview, dient u een kopie daarvan aan ons op te sturen.
•
De papieren bewijsstukken die wij u toesturen, dienen na afloop retour te worden gestuurd.
4.1.3 Koppelen van bewijsstukken aan de onderdelen van de opleidingsstandaard Op dezelfde plek in het digitale systeem, moet u aangeven voor welke werkprocessen of deelkwalificaties de bewijsstukken relevant zijn. Daarvoor moet u dus eerst zicht hebben op de verschillende onderdelen
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
15
van de opleidingsstandaard, door vooraf het kwalificatiedossier door te nemen (let op u het juiste cohort bij de hand hebt!), of door de EVC-vragenlijst door te nemen. Aan de hand van de onderdelen van de EVC-vragenlijst van de gekozen opleidingsstandaard, bepaalt u welke bewijsstukken voor welke werkprocessen (of deelkwalificaties) relevant zijn. Deze koppeling (“bewijsstuk 1 is relevant voor werkproces 1.2 en 1.3” etc.) wordt automatisch doorgevoerd in de EVCvragenlijst voor assessoren en, uiteindelijk, in het Ervaringscertificaat. Digitale verwerking van extra bewijslast Het kan zijn dat de kandidaat naar aanleiding van uw telefoontje of tijdens het werkplekbezoek of interview nog een aantal extra bewijsstukken aanlevert. Deze kan de kandidaat dan zelf uploaden of registreren in zijn digitaal portfolio. U kunt eventueel ook een papieren bewijsstuk registeren, via ‘voeg nieuw papieren bewijsstuk toe’ onder de link ‘bewijsstukken accorderen’. Deze dient dan nog als ‘gezien’ aangevinkt te worden.
4.2 Het criterium gericht interview 4.2.1 Voorbereiden van een criterium gericht interview U hebt het portfolio van de kandidaat beoordeeld. U hebt nu dus een overzicht van welke onderdelen (werkprocessen) de kandidaat nog niet heeft kunnen aantonen met bewijsstukken en over welke onderdelen u nog vragen en twijfels hebt. Een criterium gericht interview is een gestructureerde manier van vragen naar specifieke handelingen, inzicht en (toepassing van) kennis, dat tevoren als relevant is vastgesteld. In dit geval zijn dat de onderdelen van de gekozen opleidingsstandaard (kerntaken en werkprocessen), waarvan u wilt bepalen of de kandidaat deze beheerst. Criterium gericht interviewen is vragen naar gedrag dat een kandidaat in het verleden in specifieke situaties heeft getoond, om op die manier vast te stellen welk gedrag de kandidaat in soortgelijke situaties toont en beheerst, of hij inzicht heeft in de situatie en zijn eigen handelen en de benodigde achtergrondkennis beheerst. Als voor een bepaald werkproces geen bewijsstukken in het portfolio zitten, kan een werkproces vaak niet op basis van een criteriumgericht interview (CGI) alleen met een voldoende worden beoordeeld. Het beeld dat ontstaat in het interview is daarvoor niet betrouwbaar genoeg. U kunt in een CGI namelijk niet de uitvoering van vaardigheden (de beheersing) in de beroepscontext beoordelen. Zoals eerder vermeld is een criterium gericht interview alléén geschikt voor: •
Het beoordelen van mondelinge taalvaardigheid;
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
16
•
Het beoordelen van reflectief vermogen en inzicht;
•
Het beoordelen van de (toepassing van) kennis van de kandidaat;
•
Het stellen van aanvullende vragen over de bewijsstukken die de kandidaat aandraagt;
•
Het vaststellen van de authenticiteit van de bewijsstukken (hebben deze echt betrekking op de kandidaat).
De vragen in het CGI mogen wel leiden tot meer duidelijkheid over de bewijsvoering, maar niet de plaats van die bewijsvoering innemen! Het kunnen uitvoeren van handelingen kun je dus niet aantonen door middel van enkel een criterium gericht interview, een combinatie van het portfolio en het CGI is wel mogelijk. Vaak is dan een aanvullend werkplekbezoek wenselijk om de vaardigheden correct te kunnen beoordelen.
4.2.2 De STAR(RT)-methode De leidraad bij het interview is de EVC-vragenlijst van de beoogde opleidingsstandaard (het kwalificatiedossier), daarop wil je de kandidaat beoordelen. Het interview wordt met de STARRTmethodiek afgenomen. Uiteraard hanteert de assessor de algemene gespreksregels en -technieken en vermijdt hij de valkuilen van interviews. Hierover is, evenals over het criterium gericht interview, meer informatie te vinden in de bijlagen. Hieronder wordt aangegeven hoe u het CGI dient in te richten.
4.2.3 Hoe richt je het interview in?
•
Vooraf bepaalt u welke onderdelen (werkprocessen) moeten worden beoordeeld en op welk niveau*.
•
Per kerntaak en werkproces stel je steeds dezelfde soort vragen in dezelfde volgorde (STARRT). S = Situatie - waarin de kandidaat de beroepscompetenties heeft laten zien (de kerntaak); T = Taak – inbreng van de kandidaat in de beschreven situatie (het werkproces); A = Actie - die de kandidaat heeft ondernomen in de situatie (dit leg je naast de beoordelingscriteria uit de vragenlijst, de prestatie-indicatoren); R = Resultaat - het effect van de actie (beoordelingscriteria uit de vragenlijst); R = Reflectie - op het handelen in de situatie (relevant bij niveau 3 en 4, beoordelingscriteria). (T = Transfer - toepassing in andere situaties, als de kandidaat deze actie in meerdere contexten moet kunnen uitvoeren).
•
De assessor schetst de situatie en taak (kerntaak en werkproces) en vraagt of de kandidaat hier ervaring mee heeft. De kandidaat geeft vervolgens antwoord op de vragen, geeft een voorbeeld en vertelt met name over de uitgevoerde actie en het resultaat daarvan. Op deze punten dient de kandidaat beoordeeld te worden. U kunt de antwoorden van de kandidaat betreffende Actie en
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
17
Resultaat dus naast de beoordelingscriteria (vragen) in de EVC-vragenlijst leggen: beheerst de kandidaat dit werkproces? Als een kandidaat geen ervaring heeft met deze kerntaak en dit werkproces, vraagt u niet verder naar dit werkproces. U kunt de kandidaat dan ook niet beoordelen op beheersing van het werkproces en de bijbehorende prestatie-indicatoren, aangezien deze niets zeggen zonder context of taak.
•
Maak een planning voor het gesprek. De ervaring leert dat je zonder scherp te hebben wat je wilt beoordelen, te lang stil blijft staan of mee gaat in een minder relevant verhaal van de kandidaat. Een goede voorbereiding is erg belangrijk voor het resultaat van het interview en bepaalt grotendeels welke (relevante) informatie je uit het gesprek haalt.
•
Wees u bewust van het belang van opschrijven van feiten/letterlijke antwoorden, in plaats van oordelen tijdens het gesprek (deze informatie hebt u nodig om uw oordeel te onderbouwen in de rapportage).
* Het is belangrijk u te beseffen op welk niveau u de kandidaat beoordeelt (welk niveau is de gekozen opleidingsstandaard en wederom: het gaat om een beginnend beroepsbeoefenaar). Niveau 2: onder begeleiding uitvoeren werkzaamheden, uitvoeren wat wordt opgedragen. Kunnen reflecteren speelt hier geen grote rol. Niveau 3: zelfstandig uitvoeren werkzaamheden, moet kunnen reflecteren op eigen handelen. Meer inhoudelijk dan niveau 2. Niveau 4: hogere eisen op het gebied van leidinggeven/ondernemen of juist een inhoudelijk specialisme, grotere lijnen zien en kunnen verbeteren (reflecteren op situaties, eigen handelen en handelen van anderen). Het is belangrijk te beseffen dat de beoordelingscriteria (vragen uit de vragenlijst) bestaan uit een combinatie van houding, vaardigheden en kennis. Als een kandidaat voor niveau 4 bijvoorbeeld alleen procesmatig (ondersteunend) betrokken is bij een werkproces en voor inhoudelijke vragen en keuzes doorverwijst naar een collega, voert hij het werkproces waarschijnlijk niet op het gewenste niveau uit. Voor meer achtergrond informatie kun u het kwalificatiedossier raadplegen. In deel C van de dossiers is per werkproces het gewenste resultaat weergegeven.
4.2.4 Het begin van het interview Veel kandidaten hebben vooraf het gevoel te worden beoordeeld op hun functioneren, wat bedreigend kan
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
18
overkomen. Leg uit dat wordt bekeken in hoeverre de kandidaat op dit moment aan de vereisten van de opleidingsstandaard voldoet. Het helpt vaak om twee cirkels te tekenen die elkaar deels overlappen. De ene cirkel is de werkervaring van de kandidaat, de andere cirkel de opleidingsstandaard. Er zijn waarschijnlijk taken die de kandidaat heeft uitgevoerd, die niet terugkomen in de opleidingsstandaard. Er zijn misschien ook wel onderdelen van het opleidingsdossier die de kandidaat nog niet heeft uitgevoerd in de praktijk. In het EVC-traject wordt gekeken welke ervaringen van de kandidaat relevant zijn voor de opleidingsstandaard om aan te tonen wat de kandidaat al beheerst. Het kan zijn dat de kandidaat door zijn werkgever anders wordt beoordeeld dan volgens de beoordelingscriteria van de opleidingsstandaard. De laatste is echter landelijk vastgesteld en vergelijkbaar voor alle werkgevers. Vraag de kandidaat of duidelijk is wat er wel en niet in het EVC-traject zit of vraag wat het beeld van de kandidaat is over een EVC-traject. Duidelijk moet zijn dat een EVC-traject niet direct een diploma of vrijstelling, maar een EVC-rapportage (het Ervaringscertificaat) oplevert, waarin staat in hoeverre de kandidaat de onderdelen van de opleidingsstandaard beheerst. Met deze rapportage kan de kandidaat naar een onderwijsinstelling toe die zal beoordelen welke vrijstellingen van onderwijs de kandidaat kan krijgen en/of welke onderdelen nog moeten worden onderwezen of getoetst door de onderwijsinstelling. De kandidaat is vrij om een onderwijsinstelling te kiezen die deze opleidingsstandaard aanbiedt. Vertel de kandidaat hoe u het gesprek wil inrichten: wat wilt u in dit interview te weten komen van de kandidaat? Als assessor moet je in staat zijn om je aan te passen aan het abstractieniveau van de kandidaat. Als de kandidaat een laag abstractieniveau heeft, voert de assessor het gesprek uitsluitend op concreet niveau, zonder gebruik van begrippen. Dus niet: Ben je flexibel? Kan je daar voorbeelden van geven? Maar: Wat doe je als ..(schets een herkenbare werksituatie die om flexibiliteit vraagt). De assessor is empathisch en steunt de kandidaat zodat deze zich op zijn gemak voelt en optimaal tot zijn recht kan komen. Maak duidelijk dat het gesprek als doel heeft alle ervaring, kwaliteiten en vakmanschap van de kandidaat op tafel te krijgen. Benader de kandidaat en de gesprekonderwerpen positief. Spreek niet te veel over knelpunten of problemen, maar vraag ook naar successen en voorbeelden waar de kandidaat trots op is. Een empathische houding sluit overigens niet uit dat de assessor zich wat afstandelijk opstelt of vasthoudend is en (rustig) doorvraagt tot de informatie volledig is.
Voorbeelden van vragen die u kunt stellen volgens de STAR(RT)-methodiek zijn te vinden in de bijlagen.
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
19
4.2.5 Afronding van het interview Kijk aan het eind van het gesprek of alle punten uit uw voorbereiding aan bod zijn gekomen. Eventueel kan, als daar onderling afspraken over zijn gemaakt, de kandidaat nog een of enkele dagen aanvullend bewijsmateriaal aanleveren. Hij dient deze aanvullende bewijzen dan zelf te uploaden in het systeem. Als het bewijsstuk niet digitaal is, moet de kandidaat deze registreren en (een kopie) aan u meegeven. U rondt het gesprek als volgt af;
•
Geef korte bevindingen t.a.v. het proces (prettig gesprek, erg gemotiveerd etc).
•
Vraag de kandidaat ter afronding altijd hoe hij het gesprek heeft ervaren en of hij vindt dat hij zijn kwaliteiten en ervaringen goed aan bod heeft laten komen. Heeft hij nog aanvullingen?
•
Wees u ervan bewust dat de kandidaat verantwoordelijk is voor het eventueel naleveren (uploaden) van bewijsstukken, voordat u het rapport afrond (anders kunt u er niet naar verwijzen in uw onderbouwing en het niet als ‘gezien’ aanvinken). Maak duidelijke afspraken en geef aan dat als u de bewijsstukken dan niet hebt ontvangen (geupload ziet), u het bewijsstuk niet mee kunt nemen in uw oordeel.
•
U geeft aan dat u voldoende informatie hebt om een oordeel te vormen (u geeft deze nog niet!). U kunt eventueel aangeven wat “uw voorlopige indruk is”, maar geef duidelijk aan dat u “nog een slag om de arm” houdt, aangezien het rapport nog opgesteld en gecontroleerd wordt op aantoonbaarheid (of de onderbouwing/aantoonbaarheid sterk genoeg is met het verzamelde bewijs).
•
Over ongeveer 2 weken wordt het Ervaringscertificaat opgestuurd.
Feedback is positief en altijd constructief en gericht op toekomstig leren (zie tips in de bijlagen).
Houd tijdens het interview op de vragenlijst de bevindingen bij en noteer in steekwoorden de onderbouwing. Werk zo snel mogelijk na het interview de onderbouwing uit, nu het nog vers in het geheugen zit.
4.3 Het werkplekbezoek Bij een werkplekbezoek gaat u op bezoek op de werkplek van de kandidaat. Vaak vindt het werkplekbezoek voorafgaand aan het interview plaats. Door dit werkplekbezoek te starten met een rondleiding door de kandidaat, is de grootste spanning bij de kandidaat weg en krijgt de assessor een beeld van de context en werksituatie van de kandidaat. De assessor bepaalt vooraf wat hij wilt beoordelen tijdens het werkplekbezoek en geeft dit bij het begin van het bezoek aan bij de kandidaat.
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
20
De inrichting van een werkplekbezoek kan variëren. Wat u wilt zien en hoe u dat kunt zien hangt af van: •
Welke beheersing al door middel van eerdere instrumenten is aangetoond (en welke nog niet);
•
Het gegeven of iemand een werkplek heeft die aansluit bij de opleidingsstandaard;
•
Wat u wilt beoordelen (de werkprocessen van de opleidingsstandaard);
•
Het feit of iemand in het bijzijn van de assessor een vaardigheid of houdingsaspect kan laten zien op de werkplek (privacy, geheimhouding, veiligheid).
Tijdens een werkplekbezoek dient u feitelijk (zonder direct waardeoordeel) te observeren wat iemand doet. Welke informatie haalt u uit een werkplekbezoek? Informatie over: •
Hoe de kandidaat met protocollen, voorschriften, wet- en regelgeving omgaat;
•
De houding van de kandidaat;
•
De mate van zelfstandigheid en de verantwoordelijkheden van de kandidaat;
•
Sfeer, relatie met collega’s en hoe de kandidaat daar mee omgaat;
•
Hoe de kandidaat een werkproces uitvoert (handeling: afhankelijk van de aard van het te beoordelen werkproces);
•
De netheid/orde op de werkplek;
•
Documenten en materialen die worden gebruikt (aanvullend bewijs?).
Vraag naar het hoe en waarom en leg dilemma’s voor. “Wat doe je als …” (schets een praktisch probleem). “Wat doe je als je niet weet of…” of “Wat doe je als je twijfelt of…”. Deze informatie biedt u een goed referentiekader voor het criteriumgericht interview en de kandidaat kan voorbeelden laten zien (direct bewijst). Verder kunt u ter plekke onderdelen van het portfolio verifiëren, inconsistenties oplossen of vragen naar aanvullende bewijsstukken.
4.3.1 De WAKKER-methode Een methode die vaak wordt gebruikt voor het direct waarnemen in de praktijk is de WAKKER-methode. •
Waarnemen (observeren zonder te interpreteren)
•
Aantekeningen maken (feitelijk, tijdig en concreet)
•
Klassificeren (koppelen aan beoordelingscriteria/ werkprocessen)
•
Kwalificeren (waardeoordeel vellen)
•
Evalueren (eventueel overleggen met medebeoordelaar/de onderwijskundige/zelf nog eens alles op een rij zetten)
•
Rapporteren (invullen beoordelingsformulier/EVC-vragenlijst)
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
21
Wees u bewust van de risico’s en valkuilen (zie bijlage, inclusief tips). Uw referentiekader bepaalt welke associaties in u opkomen en wat u waarneemt (laat uw referentiekader en een eventueel ontstaan beeld van de kandidaat los en kijk feitelijk wat iemand zegt en doet). Het feitelijk waarnemen en hiervan aantekeningen maken is erg belangrijk voor uw onderbouwing in de rapportage. Benoem concreet wat u hebt waargenomen in welke situatie, zodat u in de rapportage kunt aangeven waarom dit bij u tot het oordeel (on)voldoende heeft geleid.
4.4 Nabespreking ter afronding van het assessment Zie ook de informatie bij afronding interview (2 bladzijden terug). In de afronding van het assessment geeft u nog niet alle oordelen terug. Vaak hebt u dan namelijk nog geen totaaloverzicht van of u uw oordeel kunt onderbouwen. Benadruk nogmaals dat de kandidaat verantwoordelijk is voor het eventueel naleveren (uploaden) van bewijsstukken, voordat u het rapport afrond (anders kunt u er niet naar verwijzen in uw onderbouwing en het niet als ‘gezien’ aanvinken). De kandidaat kan, na ontvangst van het Ervaringscertificaat, vragen om een nabespreking. Meestal is de feedback aan het einde van het interview en het werkplekbezoek voldoende voor de kandidaat, in combinatie met de onderbouwing in de EVC-rapportage. Mocht de kandidaat nog vragen hebben of een toelichting wensen, dan kan er een (telefonische) afspraak worden gemaakt tussen de assessor en de kandidaat. De assessor kan dan de resultaten van het EVC-assessment toelichten.
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
22
5. De rapportage De EVC-rapportage (het Ervaringscertificaat) is de opbrengst van het EVC-traject.
Het Ervaringscertificaat is eigenlijk een misleidende term die landelijk is gekozen. Kandidaten hebben soms het beeld dat het een echt certificaat is dat je aan de muur kunt hangen. Het Ervaringscertificaat is echter een rapportage die bestaat uit de volgende onderdelen: •
het persoonlijke portfolio van de kandidaat (opsomming werkervaring, opleidingen etc)
•
de digitaal ingevulde rapportage (EVC-vragenlijst) van de assessor,
•
een overzicht (samenvatting) van de resultaten,
•
en een overzicht aangeleverde bewijsstukken van de kandidaat (incl vink voor ‘gezien’).
Met het uitreiken van het Ervaringscertificaat is het EVC-traject afgerond en de kandidaat kan met het Ervaringscertificaat naar een onderwijsinstelling, werkgever of andere partijen. Het Ervaringscertificaat is het eigendom van de kandidaat en mag niet verspreid worden zonder toestemming van de kandidaat. Deze verspreiding en toestemming hiervoor gaat altijd via QRM. Het is erg belangrijk dat het Ervaringscertificaat transparant is. De werkwijze moet betrouwbaar, valide en transparant zijn, met andere woorden: het moet duidelijk zijn hoe de assessor tot zijn oordeel is gekomen. Een andere assessor zou in dezelfde situatie tot dezelfde beoordeling moeten zijn gekomen. De assessor oordeelt over de beheersing van de werkprocessen (dmv de vragen in de EVC-vragenlijst) door een kandidaat en niet over de persoonskenmerken. Dus niet: ‘De kandidaat is zorgvuldig’ of ‘De kandidaat heeft affiniteit met kinderen’, maar: ‘Tijdens het werkplekbezoek toont de kandidaat zorgvuldigheid bij het controleren van de goederen door ..’. In de bijlagen is de checklist rapportage opgenomen, die wordt gebruikt door QRM bij het tegenlezen van de rapportages (zie ook 5.4).
5.1 De onderdelen van de rapportage voor de assessor De EVC-vragenlijst wordt, na het criterium gericht interview (en eventueel het werkplekbezoek), digitaal door de assessor ingevuld. Stap 1 is (zoals besproken in hoofdstuk 4) het bekijken van de bewijsstukken van de kandidaat uit het portfolio. Hierbij dienen de bewijsstukken gekoppeld te worden aan de onderdelen van de opleidingsstandaard (het werkproces) waarvoor zij relevant zijn.
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
23
In de EVC-vragenlijst werkt u vervolgens uw bevindingen uit de portfoliobeoordeling, het criterium gericht interview en eventueel het werkplekbezoek uit.
Opstarten van de EVC-vragenlijst voor assessoren
In deze EVC-vragenlijst zijn de door u gekoppelde bewijsstukken al onder de betreffende werkprocessen aangegeven (zie paragraaf 4.1, Koppelen van bewijsstukken aan de onderdelen van de opleidingsstandaard) . De onderdelen van de vragenlijst die toelichting behoeven, worden hieronder kort behandeld. Geef bij ‘Kandidaat gegevens’ aan: •
Wat het doel is van deze kandidaat voor dit EVC-traject (uit opdrachtovereenkomst te halen).
•
Geef eventueel aanvullende stappen aan die onderdeel hebben uigemaakt van deze EVCprocedure.
•
Vink de instrumenten aan die u tijdens dit EVC-assessment hebt gebruikt (en de datum waarop u die hebt ingezet).
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
24
De EVC-vragenlijst voor assessoren
Beoordeel vervolgens iedere eindterm of prestatie-indicator (vraag in de vragenlijst): •
Bij 1): Scoor elke eindterm of prestatie-indicator op waardering Voldoende (V) of Onvoldoende (O) naar aanleiding van de bewijslast. Niet van toepassing (nvt) kan alleen gelden als het EVC-traject niet op die beoordelingscriteria ingaat. Met andere woorden, als bepaalde beoordelingscriteria alleen voor een andere uitstroomdifferentiaties gelden of als het EVC-traject is afgebakend tot enkel het meten van een deel van de werkprocessen. (Situaties waarin u gedwongen bent nvt te scoren komen echter zelden voor!)
•
Geef per werkproces of deelkwalificatie aan op basis waarvan u tot dit oordeel komt: A: Portfoliobeoordeling; B: Criteriumgericht interview; C: Werkplekbezoek; D: Proeve van bekwaamheid (de laatste wordt zelden ingezet).
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
25
•
Bij 2): Klik op de calculator indien u de actuele cesuurwaarde van uw scores in dit werkproces wilt berekenen (met deze scores op de vragen, is het werkproces dan voldoende?).
•
Bij 3): Geef vervolgens de bewijzen van beheersing (zowel de bewijsstukken als hetgeen waargenomen in het werkplekbezoek en interview zijn bewijzen) een beoordeling op de VRAAKcriteria. De genoemde bewijsstukken kunnen, indien het door de kandidaat ge-uploade bestanden zijn, aangeklikt en geopend worden.
•
Bij 4): Geef uw Conclusie, uw Onderbouwing en uw Advies met betrekking tot dit werkproces.
•
Geef tenslotte over het gehele rapport een conclusie (gerelateerd aan het doel van het EVCtraject) en een aanbeveling (“hoe nu verder voor en met deze kandidaat?”).
5.1.1 Toelichting bij: Het loopbaandoel van de kandidaat voor dit EVC-traject Let op: het doel heeft betrekking op het EVC-traject, QRM kan geen diploma uitreiken of vrijstellingen geven, deze verantwoordelijkheid ligt bij een onderwijsinstelling. Het EVC-traject stopt na het uitreiken van het Ervaringscertificaat.
Enkele voorbeeldteksten die u kunt invullen in de rapportage bij het loopbaandoel: •
“De kandidaat wil met dit EVC-traject aantonen de onderdelen van de opleidingsstandaard Pedagogisch medewerker kinderopvang te beheersen. Door middel van het Evaringscertificaat wil de kandidaat het diploma behalen door het Ervaringscertificaat te verzilveren bij een onderwijsinstelling.”
•
“De kandidaat wil door middel van dit Ervaringscertificaat in beeld krijgen in hoeverre hij de opleidingsstandaard X beheerst, om vervolgens vrijstellingen te krijgen voor het opleidingstraject’.
•
“De kandidaat wil beheersing van de opleidingsstandaard X aantonen om zo aan de benodigde deskundigheidseisen te voldoen voor zijn functie Pedagogisch medewerker.”
5.1.2 Toelichting bij: scoren bewijs op vraak-criteria Aan de hand van de VRAAK-criteria toetst u hoe stevig de totstandkoming van het oordeel is. Voor het totaal van relevante bewijzen voor dit werkproces (het waargenomen gedrag, de bewijsstukken, de antwoorden in het interview) beoordeelt u of deze voldoen aan de criteria van Variatie, Relevantie, Authenticiteit, Actualiteit en Kwantiteit. Vaak toont één bewijsstuk nog geen authenticiteit of kwantiteit aan, maar de combinatie van meerdere bewijzen bij een werkproces wel.
U hebt eerder al (paragraaf 4.1, Koppelen van bewijsstukken aan de onderdelen van de opleidingsstandaard) per bewijsstuk aangegeven voor welke werkprocessen dit (gedeeltelijke) beheersing
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
26
kan aantonen. In de EVC-vragenlijst verschijnen de bewijsstukken die u daar gekoppeld hebt aan de verschillende werkprocessen dan ook onder de betreffende werkprocessen in de EVC-vragenlijst. Onder het kopje “Onderbouwende bewijsstukken voor Werkproces“ beoordeelt u het totaal aan bewijzen voor dit werkproces op de VRAAK-criteria. Eigenlijk past u dus de criteria toe op uw vaststelling van de ervaring en beheersing van de kandidaat. Op deze manier wordt duidelijk welk bewijs werkelijk onderbouwend is voor de beheersing van dit werkproces. Waar staat VRAAK voor?
Criterium
Beschrijving
Grens
Variatie
De kandidaat toont aan in meerdere situaties
Ervaring opgedaan in meerdere
ervaring te hebben opgedaan, of in één of twee
omgevingen of in een gevarieerde
specifieke maar gevarieerde situaties
context (niet slechts 1 x uitgevoerd
(beheersing is dusdanig dat het werkproces
in een specifieke context). De
uitgevoerd kan worden in een andere context).
kandidaat moet dit werkproces ook
Het moet niet zo zijn dat een kandidaat een
in een andere omgeving dan zijn
werkproces 1 keer in 1 specifieke context heeft
eigen werkomgeving kunnen
uitgevoerd en het niet zou kunnen in een andere
uitvoeren. Dit blijkt uit meerdere
baan.
bewijzen (bijv gezien en gelezen).
De bewijzen hebben betrekking op de kerntaken
De bewijzen die de kandidaat in
en werkprocessen (of deelkwalificaties) van de
portfolio, werkplekbezoek en/of
gekozen opleidingsstandaard & tonen aan dat
portfolio heeft getoond, zijn relevant
de kandidaat deze beheerst en/of uitvoert. Let
voor het aantonen van beheersing
op: het takenpakket/de werkervaring van een
van dit onderdeel (werkproces of
kandidaat komt vaak niet 100% overeen met de
deel van het werkproces).
Relevantie
onderdelen van een opleidingsstandaard. Authenticiteit
De bewijzen hebben zonder twijfel betrekking op
Het totaal aan bewijzen heeft
de kandidaat zelf. Er zijn officiële documenten
aantoonbaar betrekking op de
en/of documenten met de naam van de
kandidaat. Dit kan ook blijken uit een
kandidaat erop aangeleverd. Van een
combinatie van de diverse
functiebeschrijving kun je bijvoorbeeld geen
instrumenten (bewijsstukken
authenticiteit vaststellen, maar dit biedt wel
gecombineerd met een interview).
handvatten om door te vragen in het interview of werkplekbezoek. De authenticiteit van documenten kunt u soms pas vaststellen in het interview door de kandidaat erover te bevragen.
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
27
Actualiteit
Kwantiteit
Er staan data op bewijsstukken of de periode
De getoonde bewijzen zijn actueel.
van totstandkoming is te achterhalen, zodat de
Het is duidelijk dat de bewijzen
assessor kan bepalen of de ervaring actueel is.
betrekking hebben op ervaring en
Het gaat erom dat is te bepalen in hoeverre de
beheersing die de kandidaat op het
bewijzen in de huidige context als beginnend
moment van beoordeling heeft (het
beroepsbeoefenaar nog relevant zijn. Een ehbo-
betreft geen verouderde kennis of
diploma van 5 jaar geleden zonder bewijs van
vaardigheden).
bijscholing is niet actueel. De norm verschilt dus
Beoordeel of het bewijsstuk niet
per soort bewijs: een certificaat Word perfect is
‘verouderd’ is in deze
niet meer actueel (wordt nergens meer gebruikt),
beroepscontext. Bij de meeste
terwijl een relevant diploma zorg na 10 jaar nog
bewijsstukken gaan we uit van de
actueel kan zijn als de kandidaat sindsdien
laatste 5 jaar (betreft het uitvoeren
werkzaam is op dit gebied.
van de taak).
Het aantal jaren ervaring en de intensiviteit van
Minimaal een half jaar fulltime of een
de ervaring van de kandidaat is toereikend om te
jaar parttime ervaring met dat
kunnen zeggen dat de competenties verworven
onderdeel (werkproces).
zijn en het geen toevalstreffer of eenmalige actie betreft.
Vink in de EVC-vragenlijst aan welk van deze criteria volgens u op het totaal aan bewijzen (voor dit werkproces) voldoet.
5.1.3 Toelichting bij: Conclusie per werkproces/deelkwalificatie Dit is een korte zin waarin u aangeeft of de kandidaat dit onderdeel aantoonbaar beheerst of niet. Voorbeelden: •
“De kandidaat beheerst dit onderdeel aantoonbaar.”
•
“De kandidaat kan beheersing van dit onderdeel niet aantonen.”
Hoe komt u tot dit oordeel? Iedere vraag uit de vragenlijst (ieder beoordelingscriterium) dient met onvoldoende of voldoende te worden beoordeeld (zie afbeelding aantal bladzijden geleden). Om een oordeel te vellen per werkproces, wordt een cesuur gehanteerd die in het rapportageformat is vermeld. Bijvoorbeeld: het werkproces is voldoende wanneer meer dan 70% van de beoordelingscriteria voldoende zijn.
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
28
Onderaan ieder werkproces staat in de EVC-vragenlijst een calculator (klein icoontje). Als u hierop klikt, berekent het systeem automatisch het percentage van de scores dat voldoende en/of onvoldoende is. Je kiest op basis hiervan een van de twee standaardzinnen zoals hierboven opgenomen.
5.1.4 Toelichting bij: Onderbouwing per werkproces/deelkwalificatie: waar blijkt dat uit? Aangezien het belangrijkste maar ook moeilijkste deel van het rapporteren de onderbouwing betreft, hieronder de richtlijnen waaraan de EVC-rapportage moet voldoen (deze richtlijnen vormen een onderdeel van het toezichtkader EVC (de EVC code)): •
In de EVC-rapportage is beschreven op basis van welke bewijzen erkenning plaatsvindt. Waarmee of hoe toont de kandidaat per onderdeel van de landelijke standaard (werkproces/ deelkwalificatie) aan dat hij competent is? Dit bewijs kan dus ook een waarneming tijdens het werkplekbezoek zijn.
•
In de EVC-rapportage is de relatie tussen a, b en c duidelijk beschreven: waarom leidt het bewijs (a) dat de kandidaat aandraagt bij de assessor per werkproces/deelkwalificatie (b) tot de overtuiging dat er reden is voor erkenning (c)? De onderbouwing moet relevant zijn voor te beoordelen werkproces/beoordelingscriteria.
-
Valkuil 1: de onderbouwing is niet direct gerelateerd aan (de beoordelingscriteria van) het werkproces.
-
Valkuil 2: alleen houdingsaspect (affiniteit) en niet naar vaardigheid en kennis gekeken.
-
Valkuil 3: beschrijven wat jouw beeld is van wat de kandidaat doet, niet waaruit blijkt dat de kandidaat het werkproces beheerst.
-
Valkuil 4: de conclusie is geen logisch gevolg van jouw onderbouwing.
-
Valkuil 5: de onderbouwing is niet stevig genoeg, alleen aan de hand van CGI onderbouwt. als er onvoldoende direct bewijs is, kan beheersing niet worden aangetoond en is het oordeel dus onvoldoende.
Bij de onderbouwing beschrijft u waaruit de gescoorde beheersing blijkt (in feite: “hoe u dat hebt vastgesteld”). Als het oordeel onvoldoende is, dient u ook deze onvoldoende kort te onderbouwen (dus niet op te sommen wat de kandidaat wel beheerst, maar wat de kandidaat juist onvoldoende beheerst, niet kan aantonen of waar het gebrek ligt). Voor de kandidaat en een eventuele examencommissie die het Ervaringscertificaat ontvangen, dient duidelijk te zijn op basis waarvan de assessor tot dit oordeel is gekomen. Het is van belang duidelijk aan te geven wat de landelijke opleidingsstandaard vraagt en waarom de kandidaat dat beheerst.
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
29
U onderbouwt waarom, op grond waarvan (dus ook door inzet van welke beoordelingsinstrumenten) u oordeelt dat de kandidaat iets beheerst. U geeft aan wat is gebleken uit het portfolio door concreet aan te geven uit welk bewijs wat bleek. Vervolgens geeft u aan wat u tijdens het werkplekbezoek en/of criterium gericht interview heeft waargenomen als relevant bewijs. U dient steeds zo concreet en feitelijk mogelijk te formuleren: benoem het bewijsstuk, de periode waarop het betrekking heeft etc. Uit de tekst blijkt dus indirect ook de toepassing van de VRAAK-criteria. Voorbeelden van formuleringen: •
“In het portfolio heeft de kandidaat een plan van aanpak en een functioneringsverslag aangeleverd (zie bewijsstukken 1 en 6). Hieruit blijkt dat de kandidaat vanaf 2005 (naar tevredenheid van de werkgever) werkzaam is in de functie …, waarbij zij verantwoordelijk is voor het opstellen van een plan van aanpak voor de kinderen. In het interview heeft de kandidaat toegelicht hoe zij dit plan van aanpak heeft opgesteld en welke informatie ze hierbij heeft meegenomen. Uit de antwoorden die de kandidaat gaf in combinatie met de aangeleverde bewijsstukken, blijkt dat de kandidaat … Hiermee toont de kandidaat aan dat…”.
•
“Tijdens het criterium gericht interview heb ik met de kandidaat gesproken over hoe zij tijdens het werkplekbezoek ingreep toen… De kandidaat gebruikt hierbij diverse vaktermen en kan vanuit de theorie en haar ervaring duidelijk toelichten waarom zij ..”
•
“Omdat het portfolio te weinig relevant bewijs leverde om beheersing van dit onderdeel aan te tonen, is gekozen voor een werkplekbezoek. Tijdens het werkplekbezoek heeft de kandidaat zelfstandig een activiteit georganiseerd en uitgevoerd voor een groep van 10 kinderen. Hierbij liet de kandidaat zien dat hij… beheerst doordat hij..”.
•
“In het interview heeft de kandidaat haar mening over…helder uiteen gezet. Zij heeft door middel van enkele relevante voorbeelden aangegeven hoe zij deze visie meeneemt in haar omgang met de kinderen en haar collega’s. Uit de antwoorden die zij geeft en situaties die zij aandraagt, blijkt kennis en toepassing van het pedagogisch beleidsplan van de BSO (zie ook bewijsstuk 10: het pedagogisch beleidsplan BSO Y).”
•
“Uit de besproken cases blijkt dat de kandidaat veel ervaring heeft met… dit wordt ondersteund door de aangeleverde verslagen van… en het verslag beoordelingsgesprek (bewijsstuk 3 tot en met 7).’
•
“De kandidaat heeft op verzoek van zijn leidinggevende, zelfstandig een beoordelingssysteem opgezet. Dit systeem heeft als voorbeeld gediend voor andere afdelingen (zie bewijsstukken…).”
Een voorbeeld onderbouwing: Uit de bewijzen die mevrouw Kaspers aandroeg over de periode 2003-2005 waarin zij bij Jansen BV leiding gaf aan een afdeling van 40 assembleerders, blijkt dat zij beschikt over goede leidinggevende
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
30
capaciteiten. Zo is de Gouden Pluim voor Leiders in de Lopende Bandwerk die zij op 11 augustus 2004 ontving een begrip in de industrie. De drie functioneringsverslagen uit diezelfde periode (van 10-3-2003, 20-4-2004 en 15-3-2005) bevestigen het beeld van een solide leidinggevende, alsook de Brief van Bevordering (van 3-9-2004) van de afdeling Personeelszaken...
5.1.5 Toelichting bij: Advies per werkproces/deelkwalificatie Dit advies is afhankelijk van de mate van beheersing zoals je hebt aangegeven bij de conclusie. Ga niet op de stoel van de examencommissie zitten door het doen van stellige uitspraken over een opleidingstraject. Voorbeelden van formuleringen indien het onderdeel geheel wordt beheerst: •
‘Dit onderdeel behoeft geen verdere scholing of training.’
•
‘Dit onderdeel behoeft geen verdere ontwikkeling.’
Voorbeelden van formuleringen indien het onderdeel niet wordt beheerst: •
‘Dit onderdeel behoeft verdere ontwikkeling.’
•
‘Wat betreft ..(noem de onderdelen/vragen die onvoldoende scoren).. dient de kandidaat zich nog verder te ontwikkelen.’
5.1.6 Toelichting bij: Conclusie met betrekking tot het loopbaandoel van de kandidaat Dit onderdeel staan onderaan de EVC-vragenlijst. Geef hier het algemene resultaat van het EVC-traject, gerelateerd aan het doel van de kandidaat voor dit EVC-traject. Voorbeelden van formuleringen: •
“De kandidaat heeft in dit EVC-traject aangetoond de competenties te bezitten die nodig zijn voor het uitvoeren van het beroepsgerichte deel van de opleidingsstandaard Pedagogisch medewerker kinderopvang. Hiermee heeft de kandidaat zijn doel van dit EVC-traject behaald. Alle werkprocessen worden aantoonbaar beheerst, waardoor diplomering zonder het volgen van een opleidingstraject voor deze werkprocessen voor de kandidaat haalbaar is. De taalvaardigheid en het onderdeel Leren, loopbaan en burgerschap zijn niet beoordeeld in dit EVC-traject. Hierover dient een examencommissie van een onderwijsinstelling nog een oordeel te geven.”
•
“De kandidaat heeft in dit EVC-traject aangetoond alle deelkwalificaties Helpende Welzijn in voldoende mate te beheersen. Hiermee voldoet de kandidaat aan de deskundigheidseisen die gesteld worden voor een certificaat Goed gastouderschap.”
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
31
•
“De kandidaat heeft in dit EVC-traject aangetoond 7 van de 10 werkprocessen van het beroepsgerichte deel van de opleidingsstandaard Juridisch Medewerker openbaar bestuur te beheersen. De kandidaat heeft nog onvoldoende ervaring met het verrichten van frontoffice werkzaamheden (kerntaak 1) en kan beheersing van de bijbehorende 3 werkprocessen daarom niet aantonen. Hiermee voldoet de kandidaat (nog) niet aan de deskundigheidseisen die aan hem gesteld worden voor het uitoefenen van zijn functie.”
5.1.7 Toelichting bij: Aanbeveling met betrekking tot het loopbaandoel van de kandidaat Hier is ruimte voor een persoonlijke aantekening over bijvoorbeeld een prettig verlopen interview of de enthousiaste en ondernemende houding van de kandidaat. Het kan een opsteker zijn voor de kandidaat, een bevestiging van het feit dat hij gezien is en op waarde is geschat. Het kan ook een stimulerend advies zijn, bijvoorbeeld om zich verder te ontwikkelen door scholing, training of coaching op de werkplek. Voorbeelden van formuleringen: •
“De kandidaat/ mevrouw X/ volledige naam heeft in dit EVC-traject aangetoond de 2 van de 7 deelkwalificaties Helpende Welzijn te beheersen. Mevrouw heeft een enthousiaste werkhouding en doorzettingsvermogen. Aangeraden wordt de overige 5 deelkwalificaties ook te ontwikkelen middels bijvoorbeeld een scholingstraject. Wij wensen haar veel succes in haar verdere loopbaan.”
•
“Ik adviseer mevrouw X haar Ervaringscertificaat ter verzilvering aan te bieden aan een examencommissie van een onderwijsinstelling. Zij kunnen een uitspraak doen over het vervolgtraject om te komen tot diplomering.”
5.2 De afronding Wanneer u het rapport van de kandidaat gereed hebt, geeft u een seintje aan QRM. Dat kan per telefoon, maar ook per e-mail. Als het rapport nog tegengelezen moet worden, dan dient u de vragenlijst niet als definitief aan te vinken onderaan de vragenlijst (dan dient hij weer opnieuw open gezet te worden). De eerste twee rapportages van nieuwe assessoren worden altijd aan de hand van de checklist tegenlezen rapporten (zie bijlage) ‘tegengelezen’ door de onderwijskundige van QRM. U ontvangt feedback op de rapportage, met als doel het bevorderen van de deskundigheid van de assessoren en het
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
32
borgen van de kwaliteit van de Ervaringscertificaten door QRM. De suggesties en feedback wordt door u verwerkt. Vervolgens wordt het rapport nog een keer nagelezen voordat het uiteindelijk naar de kandidaat wordt opgestuurd. Als de onderwijskundige na het tegenlezen van het tweede rapport voldoende vertrouwen in u heeft (dit wordt bepaald door de mate waarin u voldoet aan de checklist rapportages), wordt daarna alleen nog steekproefsgewijs rapporten tegengelezen. Dit geldt voor alle assessoren. Indien een Ervaringscertificaat naar de kandidaat is verstuurd, heeft deze nog 10 werkdagen de tijd om een klacht in te dienen. De klachten- en bezwaarprocedure van QRM is te vinden op onze website (www.qrm.nl) onder de link ‘contact’.
Een keer in de twee maanden zal - als u bent ingezet als EVC-asssessor – via het EVC-Portfolio systeem een digitale vragenlijst voor u worden klaargezet om het proces te evalueren. Deze input gebruikt QRM om haar proces en geleverde kwaliteit te optimaliseren. Maar feedback is natuurlijk altijd welkom, ook buiten deze evaluatie-vragenlijsten om! Nadat de klachtentermijn (10 werkdagen) is verstreken, is het EVC-traject afgerond en wordt ook voor de kandidaat een digitale evaluatie-vragenlijst klaargezet. Als de kandidaat invult wie zijn of haar assessor was, kunt u de evaluatieresultaten van uw kandidaten (anoniem) terugvinden in uw omgeving van het digitale portfoliosysteem (zie systeemhandleiding).
5.3 Tot slot
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
33
In deze Methodiek handleiding voor Assessoren hebben we een overzicht willen geven van wat EVC is, hoe de EVC-procedure van QRM in elkaar steekt en waar u op moet letten tijdens het beoordelen van het portfolio, werkplekbezoeken, criterium gerichte interviews en bij het invullen van de EVC-vragenlijst. Indien u met het digitale EVC Portfolio systeem van QRM werkt, zijn er ook twee speciale systeemhandleidingen beschikbaar, die specifiek ingaan op hoe u met het EVC-Portfolio systeem kunt werken: •
Het ‘Stappenplan bij het invullen van de EVC-vragenlijst voor Assessoren’ (handig, voor wanneer u bezig gaat met beoordelen);
•
en de meer uitgebreide ‘Systeemhandleiding voor EVC-Assessoren’. Met name in deze laatste vindt u aanvullende hints en tips om met het systeem te werken.
Beide systeemhandleidingen vindt u onder de optie ‘Help’ in uw Assessoren portfolio.
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
34
Bijlagen
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
35
Bijlage 1: Valkuilen en tips werkplekbezoek In de eerste kolom staan veel voorkomende valkuilen die je misschien herkent uit eerdere ervaringen met beoordelen. In de tweede kolom staan per valkuil praktische oplossingen/tips.
Valkuilen
Oplossingen/ tips
Voor het beoordelen 1.
Onvoorbereid of matig voorbereid gaan
Zorg dat je de inhoud van het opleidingsdossier goed
beoordelen.
kent, zodat je weet wat je gaat beoordelen. Weet van tevoren wat je bij de deelnemer wilt zien, zodat je met een helikopterview kunt kijken.
2.
Dat je de beoordeling te weinig serieus
Neem voordat je aan de beoordeling van de
neemt.
kandidaat begint, voldoende rust en tijd. Het is geen tussendoor klus. Realiseer je de status van de beoordeling (we willen beroepsbekwame kandidaten afleveren).
Tijdens het beoordelen 3.
Teveel gefocust op details binnen de
Bekijk niet alleen de (starre) tussenliggende stapjes,
werkplek.
maar ook het geheel. Laat je ook verrassen en kijk hoe het loopt, oordeel niet te snel.
4.
Met de verkeerde pet op beoordelen.
Wees je bewust van je rol; je bent beoordelaar en
Bijvoorbeeld aandacht schenken aan
geen begeleider of adviseur. Houd je strikt aan
ontwikkeling (formatief) of een
beoordelingscriteria en neem niet de ontwikkeling of
opleidingstraject in plaats van de deelnemer
een eerder tot stand gekomen beeld mee. Voeg ook
te kwalificeren/beoordelen (summatief).
geen beoordelingspunten toe die jij belangrijk vindt. Iemand dient beoordeeld te worden op de punten om een diploma te krijgen, het is geen sollicitatie.
5.
Tijdens het observeren al inspringen en
Wees je bewust in welke fase van de beoordeling je
reageren op de deelnemer.
zit. Observeren is afstand houden en een reflectiegesprek vraagt een meer actieve rol. Zorg ervoor dat je zowel non-verbaal als verbaal geen signalen afgeeft aan de deelnemer.
6.
Een deelnemer te veel laten zwemmen en
Emotioneel welbevinden mag je wel in de gaten
afstandelijk behandelen.
houden, maar hier niet volledig in sturen. Houdt hierbij de realiteit in de gaten. Je mag de deelnemer vriendelijk gerust stellen, maar geen inhoudelijke hulp bieden.
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
36
7.
De setting van beoordeling is te
Maak jezelf als beoordelaar onzichtbaar en houdt
confronterend voor de deelnemer.
fysieke afstand tot de deelnemer. Alleen als het technisch/inhoudelijk noodzakelijk is de afstand te verkleinen dan kun je dit doen.
8.
Overhaast oordelen: de neiging om te snel
Werk gestructureerd volgens de WAKKER-methode,
een mening te vormen op grond van een
observeer eerst en maak daarbij aantekeningen.
eerste indruk.
Bekijk vervolgens de resultaten per onderdeel en
Halo/horn effect: zoeken naar bevestiging
vergelijk deze met de beoordelingscriteria. Zorg dat
van wat je wilt zien. De beoordelaar gebruikt
de deelnemer niet op 4 onderdelen wordt afgerekend
de beoordelingsprocedure om zijn eigen
op 1 onvoldoende (tenzij dit aspect bij alle vier de
eerste indruk bevestigd te krijgen
onderdelen van groot belang is). Trek daarna pas je
(bijvoorbeeld: een deelnemer met onjuiste
conclusie.
kleding is geen goede verpleegkundige). 9.
Contrasteffect: dit ontstaat wanneer de
Goed het beoordelingsprotocol en de
resultaten van de beoordeling worden
beoordelingscriteria doornemen voor de afname van
bepaald door de deelnemer te vergelijken
de beoordeling.
met een andere deelnemer, hetzij een goed
Van tevoren goed stilstaan bij het niveau dat van de
of een slecht presterende.
deelnemer verwacht mag worden (zelfstandigheid, verantwoordelijkheid, hulp vragen).
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
37
Bijlage 2: Valkuilen en tips Criterium gericht interview (CGI) In de eerste kolom staan veel voorkomende valkuilen die je misschien herkent uit eerdere ervaringen met beoordelen. In de tweede kolom staan per valkuil praktische oplossingen/tips. Valkuilen bij interviewen
Oplossingen/ tips
Voor het beoordelen 1.
Contrasteffect
-
Een goed beoordelingsprotocol en
Dit ontstaat wanneer de resultaten van de
beoordelingscriteria doornemen voor de afname
beoordeling worden bepaald door de
van het interview/examen.
deelnemer te vergelijken met een andere
-
De beoordelaars van tevoren goed aangeven wat
deelnemer, hetzij een goed of slecht
het niveau is dat ze van een deelnemer mogen
presterende deelnemer.
verwachten (zelfstandig, hulp vragen, verantwoordelijkheid).
Tijdens het beoordelen 2.
3.
4.
Bij het voeren van een interview te veel
Zorg ervoor dat je bewust open vragen stelt. Train
gesloten, suggestieve of oordelende vragen
jezelf op het stellen van open vragen zonder richting
stellen.
te geven of oordeel erin te verwerken.
Te algemeen gesprek voeren, er kan niet
De diepte ingaan, door van algemeen naar steeds
worden beoordeeld of de deelnemer
specifiekere vragen te gaan. Houd je aan de STARR-
competent is.
methode.
Met de verkeerde pet op beoordelen.
Ben je bewust van je rol. Je bent beoordelaar en
Bijvoorbeeld aandacht schenken aan
geen begeleider. Houd je strikt aan
ontwikkeling (formatief) in plaats van de
beoordelingscriteria en neem niet de ontwikkeling of
deelnemer te kwalificeren/beoordelen
een eerder tot stand gekomen beeld mee.
(summatief).
Ontwikkeling kan bij de reflectie worden meegenomen, niet bij het oordeel.
5.
6.
Overhaast oordelen: de neiging om te snel
Werk gestructureerd volgens de STARR-methode en
een mening te vormen op grond van een
stop niet met vragen wanneer jij verwacht dat iemand
eerste indruk.
het goed of fout heeft gedaan. Stop pas wanneer je
Halo/horn effect: er van uitgaan dat als 1
daadwerkelijk de informatie gehoord hebt op basis
antwoord of bewijsstuk goed of fout is, alle
waarvan je het oordeel kunt vellen. Trek daarna pas
andere antwoorden dit ook zijn.
de conclusie.
Geen structuur aanbrengen in het gesprek,
Bespreek vooraf duidelijk de structuur van het
het gesprek verloopt warrig.
gesprek met een medebeoordelaar (als deze er is) en communiceer dit met de deelnemer. Hanteer een tijdschema, ook voor de aparte onderdelen. Geef het einde van het gesprek tijdig aan.
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
38
Bijlage 3: Het CGI - STARR gesprekstechniek De STARR-methode is een gesprekstechniek die dient om zowel werkgedrag als de context waarin dat gedrag zich heeft voorgedaan, duidelijk en scherp in beeld te brengen. STARR staat voor Situatie, Taak, Actie, Resultaat, Reflectie. Situatie: De gespreksleider zoekt naar een helder beeld van de situatie waarin een door de gespreksdeelnemer ingebrachte gebeurtenis plaatsvond. Bijvoorbeeld: Welke en wat voor mensen waren aanwezig? Wat waren de gebruikte gereedschappen en de materialen? Hoe was de werkomgeving? Hoe functioneerde de organisatie van het werk? Was er een fysieke of psychisch belastende situatie? Was er sprake van werkdruk, waren er spanningen van andere aard? Etc. Taak: Wat mocht in deze situatie van de gespreksdeelnemer verwacht worden? Bijvoorbeeld: Wie verwachtte wat van hem? Wat was dat precies? Welke verantwoordelijkheid werd ervaren? Welke verantwoordelijkheid werd aanvaard? Waar bleek dat uit? Wat waren de feitelijk opgedragen taken? Welke rol mocht men van de gespreksdeelnemer verwachten? Welke rol ging zij uitvoeren? Actie: Hoe werd de activiteit uitgevoerd? Wat deed of zei de gespreksdeelnemer in die situatie precies? Hoe gedroeg zij zich? Waarom zo, en niet anders? Resultaat: Wat was het effect van de actie, naar anderen, naar de gespreksdeelnemer zelf? Was dat adequaat? Reflectie: Reflecteer op je eigen handelen. Hoe kijk je terug op deze situatie? Wat lukte goed? Welke competenties heb je hierbij ontwikkeld? Wat heb je hierbij geleerd? Waar ben je ontevreden over? Welke competenties wil je versterken. Wat wil je hiervoor leren. Interviewvragen bij STAR(RT) 1.
SITUATIE
Beschrijf de concrete beroepssituatie (de kerntaak) zo duidelijk mogelijk. Vraag aan de kandidaat: o
Heb je dit wel eens meegemaakt? Heb je hier ervaring mee?
o
Kun je hier wat meer over vertellen? Waar vond die situatie plaats? Wie waren erbij?
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
39
2.
TAAK
Vraag de kandidaat zijn taak in dit situatie nauwkeurig te beschrijven (werkproces). Je kunt het werkproces al aangeven (meer sturen) als assessor of als de kerntaak logisch is opgebouwd uit de verschillende werkprocessen, de kandidaat laten vertellen over zijn of haar taken.
3.
o
Wat was jouw verantwoordelijkheid? Welke taken moest jij uitvoeren?
o
Wat was het doel van je handelen?
ACTIVITEITEN
Vraag de kandidaat concreet de activiteiten te beschrijven die hij had gepland en heeft uitgevoerd (dit wil je beoordelen aan de hand van de beoordelingscriteria, de vragen uit de EVC-vragenlijst). Let op: kandidaten hebben vaak de neiging in de we-vorm te praten. Belangrijk is dat je achterhaalt wat de kandidaat zelf heeft gedaan.
4.
o
Welke activiteiten had je gepland?
o
Wat heb je precies gedaan en gezegd? Welke kennis of vaardigheden heb je toegepast?
o
Hoe was het gedrag van anderen? Hoe heb je gereageerd op het gedrag van anderen?
RESULTAAT
Bevraag de kandidaat over de resultaten. Je wilt bepalen of de taak goed is uitgevoerd (dit wil je beoordelen aan de hand van de beoordelingscriteria, de vragen uit de EVC-vragenlijst).
5.
o
Wat waren de resultaten? Hoe reageerde de cliënt of collega?
o
Had jij jouw doel bereikt?
REFLECTIE
Vraag de kandidaat te reflecteren op eigen handelen. Soms is dit een onderdeel van de beoordelingscriteria.
6.
o
Hoe kijk je terug op deze situatie? Wat ging goed? Wat heb je hierbij geleerd?
o
Wat zou je de volgende keer anders doen en waarom? Waar ben je ontevreden over?
TOEPASSING of TRANSFER
Vraag de kandidaat hoe hij het geleerde/de competenties kan toepassen/heeft toegepast in andere situaties. o
In welke andere situaties (werkomgevingen) heb je het toegepast?
o
Waar moet je op letten als je dit werkproces deze taak in een andere context uitvoert?
Wanneer krijgt u relevante informatie? 1.
De ingebrachte situatie moet niet te lang geleden hebben plaatsgevonden.
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
40
2.
De gespreksdeelnemer moet een concrete zaak willen en kunnen inbrengen.
3.
De gespreksleider moet doorvragen tot zij de situatie als het ware voor zich ziet als in een film of op een foto.
4.
De gespreksleider moet doorvragen totdat zij een duidelijk begrip heeft van de taken, de acties en de effecten van het gedrag van de gespreksdeelnemer.
5.
De gespreksleider mag de gespreksdeelnemer niet laten afdwalen van de zaak die wordt besproken.
Een STARR-interview vergt een goede voorbereiding van alle deelnemers. Om een goed beeld te krijgen (of te geven) van iemands gedrag of prestaties is het verstandig om van te voren vast te leggen welke zaken u aan de orde wilt hebben. De voordelen hiervan zijn: 1.
U kunt controleren of u alle belangrijk elementen heeft meegenomen in uw voorbereiding, of dat u nog een aspect mist.
2.
U kunt het resultaat dat u verwacht vergelijken met het bereikte gespreksresultaat, met de helderheid van het beeld dat u verkregen of gegeven hebt.
3.
U kunt oordelen of en in hoeverre allerlei bijkomende omstandigheden van invloed zijn geweest op de acties die werden uitgevoerd. In welke mate is het bereikte resultaat het gevolg van de acties van de kandidaat?
4.
U kunt vaststellen of de situatie om een bepaald gedrag vroeg en of de gespreksdeelnemer dat wel of niet heeft laten zien.
5.
Voor uw oordeelsvorming is het belangrijk om te wachten totdat u alle informatie volgens alle fasen van het STARR-model heeft verzameld.
Een te strakke voorbereiding heeft zo zijn eigen valkuilen Het goed voorbereiden van een gesprek biedt veel potentiële voordelen, maar het heeft ook risico’s. De gespreksleider kan zich bijvoorbeeld zo strak aan het gemaakte schema houden, dat er geen diepgang in het gesprek komt. Een dergelijke situatie is niet gewenst en getuigt ook van een verkeerde wijze van gespreksvoering. Ook kan het zijn dat de gespreksleider zich vooraf al een beeld heeft gevormd. Het voorbereiden van een gesprek moet dus niet leiden tot de situatie waarin de gesprekleider geen ruimte meer neemt om in te spelen op nieuwe informatie die tijdens het gesprek spontaan naar voren komt. Integendeel, tot een goede voorbereiding op het gesprek behoort een flexibele opstelling. Dat kan gemakkelijk omdat er al minder spanning en meer luistervermogen bij de gespreksleider zal zijn als zij vooraf goed weet wat zij beslist te weten wil komen. Er is nog een ander risico bij een te strakke voorbereiding. Als de gespreksleider steeds op zijn of haar vragenlijst tuurt en daarop terugvalt, zal het gesprek houterig en formeel overkomen. Nog erger: het zal lijken alsof de gespreksleider niet luistert maar voorgekookte vragen voorleest. Hierdoor krijgt de kandidaat de indruk dat het een nogal eenzijdig gesprek is, een soort overhoring. Zo moet het dus niet. De aandacht
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
41
van de gespreksleider moet niet alleen voortdurend gericht zijn op wat er omgaat in de gespreksdeelnemer, maar de gespreksleider moet dat ook in haar eigen verbale en non-verbale gedrag kunnen en willen laten zien. De volgende spelregels kunnen een beetje helpen: 1.
Nooit vragen van papier letterlijk oplezen: gebruik spreektaal.
2.
Wanneer u de reactie op de eerste vraag noteert, denkt u vast na over een geschikte vervolgvraag.
3.
U gebruikt gesprekspauzes, bijvoorbeeld wanneer de gespreksdeelnemer nadenkt over uw vraag, om uw gespreksplan te raadplegen;
4.
U legt uw gespreksplan open op tafel neer, zodat het voor u gemakkelijk te raadplegen is en u probeert dat niet verborgen te houden voor de gespreksdeelnemer.
5.
U houdt u niet strak vast aan de volgorde van uw gespreksplan, maar u laat u leiden door het verloop van het gesprek.
6.
Als u voldoende informatie over een gespreksonderwerp hebt, laat dan de rest van uw voorgeplande vragen maar zitten!
Nuttige wenken Wanneer de gespreksdeelnemer niet direct een concreet voorbeeld van een werksituatie kan geven bij de door u gestelde vraag, probeert u het anders. Een voorbeeld: Vraag: "Kunt u mij een voorbeeld geven, waarin u een bijdrage gaf waardoor de dienstverlening duidelijk werd verbeterd?" Als nu een situatiebeschrijving van de kandidaat volgt, stelt u vervolgvragen. Zo niet, dan stelt u een nieuwe vraag: "Hebt u wel eens over dat werk gedacht 'Waarom doen ze dat nu niet eens op een leukere manier?'
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
42
Bijlage 4: Valkuilen bij Interviews •
Niet echt aandacht geven. Verbaal en non-verbaal niet congruent.
•
Een lawine van vragen stellen. Meerdere vragen tegelijk stellen en niet op antwoord wachten.
•
Zelf het antwoord geven. Niet wachten op het antwoord maar zelf invullen…”Jij zal wel…”
•
Er omheen draaien. Geen duidelijke gerichte vragen stellen of observaties kenbaar maken.
•
Suggestieve vragen stellen. ”Vind jij ook niet dat ………”
•
Vooroordelen ”Daar heb je weer zo’n …………” De communicatieve vaardigheden en het reflectief vermogen van de student hebben veel invloed op het beeld van de assessor.
•
Niet doorvragen Vaak worden sociaal wenselijk antwoorden gegeven en wordt in de we-vorm gepraat.
•
Selectief luisteren en interpreteren. ”Oh hij zal wel ……..bedoelen.”
•
Vooronderstellen. Denken dat de ander iets gedaan heeft of kan, zonder dat dat benoemt is.
•
Gesloten vragen stellen. Te veel gesloten vragen levert te weinig informatie op.
•
Te mild zijn. Niet confronteren, waardoor de beoordeling omhoog wordt bijgesteld.
•
Eigen stokpaardje. Onderwerpen inbrengen die u zelf belangrijk vindt.
•
Me-too effect. Iemand positief beoordelen omdat hij op u lijkt.
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
43
Bijlage 5: Feedback geven Enkele criteria voor het geven van feedback zijn
1.
Feedback moet betrekking hebben op het gedrag van de ander dat je geobserveerd hebt en mag niet gericht zijn op de persoon;
2.
Feedback moet zo goed mogelijk beschrijven wat er is voorgevallen of is gebeurd (niet veroordelend);
3.
Feedback moet gericht zijn en betrekking hebben op specifiek gedrag;
4.
Degene die feedback ontvangt moet iets met de feedback kunnen;
5.
De feedbackontvanger moet wel feedback willen ontvangen;
6.
Maak duidelijk dat het jouw feedback is;
7.
De feedback moet je zo brengen dat de ander (de zender) de ruimte krijgt om te reageren.
8.
Wees voorzichtig met advies (het kan anders overkomen dan bedoeld & je kunt als assessor niet in de rol van onderwijsinstelling kruipen en praten over vrijstellingen of wat een onderwijsinstelling er nu van vindt).
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
44
Bijlage 6: Checklist EVC-rapportage Tegengelezen door: Datum: Assessor rapportage: Kandidaat rapportage:
Onderwerp
Toelichting eisen
Opmerkingen
Overzichtelijk
□ Duidelijke opbouw en structuur in het rapport.
Blijkt uit rapportageformat
□ Het moet inzichtelijk zijn welke onderdelen zijn
in systeem
beoordeeld. □ Ook moet het rapport voor de kandidaat overzichtelijk zijn. Volledig
Alle onderdelen die relevant zijn voor de kandidaat en een
Blijkt deels uit
examencommissie dienen in de EVC-rapportage (of het
rapportageformat systeem,
omvattende dossier) te zitten dat naar de kandidaat gaat.
deels te checken bij
□ □ □ □ □ □ □ □ Taal
□
□ □ □ Conclusie en
□
onderbouwing oordeel per onderdeel
□
□
NAW gegevens kandidaat Doel EVC-traject Naam assessor De toegepaste landelijke opl.standaard De gehanteerde instrumenten Oordelen en onderbouwing daarvan per onderdeel (welke onderdelen zijn erkend) Onderliggende bewijslast kandidaat Score assessor: VRAAK criteria en ‘gezien’ bij bewijsstukken Spelling en grammatica zijn in orde; geen leestekens vergeten en er zijn hele zinnen gemaakt. Eenduidige zinnen geformuleerd in oordeel en onderbouwing (eenduidig te interpreteren). Geen (zo min mogelijk) afkortingen (de rapportage moet leesbaar zijn voor de kandidaat). De geformuleerde termen zijn correct gehanteerd (niet werkprocessen bij eindterm opleidingen ed). De conclusie is een zin zoals: “de kandidaat beheerst dit werkproces aantoonbaar in voldoende mate”. Er staat een oordeel in en ‘aantoonbaar’. De onderbouwing bestaat uit vol zinnen (niet alleen steekwoorden), is begrijpelijk voor kandidaat en examencommissie. De onderbouwing van de onderdelen sluit aan bij
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
tegenlezen.
45
□
□
□
□
□
□
Overall
□
conclusie □ □
Overall
□
aanbeveling □ □
□
het oordeel voor het desbetreffende onderdeel (consequent: niet onderbouwen naar voldoende als het oordeel onvoldoende is). De onderbouwing van de onderdelen is van toepassing op het te beoordelen onderdeel (relevantie voor dat werkproces). Uit de onderbouwing blijkt dat een kandidaat het onderdeel beheerst. Het is oordeel is betrouwbaar en aantoonbaar. Zo niet, dan is het oordeel voor dit onderdeel onvoldoende. Uit de onderbouwing blijkt op basis van welke instrumenten/ bewijslast het oordeel tot stand is gekomen. (uit X blijkt dat de kandidaat Y beheerst). De assessor heeft de VRAAK-criteria meegenomen in het oordeel (kwantiteit werkervaring, authenticiteit ed). Het niveau van de werkervaring/ eerdere opleidingen (zelfstandigheid/ complexe situatie) is meegenomen in het oordeel. De juiste instrumenten zijn ingezet om de kandidaat te beoordelen (geen cgi voor beoordelen van handelingen). De conclusie van het EVC-traject sluit aan bij het doel van de kandidaat (wel/ niet behaald/in welke mate behaald). De conclusie is overeenkomstig het totaal aan oordelen op alle onderdelen. In de conclusie staat of taalvaardigheid en Leren, loopbaan en burgerschap ook zijn beoordeeld (alleen bij CGO dossiers) in dit EVC-traject. De aanbeveling naar aanleiding van het EVCtraject richting de kandidaat sluit aan bij het doel van het traject. De aanbeveling sluit aan bij de conclusie van het traject. De aanbeveling is onafhankelijk en objectief geformuleerd. (niet “volg bij roc X opleiding Y via contactpersoon Z”) Als LL&B en talen niet beoordeeld zijn en het doel is diplomering, zin opnemen in de trend van “de opleidingsinstelling waar dit Ervaringscertificaat ter verzilvering wordt ingeleverd, dient nog een oordeel uit te spreken over de taalvaardigheid en het onderdeel Leren, loopbaan en burgerschap” (alleen bij CGO dossiers).
Het EVC-assessment, Methodiek-handleiding voor de Assessor © QRM mei 2010
46