De praktijk van de beroepsgerichte examens voor het vmbo

De praktijk van de beroepsgerichte examens voor het vmbo Resultaten van een onderzoek naar de voorbereiding, afname, beoordeling, tweede correctie en herkansing van vier beroepsgerichte examens

Voorwoord De waarde van de diploma’s in het voortgezet onderwijs wordt sterk bepaald

door de kwaliteit van de examinering. In het Onderwijsverslag over het school­ jaar 2007/2008 heeft de Inspectie van het Onderwijs voor verschillende sectoren,

waaronder het voortgezet onderwijs, hier aandacht voor de kwaliteit van de exa­ minering.

Het centraal examen is voor de basis- en kaderberoepsgerichte leerwegen in het

vmbo relatief nieuw. In de voorloper van het vmbo, het vbo, bestonden alleen

schoolexamens. Vanaf 2005 in de basisberoepsgerichte leerweg en vanaf 2007 ook

in de kaderberoepsgerichte leerweg is het centraal schriftelijk en praktijk examen

(CSPE) de vorm van examinering voor de beroepsgerichte vakken.

De inspectie heeft in 2008 de afname van het CSPE bij vier beroepsgerichte vak­ ken in de basisberoepsgerichte leerweg onderzocht. Ik ben de scholen voor voort­ gezet onderwijs die in het onderzoek hebben geparticipeerd erkentelijk voor hun

bijdrage.

Dit rapport geeft de resultaten van dit onderzoek. Het rapport benadrukt het belang

van een professionele distantie van de docenten en de scholen op het moment

van examineren. Bij het examen is de docent op dat moment in een andere rol,

namelijk die van examinator. Getuige dit onderzoek is deze distantie in het geval

van het CSPE duidelijk voor verbetering vatbaar.

Dit geldt overigens ook voor de randvoorwaarden en regels die voor het CSPE

gelden.

Ik hoop dat dit rapport en het overleg hierover met de betrokken partijen (zoals

docentenplatforms, Cevo, Cito, VO- en AOC-raad) zal leiden tot een duidelijke ver­ betering van de praktijk van dit deel van het examen in het voortgezet onderwijs.

Hierbij is het protocol CSPE dat de VO- en AOC-raad onlangs uitbrachten een zeer

positieve stap.

De inspectie zal initiatief nemen tot verder overleg.

De hoofdinspecteur voortgezet onderwijs,

drs. H.G.J. Steur

mei 2009

Inhoudsopgave Voorwoord

3

Samenvatting

7

1

Inleiding

11

2

Methode van onderzoek

15

2.1 2.2 2.3 2.4

Steekproef en response Onderzoeksinstrumenten Organisatie van het onderzoek Statistische analyse

15

16

17

18

3

Resultaten

21

3.1 3.2 3.3 3.4 3.5

Voorbereiding op het praktijkexamen Afname van het praktijkexamen Beoordeling van de kandidaten Inzet van de tweede examinator Herkansing van het praktijkexamen

21

25

40

57

60

4

Conclusies

67

4.1 4.2

De diverse aspecten van de afname van het CSPE Het CSPE in de toekomst

67

73

Literatuur

79

Bijlage I Toelichtingen van de examinatoren

83

Bijlage II Andere redenen voor een te soepele

beoordeling

85

Samenvatting Met de invoering van het voorbereidend middelbaar beroepsonderwijs (vmbo) zijn ook voor het voorbereidend beroepsonderwijs centrale examens ingevoerd. Daarmee is de kans op verschillen tussen de scholen bij de examinering kleiner ge­ worden. Sinds 2003 hebben deze centrale examens ook nog eens een belangrijke verandering ondergaan: een combinatie van een afzonderlijk cpe (centraal praktisch examen) en een afzonderlijk cse (centraal schriftelijk examen) naar een examen waarin de vaktheorie en de praktijk geïntegreerd worden getoetst. Dit is het CSPE (het centraal schriftelijk én praktisch examen). Het CSPE viel in goede aarde bij de docenten van de beroepsgerichte vakken en de invoering van het CSPE is daardoor en door de ondersteuning van de platforms soepel verlopen. Het CSPE is een goede examenvorm voor de beroepsgerichte vakken in het vmbo. Het is een aansprekende vorm van examineren voor de ‘doe-leerlingen’ die vmbo­ ers in de beroepsgerichte en gemengde leerwegen nu eenmaal zijn en het is be­ tekenisvol in verband met vervolgonderwijs en toekomstig beroep. Het is daarbij natuurlijk wel belangrijk dat de examinatoren de afname goed uitvoeren. De Inspectie van het Onderwijs heeft in 2007 op enkele scholen een onderzoek gedaan naar de afname van het CSPE. De uitkomsten van dit onderzoek waren voor de inspectie aanleiding om een breder onderzoek op te zetten naar de wijze waarop scholen te werk gaan bij de voorbereiding, afname, beoordeling en herkansing van de beroepsgerichte examens in het vmbo. De inspectie heeft het Cito gevraagd dit onderzoek uit te voeren. Bij het interpreteren van de resultaten van het onderzoek moet in acht worden genomen dat het CSPE slechts een onderdeel van de gehele examinering in het vmbo is. Bovendien is in het Cito-onderzoek een deel van de CSPE’s onderzocht, namelijk vier van de ongeveer 35 CSPE’s en uitsluitend in de basisberoepsgerichte leerweg. Ondanks dat voorbehoud kan uit de resultaten worden afgeleid dat de afname van het CSPE voor verbetering vatbaar is. In het kader van het onderzoek zijn in totaal ruim honderd zittingen van het praktijk­ gedeelte van vier beroepsgerichte examens voor de basisberoepsgerichte leerweg bezocht. Hierbij zijn de feitelijke afname en beoordeling van het praktijkexamen op de school geobserveerd en is bij de desbetreffende examinatoren een afsluitend interview afgenomen. In de aanloop naar het examen geeft viervijfde van de examinatoren de kandidaten algemene informatie over het onderwerp en/of de aard van de opdrachten uit het komende praktijkexamen. Daarnaast zegt bijna een derde van hen de kandidaten op enigerlei wijze met de examenopdrachten te laten oefenen. Ten aanzien van de afname van het examen is gebleken dat deze op de ene school nog wel eens anders wordt uitgevoerd dan op de andere school. Nog niet alle docenten nemen het praktijkexamen volledig en integraal af, gebruiken geen ander dan het voorgeschreven materiaal, geven de kandidaten geen andere dan als aansporing en bemoediging bedoelde hulp en zorgen ervoor dat kandidaten niet overleggen of elkaar helpen. De praktijk van de beoordeling van de kandidaten geeft een vergelijkbaar beeld te zien. Een deel van de examinatoren interpreteert de beoordelingsaspecten nog

7

op eigen wijze, betrekt eigen beoordelingsaspecten in de beoordeling, let op min­ der of andere beoordelingsaspecten dan het correctievoorschrift aangeeft en/of

beoordeelt te streng of te soepel (waarbij een te soepele beoordeling veel vaker

voorkomt dan een te strenge beoordeling).

De inzet van een tweede examinator blijkt op veel scholen niet vanzelfsprekend.

Ten slotte blijken het aantal en de aard van de herkansingen en de wijze waarop

examinatoren de kandidaten daarop voorbereiden van school tot school te verschil­ len.

Al met al komt uit het onderzoek naar voren dat de huidige examenpraktijk nog niet

volledig in overeenstemming is met de uitgangspunten van een centraal examen.

Ongeveer 14 procent van de examinatoren houdt zich in alle opzichten aan de

voorgeschreven richtlijnen.

Het belangrijkste knelpunt is dat de examinatoren zich vooral als docent gedragen,

en niet als examinator.

Bij de interpretatie moet rekening worden gehouden met de context waarin het

onderzoek is uitgevoerd. De gegeven hulp en de toegeeflijke beoordeling zijn deels

begrijpelijk als men bedenkt dat de examinator tevens degene is die de kandidaat

heeft opgeleid. Docenten kiezen het beroep van leraar omdat zij jongeren willen

helpen. Vooral docenten in het vmbo die regelmatig te maken hebben met zorgleer­ lingen, zijn begaan met het lot van die leerlingen en willen hun daarom graag bij de

beoordeling het voordeel van de twijfel geven.

Tegelijkertijd zijn er factoren buiten de docent zelf die bijdragen aan een verklaring

van de onderzoeksuitkomsten:

• De voorschriften lijken niet in alle gevallen even duidelijk. Hoewel dit niet expliciet onderzocht is, lijken de meeste docenten te goeder trouw omdat zij de vaak weinig expliciete regels onvoldoende kennen en zij zich de gevolgen van regelafwijkingen niet bewust zijn. • Voor de beroepsgerichte programma’s is centrale examinering een relatief nieuw fenomeen. Voor 2003 kende het voormalige vbo alleen schoolexa­ mens. • Docenten zijn niet geschoold in het examineren en beoordelen van kandida­ ten. Praktijkdocenten kunnen zich bijvoorbeeld nog niet als examinator laten certificeren. • Het openbaar maken van examengegevens en het beoordelen van de on­ derwijskwaliteit van scholen (mede) op basis van hun examenprestaties kan de druk op hoge examenprestaties en de neiging tot helpen en toegeeflijk beoordelen verhogen. • Het nagenoeg ontbreken van toezicht op de naleving van de regels biedt exa­ minatoren weinig steun. • Het relatief beperkte civiele effect van het basisberoepsgerichte examen kan regelafwijkingen in de hand werken. In de basisberoepsgerichte leerweg kun­ nen leerlingen immers ook zonder diploma in het mbo instromen. Dit alles laat onverlet dat uit het onderzoek blijkt dat op de meeste scholen de wijze waarop het CSPE op dit moment wordt afgenomen niet aan de criteria voldoet die gesteld mogen worden aan een centraal examen. Maar, net als de inspectie, hechten de betrokken partijen in het voortgezet on­ derwijs er aan dat het CSPE een onderdeel van de centrale examinering blijft.

8

De examinering van de beroepsgerichte vakken moet niet (weer) een onderdeel van het schoolexamen worden, het centrale karakter is belangrijk. Dat betekent dat de afname van het CSPE aan de criteria voor een centraal examen moet gaan voldoen. Om de afname van het CSPE op alle scholen in overeenstemming te brengen met de wettelijke vereisten en de kwaliteitscriteria moet er wel het een en ander gebeu­ ren. De inspectie stelt zich voor dat de scholen (schoolbesturen, schoolleidingen, docenten) de kans krijgen om het CSPE te laten toegroeien naar een ‘echt’ centraal examen. Hierbij kunnen de betrokken partijen in voortdurende samenwerking een belangrijke rol spelen. Bij een hernieuwd inspectie-onderzoek (bijvoorbeeld in 2012) zou dan vervolgens vooruitgang en resultaat te zien moeten zijn, zodat de inspectie ook tot nalevingstoe­ zicht kan overgaan.

9

1

Inleiding

Met de invoering van het voorbereidend middelbaar beroepsonderwijs (vmbo) zijn ook voor het voorbereidend beroepsonderwijs centrale examens ingevoerd. Sinds 2003 hebben deze centrale examens ook nog eens een belangrijke ver­ andering ondergaan: een combinatie van een afzonderlijk cpe (centraal praktisch examen) en een afzonderlijk cse (centraal schriftelijk examen) naar een examen waarin de vaktheorie en de praktijk geïntegreerd worden getoetst. Dit is het centraal schriftelijk én praktisch examen (CSPE). Na een pilot in 2003 en de mogelijkheid om te experimenteren in 2004, is het CSPE met ingang van 2005 de enige examenvorm voor het centraal examen in het beroepsgerichte programma (afdelingsvak of intrasectoraal programma) in de basisberoepsgerichte leerweg (bb). In 2005 is het CSPE ook geïntroduceerd in de kaderberoepsgerichte leerweg (kb). In april-juni 2005 vond een pilot plaats. Voor de betrokken kb-leerlingen kwam het CSPE in de plaats van de centrale integratieve eindtoets (cie) en het centraal schriftelijk examen (cse). In 2006 konden vmbo-scholen experimenteren met het CSPE kb, in 2007 is het CSPE in deze leerweg verplicht ingevoerd. Vanwege het succes van CSPE in bb en kb en om ook voor leerlingen in de ge­ mengde leerweg (gl) meer praktijk in hun opleiding te stimuleren, vond in mei 2007 ook in deze leerweg een pilot plaats. Schooljaar 2007/2008 was een overgangsjaar en vanaf examenjaar 2009 is het CSPE dé vorm voor het centraal examen van het beroepsgerichte vak in de gemengde leerweg. Het CSPE viel in goede aarde bij de docenten van de beroepsgerichte vakken en de invoering van het CSPE is daardoor en door de ondersteuning van de platforms soepel verlopen. Vanaf 2004 produceert het Cito de examens voor de beroepsgerichte vakken van het vmbo waarin vaktheorie en praktijk geïntegreerd getoetst worden. Deze compe­ tentiegerichte centraal schriftelijke en praktische examens worden centraal door de overheid ter beschikking gesteld. De afname van de opdrachten en de beoordeling van de kandidaten is volledig in handen van de school. Behalve het examenmate­ riaal verstrekt de overheid richtlijnen voor de voorbereiding, afname, beoordeling, becijfering en herkansing van deze examens. Er zijn aanwijzingen dat een deel van de examinatoren de regels voor de voorbe­ reiding, afname, beoordeling en herkansing van de praktijkexamens niet volledig naleeft. Zo heeft de Inspectie van het Onderwijs in 2007 op enkele scholen een onderzoek gedaan naar de afname van het CSPE. Ook ander onderzoek wijst in die richting (Laheij, 2004; Kuhlemeier, 2007b). De uitkomsten van deze onderzoeken waren voor de inspectie aanleiding om een breder onderzoek op te zetten naar de wijze waarop scholen te werk gaan bij de voorbereiding, afname, beoordeling en herkansing van de beroepsgerichte exa­ mens in het vmbo. De inspectie heeft het Cito gevraagd dit onderzoek tijdens de examenperiode van 2008 uit te voeren. Het onderzoek waarvan in dit rapport verslag wordt gedaan is gericht op vijf aspecten van de examenpraktijk, namelijk de wijze waarop examinatoren de kandidaten op het examen voorbereiden, de afname van het examen, de beoordeling van de kandidaten, de inzet van een tweede examinator en de herkansing van het examen.

11

Doelen van het onderzoek Met dit onderzoek wordt geprobeerd een zuiverder beeld te krijgen van de feitelijke afname- en beoordelingspraktijk bij de praktijkexamens dan in de voornoemde vo­ rige onderzoeken mogelijk was. De scholen moeten op basis van de beschikbare informatie uit dit onderzoek er toe worden aangezet de eigen praktijk te bekijken en te verbeteren. Daartoe kunnen door de verschillende organisaties stappen worden ondernomen om dit mogelijk te maken. In dat licht heeft het onderzoek de volgende doelen: • Verzamelen van landelijk representatieve informatie over de mate waarin exa­ minatoren zich houden aan de regels en adviezen voor de voorbereiding, af­ name, beoordeling en herkansing van de praktijkexamens; • Verzamelen van informatie over de redenen waarom praktijkdocenten afwijken van de regels en adviezen voor de beoordeling; • Bijdragen aan bewustwording van de noodzaak van maatregelen ter verdere standaardisatie van de afname- en beoordelingscondities bij praktijkdocenten en andere betrokkenen. Het onderzoek is uitgevoerd op vier van de ongeveer 35 CSPE’s en uitsluitend in de basisberoepsgerichte leerweg. Desondanks zijn de resultaten van het onderzoek goed bruikbaar bij de verbetering van het CSPE. Naar de mening van de inspec­ tie is het CSPE een goede examenvorm voor de beroepsgerichte vakken in het vmbo. Het is een aansprekende vorm van examineren voor de ‘doe-leerlingen’ die vmbo-ers nu eenmaal zijn en het is betekenisvol in verband met vervolgonderwijs en toekomstig beroep. Het is daarbij natuurlijk wel belangrijk dat de examinatoren de afname goed uit­ voeren. Dit rapport zou dat mede moeten bewerkstelligen.

12

2

Methode van onderzoek

Om landelijk representatieve informatie te verzamelen over de uitvoering van de CSPE’s zijn 114 scholen bezocht. Negenentwintig speciaal daartoe getrainde stu­ denten observeerden in totaal 116 examenzittingen waarbij de examinatoren na afloop van het examen geïnterviewd werden. In dit hoofdstuk wordt kort weerge­ geven hoe het onderzoek is opgezet en uitgevoerd.

2.1

Steekproef en response

De steekproef Voor elk van de vier sectoren uit het vmbo is een praktijkvak in het onderzoek betrokken, te weten Verwerking agrarische producten (VAP), Handel en verkoop (HV), Uiterlijke verzorging (UV) en Elektrotechniek (ET). Voor deze vakken is gekozen vanwege het relatief grote aantal examenkandidaten. Het onderzoek is beperkt tot opleidingen voor leerlingen in de basisberoepsgerichte leerweg (bb). De steekproef is getrokken uit het bestand van scholen voor voortgezet onderwijs die zich met ten minste één kandidaat hadden ingeschreven voor deelname aan een of meer van de praktijkexamens bb voor het schooljaar 2007/2008. Uit het populatiebestand van 320 scholen met een opleiding voor VAP, HV, UV en/of ET is een steekproef van 206 scholen getrokken. De steekproef van 206 scholen omvatte 42 scholen met een opleiding voor VAP, 64 voor HV, 45 voor UV en 55 voor ET. Voordat de scholen voor deelname benaderd werden, is elk van de vier steekproe­ ven ingedeeld in twee delen. De eerste 30 scholen per vak vormden de hoofdlijst met in totaal 120 scholen, en de overige 86 scholen de reservelijst. In de laatste week van april en de eerste week van mei 2008 namen de studenten contact op met de hun toegewezen scholen om een afspraak te maken voor het schoolbezoek. Om het gewenste aantal van 120 deelnemende scholen te halen, bleek het nodig om scholen uit de reservelijst te benaderen. Uiteindelijk zijn alle 86 scholen uit de reservelijst voor deelname aan het onderzoek benaderd. Response Van de 206 voor deelname benaderde scholen hebben er 188 (91 procent) ge­ reageerd op het verzoek om zich voor het onderzoek aan te melden. Van de 196 scholen met bb-examenkandidaten voor de vier onderzochte vakken uit de steek­ proef konden er uiteindelijk 114 (58 procent) door een student bezocht worden. Van 2 scholen werden 2 zittingen bezocht en 2 docenten geïnterviewd, waardoor het aantal bezochte zittingen groter is dan het aantal scholen. Voor elke niet-bezochte school uit de steekproef is bijgehouden waarom deze niet bezocht kon worden. De redenen waren divers; bijvoorbeeld bleken scholen toch geen bb-examenkandidaten in het vak in kwestie te hebben, in andere gevallen bleek er geen enkele student op de door de school opgegeven datum en tijdstip beschikbaar te zijn, in een enkel geval kon een gemaakte afspraak voor een school­ bezoek niet worden nagekomen vanwege ziekte van de student.

15

2.2

Onderzoeksinstrumenten

Ten behoeve van het onderzoek zijn de volgende instrumenten ontwikkeld: • een handleiding voor de student met onder meer informatie over het maken van afspraken met de school, de uitvoering van de observaties en het afslui­ tende interview; • een scanbaar observatie- en interviewformulier waarop de studenten hun observaties en de antwoorden van de examinatoren registreerden; • het formulier observatie-eenheden; • de vragenlijst inventarisatie regelafwijkingen voor het verzamelen van aanvul­ lende informatie over de aard van de regelafwijkingen. Voorbereiding op het praktijkexamen Ten aanzien van de voorbereiding op het examen bevat het observatie- en inter­ viewformulier aandachtspunten en interviewvragen over hoe lang van tevoren de examinatoren het examen ontvangen en bekijken, of en zo ja, hoe zij kandidaten informeren over de inhoud van het examen en welke rol de examenopdrachten spelen in de voorbereiding van de kandidaten op het examen. Afname van het praktijkexamen Hier gaat het onder meer om het aantal examenzittingen, de groeperingsvormen en de volgorde van de examenonderdelen. Daarnaast zijn observatie- en intervie­ wgegevens verzameld over het toevoegen, weglaten, vervangen of aanpassen van (moeilijke) examenonderdelen, de hoeveelheid hulp en begeleiding die kandidaten tijdens het examen ontvangen en de omgang met materialen, gereedschap en hulpmiddelen. Beoordeling van de kandidaten Met betrekking tot de beoordeling bevat het observatie- en interviewformulier aandachtspunten en interviewvragen over de wijze waarop examinatoren omgaan met de regels voor het toekennen van scores aan kandidaten, zoals het hanteren van ‘eigen’ beoordelingsaspecten, het anders interpreteren van beoordelingsas­ pecten en het strenger dan wel soepeler beoordelen van kandidaten. Daarnaast gaat het om het gebruik van ‘eigen’ beoordelingsmiddelen naast het verplichte correctievoorschrift. Inzet van de tweede examinator Het interviewgedeelte van het observatie- en interviewformulier bevat vragen over de aanwezigheid van een tweede examinator bij de afname en beoordeling, bij welk deel van het examen dat het geval was, wat de functie van de tweede examinator was en hoe vaak de examinatoren de scores voor de praktijkopdrachten in onder­ ling overleg vaststelden. Herkansing van het praktijkexamen Het interviewgedeelte van het observatie- en interviewformulier bevat vragen over de aard van de herkansingsmogelijkheden die kandidaten geboden worden (het volledige praktijkexamen en/of onderdelen daarvan), hoe vaak een kandidaat mag herkansen, of de herkansing vóór en/of na de normering plaatsvindt, en of kandida­ ten een voldoende gemaakt praktijkexamen mogen herkansen om een hoger cijfer te halen, bijvoorbeeld ter compensatie van een slecht gemaakt avo-vak. Andere

16

vragen zijn of het voorkomt dat kandidaten ter voorbereiding op de herkansing extra uitleg of oefening krijgen en zo ja, welk materiaal daarbij gebruikt wordt (dit wil zeg­ gen: ‘oude’ praktijkexamens, het praktijkexamen van 2008 of ander materiaal). Formulier observatie-eenheden De observatoren registreerden hun waarnemingen op het hiervoor besproken ob­ servatie- en interviewformulier. Daarbij gaven zij per aandachtspunt een samenvat­ tend oordeel over de mate waarin de desbetreffende regelafwijking tijdens het vol­ ledige schoolbezoek voorkwam. Zij baseerden dat oordeel op alle beroepsgerichte opdrachten die de kandidaten tijdens het schoolbezoek uitvoerden. Vragenlijst inventarisatie regelafwijkingen Het formulier observatie-eenheden bevatte ruimte voor het maken van aanteke­ ningen over de aard van de regelafwijkingen. Deze aantekeningen moesten de observatoren tegen het einde van het onderzoek gebruiken bij het invullen van de vragenlijst inventarisatie regelafwijkingen.

2.3

Organisatie van het onderzoek

De observaties en interviews zijn uitgevoerd door speciaal getrainde studenten die een hbo-of universitaire opleiding volgen. Om zoveel mogelijk examens te kunnen bijwonen zijn studenten geworven uit alle delen van Nederland. In totaal hebben 29 studenten als observator en interviewer in het onderzoek geparticipeerd. De verdeling over de vakken was: zeven voor VAP, negen voor HV, zeven voor UV en zeven voor ET. In de eerste en tweede week van april 2008 namen de 29 studenten contact op met de school om een afspraak te maken voor het schoolbezoek. Als een school het examen in een zitting afnam, was het maken van een afspraak voor een schoolbezoek relatief eenvoudig. In het geval de school het examen over meer zittingen uitsmeerde, heeft de student in overleg met de school die datum gekozen waarin de meeste van deze examenonderdelen geëxamineerd zouden worden. In het gesprek met de contactpersoon hebben de studenten benadrukt dat de gegevens volstrekt vertrouwelijk behandeld worden. Uitvoering van de observaties Een belangrijk doel van de observaties was dat het afsluitende interview met de examinator soepeler zou verlopen en dat de studenten beter geïnformeerd zou­ den zijn. De meeste aandachtspunten tijdens de observaties kwamen weer terug als vragen aan de examinator in het afsluitende interview. Een groot deel van de interviewvragen betrof daardoor onderwerpen die de studenten voorafgaand aan het interview zelf geobserveerd hadden. De observaties zijn uitgevoerd volgens de methode van systematische observatie. De gegevens zijn verzameld met behulp van een lijst met aandachtspunten. Van de 29 observatoren bezochten er zeven een examen VAP, acht een examen HV, zeven een examen UV en zeven een examen ET. Het aantal bezochte scholen

17

verschilde sterk van observator tot observator (van 1 tot 9 met een gemiddelde van 5,2). Overeenstemming tussen observatoren De controle van de verzamelde observatiegegevens laat zien dat de consistentie van de gegevens hoog is en er bijna geen ontbrekende waarnemingen zijn. Ter bepaling van de observatorovereenstemming is een aselecte steekproef van drie scholen met een opleiding voor Handel en verkoop door een extra observator be­ zocht. De score van de expert-observator was bij 72 procent van de observaties volledig identiek aan die van de reguliere observatoren, verschilde bij 23 procent van de observaties één punt en in vijf procent van de observaties twee punten. De kwaliteit van de observaties is bij de variabelen van nominaal niveau met behulp van Cohen’s Kappa berekend. De overeenstemmingsmaat is moderate, hetgeen als voldoende beoordeeld kan worden. Bij de variabelen van ordinaal is de intraclass correlation (ICC) bepaald. De observa­ torbetrouwbaarheid bij de ordinale aandachtspunten blijkt goed te zijn. Uitvoering van de interviews Na de observatie van het examen voerde de student een afsluitend gesprek met de examinator. De meeste vragen uit het interviewgedeelte van het observatie- en interviewformulier betroffen aandachtspunten die de student eerder op de dag geobserveerd had.

2.4

Statistische analyse

De gegevens zijn geanalyseerd met behulp van het statistische pakket SPSS 15.0. Voor de analyse van de verschillen tussen de vier examenvakken zijn, afhankelijk van het meetniveau van de variabele, verschillende analysetechnieken gebruikt.

18

3

Resultaten

In het onderzoek zijn gegevens verzameld over de mate waarin examinatoren zich houden aan de adviezen en regels voor de voorbereiding, afname, beoordeling en herkansing van de praktijkexamens. In dit hoofdstuk worden de onderzoeksresul­ taten gerapporteerd. Een onderscheid wordt gemaakt in: • voorbereiding op het praktijkexamen; • afname van het praktijkexamen; • beoordeling van het praktijkexamen; • tweede examinator; • herkansing van het praktijkexamen. Van verschillen tussen vakken is alleen melding gemaakt indien deze significant waren.

3.1

Voorbereiding op het praktijkexamen

In de interviews is de examinatoren onder meer gevraagd of en zo ja, hoe zij kan­ didaten informeren over het examen, welke rol de examenopdrachten spelen in de voorbereiding van de kandidaten op het examen en hoe lang van tevoren zij het examenmateriaal ontvangen en bekijken. Het verstrekken van algemene informatie over de examenopdrachten Examinatoren mogen overeenkomstig de richtlijnen de kandidaten in algemene zin informeren over de opdrachten uit het komende praktijkexamen, maar hoeven dat op een enkele voorgeschreven uitzondering na niet te doen. In het interview is de examinatoren gevraagd of zij de kandidaten van tevoren algemene informatie verstrekten over het onderwerp en/of de aard van de opdrachten, en zo ja, hoe lang van tevoren zij dat deden. Van de examinatoren verstrekt tachtig procent naar eigen zeggen algemene informatie over het examen (zie tabel 1). De chi-kwadraat toetsing van de verschillen tussen vakken is significant (p<.05). Examinatoren Handel en verkoop (HV) geven vaker algemene informatie over het komende praktijkexamen dan hun collega’s Verwerking agrarische producten (VAP) en Elektrotechniek (ET) (zie tabel 2). De algemene informatie over het examen wordt gemiddeld 24 dagen vóór het examen verstrekt met een minimum van vier dagen en een maximum van negentig dagen (zie tabel 3). Tabel 1 Het verstrekken van algemene informatie over de examenopdrachten aan kandidaten N

procent

Nee

23

20

Ja

93

80

116

100

Totaal

21

Tabel 2

Het verstrekken van algemene informatie over de examenopdrachten aan kandidaten per vak (kolompercentages)

VAP Nee

40

Ja

60 100

Totaal

HV

UV

ET

7

46

Totaal 20

100

93

54

80

100

100

100

100

Tabel 3 Het aantal dagen vóór het examen dat de informatie over de examenopdrachten aan kandidaten wordt verstrekt N 92

Min

Max

Gemiddelde

Stddev

4

90

24,01

17,31

Vooraf instrueren van en oefenen met examenopdrachten Scholen willen kandidaten zo goed mogelijk op het examen voorbereiden. Uit eerder onderzoek is bekend dat sommige scholen daartoe opdrachten uit het nog af te nemen praktijkexamen gebruiken. De examinatoren is gevraagd of zij de kandidaten in de periode tussen de ontvangst van het examenmateriaal en de eerste afname­ datum op enigerlei wijze hebben laten oefenen met de examenopdrachten (of onderdelen daarvan) uit het nog af te nemen praktijkexamen. Van de examinatoren beantwoordt 31 procent deze vraag bevestigend (zie tabel 4). De verschillen tussen de vier vakken zijn significant (p<.05). In vergelijking met de overige examinatoren laten examinatoren ET hun kandidaten minder vaak met de examenopdrachten oefenen (zie tabel 5). De 36 examinatoren die hun kandidaten met de opdrachten of onderdelen uit het praktijkexamen 2008 laten oefenen is gevraagd hun antwoord toe te lichten door aan te geven in welke mate en op welke wijze zij dat doen. Het overzicht met de toelichtingen van de 36 examinatoren is opgenomen in bijlage I. Een klein deel van de docenten oefent inderdaad met opdrachten uit het praktijkexamen van 2008. Ve­ len gebruiken (daarnaast) ‘oud’ examenmateriaal dat sterk lijkt op de opdrachten uit het praktijkexamen van 2008, of hebben zelf vergelijkbaar materiaal ontwikkeld. Tabel 4 Oefenen met examenopdrachten uit het praktijkexamen 2008 N

procent

Valide procent

Nee

79

68

69

Ja

36

31

31

1

1

116

100

Missing Totaal

100

Tabel 5

Oefenen met examenopdrachten uit het praktijkexamen 2008 per vak (kolompercentages van N=36)

VAP

HV

UV

ET

VAP

Nee

56

61

68

96

69

Ja

44

39

32

4

31

100

100

100

100

100

Totaal

22

Het ter beschikking stellen van het benodigde materiaal Van belang voor de vergelijkbaarheid van de afnamecondities is de wijze waarop de kandidaten het voor de praktijkopdrachten benodigde materiaal ter beschikking gesteld krijgen. Er zijn daarbij ten minste drie mogelijkheden die zowel afzonderlijk als in combinatie kunnen voorkomen: A. De docent zet het materiaal klaar op de werkplek. B. De kandidaat zoekt het materiaal tijdens het examen zelf bij elkaar. C. De kandidaat verzamelt het materiaal zelf in de weken voorafgaand aan het examen, bijvoorbeeld aan de hand van een materiaallijst. Bijna twee derde van de examinatoren (63 procent) zet materiaal voor de kandidaten klaar, bijna de helft (47 procent) laat de kandidaten materiaal tijdens het examen zelf bij elkaar zoeken en bijna een kwart (24 procent) laat kandidaten dat in de weken vóór het examen doen. Omdat de drie afnamevarianten ook in combinatie met elkaar worden toegepast, tellen de drie hiervoor genoemde percentages op tot boven de honderd procent. Tabel 6 laat zien dat alle mogelijke combinaties in de praktijk voorkomen. De chi-kwadraat toetsing van de verschillen tussen vakken geeft significantie te zien (p<.05). Examinatoren ET zetten het materiaal vaker gereed op de werkplek, examinatoren UV laten de kandidaten het materiaal vaker tijdens het examen zelf bij elkaar zoeken en examinatoren HV laten het materiaal vaker verzamelen in de weken voorafgaand aan het examen (zie tabel 7). Tabel 6 Het verstrekken van het voor de praktijkopdrachten benodigde materiaal N

procent

A. Al het materiaal staat gereed op de werkplek (verzorgd door de docent)

41

35

B. De kandidaat zoekt tijdens het examen het materiaal zelf bij elkaar

32

28

C. De kandidaat verzamelt in de weken voorafgaand aan het examen zelf het materiaal (aan de hand van een materiaallijst)

10

9

A en B

15

13

A en C

11

9

B en C

1

1

A, B en C Totaal

6

5

116

100

Tabel 7

Het verstrekken van het voor de praktijkopdrachten benodigde materiaal per vak (kolompercentages)

VAP

HV

UV

ET

Totaal

A. Al het materiaal staat gereed op de werkplek (verzorgd door de docent)

32

18

17

88

35

B. De kandidaat zoekt tijdens het examen het materiaal zelf bij elkaar

44

8

59

4

28

18

7

4

9

11

14

4

13

C. De kandidaat verzamelt in de weken voorafgaand aan het examen zelf het materiaal (aan de hand van een materiaallijst) A en B

24

A en C B en C

1

3

A, B en C Totaal

9

29

5

16 100

100

100

100

100

23

De ter beschikkingstelling van het examenmateriaal aan examinatoren Omwille van een soepele organisatie van het praktijkexamen stelt het Cito het examenmateriaal ruimschoots voor de afname aan de directies van de scholen ter beschikking. De examenopdrachten en de instructie voor de examinator heeft het Cito de scholen eind januari/begin februari doen toekomen. Medio maart ontvingen de scholen twee exemplaren van het correctievoorschrift. In het interview is de examinatoren gevraagd naar het moment waarop zij dit examenmateriaal ontvin­ gen. Hun is gevraagd dat moment uit te drukken in het aantal dagen voorafgaand aan de eerste afnamedatum van hun examen. De reden voor het stellen van deze vraag is dat de mogelijkheden van regelafwijkingen groter zijn naarmate examina­ toren het examenmateriaal eerder in hun bezit hebben. Gemiddeld ontvingen de examinatoren de examenopgaven en de instructie voor de examinator ruim een maand voorafgaand aan de eerste afnamedatum en het correctievoorschrift werd bijna drie weken van tevoren ter beschikking gesteld (zie tabel 8). Opvallend is de grote spreiding tussen examinatoren. Blijkens de univariate variantieanalyse zijn de verschillen tussen vakken bij twee van de drie typen materiaal significant (p<.05). Examinatoren VAP ontvangen de instructie voor de examinator en de examenop­ drachten eerder dan hun collega’s van de overige drie vakken (zie tabel 9). Het bestuderen van het examenmateriaal door examinatoren De gemiddelde examinator bestudeert de instructie voor de examinator en de examenopdrachten negentien dagen voor de afname, terwijl zij het correctievoor­ schrift zo’n 14 dagen eraan voorafgaand bestuderen (zie tabel 8). Ook hier is de spreiding weer groot. De verschillen tussen vakken zijn bij twee van de drie typen materiaal significant (p<.05). Examinatoren VAP bestuderen de instructie voor de examinator en de examenopdrachten eerder dan hun collega’s van de overige drie vakken (zie tabel 9). Tabel 8 Aantal dagen voorafgaand aan de afname dat de examinator het examenmateriaal heeft ontvangen en bestudeerd N

Min

Max

Gem

Stddev

114

5

90

38,42

19,21

Van tevoren ontvangen Instructie voor de Examinator Examenopdrachten

114

0

90

32,38

19,78

Correctievoorschrift

115

0

60

20,95

15,47

Instructie voor de Examinator

115

1

80

30,83

19,07

Examenopdrachten

115

0

80

25,82

18,70

Correctievoorschrift

114

0

74

16,12

13,97

Van tevoren bestudeerd

24

Tabel 9 Aantal dagen voorafgaand aan de afname dat de examinator het examenmateriaal heeft ontvangen en bestudeerd per vak (gemiddelden)

VAP

HV

UV

ET

Totaal

Instructie voor de Examinator

53

34

35

35

38

Examenopdrachten

47

33

23

27

32

Correctievoorschrift

21

20

22

22

21

Instructie voor de Examinator

42

26

28

31

31

Examenopdrachten

39

25

19

22

26

Correctievoorschrift

15

13

19

19

16

Van tevoren ontvangen

Van tevoren bestudeerd

3.2

Afname van het praktijkexamen

Tijdens de interviews is de examinatoren onder meer gevraagd naar het aantal examenzittingen, de volgorde van de examenonderdelen, het toevoegen, wegla­ ten, vervangen of aanpassen van (moeilijke) examenonderdelen, de omgang met materialen, gereedschap en hulpmiddelen, de hoeveelheid hulp en begeleiding die kandidaten tijdens het examen van de examinator ontvangen, en de mate waarin kandidaten tijdens het examen met elkaar overleggen en elkaar helpen. Voor een deel van deze vragen zijn ook observatiegegevens verzameld. Aantal zittingen Scholen mogen zelf bepalen in hoeveel zittingen zij het praktijkexamen afnemen. Tabel 10 laat zien dat scholen ruimschoots van deze mogelijkheid tot flexibilisering van het afnametijdstip gebruik maken. Het aantal zittingen varieert van een tot twaalf met een gemiddelde van drie. Uit de univariate variantieanalyse blijkt dat de verschillen tussen de vakken significant zijn (p<.05). Examinatoren VAP en UV nemen het examen gemiddeld in minder zittingen af dan hun collega’s HV en ET. Tabel 10 Aantal zittingen per examen per vak Vak

N

Min

Max

Gem

VAP

25

1

5

2,08

0,81

HV

38

1

11

3,63

2,39

UV

29

1

8

2,69

1,85

ET

23

1

12

3,65

2,60

115

1

12

3,06

2,14

Totaal

Stddev

Toevoegen, weglaten, vervangen of aanpassen van opdrachten Examinatoren worden geacht de kandidaten de opdrachten te laten uitvoeren zoals aangegeven in het examen en de instructie voor de examinator. Zij mogen geen opdrachten toevoegen, weggelaten, vervangen of aanpassen (denk bijvoorbeeld

25

aan het weglaten van ‘moeilijke’ opdrachten). De examinatoren is gevraagd hoe vaak zij afwijken van de manier waarop de opdrachten moeten worden uitgevoerd (zie tabel 11). De observatoren hebben geobserveerd in welke mate deze afwijkingen van de afnamecondities voorkomen (zie tabel 12). Van de examinatoren zegt 61 procent de regels voor een integrale en ongewijzigde afname van de opdrachten nooit te overtreden, 38 procent doet dat naar eigen zeggen af en toe en één procent zegt dat regelmatig te doen. De observatoren zijn in dit opzicht wat kritischer. Bij 46 procent van de geobserveerde examinatoren constateerden zij geen enkele afwijking van een integrale en ongewijzigde afname van de opdrachten. Deze re­ gelgetrouwe examinatoren voegden geen opdrachten toe, lieten geen opdrachten weg, vervingen geen opdrachten en pasten geen opdrachten aan. De groep van 54 procent niet volledig regelgetrouwe examinatoren is als volgt samengesteld: 39 procent overtreedt de regels af en toe, 12 procent doet dat regelmatig en drie procent doet dat vaak tot zeer vaak. Tabel 11 Het toevoegen, weggelaten, vervangen of aanpassen van opdrachten (volgens de examinatoren) N

procent

1 Nooit

71

61

61

2 Af en toe

44

38

38

3 Regelmatig Totaal

Valide procent

1

1

1

116

100

100

Tabel 12

Het toevoegen, weggelaten, vervangen of aanpassen van opdrachten (zoals geobserveerd)

N

procent

Valide procent

Nooit / niet waargenomen

53

46

46

Af en toe

45

39

39

Regelmatig

14

12

12

Vaak tot zeer vaak

3

3

3

Missing

1

1

116

100

Totaal

100

Voorbeelden In de vragenlijst inventarisatie regelafwijkingen hebben de studenten de meest frequente afwijkingen van een integrale en ongewijzigde afname omschreven. Onderstaand overzicht bevat hieruit een selectie, gerangschikt naar vak. Verwerking agrarische producten • De mondelinge vragen die de examinator tijdens het examen aan kandidaten moest stellen werden overgeslagen, aangepast op het niveau van de leerling en zelfs vervangen door zelfbedachte vragen. • Een docent paste het recept voor mayonaise aan zodat het gemakkelijker zou worden. • Een onderdeel werd weggelaten vanwege gebrek aan tijd. • Het coderen van de rodacplaatjes was al gebeurd of de leerlingen mochten hun naam op het plaatje zetten in plaats van hun initialen (wat gemakkelijker was omdat niet iedereen wist wat initialen waren).

26

• Het aanzetten en controleren van de friteuses viel weg omdat er minder fri­ teuses waren dan leerlingen en ze dus al aanstonden. De leraren lieten ze niet nogmaals controleren. Handel en verkoop • Deel van de opdracht weggelaten: kandidaten hoefden het geld dat in de kassa gaat niet te tellen. Het wisselgeld zat al in de kassa-lade voordat de kandidaat begon. • Opdracht/hulpmiddel toegevoegd: kandidaten moesten een kasopmaakformu­ lier invullen bij het tellen van het geld. In sommige gevallen moesten ze ook na afloop het geld tellen en het verschil berekenen. • Kandidaten mochten de examenopdrachten een dag (of meerdere dagen) van tevoren al doornemen. • Aanpassen van de opdracht: de examinator liet het eerste deel van de opdracht niet zelfstandig uitvoeren, maar gaf uitleg over hoe de kandidaten het moesten doen (bij het gebruiksklaar maken van de kassa). Examinator was bij een deel van de opdracht eigenlijk aan het lesgeven. • De rol van klant (die door een tweede examinator moet worden gespeeld) werd vervuld door een andere examenkandidaat die het examen zelf nog moest doen. • De examenopdrachten werden door de examinator in kleinere stapjes op­ gedeeld, zodat de kandidaten het makkelijker konden begrijpen (zonder dat kandidaten hierom gevraagd hadden). Zo knipte de examinator bijvoorbeeld de twee enquêtes (die onder elkaar stonden) doormidden, omdat de kandidaten anders niet zouden begrijpen dat het om twee enquêtes ging. • De examinator speelde tevens de rol van de klant. • Leerling mocht de bijlage er tijdens het examen niet bijhouden (onderdeel kassa). Uiterlijke verzorging • Op een school werd een belangrijk onderdeel van het examen, namelijk nagels lakken, helemaal weggelaten. • Op bijna alle scholen stonden de producten die de leerlingen volgens het examen zelf bij elkaar moesten zoeken gewoon op hun tafeltje klaar. • Op vier van de vijf scholen hielden de examinatoren zich niet aan de tijd die voor het examen vastgelegd was. Voor een onderdeel hadden de kandidaten volgens het examen 75 minuten, maar op deze vier scholen werd net zo lang de tijd gegeven totdat ze klaar waren met de opdracht. Op de vijfde school, waar de examinatoren zich wel aan de tijd hielden, stopten zij na 75 minuten en beoordeelden op hoe ver kandidaten waren gekomen. In de schoonheids­ salon plan je ook al je klanten voor een bepaalde tijd in en kun je ook niet uren uitlopen. • De richtlijnen voor het spelen van de rol van de klant werden niet goed opge­ volgd. Vaak hadden ze geen lange nagels, geen nagellak, geen sieraden om, of geen jas aan. • Handelingen die meerdere malen in het examen voorkomen werden soms maar een keer uitgevoerd. Bijvoorbeeld het ontvangen van de klant. Dit moest tijdens het examen twee keer gebeuren. In onderdeel B en onderdeel D. Wan­ neer deze onderdelen achter elkaar werden afgenomen, vonden sommige leraren het overdreven om dit twee keer te doen.

27

• In verband met de tijdsdruk werden sommige onderdelen soms ingekort. Bij­ voorbeeld bij opdracht B wanneer de nagels verzorgd moesten worden. Een aantal keer hoefde er maar één hand in plaats van twee verzorgd te worden. Elektrotechniek • Het verplichten van persoonsbeschermende kleding werd uit het examen weggelaten, aangezien daar geen regels voor zijn op school en deze kleding ook niet voorradig is in het lokaal. • Een van de opdrachten waar punten voor worden toegekend is het monteren van de onderdelen in de schakelkast. Bij drie scholen heeft de inspectie ge­ constateerd dat de onderdelen reeds in de schakelkast waren gemonteerd. De examenkandidaten hoefden dit niet meer zelf te doen. • De kandidaten werden regelmatig geattendeerd, zowel individueel als klassi­ kaal, op de netheid van hun werkplek. Vervolgens werd hier bij de beoordeling geen rekening mee gehouden. • In de opdracht staat dat alle onderdelen op het bord op gelijke hoogte moeten worden gemonteerd, gelet op de hartmaat. Bij geen enkele school is hierop gelet tijdens de beoordeling. • Een van de opdrachten was dat de buis goed moest aansluiten op de schakel­ kast. Doordat het gat voor de aansluiting in de schakelkast verder van de muur afzit, moest dit in een S-bocht. Slechts bij één school werden de studenten erop beoordeeld, en moest dit met een S-bocht en/of een stuk flexibele buis. Bij de overige scholen is er in de beoordeling geen rekening mee gehouden. • Een van de opdrachten was dat de buizen goed moesten aansluiten op de schakelaar en contactdoos. Bij twee scholen was dat niet het geval. Hiervoor werden ook geen punten afgetrokken. De docent was van mening dat dit te veel werk was, omdat de aansluitingen dan moesten worden aangepast. • Een van de opdrachten was dat de studenten de schakelkast moesten bedra­ den. Bij een school constateerde de inspectie dat reeds de helft van de draden was aangelegd, en daarnaast ook de onderdelen dus in de schakelkast waren gemonteerd. Gebruik van materialen, gereedschap en hulpmiddelen Tenzij anders is aangegeven, mogen scholen alleen de materialen, het gereed­ schap en de hulpmiddelen gebruiken die zijn opgenomen in het overzicht van de voorgeschreven middelen uit de instructie voor de examinator. De examinatoren is gevraagd hoe vaak de school andere materialen, gereedschap en/of hulpmiddelen gebruikt dan is voorgeschreven (zie tabel 13). De observatoren hebben geobser­ veerd in hoeverre deze regelafwijkingen tijdens het examen voorkwamen (zie tabel 14). Van de examinatoren zegt ruim twee derde (69 procent) nooit afwijkende materialen, gereedschap of hulpmiddelen te gebruiken, 30 procent zegt dat af en toe te doen en 1 procent doet dat naar eigen zeggen regelmatig. De observaties van de feitelijke afnamepraktijk tijdens het examen geven een vergelijkbaar beeld te zien. Bij bijna de helft van de geobserveerde examens (47 procent) zijn geen afwijkende materialen, gereedschap of hulpmiddelen geconstateerd, bijna de helft van de examinatoren (48 procent) gebruikt af en toe ‘eigen’ materiaal en 5 procent gebruikt dat regelmatig.

28

Tabel 13

Gebruik van afwijkende materialen, gereedschap en hulpmiddelen (volgens de examinatoren)

N

procent

Nooit

80

69

Af en toe

35

30

Regelmatig Totaal

1

1

116

100

Tabel 14

Gebruik van afwijkende materialen, gereedschap en hulpmiddelen (zoals geobserveerd)

N

procent

Nooit

54

47

47

Af en toe

55

47

48

6

5

5

Regelmatig Missing Totaal

1

1

116

100

Valide procent

100

Voorbeelden In de vragenlijst inventarisatie regelafwijkingen hebben de studenten de meest frequente afwijkingen van de toegestane materialen, gereedschap en hulpmidde­ len omschreven. Onderstaand overzicht bevat hieruit een selectie, gerangschikt naar vak. Verwerking agrarische producten • De scholen werkten met minder of andere schoonmaakmiddelen dan op de lijst aangegeven was. Sommige scholen gebruikten maar twee middelen, waardoor de leerlingen niet hoefden te kiezen en het beoordelingscriterium ‘juiste product gebruikt’ wegviel, of gemakkelijker werd. • De temperatuur van het frituurvet hoeft niet nagemeten te worden, omdat de beschikbare thermometers hiervoor niet geschikt zijn. • Geen rodacplaatjes beschikbaar, dus heeft de docent zelf voedingsbodems gemaakt van petrischaaltjes met agar-agar. • Voor het afmeten van water en azijn werd de weegschaal gebruikt in plaats van de maatbekers. • Gebruik van vers eigeel in plaats van gepasteuriseerd. • Gebruik van mixers in plaats van gardes bij het maken van mayonaise. Handel en verkoop • Geen muntstukken van een en twee cent aanwezig (want: worden bijna ner­ gens meer gebruikt). • De prijs van het desbetreffende artikel is aangepast zodat het teruggeven van geld makkelijker wordt voor de leerling. • Er werd gebruik gemaakt van € 50,- in plaats van € 100,-, dus de gehele op­ dracht werd weggelaten. • Geen pakpapierrolhouder aanwezig, alleen losse pakpapiertjes. Geen kaart­ houders, maar briefjes met de naam van het artikel en de prijs (opgehangen). Geen flacons wasmiddel, maar andere artikelen bij onderdeel D (Kassa). • In plaats van een echt briefje van € 100,- of een op echt lijkend briefje, werd

29

een wit papiertje met het getal 100 erop gebruikt. • School gebruikte geen digitale kassa (zonder telrol) maar een kassa met scan. Daardoor zijn er geen omzetgroepen op de kassa aanwezig en kan de leerling deze niet intoetsen. Kandidaten kregen hiervoor automatisch alle punten. • Er was geen grote plastic tas van € 0,25 aanwezig tijdens het praktijkexamen. Alleen de kleine plastic tasjes van Kruidvat waren aanwezig. Uiterlijke verzorging • Op geen enkele school werd het voetenzakje gebruikt. Soms werd hiervoor in de plaats wel een extra handdoek gebruikt die om de voeten van het model werden gewikkeld bij de huidverzorging. Het haarnetje dat het model moet dragen werd slechts bij een van de drie scholen gebruikt. Het sieradenbakje dat op de tafeltjes naast de behandelstoel klaargelegd moet worden, werd vrijwel op alle scholen weggelaten. • Op een school waren sommige materialen niet aanwezig, waardoor het on­ derdeel waarbij deze materialen nodig waren werd overgeslagen. • Op geen enkele school werd rode nagellak gebruikt. Rood was in het examen aangegeven als verplichte kleur, omdat deze het moeilijkste is om aan te bren­ gen. • Op twee van de vijf scholen die zijn bezocht hadden de ‘klanten’ van de leer­ lingen geen nagellak op. Dit moest volgens het examen wel, omdat bij het examen ook het reinigen van de nagels hoorde. • In plaats van watjes werden kompressen gebruikt. • Op een aantal scholen werd niet gewerkt met desinfecteermiddel voor de materialen, maar werden de materialen gereinigd in een UV-sterilisator. • Op niet alle scholen werd gewerkt met een haarband en/of haarnetje. Deze werden niet vervangen of vervangen door een handdoek. • De bakjes met benodigdheden, die de leerlingen zelf bij elkaar hadden moeten zoeken, stonden al klaar. Elektrotechniek • De materialen en gereedschappen die nodig zijn voor het examen, zijn voor elke kandidaat van tevoren klaargelegd, waardoor de juiste keuze van gereed­ schappen moeilijker te beoordelen is. • De examinator liet de studenten niet zelf hun materialen uitzoeken, maar deelde deze aan de studenten uit, om geld op materiaalkosten te besparen. • De kandidaten hebben hun eigen gereedschapskist moeten kopen aan het begin van het jaar. Deze gebruiken ze ook tijdens het examen. Een aantal onderdelen uit deze kist wijkt af van de voorgeschreven materialen. • De school had geen voorschriften voor veilige kleding en veilig schoeisel (PBM), waardoor ook dit aspect niet te beoordelen is. • De school had in verband met geldgebrek niet de voorgeschreven materialen in huis gehaald, maar een aantal onderdelen vervangen door goedkopere of al op voorraad zijnde materialen. • Ouder type schakelkast gebruikt (kleiner), hierdoor werd het leggen van de bedrading voor de student bemoeilijkt. Pvc-beugels niet aanwezig, studenten moeten hun pvc-buis met ander beugels monteren. Geen goed gereedschap aanwezig om pvc-buis in te korten, studenten moesten een zaag gebruiken. Blauwe bedrading is niet aanwezig bij examen. Geen spiraalband aanwezig, studenten konden hun bedrading niet netjes wegwerken.

30

• De studenten kregen een lijst met materialen die ze mochten gebruiken en ook hoeveel ze daarvan mochten gebruiken. Er werd bij geen enkele school op gelet hoeveel materiaal de studenten gebruikten. Bijvoorbeeld wanneer de schakelkast moest worden gemonteerd werd er een nieuw stuk buis gepakt, terwijl de oude had moeten worden ingekort. • Er moest bij alle draden worden gewerkt met adereind hulsjes. Bij twee scho­ len hoefden de leerlingen niet altijd te werken met adereind hulsjes, bij een hiervan moesten ze dit alleen doen in de lasdoos, om te zien of ze de vaardig­ heid beheersten. • Bij geen enkele school is er gewerkt met een spiraal om de draden bij elkaar te binden in de schakelkast, wel worden er bij twee scholen tyribs gebruikt. • Bij twee scholen werd er alleen gebruik gemaakt van zwarte draad. Bij een van deze twee moesten de leerlingen de kleur aangeven op de installatietekening, bij de ander moest de kleur worden aangegeven met tape om de draden. • Er werd gewerkt met verschillende lampen bij twee scholen. Bij een school leverde dit een probleem. De docent kwam er pas bij de tweede keer testen achter dat twee van de lampen een soort spaarlampen waren, met een ver­ traging van twee seconden voordat ze aanspringen. Bij het snel testen van de installatie merk je dit niet. Hulp van de examinator Tenzij dat in de instructie voor de examinator of het correctievoorschrift anders is aangegeven, mogen kandidaten geen hulp krijgen van de examinator. De kan­ didaat worden geacht de opdrachten geheel zelfstandig uit te voeren. Uiteraard mogen examinatoren wel als aansporing en bemoediging bedoelde hulp geven, maar natuurlijk geen aanwijzingen, uitleg of hints die het examen voor de kandida­ ten makkelijker maken. De examinatoren is gevraagd hoe vaak zij kandidaten toch helpen bij het examen (zie tabel 15). De observatoren hebben geobserveerd in hoeverre deze niet-toegestane hulp voorkomt (zie tabel 16). Ruim een kwart van de examinatoren (28 procent) geeft de kandidaten geen andere dan als aansporing en bemoediging bedoelde hulp, bijna twee derde (63 procent) doet dat af en toe, 9 procent regelmatig en 1 procent vaak tot zeer vaak. Uit de observaties blijkt 16 procent van de examinatoren de kandidaten nooit op niet-toegestane wijze te helpen, ruim de helft (57 procent) doet dat af en toe, bijna een kwart (23 procent) regelmatig en 5 procent vaak tot zeer vaak. Tabel 15 Geven van hulp aan kandidaten (volgens examinatoren) N

procent

Nooit

32

28

Af en toe

73

63

Regelmatig

10

9

Vaak tot zeer vaak Totaal

1

1

116

100

31

Tabel 16

Geven van hulp aan kandidaten (zoals geobserveerd)

N

procent

1 Nooit

18

16

16

2 Af en toe

65

56

57

3 Regelmatig

26

22

23

6

5

5

4 Vaak tot zeer vaak Missing Totaal

1

1

116

100

Valide procent

100

Uit de ordinale logistische regressieanalyse blijkt dat zowel voor de interview- als de observatiegegevens de verschillen tussen vakken significant zijn (p<.05). De interviewgegevens laten zien dat examinatoren UV de kandidaten minder vaak helpen dan de overige examinatoren (zie tabel 17). De overeenkomstige analyse van de observatiegegevens leidt tot precies dezelfde conclusie (zie tabel 18). Tabel 17 Geven van hulp aan kandidaten per vak (volgens examinatoren; kolompercentages)

Nooit Af en toe Regelmatig

VAP

HV

UV

ET

Totaal

8

21

59

21

28

88

66

38

63

63

4

13

3

13

9

Vaak tot zeer vaak Totaal

100

100

100

4

1

100

100

ET

Totaal

Tabel 18

Geven van hulp aan kandidaten per vak (zoals geobserveerd; kolompercentages)

VAP Nooit

HV

UV

16

41

16

Af en toe

64

55

45

65

57

Regelmatig

24

26

7

35

23

100

100

Vaak tot zeer vaak Totaal

12

3

7

100

100

100

5

Voorbeelden In de vragenlijst inventarisatie regelafwijkingen hebben de studenten de meest frequente afwijkingen van de voorschriften voor het geven van hulp omschreven. Onderstaand overzicht bevat hieruit een selectie, gerangschikt naar vak. Verwerking agrarische producten • Het meest voorkomend waren opmerkingen en antwoorden als kandidaten de mist in dreigen te gaan. ‘Moet je hier niet nog even naar kijken? Weet je zeker dat dit goed is wat je nu doet? Kan die olie wel in een keer bij de mayonaise? Lees het eerst nog maar een keer voordat je verder gaat. Ja, dat bedoelen ze inderdaad met die vraag. Jazeker, het water moet koken bij blancheren’. • Als de leerlingen dreigden te vergeten om af te wassen werd vaak een hint gegeven. ‘Vergeet je niet iets? Weet je zeker dat je klaar bent?’

32

• Het gebruik van de rodacplaatjes was niet voor alle leerlingen duidelijk. Daar werd vaak extra uitleg over gegeven. • Een aantal leraren (twee of drie) hielp bij praktisch alles, zodat het op een gegeven moment niet meer duidelijk was of de leraar of de leerling iets had gedaan. Handel en verkoop • Examinator hielp bij het aanslaan van de kassa, deed het voor of legde uit hoe de kandidaat het moest doen (sommige examinatoren trekken hier wel punten voor af, anderen niet). • Aanwijzingen geven: ‘Je weet wat je nog meer moet controleren van tevoren hè?’ (Bij klaarmaken kassa.) Of: ‘In welke omzetgroep zit het product? Daarvoor moet je op je formulier kijken.’ (Als kandidaat het niet weet.) • De klant gaf ook hints. Bijvoorbeeld: ‘Het is een cadeautje voor mijn moeder’ (zodat de kandidaat zal vragen of het artikel moet worden ingepakt). Of: ‘Ik wil met 100 euro betalen, of nemen jullie dat niet aan?’ (Kandidaat moet aangeven dat geen briefjes van 100 worden aangenomen.) • De examinator ging in op hulpvragen van de kandidaat (als kandidaat vraagt: ‘hoe moet ik…’) en gaf aanwijzingen. • Examinator wees, nadat de kandidaat de opdracht had gelezen, een specifiek onderdeel van de opdracht aan, en vroeg: ‘Heb je dit begrepen?’ • Hulp bij het intoetsen van de getallen op de kassa (‘Zonder punt’), het gereed­ maken van de kassa (‘Lade eerst, ‘Wil je de lade openen’), attentiewaarde (‘Doe er een strik om’) en aanwijzingen over de teruggave van geld (‘Je mag niet van 100 euro teruggeven’). Uiterlijke verzorging • Als een leerling twijfelde of treuzelde, werden er tips of aanwijzingen gege­ ven. Bijvoorbeeld bij het opmaken van de prijslijst op de computer. Sommige leerlingen kregen aanwijzingen over hoe ze de prijslijst moesten uitbreiden. • Soms werd de mogelijkheid gegeven om een bepaalde handeling over te doen, omdat deze niet goed was uitgevoerd. Bijvoorbeeld het ontvangen van het model. • Vergeten handelingen werden subtiel opgenoemd en mochten achteraf worden gedaan. • Als iemand was vergeten op te ruimen werd hij erop gewezen. • Vaak werd er ‘Vergeet je niet iets?’ gevraagd, waardoor de leerlingen wisten dat ze iets vergaten. • Aan het begin werd te duidelijke uitleg gegeven, waarin al werd gezegd waar leerlingen aan moesten denken. • Vragen die te duidelijk beantwoord werden zodat leerlingen er hints uit konden halen. • Kandidaten kregen hulp bij de opdrachten op de computer, bij het openen en opslaan van de opdracht, hoe een euroteken gemaakt moest worden en soms bij het maken van een tabel. • Als een kandidaat specifiek om een tip vroeg kreeg hij deze meestal. • Als kandidaten een opdracht vergaten werd dit aangegeven, of werd nog eens nadrukkelijk gezegd dat zij goed moesten lezen. • Een aantal keer werden de examenopdrachten voorgelezen door de examina­ tor.

33

• Precies vertellen wat de examenopdracht inhoudt, met als excuus dat de kandidaat niet goed leest. • Tussen de opdrachten door vertellen dat de kandidaten iets vergeten, bijvoor­ beeld na de huidreiniging is er een kleine pauze voor de klant, dit gaf de exa­ minator aan. Elektrotechniek • Bij twee scholen werd er klassikaal uitleg gegeven over de te gebruiken ma­ terialen en gereedschappen. Ook werd de werking van het installatieschema uitgelegd aan de hand van de tekening. • De examinator gaf advies aan een kandidaat die vastgelopen was over hoe hij het beste verder kon gaan met het examen. • De examinator sprong in en deed een deel van het examen voor de kandi­ daat. • De examinator adviseerde de kandidaat bij het kiezen van zijn gereedschap. • De examinator gaf de kandidaat aanwijzingen over het opruimen van zijn werk­ plek, iets wat zelfstandig dient te gebeuren. • De examinator gaf klassikaal instructie aan de kandidaten over de aspecten waar ze goed op moesten letten tijdens hun examen. • De leerling kreeg aanwijzingen over de schakeling van de docent, nadat de schakeling niet volledig werkte na de eerste controle. • De leerling kreeg het aansluitschema (wat bij opdracht 7 van onderdeel B hoort) al bij aanvang van onderdeel B. Hierop staan namelijk de relaisgegevens die bij opdracht 6 moeten worden ingevuld. • De docent legde een stroomkringschema met de schakelkast uit, en gaf een voorbeeld van een juiste bedrading. • Bij alle scholen mochten de studenten tijdens het examen nog vragen stellen aan de docent. Hierbij werden ze meestal ook geholpen, maar wel tot op ze­ kere hoogte. Dit zonder aftrek van punten. Er werd namelijk bij het beoordelen van de opdracht niet meer naar gekeken. • Alle docenten gaven aanwijzingen over het opruimen van de werkplek, hiervoor werden geen punten afgetrokken, zolang leerlingen het maar deden. • Bij twee scholen werd de werkvolgorde van de studenten klassikaal besproken. De studenten moesten eerst aan een tafel de schakelkast monteren en daarna mochten ze pas de kast monteren op het montagebord. • Docent boog de buis voor een van de studenten, hiervoor werden geen punten afgetrokken. Kandidaten helpen andere kandidaten Tenzij dat in de instructie voor de examinator of het correctievoorschrift anders is aangegeven, mogen de kandidaten tijdens het examen niet met elkaar overleggen of elkaar helpen. De kandidaat mag uitsluitend aan de examinator om hulp vragen, en niet aan medekandidaten. De examinatoren is gevraagd hoe vaak kandidaten tijdens het examen toch hulp van andere kandidaten ontvangen (zie tabel 19). De observatoren hebben tijdens het examen geobserveerd hoe vaak kandidaten met elkaar overleggen of elkaar helpen (tabel 20). Volgens 81 procent van de examina­ toren vindt er bij hun examen nooit overleg plaats tussen kandidaten en komt het niet voor dat kandidaten elkaar helpen, terwijl dat volgens 19 procent van hen af en toe gebeurt. De observatoren hebben bij 61 procent van de examens niet ge­ constateerd dat kandidaten met elkaar overleggen of elkaar helpen, bij 29 procent

34

is er af en toe sprake van overleg of hulp, bij 9 procent regelmatig en bij 1 procent vaak tot zeer vaak. Tabel 19

Kandidaten overleggen of helpen elkaar (volgens de examinatoren)

N

procent

Nooit

94

81

Af en toe

22

19

116

100

Valide procent

Totaal

Tabel 20

Kandidaten overleggen of helpen elkaar (zoals geobserveerd)

N

procent

Nooit

70

60

61

Af en toe

33

28

29

Regelmatig

10

9

9

Vaak tot zeer vaak

1

1

1

Missing

2

2

116

100

Totaal

100

Bij de observatiegegevens brengt de ordinale logistische regressieanalyse aan het licht dat de verschillen tussen vakken significant zijn (zie tabel 21). Bij het examen HV komt het minder vaak voor dat kandidaten overleggen en elkaar helpen dan bij de examens voor de andere drie vakken het geval is. Tabel 21 Overleg en hulp tussen kandidaten per vak (zoals geobserveerd; kolompercentages) VAP

HV

UV

ET

Totaal

Nooit

38

95

41

57

61

Af en toe

46

5

48

26

29

Regelmatig

13

10

17

9

100

100

100

Vaak tot zeer vaak Totaal

1

4 100

100

Voorbeelden In de vragenlijst inventarisatie regelafwijkingen hebben de studenten de meest frequente afwijkingen van de regels om te voorkomen dat kandidaten overleggen en elkaar helpen beschreven. Onderstaand overzicht bevat hieruit een selectie, gerangschikt naar vak. Verwerking agrarische producten • Leerlingen vroegen dingen aan elkaar als de docent niet keek, of door middel van non-verbale communicatie. • Meestal waren er minder weegschalen en friteuses dan leerlingen en tijdens het afwegen en afmeten konden de leerlingen elkaar dan helpen. De leerlingen konden gemakkelijk bij elkaar afkijken bij het kiezen van een reinigingsmiddel, het afnemen, wegzetten en coderen van de rodacplaatjes en het meten van de zuurgraad.

35

• Een kandidaat werkte opzettelijk traag, zodat hij een medekandidaat exact kon kopiëren. Handel en verkoop • Kandidaten overlegden met elkaar terwijl ze bezig waren met het maken van een visuele presentatie. • Kandidaten mochten samen de kassa inruimen. • De klant werd gespeeld door een medestudent (andere kandidaat), die af en toe aanwijzingen gaf aan de kandidaat. • Tijdens het onderdeel etaleren overlegden leerlingen en hadden zij de mogelijk­ heid af te kijken bij hun klasgenoten. Uiterlijke verzorging • Simpelweg praten/vragen, afkijken bij de minitoetsen, afkijken bij de handelin­ gen als ze het niet meer wisten. • Leerlingen vertelden hun model net iets harder wat ze gingen doen en wat ze aan het doen waren, zodat de rest het ook kon volgen. • In de keukens en bij de wasbakken werd ook veel overlegd. • De meeste studenten zagen het examen niet als examen, maar als een gewone les. Ze keken bij elkaar en overlegden met elkaar. Ook werd op twee scho­ len samengedaan met spullen. Hierdoor wisten de leerlingen precies wat ze moesten doen als ze het waren vergeten. Ze konden bij hun naaste klasgenoot kijken welke stap ze moesten volgen. • Er werd bij elkaar gekeken; daar werd niks van gezegd. De leerlingen werden naast elkaar geplaatst, terwijl er genoeg andere ruimte was, hierdoor werd de mogelijkheid vergroot dat ze konden afkijken (ict). • Op alle scholen werkten de kandidaten naast elkaar, hierdoor konden zij bij elkaar kijken. Dit had tot gevolg dat zij elkaar nadeden. Zij werden hierdoor herinnerd aan handelingen die ze vergaten, maar maakten ook dezelfde fouten als hun medekandidaat. • Achter de computer werd regelmatig overlegd of een opmerking gemaakt waar een medekandidaat op reageert. In de meeste gevallen werd hierbij ingegrepen door de examinator. • Soms konden kandidaten overleggen doordat de examinator op een andere kandidaat aan het letten was, of helemaal afwezig was in het lokaal. • Soms werd een vraag gesteld aan de examinator waar een medekandidaat vervolgens antwoord op gaf. Elektrotechniek • Kandidaten overlegden met elkaar terwijl de docent in gesprek was met een andere leerling. • Kandidaten konden door de opstelling van de houten borden waarop ze werk­ ten de borden van andere kandidaten zien, wat afkijken mogelijk maakte. • Leerlingen ontvingen hulp van medestudenten bij het invullen van de relaisge­ gevens. • Het kwam regelmatig voor dat de kandidaten bij elkaar afkeken. Men keek bij elkaar op het bord en er werd ook overlegd. Na een waarschuwing van de docent dat zij punten in mindering zouden krijgen als ze het bleven doen, ging men weer zelfstandig aan het werk. Het gebeurde ook regelmatig dat de docent dit niet doorhad, doordat hij bezig was andere studenten te helpen of kasten aan het controleren was.

36

• Bij vijf van de zes scholen konden de studenten bij elkaar op het montagebord kijken (bij de andere school was dit niet het geval omdat dit een leerling betrof). Bij één school was dit zo erg, dat op het moment dat de snelst werkende persoon een fout maakte, iedereen deze fout nadeed. Behalve de persoon die achterin het lokaal werkte omdat deze niet kon afkijken. Dit is tot twee keer gebeurd. De eerste fout was dat de snelst werkende leerling de schakelkast op de plek van de lasdoos had gemonteerd. Alle leerlingen deden dus hetzelfde. De tweede fout was dat de snelst werkende met flexibele draad ging werken, waardoor iedereen dit verkeerd deed. De docent greep pas na een half uur in. • Een ander voorbeeld: twee leerlingen werkten met hun rug naar elkaar toe, maar konden wel bij elkaar kijken. Een van de leerlingen heeft de installatie in spiegelbeeld gemaakt, omdat hij bij zijn medeleerling keek en niet op zijn installatietekening. • Bij vijf scholen was het deels toegestaan om met elkaar te praten (bij een school niet, dit was de school van een leerling). De docenten grepen wel in, maar vaak pas na lange tijd. • Tijdens de pauzes van de scholen konden alle leerlingen met elkaar overleg­ gen. • Bij drie scholen is het voorgekomen dat de docent (dit waren beide scholen met een examinator) het lokaal verliet en de leerlingen dus alleen in het lokaal waren tijdens het examen. • Bij een school met erg veel leerlingen is het examen in twee keer afgenomen. De studenten van de tweede groep wisten dus precies wat de opdracht was en konden zich daarop voorbereiden. • Bij een school is de communicatie tussen de leerlingen zo erg uit de hand gelopen, dat er tijdens het examen een vechtpartij ontstond in het lokaal. Volgorde van examenonderdelen De instructie voor de examinator bevat doorgaans wel een aantal richtlijnen voor de volgorde van de examenonderdelen, maar deze zijn niet bindend. Omwille van de organiseerbaarheid van de praktijkexamens is er destijds voor gekozen om de vrijheid in de afname van de onderdelen van het praktijkexamen zo weinig mogelijk te beperken. Scholen mogen doorgaans zelf bepalen in welke volgorde zij de exa­ menonderdelen afnemen. Ruim de helft van de examinatoren (57 procent) heeft de examenonderdelen naar eigen zeggen in een afwijkende volgorde afgenomen (zie tabel 22). Examinatoren HV wijken vaker af van de geadviseerde volgorde dan hun collega’s VAP (zie tabel 23). Tabel 22 Afwijken van de geadviseerde volgorde van de examenonderdelen N

procent

Nee

50

43

Ja

66

57

116

100

Totaal

37

Tabel 23

Afwijken van de geadviseerde volgorde van de examenonderdelen per vak (kolompercentages)

VAP

HV

UV

ET

Totaal

Nee

76

21

34

54

43

Ja

24

79

66

46

57

100

100

100

100

100

Totaal

Afname minitoetsen: op één moment of afwisselend In de CSPE’s zijn de zogeheten minitoetsen met de theorievragen geïntegreerd in de praktische opdrachten. De minitoetsen moeten daarom direct voorafgaand aan of direct na afloop van de bijbehorende praktische opdracht worden afgenomen. De verwachting is dat de theorietoets daardoor minder abstract wordt en daarmee beter maakbaar. De examinatoren is gevraagd of zij de minitoetsen in strijd met de bedoeling van de examenmakers tegelijkertijd afnemen, dan wel afwisselend met de praktische opdrachten (zie tabel 24). Bijna driekwart van de examinatoren (72 procent) neemt de minitoetsen geheel volgens de regels af, dit wil zeggen afwis­ selend met de praktijkopdrachten. Een vijfde (20 procent) van de examinatoren neemt alle minitoetsen, in strijd met de adviezen, tegelijkertijd af in plaats van alternerend met de bijbehorende praktijkopdrachten. 8 procent neemt een deel van de minitoetsen afwisselend en een ander deel tegelijkertijd af. De chi-kwadraattoetsing laat zien dat de verschillen tussen vakken significant zijn (p<.05). Slechts een van de gestandaardiseerde residuen is groter dan 1.96 (of kleiner dan -1.96): examinatoren UV zijn naar verhouding sterker vertegenwoordigd in de categorie ‘tegelijkertijd’ (zie tabel 25). Tabel 24 Simultane versus afwisselende afname van de minitoetsen N

procent

Valide procent

Tegelijkertijd

23

20

20

Afwisselend

83

72

72

Zowel tegelijkertijd als afwisselend

9

8

8

Missing

1

1

116

100

Totaal

100

Tabel 25

Simultane versus afwisselende afname van de minitoetsen per vak (kolompercentages)

VAP

HV

UV

ET

Totaal

Tegelijkertijd

12

16

38

13

20

Afwisselend

88

68

59

79

72

16

3

8

8

100

100

100

100

Zowel tegelijkertijd als afwisselend Totaal

100

Minitoetsen: op papier of digitaal Scholen mochten in 2008 nog gebruik maken van de papieren minitoetsen, maar moesten de pdf-bestanden dan wel zelf printen van de cd-rom die zij van het Cito ontvingen. Van de examinatoren nam 79 procent de minitoetsen zoals bedoeld

38

alleen digitaal af, 18 procent alleen op papier en 3 procent nam een deel van de minitoetsen digitaal af en een ander deel op papier (zie tabel 26). Tabel 26 Afname van de minitoetsen per computer versus op papier N

procent

Op papier

21

18

Digitaal

92

79

Zowel op papier als digitaal Totaal

3

3

116

100

Regelgetrouwheid bij de afname van het praktijkexamen In een aanvullende analyse is nagegaan welk deel van de examinatoren de voor­ schriften voor de afname volledig respecteert, dat wil zeggen geen examenopdrach­ ten toevoegt, weglaat, vervangt of aanpast, geen ander dan het voorgeschreven materiaal gebruikt, kandidaten geen andere dan als aansporing en bemoediging bedoelde hulp geeft, en ervoor zorgt dat kandidaten niet onnodig overleggen of elkaar helpen. Van de 116 geïnterviewde examinatoren kan 14 procent volgens ei­ gen opgave als volledig regelgetrouw gekarakteriseerd worden, terwijl 35 procent, 31 procent, 16 procent en 4 procent respectievelijk drie, twee, een en geen van de vier voorschriften volledig naleeft (zie tabel 27). De ordinale logistische regres­ sieanalyse van de verschillen tussen vakken geeft significantie te zien (p<.05). In vergelijking met hun collega’s van andere vakken leven examinatoren ET deze afnamevoorschriften beter na. Zo bedraagt voor UV het percentage volledig regel­ getrouwe examinatoren 31 procent, tegen 4, 11, en 8 procent voor respectievelijk VAP, HV en ET. Tabel 27 Aantal nageleefde voorschriften voor de afname van het praktijkexamen (interviewgegevens; kolompercentages) Aantal nageleefde voorschriften Geen

VAP

HV

UV

8

Totaal

13

4

17

16

Eén

36

11

Twee

32

39

21

29

31

Drie

20

39

45

33

35

Vier Totaal

3

ET

4

11

31

8

14

100

100

100

100

100

Merk op dat het hier gaat om zelfrapportages. De observaties van de afnamesitu­ atie geven een vergelijkbaar beeld te zien (zie tabel 28). Blijkens de observaties bedraagt het percentage examinatoren dat de voorschriften voor de afname volledig respecteert vier procent (terwijl 22 procent, 29 procent, 28 procent en 17 procent respectievelijk drie, twee, een en geen van de vier voorschriften volledig naleeft). De ordinale logistische regressieanalyse van de verschillen tussen vakken geeft significantie te zien (p<.05). Examinatoren HV houden zich beter aan de beoorde­ lingsvoorschriften dan hun collega’s VAP, UV en ET.

39

Tabel 28 Aantal nageleefde voorschriften voor de afname van het praktijkexamen (observatiegegevens; kolompercentages) VAP

HV

UV

ET

Geen

Aantal nageleefde voorschriften

32

3

17

25

17

Eén

32

26

24

29

28

Twee

24

34

31

25

29

Drie

12

34

14

21

22

3

14

100

100

Vier Totaal

100

Totaal

4 100

100

Een vergelijkbare analyse is uitgevoerd voor de adviezen uit de instructie voor de examinator met betrekking tot de volgorde van de examenonderdelen, het afwis­ selend in plaats van op één moment afnemen van de minitoetsen en digitaal in plaats van schriftelijk afnemen van de minitoetsen. Van alle examinatoren houdt 35 procent zich volgens eigen opgave volledig aan deze drie afnameadviezen, (terwijl 30 procent, 30 procent en 5 procent respectievelijk twee, een en geen van de drie adviezen opvolgt; zie tabel 29). De examinatoren die de adviezen volgen, nemen de examenopdrachten af in de geadviseerde volgorde, nemen alle minitoetsen direct voorafgaand of direct na de bijbehorende praktijkopdracht af, en nemen de minitoetsen uitsluitend digitaal af. Uit de ordinale logistische regressieanalyse blijkt dat examinatoren HV de adviezen in vergelijking met hun collega’s van de drie andere vakken minder goed opvolgen. Tabel 29 Aantal nageleefde adviezen voor de afname van het praktijkexamen (interviewgegevens; kolompercentages) Aantal nageleefde adviezen

VAP

HV

UV

ET

5

10

4

5

12

45

34

21

30

Twee

28

34

28

29

30

Drie

60

16

28

46

34

100

100

100

100

100

Geen Eén

Totaal

3.3

Totaal

Beoordeling van de kandidaten

Examinatoren worden geacht de kandidaten te beoordelen volgens de door de overheid verstrekte normen. Met betrekking tot de beoordeling zijn gegevens ver­ zameld over de wijze waarop examinatoren omgaan met de voorschriften voor het toekennen van scores aan kandidaten. Daarnaast is gekeken naar het gebruik van ‘eigen’ beoordelingsmiddelen naast het verplichte correctievoorschrift. Eigen interpretaties van beoordelingsaspecten In het correctievoorschrift is zo precies mogelijk aangegeven hoe examinatoren de kandidaten moeten beoordelen. Zij worden geacht de beoordelingsaspecten te interpreteren zoals dat in het voorschrift is aangegeven. De examinatoren is ge­ vraagd hoe vaak zij beoordelingsaspecten op een andere manier interpreteren dan het beoordelingsschema aangeeft (zie tabel 30). Ruim een derde (36 procent) zegt

40

de beoordelingsaspecten nooit anders te interpreteren, ruim de helft (57 procent) doet dat naar eigen zeggen af en toe, 6 procent regelmatig en 1 procent vaak tot zeer vaak. Tabel 30 Eigen interpretaties van de beoordelingsaspecten N

procent

Valide procent

Nooit

42

36

36

Af en toe

66

57

57

7

6

6

Regelmatig Vaak tot zeer vaak (‘Ik interpreteer aspecten vooral op eigen wijze’) Totaal

1

1

1

116

100

100

Letten op minder beoordelingsaspecten In het correctievoorschrift zijn de aspecten waar de examinator bij het beoordelen op moet letten precies aangegeven. Examinatoren worden geacht alle genoemde aspecten in hun beoordeling te betrekken. De examinatoren is gevraagd hoe vaak zij op minder beoordelingsaspecten letten dan het correctievoorschrift voorschrijft (zie tabel 31). De observatoren hebben geobserveerd in hoeverre examinatoren al dan niet bewust aspecten over het hoofd zagen (zie tabel 32). Ruim twee derde (69 procent) van de examinatoren let naar eigen zeggen nooit op minder aspecten dan waar zij volgens het correctievoorschrift op moeten letten, ruim een kwart (28 procent) zegt dat af en toe te doen, 3 procent regelmatig en 1 procent vaak tot zeer vaak. De overeenkomstige percentages voor de observatiegegevens zijn 51 procent (nooit), 37 procent (af en toe), 12 procent (regelmatig) en 1 procent (vaak tot zeer vaak). Tabel 31 Letten op minder beoordelingsaspecten dan het correctievoorschrift aangeeft (volgens de examinatoren) N

procent

Nooit

80

69

Af en toe

32

28

Regelmatig

3

3

Vaak tot zeer vaak (‘Ik hanteer vooral eigen beoordelingsaspecten’)

1

1

116

100

Totaal

Tabel 32

Letten op minder beoordelingsaspecten dan het correctievoorschrift voorschrijft (zoals geobserveerd)

N

procent

Nooit / niet waargenomen

57

49

Valide procent 51

Af en toe

41

35

37

Regelmatig

13

11

12

Vaak tot zeer vaak

1

1

1

Missing

4

3

116

100

Totaal

100

41

Voorbeelden In de vragenlijst inventarisatie regelafwijkingen is de studenten gevraagd voorbeel­ den te geven van het negeren van verplichte beoordelingsaspecten. Onderstaand overzicht bevat hieruit een selectie, gerangschikt naar vak. Verwerking agrarische producten • Vaak werd er niet op gelet of de aardappels in de lengterichting tot friet waren verwerkt. • De docenten konden niet alle leerlingen beoordelen op het maken van de mayonaise. • Er werd vooral te weinig gecontroleerd of leerlingen de juiste hoeveelheden van ingrediënten gebruikten. • De kleur van de frietjes werd niet door de docenten beoordeeld. • De berekeningen werden niet beoordeeld. De docent keek alleen globaal of er iets was ingevuld. De criteria ‘juist berekend’ vielen dus weg. • Bij de hygiëne werden gewoon de punten toegekend, zonder dat de handen gewassen waren. • Bij het schillen en snijden van de frites en het weghalen van de plekken zijn vaak hogere punten toegekend, ondanks dat de lengte van de frites niet in orde was en er nog plekken op zaten. • Het schoonmaken, afwassen en opruimen werd vaak klakkeloos goedgekeurd, hoewel dit in het correctievoorschrift nauwkeuriger beschreven is. Handel en verkoop • Deelscores werden toegekend zonder beoordeling vanwege een afwijkende uitvoering van de opdracht. Bijvoorbeeld omdat de kassa-lade al was inge­ ruimd. Of omdat de klant zelf om een tasje vroeg in plaats van dat de kandidaat het vroeg. Toch werden hiervoor punten toegekend. • De examinator zag beoordelingsaspecten over het hoofd. • De examinator keek bij bepaalde onderdelen meer naar hoe de kandidaat de opdracht in het algemeen had uitgevoerd, dan naar de verschillende beoorde­ lingsaspecten (bijvoorbeeld: ‘Dat inpakken deed hij niet zo goed, daar krijgt hij maar een punt voor’). • Docent beoordeelde niet of de telrol was gecontroleerd, de kassa was gecon­ troleerd op de juiste werking, het ontvangen geld pas in de la werd gedaan nadat het wisselgeld was teruggeven, er zo min mogelijk wisselgeld werd teruggegeven en het terug te ontvangen bedrag correct was teruggegeven. • Bij het onderdeel kassa kreeg de leerling punten ook al was de telrol niet ge­ controleerd, het artikel technisch niet correct ingepakt en het tasje van € 0,25 niet afgerekend. • Bij de tweede, derde en vierde observatie-eenheid werden niet alle aspecten nagelopen, en werd er globaal een aantal punten toegekend. • De omzetgroep kon niet worden aangeslagen. De leerling kreeg echter wel een punt voor het juist aanslaan van het bedrag en de omzetgroep. Uiterlijke verzorging • Bij opdracht 4 moet alles er liggen. Dit was bijna nooit het geval, maar punten werden toch toegekend. • De examinator keek meer naar het geheel in plaats van dat hij specifiek de punten af ging. Bij opdracht 8, de gezichtsbehandeling, werd niet echt gelet

42

•

•

• •

op de volgorde van het verdelen van de reinigingsmelk, maar meer op het eindresultaat. Ze vonden de examenopdracht te ‘veeleisend’ voor zo’n leerling. Bij dezelfde opdracht werd om dezelfde redenen niet echt gelet op de volgorde van het verwijderen van de reinigingsmelk. Op veel scholen werd niet gelet op de binnenkomst van de klant. De begroeting vond helemaal niet plaats. Toch er werd het volledig aantal punten door de docent toegekend. Volgens het examen moesten de leerlingen aan hun klant vertellen wat ze gingen doen. Elke stap moest worden uitgelegd. Bijvoorbeeld: ‘Ik ga nu uw gezicht reinigen met reinigingslotion.’ Opvallend was dat hier erg laks over werd gedaan, door de leerlingen (het is natuurlijk vreemd om dit officieel te doen tegenover je beste vriendin of je moeder), maar ook door de docent. Deze gaf vaak toch het volledig aantal punten. Leerlingen kregen toch twee punten omdat ze één ding ’heel goed‘ deden. In de opdracht waarbij de kandidaat de klant moest verwelkomen, werd de eigen naam niet genoemd en werd er geen hand gegeven.

Elektrotechniek • Opdracht 4c: veilig werken. Vanwege het gebrek aan voorschriften over PBM’s (beschermende kleding) besloot de docent hier automatisch een punt voor toe te kennen. • Alle docenten geven de volle punten voor het gebruik van persoonlijke be­ schermingsmiddelen. Terwijl twee scholen hier regels voor hebben en dus leerlingen hierop kunnen beoordelen. • Opdracht 7b: aansluiting schakelkast op installatie van onderdeel A (2). De do­ cent keek niet of de schakelkast daadwerkelijk op de juiste hoogte (hartmaat) gemonteerd was, maar keek vluchtig of het ongeveer goed zat en kende een punt toe. • De examinator heeft het tijdens het examen vanwege een te grote groep kandidaten te druk om op beoordelingsaspecten te letten en beoordeelt het daarom op basis van een algemene indruk die hij tijdens het afgelopen jaar heeft opgedaan van zijn leerlingen. Dit geldt voor het werken in de juiste volg­ orde, de netheid van de werkplek en veilig werken. • Opdracht 4b: De docent let niet of nauwelijks op de overzichtelijkheid. • Docenten geven in bijna alle gevallen de volledige punten voor het juiste ge­ bruik van gereedschap van materialen en/of gereedschap. Terwijl dit niet altijd terecht was. • De leerling krijgt toch een punt voor de overzichtelijkheid van de werkplek. • Opdracht 6b. De docent telt de onjuiste bedrading niet, maar geeft een ‘globale’ beoordeling. • Bij één leerling werd de buis ingekort terwijl alle draden er nog in zaten, hier­ voor geen aftrek van punten. • Bij de vijfde observatie-eenheid wordt er gelet op de aansluiting van de schakel­ kast op onderdeel A. Hier wordt ook gelet op de hartmaat. Hierop is niet gelet door de docenten. De leerlingen zijn hier in de meeste gevallen beoordeeld op de netheid van de installatie. Is alles recht? Bochten in negentig graden? Letten op andere beoordelingsaspecten In het correctievoorschrift is aangegeven op welke beoordelingsaspecten de exa­ minator precies moet letten. Examinatoren mogen alleen de genoemde aspecten

43

in hun beoordeling betrekken. De examinatoren is gevraagd hoe vaak zij op andere beoordelingsaspecten letten dan het beoordelingsschema aangeeft (zie tabel 33) en de observatoren hebben dit getracht te observeren (zie tabel 34). Ruim de helft (53 procent) van de examinatoren betrekt naar eigen zeggen nooit eigen aspecten in de beoordeling, ruim een derde (34 procent) doet dat af en toe, een tiende regelmatig en 3 procent vaak tot zeer vaak. De observatoren hebben bij 62 procent van de bijgewoonde afnames niet waargenomen dat de examinatoren ei­ gen beoordelingsaspecten in de beoordeling betrekt, ruim een derde (35 procent) van de examinatoren doet dat af en toe, 3 procent regelmatig en 1 procent vaak tot zeer vaak. Tabel 33 Letten op andere beoordelingsaspecten dan het correctievoorschrift voorschrijft (volgens de examinatoren) N

procent

Nooit

62

53

Af en toe

39

34

Regelmatig

12

10

Vaak tot zeer vaak (‘Ik hanteer vooral eigen beoordelingsaspecten’) Totaal

3

3

116

100

Tabel 34

Letten op andere beoordelingsaspecten dan het correctievoorschrift voorschrijft (zoals geobserveerd)

N

procent

Nooit / niet waargenomen

70

60

Valide procent 62

Af en toe

39

34

35

Regelmatig

3

3

3

Vaak tot zeer vaak

1

1

1

Missing

3

3

116

100

Totaal

100

Voorbeelden In de vragenlijst inventarisatie regelafwijkingen is de studenten gevraagd voorbeel­ den te geven van het toevoegen van eigen beoordelingsaspecten. Onderstaand overzicht bevat hieruit een selectie, gerangschikt naar vak. Verwerking agrarische producten • Bij het berekenen van de gemiddelden beoordeelden sommige docenten het aantal decimalen waarop de leerling afrondde. De leerling moest dit doen zoals in de les geleerd. • De leerlingen waren gewend om vooraf aan de les alles te reinigen met soda. Hier werden ze op het examen ook op beoordeeld. Anders kregen ze een punt aftrek bij de eerste opdracht waarbij schoongemaakt moest worden. • De leerlingen waren gewend om bij het afwassen een afdruiprekje te gebrui­ ken, ook dit werd meegenomen in de beoordeling van de onderdelen waar afgewassen en opgeruimd moest worden. Handel en verkoop • De examinator beoordeelt de kandidaat op basis van vergelijking met andere

44

• • •

•

•

•

kandidaten (bijvoorbeeld: kandidaat x kreeg voor dit onderdeel 1 punt, dan krijgt kandidaat y er 2, want hij deed het beter). Bij de beoordeling van de attentiewaarde van een pakje let de examinator ook op of het technisch goed is ingepakt. De examinator let op het aantal pogingen dat de kandidaat heeft ondernomen om het pakje in te pakken of op het tempo van inpakken. De examinator let op hoe de kandidaat het in het algemeen deed op het betref­ fende onderdeel in plaats van alleen naar de beoordelingaspecten te kijken. (bijvoorbeeld: ‘ik vind dat hij in ieder geval een punt moet krijgen). De examinator vindt dat er bij de visuele presentatie ook een beoordelings­ aspect had moeten zijn over of de kandidaat voldaan heeft aan het aantal kledingstukken in de presentatie. Omdat hier geen beoordelingsaspect over is opgenomen, beoordeelt hij strenger op andere aspecten, wanneer de kan­ didaat maar één kledingstuk gepresenteerd heeft. De docent beoordeelt eigen aspecten: de uitleg van de weigering van 100 euro, of het pakje symmetrisch is ingepakt (technisch correct), hoe iemand is in de les (bij het onderdeel klantvriendelijkheid), de manier waarop het geld wordt teruggegeven en hoe de kandidaat reageert wanneer er ineens een mobiel afgaat. Bij opdracht 4 van onderdeel B werd er gelet op de staat van de handdoeken die de kandidaten meegenomen hadden. Wanneer deze gerafeld waren, kre­ gen zij daarvoor punten aftrek. Hier was in de lessen veel aandacht aan besteed en dit kwam in het examen niet terug. Omdat het volgens de examinator een belangrijk aspect was, werd daar, ondanks dat het niet in het correctievoor­ schrift stond, toch op gelet.

Uiterlijke verzorging • Bij veel opdrachten werden eigen beoordelingsaspecten toegevoegd, omdat de leerlingen deze aangeleerd zouden hebben gekregen. De leraren schreven deze er niet bij. Later in het interview, gaven ze zelf aan eigen beoordelingsa­ specten toe te voegen. Bijvoorbeeld hoe ‘verzorgd’ ziet de behandeling eruit, doen ze ook de aangeleerde extra kleine handelingen, et cetera. • Een school gaf duidelijk aan dat ze op andere beoordelingsaspecten letten, namelijk handelingen die ze hun kandidaten hadden aangeleerd in de opleiding die officieel niet in het examen hoorden, maar ze toch moesten uitvoeren. • De huidreiniging wordt gedaan zoals de leerlingen het hebben geleerd. Vooral het gebruik van een kompres kwam geregeld voor. Elektrotechniek • Ik heb meegemaakt dat de examinator een ander beoordelingsformulier ge­ bruikte dan het beoordelingsformulier van het Cito. En in het interview achteraf bleek volgens de examinator dat het niet gebeurde. • Opdracht 4b: werken in de juiste volgorde. De docent let bij het uitvoeren van de opdracht meer op de nette afwerking van het eindproduct en kijkt nauwe­ lijks naar in hoeverre de correcte volgorde wordt aangehouden. • Bij de vierde observatie eenheid, waarin de bedrading van de schakelkast werd beoordeeld, hebben de docenten beoordeeld op de werking van de installatie. Niet op de verkeerde draden. • Docenten hebben niet in alle gevallen gelet op de persoonlijke beschermings­ middelen.

45

• Bij een school geeft de docent een cijfer zoals hij dat ook in de les zou heb­ ben gedaan. Daarna gaat hij kijken hoe dit cijfer gevormd kan worden door de beoordelingsaspecten. Deze let dus op andere punten. • Bij een school wordt de parallel schakeling apart van de serie schakeling beoor­ deeld. De leerling kan voor de werking van een van beide dus ook nog punten krijgen. Te streng beoordelen In het correctievoorschrift is aangegeven hoeveel punten de kandidaat voor een zwakke, middelmatige of goede prestatie moet krijgen. Examinatoren worden ge­ acht kandidaten niet minder punten te geven dan is voorgeschreven. De examina­ toren is gevraagd in hoeverre zij strenger beoordeelden dan het correctievoorschrift voorschrijft (zie tabel 35) en de observatoren hebben getracht deze regelafwijking via observatie vast te stellen (zie tabel 36). Ruim twee derde van de examinatoren (69 procent) beoordeelt de kandidaten naar eigen zeggen nooit strenger dan het correctievoorschrift voorschrift, 29 procent zegt dat af en toe te doen en 2 procent regelmatig. De observatoren hebben bij ruim driekwart (78 procent) van de afna­ men niet waargenomen dat examinatoren te streng beoordeelden, bij 21 procent gebeurde dat af en toe en bij 1 procent regelmatig. Uit het relatief grote aantal van vier ontbrekende waarnemingen kan men afleiden dat dit aandachtspunt voor sommige studenten moeilijk te observeren was. Tabel 35 Strenger beoordelen dan het correctievoorschrift voorschrijft (volgens de examinatoren) N

procent

Nooit

80

69

Af en toe

34

29

Regelmatig Totaal

2

2

116

100

Tabel 36

Strenger beoordelen dan het correctievoorschrift voorschrijft (zoals geobserveerd)

N

procent

Valide procent

Nooit / niet waargenomen

87

75

78

Af en toe

24

21

21

Regelmatig

1

1

1

Missing

4

3

116

100

Totaal

100

De ordinale logistische regressieanalyse laat zien dat het verschil tussen vakken voor de observatiegegevens significant is (p<.05). Examinatoren UV en ET blijken minder vaak strenger te beoordelen dan het correctievoorschrift voorschrijft dan hun collega’s VAP en HV (zie tabel 37).

46

Tabel 37

Strenger beoordelen dan het correctievoorschrift voorschrijft per vak (zoals geobserveerd; kolompercentages)

VAP

HV

UV

ET

Totaal

Nooit / niet waargenomen

64

58

100

95

78

Af en toe

36

39

5

21

100

100

Regelmatig Totaal

1

3 100

100

100

Voorbeelden In de vragenlijst inventarisatie regelafwijkingen is de studenten gevraagd voorbeel­ den te geven van het te streng beoordelen van kandidaten. Onderstaand overzicht bevat hieruit een selectie, gerangschikt naar vak. Verwerking agrarische producten • Docenten denken dat de kandidaten meer kunnen dan in het examen is be­ schreven, daar de kandidaten veelal stage hebben gelopen in de horeca en het examen hierdoor makkelijker aankunnen. De docent past het beoordelen aan het niveau van de lessen aan, dit niveau is soms hoger dan het praktijk­ examen. • Apathie tegen kandidaat waardoor de docent taalgebruik, lichaamshouding en dergelijke meetelt. Handel en verkoop • Compensatie voor eigen aspecten die de examinator in het beoordelings­ schema had willen terugzien, maar er niet in staan. Dan strenger beoordeeld op andere aspecten. • Het toekennen van punten is niet goed bestudeerd. • Het inpakken werd strenger beoordeeld, omdat de docent hier zo vaak mee heeft geoefend dat hij dit niveau eiste van zijn studenten. Uiterlijke verzorging • De kandidaten hebben de opdracht vaker geoefend. • De kandidaat heeft zich het hele jaar slecht gedragen (spijbelen, verzuim, onhandelbaar). • De docent vindt de opdracht te gemakkelijk voor de kandidaat, waardoor ze strenger beoordeelt. Elektrotechniek • De examinator is ervan overtuigd dat de kandidaat beter kan presteren dan dat hij op het moment doet. • De examinator vermoedt dat de kandidaat afkijkt maar kan dit niet bewijzen. • De examinator is vanaf het begin al overtuigd dat de kandidaat het niet gaat redden. • Belangrijkste reden voor het strenger beoordelen is dat de docent niet meer objectief kijkt naar bepaalde zaken. Op basis van ervaring van het afgelopen jaar/jaren, geeft de docent vaak (onterecht) de hardwerkende student meer punten dan hem/haar toekomt en vice versa. • Door de subjectiviteit van de docent krijgen sommige studenten minder punten toebedeeld dan hen toekomt. Met name in de situatie waarin de docent het

47

zich niet meer voor de geest kan halen. • Er is een situatie geweest waarin ik dit heb opgemerkt, de reden hiervoor was dat de docent het niet eens is met de inhoud en focus van het examen. Te soepel beoordelen In het correctievoorschrift is aangegeven hoeveel punten de examinator voor een zwakke, middelmatige of goede prestatie moet toekennen. Examinatoren worden kandidaten niet meer punten te geven dan is voorgeschreven. De examinatoren is gevraagd in hoeverre zij soepeler beoordeelden dan het correctievoorschrift aan­ geeft (zie tabel 38) en de observatoren hebben geobserveerd hoe vaak dit tijdens het examen plaatsvond (zie tabel 3). Bijna de helft (48 procent) van de examinatoren zegt nooit soepeler te beoordelen dan het correctievoorschrift aangeeft, eveneens bijna de helft (49 procent) doet dat naar eigen zeggen af en toe en 3 procent zegt dat regelmatig te doen. De observaties van het beoordelingsgedrag geven een soortgelijk beeld te zien. Bij 21 procent van de afnamen hebben de observatoren niet waargenomen dat examinatoren soepeler beoordelen, bij 57 procent observeer­ den zij dat af en toe, bij 21 procent regelmatig en bij 1 procent vaak tot zeer vaak. Tabel 38 Soepeler beoordelen dan het correctievoorschrift voorschrijft (volgens de examinatoren) N

procent

Valide procent

Nooit

55

47

48

Af en toe

56

48

49

Regelmatig

4

3

3

Missing

1

1

116

100

100

Valide procent

Totaal

Tabel 39

Soepeler beoordelen dan het correctievoorschrift voorschrijft (zoals geobserveerd)

N

procent

Nooit / niet waargenomen

24

21

21

Af en toe

64

55

57

Regelmatig

23

20

21

Vaak tot zeer vaak (De examinator hanteert vooral eigen normen)

1

1

1

Missing

4

3

116

100

Totaal

100

De ordinale logistische regressieanalyse laat zien dat het verschil tussen vakken voor de observatiegegevens significant is (p<.05). Examinatoren UV blijken minder vaak te soepel te beoordelen dan het correctievoorschrift voorschrijft dan hun col­ lega’s voor de andere drie vakken (zie tabel 40).

48

Tabel 40

Soepeler beoordelen dan het correctievoorschrift voorschrijft per vak (zoals geobserveerd; kolompercentages)

VAP

HV

UV

ET

Nooit / niet waargenomen

12

14

45

14

21

Af en toe

64

53

48

68

57

Regelmatig

20

33

7

18

21

Vaak tot zeer vaak (De examinator hanteert vooral eigen normen) Totaal

1

4 100

Totaal

100

100

100

100

Voorbeelden In de vragenlijst inventarisatie regelafwijkingen is de studenten gevraagd voorbeel­ den te geven van het te soepel beoordelen van kandidaten. Onderstaand overzicht bevat hieruit een selectie, gerangschikt naar vak. Verwerking agrarische producten • Bij het maken van de mayonaise werden twee of drie punten gegeven terwijl er twee of meer fouten gemaakt werden. • Kandidaat meet niet goed en voegt niet goed toe, maar krijgt toch twee punten. • Kandidaat vult foute antwoorden in, vergeet plaatje, reinigt aanrecht niet juist, vergeet in broedstoof te plaatsen, maar krijgt telkens toch een punt voor de moeite. • Aan het begin, het wassen van de handen, een schort om, werden alle punten onterecht toegekend. • Kandidaat gebruikt het glas water niet of draagt de theedoek over de schouder, maar krijgt toch de maximale score. Handel en verkoop • De kandidaten kregen allemaal de maximale score voor het klaarmaken van de kassa, terwijl ze niet alle aspecten goed deden. Het kwam ook voor dat de examinator afwezig was terwijl de kandidaat de kassa voorbereidde, en dat de leerling dan toch gewoon de punten kreeg toegekend. • Een kandidaat zei achter de kassa ‘maakt het uit’ toen de klant klaagde dat ze twee cent te weinig korting kreeg (wegens afronden). Toch gaf de examinator twee punten voor klantvriendelijkheid. Ook vroeg een kandidaat achter de kassa tijdens een gesprekje met de klant naar diens leeftijd (en kreeg toch de punten voor klantvriendelijkheid). De kandidaat noemde achter de kassa het verkeerde bedrag aan de klant, maar de examinator had dat niet in de gaten en gaf toch de punten hiervoor. De examinator ziet fouten door de vingers: de kandidaat noemde het verkeerde bedrag en zei later dat de klant een bepaald bedrag terugkreeg, terwijl de klant het moest betalen. Toch rekende de exa­ minator het goed. • De kandidaat geeft een niet volledig juiste uitleg, beschrijft het milieuaspect niet volledig of stelt zich niet voortdurend vriendelijk op naar de klant, maar toch kent de examinator het maximale aantal punten hiervoor toe. • Bij opdracht 8b kreeg de leerling als hij vijf van de zeven onderdelen goed had toch twee punten, maar volgens de voorschriften zou hij dan maar een punt verdienen. Voor de attentiewaarde kregen de studenten altijd twee punten, hoe

49

het pakje er ook uit zag. Voor de vriendelijkheid kregen de studenten meestal twee punten. De docent zag dan een of twee onvriendelijkheden door de vingers. • Examinatoren gaven kandidaten vaak twee punten voor klantvriendelijkheid (onderdeel Kassa), omdat ze nul punten zo weinig vonden. Terwijl ze vaak liever een punt zouden geven, omdat de kandidaat niet héél vriendelijk was. Bij dit onderdeel is nul punten weinig gegeven. Uiterlijke verzorging • Bij het verdelen van de reinigingsmelk werd niet zozeer op de volgorde gelet. Als de examenkandidaten het ‘redelijk’ deden en bijvoorbeeld alleen de volg­ orde (van decolleté naar gezicht) niet goed hadden, konden ze alsnog de volle punten krijgen. • Bij de ontvangst van het model, opdracht 6, werden handelingen vergeten. Toch kregen veel leerlingen alsnog een punt. • Er was een enkel geval van een hoogzwangere examenkandidate. Zij mocht het rustiger aan doen qua tijd en er werd qua punten ook niet zo streng afgerekend in het praktijkgedeelte. • Op een school gaf de examinator aan dat hij sommige leerlingen gewoon het volledig aantal punten gaf omdat hij graag wilde dat ze zouden slagen. Hij vond dat ze te lang op school hadden gezeten en hij wilde dat ze van school af zouden gaan. Ook al zouden de meiden ‘officieel’ niet slagen, dan zou hij er wel voor zorgen dat het zou gebeuren. • Nagels moeten officieel gelakt zijn, maar bij sommigen was dit niet zo, toch kregen ze maximum score. • Veel kandidaten kwamen in tijdnood. Er werd op de meeste scholen soepeler omgegaan met de tijd dan stond voorgeschreven in het examen. In de meeste gevallen omdat de examinator het zonde vindt als de kandidaat moet haasten tijdens het examen of puntenaftrek krijgt omdat de kandidaat het examen niet afkrijgt in de tijd die ervoor staat. • Op sommige scholen legden er veel kandidaten tegelijk het examen af. De examinator kan dan niet alle kandidaten tegelijk observeren en wanneer de examinator de handeling niet gezien had, werd deze goedgekeurd. • Op sommige scholen was het te rommelig om goed te kunnen observeren. • Bij sommige oefeningen vonden sommige examinatoren de beoordeling te streng. Bijvoorbeeld wanneer er voor een opdracht zes handelingen uitgevoerd moesten worden en voor zes goede handelingen er twee punten verdiend konden worden en voor vijf goede handelingen maar een punt. Soms kregen kandidaten voor vijf goede handelingen toch twee punten. • Bij opdracht 5 uit onderdeel B van het examen werd soms een eigen volgorde goed gerekend, omdat kandidaten het anders aangeleerd hadden. Of men vond de beoordeling te streng, omdat het een moeilijke opdracht was en be­ oordeelden de opdracht dus soepeler dan in het correctievoorschrift stond. Elektrotechniek • Opdracht 4b: werken in de juiste volgorde. De docent zag dat een kandidaat een aantal keer niet in de goede volgorde werkte, maar weet dit aan zenuwen en faalangst. Hij neemt het niet in de juiste volgorde werken niet in de beoor­ deling mee. • Opdracht 7: het testen van de werkzaamheid van de installatie (als de installatie

50

•

•

•

• • • •

• •

•

•

•

•

•

niet blijkt te werken mag de kandidaat een keer proberen dit te verbeteren met vermindering van punten). De examinator laat de kandidaten onbeperkt testen of hun installatie werkt zonder daarvoor punten in mindering te brengen. Gehele examen: de docent kent op eigen gelegenheid extra examentijd toe aan kandidaten om rekening te houden met allerlei persoonlijke omstandigheden (faalangst, fysieke handicap, moeilijke thuissituatie, autisme en dergelijke). Een kandidaat die op de grens zit tussen zakken en slagen heeft twee keer de installatie laten testen en deze blijkt niet te werken. Om hem toch de kans te geven om te slagen mag de kandidaat een keer extra testen en krijgt bij een werkzaam resultaat alsnog de helft van de punten. Opdracht 4d: netheid werkplek. De examinator ruimt het klaslokaal na afloop van het examen op en laat de netheid van individuele werkplekken buiten beschouwing bij de beoordeling (kent automatisch een punt toe). Opdracht 4c: De docent geeft een punt aan de examenkandidaat, terwijl deze tot een paar keer toe zijn gereedschap niet op de juiste manier hanteerde. Opdracht 6b: De docent geeft te weinig puntenaftrek bij onjuiste bedrading. Opdracht 7b: Bij een van de bedradingen in de universele lasdoor is een ko­ peren kern zichtbaar. De student krijgt hiervoor geen puntenaftrek. Op twee na hebben alle leerlingen de volledige punten gekregen voor de netheid van de werkplek, terwijl dit niet altijd het geval was. En de docent aanwijzingen heeft moeten geven voor het opruimen van de werkplek. Een van de twee leerlingen heeft een tang kwijt gemaakt, vandaar de aftrek. De docenten geven punten voor PBM terwijl de leerlingen dit op de school niet hoeven te gebruiken en het dus ook niet te beoordelen valt. Het juiste gebruik van materiaal en gereedschap wordt in de meeste gevallen beoordeeld met twee punten terwijl de docent hier vaak bij moest helpen en/ of corrigeren. Bij de beoordeling van de werking van de installatie werken enkele docenten met een score die tussen beide in ligt. Nu is het zo dat bij werking in een keer de student twaalf punten krijgt en bij werking na twee keer zes en wanneer de installatie dan nog niet werkt nul punten. Veel docenten vonden dit te streng. Op twee scholen hebben de docenten gebruik gemaakt van een tussenstap van drie punten na een tweede herkansing. Bij een andere school mochten de leerlingen meer dan een keer herkansen en kregen nog steeds de zes punten. Docenten trekken alleen een punt af bij het zelfstandig werken wanneer een leerling meer vragen dan gemiddeld stelt en er echt niet meer uitkomt. Wan­ neer een leerling vragen stelt en een beetje geholpen moeten worden krijgen ze vaak nog de punten. Bij een aantal scholen waren de onderdelen al in de schakelkast gemonteerd door de docenten. Hiervoor kunnen de leerlingen drie punten krijgen. Deze punten hebben ze allen toegekend gekregen. Docenten geven in alle gevallen de volle punten voor het werken in de juiste volgorde. Ook als zij hiervoor aanwijzingen hebben gegeven of de leerlingen hebben moeten corrigeren. Soms is het voor docenten met veel leerlingen lastig om in de gaten te houden of de studenten werken in de juiste volgorde. Ook de leerlingen van de school waarbij alle leerlingen bij elkaar afkeken en dus allemaal dezelfde fouten maakten, hebben de volledige punten gekregen voor het werken in de juiste volgorde. Docenten zijn wel soepeler geweest in het tijdsschema. Bij vier scholen moch­

51

ten de leerlingen doorgaan ook nadat de tijd van het examen was verstreken, mits dit binnen de perken bleef. Dit varieert van 15 minuten tot 1 uur. Redenen te soepele beoordeling In het afsluitende interview is de zestig examinatoren die naar eigen zeggen wel eens soepeler beoordeelden dan het correctievoorschrift voorschrijft, gevraagd naar de redenen van deze soepele beoordeling. Tabel 41 toont het percentage van deze examinatoren dat de desbetreffende reden op zichzelf van toepassing verklaarde. Voor de antwoorden van de zestien examinatoren die andere redenen noemden, wordt verwezen naar bijlage II. Tabel 41 Redenen om soepeler te beoordelen dan het correctievoorschrift voorschrijft (volgens de examinatoren; percentages van N=60) procent Om de kandidaat het voordeel van de twijfel te geven

52

Om inzet of goede bedoelingen te belonen

35

Om rekening te houden met persoonlijke omstandigheden van de kandidaat, bijvoorbeeld in de thuissituatie

45

Omdat het onderwerp of de vaardigheid in de lessen te weinig aan bod is gekomen

35

Om rekening te houden met de manier waarop het onderwerp of de vaardigheid in de lessen behandeld is

45

Om kandidaten te beoordelen zoals zij dat in de lessen gewend zijn

20

Omdat ik als examinator onvoldoende op alle kandidaten tegelijkertijd kan letten

17

Omdat de kandidaat gebaat is bij succeservaringen

7

Omdat de kandidaat sowieso drempelloos kan instromen in het mbo

0

Om de toekomstkansen van de kandidaat niet te bederven

3

Andere reden(en), namelijk...

25

Redenen om soepeler te beoordelen volgens examinatoren: verschillen tus­ sen vakken Van de tien uitgevoerde chi-kwadraat toetsing gaven er twee een significant ver­ schil tussen vakken te zien (p<.05). In vergelijking met hun collega’s van andere vakken beoordelen examinatoren VAP en UV vaker te soepel omdat zij rekening willen houden met de manier waarop het onderwerp of de vaardigheid in de lessen behandeld is; examinatoren UV beoordelen vaker te soepel omdat zij kandidaten willen beoordelen zoals zij dat in de lessen gewend zijn (zie tabel 42). Tabel 42 Redenen om soepeler te beoordelen dan het correctievoorschrift voorschrijft per vak (volgens de examina­ toren; kolompercentages van N=60) VAP

HV

UV

ET

Totaal

Om de kandidaat het voordeel van de twijfel te geven

53

71

23

45

52

Om inzet of goede bedoelingen te belonen

20

24

46

64

35

Om rekening te houden met persoonlijke omstandigheden van de kandidaat, bijvoor­ beeld in de thuissituatie

47

43

46

45

45

Omdat het onderwerp of de vaardigheid in de lessen te weinig aan bod is gekomen

33

24

54

36

35

52

VAP

HV

UV

ET

Totaal

Om rekening te houden met de manier waarop het onderwerp of de vaardigheid in de lessen behandeld is

67

29

69

18

45

Om kandidaten te beoordelen zoals zij dat in de lessen gewend zijn

13

10

54

9

20

Omdat ik als examinator onvoldoende op alle kandidaten tegelijkertijd kan letten

33

5

31

Omdat de kandidaat gebaat is bij succes­ ervaringen

7

5

8

17

9

7

9

3

Omdat de kandidaat sowieso drempelloos kan instromen in het mbo Om de toekomstkansen van de kandidaat niet te bederven

5

Redenen soepele beoordeling volgens observatoren Van de 88 examinatoren die blijkens de observaties soepeler beoordeelden dan het correctievoorschrift voorschrijft (zie tabel 43) hebben de observatoren getracht aan te geven welke reden of redenen er vermoedelijk aan ten grondslag lagen. Tabel 44 geeft inzicht in de redenen van deze 88 examinatoren. Voor een opsomming van de overige redenen die op basis van de observaties bij 26 van deze 88 examinatoren werden vastgesteld, wordt verwezen naar bijlage II. Tabel 43 Redenen om soepeler te beoordelen dan het correctievoorschrift voorschrijft (zoals geobserveerd; percentages van N=88) procent Om de kandidaat het voordeel van de twijfel te geven

35

Om inzet of goede bedoelingen te belonen

31

Om rekening te houden met persoonlijke omstandigheden van de kandidaat, bijvoorbeeld in de thuissituatie

26

Omdat het onderwerp of de vaardigheid in de lessen te weinig aan bod is gekomen

13

Om rekening te houden met de manier waarop het onderwerp of de vaardigheid in de lessen behandeld is

17

Om kandidaten te beoordelen zoals zij dat in de lessen gewend zijn

13

Omdat de examinator onvoldoende op alle kandidaten tegelijkertijd kan letten

17

Om de toekomstkansen van de kandidaat niet te bederven Andere redenen, namelijk

2 30

Redenen om soepeler te beoordelen volgens observatoren: verschillen tussen vakken Van de acht uitgevoerde chi-kwadraat toetsingen gaf er één een significant ver­ schil tussen vakken te zien (p<.05). In vergelijking met examinatoren HV geven examinatoren VAP vaker soepelere beoordelingen omdat zij onvoldoende op alle kandidaten tegelijkertijd kunnen letten (zie tabel 44).

53

Tabel 44 Redenen om soepeler te beoordelen dan het correctievoorschrift voorschrijft per vak (zoals geobserveerd; kolompercentages van N=88) VAP

HV

UV

ET

Totaal

Om de kandidaat het voordeel van de twijfel te geven

18

42

38

42

35

Om inzet of goede bedoelingen te belonen

41

29

19

32

31

Om rekening te houden met persoon­ lijke omstandigheden van de kandi­ daat, bijvoorbeeld in de thuissituatie

27

35

19

16

26

Omdat het onderwerp of de vaardig­ heid in de lessen te weinig aan bod is gekomen

14

10

26

13

Om rekening te houden met de manier waarop het onderwerp of de vaardigheid in de lessen behandeld is

27

13

19

11

17

Om kandidaten te beoordelen zoals zij dat in de lessen gewend zijn

18

25

16

13

Omdat de examinator onvoldoende op alle kandidaten tegelijkertijd kan letten

36

25

16

17

5

2

Om de toekomstkansen van de kandi­ daat niet te bederven

3

Voorbeelden In de vragenlijst inventarisatie regelafwijkingen is de studenten gevraagd voorbeel­ den te geven van de redenen om te soepel te beoordelen. Onderstaand overzicht bevat hieruit een selectie, gerangschikt naar vak. Verwerking agrarische producten • Drie docenten (waarvan een heel erg) loodsten de leerlingen als het ware door het examen heen. Ze hielpen bij bijna alles. Het is me niet geheel duidelijk waarom, maar alle drie kwamen ze uit de praktijk en leken zich niet goed te voelen in de strenge beoordelaarsrol. • De docenten hebben het beste met de kandidaat voor. Ze denken dat het een ‘klein’ foutje is en de kandidaat het verderop of later wel goed zal doen. • Sympathie voor de voorgeschiedenis van de kandidaat. • Zwakke kandidaten moeten slagen omdat de examinator anders ter verant­ woording wordt geroepen. Handel en verkoop • Om rekening te houden met de achtergrond van de kandidaat: bijvoorbeeld iemand met een stoornis (adhd, faalangst et cetera) of iemand die thuis veel problemen heeft. • Bij het oefenen met de kassa in de les ging het altijd goed, maar tijdens het praktijkexamen ging het fout, doordat de leerling tijdens het examen zenuw­ achtig was. • Privé omstandigheden van de leerling. • Het toekennen van punten is niet goed bestudeerd. • Globaal toekennen van punten in plaats van volgens het correctievoorschrift. Bijvoorbeeld: Het ging redelijk goed, er zijn drie punten te vergeven, dan geven we er maar twee.

54

• Omdat de leerling het op de stageplek anders geleerd heeft (geld direct in de kassa-lade stoppen in plaats van het erop te leggen), wordt de leerling hierop niet afgerekend. • De docent vond de attentiewaarde moeilijk te beoordelen en gaf hier altijd het volle aantal punten voor. • De docent zag onvriendelijkheden door de vingers, omdat de docent alleen kon kiezen uit nul of twee punten. Het was hem niet duidelijk dat op het moment dat de student niet vriendelijk was dat hij nul punten moest geven. Hij zag het meer als “de student is het merendeel van het examen vriendelijk geweest”, dus hij krijgt twee punten. • Een docent liet alle drie de studenten slagen, want het is een hele organisatie voor zo weinig studenten. Vandaar dat de docent heeft gezegd dat ze studen­ ten geen herkansing geeft en altijd laat slagen. Dit om te voorkomen dat ze nog een herkansing moet gaan regelen voor de studenten. Om op een voldoende uit te komen moet de docent wel eens wat soepeler beoordelen. Uiterlijke verzorging • De examenkandidate heeft haar best gedaan. Nul punten vinden de docenten vaak te ver gaan en dan geven ze een punt omdat de kandidaten wel wat handelingen goed hebben verricht. • De handelingen zijn niet aangeleerd in de lessen. • Om ze te beoordelen op de punten die ze geleerd hebben. • Omdat het onderwerp te weinig in de lessen aan bod is gekomen. • In de lessen is de opdracht anders aangeleerd dan hoe het tijdens het examen uitgevoerd moet worden. • Er wordt teveel geëist van het kunnen van de examenkandidaat. • Om ze te helpen, aangezien ze de rest van het jaar ‘het wel goed deden’. • Omdat de examinator de handeling van de kandidaat niet goed heeft kunnen observeren. • Omdat de examinator de beoordeling te streng vindt, of de opdracht te moei­ lijk. • De kandidaat is zeer nerveus en doet het normaal wel goed. Elektrotechniek • Faalangst • Andere persoonlijke omstandigheden (zoals autisme, de thuissituatie van een kandidaat et cetera) • De docent is in de overtuiging dat de kandidaat het wel kan, maar dat het er nu even niet uitkomt. • De docent is ervan overtuigd dat de kandidaat niet verder door zal studeren maar na zijn examen aan het werk zal gaan, en let daarom meer op hoe het product eruit ziet en of het werkt, dan of het ook daadwerkelijk voldoet aan de Cito-eisen. • Bij twijfel of een kandidaat geslaagd of gezakt is voor zijn examen gaat de docent op zoek naar punten waar hij wat soepeler op kan beoordelen. • Het belonen van de goede wil van de leerling. Voor een aantal leerlingen die echt wel willen maar het niveau niet aankunnen wordt er soepeler beoordeeld en/of meer geholpen tijdens het examen dan bij andere leerlingen. • Drie docenten waren van mening dat het niveau voor de basisgroep te hoog lag. Zij zijn van mening dat het niveau van de leerlingen nu lager ligt dan een

55

aantal jaren geleden. Twee van deze docenten hebben deze mening ook mee laten wegen in hun oordeel en dus soepeler gerekend. • Er is een geval geweest waar sprake was van een ‘moeilijke’ leerling (weet niet de goede benaming). Deze mocht ook al niet de lessen in omdat hij onhan­ delbaar zou zijn. Hij heeft het hele jaar gewerkt en is één dag per week naar school geweest. De docent heeft deze basisleerling soepeler beoordeeld. Gebruik eigen beoordelingsmiddelen De examinatoren is gevraagd of zij ‘eigen’ beoordelingsmiddelen gebruiken (naast het correctievoorschrift), bijvoorbeeld als ‘tussenstap’ in het beoordelingsproces. Van hen gebruikt 79 procent geen eigen beoordelingsmiddelen, 11 procent ge­ bruikt een exacte kopie van het beoordelingsschema of onderdelen daarvan en 10 procent maakt zelf een aanvulling op of uitwerking van het beoordelingsschema of onderdelen daarvan (zie tabel 45). Tabel 45 Gebruik eigen beoordelingsmiddelen (volgens examinatoren) N

procent

Valide procent

Geen gebruik eigen beoordelingsmiddelen

91

78

79

Exacte kopie beoordelingsschema of onderdelen daarvan

13

11

11

Aanvulling op of uitwerking van beoordelingsschema of onderdelen daarvan

11

9

10

1

1

116

100

Missing Totaal

100

Redenen gebruik eigen beoordelingsmiddelen In het interview is de 24 examinatoren die ‘eigen’ beoordelingsmiddelen gebruik­ ten, gevraagd om welke reden of redenen zij dat deden. Zij konden daarbij meer redenen noemen (waardoor de percentages in tabel 46 optellen tot boven de 100 procent). Driekwart van hen (75 procent) gebruikt de ‘eigen’ beoordelingsmiddelen als tussenstap (om later over te nemen in het beoordelingsschema), 17 procent doet dat omdat het beoordelingsschema naar hun mening onvolledig is en eveneens 17 procent omdat het beoordelingsmiddel te algemeen is. De overige redenen komen niet of nauwelijks voor. Tabel 46 Redenen gebruik eigen beoordelingsmiddelen (N=24) procent Alleen als tussenstap tijdens de beoordeling (om later over te nemen in het beoordelingsschema)

75

Omdat het beoordelingsschema onvolledig is

17

Omdat het beoordelingsmiddel te algemeen is Om eigen aspecten in de beoordeling te betrekken

4 17

Om soepeler te beoordelen

0

Om strenger te beoordelen

0

56

Regelgetrouwheid bij de beoordeling van het praktijkexamen In een aanvullende analyse is nagegaan welk deel van de examinatoren de voor­ schriften voor de beoordeling volgens eigen opgave volledig naleeft. Dit wil zeggen: geen beoordelingsaspecten negeert, geen eigen beoordelingsaspecten in de be­ oordeling betrekt, niet strenger beoordeelt dan het correctievoorschrift voorschrijft en niet soepeler beoordeelt dan voorgeschreven. Van de 116 geïnterviewde exami­ natoren kan 19 procent als volledig regelgetrouw gekarakteriseerd worden, terwijl 34 procent, 23 procent, 16 procent en 9 procent respectievelijk drie, twee, een en geen van de vier beoordelingsvoorschriften volledig naleeft (zie tabel 47). Tabel 47 Aantal nageleefde voorschriften voor de beoordeling van het praktijkexamen (interviewgegevens) Aantal nageleefde voorschriften

procent

Geen

9

Eén

16

Twee

23

Drie

34

Vier

19

Totaal

100

Merk op dat het hier gaat om zelfrapportages. De observaties van het beoorde­ lingsgedrag van de examinatoren geven een soortgelijk beeld te zien (zie tabel 48). Blijkens de observaties bedraagt het percentage examinatoren dat de voorschriften voor de beoordeling volledig respecteert 9 procent (terwijl 22 procent, 41 procent, 19 procent en 9 procent respectievelijk drie, twee, een en geen van de vier voor­ schriften volledig naleeft). De ordinale logistische regressieanalyse laat zien dat de verschillen tussen vakken significant zijn (p<.05). Examinatoren UV volgen de beoordelingsvoorschriften vaker op dan hun collega’s VAP, HV en ET. Tabel 48 Aantal nageleefde voorschriften voor de beoordeling van het praktijkexamen (observatiegegevens; kolompercentages) Aantal nageleefde voorschriften

VAP

HV

8

13

Eén

36

18

Twee

36

Drie

20

Geen

Vier Totaal

3.4

100

UV

ET

Totaal

13

9

14

8

19

45

31

50

41

18

31

21

22

5

24

8

9

100

100

100

100

Inzet van de tweede examinator

In de interviews is de examinatoren gevraagd naar de aanwezigheid van een twee­ de examinator bij het examen, bij welk deel van het examen dat het geval was, wat de functie van de tweede examinator was en hoe vaak de examinatoren de scores voor de praktijkopdrachten in onderling overleg vaststelden.

57

Aanwezigheid tweede examinator Bij driekwart (76 procent) van de examens is een tweede examinator bij alle prak­ tijkopdrachten aanwezig, in 15 procent van de gevallen bij een deel van de prak­ tijkopdrachten en bij 10 procent is er geen tweede examinator aanwezig (zie tabel 49). Een vergelijkbare vraag was ook een van de aandachtspunten van de observa­ ties en geeft vergelijkbare uitkomsten te zien (zie tabel 50). Opgemerkt zij overigens dat de interviews en observaties niet noodzakelijkerwijs overeen hoeven te komen. De interviewers baseerden hun antwoorden mogelijk op alle zittingen van het exa­ men, terwijl de studenten alleen de door hen bezochte zitting observeerden. Bij de observatiegegevens zijn de verschillen tussen vakken significant (p<.05). Bij de examens UV neemt de examinator het examen relatief vaak alleen af. Bij de examens VAP en HV is de tweede examinator naar verhouding vaker gedurende de volledige observatieperiode aanwezig. Als er bij het vak ET een tweede examinator aanwezig is, is deze relatief vaak slechts gedurende een deel van de observatiepe­ riode aanwezig (in plaats van gedurende de volledige observatieperiode). Tabel 49 Aanwezigheid van een tweede examinator (volgens de examinatoren) N

procent

Valide procent 10

Nee

11

9

Ja, bij een deel van de praktijkopdrachten

17

15

15

Ja, bij alle praktijkopdrachten

87

75

76

Missing Totaal

1

1

116

100

100

Tabel 50

Aanwezigheid van een tweede examinator (observaties)

VAP

HV

UV

ET

Totaal

4

11

21

9

11

Ja, gedurende een deel van de obser­ vatieperiode

12

8

7

35

14

Ja, gedurende de volledige observa­ tieperiode

84

82

72

57

75

100

100

100

100

100

Nee

Totaal

Functie tweede examinator De 104 examinatoren die aangaven dat er ten minste bij een gedeelte van het exa­ men een tweede examinator aanwezig was, hebben aangegeven welke functie(s) deze tweede examinator heeft/hebben. Bij ruim driekwart (77 procent) van de examens is er een andere praktijkdocent in het geëxamineerde vak aanwezig, bij bijna een kwart (22 procent) een docent in een ander vak, bij 14 procent een klas­ sen- of onderwijsassistent, bij 2 procent een docent van een andere school en bij 8 procent een persoon met een andere functie. Omdat de tweede examinator meer functies kan vervullen en er meer dan twee examinatoren in het examen­ lokaal aanwezig kunnen zijn, tellen de genoemde percentages op tot boven de 100 procent. Tabel 51 geeft een meer gedetailleerd beeld van de functies van de tweede examinatoren.

58

Tabel 51

Functie(s) van de tweede examinator (N=104)

N

procent

Valide procent

A Praktijkdocent in het geëxamineerde vak

62

60

60

B Docent in een ander vak

10

10

10

C Docent van een andere school (bijvoorbeeld ROC)

0

0

0

D Klassen- of onderwijsassistent

6

6

6

E Overige functie

4

4

4

A en B

10

10

10

A en C

1

1

1

A en D

5

5

5

A en E

1

1

1

A, B, D en E

1

1

1

B en D

1

1

1

B en E

1

1

1

C en D

1

1

1

D en E

1

1

1

Totaal

104

100

100

Vaststellen scores in onderling overleg De 104 examinatoren die aangaven dat er ten minste bij een gedeelte van het exa­ men een tweede examinator aanwezig was, is gevraagd naar de mate waarin de scores op de praktijkopdrachten in onderling overleg worden vastgesteld. Bij ruim de helft (51 procent) van deze afnamen worden de scores van de kandidaten altijd bij alle opdrachten in overleg tussen de examinatoren vastgesteld en in 6 procent van deze gevallen stelt slechts een examinator de scores vast (zie tabel 52). Tijdens de observaties was de mate waarin de examinatoren de scores op de praktijkopdrachten in overleg vaststellen een van de aandachtspunten (zie tabel 53). Bij 14 procent van de 112 examens waarbij een tweede examinator aanwezig is, gebeurt dit nooit, bij 17 procent af en toe, bij 15 procent regelmatig, bij 15 procent vaak en bij 40 procent altijd. De ordinale logistische regressieanalyse laat zien dat de verschillen tussen vakken significant zijn (p<.05). Tijdens de examens HV en UV stellen de examinatoren de scores vaker in overleg vast dan tijdens de examens VAP en ET. Ook hier zij erop gewezen dat de resultaten van de interviews en de observaties niet volledig overeen hoeven te komen. De geïnterviewde docenten baseerden zich mogelijk op alle zittingen van het examen, terwijl de student door­ gaans slechts een zitting van het examen bezocht. Tabel 52 Vaststellen scores in onderling overleg tussen examinatoren (totaalpercentages van N=104) Missing Ja, bij een deel van de praktijkopdrachten

Nooit

Af en toe

Regelmatig

Vaak

Altijd

Totaal

3

3

3

3

5

16

Ja, bij alle praktijkopdrachten

1

3

13

8

9

51

84

Totaal

1

6

15

11

12

56

100

59

Tabel 53 Vaststellen scores op de praktijkopdrachten in onderling overleg tussen examinatoren (observaties; kolompercentages) VAP

HV

UV

ET

Totaal

8

9

13

29

14

Af en toe

29

9

17

14

17

Regelmatig

25

9

9

19

15

Vaak

29

18

10

15

Altijd

8

56

61

29

40

100

100

100

100

100

Nooit

Totaal

3.5

Herkansing van het praktijkexamen

In het onderzoek zijn interviewgegevens verzameld over de herkansingsmogelijkhe­ den die kandidaten geboden worden (het volledige praktijkexamen en/of onderdelen daarvan), of de herkansing vóór en/of na de normering plaatsvindt, hoe vaak een kandidaat mag herkansen en welk percentage van de kandidaten daarvan gebruik maakt. Verder is gevraagd of het voorkomt dat kandidaten ter voorbereiding op de herkansing extra uitleg of oefening krijgen en zo ja, welk materiaal daarbij gebruikt wordt (dit wil zeggen: eerdere praktijkexamens, het praktijkexamen van 2008 of ander materiaal). Ten slotte is examinatoren gevraagd of kandidaten een voldoende gemaakt praktijkexamen mogen herkansen om een hoger cijfer te halen, bijvoor­ beeld ter compensatie van een slecht gemaakt avo-vak. Mogelijkheid tot herkansen In hoeverre krijgen examenkandidaten de mogelijkheid om het praktijkexamen of onderdelen daarvan te herkansen? Tabel 54 laat zien dat de kandidaten bij vrijwel alle examinatoren (96 procent) het praktijkexamen of onderdelen daarvan kunnen herkansen. Tabel 54 Mogelijkheid tot herkansen van het praktijkexamen of onderdelen daarvan N Nee Ja Missing Totaal

procent

Valide procent

5

4

4

110

95

96

1

1

116

100

100

Aard van de herkansingsmogelijkheden Welke herkansingsmogelijkheden wordt de kandidaten geboden? Bij 17 procent van de examinatoren mogen de kandidaten alleen het volledige praktijkexamen herkansen, bij de helft (50 procent) mogen zij een of meer, maar niet alle examen­ onderdelen herkansen en bij een derde (33 procent) mogen zij zowel het volledige praktijkexamen als onderdelen daarvan herkansen (zie tabel 55). De chi-kwadraat toetsing van de verschillen tussen vakken geeft significantie te zien. Slechts een van gestandaardiseerde residuen was kleiner dan -1.96 (of groter dan 1.96): bij

60

examinatoren VAP mogen de kandidaten naar verhouding minder vaak alleen een gedeelte van het praktijkexamen herkansen (zie tabel 56). Tabel 55 Aard van de herkansingsmogelijkheden N

procent

A Herkansen van het volledige praktijkexamen

19

16

17

B Herkansen van één of meer, maar niet alle examen­ onderdelen

55

47

50

Zowel A als B

37

32

33

5

4

116

100

Missing Totaal

Valide procent

100

Tabel 56

Aard van de herkansingsmogelijkheden per vak (kolompercentages)

VAP

HV

UV

ET

Totaal

A Herkansen van het volledige prak­ tijkexamen

29

9

21

13

17

B Herkansen van een of meer, maar niet alle examenonderdelen

21

63

57

50

50

Zowel A als B

50

29

21

38

33

100

100

100

100

100

Totaal

Moment van herkansen Op welk moment(en) kunnen de examenkandidaten het examen of onderdelen daarvan herkansen? (Zie tabel 57.) Bij een derde (34 procent) van de examinatoren kunnen kandidaten het praktijkexamen of onderdelen daarvan alleen vóór de nor­ mering herkansen, bij ruim de helft (54 procent) kan dat alleen na de normering en bij 12 procent kan dat zowel voor als na de normering. Tabel 57 Moment van herkansen N

procent

Valide procent

Vóór de bepaling van de uitslag voor het eerste tijdvak (normering)

37

32

34

Na de bepaling van de uitslag van het eerste tijdvak (normering)

58

50

54

Zowel vóór als na de bepaling van de uitslag van het eerste tijdvak (normering)

13

11

12

Missing Totaal

8

7

116

100

100

Herkansingsmomenten indien vóór normering Indien de herkansing vóór de normering plaatsvindt, wanneer gebeurt dat dan pre­ cies? De volgende beschrijving is gebaseerd op de antwoorden van de vijftig exa­ minatoren waarbij kandidaten vóór de normering kunnen herkansen. Bij 4 procent van deze vijftig examinatoren kunnen de kandidaten het examen nog op dezelfde

61

dag van het examen herkansen, bij 18 procent van hen kan dat een of twee dagen later, bij 34 procent drie tot zes dagen later en bij 68 procent een week of meer later. Omdat scholen kandidaten vaak meer herkansingsmomenten bieden, tellen de vier genoemde percentages op tot boven de 100 procent. Tabel 58 geeft een meer gedetailleerd beeld van het aantal en de aard van de herkansingsmomenten die de vijftig examinatoren hun kandidaten vóór de normering aanbieden. Tabel 58 Herkansingsmomenten indien de herkansing vóór de normering plaatsvindt (N=50) N

procent

Valide procent

A Nog op dezelfde dag van het examen

1

2

2

B Een of twee dagen later

2

4

4

C Drie tot zes dagen later

9

18

19

D Een week of meer later

27

54

56

B en C

2

4

4

B en D

1

2

2

C en D

2

4

4

B, C en D

3

6

6

A, B, C en D

1

2

2

Missing

2

4

Totaal

50

100

100

Aantal aangeboden herkansingen Hoe vaak kunnen kandidaten het praktijkexamen of onderdelen daarvan herkansen? (Zie tabel 59.) Bij 89 procent van de examinatoren kunnen kandidaten het praktijk­ examen één keer herkansen, bij 3 procent twee keer, bij 1 procent drie keer en bij 7 procent vier of meer keer (bijvoorbeeld tot de kandidaat een voldoende heeft). Tabel 59 Aantal aangeboden herkansingen N

procent

Valide procent

96

83

89

Twee keer

3

3

3

Drie keer

1

1

1

Vier of meer keer (bijvoorbeeld tot de kandidaat een voldoende heeft)

8

7

7

Een keer

Missing Totaal

8

7

116

100

Percentage herkansers Welk percentage van de kandidaten maakt gebruik van een herkansing? Gemid­ deld maakt volgens de examinatoren 12 procent van de kandidaten gebruik van een herkansing (zie tabel 60).

62

Tabel 60 Percentage herkansers N 105

Min

Max

procent

Stddev

0

100

11,95

26,38

Herkansen voor een hoger cijfer Mogen kandidaten (onderdelen van) een praktijkexamen herkansen om een hoger cijfer te halen (bijvoorbeeld ter compensatie van een slecht gemaakt avo-vak)? Van de examinatoren beantwoordt een krappe meerderheid (51 procent) deze vraag bevestigend (zie tabel 61). Tabel 61 Herkansen voor een hoger cijfer N

procent

Valide procent

Nee

53

46

49

Ja

56

48

51

7

6

116

100

Missing Totaal

Extra uitleg of oefenen met examenopdrachten ter voorbereiding op de her­ kansing Komt het voor dat kandidaten ter voorbereiding op de herkansing extra uitleg krij­ gen of kunnen oefenen met examenopdrachten? Ruim een derde (37 procent) van de examinatoren geeft kandidaten nooit extra uitleg of oefening ter voorbereiding op de herkansing, 24 procent geeft alleen extra uitleg, 2 procent laat kandidaten alleen oefenen met examenopdrachten en 37 procent biedt zowel extra uitleg als oefening (zie tabel 62). Tabel 62 Extra uitleg of oefening ter voorbereiding op de herkansing N

procent

Valide procent

Nee

40

34

37

Ja, maar alleen extra uitleg

26

22

24

Ja, maar alleen oefenen met examenopdrachten

2

2

2

Ja, zowel extra uitleg als oefenen met examen­ opdrachten

40

34

37

Missing Totaal

8

7

116

100

100

Gebruik materiaal bij oefenen met examenopdrachten ter voorbereiding op de herkansing De 42 examinatoren die kandidaten ter voorbereiding op de herkansing met exa­ menopdrachten met examenopdrachten laten oefenen is gevraagd welk materiaal zij daarbij gebruiken. Van hen gebruikt 79 procent hiertoe opdrachten uit eerdere praktijkexamens, 19 procent gebruikt opdrachten uit het praktijkexamen van 2008 en 43 procent gebruikt ander materiaal zoals zelfgemaakte opdrachten. Omdat de examinatoren meer antwoordmogelijkheden konden kiezen, tellen de drie hiervoor

63

genoemde percentages op tot boven de 100 procent. Tabel 63 geeft een meer gedetailleerd beeld van het materiaal dat gebruikt wordt ter voorbereiding op de herkansing. Tabel 63 Gebruik materiaal bij oefenen met examenopdrachten ter voorbereiding op de herkansing (N=42)

A Opdrachten uit eerdere praktijkexamens

N

Procent

19

45

B Opdrachten uit het praktijkexamen van 2008

3

7

C Ander materiaal (bijvoorbeeld zelfgemaakte opdrachten)

6

14

A en B

2

5

A en C

9

21

A, B en C Totaal

64

3

7

42

100

4

Conclusies

In dit hoofdstuk worden conclusies getrokken uit de resultaten van het onderzoek,

zoals hierboven beschreven.

Paragraaf 4.1 bevat allereerst de conclusies over de verschillende onderdelen van

de afname van het CSPE.

In paragraaf 4.2 worden de conclusies voor de status van het CSPE getrokken,

inclusief de noodzakelijke vervolgstappen voor de diverse belanghebbenden.

4.1

De diverse aspecten van de afname van het CSPE

Het CSPE is een onderdeel van de centrale examinering in het voortgezet onder­ wijs. Bij een centrale examinering is het van belang dat scholen zich houden aan de richtlijnen voor de afname en de correctie van deze examens. Bovendien is het van belang dat de adviezen hierover serieus worden overwogen en geïnterpreteerd. In deze paragraaf worden de conclusies getrokken over de afname en correctie van de CSPE’s, op basis van de resultaten van het onderzoek zoals beschreven in het vorige hoofdstuk. Hierbij moet worden aangetekend dat het bij een CSPE niet mogelijk is om voor alle kandidaten exact gelijke omstandigheden te realiseren bij de afname van een CSPE. Een van de kwaliteiten van het CSPE is dat het dicht bij de kandidaten en de school staat en dat er realistische situaties uit de beroepspraktijk in voorkomen. Daardoor is volledige uniformiteit niet haalbaar en niet nodig. Voorbereiding van het praktijkexamen Bij de centraal schriftelijke examens mogen noch de examinator noch de kandi­ daten het examenmateriaal van tevoren inzien. Bij de praktijkexamens worden de examenopdrachten en de correctievoorschriften daarentegen geruime tijd vóór het eerst mogelijke afnamemoment aan de examinatoren ter beschikking gesteld. Uit het onderzoek komt naar voren dat examinatoren dit materiaal doorgaans vrij snel na ontvangst ervan bestuderen. De voorkennis over de inhoud en vorm van het examenmateriaal komt de organiseerbaarheid van de examinering op de scholen ontegenzeggelijk ten goede. Een evident nadeel van de vroegtijdige verspreiding van het examen is de mogelijkheid tot oneigenlijk gebruik van deze informatie (zonder dat docenten zich hier doorgaans van bewust lijken te zijn). Het onderzoek bevestigt het vermoeden dat een klein deel van de examinatoren opdrachten uit het praktijkexamen 2008 met de leerlingen heeft geoefend alvorens dat examen “officieel” af te nemen. Daarnaast maakt een op de twaalf van de examinatoren gebruik van deze examenopdrachten bij het voorbereiden van kandidaten op de herkansing. Daarnaast zijn er examinatoren die hun voorkennis van de inhoud van het examen benutten zonder daarbij van materiaal uit het komende examen ge­ bruik te maken. In de periode tussen de ontvangst van het examenmateriaal en de eigenlijke afname van het praktijkexamen instrueren en oefenen zij specifieke opdrachten uit het komende examen aan de hand van vergelijkbare opdrachten uit “oude” praktijkexamens of instrueren de kandidaten aan de hand van zelf ontwik­ keld materiaal dat daar sterk op lijkt. Hoewel niet uitdrukkelijk verboden, kan de praktijk van teaching-to-the-exam de geloofwaardigheid en bruikbaarheid van het examen negatief beïnvloeden. De opdrachten uit een praktijkexamen vormen im­

67

mers een aselecte steekproef uit het domein van alle mogelijke opdrachten die men de kandidaat had kunnen voorleggen. Worden de opdrachten uit het examen van tevoren geïnstrueerd en geoefend, dan is generalisatie van de examenprestatie naar het domein niet zonder meer geoorloofd. Daarnaast zou teaching-to-the-exam de vergelijkbaarheid van de examenresultaten in gevaar kunnen brengen. Kandidaten die specifieke instructie en oefening in de opdrachten uit het komende examen ontvangen, zouden in het voordeel kunnen zijn in vergelijking met hun leeftijdsge­ noten van scholen waar dat niet of veel minder gebeurt. De huidige afnamerichtlijnen bieden de examinatoren overigens veel vrijheid bij het toewijzen van materiaal aan kandidaten. Bij enkele praktijkexamens mogen de examinatoren grotendeels zelf bepalen of zij het materiaal op de dag van het examen op de werkplek klaarzetten dan wel de kandidaten het materiaal in de weken voorafgaand aan het examen zelf bij elkaar laten zoeken. Deze laatste afna­ mevariant staat op gespannen voet met de eis van geheimhouding. Het is moeilijk voor te stellen hoe kandidaten in de weken voor het examen materiaal bij elkaar kunnen zoeken zonder daarbij voorkennis op te doen over de aard en inhoud van de examenopdrachten. Afname van het praktijkexamen In een centraal schriftelijk examen draagt standaardisatie van de afnamecondities ertoe bij dat het examen op alle scholen een zelfde intrinsieke moeilijkheidsgraad heeft. In een competentiegericht praktijkexamen is volledige gelijkheid van de afnameomstandigheden uiteraard niet mogelijk. Men moet genoegen nemen met een zo groot mogelijke gelijkheid. Van vier voorschriften voor de afname van de praktijkexamens is nagegaan in hoeverre examinatoren deze naleven. Integrale en ongewijzigde opdrachten Examinatoren worden geacht alle onderdelen van het CSPE integraal en ongewij­ zigd af te nemen. Zij moeten de kandidaten de opdrachten laten uitvoeren zoals aangegeven in het Examen en de Instructie voor de examinator. Het weglaten, vervangen of aanpassen van “moeilijke” opdrachten zal het praktijkexamen door­ gaans makkelijker maken. In de interviews zegt twee derde van de examinatoren dit voorschrift nooit te overtreden, een derde doet dat naar eigen zeggen af en toe en een enkeling zegt dat regelmatig te doen. Tijdens de observaties zijn bij de helft van de bezochte examens geen afwijkingen van een integrale en ongewijzigde afname geconstateerd. Deze regelgetrouwe examinatoren voegden geen opdrach­ ten toe, lieten geen opdrachten weg, vervingen geen opdrachten en pasten geen opdrachten aan. De groep van niet volledig regelgetrouwe examinatoren was als volgt samengesteld: driekwart daarvan overtrad de regels af en toe, een kwart deed dat regelmatig en een enkeling deed dat vaak tot zeer vaak. Uit dit alles kan worden geconcludeerd dat in ruim de helft van de gevallen de voorschriften op dit punt worden nageleefd. Gebruik van materialen, gereedschap en hulpmiddelen Tenzij anders is aangegeven, mogen scholen alleen de materialen, gereedschap en hulpmiddelen gebruiken die zijn opgenomen in het overzicht van voorgeschreven middelen uit de Instructie voor de examinator. Het vervangen van het verplichte materiaal door eigen materiaal kan het examen voor de kandidaten zowel mak­ kelijker als moeilijker maken. Van de examinatoren zegt ruim tweederde nooit af­

68

wijkende materialen, gereedschap of hulpmiddelen te gebruiken, een derde zegt dat af en toe te doen en een enkeling doet dat naar eigen zeggen regelmatig. De observaties tijdens het examen laten een vergelijkbaar beeld zien. Bij bijna de helft van de geobserveerde examens zijn geen afwijkende materialen, gereedschap of hulpmiddelen geconstateerd, bijna de helft van hen gebruikt af en toe “eigen” materiaal en enkele examinatoren gebruiken dat regelmatig. Examinatoren mogen grotendeels zelf bepalen of zij het materiaal op de dag van het examen op de werkplek klaarzetten dan wel de kandidaten het materiaal tij­ dens of voorafgaand aan het examen zelf bij elkaar laten zoeken. Bijna tweederde van de examinatoren zet materiaal voor de kandidaten klaar, bijna de helft laat de kandidaten materiaal tijdens het examen zelf bij elkaar zoeken en bijna een kwart laat kandidaten dat in de weken vóór het examen doen. De conclusie is dat in verreweg de meeste gevallen alleen de voorgeschreven materialen worden gebruikt. Er zijn wel behoorlijke verschillen tussen scholen in de wijze waarop het materiaal wordt klaargezet. Het is hierbij de vraag of kandida­ ten die het materiaal tijdens het examen zelf bij elkaar moeten zoeken, minder tijd voor het uitvoeren van de opdrachten hebben dan degenen voor wie het materiaal reeds klaar staat. Hulp van de examinator Tenzij dat in de Instructie voor de Examinator of het Correctievoorschrift anders is aangegeven, mogen de examinatoren de kandidaten als aansporing en bemoediging bedoelde hulp geven, maar geen aanwijzingen, uitleg of hints die het examen voor de kandidaat makkelijker maken. Het onderzoek laat zien dat scholen verschillen in de hoeveelheid hulp die kandidaten van de examinator krijgen. Ruim een kwart van de examinatoren geeft de kandidaten naar eigen zeggen nooit andere dan als aansporing en bemoediging bedoelde hulp, bijna twee derde doet dat af en toe, een op de tien regelmatig en een enkeling vaak tot zeer vaak. Uit de observaties van de feitelijke afnamepraktijk blijkt slechts 16 procent van de examinatoren de kandidaten nooit te helpen, ruim de helft doet dat af en toe, bijna een kwart regelmatig en enkelen vaak tot zeer vaak. De hulp van de examinator is weliswaar goedbedoeld en verklaarbaar, maar is te vaak gericht op uitleg of hints aan de kandidaten. De conclusie is dat docenten op veel scholen er op dit punt in onvoldoende mate in slagen om zich als examinator op te stellen. Kandidaten overleggen en helpen andere kandidaten De kandidaten mogen tijdens het examen niet met elkaar overleggen of elkaar helpen. De kandidaat mag uitsluitend aan de examinator om hulp vragen, en niet aan medekandidaten. Het onderzoek brengt aan het licht dat kandidaten tijdens het examen op de ene school meer overleggen en elkaar helpen dan op de andere school. Volgens viervijfde van de examinatoren vindt er bij hun afname nooit overleg plaats tussen kandidaten en komt het niet voor dat kandidaten elkaar helpen, terwijl dat volgens een vijfde van hen af en toe gebeurt. De observatoren hebben bij twee derde van de bezochte examens niet geconstateerd dat kandidaten met elkaar overleggen of elkaar helpen, bij een derde was er af en toe sprake van overleg of hulp, bij een op de tien regelmatig en bij een enkeling vaak tot zeer vaak. De conclusie is dat het slechts zelden voorkomt dat kandidaten met elkaar overleg­ gen of elkaar op een andere manier helpen.

69

Flexibilisering afnamemoment Bij de praktijkexamens mogen scholen het aantal examenmomenten zelf bepalen. In de Instructie voor de examinator zijn dan ook geen adviezen voor het aantal zittingen opgenomen. Uit het onderzoek blijkt dat scholen ruimschoots van de mogelijkheid tot flexibilisering van het afnametijdstip gebruik maken. Het aantal zittingen blijkt te variëren van één tot twaalf met een gemiddelde van drie. De conclusie is dat de verschillen tussen scholen op dit punt groot zijn. Het is de vraag hoe groot dit knelpunt is, maar in ieder geval zou moeten worden nagegaan of een examen dat in hooguit enkele zittingen wordt afgenomen niet moeilijker zal zijn voor de kandidaten dan eenzelfde examen dat over een groot aantal zittingen gespreid wordt (zie ook Kuhlemeier, Harms & Kremers, 2004; Inspectie van het Onderwijs, 2008). Regelgetrouwheid bij de afname van het praktijkexamen Van de geïnterviewde examinatoren kan een op de zeven als volledig regelgetrouw gekarakteriseerd worden. Zij nemen overeenkomstig de richtlijnen het praktijk­ examen naar eigen opgave volledig en integraal af, gebruiken geen ander dan het voorgeschreven materiaal, geven de kandidaten geen andere dan als aansporing en bemoediging bedoelde hulp en zorgen ervoor dat kandidaten niet overleggen of elkaar helpen. De observaties van de feitelijke afnamesituatie op school geven een op hoofdlijnen vergelijkbaar beeld te zien. Blijkens de observaties bedraagt het percentage examinatoren dat de onderzochte voorschriften voor de afname volledig respecteert slechts 4 procent. De conclusie is dat een minderheid van de examinatoren de richtlijnen zodanig volgt dat het praktijkexamen geheel volgens de voorgeschreven afnamecondities verloopt. Op ruim de helft van de scholen wordt ten minste de helft van de voor­ schriften gevolgd. Om het CSPE een volwaardige plaats als centraal examen te geven, zal op dit punt verbetering moeten optreden. Regelgetrouwheid bij de afnameadviezen De praktijkexamens kennen ook adviezen met betrekking tot de volgorde van de examenonderdelen, het afwisselend in plaats van op één moment afnemen van de minitoetsen en het digitaal in plaats van op papier afnemen van de minitoetsen. Deze adviezen zijn vermeld in de Instructie voor de examinator. Van alle exami­ natoren houdt ruim een derde zich volgens eigen opgave volledig aan deze drie afnameadviezen, (terwijl tweederde twee of één, en enkele examinatoren geen van de drie adviezen opvolgt). De examinatoren die de adviezen volgen, nemen de examenopdrachten af in de geadviseerde volgorde, nemen alle minitoetsen direct voorafgaand of direct na de bijbehorende praktijkopdracht af en nemen de minitoetsen uitsluitend digitaal af. De consequenties van het tegelijkertijd in plaats van afwisselend afnemen van de minitoetsen voor de moeilijkheid van het examen zijn moeilijk te overzien, maar aangenomen mag worden dat de geïsoleerde toetsing van vakkennis en vaardig­ heden het examen als geheel moeilijker zal maken. Beoordeling van het praktijkexamen Examinatoren worden geacht de scores van de kandidaten volgens het correctie­ voorschrift vast te stellen. De maakbaarheid van een praktijkexamen wordt niet alleen beïnvloed door de strengheid of soepelheid van het correctievoorschriften,

70

maar ook door de zorgvuldigheid waarmee examinatoren ermee omgaan. Via ob­ servaties van de feitelijke beoordelingspraktijk en interviews met examinatoren is in het onderzoek nagegaan in hoeverre de examinatoren de kandidaten volgens de correctievoorschriften beoordelen. Letten op minder beoordelingsaspecten In het correctievoorschrift zijn de aspecten waar de examinator bij het beoordelen op moet letten aangegeven. Examinatoren worden geacht alle genoemde aspecten in hun beoordeling te betrekken. Ruim tweederde van de examinatoren let naar eigen zeggen nooit op minder aspecten dan waar zij volgens het correctievoor­ schrift op moeten letten, ruim een kwart zegt dat af en toe te doen, enkelen doen dat regelmatig of vaak tot zeer vaak. De overeenkomstige percentages voor de observaties van het feitelijke beoordelingsgedrag zijn vergelijkbaar. Letten op andere beoordelingsaspecten In het correctievoorschrift is aangegeven op welke beoordelingsaspecten de exa­ minator moet letten. Examinatoren worden geacht alleen de genoemde aspecten in hun beoordeling te betrekken. Ruim de helft van de examinatoren betrekt naar eigen zeggen nooit eigen aspecten in de beoordeling, ruim een derde doet dat af en toe, een tiende regelmatig en een enkeling vaak tot zeer vaak. De observatoren hebben bij tweederde van de bijgewoonde examens niet waargenomen dat de examinatoren eigen beoordelingsaspecten in de beoordeling betrekken. Strenger beoordelen In het correctievoorschrift is aangegeven hoeveel punten de kandidaat voor een zwakke, middelmatige of goede prestatie moet krijgen. Examinatoren worden ge­ acht de kandidaten niet minder te punten geven dan is voorgeschreven. Ruim twee derde van de examinatoren beoordeelt naar eigen zeggen nooit strenger dan het correctievoorschrift voorschrijft, bijna een derde zegt dat af en toe te doen en een enkeling regelmatig. De observatoren hebben een iets positiever beeld, zij consta­ teerden minder vaak een te strenge beoordeling. Soepeler beoordelen Uit het onderzoek komt naar voren dat examinatoren vaker te soepel dan te streng beoordelen. Bijna de helft van de examinatoren zegt nooit soepeler te beoordelen dan het correctievoorschrift aangeeft, eveneens bijna de helft doet dat naar eigen zeggen af en toe en sommigen zeggen dat regelmatig te doen. De observaties van het feitelijke beoordelingsgedrag laten een ander beeld zien. Bij een vijfde deel van de examens hebben de observatoren niet waargenomen dat examinatoren soepeler beoordelen, bij ruim de helft observeerden zij dat af en toe, bij een op de vijf regelmatig. Regelgetrouwheid bij de beoordeling van het praktijkexamen Van de geïnterviewde examinatoren kan een op de vijf als volledig regelgetrouw bij de beoordeling gekarakteriseerd worden (terwijl ruim de helft drie of twee van de vier onderzochte beoordelingsvoorschriften volledig naleeft). Deze regelge­ trouwe examinatoren negeren volgens eigen opgave geen beoordelingsaspecten, betrekken geen eigen beoordelingsaspecten in de beoordeling en beoordelen niet strenger of soepeler dan voorgeschreven. De observaties van het feitelijke beoor­ delingsgedrag van de examinatoren tijdens de examens geven een vergelijkbaar

71

beeld te zien. Blijkens de observaties bedraagt het percentage examinatoren dat de voorschriften voor de beoordeling volledig respecteert een op de tien (terwijl twee derde drie of twee van de vier onderzochte voorschriften volledig naleeft). De conclusie is dat de manier waarop de examinatoren het praktijkexamen be­ oordelen op een ruime meerderheid van de scholen niet overeenkomt met de voorschriften. Dat zet de vergelijkbaarheid van de CSPE’s op de verschillende scholen onder druk. Redenen soepele beoordeling volgens examinatoren In het afsluitende interview is de examinatoren die naar eigen zeggen wel eens soepeler beoordelen dan het correctievoorschrift voorschrijft, gevraagd naar de redenen van deze te soepele beoordeling. De observatoren hebben getracht deze redenen tijdens hun schoolbezoek af te leiden uit de communicatie tussen exa­ minatoren en kandidaten en tussen examinatoren onderling. Van de examinatoren die te soepel beoordelen, doet de heflt dat naar eigen zeggen om de kandidaat het voordeel van de twijfel te geven, bijna de helft om rekening te houden met persoonlijke omstandigheden van de kandidaat (bijvoorbeeld in de thuissituatie), eveneens bijna de helft om rekening te houden met de manier waarop het onder­ werp of de vaardigheid in de lessen behandeld is, een derde om inzet of goede bedoelingen te belonen, een derde omdat het onderwerp of de vaardigheid in de lessen te weinig aan bod is gekomen. Verder zijn als redenen vaak genoemd: om kandidaten te beoordelen zoals zij dat in de lessen gewend zijn, omdat de exami­ nator onvoldoende op alle kandidaten tegelijkertijd kan letten, omdat de kandidaat gebaat is bij succeservaringen. Alhoewel begrijpelijk vanuit het standpunt van de examinator als degene die de kandidaten heeft opgeleid, staan deze redenen op gespannen voet met een ob­ jectieve beoordeling waarbij kandidaten met dezelfde vaardigheid ongeacht de school waarop zij zitten een gelijke kans hebben om voor het examen te slagen (De Groot & Wijnen, 1983). De conclusie is dat er nogal wat docenten zijn die hun rol als examinator bij het CSPE niet kunnen en/of willen scheiden van hun rol als opleider. Dat is een punt van zorg. Deze docenten zouden moeten (leren) inzien dat zij hun leerlingen er niet mee helpen als zij te soepel beoordelen. Inzet van een tweede examinator Bij het praktische gedeelte van het beroepsgerichte vmbo is idealiter een tweede examinator aanwezig. Hiervoor bestaan evenwel geen voorschriften. De examinator en de tweede examinator kunnen de scores op de praktische op­ drachten dan in onderling overleg bepalen. Volgens de examinatoren is er, ondanks het ontbreken van voorschriften, op driekwart van de examens bij alle praktijkop­ drachten een tweede examinator aanwezig. Daarnaast is bij een op de zeven exa­ mens een tweede examinator bij een deel van de praktijkopdrachten aanwezig. Bij een op de tien examens is er helemaal geen tweede examinator aanwezig. Op ruim de helft van de scholen waar een tweede examinator aanwezig is, worden de scores van de kandidaten altijd in onderling overleg vastgesteld. De conclusie is dat er op verreweg de meeste scholen een tweede examinator aanwezig is, hoewel hier geen voorschriften voor zijn. Herkansing van het praktijkexamen Ook voor de herkansingen zijn geen voorschriften geformuleerd.

72

Aantal en aard van de herkansingsmogelijkheden De interviewgegevens laten zien dat vrijwel alle scholen examenkandidaten de mogelijkheid biedt om het praktijkexamen of onderdelen daarvan te herkansen. Het aantal en de aard van de herkansingsmogelijkheden blijken van school tot school te verschillen. Op negen van de tien scholen kunnen kandidaten het praktijkexamen of onderdelen daarvan één keer herkansen, bij enkele scholen twee of drie keer en bij 7 procent vier of meer keer (bijvoorbeeld tot de kandidaat een voldoende heeft). Met betrekking tot de aard van de herkansingsmogelijkheden kunnen de kandidaten op een op de zes scholen alleen het volledige praktijkexamen herkansen, bij de helft kunnen zij uitsluitend één of meer maar niet alle examenonderdelen herkansen, en bij een derde kunnen zij zowel het volledige praktijkexamen als onderdelen daarvan herkansen. Ten aanzien van het herkansingsmoment kunnen examenkandidaten op een derde van de scholen het praktijkexamen of onderdelen daarvan alleen vóór de bepaling van de uitslag van het eerste tijdvak (de normering) herkansen, bij ruim de helft kan dat alleen na de normering en bij een achtste deel kan dat bij ongeveer een derde drie tot zes dagen later en bij twee derde een week of meer later. Op de meeste scholen worden vaak meer van deze herkansingsmomenten aangeboden. Op de helft van de scholen mogen kandidaten (onderdelen van) het praktijkexamen her­ kansen om een hoger cijfer te halen, bijvoorbeeld ter compensatie van een slecht gemaakt avo-vak. Uit deze gegevens kan men concluderen dat de herkansingsmogelijkheden van school tot school verschillen. Omdat er geen voorschriften zijn geformuleerd, is dit toegestaan, maar in het kader van vergelijkbaar minder wenselijk. Voorbereiding op de herkansing Tijdens de interviews is de examinatoren gevraagd naar de wijze waarop zij de kandidaten op de herkansing voorbereiden. Ruim een derde van hen geeft kan­ didaten nooit extra uitleg of oefening ter voorbereiding op de herkansing, een kwart geeft alleen extra uitleg en een derde biedt zowel extra uitleg als oefening met examenopdrachten. Van de examinatoren die kandidaten ter voorbereiding op de herkansing met examenopdrachten laten oefenen, gebruikt vier vijfde hiertoe opdrachten uit eerdere praktijkexamens, een vijfde (daarnaast) opdrachten uit het praktijkexamen van 2008 en bijna de helft (daarnaast) ander materiaal zoals zelf­ gemaakte opdrachten. Uitgedrukt als een percentage van het totale aantal examinatoren gebruikt een op de twaalf hiertoe opdrachten uit het praktijkexamen van 2008. Dit aspect van de herkansingspraktijk is moeilijk verenigbaar met de uitgangspunten van centrale examinering (zonder dat docenten zich daar doorgaans van bewust lijken te zijn).

4.2

Het CSPE in de toekomst

De inspectie heeft de resultaten van het onderzoek besproken met de belangheb­ bende partijen bij het CSPE: het ministerie van OCW, de VO-raad (als vertegen­ woordiger van de besturen en de schoolleidingen), Platforms van docenten, Cevo en Cito. Het doel van deze bespreking was het verkennen van mogelijkheden om in de komende jaren de afname van het CSPE in overeenstemming te brengen met de wettelijke vereisten en andere kwaliteitscriteria, inclusief de rol van de genoemde organisaties daarbij. De resultaten van deze bespreking zijn verwerkt in deze paragraaf.

73

Context Bij de interpretatie van de resultaten van het onderzoek moet rekening worden gehouden met de context waarin het onderzoek is uitgevoerd. De gegeven hulp en de toegeeflijke beoordeling zijn deels begrijpelijk als men bedenkt dat de examinator tevens degene is die de kandidaat heeft opgeleid. Docenten kiezen het beroep van leraar omdat zij jongeren willen helpen. Vooral docenten in het vmbo die regelmatig te maken hebben met zorgleerlingen, zijn begaan met het lot van die leerlingen en willen hun daarom graag bij de beoordeling het voordeel van de twijfel geven. Tegelijkertijd zijn er factoren buiten de docent zelf die bijdragen aan een verklaring voor de onderzoeksuitkomsten: • De voorschriften lijken niet in alle gevallen even duidelijk en zeker niet volledig bekend. Hoewel dit niet expliciet onderzocht is, lijken de meeste docenten te goeder trouw omdat zij de vaak weinig expliciete regels onvoldoende kennen en zij zich de gevolgen van regelafwijkingen niet bewust zijn. • Voor de beroepsgerichte programma’s is centrale examinering een relatief nieuw fenomeen. Voor 2003 kende het voormalige vbo alleen schoolexamens. Daarbij waren geen bindende eisen gesteld. Bij de invoering van het CSPE is bovendien geen implementatietraject ingezet waar de scholen/docenten gebruik van konden maken. • Docenten zijn niet geschoold in het examineren en beoordelen van kandida­ ten. Praktijkdocenten kunnen zich bijvoorbeeld nog niet als examinator laten certificeren. • Het openbaar maken van examengegevens en het beoordelen van de on­ derwijskwaliteit van scholen (mede) op basis van hun examenprestaties kan de druk op hoge examenprestaties en de neiging tot helpen en toegeeflijk beoordelen verhogen. • Het nagenoeg ontbreken van toezicht op de naleving van de regels biedt exa­ minatoren weinig steun. • Het relatief beperkte civiele effect van het BB-examen kan regelafwijkingen in de hand werken. In de basisberoepsgerichte leerweg kunnen leerlingen immers ook zonder diploma in het mbo instromen. Wettelijke vereisten en kwaliteitscriteria Daarnaast moet bij de interpretatie van de onderzoeksresultaten rekening worden gehouden met het feit dat in het onderzoek als criteria voor de beoordeling van de afnamekwaliteit zowel wettelijke vereisten zijn gebruikt als ook andere kwaliteitsei­ sen. Met andere woorden: als op een school de afname van het CSPE niet aan alle criteria voldeed, betekent dat niet dat de school ook meteen wettelijke vereisten overtreedt. Zo is het aantal herkansingen niet wettelijk geregeld. Het is vanuit kwa­ litatief oogpunt niet gewenst dat er een ongelimiteerd aantal herkansingen wordt gebruikt of dat het aantal herkansingen tussen scholen sterk verschilt, maar er wordt geen wet overtreden vanaf een bepaald aantal. De passage in het rapport dat een op de zeven docenten het examen volledig volgens de regels afneemt, wil ove­ rigens niet zeggen dat de overige docenten zich helemaal niet aan de wet hebben gehouden. Het betekent alleen dat deze docenten het praktijkexamen naar eigen opgave volledig en integraal afneemt, geen ander dan het voorgeschreven materiaal gebruikt, de kandidaten geen andere dan als aansporing en bemoediging bedoelde hulp geeft en ervoor zorgt dat kandidaten niet overleggen of elkaar helpen. Daar­ naast leeft ruim de helft twee of drie van de vier voorschriften volledig na.

74

Verbeteringen Dit alles laat onverlet dat uit het onderzoek blijkt dat op de meeste scholen de wijze waarop het CSPE op dit moment wordt afgenomen niet aan de criteria voldoet die gesteld mogen worden aan een centraal examen. Maar, net als de inspectie, hechten de betrokken partijen in het voortgezet on­ derwijs er aan dat het CSPE een onderdeel van de centrale examinering blijft. De examinering van de beroepsgerichte vakken moet niet (weer) een onderdeel van het schoolexamen worden, het centrale karakter is belangrijk. Dat betekent dat de afname van het CSPE aan de criteria voor een centraal examen moet gaan voldoen. Om de afname van het CSPE op alle scholen in overeenstemming te brengen met de wettelijke vereisten en de kwaliteitscriteria moet er wel het een en ander gebeuren. De inspectie stelt zich voor dat de scholen (schoolbesturen, school­ leidingen, docenten) de kans krijgen om het CSPE te laten toegroeien naar een ‘echt’ centraal examen. Maar dan moet bij een hernieuwd inspectie-onderzoek (bijvoorbeeld in 2012) vooruitgang en resultaat te zien zijn, zodat de inspectie ook tot nalevingstoezicht kan overgaan. Tot dat moment (bijvoorbeeld 2012) zijn verbeteracties nodig, die: • in het schooljaar 2009/2010 uit zouden kunnen worden voorbereid en uitge­ zet; • in het schooljaar 2010/2011 door de scholen kunnen worden uitgevoerd; en, • in het schooljaar 2011/2012, dus bij het examen 2012, door de inspectie kunnen worden onderzocht en gecontroleerd. Wat moet er gebeuren? In het overleg dat de inspectie voerde met de betrokken partijen is aan de orde gesteld dat in nauwe samenwerking tussen de genoemde partijen op de verschil­ lende niveaus (macroniveau, schoolniveau, docentniveau) maatregelen mogelijk, maar ook gewenst zijn. Op macroniveau is hierbij gedacht aan: • een verheldering en aanscherping van de bestaande regelgeving op het punt van (de afname van) het CSPE; hierbij moet bijvoorbeeld gedacht worden aan het aantal herkansingen en de inzet van een tweede examinator; • het opstellen van instructies voor de examinator; hierdoor komt er minder (in­ terpretatie)ruimte voor de examinator, bijvoorbeeld door voor te schrijven wat wel en wat niet van tevoren mag worden ‘weggegeven’ aan de kandidaten; • het vormgeven van een nieuwe regeling van het aanleveren van de CSPE’s aan de scholen. De scholen krijgen het CSPE nu ruim voor de afnamedatum toege­ stuurd; verkend zou kunnen worden of een latere aanlevering mogelijk is. Op schoolniveau zijn er de volgende mogelijkheden: • de school moet worden ondersteund bij het opstellen van een protocol voor de afname van het CSPE; de school neemt dat protocol op in het examenre­ glement; • inmiddels hebben de VO-raad en AOC-raad een voorbeeld-protocol opgesteld en aan de scholen aangeboden; de inspectie beschouwt dit als een goede ondersteuning van de scholen en de docenten; • de inspectie controleert bij haar reguliere, risicogerichte werkwijze of scholen het protocol gebruiken.

75

Op het niveau van de docent/examinator zijn de volgende maatregelen aan de orde geweest: • in de initiële opleiding van docenten wordt een module ‘examineren’ opgeno­ men, die mede gericht is op het CSPE; • in post-initiële opleidingen worden vergelijkbare modules aangeboden; • in de module ligt het accent op ‘Wat betekent het voor mij als docent dat ik ook examinator ben?’ De inspectie heeft toegezegd een eerstvolgende overleg over de beschreven maat­ regelen te zullen organiseren.

76

Literatuur Adelmund, K.Y.I.J. (2002). Beantwoording vragen m.b.t. examinering vmbo (ken­ merk VO/BOB/02/13596). Zoetermeer: Ministerie van OC&W. Brookhart, S.M. (1999). The art and science of classroom assessment: The missing part of pedagogy. ASHE-ERIC Higher Education Report (Vol. 27, No.1). Washington, DC: The George Washington University, Graduate School of Education and Human Development. Cevo (2006). Rooster voor de centrale examens van de eindexamens en de staatsexamens vwo, havo en vmbo in 2008. Utrecht: Cevo. Online beschikbaar via: http://www.eindexamen.nl/9336000/1/j9vvhinitagymgn_m7mvh57glijc7x5/ vhere711rlac#par9 Cevo (2007). Mededelingen over de eindexamens 2008 voor vwo, havo, vmbo en vavo (Septembermededeling). Utrecht: Cevo. Online beschikbaar via: http://www. eindexamen.nl/9336000/1/j9vvhinitagymgn_m7mvh57glijc7x5_n11vga3db3c9od5/ vhobrcufthb3 Cevo (2008a). Centrale examens in 2008 voor vwo, havo, vmbo en vavo (Maart­ mededeling). Cevo: Utrecht. Online beschikbaar via: http://www.eindexamen. nl/9336000/1/j9vvhinitagymgn_m7mvh57glijc7x5/vht4dtygmcjl Cevo (2008b). Herkansing CSPE: Bijlage bij de Maartmededeling, mededelingen over de eindexamens 2008. Utrecht: Cevo. Online beschikbaar via: http://www. eindexamen.nl/9336000/1/j9vvhinitagymgn_m7mvh57glijc7x5_n11vga3db3c9od5/ vht4flsj0zxm/f=/maartmededeling1.6.2_herkansing_CSPE.pdf Groot, A.D. de, & Wijnen, W.H.F.W. (1983). Vijven en zessen. Cijfers en beslissin­ gen: het selectieproces in ons onderwijs. Groningen: Wolters-Noordhoff. Inspectie van het Onderwijs (2006). Onderwijsverslag 2004/2005. Utrecht: Inspec­ tie van het Onderwijs. Inspectie van het Onderwijs (2007a). Discrepanties tussen de cijfers op het school­ examen en het centraal examen. Utrecht: Inspectie van het Onderwijs. Inspectie van het Onderwijs (2007b). Discrepanties tussen de cijfers op het schoolexamen en het centraal examen in de periode 2004-2006. Utrecht: Inspectie van het Onderwijs. Inspectie van het Onderwijs (2008). Onderwijsverslag 2006/2007. Utrecht: Inspec­ tie van het Onderwijs. Online beschikbaar via http://www.owinsp.nl/ Kuhlemeier, H. (2007a). Internationaal gangbare moderatieprocedures voor het vaststellen en verbeteren van de kwaliteit van schoolexamens. Paper gepresenteerd op de 34e Onderwijs Research Dagen, 6-8 juni 2007, Groningen.

79

Kuhlemeier, H. (2007b). Onderzoek naar afwijkingen van de adviezen en landelijke voorschriften voor de voorbereiding, afname, beoordeling en herkansing van de praktijkexamens. Arnhem: Cito. Kuhlemeier, H., & Béguin, A. (2006). Over de maakbaarheid en landelijke verge­ lijkbaarheid van de centrale vmbo-praktijkexamens: Een discussienota op verzoek van de Cevo. Arnhem: Cito. Kuhlemeier, H., Harms, J. & Kremers, E. (2004). Flexibilisering van centrale exa­ mens. Verslag van een serie gesprekken met schoolleiders en andere deskundigen. Arnhem: Cito. Kuhlemeier, H., Weeren, J. van, & Werf, M.P.C. van der (2006). Scheiding van opleiden en examineren in Nederland en omringende landen. Studie verricht in opdracht van de Onderwijsraad. Cito: Arnhem. Laheij, E. (2004). Inventarisatie beoordelingspraktijk CSPE ’04. Verslag van een kwa­ litatief onderzoek bij docenten (doctoraalscriptie onderwijskunde). Arnhem: Cito. Landis, J.R., & Koch, G.G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33, 14-174. Ministerie van OCW (2008). Eindexamenbesluit vwo-havo-mavo-vbo. Online be­ schikbaar via: http://www.eindexamen.nl/9336000/1/j9vvhinitagymgn_m7mvh57g­ lijc7x5/vhq9junklaj4?code=pexb Onderwijsraad (2006). Naar meer evidence-based onderwijs. Den Haag: Drukkerij Artoos. Shrout, P.E., & Fleiss, J.L. (1979). Intra class correlations: Uses in assessing rater reliability. Psychological Bulletin, 86, 2, 420-428. Snijkers, G.J.M.E. (2002). Cognitive laboratory experiences: On pretesting compute­ rised questionnaires and data quality (dissertation). Utrecht: University of Utrecht. Wilmut, J., & Tuson, J. (2005). Statistical moderation of teacher assessments. A report to the Qualifications and Curriculum Authority. London: Qualifications and Curriculum Authority. Willis, G. B. (1999). Cognitive interviewing: A ‘how to’ guide. Washington, DC: Research Triangle Institute. Online beschikbaar via: http://appliedresearch.cancer. gov/areas/cognitive/interview.pdf Yaffee, R.A. (1998). Enhancement of reliability analysis: Application of intraclass correlations with SPSS/Windows v.8. Online beschikbaar via: http://www.nyu.edu/ its/statistics/Docs/intracls.html

80

Bijlage I Toelichtingen van de examinatoren Toelichtingen van de examinatoren bij de vraag naar de mate waarin en de wijze waarop zij kandidaten met examenopdrachten of onderdelen daarvan hebben laten oefenen. Verwerking Agrarische Producten Door de leerlingen oude examen opdrachten van jaren ervoor te laten maken. Twee

keer een compleet examen laten oefenen.

Geoefend met ander recept of ander materiaal.

Verpakt als lesstof vertaald als andere opdracht of andere recept.

Recepten uitvoeren volgens eigen recept of eigen wijze.

Mayonaise laten maken op eigen recept.

Mayonaise gemaakt en aan theoretisch reinigen plus desinfecteren even extra

aandacht aan besteed.

De leerlingen hebben een lesje mayonaise maken gehad naar aanleiding van de

examenopdrachten, maar niet de opgaven gebruikt.

Variaties erop.

Uit examen van voorgaande jaren. En daarnaast er ook theoretische vragen uit­ gehaald.

Patat en mayonaise gemaakt op gecombineerde wijze van de bb- en kb-toets

onderdelen daarvan.

Door middel van oude examens uit te laten voeren plus door een recept te geven

over mayonaise plus deze uit laten voeren uit een kookboek.

Handel en Verkoop De kassahandelingen zijn met de leerlingen geoefend.

Oefenen met alle aspecten van de kassa (o.a. kortingsbonnen, btw et cetera).

Examenopdracht vorig jaar + vergelijkbare opdrachten.

Met oude examens.

Kassa.

Met behulp van oude examens en opdrachten.

Digitaal en schriftelijk.

Oefening maar niet de exacte examenopdracht.

Zij hebben de leerlingen een mapje gegeven met daarin opdrachten om mee te

oefenen.

Kandidaat kreeg de examenopdrachten en mocht dit doornemen + zelf oefenen

van tevoren.

Vergelijkbare opdrachten.

In Excel, Word, Powerpoint oefenen/ook praktische opdracht van of februari, maar

geen opdrachten uit 2008 (oude examen zelf gemaakt).

Kassa, presentatie.

Excelbestand geoefend met opzet maar niet exacte examen. Verder niets geoe­ fend.

Uiterlijke verzorging Stukjes van een onderdeel gepakt en aan elkaar geplakt.

Gezegd waarop beoordeeld wordt.

Alle onderdelen nog steeds extra doorgenomen.

Als trainingvoorbereiding de onderdelen geoefend, maar ook onderdelen uit andere

83

examen van voorgaande jaren.

Met het oude examen van theorie (voorgaande jaren).

Maar de leerlingen hadden geen weet dat het een onderdeel van het examen is.

Oefenen met BMI-scores.

Acht weken lang geoefend op verschillende onderdelen.

Met onderdelen van het examen 1x per week.

Elektrotechniek Met oude examens.

84

Bijlage II Andere redenen voor een te soepele beoordeling Andere redenen te soepele beoordeling: examinatoren I De antwoorden van de zestien examinatoren die tijdens het interview andere rede­ nen voor een soepeler beoordeling noemden, zijn hieronder weergegeven. Verwerking Agrarische Producten Als er sprake is van doorrekenfouten wordt dat slechts 1 keer fout gerekend Handel en verkoop Indicatie voor handicap, zoals dyslexie, adhd et cetera.

Indien de opdracht of scoring onduidelijk is, geeft de examinator de leerlingen het

voordeel van de twijfel.

Rekening met omstandigheden - dan soms meegenomen hoe kandidaat het de

rest van het jaar deed.

Rekening houdend met defect en stoornis met beperkingen van de leerling.

In de praktijk (stage) gaat het bijvoorbeeld goed, maar nu door zenuwen slechtere

prestatie. Dan toch correct scoren en toch een punt geven.

Om rekening te houden met hoe de kandidaat in de stage iets geleerd heeft waar

het bijvoorbeeld anders gaat dan op het examen.

Als de leerling iets doet waar hij geen punt voor kan krijgen, dan iets meer punten.

Bij score 0 of 2, dan toch voor score 2 gaan.

Ter compensatie van een streng beoordeeld item. De docent vindt het belangrijker

dat leerlingen in eigen bewoordingen formuleren.

Eventuele stoornis van kandidaat, bijvoorbeeld adhd, autisme, dyslexie

CSPE - de kandidaat moet slagen, dus dan maar gelijk de eerste keer. Docent laat

studenten altijd slagen.

Uiterlijke verzorging Wanneer de school iets niet goed doet, bijvoorbeeld organisatorische problemen, computeruitval, laptop werkt niet. Elektrotechniek Rekening houden met leerlingen in de LWT- en LWO-stroming, deze doen ook

basisexamen.

Fysieke handicap van een kandidaat.

Andere redenen te soepele beoordeling: examinatoren II Onderstaand overzicht toont de overige redenen voor een te soepele beoordeling zoals deze zijn vastgesteld op basis van de observaties bij 26 van de 88 examina­ toren die te soepel beoordeelden. Verwerking Agrarische Producten Betreffende leerling werd omschreven als zwak.

Iets niet gezien.

Leerling is ingestroomd. Docenten houden rekening met achterstanden opgelopen

op vorige school.

Docent lijkt veel aspecten onbelangrijk te vinden. Wil het gemakkelijker maken

85

voor de studenten. Lijkt moeite te hebben met een strenge rol. Weet niet of het in de les behandeld is. Omdat bijvoorbeeld het maken van de mayonaise als te moeilijk beschouwd wordt in de tijd die ervoor gegeven is. De examinatoren geven om deze reden wat stu­ ring. Handel en verkoop De opdracht wordt niet volledig op alle onderdelen gescoord, maar meer op een

algemeen beeld van de kandidaat op basis waarvan de score wordt toegekend.

In de klas doet de leerling het wel goed.

Anders duurt de opdracht te lang als de kandidaat de fout zelf moet herstellen.

Vandaar dat de kandidaat opnieuw mocht beginnen.

De examensituatie komt niet overeen met de situatie in de praktijk (werkelijkheid)

bijvoorbeeld bij de 4e observatie-eenheid (uitleg).

De examinator vond beoordelingsaspect 8d overbodig (8c en 8d overlappen elkaar).

Men vindt het onzin om fouten uit 8c door te berekenen in aspect 8d.

Examinator heeft fout niet gezien. Stoornis van leerlingen (bijvoorbeeld adhd).

Iemand die veel geoefend heeft wordt een beetje geholpen. Echter, iemand die

totaal niet geoefend heeft van tevoren, krijgt geen hulp.

Om rekening te houden met de leerlingen, omdat deze moeilijker kunnen leren dan

de meeste andere basisleerlingen.

Omdat de examinator zelf om tasje vraagt, kreeg de leerling de kans niet om het

zelf te vragen. Toch punt gegeven bij een van de twee leerlingen.

Omdat opdracht iets afwijkend werd uitgevoerd; niet opzettelijk.

Onvoldoende de toekenning van punten bestudeerd. Onbewust meer punten geven

dan eigenlijk zou moeten.

Op stageplek heeft kandidaat dingen op een andere manier geleerd.

Powerpointpresentatie beoordelen zoals in de praktijk (praktisch). Dia’s niet na elf

seconden automatisch laten verspringen maar handmatig aanpassen.

Ruime opvattingen van de examinator (bijvoorbeeld klantvriendelijkheid is ook net­ jes kunnen inpakken).

Uiterlijke verzorging Omdat de leerlingen volgens de examinator te lang op school zitten en ze moeten

slagen, dan maar zonder dat ze het verdienen.

Omdat de leraar het examen qua Nederlands te moeilijk vindt voor de meiden; 35

procent is buitenlands en heeft moeite met begrijpend lezen.

Elektrotechniek Cito heeft volgens de examinator fouten of onpraktische dingen in het examen

die volgens de leraar naar eigen inzicht op een praktischere manier opgelost wor­ den.

Door het gebruik van andere materialen.

Examinator heeft andere indruk over term hartmaat dan correctievoorschrift.

86