Verslag evaluatiebespreking cspe’s 2013 Overleg CvE – Cito – Platform VMBO Z&W Datum: 26 november 2013 Tijd: 14.30-16.00 Plaats bij: Eenhoornsingel 100, 6216 CW Maastricht Telefoon: 043-3541234
Aanwezig: Platform:
Cito: CvE:
Audrie Wilhelmus, Helen van Geel, Marie-Louise Engwegen en John von Pey (Bonnefantencollege Maastricht) Wilma Roijackers, secretaris platform Z&W Roos Debets en Ingrid Simoen (DaCapo College) Aggie Potma en Sylvia Wolvekamp (Graaf Huyn College) Katelijne ter Maat (Cito, toetsdeskundige) Huub Huijs (clustermanager beroepsgerichte vakken vmbo)
Agenda 1. Informatie uit de septembermededelingen 2013 2. Het gebruik van scheve schalen 3. Terugblik op de Evaluatie van de cspe’s 2013 4. Vooruitblik op het cspe 2014. 5. SPV-Enquête 2014 1. Informatie uit de septembermededelingen 2013 (zie examenblad www.examenblad.nl) (onderstaande is niet letterlijk zo uitgebreid besproken, maar toch wel handig als info…) Status van het correctievoorschrift: regelgeving Het CvE heeft de correctievoorschriften bij regeling vastgesteld. Het correctievoorschrift is een zogeheten algemeen verbindend voorschrift en valt onder wet- en regelgeving die van overheidswege wordt verstrekt. De corrector mag dus niet afwijken van het correctievoorschrift. Als de corrector van mening is dat het correctievoorschrift een onvolkomenheid bevat neemt hij contact op met de Examenlijn van het CvE (
[email protected]) Instructie voor Examinator: richtlijnen bij de praktijkexamens De instructie voor de examinator bevat richtlijnen voor de voorbereiding, de uitvoering en de beoordeling. De instructie voor de examinator is via doorklikken te downloaden bij onderdeel III.4.3 Richtlijnen bij de praktijkexamens van de Septembermededeling (www.examenblad.nl). Richtlijnen omgaan met examentijd Bij de afname van het cspe gelden sinds het examenjaar 2013 nieuwe richtlijnen voor het omgaan met het begrip examentijd. De 'richtlijnen examentijd cspe' hebben invloed op de organisatie, de afname en de beoordeling van het cspe. Het is van belang dat zowel de examensecretaris als de examinatoren zich tijdig op de hoogte stellen van de nieuwe richtlijnen. In de digitale versie van deze Septembermededeling op Examenblad.nl is het document 'richtlijnen examentijd cspe' te openen.
Grijze vlekken exemplaren cspe’s Bij de A zending 1) van het cspe wordt een ‘grijze vlekken exemplaar’ van het examenboekje naar scholen toegestuurd. In een grijze vlekken exemplaar is alleen de informatie zichtbaar die noodzakelijk is voor de voorbereiding op de afname van het cspe. De informatie die bij de voorbereiding niet nodig is, is onleesbaar gemaakt door deze met een grijze vlek te bedekken. Het is van belang dat de examinator alle opgaven uit het leerlingenboekje zelf maakt voordat hij start met de afname van het cspe. Daarom mag de examinator maximaal vijf werkdagen voorafgaand aan de daadwerkelijke start van de afname van het cspe een leerlingenboekje uit zending B 2) inzien en zelf de opgaven maken. 1) Zending A van het cspe wordt 12 februari 2014 op de school bezorgd. Aan de hand van zending A (zie III.4.2 van de Septembermededeling) kunnen examinatoren en examensecretaris de organisatie van het cspe tot in detail afstemmen. 2) Zending B bevat de papieren examendocumenten in kandidaataantallen (zie III.4.2 van de Septembermededelingen. Examenprogramma’s en syllabi De gebruikte lesmethodes en/of de lespraktijk zijn geen uitgangspunt voor het construeren van het CSPE. Het uitgangspunt is het examenprogramma en in het verlengde daarvan de syllabus. De syllabus is te raadplegen op www.examenblad.nl. Voor de voorbereiding van kandidaten op het centraal examen is naast het examenprogramma de syllabus van het CvE essentieel (zie ook hoofdstuk III van deze Septembermededeling). Voor het schoolexamen is het examenprogramma bindend, SLO publiceert handreikingen voor de uitwerking daarvan in het schoolexamen (www.slo.nl). Minitoetsen cspe’s verklankbaar Voor de scholen die meedoen aan de pilot met het nieuwe computerexamensysteem Facet (zie paragraaf I.4.1) worden ook de minitoetsen afgenomen in Facet. Alle overige scholen nemen de minitoetsen evenals in de vorige examenjaren af met behulp van MiniTester. Zowel in Facet als in MiniTester geldt dat alle minitoetsen voor alle kandidaten verklankbaar zijn. Daardoor kan de kandidaat geluidsfragmenten afspelen waarin de tekst van het beeldscherm wordt voorgelezen (zie III.4.6). Bekendmaking normering beroepsgerichte vakken Het CvE wil de mogelijkheid open laten om in 2014 – evenals in 2012 en 2013 – voor de beroepsgerichte vakken in eerste instantie voorlopige N-termen bekend te maken en de definitieve Ntermen gelijktijdig met de N-termen voor de algemene vakken vmbo te publiceren. In dat geval zou gelden: Het CvE maakt op 4 juni 2014 uitsluitend voorlopige N-termen bekend voor de centrale examens beroepsgericht. Op basis van de voorlopige N-term kan het voorlopige CE-cijfer worden vastgesteld. De definitieve N-termen beroepsgericht worden, gelijktijdig met de N-termen voor de algemene vakken vmbo en havo/vwo, op 12 juni 2014 gepubliceerd. De definitieve N-termen zullen niet lager zijn dan de voorlopige N-termen, zodat het definitieve CEcijfer niet lager kan zijn dan het voorlopige. 2. Het gebruik van scheve schalen Op de landelijke netwerkdag Z&W van 30 mei 2013 is er bij de workshop examinering 2013 uitvoerig stilgestaan bij het gebruik van scheve schalen in de cspe’s. De conclusie van de deelnemers was, dat het gebruik van scheve schalen een belangrijke functie heeft bij het onderscheiden van leerlingen van verschillende niveaus. De uitleg en voorbeelden waren zo overtuigend dat de delegatie adviseerde om een workshop te houden over dit onderwerp op de landelijke netwerkdag. Onderstaande tekst is als doorklikdocument toegevoegd bij de vakken uit de sector Z&W in de septembermededelingen De inzet van scheve schalen Het cspe moet een goede meting zijn van de vaardigheden van de kandidaten. Daarom komen opdrachten voor die onderscheidend zijn en vaardigheidsverschillen tussen kandidaten zichtbaar maken. Bij sommige opdrachten worden kandidaten beoordeeld op het uitvoeren van een aantal handelingen.
De examinator beoordeelt alle handelingen (bijvoorbeeld met behulp van een checklist) en bepaalt vervolgens de score voor de opdracht. Daarbij past de examinator het correctievoorschrift toe. In het correctievoorschrift kan sprake zijn van een schaal waarin staat aangegeven hoeveel punten moeten worden toegekend aan het juist uitvoeren van handelingen. Soms wordt een scheve schaal gebruikt en soms een gelijkmatige schaal . Bij een scheve schaal worden aan kandidaten bij het uitvoeren van de desbetreffende opdracht hogere prestatie-eisen gesteld dan bij een gelijkmatige schaal. Bijvoorbeeld: gelijkmatige schaal 7 handelingen goed 6 handelingen goed 5 handelingen goed 4 handelingen goed 3 handelingen goed 2 handelingen goed 1 handelingen goed 0 handelingen goed
scheve schaal 7 handelingen goed 6 handelingen goed 5 handelingen goed 4 of minder handelingen goed
7 pnt 6 pnt 5 pnt 4 pnt 3 pnt 2 pnt 1 pnt 0 pnt
3 pnt 2 pnt 1 pnt 0 pnt
Als in het correctievoorschrift van het cspe te veel gelijkmatige schalen voorkomen, kan het gevolg zijn dat de kandidaten hogere cijfers krijgen dan zij op grond van hun vaardigheidsniveaus verdienen. Daarom worden in de correctievoorschriften ook scheve schalen gebruikt. Het CvE heeft als uitgangspunt dat de normeringsterm (N-term) zó wordt vastgesteld dat hetzelfde vaardigheidsniveau over de jaren heen tot hetzelfde cspe-cijfer leidt. Het gebruik van scheve schalen leidt niet tot een lager landelijk gemiddeld cspe-cijfer. Een laag cspe-cijfer van een individuele kandidaat moet het gevolg zijn van diens lage vaardigheidsniveau. 3. Terugblik centrale examens beroepsgericht 2013 Evaluatie van de cspe’s aan de hand van criteria gebruikt in de algemene enquête. Er zijn in totaal 204 enquêteformulieren ingevuld. Dit zijn er 22 minder dan vorig jaar. In de tabel staat een overzicht van de resultaten. Vakken
VZ BB
VZ KB
ZWB BB
ZWB KB
ZW GL
Aantal ingevulde enquêtes
39
44
48
62
11
Vragen sluit de inhoud van het cspe 2013 aan bij het examenprogramma?
77%
70%
77%
81%
73%
sluiten de contexten/uitgangspunten/onderwerpen aan bij de leerlingen en het vakprogramma?
79%
89%
75%
81%
73%
sluit het taalgebruik aan bij het niveau van de leerling
59%
70%
77%
81%
73%
sluit de moeilijkheidsgraad aan bij het niveau van de leerweg
31%
55%
54%
63%
91%
sluiten de minitoetsen voldoende aan op de praktijkopdrachten
87%
73%
73%
76%
73%
is de organisatie van het examen goed uitvoerbaar
67%
70%
88%
84%
55%
is het correctievoorschrift duidelijk geformuleerd
77%
61%
63%
71%
beoordeling/waardering voor het cspe als geheel
6,4
6,0
6,3
6,1
6,9
Naar aanleiding van de evaluatiebespreking van het cspe 2013 door het Platform VMBO Z&W kwamen de volgende onderwerpen aan bod en zijn soms afspraken gemaakt. • De casus ‘Een beurs’ behoort niet tot de belevingswereld/leefwereld van de kandidaten. Kandidaten hebben daarom moeite zich in de situatie in te leven. Cito zal trachten een casus te kiezen die aansluit bij de leefwereld van kandidaten. • Sommige scholen vinden het jammer dat er geen samenwerkingsopdrachten in het Centraal Examen zitten. Cito/CvE geven aan dat de resultaten van de samenwerkingsopdrachten deels afhangen van de samenwerkingspartner. Hierdoor wordt de betrouwbaarheid van de resultaten laag. Dat is niet wenselijk. Vandaar ook dat samenwerkingsopdrachten niet in het CE-deel gevraagd worden. • In een cspe wordt meestal een ‘moeilijkere’ opdracht (dit keer de planningsopdracht) opgenomen om goed onderscheid te kunnen maken tussen zwakkere en goede kandidaten. Om kandidaten niet in de stress te laten geraken wordt afgesproken dat deze opdrachten niet aan het begin van het cspe worden opgenomen. • CvE levert geen digitale correctievoorschriften. In plaats van een digitale versie van het CV kan men Offline gebruikmaken van WOLF tijdens de praktijkafname. Hierdoor is het mogelijk om tijdens de afname van het cspe de beoordelingen van de kandidaten direct te verwerken in het programma WOLF. Examinatoren kunnen WOLF installeren op bijvoorbeeld een laptop en deze meenemen naar de praktijkruimte of buitenlocatie. • Voor wat betreft de taligheid van de teksten: Cito let erop dat teksten niet te lang zijn en dat de informatie die er staat inderdaad het meest noodzakelijk is. Ook heeft Cito een speciale screeningsronde Nederlands. • Er komen nogal wat opmerkingen over het feit dat niet alle essentiële zaken worden geëxamineerd. Bij elke opdracht wordt vastgesteld welke essentiële zaken worden geëxamineerd. Uitgangspunt is dat: opdrachten beoordeelbaar moeten zijn door de examinator. Alle essentiële zaken worden minimaal 1x in een examen geëxamineerd en dus beoordeeld. In de praktijk worden meestal niet alle eindtermen geëxamineerd. We spreken af dat dit onderwerp in een workshop op een landelijke netwerkdag aan de orde gesteld kan worden. • Cito/CvE zijn van mening dat de organisatielast weliswaar hoog is, maar we vinden dit acceptabel omdat het aansluit bij de karakteristiek van de Zorg en Welzijn vakken. Wel staan we open voor suggesties om de organisatielast terug te dringen zonder geweld te doen aan het examineren van de kern van het vak (de eindtermen). • In de cspe’s worden in toenemende mate ook houdingsaspecten geëxamineerd. Daarbij kan men denken aan: klant/gast/bezoeker ontvangen, (telefoon) gesprek voeren met gast/bezoeker/klant. • Sommige docenten geven aan dat minitoetsen moeilijker zijn dan de praktijkopdrachten. Enerzijds kan dit te maken hebben met de moeilijkheid van vaktheorie, anderzijds met het ‘klikgedrag’ dat kandidaten vertonen bij de (digitale) minitoetsen van het cspe. Met klikgedrag wordt hier bedoeld dat de kandidaat de meerkeuzevraag niet goed leest en te snel een van de antwoordalternatieven aanklikt. Dit ziet men ook bij de algemene vakken. Het CvE gaat er vanuit dat de scholen al hun leerlingen laten oefenen met digitale centrale examens en digitale minitoetsen en dat tijdens die voorbereiding (extra) aandacht wordt besteed aan de averechtse effecten van klikgedrag. • Er is twijfel over de moeilijkheidsgraad van de rekenopdrachten. Uitgangspunt is dat rekenopgaven alleen voorkomen in een realistische context.
• Cito heeft in het verleden op basis van de opmerkingen/vragen van docenten in de enquête er voor gezorgd dat de examens uit min of meer gelijke delen bestaan die tegen elkaar in kunnen draaien. Docenten geven aan dat dat handig is voor de organisatie. 4. Vooruitblik op de cspe’s 2014 In de evaluatie komen opmerkingen voor die vragen om een helder antwoord/stellingname: • Het is van belang dat de Instructie voor de Examinator (zie doorklikdocument in de septembermededelingen) goed wordt gevolgd. Een paragraaf daaruit luidt: Veel scholen hebben een protocol voor de afname van het cspe. In dit protocol staat dat de examinatoren tekenen voor de ontvangst van de examendocumenten van het cspe en verklaren alle zorgvuldigheid in acht te zullen nemen om te voorkomen dat de geheimhouding van de examendocumenten wordt geschonden. De examinator en de tweede examinator stellen in onderling overleg de score voor het centraal examen vast. In het protocol staat dat de eerste en tweede examinator verklaren dat zij de beoordeling in overeenstemming met het correctievoorschrift hebben verricht. Op www.vo-raad.nl en www.aocraad.nl staat een goed voorbeeld van een protocol. • De gebruikte lesmethode en de lespraktijk zijn niet uitgangspunt voor het construeren van het CSPE. Het uitgangspunt is het examenprogramma en in het verlengde daarvan de syllabus. De syllabus is te raadplegen op www.examenblad.nl. • Om tijdig in te kunnen grijpen is het van belang dat vermeende fouten in de examens zo spoedig mogelijk gemeld worden bij de examenlijn. • Vanaf 4 december 2013 is er een doorklikdocument in de septembermededelingen beschikbaar waarin een toets-technisch advies is opgenomen over het aantal kandidaten dat bij de betreffende opdracht tegelijkertijd beoordeeld kan worden. 5. SPV-Enquête 2014 Er is vanuit het platform veel energie gestoken in het evalueren van de cspe’s. Het CvE is daar zeer blij mee. Ook voor 2014 wordt er veel aandacht aan besteed. De docenten worden gevraagd om digitaal evaluatiegegevens aan te leveren. Als de gegevens 28 mei 2014 bij het CvE zijn worden ze meegenomen tijdens de normeringsbijeenkomst. Sluiting
