TERUGBLIK CENTRAAL EXAMEN NEDERLANDS HAVO EERSTE TIJDVAK 2012
1
Inleiding 1.
Quickscan
Via WOLF (Windows Optisch Leesbaar Formulier) geven examinatoren per vraag de scores van hun kandidaten voor het centraal examen aan Cito door. Ten behoeve van de normering stelt Cito op basis van de WOLF-gegevens een toets- en itemanalyse van het centrale examen op. Via WOLF wordt de examinatoren gevraagd naar hun mening over de moeilijkheidsgraad, de lengte en de aansluiting op het gegeven onderwijs. Ook wordt de examinatoren gevraagd welk rapportcijfer zij aan dit centraal examen zouden geven. De resultaten van deze bevraging via WOLF worden weergegeven via de quickscan. De quickscan geeft een beeld van de mening van de docenten over het centraal examen nadat zij de eerste correctie hebben verricht. 2.
De vragenlijst
Bij enkele vakken zijn de examinatoren ook ná de normering middels een uitgebreidere vragenlijst over het centrale examen bevraagd. Deze vakken zijn geselecteerd op basis van de resultaten van de quickscan over het voorafgaande examenjaar. Met de combinatie van quickscan en vragenlijst beogen CvE en Cito om een representatief beeld te verkrijgen van de meningen van de docenten over het centrale examen. CvE en Cito kunnen dan bezien of in toekomstige centrale examens, met behoud van handhaving van het niveau, ingespeeld kan worden op de wensen en opvattingen uit het veld. Met uitzondering van het rapportcijfer maken de vragen uit de quickscan eveneens deel uit van de vragenlijst. Het is mogelijk dat dezelfde vraag verschillend beantwoord is doordat de quickscan vóór en de vragenlijst ná de normering is afgenomen. 3.
Afnamegegevens
Cito stelt jaarlijks een digitaal examenverslag op de centrale examens: www.cito.nl. Kies: voortgezet onderwijs _ centrale examens _ Examenverslagen Per centraal examen worden daarin afnamegegevens weergegeven die zijn ontleend aan de toetsenitemanalyse. Terugblik De resultaten van de quickscan en de vragenlijst vormen samen met een overzicht van de afnamegegevens de terugblik op het centraal examen. Hierna treft u de terugblik aan op het centraal examen Nederlands havo eerste tijdvak 2012 en de conclusies van CvE en Cito daaruit.
2
1 Resultaten van de quickscan Bron: www.cito.nl Kies: voortgezet onderwijs → centrale examens → Examenverslagen → Waardering per examen 2012 Wat is uw oordeel over de moeilijkheidsgraad van het examen? Ik vind het examen te moeilijk moeilijk niet te moeilijk/niet te makkelijk makkelijk te makkelijk N=
Abs. 134 687 450 16 2 1289
Perc. 10% 53% 35% 1% 0% 100%
Gemiddeld: 2,27 Standaardafw.: 0,66 Wat is uw oordeel over de lengte van het examen in verhouding tot de tijd die de kandidaat ervoor beschikbaar heeft? Het examen is Abs. Perc te lang 192 15% precies goed 1084 84% te kort 13 1% N= 1289 100% Gemiddeld: 1,86 Standaardafw.: 0,37 Wat is uw oordeel over de inhoudelijke aansluiting van het examen bij het gegeven onderwijs? Abs
zeer goed Goed Voldoende Onvoldoende Slecht N=
Gemiddeld: 3,20 Standaardafw.: 0,69 Welk cijfer zou u dit examen geven? Ik geef dit examen een: 1 2 3 4 5 6 7 8 9 10 Gemiddelde: 6,24 Standaardafw.: 0,97
N=
9 423 693 148 16 1289
Abs 0 1 8 45 198 503 438 95 1 0 1289
Perc. 1% 33% 54% 11% 1% 100%
Perc. 0% 0% 1% 3% 15% 39% 34% 7% 0% 0% 100%
3
2 Resultaten van de vragenlijst Voorbereiding op het examen en aansluiting bij de syllabus Welke documenten gebruikt u bij de voorbereiding van uw leerlingen op het examen? Altijd Meestal Zelden Nooit Een (combinatie van) methode(n) 321 90 19 12 September- en/of Maartmededelingen van CvE 130 67 132 113 (voorheen CEVO) Oude examens 417 25 0 0 Syllabus (gepubliceerd door CvE) 83 82 121 156 Een (combinatie van) methode(n) September- en/of Maartmededelingen van CvE (voorheen CEVO) Oude examens Syllabus (gepubliceerd door CvE)
Altijd 72,6 % 29,4 %
Meestal 20,4 % 15,2 %
Zelden 4,3 % 29,9 %
Nooit 2,7 % 25,6 %
94,3 % 18,8 %
5,7 % 18,6 %
0,0 % 27,4 %
0,0 % 35,3 %
Beantwoordt het examen aan de eisen die in de door CvE gepubliceerde syllabus worden gesteld? Het examen beantwoordt 39 8,8 % volledig aan de eisen 290 65,6 % in voldoende mate aan de eisen 28 6,3 % in onvoldoende mate aan de eisen 1 0,2 % in het geheel niet aan de eisen 84 19,0 % Dit kan ik niet beoordelen 442 100,0 % Totaal Wat is uw oordeel over de inhoudelijke aansluiting van het examen bij het gegeven onderwijs? zeer goed 10 2,3 % goed 212 48,0 % voldoende 189 42,8 % onvoldoende 28 6,3 % slecht 3 0,7 % 442 100,0 % Totaal Uitgangsmateriaal, bronnen en teksten Hoe beoordeelt u het aantal teksten dat gebruikt wordt als uitgangsmateriaal voor de vragen? Het aantal teksten is 5 1,1 % te groot 403 91,2 % precies goed 34 7,7 % te klein 442 100,0 % Totaal Hoe beoordeelt u de totale hoeveelheid tekst die gebruikt wordt als uitgangsmateriaal voor de vragen? De totale hoeveelheid tekst is 29 6,6 % te groot 407 92,1 % precies goed
4
6 442
1,4 % 100,0 %
Hoe beoordeelt u de geschiktheid van de onderwerpen van de teksten voor de kandidaten? Ik vind de onderwerpen 56 allemaal geschikt 314 grotendeels geschikt 71 grotendeels ongeschikt 1 allemaal ongeschikt 442 Totaal
12,7 % 71,0 % 16,1 % 0,2 % 100,0 %
te klein Totaal
Het is ongewenst dat teksten naar algemeen gevoelen aanstootgevend zijn voor bepaalde bevolkingsgroepen. Wat is uw mening over de aanvaardbaarheid van de teksten? Ik vind de teksten 337 76,2 % allemaal aanvaardbaar 100 22,6 % grotendeels aanvaardbaar 5 1,1 % grotendeels onaanvaardbaar 0 0,0 % allemaal onaanvaardbaar 442 100,0 % Totaal Hoe beoordeelt u het examen wat betreft de variatie in onderwerpen in de gebruikte teksten? Ik vind de variatie in onderwerpen 116 26,2 % goed 165 37,3 % ruim voldoende 140 31,7 % voldoende 21 4,8 % onvoldoende 442 100,0 % Totaal Hoe beoordeelt u de moeilijkheidsgraad van de teksten in het examen? Ik vind de teksten zeer moeilijk moeilijk precies goed te gemakkelijk Totaal
12 220 200 10 442
2,7 % 49,8 % 45,2 % 2,3 % 100,0 %
Moeilijkheidsgraad Wat is uw oordeel over de moeilijkheidsgraad van het examen? Ik vind het examen te moeilijk moeilijk niet te moeilijk/niet te makkelijk makkelijk te makkelijk Totaal
27 198 204 9 4 442
6,1 % 44,8 % 46,2 % 2,0 % 0,9 % 100,0 %
Wat is uw oordeel over de mate waarin het examen de vaardige en minder vaardige kandidaten onderscheidt?
5
Het onderscheidend vermogen is voldoende is onvoldoende kan ik niet beoordelen Totaal
294 114 34 442
66,5 % 25,8 % 7,7 % 100,0 %
Lengte Wat is uw oordeel over de lengte van het examen in verhouding tot de tijd die de kandidaat ervoor beschikbaar heeft? Het examen is 50 11,3 % te lang 383 86,7 % precies goed 9 2,0 % te kort 442 100,0 % Totaal Taalgebruik Hoe beoordeelt u de moeilijkheidsgraad van het taalgebruik in het examen? Ik vind het taalgebruik 7 zeer moeilijk 138 moeilijk 291 precies goed 6 te gemakkelijk 442 Totaal
1,6 % 31,2 % 65,8 % 1,4 % 100,0 %
In welke mate vindt u het taalgebruik in de teksten passend bij de doelgroep? Ik vind het taalgebruik in de teksten 35 allemaal passend 322 grotendeels passend 83 grotendeels niet passend 2 allemaal niet passend 442 Totaal
7,9 % 72,9 % 18,8 % 0,5 % 100,0 %
Vraagvorm Een gesloten vraag is een vraagvorm waarbij de kandidaat moet kiezen uit een beperkt aantal antwoordmogelijkheden die vooraf gegeven zijn. Een open vraag is een vraagvorm waarbij een kandidaat het antwoord zelf moet formuleren. In het examen worden zowel open als gesloten vragen gebruikt. Wat vindt u van de verdeling van beide vraagvormen in het examen? Ik vind de verdeling van de vraagvormen 263 59,5 % goed 104 23,5 % niet (zo) goed, ik heb liever een groter aantal gesloten vragen 58 13,1 % niet (zo) goed, ik heb liever een groter aantal open vragen 15 3,4 % niet (zo) goed, ik heb liever uitsluitend gesloten vragen 2 0,5 % niet (zo) goed, ik heb liever uitsluitend open vragen 442 100,0 % Totaal
6
Correctievoorschrift Het correctievoorschrift bestaat uit een algemeen gedeelte en een vakspecifiek gedeelte. In het algemeen gedeelte staan de algemene regels voor de correctie van examenvragen. Het vakspecifieke gedeelte bevat het beoordelingsmodel met het bijbehorende scoringsvoorschrift. In welke mate geeft het beoordelingsmodel u voldoende houvast om bij de antwoorden van een kandidaat te bepalen hoeveel scorepunten u moet toekennen? Het beoordelingsmodel geeft mij 28 6,3 % bij alle vragen voldoende houvast 330 74,7 % bij de meeste vragen voldoende houvast 84 19,0 % bij de meeste vragen onvoldoende houvast 0 0,0 % bij alle vragen onvoldoende houvast 442 100,0 % Totaal Open vraag Bij de open vraag kunnen docenten aanvullende opmerkingen plaatsen. Een deel van de docenten heeft hiervan gebruik gemaakt. Teksten 34 docenten gaven aan dat de tekst voor de samenvatting te abstract of te moeilijk was voor havoleerlingen. 12 docenten gaven aan dat het onderdeel tekst met vragen goed te doen was. Ook 12 docenten gaven een compliment voor het examen. Vragen 37 docenten gaven aan dat een vraagstelling te moeilijk, onduidelijk of niet goed was. Correctievoorschrift 60 docenten gaven aan dat het correctievoorschrift niet duidelijk genoeg te vinden. Dit gold vooral voor de samenvatting en in mindere mate voor de open vragen bij de tekst met vragen. Zo meldden 19 docenten dat er naar hun mening belangrijke inhoudelijke punten ontbraken in het correctievoorschrift van de samenvatting, of dat een aantal geleidingspunten helemaal niet gescoord werd door de leerlingen. 7 keer werd genoemd dat er geen punten waren voor herhaling van de geleidingspunten terwijl dat toch aangeleerd wordt in de klas. Verder meldden 21 respondenten dat er door het onduidelijke correctievoorschrift veel discussie was tussen de eerste en tweede corrector en werd 12 keer genoemd dat het verslag van Levende Talen ook discussie opleverde, bijvoorbeeld omdat de ene corrector dat wel meenam in zijn beoordeling en de andere niet. Diversen Ook gaven docenten ideeën voor een beter examen. Met 10 keer het meest genoemd, was het idee om in het examen meerdere, kortere teksten op te nemen. Verder gaven een aantal respondenten aan dat ze het maken van de samenvatting als een kunstje beschouwen: de leerling geeft antwoord op de geleidingspunten, en plakt de zinnen aan elkaar.
7
3 Analysegegevens Bron: www.cito.nl Kies: voortgezet onderwijs → centrale examens → Examenverslagen → Resultaten per examen 2012 Open de Excel-applicatie. Door de cel ‘P’-waarde totale steekproef’ aan te klikken vindt u een omschrijving van het begrip ‘P’waarde’.
Schooltype/Leerweg
HAVO
Soort examen
CSE
Vaknaam
Nederlands
Totaal aantal kandidaten
51.876
Steekproefgrootte
30.736
Aantal vragen
31
P’-waarde totale steekproef
0,56
P'-waarde, alleen jongens
0,54
P'-waarde, alleen meisjes
0,58
Maximumscore
50
Gemiddelde score
28,0
Normeringsterm
1,1
Gemiddeld cijfer
6,1 Percentage onvoldoendes (<5,5) 24,4 Standaardafwijking 5,4 Betrouwbaarheid (asymp. GLB)
0,45
Standaardmeetfout
4,0
8
4 Conclusies en aandachtspunten voor de toekomst Bij de voorbereiding op het examen is vooral gebruik gemaakt van een combinatie van methode(s) en oude examens, andere voorlichtende documenten van het College voor Examens spelen hierbij in veel mindere mate een rol. Uit de resultaten van zowel de quick scan als de enquête wordt duidelijk dat docenten het centraal examen Nederlands havo eerste tijdvak 2012 een goed examen op niveau vinden, zij het aan de moeilijke kant. De inhoudelijke aansluiting van het examen op het gegeven onderwijs wordt door de meeste docenten als voldoende tot goed ervaren. Een ruime meerderheid is van mening dat het examen de vaardige en minder vaardige kandidaten onderscheidt. Bij de open vraag in de enquête geven 60 docenten aan moeite te hebben met het correctievoorschrift, het betreft hier vooral het antwoordmodel bij de samenvattingsopdracht. Cito en CvE hebben het examen ook op dit punt geëvalueerd. Het beoordelingsmodel blijft bij deze opdracht een nadrukkelijk aandachtspunt voor de komende examens in 2013 en 2014.
9
