EVALUATIE CENTRAAL EXAMEN DUITS HAVO EERSTE TIJDVAK 2010

EVALUATIE CENTRAAL EXAMEN DUITS HAVO EERSTE TIJDVAK 2010

Januari 2011

Inhoud

Inleiding

3

1

Resultaten quick scan

4

2

Samenvatting uitkomsten enquête

6

3

Identieke vragen in de quick scan en de vragenlijst

9

4

Conclusie en aandachtspunten voor de toekomst

10

Evaluatie centraal examen Duits havo eerste tijdvak 2010

2

Inleiding Met het doel de mogelijkheden te verkennen voor het systematisch bevragen van docenten naar hun mening over de examens waar hun leerlingen aan hebben deelgenomen, is in schooljaar 2008/2009 voor het eerst een proef door Cito uitgevoerd. Hierbij werd docenten bij een aantal vakken gevraagd, vragen in Wolf te beantwoorden over het examen, de zogenaamde quick scan. Bij een paar van deze vakken zijn docenten ook na de normering middels een uitgebreidere enquête over het examen bevraagd. Op grond van de positieve resultaten van 2009 is besloten de proef in 2010 op grotere schaal te herhalen. Aanleiding hiervoor was de constatering dat Cito en CvE hoofdzakelijk indirect via vakverenigingen en slechts incidenteel direct van docenten reacties op de examens krijgen. Doel van deze bevraging is meer te weten te komen wat er bij docenten leeft en wat er mogelijk in de informatievoorziening verbeterd kan worden. In dit verslag worden de resultaten van de zogenaamde quick scan in Wolf en de enquête na de normering voor het vak Duits havo eerste tijdvak beschreven. Aan het eind van het verslag wordt kort ingegaan op aandachtspunten voor de toekomst.


3

1

Resultaten quick scan

Opzet van de quick scan Na de afname van een Centraal Examen rapporteren docenten via het programma WOLF per vraag van ten minste 5 kandidaten de score. In 2010 is in het programma WOLF de quick scan afgenomen. Deze bestond uit 4 gesloten vragen. Alvorens docenten in WOLF met het invullen van de leerlingresultaten begonnen, kregen ze onderstaande instructie: “Vlak voor het inzenden van de gegevens wordt u bij dit examen een beknopte enquête aangeboden. De resultaten daarvan worden anoniem verwerkt. Deelname is niet verplicht, maar wordt zeer op prijs gesteld.” De quick-scan-vragen zijn in WOLF als volgt gepresenteerd:


4

Respons quick scan In onderstaande tabel staat het aantal respondenten. Verder is aangegeven van hoeveel scholen de respons afkomstig is. Tussen haakjes staat het percentage van het totaal aantal scholen. Vak Duits havo

Aantal respondenten 548

Afkomstig van aantal scholen 382 (77%)

Resultaten quick scan per onderdeel De resultaten van de quick scan zijn vóór de normeringsvergadering berekend. Moeilijkheidsgraad 77 % van de docenten heeft hier aangegeven dat het examen niet te moeilijk/niet te makkelijk is. 16% heeft aangegeven dat het examen makkelijk is. Lengte van het examen 86% was van mening dat de lengte van het examen precies goed was. Inhoudelijke aansluiting 96 % van de docenten vindt de inhoudelijke aansluiting van het examen bij het gegeven onderwijs voldoende of goed. Cijfer of waardering voor het examen Dit examen heeft van de docenten een 7 gekregen (zie ook staafdiagram).

Duits havo 400 300 200 100 0 1

2

3

4

5

6

7

8

9 10


5

2

Samenvatting uitkomsten enquête

De vragenlijst bestond uit 16 gesloten vragen. De vragenlijst is ingevuld door 212 docenten na de bekendmaking van de N-term. 85 docenten hebben bij de open vraag (laatste vraag) een inhoudelijke reactie gegeven. In dit verslag is deze samenvatting onder het kopje ‘open vraag’ integraal overgenomen. Vak Duits havo

Totale respons op open vraag 90

Inhoudelijke respons op de open vraag 85 (40%)

N= 212

Voorbereiding op het examen en aansluiting op de syllabus Een ruime meerderheid van de docenten (82%) gebruikt altijd oude examens en bijna 70% van de docenten gebruikt altijd of meestal de methode bij de voorbereiding van de leerlingen op het examen. Rond de 80% van de docenten gebruiken de September- en/of Maartmededelingen en de syllabus zelden of nooit. Meer dan 60% van de docenten zegt dat het examen volledig of in voldoende mate voldoet aan de eisen zoals die in de syllabus worden gesteld, terwijl 33% van de docenten aangeeft dat ze dit niet kunnen beoordelen. Uitgangsmateriaal Iets meer dan 75% van de docenten vindt het aantal teksten precies genoeg, terwijl 22% het aantal teksten te groot vindt. Iets minder dan 75% van de docenten vindt de totale hoeveelheid tekst precies goed, terwijl 25% van de docenten de totale hoeveelheid tekst te groot vindt. Een ruime meerderheid van de docenten vindt de onderwerpen allemaal geschikt of grotendeels geschikt. Bijna alle docenten vinden de onderwerpen van de teksten allemaal of grotendeels aanvaardbaar. Dit geldt ook voor de variatie in de onderwerpen (voldoende of meer). Moeilijkheid van het examen Iets meer dan 10% van de docenten vindt het examen moeilijk. 66% van de docenten vindt het examen niet te moeilijk/niet te makkelijk. De overige docenten vinden het examen makkelijk of te makkelijk. Iets meer dan 70% van de docenten vindt het onderscheidend vermogen (de mate waarin het examen vaardige en minder vaardige kandidaten onderscheidt) voldoende. Voor 17% van de docenten is het onderscheidend vermogen onvoldoende. De overige docenten geven aan niet te kunnen beoordelen of het examen vaardige van minder vaardige kandidaten onderscheidt. Lengte van het examen Bijna 80% van de docenten vindt de lengte van het examen in verhouding tot de hoeveelheid beschikbare tijd precies goed. Iets meer dan 15% van de docenten vindt het examen te lang. Taalgebruik in het examen Een ruime meerderheid (87%) van de docenten vindt het taalgebruik in de teksten grotendeels passend bij de doelgroep. Bijna 12% vindt het taalgebruik allemaal passend bij de doelgroep. Een ruime meerderheid (92%) van de docenten vindt de moeilijkheidsgraad van het taalgebruik van de instructies precies goed. 8% vindt het taalgebruik van de instructies moeilijk. Een meerderheid (86%) van de docenten vindt het taalgebruik in de vragen precies goed en 13% vindt het taalgebruik in de vragen moeilijk. Vraagvormen in het examen Bijna 60% van de docenten vindt de verdeling van open en gesloten vragen in het examen goed. Bijna 25% heeft liever een groter aantal gesloten vragen. Iets meer dan 6% heeft liever een groter aantal open vragen en 11% heeft daarentegen liever uitsluitend gesloten vragen. Correctievoorschrift 83% van de docenten geeft aan dat het beoordelingsmodel bij de meeste vragen voldoende houvast geeft om bij de antwoorden van een kandidaat het aantal toe te kennen scorepunten te kunnen bepalen. 11% van de docenten geeft aan dat ze bij alle vragen voldoende houvast hebben. 6% heeft bij de meeste vragen onvoldoende houvast.


6

Vorm van het centraal examen Duits havo Hierover werd de volgende vraag aan docenten gesteld: Laat bij het beantwoorden van de volgende vraag de praktische uitvoerbaarheid van het examen op de computer buiten beschouwing. Naar welk examen Duits havo gaat uw voorkeur uit bij gelijkblijvende toetsduur? Bijna de helft van de docenten gaf aan de voorkeur te geven aan een examen dat zoals tot nu toe op papier wordt aangeboden en afgenomen, en dat uitsluitend uit opgaven leesvaardigheid bestaat. Bijna 40% wil een examen dat op de computer wordt aangeboden en afgenomen en dat uit een mix van leesvaardigheid en luistervaardigheid bestaat. Iets meer dan 10% geeft aan een voorkeur te hebben voor een examen dat op de computer wordt aangeboden en afgenomen, maar dat uitsluitend uit opgaven leesvaardigheid bestaat. Open vraag 1 Opbouw van het examen en hoeveelheid teksten De moeilijkere en deels ook langere teksten kwamen volgens een aantal docenten pas meer naar het einde toe, daardoor kwamen leerlingen in tijdnood en maakten de leerlingen door vermoeidheid en concentratieverlies onnodige fouten. Een aantal docenten vraagt om minder teksten waar de leerlingen dan dieper op in moeten gaan, het aantal vragen kan gelijk blijven. Een enkeling zou graag minder korte teksten met maar één of twee vragen in het examen zien. 2 Inhoud van de teksten Een enkele docent vindt dat de teksten wat beter op de belevingswereld van de leerlingen aan zouden mogen sluiten, de onderwerpen zijn te ver van hun bed. Door één docent wordt opgemerkt dat een aantal teksten te opsommend is. 3 Moeilijkheidsgraad van het examen Over het algemeen was men tevreden over dit examen, mogelijk mede vanwege het feit dat het examen duidelijk makkelijker was dan dat van 2009, wat ook duidelijk werd uit de analyses. De bijbehorende N-term was dan ook veel lager: In 2009 was die 1.7, dit jaar 0.0. Door een aantal docenten wordt geconstateerd dat er een groot verschil in moeilijkheidsgraad is tussen de verschillende jaren, graag ziet men examens van constant niveau. Het gemiddelde cijfer voor de havo-examens Duits is nu al enkele jaren achter elkaar onder de 6, dit wordt als ongewenst en demotiverend voor leerlingen en leraren gezien. Eén docent vindt dat de teksten meer in overeenstemming met de ERK-normen gebracht moeten worden, dus B2 niveau, nu ligt het te dicht bij C1 niveau. 4 Nederlandse taalvaardigheid Een paar keer wordt opgemerkt dat leerlingen mede afgerekend worden op hun slechte Nederlandse taalvaardigheid. Ze schrijven hun antwoorden soms in onbeholpen Nederlands op, waardoor ze punten mislopen, terwijl het tekstbegrip er wel is. Opgemerkt wordt dat bij open vragen het Nederlands wordt getoetst en niet de vaardigheid lezen. 5 Open/gesloten vragen (vaak genoemd in combinatie met het cv) Volgens een aantal docenten hebben open vragen onvoldoende toegevoegde waarde. Een grotendeels gesloten examen is het meest objectief. Bij open vragen wordt er te veel en te vaak gesjoemeld. Vaak wordt gezegd dat de open vragen altijd (te) veel discussie tussen eerste en tweede correctoren opleveren. Zeker in vergelijking met Frans en Engels zijn er te veel open vragen in het examen Duits havo, merkt een enkeling op. Ook wordt door één docent gezegd dat het aantal verkapte gesloten vragen, waarin vastgesteld moet worden of een zin wel of niet met de tekst overeenkomt, beter vervangen kan worden door echt gesloten vragen. 6 Correctievoorschrift (cv) / correctie (bijna altijd m.b.t. de open vragen) Heel vaak wordt door docenten opgemerkt dat door het niet correct toepassen van het correctievoorschrift bij de open vragen ongewenst grote beoordelaarsverschillen ontstaan. De onzuiverheid bij de beoordeling wordt nog eens versterkt door de examenbesprekingen van Levende Talen (met verslag op de site) en de discussies op de site van de Community Duits. Daardoor ontstaat een soort grabbelton aan opvattingen waar men naar believen iets uit kan vissen met als argument "het staat op de site van ......" of "In de examenbesprekingen heeft men .........". Men vraagt of er naar die beoordelaarsverschillen niet eens onderzoek kan worden gedaan met als denkbare conclusie het afschaffen van de open vragen. Een enkele docent merkt op dat het correctievoorschrift de docent te weinig ruimte laat of dat hij/zij het absoluut niet eens is met het correctievoorschrift. Ook zegt men dat uit het antwoord van de leerlingen vaak blijkt dat ze begrepen hebben wat er is bedoeld, maar ze de punten missen door hun van het


7

correctievoorschrift afwijkende antwoord. Eén docent gaf aan dat de als “acceptabel” aangegeven antwoorden niet acceptabel waren, ze raakten niet de kern waar het om draaide, daar zou een strakker antwoordmodel gewenst zijn, bijv. bij vraag 1, 27 en 35. Men vindt ook vaak dat het correctievoorschrift uitgebreider moet, nu vindt men het soms te vaag. Volgens deze docenten zorgt meer duidelijkheid voor een rechtvaardigere beoordeling en wordt veel discussie en ellende voorkomen. 7 Normering Ondanks het feit dat men het examen aan de makkelijke kant vond, vonden meerdere docenten toch een N-term van 0.0 veel te laag, een N-term van 0.3-0.5 was terecht geweest. Het landelijk gemiddelde hoort zo rond de 6.0 te zitten of nog hoger, vindt een aantal docenten. Een enkeling verbaast zich over de onevenwichtigheid in de beoordeling van de examens. Vorig jaar kreeg een leerling bij een score 30 het cijfer 7.4 , dit jaar een 5.7. Verder wordt door één docent een opvallend groot verschil in normering tussen kijken luistertoetsen en het eindexamen leesvaardigheid geconstateerd. Dit vindt hij/zij merkwaardig, omdat bij beide sprake is van informatieverwerking. Een vraag: Waarom worden de gemiddeldes bij de MVT niet ongeveer gelijkgetrokken? Duits komt er altijd bekaaid vanaf qua N-term. 8 Leesvaardigheid en andere vaardigheden Een aantal docenten licht toe waarom zij het onterecht vinden om het CE puur uit leesvaardigheid te laten bestaan, zij hebben een voorkeur voor een mix van vaardigheden, zodat een ieder eerlijke kansen heeft op het behalen van het eindexamen Duits. Het feit dat de leesvaardigheid 50% van het eindcijfer bepaalt, vinden zij betreurenswaardig. Het is minstens zo belangrijk dat leerlingen zich goed in de vreemde taal kunnen uitdrukken. Door een docent wordt een suggestie voor weging: gegeven: leesvaardigheid 25%, spreekvaardigheid 25%, luistervaardigheid 25%, schrijfvaardigheid 15 %, literatuur 10%. Eén docent merkt op dat de te toetsen vaardigheden van elkaar gescheiden aangeboden dienen te worden, misschien wel in een bepaalde volgorde. Verder wordt opgemerkt dat bij een nieuwe opzet van het CE, met naast lees- ook kijken luistervragen, de opzet van het schoolexamen moet worden herzien, ook het schoolexamen zou dan leesvaardigheid moeten toetsen. 9 (Eventuele) computerexamens Een aantal docenten denkt dat een computerexamen te weinig ruimte laat voor langere teksten. Eén docent geeft aan dat als er computerexamens komen, er dan ook veranderingen in het schoolexamen moeten plaatsvinden. Eén docent zegt dat een computerexamen mogelijk is, maar leerlingen moeten dan wel veel schakelen tussen de vaardigheden. Een aantal keer wordt opgemerkt dat de teksten dan tevens op papier moeten worden aangeboden, want vragen beantwoorden vanaf een beeldscherm is niet voor alle leerlingen geschikt. Eén docent zegt tegen leesvaardigheid op de computer te zijn omdat passages onderstrepen, stukken/antwoorden wegstrepen enz. niet kan, terwijl veel leerlingen daar wel baat bij hebben. Ook ziet een enkeling geen voordeel bij open vragen want die kunnen niet door de computer worden nagekeken. Eén docent vraagt of naast een computerexamen de kijk- luistertoets blijft bestaan, als dat het geval is, hoeven er geen kijken luisteropdrachten te worden opgenomen in het (computer)examen. Nog een paar opmerkingen m.b.t. dit onderwerp: Het examen moet op papier worden afgenomen, want leerlingen moeten niet 2,5 uur lang onafgebroken naar een beeldscherm kijken, dat mag niet eens van de ARBO in een werksituatie, waarom zouden wij dat dan wel vragen van leerlingen? Vermenging van vaardigheden (in geval van computer) leidt tot kwaliteitsderving, bovendien is het organisatorisch niet haalbaar. Investeer dus liever in kwaliteit van het bestaande! Ten slotte zegt één respondent: Als het examen via de computer wordt afgenomen, dan graag duidelijke instructies voor de programmeur, er zijn nu nog teveel installatieproblemen en het is niet gebruiksvriendelijk. 10 Diversen - Leerlingen die goed kunnen analyseren scoren goed en de leerlingen die taalvaardig zijn (creatief, vaardig met taal) scoren lager; daarmee ga je voorbij aan het doel van het leren van een taal en beloon je minder de C&M- en meer de N&G/N&T-leerlingen. - Waardering voor het feit dat de samenstellers rekening houden met taalgebruik dat kwetsend kan zijn of vloeken bevat. - Liever geen vragen zoals: Hoeveel voorbeelden worden er in de tekst gegeven? Soms is niet duidelijk, wat wel of niet als voorbeeld meegeteld moet worden; zulke vragen gaan dan ook vaak mis. - Probeer bepaalde moeilijke woorden die bij de teksten en/of vragen voorkomen te vereenvoudigen. Dit maakt het werken wat makkelijker.


8

3

Identieke vragen in de quick scan en de vragenlijst

Dit hoofdstuk gaat dieper in op de 2 vragen over de moeilijkheidsgraad en de lengte van het examen die in de quick scan én in de vragenlijst zijn gesteld. De resultaten van de 2 vragen worden aan de hand van staafdiagrammen gepresenteerd en besproken. Uit de vergelijking van de quick scan met de vragenlijst is niet te achterhalen hoeveel docenten daadwerkelijk verschuiven van mening ten aanzien van de moeilijkheidsgraad of de lengte van het examen. Ook is niet te achterhalen in welke mate docenten verschuiven van mening (bijvoorbeeld van te moeilijk bij de quick scan naar te makkelijk bij de vragenlijst). Statistisch kan onderzocht worden of de afwijking van de quick scan ten opzichte van de vragenlijst significant is (t-toets). In het kader van onderhavige verslaglegging is deze toetsing niet uitgevoerd. Aan de hand van de vergelijking tussen quick scan en vragenlijst is een indicatie te krijgen of er na de bekendmaking van de norm (i.c. de N-term) een verschuiving in de mening ten aanzien van de moeilijkheidsgraad en de lengte van het examen heeft plaatsgevonden. Opgemerkt dient te worden dat eventuele verschuivingen veroorzaakt kunnen worden door: 1. daadwerkelijk veranderde opvattingen van docenten mede naar aanleiding van de uitkomsten van de normering; 2. een verschillende samenstelling van de groep respondenten bij de quick scan en de vragenlijsten; 3. een combinatie van de voorgaande verklaringen. Gelet op de hoge respons zowel bij de quick scan als de digitale vragenlijst achten wij verklaring 1 het meest aannemelijk. Moeilijkheidsgraad

Vergelijking quick scan - vragenlijst - Moeilijkheidsgraad Duits havo 90,0% 80,0% 70,0% 60,0% 50,0%

quick scan

40,0%

vragenlijst

30,0% 20,0% 10,0% 0,0% te moeilijk

moeilijk

niet te moeilijk/niet te makkelijk

makkelijk

te makkelijk

Een meerderheid van de docenten vindt na de normering het examen nog steeds ‘niet te moeilijk/niet te makkelijk’ of ‘makkelijk’. Ten opzichte van de quick scan is er een klein percentage (±5%) toename van docenten die het examen ‘moeilijk’ vindt, terwijl een ongeveer gelijk percentage toename is de zien in de categorie ‘makkelijk’.


9

Lengte van het examen

Vergelijking quick scan - vragenlijst - Lengte examen Duits havo 100,0% 90,0% 80,0% 70,0% 60,0% quick scan

50,0%

vragenlijst

40,0% 30,0% 20,0% 10,0% 0,0% te lang

precies goed

te kort

De vergelijking van de quick scan met de vragenlijst laat ten aanzien van de lengte van het examen bij Duits havo een kleine verschuiving zien van precies goed naar te lang. Een meerderheid van de docenten vindt de lengte van het examen echter precies goed.

4

Conclusie en aandachtspunten voor de toekomst

Uit de resultaten van zowel de quick scan als de enquête wordt duidelijk dat docenten het centraal examen Duits havo eerste tijdvak 2010 over het algemeen als een passend examen hebben ervaren, zowel qua inhoud als qua niveau. Wel geven meerdere docenten aan een N-term van 0,0 te laag te vinden, een gemiddelde score van onder de 6 wordt als ongewenst ervaren. Ook ervaart men de correctie van open vragen als lastig en is men hierbij bang voor beoordelaarsverschillen. Bij de voorbereiding op het examen wordt vooral gebruik gemaakt van oude examens, andere voorlichtende documenten van het College voor Examens spelen hierbij praktisch geen rol. Opvallend is dat docenten zeer verschillende denken over de vorm van het examen Duits havo. De ene helft van de docenten spreekt zich uit voor de huidige papieren vorm van het examen en de andere helft voor een examen op de computer. Van de laatste groep geeft bijna veertig procent aan een voorkeur te hebben voor een examen met een mix van leesvaardigheid en luistervaardigheid. De veldraadpleging onder docenten Duits havo bevestigt wat het College voor Examens en Cito al dachten. Aandachtspunten zijn de beoordeling van open vragen, het niveau van het examen versus N-term en de notie dat de keuze voor een mogelijke digitale aanbiedingswijze van het examen een zeer zorgvuldig invoeringstraject behoeft.


10

EVALUATIE CENTRAAL EXAMEN DUITS HAVO EERSTE TIJDVAK 2010

Recommend Documents