Een Europees Referentiekader voor talenexamens Een utopie? José Noijons VLoD 34. Jahreshochschultagung 07.11.2008
© Stichting CITO Instituut voor Toetsontwikkeling 1
Europees Referentiekader (ERK) • Ontwikkeld door de Raad van Europa • NIET door de EU! • Zes referentieniveaus met beschrijvingen van taalvaardigheid: A1 - A2: Basisgebruiker B1 - B2: Onafhankelijk gebruiker C1 - C2: Vaardig gebruiker
© Stichting CITO Instituut voor Toetsontwikkeling 2
Doel en Functies van het ERK Hulpmiddel bij activiteiten op het gebied van de VREEMDE taal: • Leren • Onderwijs • Ontwikkeling leermiddelen • Ontwikkeling Curricula • Beoordeling en Toetsing • Ontwikkeling Beleid
© Stichting CITO Instituut voor Toetsontwikkeling 3
Koppeling examens aan het ERK • Samenwerkingsproject tussen SLO en Cito • Betreft zowel examenprogramma’s als examenopgaven (school- en centrale examens leesvaardigheid) Frans, Duits en Engels • Gefinancierd door OCW • Looptijd: november 2004-december 2005 • Later uitgebreid voor Arabisch, Russisch, Spaans en Turks • Later uitgebreid voor Luistervaardigheid F, D en E.
© Stichting CITO Instituut voor Toetsontwikkeling 4
Koppeling examens aan het ERK Aanleiding was de behoefte: • om het Nederlandse mvt-onderwijs meer competentiegericht te laten zijn; • de exameneisen ten aanzien van mvt in Nederland voor docenten en leerlingen transparanter te maken; • de mvt-prestaties van Nederlandse leerlingen internationaal vergelijkbaar te laten zijn.
© Stichting CITO Instituut voor Toetsontwikkeling 5
Onderdelen Koppelingsproject 1. Standaardisatie: experts vragen de in het onderzoek betrokken examenopgaven te classificeren in termen van het ERK en de minimumscores te bepalen voor deze opgaven per ERK-niveau; 2. Externe validatie: psychometrische validering van de gegevens verzameld in de standaardisatieprocedure via vergelijking van leerlingprestaties op andere toetsen.
© Stichting CITO Instituut voor Toetsontwikkeling 6
Standaardisatie Toewijzen van opgaven (tekst + item) aan CEF niveaus • Welk niveau is minimaal vereist om de opgave juist te beantwoorden? • Onderscheid Tekst en Taak/Daad
© Stichting CITO Instituut voor Toetsontwikkeling 7
Teksten en taken • Onderscheid taak en taak/daad • Moeilijkheidsgraad van teksten niet allesbepalend • Taken bepalen mede het niveau • Teksten en taken op elkaar afstemmen
© Stichting CITO Instituut voor Toetsontwikkeling 8
Scores en cesuren Duits (BB) Distributie van scores en cesuren bb-examen Duits
© Stichting CITO Instituut voor Toetsontwikkeling 9
Scores en cesuren Duits (KB) Distributie van scores en cesuren kb-examen Duits
Cumulatieve percentages
KB Duits
100
80 Scoreverdeling 60
A1/A2 CEVO
40
A2/B1 20
0 0
10
20
30
40
Scores (max score = 45)
© Stichting CITO Instituut voor Toetsontwikkeling 10
Scores en cesuren Duits (HAVO) Distributie van scores en cesuren havo-examen Duits
© Stichting CITO Instituut voor Toetsontwikkeling 11
Scores en cesuren Duits (VWO) Distributie van scores en cesuren vwo-examen Duits
Cumulatieve percentages
Vwo Duits
100
80 Scoreverdeling
60
A2/B1 CEVO
40
B1/B2
20
0 0
10
20
30
40
Scores (max score = 47)
© Stichting CITO Instituut voor Toetsontwikkeling 12
Scores en cesuren Engels (1) Distributie van scores en cesuren kb-examen Engels
Cumulative percentages
KB Engels
100
80 Scoreverdeling
60
A1/A2 CEVO
40
A2/B1
20
0 0
10
20
30
40
50
Scores (max score = 43)
© Stichting CITO Instituut voor Toetsontwikkeling 13
Scores en cesuren Engels (2) Distributie van scores en cesuren vwo-examen Engels
Cumulative percentages
VWO Enge ls
100
80 Scoreverdeling 60
A2/B1 CEVO
40
B1/B2 20
0 0
10
20
30
40
50
Scores (max score = 52)
© Stichting CITO Instituut voor Toetsontwikkeling 14
Scores en cesuren Frans (1) Distributie van scores en cesuren kb-examen Frans
cumullatieve percentages
KB Frans
100
80 Scoreverdeling
60
A1/A2 CEVO
40
A2/B1
20
0 0
10
20
30
40
Scores (max score = 46)
© Stichting CITO Instituut voor Toetsontwikkeling 15
Scores en cesuren Frans (2) Distributie van scores en cesuren vwo-examen Frans
Cumulatieve percentages
VWO Frans
100
80 Scoreverdeling
60
A2/B1 CEVO
40
B1/B2
20
0 0
10
20
30
40
Scores (max score = 46)
© Stichting CITO Instituut voor Toetsontwikkeling 16
Discussie uitkomsten (1) • Beoordelaarsovereenstemming bij alle drie de talen meer dan .90: voldoende mate van overeenstemming over het vereiste minimum ERK-niveau dat per opgave nodig is om deze met succes te beantwoorden. • Niveau-onderscheid door deskundigen in ERK-termen komt overeen met de spreiding in de Nederlandse examenniveaus • Beoordelaars van buiten lijken met de toetsdeskundigen overeen te stemmen over de moeilijkheidsgraad van opgaven © Stichting CITO Instituut voor Toetsontwikkeling 17
Discussie uitkomsten (2) •
Wij dienen het juiste instrument met voldoende opgaven op een bepaald ERK-niveau te kiezen om een betrouwbare uitspraak over ERK-niveaubeheersing te doen.
•
De CEVO-cesuren (voldoende/onvoldoende) vallen in veel gevallen niet samen met de door deskundigen bepaalde cesuren bij relevante ERK-niveaus.
•
Externe validatie kan uitwijzen of verschillen in beoordeling door deskundigen van opgaven ertoe leiden dat de vereiste vaardigheid die behoort bij een ERK niveau bij het ene examen afwijkt van de vereiste vaardigheid bij hetzelfde niveau bij een ander examen (bijvoorbeeld van het Goethe Institut). © Stichting CITO Instituut voor Toetsontwikkeling 18
Opzet Externe Validatie Duits • Leerlingen van LinQ scholen kregen twee soorten opgaven voorgelegd. • De niveaus van de (Cito)opgaven waren eerder bepaald tijdens de standaardbepaling in het koppelingsonderzoek. • Daarnaast kregen de leerlingen opgaven geproduceerd door het Goethe Institut, door die instelling op A2 en B1 niveau geplaatst. • Op vergelijkbare wijze kregen havo-vwo leerlingen opgaven op B1- en B2-niveau, genomen uit havoexamens, alsmede opgaven geleverd door het Goethe Institut. • Een aantal opgaven is aan beide groepen gepresenteerd om een koppeling te kunnen bewerkstelligen tussen de verschillende niveaus van opgaven.
© Stichting CITO Instituut voor Toetsontwikkeling 19
Design Externe Validatie Duits ERK-niveau
Toetsboekjes
A2 10 vmbo items
Kandidaten
B2
20 vmbo-havo items
vmbo – leerlingen
Kandidaten
Toetsboekjes
B1
10 Goethe A2 items
15 havo items
havo-vwo leerlingen
20 Goethe B1 items
vmbo leerlingen
15 Goethe B2 items
havo-vwo leerlingen
© Stichting CITO Instituut voor Toetsontwikkeling 20
Resultaten Externe Validatie • Voor de Duitse items blijkt dat op A2 niveau weinig verschil te constateren is tussen Cito-items en Goethe-items. • Voor de lagere vaardigheidsgroepen zijn B1-items van het Goethe Institut makkelijker dan Cito-items. • Dit geldt niet voor de hogere vaardigheidsgroepen; zij ervaren de B1opgaven als van gelijke moeilijkheidsgraad. • De opgaven op B2 niveau van het Cito worden als makkelijker ervaren dan die van het Goethe Institut. © Stichting CITO Instituut voor Toetsontwikkeling 21
Conclusies Externe Validatie • De geconstateerde verschillen gelden alleen voor de onderzochte (Nederlandse) populatie. • Het verschil in moeilijkheidsgraad tussen de Cito en Goethe-items lijkt niet groot. Beoordelaars van het Cito lijken het eens te zijn met de Duitse beoordelaars van het Goethe Institut. • Dit is enigszins in tegenspraak met de rapportage van docenten Duits: Goethe-opgaven in bestaande toetsen zijn relatief gemakkelijk. • Hierbij moet worden aangetekend dat de Goetheopgaven in het huidige onderzoek proefopgaven waren voor een nieuwe generatie toetsen. © Stichting CITO Instituut voor Toetsontwikkeling 22
Differential Item Functioning (DIF) - 1 • Differential item functioning (DIF) vindt plaats wanneer mensen uit verschillende groepen met dezelfde (mate van) vaardigheid een verschillende kans hebben om een bepaald (goed) antwoord te geven op een vraag in een toets of vragenlijst.
© Stichting CITO Instituut voor Toetsontwikkeling 23
Differential Item Functioning (DIF) - 2 Observed Item Response Curves REGE1006 1,00 0,90 0,80 0,70 Obs Fr 0,60
Obs Ge
0,50
Obs Hu Obs Ne
0,40
Obs Sp 0,30 0,20 0,10 0,00 -0,40
-0,20
0,00
0,20
0,40
0,60
0,80
Ability
© Stichting CITO Instituut voor Toetsontwikkeling 24
Het ERK en de examens • Het lijkt aantrekkelijk om in de toekomst de centrale examens aan specifieke ERK-niveaus te koppelen. Elders in Europa gebeurt dat al met toetsen en examens. • Een van de problemen zal dan zijn waar de cesuur te leggen voor voldoende (dat wil zeggen voldoende voor A2, respectievelijk B2). • Nu en in de toekomst zal het best mogelijk zijn om aan te geven dat een leerling bij een bepaalde score een bepaald ERK-niveau heeft behaald. Om te slagen kan een leerling echter best tussen twee relevante ERK-niveaus geplaatst worden
© Stichting CITO Instituut voor Toetsontwikkeling 25
ERK en internationale certificering • Bij toetsen gebruikt voor (internationale) certificering kunnen instellingen hebben bepaald dat een bepaald ERK-niveau vereist is voor de toekenning van een certificaat. • In de beroepsopleiding en ook in het academisch onderwijs is er steeds meer sprake van certificering op specifieke ERK-niveaus. • Hoewel de Raad van Europa procedures heeft voorgesteld voor het bepalen van de ERK-niveaus van toetsen, bijvoorbeeld voor certificering, is het zo dat veel toetsinstituten voor het behalen van eenzelfde ERK-certificaat verschillende niveaueisen stellen.
© Stichting CITO Instituut voor Toetsontwikkeling 26
Een Europees Cito? • Wil er werkelijk sprake zijn van een gemeenschappelijk referentiekader, dan moet er gestreefd worden naar internationale overeenstemming over de eisen die elk ERKniveau aan taalleerders stelt. • Zolang er echter geen Centraal Europees Instituut voor Toetsontwikkeling is opgericht, zal een breed Europees gedragen, transparante toetsing op ERK-niveaus een utopie blijven
© Stichting CITO Instituut voor Toetsontwikkeling 27
UTOPIE
Van C¿to naar Ce¿to
© Stichting CITO Instituut voor Toetsontwikkeling 28
Standaardbepaling luisteren Frans Vereist minimum ERK-niveau Luisteren Frans VWO
HAVO
GLTL
KB
0
A1
A2
B1
B2
© Stichting CITO Instituut voor Toetsontwikkeling 29
C1
Standaardbepaling luisteren Duits Vereist minimum ERK-niveau Luisteren Duits VWO HAVO GLTL KB 0
1
2
3
4
CEF-niveau 1=A1 2=A2 3=B1 4=B2
© Stichting CITO Instituut voor Toetsontwikkeling 30
5
Standaardbepaling luisteren Engels Vereist minimum ERK-niveau Luisteren Engels VWO HAVO GLTL KB BB 0
1
2
3
4
CEF-niveau 1=A1 2=A2 3=B1 4=B2 5=C1
© Stichting CITO Instituut voor Toetsontwikkeling 31
5
