Kwaliteitsvol evalueren Studiedag “peer review van het toetsgebeuren“ , 31/5/2013 Dirk Van Landeghem
Inleiding • Kwaliteitsvol onderwijs vereist kwaliteitsvol evalueren • Evaluatie = multidimensioneel en complex begrip. Relatie met: o Opleidingsdoelstellingen o Leerresultaten o Werkvormen o Niveau… • Veel aandacht in het NAS (visitatie, accreditatie) (Infosessie NAS_v4, vluhr 2012) 31/05/2013
2
VisitatieKader • drie generieke kwaliteitswaarborgen: 1.
2.
3.
Wat beoogt de opleiding? → beoogd eindniveau Hoe realiseert de opleiding dit? → onderwijsproces Worden de doelstellingen bereikt? → gerealiseerd eindniveau (Infosessie NAS_v4, vluhr 2012)
31/05/2013
3
Visitatie GKW 3 „Toetsing…‟ • De opleiding beschikt over een adequaat systeem van beoordeling, toetsing en examinering en toont aan dat de beoogde leerresultaten worden gerealiseerd.
• Criteria: Het gerealiseerde niveau blijkt uit de validiteit, betrouwbaarheid en transparantie van de beoordeling, de toetsing en de examinering van de studenten, … (Infosessie NAS_v4, vluhr 2012)
31/05/2013
4
Ervaringen met het NAS •
Multicampus: o Veel aandacht voor opleidingsvarianten o Uitgebreide vergelijking van opleidingsvarianten
•
Toetsen en evalueren: o Toetsbeleid, toetsen en kwaliteitsvol evalueren komen ruim aan bod. o De commissies vragen zowel examenopgaven, verbeterde kopijen als verbetersleutels op. o Er is bijzondere interesse voor objectief en transparant evalueren. (KU Leuven, Thomas More, KHBO, 2013)
•
Het is dus belangrijk om werk te maken van: o een facultair toetsbeleid o een facultaire toetskwaliteit (basiskwaliteit) in een multicampus context
31/05/2013
5
Kwaliteitseisen/toetseisen •
Betrouwbaarheid •
Evaluatie is betrouwbaar als de toets nauwkeurig en consistent meet.
Objectiviteit, interbeoordeelaarsbetrouwbaarheid… •
•
Evaluatie is objectief als kenmerken van de beoordelaar geen rol spelen.
Validiteit •
Evaluatie is valide als ze meet wat ze beoogt te meten.
Relevantie, onderdeel validiteit… •
Evaluatie is relevant als er een directe relatie is met de leerdoelen.
Efficiëntie, bruikbaarheid… •
•
Evaluatie is efficiënt als de betreffende inspanningen (zowel bij de docenten als bij de studenten) in verhouding staan tot de opbrengsten.
Transparantie •
Evaluatie is doorzichtig als de docent daarover heldere informatie geeft.
Normering, cesuur… •
31/05/2013
Evaluatie is goed genormeerd als de beslissingen die de docent neemt naar aanleiding van een examen (inhoudelijk) te rechtvaardigen zijn. 6
Betrouwbaarheid • Een toets wordt betrouwbaar genoemd: o
Als herhaalde afname onder dezelfde omstandigheden eenzelfde resultaat laat zien. (Jaspers & Heijmen-Versteegen, 2005; Van Zutven et al., 2004)
o o o o o o
Als voldoende doelen geëvalueerd worden. Als vragen of opdrachten duidelijk geformuleerd zijn. Als omgevingsfactoren (temperatuur, licht, meubilair, plaats, stilte …) toelaten een goed examen te maken. Als tijdsdruk op het examen acceptabel is. Als evaluatievorm en -duur aanpasbaar is voor studenten met een functiebeperking. Als beslissingen m.b.t. studievoortgang gebaseerd zijn op meerdere metingen, i.p.v. 1 enkele meting. (Cohen-Schotanus, 2003)
31/05/2013
7
Verhogen van betrouwbaarheid • Gebruik een duidelijk antwoordmodel en duidelijke beoordelingscriteria. (van Berkel en Bax, 2006; Liagre et al., 2009-2010)
• Een goed antwoordmodel (verbetersleutel) bevat: o
naast de juiste antwoorden ook gedeeltelijk juiste en onjuiste antwoorden. (van Berkel en Bax 2006)
o
de maximumscore en de verdeling ervan in deelscores.
• Normverschuiving (t.g.v.: sequentie-effect, contaminatie-effect, haloeffect…) beperken door: o regelmatig de antwoordvellen door elkaar halen.
(van Berkel en Bax 2006) o
antwoorden verbeteren per vraag in plaats van per student. (van Berkel en Bax 2006)
31/05/2013
8
Transparantie •
Transparantie betreft vooral de inhoud van de vragen en de berekening van het cijfer: o De studenten zijn bij aanvang van en/of tijdens het opleidingsonderdeel op de hoogte gebracht van: • •
de beoogde leerresultaten de leerstof voor evaluatie (Liagre et al., 2009-2010)
• •
de evaluatievorm de beoordelingscriteria (Liagre et al., 2009-2010)
•
de weging van verschillende onderdelen (Van Zutven et al., 2004)
o
Studenten kunnen zich pas goed voorbereiden op een examen als ze de spelregels kennen . (Liagre et al., 2009-2010)
o
Een van de hulpmiddelen hiertoe is het OER, waarin alle regels en procedures bekend gemaakt worden aan alle betrokken partijen. (Jaspers & Heijmen-Versteegen, 2005)
o
31/05/2013
Er is een goede regeling voor de inzage van en het geven van feedback over de resultaten.
9
Verhogen van transparantie • Transparantie verhoogt de mogelijkheid voor studenten: o o
om zich zo goed mogelijk voor te bereiden. de best mogelijke antwoordstrategie aan te wenden. (van Berkel & Bax, 2006)
• Formuleer eerst het antwoord en pas daarna de vraag. (vermijden van meerdere antwoorden op één vraag…)
(van Berkel en Bax, 2006)
• Vermeldt de te verdienen punten bij iedere vraag. o o
belangrijkheid van een vraag beter inschatten, tijdsbesteding bepalen (van Berkel & Bax, 2006)
• Maak een duidelijk onderscheid tussen vraaggedeelte en informatiegedeelte.
(van Berkel & Bax, 2006) 31/05/2013
10
Validiteit • Validiteit gaat na in welke mate de evaluatie meet wat men bedoelt te meten. Validiteit is het belangrijkste aspect waaraan de evaluatie moet voldoen. (Van Zutven et al. 2004) o o
o
31/05/2013
De vragen of opdrachten gaan na of de studenten de competenties / de doelen uit de vakfiche hebben bereikt. De vragen of opdrachten zijn van een passend niveau: bv. kennis wordt gemeten door kennisvragen, inzicht door inzichtsvragen, toepassen door toepassingsvragen… De evaluatie vraagt van studenten oplossingsstrategieën die zoveel mogelijk gelijken op de strategieën die in de (beroeps)praktijk worden gebruikt. 11
Verhogen van validiteit • Evenwichtige verdeling van doelstellingen en/of onderdelen van OPO/OLA in het examen: (Clement & Laga, 2005) o
Belangrijk voor juistheid van de gevolgtrekking uit de toetsscore. (van Berkel & Bax, 1993)
o
Twee belangrijke vragen: • Heeft iemand die geslaagd is voor een examen ook werkelijk de doelstellingen voldoende bereikt? • Is het examen representatief genoeg ? (Liagre et al., 2009-2010)
• D.m.v. “Toetsmatrijs” (Clement & Laga, 2005; Liagre et al., 2009-2010) 31/05/2013
12
Toetsmatrijs • Een toetsmatrijs is een tabel waarin wordt aangegeven hoe de opgaven in een examen zijn verdeeld over de leerstof in combinatie met de vooropgestelde doelstellingen. • De toetsmatrijs is een soort blauwdruk, een uitgewerkt plan, dat een systematische constructie van een examen wil garanderen. • Een examen dat is geconstrueerd op basis van een systematisch plan zal eerder bruikbare en betekenisvolle scores opleveren dan een examen waarvan de vragen op niet-systematische wijze zijn samengebracht. 31/05/2013
13
Lege toetsmatrijs (Clement & Laga, 2005) • Twee dimensies (Doelstellingen en Leerstof inhoud) worden gecombineerd om tot een systematische samenstelling van het examen te komen. • Elke doelstelling specificeren in welke mate men deze in elk inhoudelijk thema/hoofdstuk nastreeft. Leerstof
Doelstelling 1
Doelstelling 2
Doelstelling 3
Totaal
Hoofdstuk x
%
%
%
%
Hoofdstuk x
%
%
%
%
Hoofdstuk x
%
%
%
%
Hoofdstuk x
%
%
%
%
Hoofdstuk x
%
%
%
%
Totaal
%
%
%
%
31/05/2013
14
Ingevulde toetsmatrijs (Clement & Laga, 2005) • Stel dat een opleidingsonderdeel is opgebouwd rond drie grote •
doelstellingen… Het docententeam kan voor elk hoofdstuk specificeren in welke mate doelstellingen zich tot elkaar verhouden.
Leerstof
K1: Disciplinaire basiskennis en inzicht
I1: Problemen analyseren en oplossen
I2: modellen op waarde schatten en modelleren
Hoofdstuk 1
5%
0%
0%
5%
Hoofdstuk 2
15%
10%
0%
25%
Hoofdstuk 3
10%
5%
5%
20%
Hoofdstuk 4
15%
5%
10%
30%
Hoofdstuk 5
5%
5%
10%
20%
Totaal
50%
25%
25%
100%
31/05/2013
15
Totaal
Verdeling examenvragen Toetsmatrijs I (Clement & Laga, 2005)
• Vermijden dat teveel opgaven gericht zijn op dezelfde doelstelling, • •
dezelfde leerstof of vaardigheid. Bij een evenwichtige verdeling is de kans groot dat het examen een representatieve steekproef vormt van de te toetsen doelstellingen. Verantwoording van de inhoud van het examen
Leerstof
K1: Disciplinaire basiskennis en inzicht
I1: Problemen analyseren en oplossen
I2: modellen op waarde schatten en modelleren
Hoofdstuk 1
2
0
0
2
Hoofdstuk 2
6
4
0
10
Hoofdstuk 3
4
2
2
8
Hoofdstuk 4
6
2
4
12
Hoofdstuk 5 •
2
2
4
8
20 vragen
10 vragen
10 vragen
40 vragen
Totaal 31/05/2013
16
Totaal
Verdeling examenvragen Toetsmatrijs II (Clement & Laga, 2005)
•
Afhankelijk van het belang dat het docententeam hecht aan doelstellingen enerzijds en leerstof anderzijds zal de toetsmatrijs er anders uitzien.
•
Een docententeam kan bijvoorbeeld examenvragen opmaken per doelstelling waarin verschillende leerinhouden worden gecombineerd i.p.v. per leerstofonderdeel.
Leerstof
K1: Disciplinaire basiskennis en inzicht
I1: Problemen analyseren en oplossen
I2: modellen op waarde schatten en modelleren
Hoofdstuk 1
geïntegreerde vragen over hoofdstuk 1,2,3
-
-
Hoofdstuk 2
-
Hoofdstuk 4
-
Hoofdstuk 5
-
geïntegreerde vragen over hoofdstuk 2,3,4,5
50%
25%
Hoofdstuk 3
Totaal 31/05/2013
17
geïntegreerde vragen over hoofdstuk 3,4,5 25%
Totaal
geïntegreerde vragen
100%
Verdeling examenvragen Toetsmatrijs III •
Afhankelijk van het belang dat het docententeam hecht aan doelstellingen enerzijds en leerstof anderzijds zal de toetsmatrijs er anders uitzien.
•
Een docententeam kan bijvoorbeeld examenvragen opmaken per doelstelling waarin verschillende leerinhouden worden gecombineerd i.p.v. per leerstofonderdeel.
Leerstof
K1: Disciplinaire basiskennis en inzicht
I1: Problemen analyseren en oplossen
I2: Modellen op waarde schatten en modelleren
Hoofdstuk 1
geïntegreerde vragen over hoofdstuk 1,2,3
-
-
-
-
Hoofdstuk 2 Hoofdstuk 3 Hoofdstuk 4
-
Hoofdstuk 5
-
Totaal 31/05/2013
50%
vragen hoofdstuk 3 met doel I1 en I2
Totaal
geïntegreerde vragen
geïntegreerde vragen hoofdst. 4 en 5 binnen doelstellingen I1 en I2 25% 18
25%
100%
