Hoe toets je of de doelen van het curriculum worden bereikt? Harm Tillema
Inleiding Hoe “assess”, oftewel beoordeel je of programmadoelen in het curriculum van de lerarenopleiding zijn behaald? Wat is eigenlijk de kwaliteit van goede toetsen en welke criteria leg je daarvoor aan; hoe ontwikkel je een aanpak om in de lerarenopleiding kwaliteitcontrole op toetsen en assessments toe te passen? Het antwoord daarop is tweeledig: Wat nodig is, is een proces van permanente kwaliteitscontrole op gehanteerde toetsen op programmaniveau in de opleiding en een heldere set van kwaliteitscriteria om op instructieniveau deze toetsen te beoordelen. Kwaliteitscontrole Onderwijsprogramma’s (“curricula”) in de lerarenopleiding vormen de leerroutes naar het beheersen van competenties door de student. Toetsen dienen om te bepalen of de verlangde competenties ook worden bereikt. Om zeker te zijn dat het toetsinstrumentarium ook daadwerkelijk geschikt is om vast te leggen of de verlangde (programma doelen zijn bereikt is een kwaliteitscontrole op het assessment (toets)traject op zijn plaats. Er zijn voor het opzetten van een systeem van kwaliteitscontrole verschillende ingrediënten nodig: - De specificatie van onderwijsdoelen in eindtermen ofwel kwalificaties als uitwerking van een beroepsprofiel. Een dergelijke uitwerking vraagt overleg met het achterliggende beroepenveld van de opleiding en een brede acceptatie door verschillende partijen van de competenties die in de opleiding aan de orde worden gesteld. Voor de lerarenopleidingen is een dergelijk (landelijk) proces al afgerond. - De koppeling van competenties geformuleerd in termen van kwalificaties voor de inrichting van leerwegen (onderwijsprogramma’s). Het gaat hier om de formulering van standaarden en niveaus voor de verschillende leerjaren waardoor zichtbaar wordt hoe de opleiding vanuit haar eigen onderwijsconcept de eindtermen weet te bereiken. Dit vergt per vakgebied nadere programmaontwikkeling rond de verdeling van competenties wat betreft de inrichting en vormgeving van het onderwijs. Ook hiervoor geldt dat opleidingen per instelling een eigen (instructie)aanpak hebben opgesteld. - Inrichting van een beoordelingssystematiek en keuze voor bepaalde toetsinstrumenten welke nauw gekoppeld dienen te zijn aan de geformuleerde competentiestandaarden en -niveaus. Het gaat hierbij om een tweeledige doelstelling: namelijk een summatieve (eind) beoordeling, meestal gerelateerd aan de exameneisen(standaarden) en een formatieve (vorderings) beoordeling van leerprestaties. Voor beide doelstellingen geldt dat een (onderscheiden) keuze voor beoordelings(toets)instrumenten nodig is. - Invoering en hantering van een kwaliteitscontrolesystematiek rond het onderwijsprogramma van een instelling waarin kwaliteitscriteria gebruikt worden rond de toetskwaliteit. Een dergelijke kwaliteitscontrole steunt uiteraard op de
1
voorgaande punten: kwalificaties, leerwegen en instructievormen. De kwaliteitscontrole moet het mogelijk maken de gehanteerde toetsen te controleren en te verbeteren op geformuleerde kwaliteitscriteria zodat door docenten binnen de respectievelijke opleidingen en vakken met voldoende vertrouwen en praktische steun kan worden gewerkt aan de feitelijke beoordeling van competenties. Een kwaliteitscontrole (als proces) kan het beste worden uitgevoerd als een audit; dat wil zeggen een evaluatie en waardebepaling van ingezette processen in relatie tot gestelde doelen. Om toetskwaliteit van een curriculum/onderwijsprogramma vast te stellen kan een audit dienstig zijn voor het meten van de deugdelijkheid van toetsinstrumentarium en - procedures, in het bijzonder als een zelftest naar de kwaliteit van de gehanteerde assessment aanpak in de opleiding. Een audit is primair bedoeld om aanwijzingen te genereren voor de explicitering van gemaakte keuzen, ter verbetering en bijstelling van de procedures, en ter validering van de in gebruik zijnde assessments. Audit als kwaliteitscontrole op programmaniveau Het proces van kwaliteitscontrole begint en eindigt bij keuzen en doelen van de opleiding rond het programma, dus het wil een omvattende en brede kijk bieden op wat is bereikt met het programma en hoe dit werd bereikt. Dit proces is in onderstaand schema nader uitgewerkt als stappen in de audit.
I Bepalen visie Mbt programma II Articuleren doelen VI controle en verbetering III standaarden en eisen V certificering toetsen
IV keuze voor instrumentering
Figuur 1. Stappen in het audit proces.
Doel van de audit is het vaststellen van de kwaliteit van de assessmentpraktijk in een lerarenopleiding. De audit geeft concreet antwoord op de vraag hoe het gesteld is met : Stap 1: Visie-ontwikkeling Het komen tot vaststelling van de uitgangspunten voor kwaliteitsbeoordeling rond het onderwijsprogramma en de eigen visie op het belang en betekenis van (elders 2
geformuleerde) competenties in relatie tot leren en instructie; d.i. de band tussen curriculum, instructie en assessment. Stap 2: Doelbepaling Het omschrijven en benoemen van het competentiegebied (de kwalificaties) die in de programma’s van de eigen opleiding aan de orde komen en van de niveaus waarop beheersing van leerdoelen wordt verondersteld (concretiseren van onderwijsdoelen per competentiegebied en curriculumjaar). Stap 3: Criteriumontwikkeling Het ontwikkelen en benoemen van de specifieke kwalificatie-eisen en standaarden die voor de programma’s in de eigen opleiding gelden (concretiseren van onderwijsdoelen). Stap 4: Keuze Toetsinstrumentarium Er is op velerlei wijze en met inzet van verschillende toetsinstrumenten een verbinding te maken tussen 1) curriculumdoelen, 2) instructiemethoden en 3) bereikte leereffecten/beheersing van competenties. De keuze van de soort toetsen hoort thuis in het instructieontwerp (specifiek per vak/competentiegebied, per curriculum/programmadoel en per leerjaar). Stap 5: Waarborging In deze stap zal gebruik worden gemaakt van kwaliteitscriteria (zie hierna) om in de audit te verzekeren dat de toetsen nagaan of de verlangde beheersing op onderwijsdoelen is bereikt. Kwaliteitscriteria kunnen concrete handvatten aanreiken waarmee op niveau van toetskeuze en -afname de kwaliteit van assessments kan worden gemeten en verbeterd. Stap 6: Verbetering De laatste stap van de audit betreft de evaluatie en beoordeling zelf van het toetsinstrumentarium en het verkennen van vervolgstappen ter verbetering ervan. Het verkennen van mogelijkheden voor de implementatie van geformuleerde aanbevelingen is hierbij aan de orde. Kwaliteitscriteria Bij de keuze en selectie van afzonderlijke toetsen om te bepalen of concrete leerdoelen die in het onderwijsprogramma zijn geformuleerd ook daadwerkelijk zijn bereikt worden specifieke kwaliteitscriteria gehanteerd. De kwaliteitscriteria die in de assessment literatuur zijn terug te vinden kunnen gegroepeerd onder drie clusters I: Criteria met betrekking tot het WAT, de inhoud van de toets II: Criteria met betrekking tot de HOE; de afname van de toets III: Criteria met betrekking tot de GEVOLG; de consequenties die de toets heeft. I Criteria met betrekking to het WAT Meest bepalend voor de kwaliteit van een toets is de mate waarin deze op een authentieke manier de beheersing van de stof door een student meet. In de beoordelingsliteratuur komen we dit brede begrip authenticiteit in veel gedaanten tegen, namelijk als: - Betekenisvol (meaningfulness): dit kwaliteitscriterium verwijst naar het belang of de relevantie van de toetsopdracht. Sluit de toets aan bij de leerstof waaraan de
3
-
-
studenten hebben gewerkt; is het een zinvolle opdracht waaraan gewerkt kan worden? Dekkend (representiveness): dit kwaliteitscriterium wil verzekeren dat de toets een goede afspiegeling is van alle onderdelen die aan de orde zijn geweest in het leerprogramma dat is gevolgd. Uitdagend (cognitive complexity): dit kwaliteitscriterium wil verzekeren dat de toets aanspoort en stimuleert, met andere woorden het moet niet een (te) makkelijke of routineuze opdracht of toetstaak zijn.
II Criteria met betrekking tot het HOE Van belang in de afname van een toets is of deze ‘doenlijk’ is. Deze vage aanduiding wordt meestal vertaald in twee specifieke kwaliteitscriteria: - Transparantie: met dit criterium wordt gedoeld op de helderheid en duidelijkheid over wat de toets behelst, dat is wat er precies gedaan moet worden ; wat er precies geëist wordt, en wat er precies beoordeeld wordt. - Eerlijkheid (fairness): met dit kwaliteitscriterium wordt bedoeld dat de toets niet discriminerend werkt naar achtergrond, leerervaring, posities van de student maar een oprechte manier van kijken oplevert naar de prestaties en verrichtingen zelf. Met andere woorden, er mogen geen andere motieven meespelen in de toets dan het leerprestaties. III Criteria met betrekking tot de GEVOLGEN Het maken van een toets heeft voor de student gevolgen: mag je verder, moet het over, krijg je een voldoende? Bepaalde kwaliteitscriteria onderkennen de impact of consequenties die het maken van een toets heeft. - Invloedrijk (educational consequences): dit kwaliteitscriterium verwijst direct naar het belang die de toets heeft voor de student. Hoe belangrijk is de toets als een indicator van wat de student heeft geleerd. Wat betekent het als de toets met goed gevolg is afgelegd.? - Vergelijkbaarheid (comparability): dit kwaliteitscriterium vraagt aandacht voor de geschiktheid van de toets om te meten wat het moet meten. Is de toets wel geëigend om een goed beeld te geven van wat de student kan? - Herhaalbaarheid (reproducability): een toets is een momentopname, maar het moet wel een goede, dat wil zeggen correcte weergave geven en dus bij een eventuele herhaalde afname sterk genoeg zijn om een betrouwbaar en gelijkwaardig beeld te geven wat de student kan. Om nu de onderscheiden kwaliteitscriteria naar waarde te hanteren is het van belang ze te verbinden met verschillende fasen of stappen uit het beoordelingsproces. Er zijn namelijk in het ontwerpen en afnemen van individuele toetsen verschillende fasen of stappen te onderkennen: (1) bepalen van de doelen en de functie van de toets; (2) afbakenen van de inhoud en taak van de toets; (3) de beoordelingsnormen en eisen bepalen; (4) keuze van geschikte toetsvormen en –instrumenten; (5) scoreregels bepalen voor de gemaakte toets;
4
(6) beslissen over het behaalde (prestatie) niveau (cijfer); en (7) terugkoppeling van resultaten naar de student en feedback geven. Fasen in het beoordelingsproces Kwaliteitscriteria
Doelbepaling
I WAT
Taakafbakening
Normstelling
Dekkend Betekenisvol
Betekenisvol
Helder
Beslissen
Betekenisvol
Betekenisvol
Betekenisvol
Betekenisvol
Betekenisvol
Helder
Uitdagend Helder
Helder
Helder
Helder
Helder
Eerlijk
Eerlijk
Eerlijk
Eerlijk
Eerlijk
Vergelijkbaarheid
Herhaalbaarheid
III GEVOLG Invloedrijk
Feedback
Scoring
Dekkend
Uitdagend II HOE
Beoordelingsvorm
Invloedrijk
Invloedrijk
Invloedrijk
Tabel 1. Framework van kwaliteitscriteria behorend bij de verschillende fasen in het beoordelingsproces.
Verbinding van beoordelingsfasen met kwaliteitscriteria: een framework Tabel 1 geeft in een overzicht aan hoe de verschillende kwaliteitscriteria passen in de opeenvolgende fasen of stappen van het beoordelingsproces. Het ‘framework’ maakt duidelijk waar bij het maken en afnemen van een individuele toets welke kwaliteitsafwegingen aan de orde moeten komen, bezien per fase van het beoordelen. Sommige kwaliteitscriteria zullen steeds mee spelen zoals betekenisvolheid, want dit criterium keert terug bij elk van de fasen, alhoewel steeds met een ander accent. Andere kwaliteitscriteria zijn meer in het bijzonder gericht op een enkele fase, zoals bijvoorbeeld bij de keuze van een geschikte toetsvorm. Bij elkaar genomen ontstaat zo een gedifferentieerd beeld van aandachtspunten waarop gelet moet worden bij het opstellen van toetsen, wil er sprake zijn van kwaliteit. Het framework kan goed dienst doen om de kwaliteit van het beoordelingsproces te bevorderen, dat wil zeggen als hulpmiddel voor docenten bij het opstellen en afnemen van toetsen. Het biedt houvast waarop men moet letten bij welke fase van de toetsontwikkeling. Het doel van het framework is duidelijkheid te scheppen bij docenten en testontwikkelaars over het beoordelingsproces. Literatuur Baartman, L. K. J., (2008). Assessing the assessment; development and use of quality criteria for competence assessment programmes. Academisch proefschrift Universiteit Utrecht , 24 april 2008. The Netherlands.
5
Dierick, S., Dochy, F., & Van de Watering, G. (2001). Assessment in het hoger onderwijs. Over de implicaties van nieuwe toetsvormen voor de edumetrie. Tijdschrift voor Hoger Onderwijs, 19, 2-18. Ploegh, K., Tillema, H. & Segers, M.R.S. (2009). In search of quality criteria in peer assessment practices. Studies in Educational Evaluation, 35(2-3), 102-109. http://dx.doi.org/10.1016/j.stueduc.2009.05.001 Tillema, H.H. Dirkse-Hulscher, S. (2003). Een toetssteen van assessment in de lerarenopleiding. EPS reeks no.15 (pp. 17-51). EPS/HBO raad: Den Haag.
6
7
