24 augustus Dienst Onderwijs & Kwaliteit Martijn Leenknecht Susanne Roose Bartjan Wattel

24 augustus 2012

Dienst Onderwijs & Kwaliteit Martijn Leenknecht Susanne Roose Bartjan Wattel

Vastgesteld door het CvB op 28 augustus 2012, met positief advies van de centrale examencommissie tot 1 september 2013. De huidige tekst is door het CvB op 27 augustus 2013 ongewijzigd vastgesteld voor de periode 01-08-2013 tot uiterlijk 01-08-2014. Vervangt HZ-Toetsbeleid 2005, Uitgangspunten Toetsbeleid 2007, en Kwaliteitsimpuls Toetsen en Beoordelen 2010.

0

Inhoudsopgave Inleiding................................................................................................................................................... 2 Deel 1 Visie & kaders .............................................................................................................................. 5 1.1 Visie op onderwijs ......................................................................................................................... 5 1.2 Toetsvisie ...................................................................................................................................... 6 1.3 Visie op kwaliteit van toetsen en beoordelen .............................................................................. 8 1.4 Interne en externe kaders............................................................................................................. 9 1.4.1 Externe kaders ....................................................................................................................... 9 1.4.2 Hogeschoolkaders ................................................................................................................ 11 Deel 2 Proces van toetsen en beoordelen ............................................................................................ 12 2.1 Curriculumniveau ........................................................................................................................ 14 2.2 Cursusniveau ............................................................................................................................... 15 2.3 Toetsniveau ................................................................................................................................. 17 2.3.1 Toetsconstructie .................................................................................................................. 17 2.3.2 Afname van de toets en beoordeling .................................................................................. 18 2.3.3 Archivering van de toets ...................................................................................................... 19 Deel 3 Kwaliteitsraamwerk toetsen en beoordelen ............................................................................. 21 Referenties ............................................................................................................................................ 24 Bijlage 1. Definities toetsen en beoordelen.......................................................................................... 25 Bijlage 2. Passage uit de NQA-handleiding: standaard 3 ...................................................................... 28 Bijlage 3. Uitgebreid processchema toetsen en beoordelen ................................................................ 30 Bijlage 4. Kwaliteitsraamwerk toetsen en beoordelen ......................................................................... 31 Bijlage 5. Format voor toetsprogramma............................................................................................... 32

1

Inleiding HZ University of Applied Sciences (HZ) is een brede hogeschool met een groot aanbod aan opleidingen. De HZ kenmerkt zich door kleinschaligheid en de sociale interactie tussen student en medewerker. De opleidingen van de HZ bieden de studenten naarmate ze verder in de studie komen optimale mogelijkheden om keuzes te maken die passen bij hun ambitie en talent. De HZ vindt dat studeren bij uitstek een persoonlijke aangelegenheid is. De HZ waarborgt dat persoonlijke proces vanaf het moment dat onze hogeschool in beeld komt als mogelijk opleidingsinstituut tot en met het moment waarop de student afstudeert. De kleinschaligheid van onze hogeschool maakt een dergelijke benadering goed mogelijk. Zo vormt bijvoorbeeld een persoonlijk studiekeuzegesprek de voorbereiding op een effectieve start van een interessante en uitdagende opleiding. Gedurende de opleiding wordt een student intensief begeleid om zijn of haar talent optimaal te ontwikkelen. Studenten programmeren een persoonlijk opleidingsplan binnen de kaders van hun opleiding. Elke student volgt zijn persoonlijke leerroute om zijn competenties optimaal te ontwikkelen. In deze persoonlijke benadering is een helder toetsbeleid een voorwaarde om ervoor te zorgen dat in de ontwikkeling van studenten tot competente beroepsbeoefenaars, er formele verantwoording is over de verworven competenties en dat tegelijkertijd het leer- en onderwijsproces gestimuleerd en geoptimaliseerd wordt. Transparantie van de formele verantwoording wordt onder druk van de maatschappelijke discussie steeds belangrijker. Tegelijkertijd maken strengere bekostigingsregels de optimalisatie van het onderwijs- en leerproces onontbeerlijk. Actoren bij toetsen en beoordelen In beginsel is toetsen en beoordelen 1 een aangelegenheid tussen de examinator en de student. De student levert een prestatie conform de door de examinator gestelde richtlijnen (de toetstaak) en wordt hierop beoordeeld door de examinator. Toetsen staan echter niet op zichzelf, maar vormen een logisch geheel met andere toetsen en het onderwijs. Het geheel aan toetsen brengt in kaart hoe de student zich ontwikkelt en heeft ontwikkeld op alle startcompetenties tot het gewenste HBOniveau. Ook docententeams en het management (opleidingscoördinator en academiedirecteur) zijn dus actief betrokken bij toetsen en beoordelen. De docent vervult hierin een dubbelrol: de rol van docent (onderwijsontwikkeling, onderwijs geven, feedback geven) en examinator (toetsen en beoordelen). Bovengenoemde actoren, van docent en examinator tot teams en management, zijn allemaal betrokken bij de uitvoering van toetsen en beoordelen. Gezien het belang van goed toetsen, de complexiteit van toetsen en beoordelen, en de maatschappelijke druk op formele verantwoording, is met de wet versterking besturing hoger onderwijs (aanpassing van de wet op hoger onderwijs en wetenschappelijk onderzoek, in werking getreden per 1 september 2010) de rol van de examencommissie versterkt tot toezichthouder op het gehele proces van toetsen en beoordelen. De HZ-examencommissie 2 ziet toe op de organisatie en kwaliteit van toetsen en beoordelen. De HZexamencommissie delegeert taken aan de deelexamencommissies, die aan een academie zijn gekoppeld, en de toetscommissie. De deeltoetscommissies (op academieniveau) werken onder de vlag van de deelexamencommissie. De HZ-examencommissie rapporteert jaarlijks haar bevindingen en werkzaamheden aan het college van bestuur. 1 2

Definitiekader toetsen en beoordelen is opgenomen in bijlage 1 Zie reglement Examencommissie (www.hz.nl)

2

Het college van bestuur (uitvoering) en de HZ-examencommissie scheppen gezamenlijk kaders die de uitvoering van toetsen en beoordelen en het toezicht hierop stroomlijnen. Naast het reglement Examencommissie (zie deel 1 van dit toetsbeleid) gebeurt dit in de vorm van een toetsbeleid. Op academieniveau kunnen academiedirecteuren en deelexamencommissies aanvullende kaders en richtlijnen instellen waar nodig. De piramide in figuur 1 geeft de verschillende HZ-actoren weer en koppelt de actoren aan het niveau waarop ze acteren (respectievelijk HZ-niveau, academieniveau, opleidingsniveau, klasniveau).

Figuur 1. Piramide van organisatielijn en examencommissie (De Klerk en Platteeuw, 2011)

HZ-kader voor toetsen en beoordelen: het toetsbeleid Zoals uit de beschrijving van de actoren blijkt, kent toetsen en beoordelen twee groepen actoren met beide een verschillende rol in het proces van toetsen en beoordelen: de uitvoering en het toezicht. In figuur 1 worden bovendien vier niveaus onderscheiden. Dit zijn organisatieniveaus, die weinig inzicht geven in het proces van toetsen en beoordelen. Daarom worden vanuit het perspectief van de onderwijsontwikkeling vier enigszins andere niveaus aangereikt om het proces van toetsen en beoordelen inzichtelijk te maken, namelijk: (1) het beleidsniveau, (2) het curriculumniveau, (3) het cursusniveau, en (4) het toetsniveau. De twee groepen actoren en de vier niveaus zijn schematisch weergegeven in figuur 2.

3

Toezicht

Uitvoering

Borging

TOETSBELEID

Beleidsniveau Curriculumniveau Cursusniveau Toetsniveau

Actoren: Opleidingsteam Docent Examinator (Deel)examencommissie(s) en (deel)toetscommissie(s) NB. Met de kleuren is de belangrijkste actor per groep van actoren voor het betreffende niveau aangegeven. Dit betekent niet dat niet ook andere actoren actief zijn op dit niveau of dat deze actoren niet ook actief zijn op andere niveaus. NB2. De gehanteerde kleuren corresponderen met kleuren in overige figuren en schema’s in dit toetsbeleid waarin de actoren worden weergegeven.

Figuur 2. Niveaus van toetsen en beoordelen en groepen actoren

Het toetsbeleid is het bovenste niveau (het beleidsniveau) en vormt een metaniveau. In het toetsbeleid worden, rekening houdend met de onderwijs- en toetsvisie en interne en externe kaders (zoals beschreven in deel 1 van dit toetsbeleid) keuzes gemaakt over de inrichting van het proces van toetsen en beoordelen. De onderliggende drie niveaus worden in het toetsbeleid voor beide groepen actoren (uitvoering en toezicht) verder ingekleurd. Het toetsbeleid is dus de overkoepelende paraplu die met verantwoorde keuzes en richtlijnen richting geeft aan toetsen en beoordelen op onderliggende niveaus. Die keuzes en richtlijnen over de inrichting van het proces van toetsen en beoordelen worden beschreven in deel 2 van dit toetsbeleid. Aanvullend op het toetsbeleid is per toetsvorm een protocol opgesteld waarin richtlijnen zijn beschreven over constructie, afname, beoordeling, en archivering van de toets. Deze protocollen bepalen mede de inkleuring van de onderliggende niveaus. De protocollen per toetsvorm zijn beschikbaar via HZ-InfoNet. Centraal in het proces van toetsen en beoordelen staat de borging van de kwaliteit. Dit is een gedeelde verantwoordelijkheid van de uitvoerder(s) en de toezichthouder(s). Vanuit beide rollen wordt op eigen wijze aan borging van de kwaliteit gewerkt. Het toetsbeleid biedt een kwaliteitsraamwerk aan, waarin kwaliteit van toetsen en beoordelen wordt gedefinieerd in een aantal kwaliteitscriteria. Dit kwaliteitsraamwerk wordt besproken in deel 3 van dit toetsbeleid.

4

Deel 1 Visie & kaders De toetsvisie, de visie op de kwaliteit van toetsen en beoordelen, en gestelde interne en externe kaders zijn leidend voor de wijze waarop het proces van toetsen en beoordelen wordt georganiseerd en welke kwaliteitseisen daaraan worden gekoppeld. De toetsvisie is één op één afgeleid van de visie op onderwijs. Voor een correcte interpretatie van het toetsbeleid is kennisneming van deze visie essentieel. In dit hoofdstuk zullen daarom achtereenvolgens de HZ-visie op onderwijs, de visie op toetsen en beoordelen, en de visie op kwaliteit van toetsen en beoordelen worden besproken. In paragraaf 1.4 wordt ingegaan op de geldende externe en interne kaders.

1.1 Visie op onderwijs De HZ profileert zich als de persoonlijke hogeschool. Het persoonlijke karakter is verankerd in impliciete omgangsnormen (bijv. de docent is bereikbaar voor de student), de aangeboden faciliteiten (fysieke en digitale campus), en de organisatie van het onderwijs (met studiekeuzegesprekken, slc-groepen, en individuele studieplannen). Ook de visie op onderwijs weerspiegelt het persoonlijke karakter van de HZ.

Onderwijs is bij uitstek een persoonlijke aangelegenheid

De HZ hanteert een competentiegericht onderwijsconcept. De ontwikkeling tot competente beroepsbeoefenaar is een persoonlijke aangelegenheid. Iedere student heeft zijn unieke leerstijl, persoonskenmerken, en interesses. Het gegeven onderwijs moet aansluiten bij deze eigenschappen van de student (adaptief zijn) om effectief te kunnen zijn. De student leert het meest wanneer het onderwijs relevant is voor hem. Dit betekent nadrukkelijk dat de relatie met de praktijk en context opgezocht moet worden. Competenties kunnen niet los worden gezien van de context. Een student ontwikkelt zich tot competent beroepsbeoefenaar in een bepaalde context. Relevant betekent ook dat de waarde van een opdracht of leerstof helder is voor de student. Authentieke beroepssituaties uitgevoerd voor externe opdrachtgevers zijn bij uitstek voorbeelden van relevant onderwijs. Naast dat de HZ de student tegemoetkomt en probeert aan te sluiten bij de persoonlijke eigenschappen van de student, ligt in de visie dat onderwijs een persoonlijke aangelegenheid is, ook besloten dat de student een belangrijke eigen verantwoordelijkheid draagt. De student is geen consument maar een actieve deelnemer. Zonder participatie in het onderwijs zal het leereffect gering zijn.

Leren is participeren

5

Deze focus op adaptief, contextrijk onderwijs, waarin de student actief betrokken is, vraagt een verschuiving van productgericht onderwijs naar procesgericht onderwijs. Niet het product, maar de weg daarnaar toe staat in onze visie centraal. De nadruk komt te liggen op de ontwikkeling van de student. Door monitoring van het proces en de ontwikkeling van de student kan het onderwijs nog beter worden aangesloten bij de eigenschappen van de student. Een procesgerichte benadering stimuleert reflectie op de gehanteerde werkwijze, waardoor de student inzicht krijgt in zijn eigen leerproces en dat van anderen. Procesgericht onderwijs maakt actieve deelname noodzakelijk.

1.2 Toetsvisie In een traditionele kijk op toetsen en beoordelen, wordt toetsen vaak als sluitstuk van het onderwijsprogramma opgevoerd. Aan het einde van het onderwijsprogramma wordt, los van het onderwijs zelf, getoetst of de student bepaalde kennis, vaardigheden, of competenties bezit. Deze kijk op toetsen en beoordelen is productgericht. Het onderwijsprogramma leidt tot een product (bijv. een verslag of tentamen), waarin de student zijn kennis en kunde kan laten zien. Deze traditionele kijk op toetsen en beoordelen is een vertaling van de maatschappelijke functie van toetsen: garanderen dat de gediplomeerde terecht bevoegd is de rechten uit te oefenen die aan het getuigschrift zijn verbonden. Dit wordt ook wel het civiele effect van toetsen genoemd (Jaspers & Van Zijl, 2011). De traditionele kijk gaat alleen uit van deze maatschappelijke functie van toetsen en beoordelen. Het resultaat van de toets wordt in dit geval alleen gebruikt om een formele beslissing te ondersteunen. Een terugkoppeling van de resultaten naar het onderwijs of student vindt niet plaats. De toets wordt dus enkel summatief ingezet. De traditionele kijk is gevisualiseerd in figuur 3.

Organisatie o

t

Functie Enkel summatief

TIJD Figuur 3. Traditionele kijk op toetsorganisatie en –functie (o = onderwijs; t = toets)

Deze traditionele kijk, waarbij alleen aandacht is voor de maatschappelijke functie van toetsen en beoordelen, brengt een aantal problemen met zich mee. Zo blijkt in de praktijk maar al te vaak dat in de ogen van de student niet het gegeven onderwijs, maar wat en hoe er wordt getoetst bepaalt wat en hoe hij leert. Daarmee ervaren studenten de toets vaak als belangrijker dan het onderwijs: de toets wordt doel. Dit gevoel wordt versterkt wanneer toetsen worden opgevoerd als sluitstuk, om te controleren of met het onderwijs het gewenste leereffect is bereikt (figuur 3). De student is dan gericht op het behalen van de studiepunten en succes wordt voor hem gedefinieerd in de uitslag van de toets. Toetsing is het onderwijsprogramma geworden (Jaspers & Van Zijl, 2011).

6

“Students learn what you inspect, not what you expect”

Deze wetmatigheid dwingt tot een goede aansluiting van het onderwijsprogramma op de toetsen en andersom. Toetsen en onderwijs zijn niet twee afzonderlijke werelden, maar vormen één geheel. Een toets is net zo goed als een college, werkgroep, of voorbereidingsopdracht een onderwijsvorm. Het enige verschil is dat er een beoordeling aan gekoppeld wordt. Daarbij is ook de volgordelijkheid minder strikt, de toets hoeft niet per definitie aan het einde van het onderwijsprogramma te worden geprogrammeerd. De traditionele kijk op toetsen en beoordelen is bovendien niet houdbaar door de veranderingen binnen het onderwijs en het bijbehorende onderwijsvisie. Dit heeft tot gevolg dat niet langer concrete en onafhankelijke kenniseenheden of vaardigheden centraal staan in het onderwijs, maar dat een student competenties ontwikkelt: een geïntegreerd geheel van kennis, vaardigheden, en houdingsaspecten. Hiermee verandert ook de toetsinhoud. Doordat de uitkomsten minder eenduidig zijn -het is niet goed of fout, maar in meer of mindere mate gepast- is het minder eenvoudig om de ontwikkeling van de student (objectief) te toetsen en te beoordelen. Dit vraagt om gevarieerde toetsen die ook aandacht besteden aan het proces dat tot een bepaald product heeft geleid. Bovendien vraagt competentiegericht onderwijs om authentieke toetsen die geïntegreerd zijn in de context en een groter (leer)proces. Competenties zijn geïntegreerde gehelen, die contextspecifiek zijn en niet los kunnen worden gezien van de context. Kortom, de toetsmethode verandert in twee opzichten: (1) minder gericht op een product, maar op het proces; en (2) geïntegreerd in de context in plaats van losstaande toetseenheden. Gezien het bovenstaande kiest de HZ voor een nieuwe kijk op toetsen en beoordelen. Een kijk waarin toetsen en beoordelen niet beperkt is tot de maatschappelijke functie, maar waarin ook ruimte is voor andere functies van toetsen en beoordelen. De resultaten van de toets vormen immers een schat aan informatie: het is feedback op het leren. Door deze informatie te gebruiken, kunnen zowel het leerproces van de student als het onderwijs worden bijgestuurd. De docent kan aan de hand van de toetsresultaten inschatten of het onderwijs ‘gewerkt’ heeft, of als de toets in het begin van het onderwijsprogramma wordt afgenomen, kan de docent het onderwijs aanpassen aan het niveau van de student. De student daarentegen krijgt, op basis van feedback op zijn resultaten, inzicht in zijn persoonlijke leerproces en ontwikkeling. Wanneer de toets wordt ingezet met als doel om de feedback op het leren te gebruiken, dan wordt de toets formatief ingezet. De geïntegreerde kijk op toetsen en beoordelen, waarbij zowel de summatieve als de formatieve functie van toetsen en beoordelen wordt ingezet en toetsen een geïntegreerd geheel vormt met het onderwijs is gevisualiseerd in figuur 4.

7

Organisatie

o

t

Functie

Zowel formatief als summatief

TIJD Figuur 4. Geïntegreerde kijk op toetsorganisatie en -functie (o = onderwijs; t = toets)

Een toets genereert dus altijd feedback, die op verschillende manieren kan worden gebruikt. Het onderscheid summatief en formatief verwijst niet naar de soort toets, timing van de toets, of de moeilijkheid van de toets, maar naar de doelstelling waarmee de toets wordt ingezet. Wordt de informatie die met het afnemen van een toets wordt verzameld gebruikt voor formele verantwoording dan is er sprake van een summatieve toets. Wordt de informatie juist gebruikt voor het stimuleren en optimaliseren van het leren en onderwijs dan wordt de toets formatief gebruikt. Een toets kan tegelijkertijd summatief en formatief worden ingezet. Hoewel de HZ kiest voor een kijk op toetsen en beoordelen waarin zowel de summatieve als de formatieve functie van toetsen en beoordelen wordt benut, blijft de maatschappelijke (summatieve) functie belangrijk. Net als bij de traditionele kijk op toetsen en beoordelen, worden toetsen ingezet om het niveau van de student te bepalen. Toetsen zijn het middel om de waarde van het diploma maatschappelijk te verantwoorden.

1.3 Visie op kwaliteit van toetsen en beoordelen Gezien de maatschappelijke functie en daaraan gekoppelde impact van toetsen en beoordelen is het van belang dat de kwaliteit van toetsen en beoordelen in orde is. Toetsen hebben altijd effect op het gedrag van de student, zowel tijdens het onderwijs als na het behalen van het diploma. Of dit een positief effect is of juist niet, hangt af van de kwaliteit van toetsen en beoordelen. Het is als een pak melk in de supermarkt. Als de kwaliteit van de melk hoog is, is de melk een bouwsteen voor de gezondheid van de consument. Als de kwaliteit van de melk daarentegen laag is, kan de consument wellicht ziek worden door het drinken van de melk. In de traditionele kijk op toetsen en beoordelen staat kwaliteit gelijk aan valide en betrouwbaar toetsen en beoordelen. Dit houdt in dat de toets toetst wat het beoogd te toetsen (validiteit) en dat de beoordeling vrij is van toevalligheden en irrelevante invloeden (betrouwbaarheid). Deze tweeledige uitwerking van kwaliteit is te beperkt, wanneer ook de formatieve functie van toetsen en beoordelen wordt benut (Tillema, Leenknecht, & Segers, 2011). Het is namelijk niet alleen van belang hoe er wordt getoetst, maar ook waarom en wat er wordt getoetst. Met dit onderscheid in waarom, wat, en hoe wordt de complexiteit van toetsen en beoordelen als ook de complexiteit van kwaliteit van toetsen en beoordelen blootgelegd. Nu het onderwijs is ingericht rond de competentieontwikkeling van de student, worden niet alleen kennis, maar ook vaardigheden en houdingsaspecten getoetst (wat). De competentie van de student wordt steeds vaker in een

8

contextrijke en authentieke toetsomgeving getoetst (hoe). Door de focus op competentieontwikkeling, krijgt toetsen een nadrukkelijke formatieve functie (waarom). Hoe de kwaliteit van wat, hoe, en waarom er wordt getoetst wordt gedefinieerd, hangt af van het gekozen onderwijsvisie en de visie op toetsen en beoordelen. In de toetsvisie heeft de HZ een duidelijke keuze gemaakt voor toetsen die (ook) een formatieve functie hebben. Dit betekent dat de toets en de beoordeling pas van hoge kwaliteit is, als de feedback die de toets en de beoordeling genereert ook daadwerkelijk wordt gebruikt of gebruikt kan worden (het waarom (de toetsfunctie) van de toets). Het uitgangspunt van contextafhankelijk onderwijs, zoals uiteengezet in het onderwijsvisie, maakt dat een toets pas van hoge kwaliteit is, als de inhoud authentiek is en de toetstaak relevant (wat en hoe van de toets). De verschuiving van productgericht naar procesgericht onderwijs maakt toetsing meer ambigu. Het is voor de student minder evident wat er getoetst gaat worden. Daarom wordt de transparantie van de toetstaak, het beoordelingsprotocol, en de afname erg belangrijk. Ook de kwaliteitseisen die worden gesteld aan de omstandigheden veranderen wanneer meer procesgericht wordt gewerkt. Kortom, het onderwijsvisie en de toetsvisie bepalen de criteria van kwalitatief goed toetsen en beoordelen. De kwaliteit van toetsen en beoordelen is onafhankelijk van de toetsvorm. Iedere toets, ongeacht de vorm van de toets, moet valide en betrouwbaar zijn. Ook voor bijvoorbeeld een barometer en een thermometer geldt dat ze allebei betrouwbaar en valide moeten meten, hoewel ze niet hetzelfde meten. Kortom, hoewel de kwaliteit van toetsen en beoordelen kan worden opgehangen aan het waarom, wat, en hoe van de toets, zijn de criteria die worden gehanteerd onafhankelijk van waarom, wat, en hoe er wordt getoetst. Deze visie op kwaliteit van toetsen en beoordelen is verder uitgewerkt in een kwaliteitsraamwerk dat wordt gepresenteerd in deel 3 van dit toetsbeleid.

1.4 Interne en externe kaders De in dit hoofdstuk beschreven interne en externe kaders hebben invloed op de wijze waarop het proces van toetsen en beoordelen georganiseerd moet worden en zijn daarom meegenomen in het formuleren van het toetsbeleid. Waar dit van toepassing is, wordt verwezen naar de beschreven interne en externe kaders. 1.4.1 Externe kaders Wet op het Hoger Onderwijs en Wetenschappelijk onderzoek (WHW) In de vanaf 1 september 2010 in werking getreden WHW, worden o.a. de rollen en taken die examencommissies hadden, op inhoudelijk niveau versterkt. Deze zijn vertaald in twee nieuwe taken: (1) De examencommissie stelt volgens de nieuwe wet op objectieve en deskundige wijze vast of de student voldoet aan de voorwaarden die de OER stelt t.a.v. kennis, inzicht en vaardigheden die nodig zijn voor het verkrijgen van een graad. (2) De examencommissie is verantwoordelijk voor de borging van de kwaliteit van de tentamens en de examens. De examencommissie blijft verantwoordelijk voor de meer procedurele taken, zoals verlenen van vrijstellingen en behandelen van klachten (WHW 7.12b lid 1a).

9

NVAO accreditatiestelsel Per januari 2011 is een nieuw accreditatiestelsel ingevoerd en hanteert de Nederlands- Vlaamse Accreditiatieorganisatie (NVAO) een nieuw beoordelingskader 3. In het nieuwe stelsel is het mogelijk onderscheid te maken tussen opleidingsbeoordelingen en een instellingstoets. Indien de instellingstoets is behaald of is aangevraagd, kunnen de opleidingen volstaan met een beperkte opleidingsbeoordeling. In de beperkte opleidingsbeoordeling staat vooral de inhoud van de opleidingen centraal aan de hand van drie standaarden. Standaard 1: De beoogde eindkwalificaties van de opleiding zijn wat betreft inhoud, niveau en oriëntatie geconcretiseerd en voldoen aan internationale eisen. Standaard 2: Het programma, het personeel en de opleidingsspecifieke voorzieningen maken het voor de instromende studenten mogelijk de beoogde eindkwalificaties te realiseren. Standaard 3: De opleiding beschikt over een adequaat systeem van toetsing. Toetsing en verantwoording van de realisatie van de eindkwalificaties heeft binnen de opleidingsbeoordeling een zwaardere plaats gekregen. Het gerealiseerde niveau blijkt uit tussentijdse en afsluitende toetsen, afstudeerwerken en de wijze waarop afgestudeerden in de praktijk of in een vervolgopleiding functioneren. De toetsen en de beoordeling dienen volgens de NVAO valide, betrouwbaar en voor studenten inzichtelijk te zijn. In bijlage 2 van dit toetsbeleid is de uitwerking van de derde standaard opgenomen, opgesteld door de Netherlands Quality Agency (NQA). De NQA is een visiterende en beoordelende instantie (VBI) die visitatietrajecten verzorgt. Vreemde ogen dwingen (eindrapport Commissie Bruijn) De commissie Bruijn heeft in opdracht van de HBO-raad aanbevelingen gedaan over externe validering van examenkwaliteit in het hoger onderwijs. Met de instelling van de commissie en het beschikbare eindrapport wil de HBO-raad tegenwicht bieden tegen de plannen voor centraal landelijke examens in het hbo. De commissie pleit voor een bottom-up benadering, waarbij (een cluster van) hogescholen gezamenlijk leerwegonafhankelijke voortgangstoetsen ontwikkelen die een aanvulling vormen op de hogeschool specifieke leerwegafhankelijke toetsen. De commissie beveelt verder aan om: - externen zitting te laten nemen in de examencommissies en aan te stellen als examinator of tweede beoordelaar; - een landelijk systeem van certificering van examinatoren op te zetten en de toetsexpertise van de docent op te nemen in een wettelijk register; - bij de samenstelling van visitatiecommissies meer aandacht te besteden aan de aanwezigheid van toetsdeskundigheid;

3

NVAO Beoordelingskaders accreditatiestelsel hoger onderwijs, 22 november 2011 (zie http://www.nvao.net/page/downloads/DEFINITIEVE_KADERS_22_november_2011.pdf).

10

-

‘vreemde ogen’ toe te laten bij de constructie, afname, en beoordeling van leerwegafhankelijke toetsen; Systematisch innovatief onderzoek naar toetsbeleid, toetsontwikkeling en toetskwaliteit binnen iedere hogeschool te stimuleren.

1.4.2 Hogeschoolkaders Onderwijskompas (2005) In het HZ Onderwijskompas is het didactisch concept vastgelegd dat ten grondslag ligt aan het onderwijs op de HZ. De visie op competentiegericht onderwijs wordt hierin uitgewerkt naar vier centrale uitgangspunten: de docent, de student, de opleiding en de beroepspraktijk. Voor de realisatie van de onderwijsvisie bevat het HZ Onderwijskompas aanwijzingen om een competentiegericht curriculum te ontwikkelen. Onderwijs- en Examenregeling (OER) 4 Iedere opleiding binnen de hogeschool hanteert een Onderwijs- en Examenregeling (OER). Deze regeling bevat HZ-brede en opleidingsspecifieke bepalingen. Artikel 5 beschrijft de rol, taken en verantwoordelijkheden van de examencommissie en examinator. In artikel 6 zijn bepalingen over toetsing opgenomen. Reglement examencommissie4 In het reglement van de examencommissie zijn de taken en verantwoordelijkheden van de overkoepelende examencommissie beschreven. Eveneens wordt beschreven welke taken en bevoegdheden de overkoepelende examencommissie mandateert aan deelexamencommissies per academie en de toetscommissie. Reglement toetscommissie4 Het reglement toetscommissie bevat een beschrijving van procedures, taken, en verantwoordelijkheden aangaande de HZ-overkoepelende toetscommissie en deeltoetscommissies op academieniveau.

4

Zie www.hz.nl

11

Deel 2 Proces van toetsen en beoordelen Het proces van toetsen en beoordelen wordt per niveau voor beide invalshoeken uitgewerkt (zie figuur 5). Ieder niveau start met een weergave van de input (al dan niet gevalideerd). Het proces van uitvoering leidt tot een product dat wordt gevalideerd door de deeltoetscommissie. De werkzaamheden van de deelexamencommissie, HZ-examencommissie, en HZ-toetscommissie worden in dit hoofdstuk aangestipt. Een uitgebreid processchema, waarin de werkzaamheden van deze commissies zijn beschreven, is opgenomen in bijlage 3. Daarin is ook het onderscheid tussen (sub)processen, besluiten en producten verwerkt. In dit hoofdstuk wordt figuur 5 per niveau of subniveau in detail besproken. De beschrijving is met name gericht op de onderdelen gerelateerd aan toetsen en beoordelen. Waar nodig worden ook de andere aspecten benoemd, met name rond onderwijsontwikkeling. Voor het gehele proces geldt dat de onderwijsondersteuner de betrokkenen onderwijskundig ondersteunt. Voor de beschrijving van het proces wordt op ieder niveau dezelfde aanpak gehanteerd. Na een korte beschrijving van het proces, worden de producten toegelicht. Specifieke richtlijnen voor de producten zijn opgenomen in de protocollen per toetsvorm, die aanvullend op dit toetsbeleid zijn opgesteld. De borging van de kwaliteit wordt voor beide groepen actoren (de uitvoering en het toezicht) besproken. De uitvoering evalueert de kwaliteit, de toezichthouder valideert de kwaliteit van de producten.

12

Figuur 5. Uitwerking van het proces van toetsen en beoordelen op curriculum-, cursus-, en toetsniveau.

13

2.1 Curriculumniveau

Iedere opleiding staat voor de uitdaging om een onderwijsprogramma vorm te geven waarmee de student gedurende vier jaar wordt begeleid bij de verwerving van de geformuleerde startcompetenties. Een goede vormgeving van het onderwijs- en toetsprogramma begint met een competentiebreakdown, waarin de startcompetenties en afgeleide deeltaken en leerdoelen worden beschreven 5. Aan de hand van de competentiebreakdown en rekening houdend met de kennisbasis, aandachtgebieden van de opleiding, en uitgezette leerlijnen, wordt een zinvolle clustering aangebracht in het programma in de vorm van cursussen. Deze clustering wordt vastgelegd in een dekkingsmatrix en een toetsprogramma. Op curriculumniveau werkt het team samen aan de ontwikkeling van het curriculum. Het team staat onder aanvoering van de opleidingscoördinator (olc) en wordt ondersteund door de onderwijsondersteuner. Producten De competentiebreakdown is een uitwerking van de startcompetenties. In de competentiebreakdown wordt de afleiding van deeltaken en leerdoelen uit de startcompetenties inzichtelijk gemaakt5. De competentiebreakdown eindigt met concreet geformuleerde doelen of indicatoren. De gebruikte benamingen voor de onderdelen uit de breakdown kunnen verschillend zijn per opleiding (bijvoorbeeld de begrippen deeltaken, deelcompetenties en precompetenties worden naast en door elkaar gebruikt). Met de dekkingsmatrix maakt de opleiding inzichtelijk hoe een logische clustering van competenties is gemaakt. De clustering wordt zichtbaar in de geprogrammeerde cursussen. De dekkingsmatrix geeft een weergave van in welke cursus aan welke competenties wordt gewerkt. De clustering van competenties in cursussen, wordt niet alleen bepaald door de inhoud die aan de competenties wordt gekoppeld, ook het in samenhang kunnen toetsen van competenties kan een reden zijn voor een gekozen clustering. De wijze waarop competenties (of kleinere eenheden daarvan) los of in samenhang met elkaar worden getoetst wordt vastgelegd in het toetsprogramma. In bijlage 5 is een format opgenomen voor het vormgeven van het toetsprogramma. Evaluatie De dekkingsmatrix vormt het overzicht van de programmering van het onderwijs, terwijl in het toetsprogramma wordt uiteengezet hoe de startcompetenties op de verschillende niveaus worden getoetst. Na het opstellen van beide overzichten, evalueert de opleiding of deze overeenkomen met 5

De opbouw van een competentiebreakdown kan verschillend zijn per opleiding, evenals de gebruikte terminologie. In dit toetsbeleid is gekozen voor de meest gangbare termen deeltaken en leerdoelen.

14

de startcompetenties en de competentiebreakdown. Het team wordt bij deze evaluatie ondersteund door de onderwijsondersteuner en de kwaliteitszorgcoördinator. Waar mogelijk worden resultaten van student- en alumni-enquêtes 6 meegenomen in de evaluatie. Door een verantwoording te schrijven, reflecteert het team op het onderwijs- en toetsprogramma. Gemaakte keuzes worden verantwoord en de werkwijze wordt aan geldende kaders getoetst. De verantwoording vormt de toelichting bij de dekkingsmatrix en het toetsprogramma. De verantwoording is daarom beperkt in omvang en geeft minimaal antwoord op de volgende vragen: - Welke keuzes liggen ten grondslag aan de clustering van competenties in cursussen (denk hierbij aan thema’s van de opleiding, specialistische kennisbasis, leerlijnen)? - Welke overweging ligt ten grondslag aan de keuze voor toetsvormen gekoppeld aan de competenties? - Welk proces is doorlopen en welke mensen zijn betrokken geweest (bijv. team, beroepenveld, studenten) bij de ontwikkeling van beide producten? De opleidingscoördinator draagt de verantwoordelijkheid voor het opstellen van de verantwoording. Validatie De deeltoetscommissie valideert de dekkingsmatrix en het toetsprogramma op basis van de verantwoording van de opleiding. De deeltoetscommissie beoordeelt of de gemaakte keuzes en clustering onderbouwd is met steekhoudende argumenten en of het bereiken van het eindniveau op adequate wijze wordt geborgd in het onderwijs- en toetsprogramma. Bij een positief oordeel valideren zij de dekkingsmatrix en het toetsprogramma. Bij een negatief oordeel formuleert de deeltoetscommissie een specifieke verbeteropdracht. De opleiding biedt de verbeterde producten vervolgens opnieuw aan ter validering.

2.2 Cursusniveau

Startend vanuit de gevalideerde dekkingsmatrix en toetsprogramma, gaat een ontwikkelteam aan de slag met het ontwerpen van een cursus. De cursusinhoud en de te verwerven competenties worden samengebracht in werkvormen waarmee bepaalde cursusdoelen worden bereikt. De docent of docenten worden bij het cursus(her)ontwerp ondersteund door de onderwijsondersteuner.

6

Bijvoorbeeld interne cursusevaluaties, Nationale Studentenenquête (NSE), HBO-monitor

15

Producten Het cursusontwerp en de gemaakte keuzes worden beschreven in de synopsis (hét HZ-instrument voor onderwijsontwikkeling). In het toetsplan wordt het ontwerp van de toetsen nader beschreven. Dit houdt in dat voor alle toetsen binnen een cursus die ook een summatief karakter hebben, wordt beschreven wanneer ze worden afgenomen, in welke vorm ze worden gepresenteerd, wat de inhoud is van de toets, en welke beoordelingseisen worden gehanteerd. Bij het beschrijven van de toetsvorm wordt tevens uitgelegd waarom de gekozen toetsvorm past bij de geformuleerde leerdoelen. De beoordelingseisen zijn stabiele eisen, die in het beoordelingsformulier (onderdeel van het beoordelingsprotocol) worden uitgewerkt in beoordelingscriteria. Het toetsplan is geïntegreerd in de synopsis (onderdelen 6 t/m 9). Evaluatie Het is noodzakelijk om de horizontale samenhang tussen de cursussen regelmatig af te stemmen. Door de nieuwe kijk op toetsen en beoordelen is het toetsen niet meer gebonden aan een tentamenweek aan het einde van het semester. Om te voorkomen dat toetsen niet evenredig verdeeld zijn over het semester en er piekbelasting ontstaat, moeten de toetsmomenten worden afgestemd tussen cursussen die in het zelfde semester worden gegeven. Daarnaast vraagt de focus op de (doorlopende) ontwikkeling van de student om verticale afstemming. Cursussen moeten logisch voortbouwen op elkaar om zodoende de student optimaal te begeleiden bij zijn ontwikkeling tot competent beroepsbeoefenaar. De horizontale en verticale afstemming is onderwerp van een periodiek overleg van het opleidingsteam, waarbij de synopsissen en toetsplannen naast elkaar worden gelegd. Tijdens deze evaluatie wordt speciale aandacht besteed aan de spreiding en evenwichtige verdeling van de toetsen in het semester en de koppeling van de toetsen aan de startcompetenties. De onderwijsondersteuner en kwaliteitszorgcoördinator ondersteunen het team bij deze evaluatie. Waar mogelijk worden resultaten van studenten- en alumni-enquêtes meegenomen in de evaluatie. De evaluatie leidt indien nodig tot een bijstelling van het cursusontwerp. Validatie De deeltoetscommissie beoordeelt het toetsplan van iedere cursus op volledigheid, consistentie en afstemming. De toetsen binnen de cursus moeten in balans zijn. Dit houdt in dat de zwaarte (moeilijkheid en weging) evenwichtig is verdeeld over de toetsen en dat de toetsen evenwichtig zijn verdeeld over de looptijd van de cursus. Bij een positieve beoordeling wordt het toetsplan gevalideerd. Bij een negatieve beoordeling wordt de docent gevraagd het cursusontwerp te herzien. De docent legt het verbeterde toetsplan nogmaals voor aan de deeltoetscommissie.

16

2.3 Toetsniveau Op toetsniveau acteert voornamelijk de examinator. Deze wordt hierbij ondersteund door de onderwijsondersteuner. 2.3.1 Toetsconstructie

De synopsis en het gevalideerde toetsplan bevatten de ingrediënten voor het construeren van de toets. Na het vaststellen van de toetsinhoud, maakt de examinator de toetstaak (de opdrachtbeschrijving) en het bijbehorende beoordelingsprotocol. De toetstaak en het beoordelingsprotocol samen vormen de toets. Producten De beschrijving van de opdracht aan de student is de toetstaak. De toetstaak bevat instructie voor de student over wat er van hem wordt verwacht en in welke vorm. De vorm van de toetstaak wordt mede bepaald door de gekozen toetsvorm. Bij bijvoorbeeld een schriftelijk tentamen bestaat de toetstaak uit het vragenformulier en een korte instructie hoe de vragen te beantwoorden, terwijl bij een presentatie de toetstaak bestaat uit een beschrijving van het doel van de presentatie en richtlijnen voor de uitvoering. Bij het beschrijven van de toetstaak kan ook ruimte gelaten worden voor persoonlijke invulling door de student. Bijvoorbeeld de opdracht van een afstudeerscriptie wordt grotendeels bepaald door de student zelf in samenspraak met een externe opdrachtgever en de eerste begeleider. De beoordelingseisen uit de synopsis worden in het beoordelingsprotocol uitgewerkt in beoordelingscriteria. Bovendien wordt een standaard of normering gekoppeld aan de criteria. Daarnaast wordt een cesuur bepaald en bevat het beoordelingsprotocol aanwijzingen voor de beoordeling van de toets. De examinator legt dus vooraf vast: (1) aan welke criteria de prestatie die de student levert moet voldoen; (2) wanneer een criterium voldaan is; (3) wanneer de prestatie voldoende of goed is (de cesuur); (4) hoe de toets beoordeeld gaat worden (aanwijzingen en richtlijnen voor het beoordelen). Het beoordelingsprotocol (of delen daarvan) is bij voorkeur vooraf bekend bij de student, zodat hij zich optimaal kan voorbereiden op de toets en de toets een pre-toetseffect bewerkstelligt.

17

Evaluatie De examinator voert na het afronden van de toetsconstructie een zelfevaluatie uit, aan de hand van de toetsthermometer die door Dienst Onderwijs en Kwaliteit is ontwikkeld. Bovendien kan de examinator aan een collega vragen de ontwikkelde toets kritisch te bekijken. Een zogenoemde collegiale check is sterk aan te raden, en wordt voor sommige toetsvormen verplicht gesteld. Zie de protocollen per toetsvorm. Validatie De deeltoetscommissie beoordeelt voordat de toets wordt afgenomen de toetsen die zijn geconstrueerd. Dit doet de commissie voor toetsen waarmee het eindniveau wordt getoetst jaarlijks, alle andere toetsen worden in een cyclus van vier jaar beoordeeld. Dit betekent dat iedere toets minimaal eenmaal per vier jaar wordt beoordeeld. Toetsen die positief worden beoordeeld worden gevalideerd en kunnen worden afgenomen. Wanneer een toets of een onderdeel daarvan (toetstaak of beoordelingsprotocol) niet positief wordt beoordeeld door de deeltoetscommissie, krijgt de examinator de opdracht de toets te herzien, alvorens deze mag worden afgenomen. 2.3.2 Afname van de toets en beoordeling

Het afnemen van de toets gebeurt volgens de instructie die is opgenomen in de toetstaak. Indien nodig worden aanvullende instructies gegeven aan de surveillant. Na afloop van de toets wordt een proces-verbaal opgesteld van de afname, conform de richtlijnen in het protocol voor de gekozen toetsvorm. De geleverde prestatie van de student wordt beoordeeld door de examinator volgens het vooraf opgestelde beoordelingsprotocol. De docent geeft gekoppeld aan deze beoordeling inhoudelijke feedback aan de student. Producten Het verloop van de afname wordt in een proces-verbaal beschreven, de afname resulteert in het gemaakte werk/ prestatie van de student (niet altijd even tastbaar als product). De beoordeling van het gemaakte werk wordt volgens het beoordelingsprotocol gedocumenteerd. Evaluatie Zowel de afname als de beoordeling worden geëvalueerd. De examinator bekijkt het proces-verbaal kritisch en beoordeelt of de afname aan de gestelde algemene kwaliteitscriteria (zie deel 3) en specifieke criteria (uit het protocol voor de toetsvorm) voldoet. Een vergelijking van het proces-

18

verbaal met de resultaten van de studenten- en alumni-enquêtes, biedt inzicht in hoe de afname geoptimaliseerd kan worden. De beoordeling wordt door een tweede beoordelaar geëvalueerd. Dit gebeurt al dan niet steekproefsgewijs, afhankelijk van de richtlijn uit het protocol voor de toetsvorm. De tweede beoordelaar kan óf achteraf een beoordeling van de eerste beoordelaar beoordelen, óf zelf de prestatie beoordelen, waarna de twee beoordelingen met elkaar worden vergeleken. Ook voor deze keuze geldt dat het protocol behorende bij de toetsvorm leidend is. Naast de formele evaluatie van de beoordeling door de tweede beoordelaar, bespreekt de examinator de beoordeling samen met de kwaliteitszorgcoördinator. Resultaten van studenten- en alumni-enquêtes worden in deze bespreking meegenomen. Validatie De deeltoetscommissie voert een audit uit om de kwaliteit van het beoordeelde werk vast te stellen. Dit doet de commissie door een steekproef te nemen 7. Het proces-verbaal en de beoordeling (inclusief beoordelingsprotocol) worden beoordeeld aan de hand van de kwaliteitscriteria uit het kwaliteitsraamwerk zoals gepresenteerd in deel 3 van dit toetsbeleid. Bij een positieve audit, wordt de betreffende afname en beoordeling gevalideerd. Bij een negatief oordeel rapporteert de deeltoetscommissie haar bevindingen aan de deelexamencommissie. De deelexamencommissie doet een aanvullend onderzoek (bijvoorbeeld het horen van de examinator of studenten) en neemt vervolgens een besluit over de consequentie van het negatieve oordeel. De deelexamencommissie kan besluiten dat de toets opnieuw moet worden afgenomen, of dat deze opnieuw moet worden beoordeeld. 2.3.3 Archivering van de toets

Zowel de toets (bestaande uit de toetstaak en het beoordelingsprotocol) als de prestatie van de student met beoordeling (inclusief proces-verbaal van de afname) worden gearchiveerd. Het archiveren van de toets wordt uitgevoerd door het opleidingsteam (of door een medewerker van het academiebureau) en kent geen specifiek product of evaluatiemoment. Voor de archivering zijn wel richtlijnen opgesteld. Deze richtlijnen zijn opgenomen in het protocol behorende bij de gekozen toetsvorm. De archivering wordt wel geborgd door een audit van de deeltoetscommissie.

7

De omvang van de steekproef wordt bepaald door de (deel)examencommissie

19

Validatie De organisatie van de archivering van de toetsen en de beoordeling, wordt periodiek gecontroleerd door de deeltoetscommissie. De commissie voert een audit uit, waarin zij onderzoekt of de archivering volgens de gestelde richtlijnen gebeurt. Bij een positief oordeel, wordt de archivering door de opleiding gevalideerd. Het is mogelijk dat de deeltoetscommissie een positief oordeel uitspreekt onder voorwaarden. Hiervan kan sprake zijn, wanneer het overallbeeld positief is, maar één of enkele examinatoren steken laten vallen in de archivering. Het oordeel van de deeltoetscommissie wordt gerapporteerd aan de deelexamencommissie en de academiedirecteur, die stappen onderneemt als een oordeel onder voorwaarden of een negatief oordeel is gegeven.

20

Deel 3 Kwaliteitsraamwerk toetsen en beoordelen In het eerste deel van dit toetsbeleid is de HZ-visie op kwaliteit van toetsen en beoordelen uiteengezet. Deze visie sluit aan op de onderwijsvisie en toetsvisie (beide ook beschreven in deel 1) en gaat in lijn hiermee uit van een nieuwe en uitgebreide kijk op kwaliteit van toetsen en beoordelen. De kwaliteit van toetsen en beoordelen wordt opgehangen aan het waarom, wat, en hoe van de toets. Dit betekent niet dat de criteria die worden gehanteerd afhankelijk zijn van waarom, wat, en hoe er wordt getoetst. Er wordt een set aan ‘universele’ kwaliteitscriteria onderscheiden. Deze kwaliteitscriteria zijn uitgewerkt in een kwaliteitsraamwerk toetsen en beoordelen dat inzoomt op het toetsniveau (zie bijlage 4). Het kwaliteitsraamwerk beschrijft per activiteit of product behorende bij de toetsconstructie, afname en beoordeling (zoals besproken in deel 2) aan welke kwaliteitscriteria deze moeten voldoen. Het kwaliteitsraamwerk zoomt in op het toetsniveau, omdat de kwaliteit op dit niveau tot uitdrukking komt. De kwaliteit van toetsen en beoordelen wordt echter niet uitsluitend op het toetsniveau bepaald. Zo bouwt de toetsconstructie op toetsniveau voort op keuzes die al op curriculum- en cursusniveau zijn gemaakt. Dit betekent overigens niet dat verstandige keuzes op curriculum- en cursusniveau een garantie vormen voor hoge toetskwaliteit. Door de complexiteit van toetsen en beoordelen is een nadere uitwerking van de kwaliteitscriteria validiteit en betrouwbaarheid noodzakelijk. De uitwerking van deze kwaliteitscriteria in het kwaliteitsraamwerk is gebaseerd op het Competentie Assessment Wiel van Baartman (zie o.a. Baartman, Prins, Kirschner, & Van der Vleuten, 2007). Zij heeft uitgebreid onderzoek gedaan naar kwaliteitscriteria voor toetsen en beoordelen die aansluiten bij de nieuwe kijk op toetsen en beoordelen. Deze criteria heeft ze gerangschikt in een wiel. De kwaliteitscriteria zijn echter niet alle relevant in iedere fase van het toetsproces (zie Tillema, Leenknecht, & Segers, 2011). Er is daarom voor gekozen om het kwaliteitsraamwerk op te bouwen aan de hand van de fasen uit het toetsproces (figuur 6). De fasen komen overeen met de activiteiten en producten in de beschrijving van het toetsniveau in deel 2 van dit toetsbeleid. Zoals ook in deel 2 van het toetsbeleid is beschreven ligt de verantwoordelijkheid voor het uitvoeren van de activiteiten op toetsniveau bij de examinator, met uitzondering van het geven van feedback. De feedback wordt gegeven door de docent. Ook hieraan kunnen kwaliteitscriteria worden verbonden, en daarom is deze fase wel opgenomen in het kwaliteitsraamwerk. Een uitwerking van het kwaliteitsraamwerk is opgenomen in bijlage 4. In figuur 6 is te zien dat het kwaliteitsraamwerk is opgebouwd aan de hand van het waarom, wat, en hoe van toetsen en beoordelen en de fasen uit het toetsproces. Er worden in totaal 12 kwaliteitscriteria benoemd die in meerdere fasen van belang kunnen zijn, maar die uitsluitend aan óf het waarom, óf het wat, óf het hoe zijn gekoppeld. De kwaliteit van het waarom van toetsen en beoordelen, ook wel de toetsfunctie, kan worden samengevat in de consequentievaliditeit. Het wat van toetsen en beoordelen wordt ook wel toetsinhoud genoemd en de kwaliteit hiervan komt tot uitdrukking in kwaliteitscriteria met betrekking tot de inhoudsvaliditeit. Het hoe van toetsen en beoordelen, ofwel de toetsmethode, wordt op kwaliteit beoordeeld aan de hand van kwaliteitscriteria die kunnen worden verzameld onder de noemers betrouwbaarheid en validiteit. De kwaliteitscriteria worden per categorie nader toegelicht.

21

Figuur 6. Kwaliteitsraamwerk toetsen en beoordelen

Toetsfunctie (consequentievaliditeit) Het doel waarmee de toets wordt ingezet weerspiegelt het waarom en de functie van de toets. Gezien de focus op monitoring van het ontwikkelingsproces van de student, worden binnen de HZ enkel toetsen ingezet die (tevens) een formatief karakter hebben. Dit betekent dat een toets- en onderwijseffect wordt verwacht op vier vlakken: (1) het pre-toetseffect, (2) het ware toetseffect, (3) het post-toetseffect, en (4) het onderwijseffect. Dit wordt ook wel de consequentievaliditeit genoemd (Gielen, Dochy, & Dierick, 2003). Het vooruitzicht van een toets zorgt ervoor dat de student aan de slag gaat met de toetsinhoud. De programmering van de toets heeft dus een proactief effect. Dit pre-toetseffect doet zich misschien nog sterker voor bij een toets die (ook) een summatief karakter heeft (Gielen et al., 2003). Van het maken van de toets zelf kan de student ook veel leren. De toets is een leerervaring in zichzelf (ware toetseffect). Een geïnitieerd effect van een toets met een formatief karakter is het post-toetseffect. De student krijgt inzicht in waar hij staat in zijn ontwikkeling en krijgt handvatten aangereikt om zijn leerproces bij te sturen. Het post-toetseffect is typisch voor toetsen met een formatief karakter (Gielen et al., 2003). Naast het pre-, ware, en post-toetseffect, die alle de effecten voor de student beschrijven is er ook een onderwijseffect. Een kwalitatief goede toets geeft de docent inzicht in de ontwikkeling van de student of de groep studenten, aan de hand waarvan hij het onderwijs kan bijstellen. Zo doende wordt het gegeven onderwijs geëffectueerd.

22

Toetsinhoud (inhoudsvaliditeit) De inhoud van de toets wordt grotendeels vastgelegd door keuzes die op curriculum- en cursusniveau worden gemaakt. Wat er wordt getoetst moet dus overeenkomen met de gemaakte keuzes. Meer specifiek betekent dit dat de toets authentiek en realistisch moet zijn. De toets komt overeen met de beroepssituatie waarvoor de opleiding opleidt. Daarnaast moet de toets een afspiegeling zijn van de KVP’s die aan de toets zijn gekoppeld. De aandacht voor de KVP’s moet evenwichtig verdeeld zijn. Kortom: dan is de toets representatief. Daarnaast moet de toets aansluiten bij de leerdoelen en competenties die beoogd worden te toetsen met de toets. Een toets die aansluit bij de leerdoelen is betekenisvol en relevant. Ook voor feedback geldt dat koppeling naar de leerdoelen en het leerproces van de student de feedback betekenisvol en relevant maakt. Tot slot moet de toets van het juiste niveau zijn. In het toetsprogramma en de dekkingsmatrix is vastgelegd op welk niveau de competenties worden getoetst in de desbetreffende cursus. De cognitieve complexiteit van de toets moet hierop aansluiten. Toetsmethode (validiteit) Bij het opstellen van het toetsprogramma wordt al nagedacht over de meest gepaste toetsvorm. Dit neemt niet weg dat op toetsniveau nog veel keuzes openstaan. De examinator ontwikkelt de toetstaak en het beoordelingsprotocol, neemt de toets af, en beoordeelt het werk van de student. Hierbij is het van belang dat dit allemaal gebeurt op een manier die voor de student transparant is. De student moet kunnen begrijpen wat van hem wordt verwacht, en waarom een examinator bepaalde keuzes (en beoordelingen) heeft gemaakt. Daarnaast moet de toets rechtvaardig en eerlijk zijn. Dit houdt in dat niet-relevante persoonskenmerken of toevalligheden geen invloed hebben op de toets en het resultaat van de toets. Het beoordelingsprotocol moet zo worden opgesteld dat de toets in staat is om zwakke of juist sterke studenten te onderscheiden. De toets moet dus voldoende discriminerend zijn. Zowel de toets zelf als het beoordelen moeten doenlijk zijn met de beschikbare tijd en middelen. Dit betekent ook dat de omstandigheden voldoende gelegenheid moeten bieden voor het maken van de toets en het vergaren van feedback. Toetsmethode (betrouwbaarheid) Betrouwbaarheid van de toets betekent niet alleen dat iedere student op een vergelijkbare manier wordt beoordeeld, maar ook dat een beoordeling herhaald kan worden, zonder dat dit tot een ander oordeel leidt. De beoordeling is dus niet beïnvloed door de beoordelaar en tijd.

23

Referenties Baartman, L. K. J., Prins, F. J., Kirschner, P. A., & Van der Vleuten, C. P. M. (2007). Kwaliteitsmeting van competentie assessment programma’s via zelfevaluatie. OnderwijsInnovatie, 1, 17-26. De Klerk, M. & Platteeuw, J. A. (November 2011). Cursus Examencommissie. HZ University of Applied Sciences. Gielen, S., Dochy, F., & Dierick, S. (2003). Evaluating the consequential validity of new modes of assessment: the influence of assessment on learning, including pre-, post-, and true assessment effects. In: M. Segers, F. Dochy, & E. Cascallar (Eds), Optimising New Modes of Assessment: In Search of Qualities and Standards. Dordrecht: Kluwer Academic Publishers. Jaspers, M., & Van Zijl, E. (2011). Kwaliteit van toetsing in het Hoger Onderwijs: Naar een verstrekte rol van examencommissies. Dienst Onderwijs en Onderzoek Fontys Hogescholen. Tillema, H. H., Leenknecht, M. J. M., & Segers, M. S. R. (2011). Assessing assessment quality: Criteria for quality assurance in design of (peer) assessment for learning – A review of research studies. Studies in Educational Evaluation, 37, 25-34.

24

Bijlage 1. Definities toetsen en beoordelen 8 Beoordelen: Het waarderen van de prestatie of ontwikkeling van de student, door een vergelijking te maken tussen het huidige niveau en het doelniveau. Het waarderen en beoordelen van de prestatie of ontwikkeling van de student biedt weinig ruimte voor een leereffect, omdat de waardering of beoordeling op zich geen informatie bevat over mogelijke verbeteracties. Beoordelingsprotocol: protocol met richtlijnen voor de beoordeling van de prestatie of ontwikkeling die met de toets onderzocht wordt. Het beoordelingsprotocol wordt te allen tijde voorafgaand aan de afname van de toets opgesteld. (p 18) Competentie: Een competentie is het vermogen om met een cluster van vaardigheden, kennis en persoonskenmerken in een complexe werksituatie op een adequate wijze taken uit te voeren en problemen op te lossen die een belangrijk bestanddeel uitmaken van een functie of rol (kerntaak met kernproblemen). Zie onderwijskompas , Vreugdenhil 2006. Cursus: In de Onderwijs- en Examenregeling wordt een cursus als volgt gedefinieerd: Een onderwijseenheid die een onderdeel is van een opleiding betrekking hebbend op de praktische voorbereiding op de beroepsuitoefening en op de beroepsuitoefening in verband met het onderwijs in een duale opleiding, waaraan een tentamen verbonden is. Deelexamencommissie: Examencommissie op academieniveau die wordt gemandateerd door de examencommissie. Taken en bevoegdheden zijn vastgelegd in het reglement examencommissie. (p 3 & 4) Deeltaak: Deeltaken zijn afgeleiden van de kerntaak in de competentiebeschrijving. Zij zijn in zichzelf net als de kerntaak zinvolle beroepstaken die in het beroepsveld herkenbaar zijn of waarschijnlijk worden (trends). Zie onderwijskompas , Vreugdenhil 2006. Deeltoetscommissie: Commissie met toetsexpertise op academieniveau die wordt gemandateerd door de deelexamencommissie. Beoordeelt en audit het ontwerp, de constructie, afname, beoordeling en archivering van toetsen. De deeltoetscommissie valideert de toetsprogramma’s, toetsplannen, toetsen, beoordelingen, en archivering van de opleidingen behorende tot de eigen academie. (p 3 & 4) Dekkingsmatrix: Geeft de relatie weer tussen de beroepscompetenties (optioneel aangevuld met precompetenties en/of deeltaken en leerdoelen) van de opleiding en het opleidingsprogramma in de vorm van cursussen. (p 15) Examen: Afsluiting van de propedeuse, associate degree of bachelor doordat alle studiepunten zijn behaald. Alle tentamens zijn met goed resultaat beoordeeld. 8

Het paginanummer(s) achter de omschrijving verwijst naar de pagina(‘s) van dit toetsbeleid waarin het begrip nader wordt besproken.

25

Examencommissie: HZ-brede commissie die toeziet op toetsen en beoordelen en de kwaliteit daarvan. De examencommissie heeft een gedeelde verantwoordelijkheid samen met de opleiding voor het borgen van de kwaliteit van toetsen en beoordelen. Taken en bevoegdheden zijn vastgelegd in het reglement examencommissie. (p 3 & 4) Examinator: Docent die een beoordeling geeft en daarmee een advies uitbrengt aan de examencommissie om wel of geen studiepunten toe te kennen aan de student. (p 3) Feedback: Informatie voor de student over de geleverde prestatie of doorgemaakte ontwikkeling, het doelniveau, de discrepantie tussen het huidige niveau en het doelniveau, en strategieën om het doelniveau te bereiken. Feedback kan zowel door de docent als door medestudenten worden gegeven. (p 19) Formatief beoordelen: Een beoordeling die erop is gericht de ontwikkeling van de student te stimuleren. Het resultaat van een formatieve beoordeling wordt doelbewust ingezet om het leerrendement van de student te verhogen. Door het procesmatige karakter van toetsen met een formatieve beoordeling worden deze toetsen vaak onterecht gelijkgesteld aan tussentoetsen. Een beoordeling kan zowel formatief als summatief worden ingezet. (p 8) Leerdoel: Concrete uitwerking van een deeltaak. Procesgericht onderwijs: een vorm van instructie waarin naast de gewone vakinhoudelijke kennis en vaardigheden expliciet gewerkt wordt aan het aanleren van leer- en denkvaardigheden. Het onderwijs is leerlinggericht: de ontplooiing van individuele mogelijkheden staat centraal. (p 7) Proces-verbaal: Een ware getuigenis van het toetsmoment inclusief een beschrijving van de omstandigheden waarin de gerapporteerde feiten zich voordeden. Het proces-verbaal omvat ten minste een beschrijving van de volgende onderdelen: wie er getoetst werd, door wie er getoetst werd, waar de toets uit bestond, de toetsduur alsmede het tijdstip waarop de toets werd afgenomen. (p 19) Productgericht onderwijs: een vorm van instructie waarin vakinhoudelijke kennis en vaardigheden centraal staan. Het onderwijs heeft een maatschappelijke functie: het onderwijs bepaalt de waarde van het individu voor de maatschappij. (p 7) Summatief beoordelen: Een beoordeling die resulteert in het toekennen van studiepunten. Een toets waaraan een summatieve beoordeling is gekoppeld wordt ook wel een ‘hoge inzet’-toets genoemd (high stake test). Een beoordeling kan zowel formatief als summatief worden ingezet. (p 7) Synopsis: betekent letterlijk ‘kort overzicht van de inhoud’. De synopsis is een onderwijsontwikkelinstrument voor docenten en een informatiebron voor studenten. De geplande inrichting van een cursus of een reeks van cursussen wordt beschreven in de synopsis, waardoor overzicht ontstaat. Op deze manier is de synopsis een hulpmiddel voor docenten bij het ontwikkelen en beschrijven van een samenhangend opleidingscurriculum. (p 16 & 17) 26

Tentamen: Een toets met een summatieve beoordeling. Toetscommissie: HZ-brede commissie met toetsexpertise die wordt gemandateerd door de examencommissie. De toetscommissie trekt overkoepelende conclusies uit de bevindingen van de deeltoetscommissies. (p 3 & 4) Toetsen (zn): Een onderzoek naar de prestatie of ontwikkeling van de student, waarmee het leerproces van de student wordt (bij)gestuurd en wordt gewaardeerd (met studiepunten). Een toets bestaat altijd uit een toetstaak en een beoordelingsprotocol. Toetsen (ww): Het inzetten van een onderzoek naar de prestatie of ontwikkeling van de student, om het leerproces van de student te kunnen (bij)sturen en te waarderen (met studiepunten). Het toetsen gebeurt vaak, maar niet uitsluitend, op initiatief van de docent. Zowel de docent als de student toetsen (denk aan self- en peer assessment). Toetsplan: beschrijving en toelichting van alle toetsen van een cursus met een summatief karakter. Het toetsplan bevat een beschrijving van de planning, toetsvorm, inhoud van de toets, en beoordelingseisen. Het toetsplan is geïntegreerd in de synopsis (onderdelen 6 t/m 9). (p 16 & 17) Toetsprogramma: Verantwoording van (samenhang in) toetsing van de startcompetenties van de opleiding. Wordt opgesteld op curriculumniveau in aanvulling op de dekkingsmatrix. (p 15) Toetsprotocol (protocol per toetsvorm): Een protocol waarin -per toetsvorm- richtlijnen zijn opgenomen ten aanzien van de constructie, afname, beoordeling en archivering van de betreffende toetsvorm. (p 5) Toetstaak: Opdrachtbeschrijving en instructie aan de student, waarin richtlijnen worden gegeven voor de te vertonen prestatie of ontwikkeling die met de toets onderzocht wordt. (p 18) Verantwoording: Rapportage opgesteld door het opleidingsteam, waarin gemaakte keuzes bij de totstandkoming van de dekkingsmatrix en het toetsprogramma zijn verantwoord. Zie pagina 15 van dit toetsbeleid. (p 15 & 16)

27

Bijlage 2. Passage uit de NQA-handleiding: standaard 3 Toetsing en gerealiseerde eindkwalificaties

28

29

Bijlage 3. Uitgebreid processchema toetsen en beoordelen

30

Beoordeling

Feedback

·Transparantie Het beoordelingsprotocol bevat eenduidige beoordelingscriteria die aansluiten bij de leerdoelen en KVP’s (zie toetsmatrijs) en de beoordelingseisen uit de synopsis

·Transparantie De student is op de hoogte van het toetsprotocol

·Transparantie De beoordeling is inzichtelijk (doordat het beoordelingsprotocol wordt gehanteerd)

·Betekenisvolheid/ relevantie De feedback is constructief en bevat aanwijzingen voor verbeteringen

·Representativiteit De toetstaken vormen een samenhangend en gevarieerd geheel (conform de toetsmatrijs)

·Rechtvaardigheid/ eerlijkheid Het beoordelingsprotocol bevat een normering en cesuur die voor alle studenten het zelfde is

·Rechtvaardigheid/ eerlijkheid De te beoordelen prestatie is authentiek, denk aan ‘meeliften’, ‘fraude’ en ‘plagiaat’

·Rechtvaardigheid/ eerlijkheid De beoordeling is onbevooroordeeld tot stand gekomen

·Transparantie De feedback is concreet en bruikbaar

·Betekenisvolheid/ relevantie De inhoud van de toets sluit aan bij de leerdoelen en de daarboven liggende competentie (zie competentiebreakdown en dekkingsmatrix)

·Transparantie De toetstaken zijn eenduidig en bondig geformuleerd.

·Discriminerend Met behulp van het beoordelingsprotocol kan onderscheid worden gemaakt tussen ‘goede’ en ‘zwakke’ studenten

·Onderwijseffect De toets heeft tot doel de docent inzicht te geven in de ontwikkeling van de student in relatie tot het gegeven en geplande onderwijs

·Cognitieve complexiteit De inhoud van de toets is van het juiste (hbo)niveau

·Rechtvaardigheid/ eerlijkheid De toetstaken stellen de student in staat zijn ontwikkeling te tonen/toetsen, ongeacht eventueel belemmerende persoonskenmerken die niet tot de leerdoelen behoren

·Tijd en middelen Het beoordelingsprotocol is uitvoerbaar (met de beschikbare tijd en middelen)

·Omstandigheden De omstandigheden (fysiek en mentaal) waaronder de toets wordt afgenomen stellen de student in staat zijn prestaties te tonen

·Herhaalbaarheid De beoordeling is betrouwbaar en kan worden herhaald met een zelfde uitkomst (bijvoorbeeld door een tweede beoordelaar)

·Omstandigheden Er is een inzagemoment en de student wordt in de gelegenheid gesteld feedback te vragen

Doel formuleren

Inhoud bepalen

Ontwikkelen toetstaak

Ontwikkelen beoordelingsprotocol

Afnemen van de toets

Beoordelen

Feedback geven

·Pre-toets effect De toets heeft tot doel dat de student zijn leergedrag aanpast aan zijn verwachting van de (inhoud van de) toets. De ontwikkeling van zelfsturing wordt hierdoor gestimuleerd

·Authenticiteit/ realisme De inhoud van de toets komt overeen met de beroepssituatie

·Betekenisvolheid/ relevantie De toetstaken passen bij de omschreven leerdoel(en) en KVP’s (zie toetsmatrijs)

·Ware toetseffect De toets is op zichzelf een leerervaring

·Representativiteit De inhoud van de toets is een afspiegeling van en is afgestemd op de vereiste KVP’s (en dit is vastgelegd in een toetsmatrijs)

·Post-toets effect De toets heeft tot doel de ontwikkeling van de student bij te sturen en te stimuleren

·Tijd en middelen De toets kan worden gemaakt binnen de gestelde tijd en met de beschikbare middelen

·Vergelijkbaarheid De beoordeling wordt consistent uitgevoerd. De beoordeling gebeurt voor iedere student op dezelfde manier

Evaluatie en heroverweging beoordeling

Afname

Evaluatie en heroverweging afname

Ontwerp Hoe

Wat

Evaluatie en heroverweging ontwerp

Uitgangspunten Waarom

·Rechtvaardigheid/ eerlijkheid De feedback is vrij van vooringenomenheden

Evaluatie en heroverweging feedback

Bijlage 4. Kwaliteitsraamwerk toetsen en beoordelen

31

Bijlage 5. Format voor toetsprogramma Doel van het toetsprogramma: het inzichtelijk maken op welke wijze, op welke plaats in het curriculum, en op welk niveau deeltaken en leerdoelen worden getoetst, zodat kan worden beoordeeld of de toetsvormen aansluiten bij de aard van de deeltaak en het leerdoel (KVP/KVI), de competenties in voldoende mate en op elk niveau worden getoetst, en of de variatie in toetsvormen voldoende is. Opbouw van het toetsprogramma: Cursus Cursus Toets 1 Toets 2 Toets .. Toets 1 Toets 2 TOETSVORM TOETSVORM TOETSVORM TOETSVORM TOETSVORM

Toets .. TOETSVORM

Competentie 1 Deeltaak 1 Leerdoel 1 Leerdoel 2 Leerdoel .. Deeltaak 2 Leerdoel 1 Leerdoel 2 Leerdoel .. Deeltaak .. Competentie .. Deeltaak ..

Aanwijzingen: - Benoem voor iedere toets de toetsvorm. Zie het overzicht van toetsvormen. - Neem in de eerste kolom de competenties, deeltaken en leerdoelen (of het equivalent daarvan) op die de opleiding hanteert. Indien gewenst kan ook de uitwerking van de leerdoelen tot in eisen worden gebruikt. - Geef per toets aan welke deeltaken en/of leerdoelen op welk niveau worden getoetst, door een 1 (p-niveau), een 2 (AD-niveau), of een 3 (bachelor-niveau) in het bijbehorende vakje te plaatsen.

32

Overzicht toetsvormen: toetsvorm co-assessment peer-assessment actieve deelname werkplekassessment individueel proces assessment observatieopdracht video observatie Logboek 360-feedback rapportage/verslag Presentatie werkstuk ontwerp maken portfolio mindmap open vragen meerkeuze vragen casustoets stationsproef overalltoets voortgangstoets mondelinge toets simulatie, bijvoorbeeld simulator of game

accent: K=kennis, V=vaardigheden, I=integratie, R=reflectie KV KV KV I I I I R R KI KI VI VI R K K K I VI K K K I

33