Archiveren toetsen Toetsadviescommissie, Johan Jeuring Faculteit B`etawetenschappen Januari 2012
Moeten we toetsen archiveren? Welke onderdelen? Waarom moeten we dat doen? Hoe lang moeten we dat doen? Wie gaat dat doen? Wie mag er naar kijken? Dit document poogt een aantal van deze vragen te beantwoorden, en roept ten aanzien van de uitvoering weer een aantal nieuwe vragen op. We zullen vooral vanuit het gezichtspunt van de examencommissies naar de vragen kijken. Toetsen. Bij de afname van een toets aan een groep studenten spelen de volgende onderdelen een rol: • de beschrijving van de opgaven die een student uit moet voeren (de toets); • de uitwerkingen van de toets van de studenten die aan de toets hebben deelgenomen (de studentuitwerkingen); • de modeluitwerkingen en het nakijkmodel, waarin een mogelijk oplossing voor de opdrachten in de toets wordt gegeven, en waarin wordt aangegeven hoe zwaar de verschillende onderdelen wegen, en hoe fouten beoordeeld worden (de modeluitwerkingen); • een statistische analyse van de antwoorden die de studenten op de vragen van de toets hebben gegeven (de toetsanalyse). Reglementen. Er zijn verschillende wetten, reglementen, richtlijnen, en handleidingen die van invloed zijn op hoe er met toetsen omgegaan moet worden. De Wet hoger onderwijs en wetenschappelijk onderzoek (WHW) stelt in Artikel 7.12b 5: ‘De examencommissie stelt jaarlijks een verslag op van haar werkzaamheden’, en deze werkzaamheden bestaan onder andere uit 7.12b 1a: ‘het borgen van de kwaliteit van de tentamens en examens’. Voor het uitvoeren van deze taak is het nodig dat de bovengenoemde verschillende onderdelen gerelateerd aan toetsen tenminste een jaar bewaard worden.
1
Juridisch is voor wat de wettelijke bewaarplicht betreft voor de universitaire archieven het Basisselectiedocument Wetenschappelijk Onderwijs (BWO) van toepassing. Dit document stelt dat toetsen, modeluitwerkingen, en studentuitwerkingen tenminste twee jaar na het vaststellen van de uitslag moeten worden bewaard. De nieuwe gedragslijn van de NVAO bij de accreditatie (Richtlijn NVAO beoordeling afstudeerwerken door panels tijdens het visitatieproces, 8 juli 2011), stelt dat het visitatiepanel zelf steekproeven neemt uit examenwerk van de laatste jaren. Dat examenwerk moet dan wel beschikbaar zijn. De bewaartermijn voor scripties is door de universiteit op zeven jaar gesteld. Vrijwel alle faculteiten slaan scripties op via de UBU in een digitale database. Bij de Faculteit B`etawetenschappen doet wiskunde dat ook, maar de andere opleidingen niet. Het college van bestuur heeft op 23 november 2011 de decaan verzocht om ook voor de andere opleidingen scripties beschikbaar te stellen via de UBU. De model Onderwijs- en examenregeling van de Universiteit Utrecht zegt met ingang van 2012: Art. 5.9 inzagerecht 1. Gedurende tenminste dertig dagen na de bekendmaking van de uitslag van een schriftelijke toets krijgt de student op zijn verzoek inzage in zijn beoordeeld werk. Tevens wordt hem op zijn verzoek tegen kostprijs een kopie verschaft van dat werk. 2. Gedurende de in het eerste lid genoemde termijn kan elke belanghebbende kennis nemen van vragen en opdrachten van de desbetreffende toets, alsmede zo mogelijk van de normen aan de hand waarvan de beoordeling heeft plaatsgevonden. Art. 5.11 - bewaartermijn toetsen 1. De opgaven, uitwerkingen en het beoordeelde werk van de schriftelijke toetsen worden gedurende twee jaar na de beoordeling bewaard. 2. De in artikel 3.5, vijfde lid bedoelde thesis en de beoordeling daarvan wordt gedurende zeven jaar na de beoordeling bewaard. Dit artikel zal in de opleidingsspecifieke onderwijs- en examenregelingen overgenomen worden. Het model Reglement Examencommissies van de universiteit doet grosso modo dezelfde uitspraak over inzagerecht, en geen uitspraak over bewaartermijn toetsen. Daarnaast stelt het Reglement: Daartoe onderzoekt zij (de examencommissie, of een aan de examencommissie gerelateerde toetscommissie) steekproefsgewijs en naar aanleiding van klachten, uitkomsten evaluaties, slagingspercentages en dergelijke - de kwaliteit van afzonderlijke toetsen met betrekking
2
tot de validiteit (zij meten kennis vaardigheden en competenties) en betrouwbaarheid (zij zijn consistent en nauwkeurig). De QANU schrijft in de Richtlijn voor het schrijven van een zelfevaluatierapport voor een beperkte opleidingsbeoordeling QANU vraagt opleidingen om in de beschrijving van het systeem van toetsing en beoordeling expliciet in te gaan op de manier waarop zij de kwaliteit van de toetsing bewaakt en op de rol daarin van de Examencommissie en om waar mogelijk te verwijzen naar regelingen of procedures voor bijvoorbeeld het beoordelen van opdrachten, werkstukken, presentaties of scripties. Tenslotte is de wet openbaarheid van bestuur van toepassing op de Universiteit Utrecht. Mogelijk kan een student zich beroepen op de WOB om ook na de termijn van dertig dagen inzage in de modeluitwerkingen en de toets te eisen. Misschien kan de inzage geweigerd worden op grond van ”het voorkomen van onevenredige bevoordeling of benadeling van bij de aangelegenheid betrokken natuurlijke personen of rechtspersonen dan wel van derden”. Examencommissies. Uit bovenstaande reglementen en richtlijnen blijkt dat Examencommissies een centrale rol (dienen te) spelen in de bewaking van de kwaliteit van toetsing. Nu al kijken veel examencommissies naar zowel de uitslag als de evaluaties van vakken om uit te vinden of zich mogelijk ergens problemen hebben voorgedaan rondom toetsing. Bij gebleken problemen vraagt de examencommissie de toets op bij een (groep van) docent(en), of gaat zij een gesprek aan. De informatie rondom cursussen is veelal direct beschikbaar voor docenten, het onderwijsmanagement, en de examencommissies: informatie over de inrichting van een vak, de evaluaties, en de resultaten kunnen zonder tussenkomst van een docent ingekeken worden, mits docenten standaard toegang tot alle blackboardpagina’s van vakken krijgen. De toets en de modeluitwerking van de toets zijn echter bijna overal binnen de faculteit (en ook binnen de universiteit) niet zonder tussenkomst van de docent in te kijken. Het is wenselijk dat toetsen op vergelijkbare manier ter beschikking worden gesteld als de andere gegevens die bij een vak horen: • examencommissies kunnen dan ook zonder tussenkomst van een docent over een toets en de modeluitwerking beschikken. Dit maakt het uitvoeren van de nieuwe taak van de examencommissies eenvoudiger. • integrale kwaliteitszorg bereiken we alleen door volledige informatievoorziening, ook nadat een docent bv elders een betrekking heeft gevonden. • het ter beschikking stellen van een modeluitwerking dient ook een didactisch doel: studenten kunnen direct zien wat goede oplossingen voor
3
een tentamen zijn. Vooral bij het verlaten van de tentamenzaal zijn studenten daar vaak zeer in ge¨ınteresseerd. De interesse neemt af naarmate er meer tijd verstreken is tussen het maken van de toets, en het kunnen inzien van modeluitwerkingen. Overigens is het mogelijk dat een docent de uitwerking van een toest niet online wil publiceren omdat hij of zij (onderdelen van) de toets in een later stadium nog eens wil gebruiken. Een niet representatieve inventarisatie bij Farmacie, Graduate School Life Sciences, Natuurkunde, Informatica, en Diergeneeskunde laat zien dat alleen Farmacie een procedure heeft voor het archiveren van toetsen. Bij alle andere opleidingen levert de docent de toets in bij een toetscommissie, of is de toets op te vragen bij de docent. Bij Farmacie zorgt de onderwijsdirecteur samen met een onderwijskwaliteitszorgmedewerker voor de archivering van toetsen in een Surfgroep. Er zijn verschillende mogelijkheden voor het archiveren van toetsen en modeluitwerkingen: 1. het management van de verschillende opleidingen organiseert de archivering van toetsen op de een of andere manier (zoals bij Farmacie). Dit heeft als consequentie dat iedere opleiding zelf een oplossing mag opzetten, maar waarschijnlijk ook dat dat bij verschillende opleidingen niet zal gebeuren 2. bij het inleveren van de resultaten van de toetsen levert de docent ook de toets en de modeluitwerking in bij OSZ. Dit betekent dat OSZ zowel de archivering op moet zetten, als de ontsluiting voor examencommissies moet verzorgen 3. binnen het evaluatiesysteem bestaat de mogelijkheid voor docenten om te reageren op de evaluaties van de studenten. Een opleiding zoals informatica verplicht docenten op de evaluaties te reageren. Misschien is het mogelijk om naast een reactie ook de toets en de modeluitwerking te uploaden binnen het evaluatiesysteem. Omdat ook de resultaten en inschrijvingsgegevens binnen het evaluatiesysteem vanuit Osiris geladen worden, zou dat systeem de spil in de kwaliteitszorg kunnen worden. Aanbevelingen. • Moeten we toetsen archiveren? Ja. • Welke onderdelen? De toets, de modeluitwerkingen, en de studentuitwerkingen. Als er een toetsanalyse wordt uitgevoerd dan moet deze hier ook bij opgeslagen worden. Overigens hoeven al deze onderdelen niet allemaal op dezelfde manier gearchiveerd te worden, zie beneden. • Waarom moeten we dat doen? Omdat de OER, WHW, BWO, en NVAO dat eisen, en om het werk van de examencommissies betreffende de kwaliteitsborging van toetsen te ondersteunen.
4
• Hoe lang moeten we dat doen? Tenminste twee jaar. Afstudeerwerken moeten tenminste zeven jaar worden bewaard. • Wie gaat dat doen? Omdat de studentuitwerkingen nog vaak alleen op papier beschikbaar zijn, en de docent deze bespreekt met studenten, stellen wij voor dat de studentuitwerkingen twee jaar lang door de docent die de toets afneemt worden gearchiveerd. Indien de docent de universiteit verlaat, of elders binnen de universiteit gaat werken, draagt zij of hij de studentuitwerkingen over aan een collega die bij het getoetste vak betrokken is. Wij bevelen aan de toets, de modeluitwerkingen, en mogelijk de toetsanalyse te archiveren middels het faculteitsbrede evaluatiesysteem Caracal. Scripties moeten worden gearchiveerd via de UBU. • Wie mag er naar kijken? Studenten mogen dertig dagen hun beoordeelde werk inkijken. De toets en de modeluitwerkingen zijn in principe door iedereen die evaluaties kan zien in te zien. Alleen als een docent (onderdelen van) de toets en/of modeluitwerkingen niet wil publiceren omdat hij/zij de toets in een later stadium nogmaals wil gebruiken, verschijnt deze alleen in het evaluatiesysteem als een docent inlogt. • Wat is hier voor nodig? – Medewerkers standaard toegang geven tot alle blackboard cursussen. – Evaluatiesysteem aanpassen zodat docenten toetsen, modeluitwerkingen, en toetsanalyses kunnen uploaden. – Docenten en onderwijsdirecteuren op de hoogte stellen van gewenste procedures. – Een procesverantwoordelijke aanstellen die de wijzigingen aanstuurt, de communicatie coordineert, en controleert dat procedures worden nagevolgd.
5
