Toetsing en beoordeling en de beperkte opleidingsbeoordeling Conferentie Onderwijsinspectie, Amersfoort, 20 mei 2015 Sietze Looijenga, QANU
In deze workshop: • Hoe wordt in visitaties aandacht besteed aan het functioneren van examencommissies? • Welke invloed kan een visitatie hebben op het functioneren van een examencommissie? • Welke ontwikkelingen zijn er in het functioneren van examencommissies? • Enkele examples of good practice.
Examencommissies in visitaties • Sinds de invoering van accreditatie spreekt een visitatiecommissie tijdens haar bezoek altijd met de examencommissie. • De visitatiecommissie heeft het functioneren van de examencommissie tot op heden nooit expliciet beoordeeld. • Het gesprek met de examencommissie heeft altijd in het teken gestaan van het beoordelen van de toetsing en beoordeling.
Eerste NVAO‐kader (2003‐2010) (1) • Facet Beoordeling en toetsing als onderdeel van onderwerp Programma. • Criterium: Door de beoordelingen, toetsingen en examens wordt adequaat getoetst of de studenten de leerdoelen van (onderdelen van) het programma hebben gerealiseerd.
Eerste NVAO‐kader (2003‐2010) (2) • Facet Gerealiseerd niveau als onderdeel van onderwerp Resultaten. • Criterium: De gerealiseerde eindkwalificaties zijn in overeenstemming met de nagestreefde eindkwalificaties qua niveau, oriëntatie en domeinspecifieke eisen. • Het woord examencommissie komt in het kader niet voor.
Overgangsjaren (2008‐2010) • Vanaf 2008 neemt de aandacht voor toetsing en beoordeling toe. • De NVAO accepteert niet langer dat toetsing en beoordeling als onvoldoende wordt beoordeeld. • De NVAO loopt zo vooruit op veranderingen in het kader die vanaf 2011 van kracht zijn. • Formeel is de plaats van toetsing en beoordeling in visitaties sinds 2011 wezenlijk anders.
Tweede NVAO‐kader (2011‐2014) (1) • Invoering instellingstoets en beperkte opleidingsbeoordeling. Universitaire opleidingen worden beoordeeld op basis van het kader voor de beperkte opleidingsbeoordeling. • Dat kader kent slechts 3 standaarden. Standaard 3 heeft betrekking op toetsing en beoordeling en het gerealiseerde eindniveau.
Tweede NVAO‐kader (2011‐2014) (2) • Standaard 3: Toetsing en gerealiseerde eindkwalificaties: De opleiding beschikt over een adequaat systeem van toetsing en toont aan dat de beoogde eindkwalificaties worden gerealiseerd. • Toelichting: Het gerealiseerde niveau blijkt uit de tussentijdse en afsluitende toetsen, de afstudeerwerken en de wijze waarop afgestudeerden in de praktijk of in een vervolgopleiding functioneren. De toetsen en de beoordeling zijn valide, betrouwbaar en voor studenten inzichtelijk.
Derde NVAO‐kader (vanaf 2015) (1) • Standaard 3 uit ‘oude’ kader opgesplitst in twee aparte standaarden. • Standaard 3: Toetsing: De opleiding beschikt over een adequaat systeem van toetsing. • Toelichting: De toetsen en de beoordeling zijn valide, betrouwbaar en voor studenten inzichtelijk. De examencommissie van de opleiding borgt de kwaliteit van de tentaminering en examinering.
Derde NVAO‐kader (vanaf 2015) (2) • Standaard 4: Gerealiseerde eindkwalificaties: De opleiding toont aan dat de beoogde eindkwalificaties worden gerealiseerd. • Toelichting: Het gerealiseerde niveau blijkt uit de resultaten van tussentijdse en afsluitende toetsen, de eindwerken en de wijze waarop afgestudeerden in de praktijk of in een vervolgopleiding functioneren.
Derde NVAO‐kader (vanaf 2015) (3) • Voor het eerst kijken visitatiecommissies naar het functioneren van een examencommissie! • Panels moeten beschikken over expertise op het gebied van toetsing. • Een onvoldoende voor standaard 3 of 4 leidt tot een onvoldoende voor de opleiding als geheel. • Nog geen ervaring, dus nog geen beeld of de wijziging van het kader verschil maakt.
De beperkte beoordeling (1) • De beperkte beoordeling gaat meer over inhoud en minder over processen en procedures, meer over vebetering en minder over verantwoording. • Opleidingsoverstijgende zaken komen aan de orde in de instellingstoets. • Maar: het systeem van toetsing is eigenlijk altijd opleidingsoverstijgend en bestaat voor een belangrijk deel uit procedures.
De beperkte beoordeling (2) • Is beoordeling van systeem van toetsing op zijn plaats in beperkte beoordeling? • Kunnen peers altijd beoordelen of toetsen valide, betrouwbaar en inzichtelijk zijn? • Het is lastig om de balans tussen de inhoudelijke en de procedurele kant van de toetsing te vinden. • Spanning komt vooral aan het licht wanneer commissies kritisch zijn over toetsing.
De beperkte beoordeling (3) • Instellingen hebben sinds 2010 hard gewerkt aan de versterking van de interne kwaliteitszorg. • Ze hebben zich geconcentreerd op de inrichting van het systeem, op zaken die op centraal niveau geregeld moeten worden, en wat minder op het decentrale niveau. • Dat kan ten koste zijn gegaan van de aandacht voor examencommissies.
Ontwikkelingen examencommissies (1) • Examencommissies die vinden dat ze alleen ‘administratieve’ taken hebben zijn er niet meer. • Examencommissies kiezen inhoudelijk perspectief, voelen zich meer verantwoordelijk voor toetsing, profileren zich meer, denken meer vooruit. • Leden van examencommissies zijn vaak geschoold, zijn zich bewust van de eisen die de wet stelt en van hun taken en verantwoordelijkheden.
Ontwikkelingen examencommissies (2) • Organisatie examencommissies verandert: vaker voor meerdere opleidingen verantwoordelijk. • Voordelen: meer professionalisering, specialisatie, efficiëntie, minder belasting. Nadeel: minder inhoudelijke deskundigheid. • Schaalvergroting onderdeel van belangrijke cultuurverandering: traditionele autonomie van wetenschappers neemt af.
Ontwikkelingen examencommissies (3) • Veranderingen gaan niet overal even snel. Voorbeeld: opleidingen Geesteswetenschappen. Verband tussen snelheid van veranderingen en schaalvergroting? • Examencommissies die nog ‘traditioneel’ werken zullen hun aanpak en werkwijze moeten moderniseren, omdat de risico’s die zij lopen in de ogen van colleges en decanen te groot zullen zijn.
Effecten van visitaties (1) • Visitatiecommissies geven geen expliciet oordeel over het functioneren van examencommissies. • Commissies beoordelen in de eerste plaats toetsen en ‘producten’. Wanneer zij kritisch zijn over de kwaliteit daarvan, analyseren zij de oorzaak van het probleem. • Commissies doen zo indirect uitspraken over de examencommissie en het systeem van toetsing.
Effecten van visitaties (2) • Bij onvoldoendes voor standaard 3 is het probleem meestal de kwaliteit van de eindwerken. • Die kwaliteit kan vaak alleen verbeterd worden wanneer een opleiding haar systeem van toetsing en begeleiding aanpast en de examencommissie haar aanpak en werkwijze wijzigt. • Veel verbeterplannen gaan in op toetsing en begeleiding en op werkwijze examencommissie.
Effecten van visitaties (3) • Een visitatie kan dus veel invloed hebben op het functioneren van een examencommissie, ook al is dat functioneren tot op heden niet beoordeeld. • De recente wijziging van het NVAO‐kader zal de aandacht voor toetsing en beoordeling vergroten, maar de spanning niet wegnemen en discussies over de oordelen van commissies niet voorkomen.
Examples of good practice • Faculteit Wiskunde en Natuurwetenschappen, Rijksuniversiteit Groningen. • Faculteit Rechtsgeleerdheid, Universiteit Leiden (vertegenwoordigd door Hester Minnema). • Faculteit Exacte Wetenschappen, Vrije Universiteit Amsterdam (vertegenwoordigd door Ivo van Stokkum).
Example of good practice: FWN RUG (1) • De visitatiecommissie Scheikunde was in juni 2012 kritisch over verschillende aspecten van het systeem van toetsing, inclusief het functioneren van de examencommissie. • De commissie heeft standaard 3 daarom als ‘onvoldoende’ beoordeeld. • De faculteit heeft een verbeterplan opgesteld met maatregelen om het toetssysteem te verbeteren.
Example of good practice: FWN RUG (2) • Het systeem van toetsing van de opleidingen is in september 2014 opnieuw beoordeeld. • De commissie vond dat de borging van de toetsing en beoordeling aanzienlijk was verbeterd en dat de examencommissie haar werkwijze ook op een serieuze en consciëntieuze manier had herzien. • Zij heeft standaard 3 alsnog als ‘voldoende’ beoordeeld.
Example of good practice: FWN RUG (3) • Voorbeelden van genomen maatregelen: de invoering van een toetsplan voor elke opleiding, van een toetsoverzicht voor elk vak, van gestandaardiseerde beoordelingsformulieren voor verschillende onderdelen. • De veranderingen zullen niet voor iedereen even spectaculair zijn, maar betekenen voor de opleidingen een enorme stap voorwaarts.
Example of good practice: FWN RUG (4) • De onderwijsinspectie verwijst in de bijlage met voorbeelden van good practice verschillende keren naar de producten die FWN heeft ontwikkeld. • Het voorbeeld laat zien dat een visitatie tot ingrijpende veranderingen kan leiden. • Mogelijk verlies van accreditatie heeft misschien voor extra druk gezorgd, maar het resultaat mag er zijn.
