T H
M A
5-14
Het nieuwe accreditatiestelsel, ingevoerd in 2011, zou veel oude bezwaren wegnemen. Door de wijzigingen zou de aandacht zich meer kunnen richten op de inhoud van het geboden onderwijs. Bovendien zou de administratieve last voor het wetenschappelijk personeel afnemen. Is dat gelukt? De universiteiten van Leiden en Nijmegen lieten er onderzoek
ijs
naar doen.
rw
Verbeteren en verantwoorden
de
Ervaringen met het accreditatiestelsel in Leiden en Nijmegen Bianca Leest, Maarten van de Ven, Marcel Vooijs & Jeroen Winkels
on
Radboud Universiteit, Universiteit Leiden
I
er
n 2010 keek de toenmalige voorzitter van de Nederlands-Vlaamse Accreditatieorganisatie (NVAO) aan de vooravond van een nieuw accreditatiestelsel terug op de periode 2004-2010. Hij constateerde op grond van externe evaluaties dat het stelsel ‘redelijk functioneerde’ en internationaal als ‘robuust en vertrouwenwekkend’ werd beschouwd (Dittrich, 2010). Wel plaatste hij onder meer de volgende kanttekeningen.
H
og
1. Er was sprake van verhullende teksten uit angst voor een negatief oordeel, vooral het gevolg van het ontbreken van een voorwaardelijk oordeel en een herstelperiode. 2. De tweedeling voldoende-onvoldoende deed geen recht aan de verscheidenheid, en de mogelijkheid om een bijzonder kenmerk te laten beoordelen werd nauwelijks gebruikt. 3. De verbeterfunctie van het stelsel was niet goed zichtbaar. Het nieuwe stelsel moest deze punten wegnemen, vooral door de introductie van een herstelperiode. Ook werd de instellingstoets geïntroduceerd waardoor na een positief oordeel kan worden volstaan met een beperkte opleidingsbeoordeling. De verwachting was dat door deze wijzigingen de aandacht sterker naar de inhoud van het onderwijs zou uitgaan. Tevens zou de administratieve lastendruk zou worden beperkt. Universiteitsbestuurders kregen evenwel veel signalen dat het nieuwe stelsel de medewerkers juist méér belastte en
88
dat er weinig positieve prikkels vanuit gingen die de kwaliteit van het onderwijs zouden kunnen verbeteren. De colleges van bestuur van de Universiteit Leiden en de Radboud Universiteit besloten om de ervaringen met de beperkte opleidingsbeoordeling wetenschappelijk te onderzoeken, waarbij de belangrijkste vraag was of de aanpassingen tot een verbetering van het accreditatiestelsel hebben geleid. Het antwoord op deze vraag is belangrijk bij de herziening van het stelsel per 1 januari 2017, waarover de minister zich binnenkort moet uitspreken. Het huidige accreditatiestelsel In 2013 zijn er enkele evaluaties van het Nederlandse accreditatiestelsel uitgevoerd (NVAO, 2013; Inspectie van het Onderwijs, 2013; en Algemene Rekenkamer, 2013). Het beeld dat uit deze studies naar voren komt is over het algemeen positief. De algemene conclusie luidt dat het stelsel goed functioneert en zich in de gewenste richting ontwikkelt. Tegelijkertijd komt uit de studies een aantal punten naar voren die verder aandacht verdienen: • • • •
hoge administratieve lasten die in tegenstelling tot de gewekte verwachtingen niet minder zijn geworden; gebrek aan inzicht in de betrouwbaarheid van de beoordelingen van peers; verschillen tussen en profilering van vergelijkbare opleidingen komen niet goed uit de verf; druk op het draagvlak van het stelsel in vooral het weten-
T H
MA
themahogeronderwijs.org
ondergaan. Beide onderzoeken zochten op drie vragen antwoord.
veel signalen dat het nieuwe stelsel de medewerkers juist
De onderzoeken werden zo opgezet dat de ervaringen van de meest betrokken medewerkers met de vernieuwde opzet van de onderwijsvisitatie goed in beeld konden komen. Aldus werd nagegaan of de beoogde verbeteringen van het nieuwe stelsel ook als zodanig door hen werden ervaren. Tevens werd vastgesteld of de beperkte opleidingsbeoordeling heeft geleid tot een vermindering van de tijdsbesteding door vooral het wetenschappelijk personeel. Uit de resultaten van beide studies komt een opvallend eensgezind en eenduidig beeld naar voren over de wijze waarop visitaties bij beide universiteiten zijn verlopen en hoe de medewerkers deze hebben beleefd. We vatten de resultaten per onderzoeksvraag samen.
rw
méér belastte en dat positieve
1. Zijn de kwaliteitsoordelen van de visitatiecommissie valide en herkenbaar? 2. Heeft de nieuwe opzet geleid tot vermindering van de (administratieve) lastendruk? 3. Heeft de nieuwe onderwijsvisitatie een stimulerend effect op de kwaliteit van het onderwijs?
ijs
Universiteitsbestuurders kregen
de
prikkels ontbraken
schappelijk onderwijs als recent gevolg van onder andere de hoge belasting van visitaties en de toegenomen scherpte van beoordelingen.
H
og
er
on
Hoewel de studies een goed inzicht bieden in het functioneren van het stelsel, is nog onvoldoende bekend over de ervaringen en het oordeel van de wetenschappelijke staf van de universiteiten zelf. Zo is in het onderzoek van de inspectie de empirische onderbouwing van de resultaten weliswaar gedegen, maar wordt er nagenoeg geen onderscheid gemaakt tussen universiteiten en hogescholen, terwijl de hogescholen de uitkomsten in een verhouding van 2:1 beïnvloeden. Het gebrek aan inzicht in de opvattingen van het wetenschappelijk personeel over het functioneren van het accreditatiestelsel, was voor de Universiteit Leiden en de Radboud Universiteit aanleiding zelf een evaluatiestudie uit te voeren. Doel van beide studies was een beter beeld krijgen van de ervaringen van het wetenschappelijk personeel met de beperkte opleidingsbeoordeling, en meer inzicht in de validiteit van de methodiek van de individuele opleidingsvisitaties. Opvallend eensgezind
Het evaluatieonderzoek in Leiden werd in 2013 uitgevoerd1. Het bestond onder meer uit panelgesprekken met medewerkers over de ervaringen met het nieuwe systeem, en een casestudie waarin het visitatieproces van zeven opleidingscombinaties (bachelor en master) aan een diepteanalyse werd onderworpen. De Leidse studie fungeerde als referentiekader voor een replicatie aan de Radboud Universiteit2. Dit onderzoek werd in 2014 op vergelijkbare wijze uitgevoerd: drie panelgesprekken en interviews bij (een aselect getrokken steekproef van) zeven opleidingen die recentelijk een visitatie met de beperkte opleidingsbeoordeling hadden
1. Zijn de kwaliteitsoordelen van de visitatiecommissie valide en herkenbaar? De uitkomsten van het beoordelingsrapport waren meestal geen verrassing. Opleidingen zijn zich goed bewust van hun tekortkomingen, mede door het schrijven van de zelfevaluatie (de kritische reflectie). Niettemin bestond over het eindrapport bij veel opleidingen wel onvrede. Die heeft vooral te maken met het gebrek aan transparante onderbouwing van de oordelen: niet altijd is duidelijk hoe een oordeel tot stand is gekomen. Dit is een gevolg van het ontbreken van heldere beoordelingsprotocollen en geoperationaliseerde beoordelingscriteria. Zo was het opleidingen niet altijd duidelijk waarom zij op bepaalde onderdelen niet hoger scoorden dan een ‘voldoende’. Ook kwam het voor dat bij de bachelor op een bepaald aspect een ‘voldoende’ werd gescoord, en bij de master op hetzelfde aspect ‘goed’. Ten slotte spoorde het rapport niet altijd met de mondelinge terugrapportage van de commissie. Bijzondere aandacht vraagt de herbeoordeling van scripties. Deze is in de afgelopen visitatieronde van grote invloed gebleken op het eindoordeel over opleidingen. Uit beide evaluatiestudies blijkt dat de herbeoordeling van de scripties niet transparant genoeg is en dat de procedure methodologisch te wensen over laat. De steekproeven zijn niet altijd representatief voor het totaal aan afstudeerwerken en de herbeoordeling vindt niet ‘blind’ voor het door de opleiding uitgereikte cijfer plaats. Ook is onduidelijk of de herbeoordelaars beoordelingsformulieren gebruiken, zoals in de NVAO-richtlijnen staat voorgeschreven. Door gebrek aan informatie over deze formulieren en het ontbreken van duidelijke criteria zijn de herbeoordelingen niet transparant 89
M A
5-14
Uit beide studies blijkt dat de herbeoordeling van scripties niet transparant
3. Heeft de nieuwe onderwijsvisitatie een stimulerend effect op de kwaliteit van het onderwijs? De medewerkers van de Universiteit Leiden en de Radboud Universiteit ervaren het schrijven van een kritische reflectie, ondanks de hoeveelheid werk die hiermee gepaard gaat, als positief. De zelfevaluatie geeft volgens de opleidingen een impuls aan de kwaliteit van het onderwijs·. Tekortkomingen die uit de zelfevaluatie naar voren komen pakken ze op, ruim voordat de visitatie aanvangt. Volgens de opleidingen voegt de visitatie zelf op basis van de peer review hieraan weinig toe en levert het visitatiebezoek weinig meerwaarde op voor de verbetering van de onderwijskwaliteit. De gewenste dialoog tussen peers tijdens het bezoek komt doorgaans onvoldoende of zelfs helemaal niet op gang en de beoordelingssituatie heeft vaak een sterk formeel karakter. In de eerder uitgevoerde evaluaties werd dan ook geconstateerd dat het inhoudelijk gesprek tussen peers bij de beperkte opleidingsbeoordeling niet altijd voldoende tot uitdrukking komt in visitatierapporten en in het eindoordeel. Volgens de opleidingen prikkelen ook de weinig onderscheidende en inzichtelijke beoordelingen in het visitatierapport (meestal wordt een voldoende gescoord) niet tot verbetering. Dat is teleurstellend, juist omdat een van de belangrijke doelstellingen van de stelselwijziging in 2011 het stimuleren was van de onderwijskwaliteit door peer review. Het lijkt erop dat de formele beoordeling van de wettelijke verplichte basiskwaliteit van het onderwijs (verantwoordingsfunctie) zich in de praktijk moeilijk laat verenigen met de beoordeling van het onderwijs met als doel het te verbeteren (verbeterfunctie). Deze conclusie is in overeenstemming met de literatuur daarover. Er bestaan weinig studies die effecten van formele accreditatieprocessen (inclusief het summatieve element) op de kwaliteit van het onderwijs aantonen. Wel zijn er diverse publicaties die, meestal op specifieke onderdelen van het onderwijs, positief rapporteren over de bijdrage van formatieve accreditatieprocessen (Brennan & Shah, 2000; Harvey, 2006; Stensaker, 2007; Westerheijden, Hulpiau & Waeytens, 2007). De publicaties noemen onder meer: het vergroten van de verantwoordelijkheid van betrokkenen, het versterken van teamwork en competenties van docenten, en het verbeteren van de onderwijs- en leerprocessen.
rw
genoeg is en methodologisch
Opleidingen willen zich optimaal voorbereiden en bij onzekerheid over wat wel of niet te schrijven, wat wel of niet aan te leveren, kiezen ze ervoor zaken wél aan te leveren.
ijs
T H
de
te wensen over laat
on
voor de opleidingen. Wel verschillen de opleidingen in de mate waarin zij dit gebrek aan transparantie bij de herbeoordeling van scripties problematisch vinden. Maar de algemene teneur is dat ze de betrouwbaarheid en validiteit van de oordelen als twijfelachtig ervaart door het ontbreken van beoordelingsprotocollen en -criteria.
H
og
er
2. Heeft de nieuwe opzet geleid tot vermindering van de (administratieve) lastendruk? Over de administratieve lastendruk waren alle opleidingen eensgezind: die is nog steeds onverminderd hoog en volgens sommigen gestegen. Deze conclusie komt overeen met de conclusie uit de hiervoor genoemde landelijke evaluaties. Vooral het schrijven van de zelfevaluatie en het verzamelen van de ondersteunende gegevens en documenten ervaren ze als zeer tijdrovend. Drie oorzaken lijken hieraan ten grondslag te liggen. Ten eerste biedt het visitatieprotocol te weinig houvast, waardoor opleidingen veel tijd besteden aan het inschatten van wat de NVAO verwacht in de kritische reflectie te zien. Door het gebrek aan houvast is er ook (te) veel ruimte voor eigen invulling. Ten tweede is het leveren van de ondersteunende opleidingsgegevens tijdrovend. Dat komt niet alleen door de hoeveelheid gegevens, maar ook door onduidelijkheid over definities van kengetallen, veranderingen in curricula en wijzigingen van administratieve systemen. Ten derde wordt bij de opleidingsbeoordeling informatie opgevraagd die onderdeel is van de instellingsaudit. Soms bestaat zelfs bij opleidingen het idee dat een visitatiecommissie geen onderscheid maakt tussen opleidingen die onder het regime van de beperkte of de uitgebreide opleidingsbeoordeling vallen. Dit leidt tot dubbel, en dus extra werk. Vooral het summatieve aspect van de visitatie met de daaraan gekoppelde beoordeling zet opleidingen aan om zeer veel tijd te besteden aan de kritische reflectie, inclusief bijlagen. Een positieve beoordeling is immers van levensbelang.
90
Drie conclusies Volgens de medewerkers die in ons onderzoek participeerden hebben de in 2011 doorgevoerde wijzigingen in het accreditatiestelsel niet geleid tot de beoogde verbeteringen. •
De voorgenomen vermindering van de administratieve last is niet gerealiseerd.
T H
•
Enkele aanbevelingen
og
er
on
Gezien de resultaten van ons onderzoek ligt één aanbeveling voor de hand: trek de functies verantwoorden en verbeteren in de huidige opleidingsbeoordeling uit elkaar. Ook in de literatuur is eerder de vraag gesteld of deze twee functies wel goed in één proces te verenigen zijn (Cremonini et al., 2012). De formele beoordeling en verantwoording van het onderwijs op de wettelijke minimumvereisten vraagt een meer geobjectiveerde procedure met eenduidige beoordelingscriteria en beoordelingsprotocollen dan nu het geval is. Advies over onderwijskwaliteit vraagt daarentegen om een open houding en dialoog met peers in een veilige omgeving. Dat
Door het gebrek aan houvast
H
Om de scheiding in functies te realiseren en tegelijkertijd de administratieve lasten in de hand te houden luidt ons tweede advies: richt de opleidingsbeoordeling aan een universiteit met een positieve instellingstoets in als een systeem van zelfreflectie, met peer review als onderdeel van de interne kwaliteitszorg, primair gericht op de verbetering van het onderwijs. De externe verantwoording vindt dan plaats via instellingsaccreditatie waarin getoetst wordt of het onderwijs aan de formele, wettelijke vereisten voldoet en de instelling bestuurlijk in control is. Met deze aanpak wordt verdiend vertrouwen beloond en wordt benadrukt dat het eigenaarschap van kwaliteitszorg ligt bij de medewerkers zelf en bij het bestuur in ultimo. Deze stap past in de verdere ontwikkeling van ons accreditatiestelsel, waarin het belangrijkste motief voor kwaliteitszorg niet moet zijn een externe plicht om negatieve sancties te vermijden, maar waarin een beroep wordt gedaan op de professionaliteit van medewerkers en hun intrinsieke motivatie om aan kwaliteitszorg te doen in het belang van medewerker, student en organisatie (Cremonini et al., 2012). Dit stelt uiteraard ook eisen aan de universitaire organisatie, de bestuurlijke verantwoordelijkheid, het systeem van kwaliteitszorg en de kwaliteitscultuur binnen universiteiten. Als de organisatie positief bijdraagt aan de ontwikkeling van effectieve en efficiënte zorg voor kwaliteit, is sprake van een echte kwaliteitscultuur (Berings, 2010). Deze kwaliteitscultuur binnen de universiteit vraagt eveneens een actieve en kritische bijdrage van studenten aan het onderwijs en de verbetering daarvan. Ook is de verdere ontwikkeling én het in stand houden van een dergelijke cultuur voor studenten cruciaal om voldoende vertrouwen te hebben in de kwaliteit van het door universiteiten aangeboden onderwijs, zeker als er sprake is van een beperking van het aantal opleidingsvisitaties (Demeulemeester, 2014).
de
Dit betekent niet dat het accreditatiestelsel maar moet worden afgeschaft. Integendeel. Alle door ons geïnterviewde medewerkers zijn van mening dat extern rekenschap afleggen over de kwaliteit van hun onderwijs noodzakelijk is en dat van peer review veel positieve stimulans kan uitgaan. Zij vinden dat dit hoort bij de professionaliteit van de wetenschappelijke staf, die op het terrein van onderzoek gewend is om voortdurend beoordeeld te worden (bijvoorbeeld bij publicaties, subsidieaanvragen en onderzoeksvisitaties). Overigens is onderwijskwaliteit daarbij geen absoluut begrip, maar afhankelijk van de definitie die wordt gehanteerd (Harvey & Green, 1993). De vraag is nu hoe in de verdere ontwikkeling van het accreditatiestelsel de procedure zodanig kan worden aangepast dat zowel de verbeterfunctie als de verantwoordingsfunctie beter tot hun recht komen.
gaat moeilijk samen in één procedure. Bij het onderscheiden van beide functies moet er wel voor gewaakt dat de verantwoordingsfunctie niet de overhand krijgt. Dat is een opgave op zichzelf, nu de internationale trend juist lijkt te gaan in de richting van een toename van accountability, bij een toenemende vraag naar kwaliteitsinformatie in het hoger onderwijs (Lakshmi & Rama, 2007).
ijs
De betrouwbaarheid, validiteit en transparantie van de kwaliteitsoordelen laten te wensen over. De beperkte opleidingsbeoordeling op basis van peer review inspireert niet en stimuleert niet tot het verbeteren van de onderwijskwaliteit.
themahogeronderwijs.org
rw
•
MA
in het visitatieprotocol zijn instellingen veel tijd kwijt met inschatten van wat de NVAO wil lezen
Omdat de criteria en beoordelingsprotocollen in het huidige accreditatiestelsel te veel ruimte laten voor eigen invulling door visitatiecommissies en hierdoor veel oordelen niet aan de methodologische vereisten van betrouwbaarheid en validiteit voldoen, luidt ons derde advies: stel voor de formele instellingsbeoordeling een geobjectiveerde procedure op met eenduidige beoordelingscriteria, beoordelingsprotocollen en getrainde beoordelaars. Externe kwaliteitszorg is nodig, zegt Dittrich (2010). Tegelijkertijd zei hij aan de vooravond van het huidige stelsel ook beducht te zijn voor een ‘toezichthausse’, en concludeerde 91
T H
M A
5-14
Noten 1. Universiteit Leiden. Evaluatie van het onderwijsvisitatieproces. Ervaringen van de Universiteit Leiden met de beperkte opleidingsbeoordeling. Maart 2014.
in het visitatierapport nodigen niet uit tot verbetering
met de beperkte opleidingsbeoordeling. Oktober 2014.
Literatuur
ijs
en inzichtelijke beoordelingen
2. ITS (2014). Onderwijsvisitaties onder de loep. Ervaringen van de Radboud Universiteit
Algemene Rekenkamer (2013). Kwaliteitsbewaking in het hoger onderwijs in Nederland en Vlaanderen. Den Haag: Algemene Rekenkamer. Berings, D. (2010). Kwaliteitscultuur in het hoger onderwijs: de bijdrage van organisatiecultuur aan de ontwikkeling van kwaliteitszorg. Th&ma, 4, 51-57. Brennan, J. & Shah, T. (2000). Quality assessment and institutional change: Experiences from 14 countries. Higher Education, 40, 331-349. Cremonini, L., Epping. E., Westerheijden, D. & Vogelsang, K. (2012). Impact of Quality Assurance on Cross-Border Higher Education. Enschede; CHEPS. Demeulemeester, A. (2014). Kwaliteit heeft een prijs. Instellingen in Vlaanderen dragen
rw
Ook de weinig onderscheidende
straks zelf alle verantwoordelijkheid. Th&ma 5, 72-75. Dittrich. K. (2010). Het nieuwe Nederlandse accreditatiestelsel. Doelstellingen, verwachtingen en valkuilen. Th&ma 4, 23-2 Harvey, L. & Green, D. (1993). Defining Quality. Assessment & Evaluation in Higher Education, 18(1), 9-34. Harvey, L. (2006). Impact of Quality Assurance: Overview of a discussion between representatives of external quality Assurance agencies. Quality in Higher Education, 12 (3),
er
on
de
hij dat als de kwaliteitscultuur binnen een universiteit op orde is, het externe toezicht beperkt kan blijven. Ons onderzoek in Nijmegen en Leiden geeft de nodige empirische evidentie voor deze conclusie. Als er sprake is van een houding van zorgvuldige én kritische reflectie op de eigen opleidingen, als er in alle lagen van de organisatie aandacht is voor de kwaliteit van het onderwijs (vast te stellen in een instellingstoets), dan kan de uiteindelijke verantwoordelijkheid liggen bij de universiteitsbesturen en kunnen de externe toezichthouders op het juiste niveau controleren.
H
og
Bianca Leest is als onderwijsonderzoeker verbonden aan het Instituut voor Toegepaste Sociale Wetenschappen (ITS) van de Radboud Universiteit Maarten van de Ven is hoofd afdeling hoger onderwijs van het Interfacultair Centrum voor Lerarenopleiding, Onderwijsontwikkeling en Nascholing (ICLON) van de Universiteit Leiden Marcel Vooijs is plaatsvervangend directeur academische zaken, Universiteit Leiden Jeroen Winkels is directeur van het Instituut voor Toegepaste Sociale Wetenschappen (ITS) van de Radboud Universiteit
92
287-290. Inspectie van het Onderwijs (2013). De kwaliteit van het Nederlandse accreditatiestelsel hoger onderwijs, juli 2013. Lakshmi, T. & Rama, K. (2007). Quality Assurance Toolkit for Teacher Education Institutions Bangalore: National Assessment and Accreditation Council. ITS (2014). Onderwijsvisitaties onder de loep. Ervaringen van de Radboud Universiteit met de beperkte opleidingsbeoordeling. ITS: 2014. NVAO (2013). Evaluatie accreditatiestelsel Nederland 2011 - 2013, september 2013. Stensaker, B. (2007). Impact of quality processes. In L. Bollaert, S. Brus, B. Curvale, L. Harvey, E. Helle, H. Toft Jensen, J. Komljenovič, A. Orphanides & A. Sursock (Red.), Embedding quality culture in higher education (pp.6-10). Brussel: European University Association. Universiteit Leiden. Evaluatie van het onderwijsvisitatieproces. Ervaringen van de Universiteit Leiden met de beperkte opleidingsbeoordeling. Leiden: 2014. Westerheijden, D., Hulpiau, V. & Waeytens, K. (2007). From Design and Implementation to Impact of Quality Assurance: An Overview of Some Studies into what Impacts Improvement. Tertiary Education and Management, 13(4), 295-312.
