evaluatie, monitoring, tevr effectonderzoek en datave

wijs arbeid g data zorg d onderwijs e zekerheid wetenschap org welzijn d mobiliteit ijn beleids-

Het ITS maakt deel uit van de Radboud Universiteit Nijmegen

evaluatie, monitoring, tevr effectonderzoek en datave Onderwijsvisitaties onder de loep Ervaringen van de Radboud Universiteit met de beperkte opleidingsbeoordeling

ITS Bianca Leest Elise Sijstermans Twan Verrijt Jeroen Winkels

Projectnummer: 34001772 Opdrachtgever: College van Bestuur, Radboud Universiteit

 2014 ITS, Radboud Universiteit Nijmegen

ii

Inhoud

1 Inleiding

1

2 Opzet van het onderzoek 2.1 Referentie: Universiteit Leiden 2.2 Vraagstelling en opzet 2.3 Toetsingskader 2.4 Leeswijzer

5 5 6 8 9

3 Samenstelling commissies

11

4 Kritische reflectie

15

5 Bezoek commissie

19

6 Herbeoordeling afstudeerwerkstukken

21

7 Beoordelingsrapport

25

8 Conclusies 8.1 Kwaliteit van de oordelen 8.2 Administratieve lasten 8.3 Kwaliteitscultuur

29 29 31 32

Bijlage 1: Tabellen herbeoordeling afstudeerscripties Bijlage 2: Tabellen beoordelingen Bijlage 3: operationalisering van de deelvragen in indicatoren

35 39 43

iii

1 Inleiding

In 2011 is een nieuw accreditatiestelsel voor het hoger onderwijs in Nederland ingevoerd. Resultaten van onderzoeken naar het functioneren van het tot dan toe fungerende stelsel vormden de basis voor een herontwerp. Belangrijke doelstellingen bij de aanpassing waren vooral: -

Het bevorderen van een integrale kwaliteitscultuur op instellingsniveau. Meer focus op de kwaliteit van de opleiding, inhoud en behaalde resultaten. Meer ruimte voor maatwerk in het stelsel. Vermindering van administratieve lasten.

Om dit te realiseren werden verschillende veranderingen doorgevoerd: - Invoering van een instellingstoets kwaliteitszorg. - Een beperkte opleidingsbeoordeling voor opleidingen behorende tot een instelling met positieve instellingstoets. - Terugbrengen van het aantal beoordelingsstandaarden tot drie. - Een meer gedifferentieerde beoordeling van opleidingen. - Bewaking van de onafhankelijkheid en deskundigheid van de beoordelingscommissie door NVAO. De instellingstoets kwaliteitszorg gaat na of het bestuur van de instelling, vanuit een visie op de kwaliteit van het onderwijs, een doeltreffend systeem van kwaliteitszorg hanteert waarmee het de kwaliteit van de aangeboden opleidingen kan garanderen. De instellingstoets richt zich uitdrukkelijk niet op de kwaliteit van afzonderlijke opleidingen. Wanneer een instelling met positief gevolg de instellingstoets kwaliteit heeft doorlopen worden tot de instelling behorende opleidingen beoordeeld volgens een beperkte opleidingsbeoordeling. De beperkte opleidingsbeoordeling richt zich op drie vragen: 1. Wat beoogt de opleiding? 2. Hoe realiseert de opleiding dit? 3. Worden de doelstellingen bereikt? Bij de invoering van het vernieuwde accreditatiestelsel in 2011 heeft de minister van OCW een evaluatie toegezegd. In 2013 hebben NVAO 1, Inspectie van het Onderwijs 2 en de Algemene Rekenkamer evaluaties uitgevoerd. De NVAO concludeert in haar evaluatierapport, waarin zij ook de uitkomsten van de twee andere evaluatieonderzoeken betrekt, dat het accreditatiestelsel

1 2

NVAO. Evaluatie accreditatiestelsel Nederland 2011 - 2013, september 2013. Inspectie van het Onderwijs. De kwaliteit van het Nederlandse accreditatiestelsel hoger onderwijs, juli 2013.

1

in het hoger onderwijs in Nederland op brede steun mag rekenen en goed werkt. De uitgangspunten van het nieuwe stelsel worden naar het oordeel van de NVAO grotendeels gerealiseerd. Een belangrijk uitgangspunt bij de invoering van het nieuwe accreditatiestelsel was dat deze zou uitnodigen tot (het ontwikkelen van) visie en beleid ten aanzien van de kwaliteit van het onderwijs. Anders gesteld: het vernieuwde stelsel zou de ontwikkeling van een kwaliteitscultuur moeten stimuleren. Uit een in opdracht van de NVAO uitgevoerd onderzoek onder docenten in het hoger onderwijs 3 blijkt dat de BOB in het algemeen als stimulerend en niet als bedreigend wordt ervaren en dat docenten deze als een verbetering zien ten opzichte van de oude werkwijze. Wel bleken docenten van mening dat er meer aandacht zou mogen komen voor verbetering van het onderwijs en voor gerealiseerde eindkwalificaties. De NVAO beschouwt het voorbereidend proces - waarin instellingen veel tijd en energie steken - als uitermate belangrijk, mede vanwege de positieve bijdrage hiervan aan het gemeenschapsgevoel. Een goede voorbereiding is naar het oordeel van de NVAO medebepalend voor het succes van de toets. Al met al concludeert de NVAO dat het nieuwe stelsel een kwaliteit bevorderend effect heeft in het hoger onderwijs, ofschoon zij ook constateert dat er nog het een en ander te verbeteren valt. Zo blijkt dat de gewenste vermindering van de administratieve lasten niet tot stand is gekomen. De beperkte opleidingsbeoordeling zou de administratieve lasten bij de opleidingen hebben moeten verlagen. Er valt op de empirische onderbouwing van het oordeel van de NVAO het nodige aan te merken: de resultaten gaan hoofdzakelijk over hogescholen: slechts 4 van de 23 onderzochte opleidingen zijn universitair (1x bachelor, 3x master). De uitkomsten zeggen om deze reden dan ook zeer weinig over de eerste ervaringen van universiteiten met het nieuwe stelsel. Daarnaast is de respons in het onderzoek laag: slechts de helft van de instellingen wilde meedoen en daarvan doet vervolgens weer slechts de helft van de benaderde medewerkers 4 mee. Vooral echter valt op dat zich onder de deelnemers aan de enquête - waarop de NVAO haar conclusies mede baseert - veel personen bevinden die niet betrokken waren bij het schrijven van de zelfevaluatie en/of de visitatiecommissie tijdens het bezoek van de opleiding niet hebben gesproken. De "eerste ervaringen" zijn dus weinig specifiek gemeten. Als de NVAO op basis van dit onderzoek concludeert dat het nieuwe stelsel een kwaliteit bevorderend effect heeft in het hoger onderwijs, is volgens ons de empirische onderbouwing van die conclusie voor universiteiten afwezig en voor hogescholen nogal dun. De onderwijsinspectie concludeert in haar onderzoek dat het stelsel goed aanzet tot verbetering. Anders dan de evaluatie door de NVAO is de empirische onderbouwing van het inspectierapport gedegen (meer cases, grotere deelnamebereidheid, betere vertegenwoordiging van universiteiten, combinatie van methoden). Het onderzoek 5 heeft voor wat betreft het optekenen van de ervaringen met het accreditatieproces via een enquête bijvoorbeeld 29 universitaire opleidingen

3 4

5

2

ResearchNed. Eerste ervaringen van docenten met de beperkte opleidingsbeoordeling van de NVAO. Mei 2013. Al met al werken er 19 van de 234 ondervraagde docenten aan universiteiten (Rotterdam, Tilburg, Eindhoven), waarvan slechts 4 in een bacheloropleiding. Veel te lage aantallen om betrouwbare uitspraken over het accreditatieproces aan universiteiten op te baseren. Inspectie van het Onderwijs. De kwaliteit van het Nederlandse accreditatiestelsel hoger onderwijs, juli 2013.

in een steekproef van in totaal 98 opleidingen opgenomen. In de weergave van de resultaten wordt echter vervolgens nagenoeg geen onderscheid tussen universiteiten en hogescholen gemaakt, terwijl met deze aantallen de hogescholen de uitkomsten in een verhouding van 2:1 beïnvloeden. Zo stelt de inspectie bijvoorbeeld op grond van deze enquête vast dat de door medewerkers ervaren lastendruk niet zozeer voortkomt uit wat de beoordelingskaders zelf aan verantwoording en voorbereiding vragen, maar vooral uit wat instellingen, daartoe mede geprikkeld door externe ontwikkelingen (persaandacht, prestatieafspraken) en door zware gevolgen van een negatief besluit, aan documentaire en informatieve zekerheden zoeken 6. Voor een dergelijk scherpe conclusie moet het gebrek aan onderscheid tussen hogescholen en universiteiten eerst aangetoond zijn. De NVAO is optimistisch over de vermindering van de lastendruk die naar haar inschatting gerealiseerd zal worden wanneer, vanaf 2014, alle instellingstoetsen zullen zijn afgerond en instellingen enige ervaring hebben opgedaan met de nieuwe opzet. Het is onduidelijk waar dat optimisme op is gebaseerd. Ook al omdat zij wijst ook op andere mogelijke oorzaken van een toegenomen lastendruk, zoals prestatieafspraken tussen overheid en instellingen die, strikt genomen, geen deel uitmaken van het accreditatiestelsel, maar daar wel nauw mee samen hangen.

6

Inspectie van het Onderwijs. De kwaliteit van het Nederlands accreditatiestelsel hoger onderwijs. Juli 2013.

3

2 Opzet van het onderzoek

2.1

Referentie: Universiteit Leiden

De ervaringen met het nieuwe accreditatiestelsel zijn voor de Universiteit Leiden aanleiding geweest om een onderzoek binnen de eigen universiteit uit te voeren7 met als doel een beter beeld te krijgen van de ervaringen van het wetenschappelijk personeel met het visitatieproces en om de validiteit van de methodiek van individuele opleidingsvisitaties te evalueren. Het evaluatieonderzoek is in het najaar van 2013 uitgevoerd en bestond uit: 1. Panelgesprekken met betrokken medewerkers over de ervaringen met het nieuwe systeem 2. Een casestudie waarin het visitatieproces van een zevental opleidingscombinaties aan een diepte-analyse werd onderworpen 3. Een brainstormsessie over de vraag hoe de kwaliteit van het onderwijs verbeterd kan worden. Uit het onderzoek komt naar voren dat het nieuwe accreditatiestelsel niet in alle opzichten positief uitpakt. Zo bevestigt het onderzoek de conclusie van de NVAO dat de administratieve lastendruk niet is verminderd. De positieve bevindingen van de NVAO ten aanzien van het stimuleren tot een kwaliteitscultuur worden niet bevestigd. Leiden concludeert daarentegen dat de beperkte opleidingsbeoordeling onvoldoende inspireert tot verbetering van de onderwijskwaliteit. Ook wordt geconcludeerd dat de betrouwbaarheid en validiteit van de kwaliteitsoordelen te wensen overlaten en dat de herbeoordeling van scripties niet voldoet aan gangbare methodologische standaarden. Over het geheel genomen is de conclusie van de Universiteit Leiden dat de beoordeling plaatsvindt in een context die niet als veilig en inspirerend wordt ervaren. Doordat de verantwoordingsfunctie, naar het gevoel van betrokkenen, centraal staat, komt de verbeterfunctie onvoldoende tot uiting. Op grond hiervan betwijfelt de Universiteit Leiden of de beperkte opleidingsbeoordeling, zoals die nu is ingericht, voldoende aan zijn doel beantwoordt.

7

Universiteit Leiden. Evaluatie van het onderwijsvisitatieproces. Ervaringen van de Universiteit Leiden met de beperkte opleidingsbeoordeling. Maart 2014.

5

2.2

Vraagstelling en opzet

De Radboud Universiteit heeft het ITS gevraagd een soortgelijk onderzoek als in Leiden uit te voeren om vast te stellen of de ervaringen van het Nijmeegs wetenschappelijk personeel met het visitatieproces vergelijkbaar zijn. Het onderzoek van de Universiteit Leiden fungeert aldus als referentiekader voor het onderzoek aan de Radboud Universiteit. De hoofdvraag van het onderzoek is: wat zijn de ervaringen van medewerkers van de Radboud Universiteit met de onderwijsvisitaties volgens het stramien van de beperkte opleidingsbeoordeling en hoeverre komen deze overeen met de ervaringen aan de Universiteit Leiden? Daarbij wordt op de volgende drie deelvragen een antwoord gezocht: 1. Zijn de kwaliteitsoordelen van de visitatiecommissie valide en herkenbaar? 2. Heeft de nieuwe opzet geleid tot vermindering van de (administratieve) lastendruk? 3. Heeft de nieuwe onderwijsvisitatie een stimulerend effect op de kwaliteit van het onderwijs? Het onderzoek is zo opgezet dat de ervaringen van de meest betrokken medewerkers van de Radboud Universiteit met de vernieuwde opzet van de onderwijsvisitatie in beeld komen. Aldus kan ook worden nagegaan of de beoogde verbeteringen van het nieuwe accreditatiestelsel door medewerkers ook als zodanig worden ervaren. Hierbij wordt meer in het bijzonder bekeken of de beperkte opleidingsbeoordeling heeft geleid tot een daadwerkelijke vermindering van de administratieve lasten (vooral tijd van wetenschappelijk personeel). Uit de 62 opleidingen van de Radboud Universiteit die recentelijk volgens de vernieuwde richtlijnen van de beperkte opleidingsbeoordeling werden gevisiteerd, zijn er veertien (zeven combinaties van bachelor en master) in de steekproef opgenomen om nader onder de loep te nemen. Deze steekproeftrekking vond gestratificeerd plaats in drie domeinen alfa, bèta en gamma, waarbij de visitatiedatum (voorkeur voor redelijk recente visitaties) bij de selectie meespeelde. Van deze zeven opleidingscombinaties zijn alle relevante documenten bestudeerd (deskresearch) en werden met medewerkers die nauw betrokken waren geweest met de accreditatie vervolgens interviews gehouden. De Universiteit Leiden heeft de door de NVAO gehanteerde eisen, normen en criteria tegen het licht gehouden en constateert dat deze hier en daar aanleiding (kunnen) geven tot een verschil in interpretatie of in methodologisch opzicht onvoldoende zijn uitgewerkt. Deze constateringen gelden voor alle te visiteren opleidingen en dit deel van het Leidse onderzoek wordt dan ook niet herhaald, omdat het tot dezelfde bevindingen zou leiden. Ook het derde onderdeel in Leiden, een brainstormsessie over de vraag hoe de kwaliteit van het onderwijs verbeterd kan worden, wordt in Nijmegen niet herhaald, althans niet binnen het bestek van de nu aan het ITS verleende opdracht.

6

Hieronder worden de drie onderdelen van het onderzoek beschreven: 1. Deskresearch Er zijn zeven opleidingscombinaties (bachelor-master) geselecteerd die recentelijk in het kader van de nieuwe accreditatie-opzet zijn bezocht. Bij de selectie is een zo evenwichtig mogelijke verdeling over de alfa-, bèta- en gammawetenschappen nagestreefd evenals een variatie in verstrekte oordelen. Van deze opleidingen zijn bestudeerd: De kritische reflectie • Het QANU-rapport • Het NVAO-besluit. •

Hiernaast zijn documenten bestudeerd die de kaders voor de accreditatie aangeven: • •

•

• • • • • •

Beoordelingskaders accreditatiestelsel hoger onderwijs. (In het bijzonder hoofdstuk 3, Beperkte opleidingsbeoordeling.) NVAO 22 november 2011. Richtlijn NVAO bestudering en beoordeling documenten ter inzage door panels tijdens het visitatieproces voor accreditatie en toets nieuwe opleiding. NVAO 23 november 2012. Richtlijn NVAO beoordeling afstudeerwerken door panels tijdens het visitatieproces voor accreditatie en (indien van toepassing) een toets nieuwe opleiding. NVAO 26 oktober 2012 (eerste versie: 8 juli 2011). Eisen aan de Panelsamenstelling ten behoeve van het accreditatiestelsel. NVAO 24 augustus 2011. Taken en competenties gecertificeerde secretarissen en coördinatoren. NVAO 17 augustus 2010. Verantwoordingsformulier deskundigheden en onafhankelijkheid visitatiepanel. NVAO. Handreiking opleidingsbeoordeling (beperkt/uitgebreid) Nederland. NVAO oktober 2012. QANU-richtlijnen: Richtlijn voor het schrijven van een zelfevaluatierapport voor een beperkte opleidingsbeoordeling. Versie 1.0.3. QANU: 1 mei 2012.

De resultaten van de deskresearch vormden de input voor het veldwerk: de panelgesprekken met deelnemers die intensief betrokken zijn geweest bij het visitatieproces en de interviews met een vertegenwoordiging van de opleidingen voor de opleidingsspecifieke casestudies. Aan de hand van deskresearch is een interviewleidraad opgesteld voor de panelgesprekken en de opleidingsspecifieke interviews.

7

2. Panelgesprekken Per domein (alfa, bèta, gamma) is een panelgesprek gehouden met circa tien vertegenwoordigers van de betreffende faculteiten. Voor het panelgesprek zijn medewerkers uitgenodigd die intensief betrokken waren bij de meest recente (beperkte) opleidingsbeoordeling. Dit betrof onder meer vicedecanen onderwijs, onderwijsdirecteuren, opleidingscoördinatoren, voorzitters en leden van opleidingscommissies en coördinatoren kwaliteitszorg. Het doel van de panelgesprekken was om de ervaringen van de deelnemers met de beperkte opleidingsbeoordeling, zowel de positieve als en negatieve, goed in kaart te brengen. Er zijn drie gesprekken gehouden waarbij de volgende indeling is gehanteerd: 1. Alfa: Letteren / Filosofie, Theologie en Religiewetenschappen 2. Bèta: Natuurwetenschappen, Wiskunde en Informatica / Medische Wetenschappen 3. Gamma: Managementwetenschappen / Sociale Wetenschappen 3. Opleidingsspecifieke interviews Dit onderdeel bestond uit gestructureerde interviews met betrokkenen van de zeven geselecteerde opleidingscombinaties, waarin zowel bevindingen uit de deskresearch als ook (soms) uitspraken uit de panelgesprekken voor commentaar worden voorgelegd. De voor dit onderdeel geselecteerde opleidingscombinaties worden in dit rapport geanonimiseerd aangeduid als opleiding A tot opleiding G. Zowel voor de panelgesprekken als voor de opleidingsspecifieke interviews gold dat er een grote bereidheid was bij de door het ITS uitgenodigde medewerkers, vaak in drukke functies als onderwijsdirecteur of vakgroepvoorzitter actief, om tijd uit te trekken voor dit onderzoek naar het accreditatieproces. Ook tijdens de gesprekken bleek hoe sterk het onderwerp kwaliteit van onderwijs bij deze medewerkers leeft.

2.3

Toetsingskader

Het toetsingskader is bedoeld om op een gestructureerde wijze inzicht te krijgen in ervaringen van medewerkers bij het visitatieproces aan de Radboud Universiteit. Het bevat een raamwerk voor de beantwoording van de drie kernvragen aan de hand van de visitatiedossiers, panelgesprekken en interviews met betrokkenen. In het onderzoek van de universiteit Leiden wordt uitgegaan van elf deelvragen die afgeleid zijn van de drie kernvragen. Om een goede vergelijking te kunnen maken met de uitkomsten van het Leidse onderzoek worden deze vraagstellingen hierna ook gebruikt met uitzondering van de twee vragen naar materialen/documenten die door de commissie zijn opgevraagd, dan wel door de opleidingen extra ter inzage zijn voorgelegd. Wij zijn van mening dat deze onderdeel uitmaken van de vraag naar het informatiedossier en niet apart benoemd hoeven worden.

8

De kritische reflecties, QANU-rapporten en NVAO-besluiten (plus eventuele aanvullende documenten zoals herstelplannen) zijn geanalyseerd met behulp van de volgende negen deelvragen. 1. Hoe is het visitatiepanel samengesteld? 2. Uit welke onderdelen bestond het informatiedossier dat de opleiding voor de visitatie heeft samengesteld en vooraf aan de commissie heeft toegestuurd (verplichte documenten/extra documenten)? 3. Op welke wijze zijn steekproeven van toetsen/eindwerkstukken tot stand gekomen? 4. Is de beoordelingsprocedure per standaard beschreven en hoe is de procedure verlopen? 5. Voldoet de gevolgde procedure aan de voorschriften van het NVAO-protocol; wordt een toelichting gegeven indien wordt afgeweken? 6. Welke referentiekaders zijn gebruikt om tot een oordeel op elk van de drie standaarden te komen? 7. Welke (informatie-)bronnen liggen primair ten grondslag aan de oordelen? 8. In hoeverre en op welke wijze wordt het oordeel per standaard door het visitatiepanel onderbouwd (hoe transparant is deze onderbouwing)? 9. Met wie heeft het visitatiepanel gesproken tijdens de visitatie? Deze negen vragen zijn voor de uitvoering van het onderzoek geoperationaliseerd in een set van indicatoren (zie bijlage 3).

2.4

Leeswijzer

Onze bevindingen worden in vijf hoofdstukken gepresenteerd, waarin de fasering van een opleidingsaccreditatie goed te herkennen is: • • • • •

hoofdstuk 3: Samenstelling commissies; hoofdstuk 4: Informatiedossier; hoofdstuk 5: Bezoek commissie; hoofdstuk 6: Herbeoordeling afstudeerwerkstukken; hoofdstuk 7: Beoordelingsrapport.

Ieder hoofdstuk begint met een beknopte weergave van de NVAO richtlijnen die voor het desbetreffend onderdeel gelden. Vervolgens worden de onderzoeksbevindingen gepresenteerd, waarbij we soms ter illustratie citaten weergeven. De betrokkene is daarbij via domein (alfa, bèta, gamma) en nummer (alle deelnemers aan de panelgesprekken kregen, in verband met de geanonimiseerde verslaglegging, een nummer toegekend). Zo staat 'alfa-4' voor deelnemer met nummer vier uit het alfa panelgesprek. In enkele gevallen is een citaat uit een interview opgenomen. Hoofdstuk acht bevat de conclusies en een aantal tijdens het onderzoek gedane suggesties van medewerkers om de kwaliteit van het accreditatieproces te verhogen.

9

3 Samenstelling commissies

Uit de NVAO richtlijnen: Het visitatiepanel dient op een dusdanige manier te zijn samengesteld dat een zinvolle discussie tussen ‘peers’ kan ontstaan, waarbij het panel voldoende onafhankelijk is. De instelling stelt het panel samen, wijst een secretaris aan, en draagt het panel vervolgens ter instemming voor aan de NVAO. De instelling levert hiervoor op een door de NVAO vastgestelde wijze gegevens aan over de deskundigheden en onafhankelijkheid van de panelleden en de secretaris. De instelling kan ook opdracht geven aan een extern evaluatiebureau om het panel samen te stellen. Ook in dat geval moet het panel ter instemming worden voorgedragen aan de NVAO. De secretaris van het panel heeft een training doorlopen van de NVAO, die heeft geleid tot certificering van de secretaris. Aan het visitatiepanel worden de volgende eisen gesteld: 1. het panel bestaat uit tenminste vier leden, onder wie tenminste twee gezaghebbende domeindeskundigen en een student; 2. het panel beschikt in zijn geheel over de volgende deskundigheden: a. deskundigheid ten aanzien van de ontwikkelingen in het vakgebied, b. internationale deskundigheid, c. werkvelddeskundigheid in het voor de opleiding relevante beroepenveld (indien van toepassing), d. onderwijsdeskundigheid: ervaring met het geven of ontwikkelen van onderwijs op het desbetreffende opleidingsniveau en oriëntatie (hbo of wo) en deskundigheid ten aanzien van de door de opleiding gehanteerde onderwijsvorm(en) e. studentgebonden deskundigheid, f. visitatie- of auditdeskundigheid. 3. het panel is onafhankelijk (de leden hebben tenminste vijf jaar geen banden gehad met de instelling waartoe de opleiding behoort); 4. het panel wordt bijgestaan door een onafhankelijke, externe secretaris die getraind en gecertificeerd is door de NVAO. De secretaris is geen lid van het panel.

Het onderzoek heeft zich gericht op de ervaringen van medewerkers met de visitatiecommissie. Het ITS kan immers de onafhankelijkheid of deskundigheid van de commissieleden niet vaststellen, maar wel de ervaringen met en beeldvorming over de panelleden van de visitatiecommissies in beeld brengen. Uit de deskresearch blijkt dat alle visitatiepanels, qua samenstelling, voldoen aan de vereisten van de NVAO 8. Dit is niet zo verwonderlijk aangezien het steeds gaat om commissies die door de NVAO zijn geaccordeerd. De QANU-rapporten bevatten de vereiste onafhankelijkheids- en geheimhoudingsverklaringen van individuele panelleden en er is informatie opgenomen over de

8

Een enkele uitzondering: een RU-student wordt in het NVAO-rapport als panellid voor een RU-opleiding (in onze steekproef: E) opgevoerd. Waarschijnlijk is deze student elders in het land panellid geweest.

11

posities van leden. Er is steeds sprake van een panel bestaande uit tenminste vier leden. Vanwege de clustergewijze visitatie - waarbij meerdere opleidingen als samengestelde groep worden gevisiteerd - wordt doorgaans gewerkt met een kerncommissie visitatiepanel die is onderverdeeld in subpanels voor de afzonderlijke opleidingen. Tenminste één lid - doorgaans de voorzitter - maakt deel uit van alle subpanels en draagt daardoor bij aan de ‘eenheid van beoordeling’. Gamma-3 "Ik heb eigenlijk alleen maar goede ervaringen met het samenstellen van de commissie. Wij zitten in een landelijk samenwerkingsverband dat samen de commissie samenstelt. Iedere opleiding doet een voorstel voor namen en mag op namen reageren. De namen worden vervolgens gerankt."

Uit de panelgesprekken kwam naar voren dat het niet gemakkelijk is om tot de gewenste samenstelling van de commissie te komen. Het gaat om een arbeidsintensieve rol en niet alle beoogde leden willen of kunnen dat op zich nemen naast hun reguliere werkzaamheden. Van meerdere kanten is tijdens de panelgesprekken gewezen op een suboptimale samenstelling van commissies. In het algemeen geven betrokkenen aan behoefte te hebben aan verjonging. Voor commissies worden vaak emeriti aangetrokken. Deze beschikken niet altijd over de noodzakelijke kennis van nieuwe ontwikkelingen in het veld of actuele onderwijsdeskundigheid. Juist wanneer in de visitatie veel aandacht wordt besteed aan toetsing, geven enkele opleidingen aan, zou het belangrijk zijn om commissieleden te hebben die technisch-onderwijskundige kennis hiervan hebben. Bèta-7 "Mensen willen soms niet vanwege de tijd die het kost. Ook de breedte van de commissie en het berijden van stokpaardjes zijn herkenbaar. Uiteindelijk zijn het vaak mensen die niet meer midden in het onderwijs staan"

Opleidingen zijn over het algemeen van mening dat domeindeskundigheid in voldoende mate aanwezig is. Toch blijkt dit niet overal het geval te zijn; bij clustervisitaties is het lastig/vrijwel onmogelijk om voor alle opleidingen de gewenste domeindeskundigheid vertegenwoordigd te hebben. Opleidingen dragen commissieleden voor vanwege specifieke domeindeskundigheid, maar deze komen niet altijd in de commissie terecht. Specifieke domeinen kunnen dan te weinig vertegenwoordigd zijn. Ook kunnen opleidingen die bij verschillende universiteiten onder dezelfde noemer opereren en binnen één cluster vallen, toch inhoudelijk zeer uiteenlopende oriëntaties hebben. Bovendien kan de combinatie van verschillende deskundigheden in de commissie aanleiding geven tot spraakverwarring over begrippen die door een opleiding als bekend worden verondersteld. Een echte peerdiscussie kon hierdoor soms niet op gang komen. Overigens geven vrijwel alle opleidingen aan dat mogelijke ontbrekende domeindeskundigheid volgens hen geen effect heeft gehad op het oordeel van de commissie. Alfa-4: "Het is lastig om tot één commissie te komen, want per cluster zijn er zoveel verschillende opleidingen en commissies zijn niet 25 man groot. Je kunt dus nooit al die inhoudelijk specifieke kennis in één commissie hebben. Je krijgt dus niet altijd experts op je eigen gebied."

12

Verder komt het voor dat specifieke domeindeskundigheid in de praktijk tot uitdrukking komt in het berijden van eigen stokpaardjes die niet aansluiten bij het profiel van de opleiding. Het inhoudelijk referentiekader dat de commissie hanteert is niet altijd helder voor bezochte opleidingen of niet altijd in gelijke mate van toepassing op de opleidingen. Internationale deskundigheid wordt door betrokken gezien als belangrijk vanwege de bredere context waarin opleidingen, vooral wat betreft de verbinding met het onderzoek, fungeren. Ook kan de inzet van buitenlandse deskundigen mogelijke (positieve of negatieve) bias verminderen. Tegelijkertijd kan een te sterke internationale oriëntatie als nadeel hebben dat de kennis van de specifieke Nederlandse context van het vakgebied of onderwijs te wensen overlaat. Een opleiding geeft aan dat dit in hun geval leidde tot een visitatie die sterk technisch-procedureel werd ingestoken. Vaak heeft de internationale deskundigheid betrekking op werkzaamheden in de buurlanden: België of Duitsland. Alfa-4: "Doordat de internationale leden, maar ook sommige andere leden, niet met beide voeten in de Nederlandse onderwijspraktijk staan, worden bijvoorbeeld aanbevelingen gedaan die helemaal niet kunnen worden uitgevoerd in de praktijk."

Verder komt over het algemeen niet helder naar voren hoe er voor de vereiste visitatie/auditdeskundigheid is gezorgd. Soms, maar lang niet altijd, wordt verwezen naar deelname aan eerdere visitaties. Regelmatig werd benadrukt door ervaren betrokkenen dat de kwaliteit van de visitatie kan variëren en sterk afhankelijk is van de voorzitter.

13

4 Kritische reflectie

Uit het beoordelingskader van de NVAO: De opleiding presenteert ten behoeve van de beoordeling door het visitatiepanel een kritische reflectie over de opleiding. De kritische reflectie dient de standaarden van het kader voor de beperkte opleidingsbeoordeling te volgen, waarbij de sterke en de zwakke punten van de opleiding worden beschreven. De opleiding maakt in de kritische reflectie melding van de wijze waarop zij studenten docenttevredenheid onderzoekt en doet verslag van de resultaten daarvan. Onderliggende documentatie wordt ter inzage gelegd voor het visitatiepanel. Tevens wordt aangegeven welke verbetermaatregelen zijn genomen naar aanleiding van de vorige visitatie. De kritische reflectie is een op zichzelf staand document, dat zelfstandig te lezen is. In het beoordelingskader voor de beperkte opleidingsbeoordeling is gekozen voor een opzet die veel ruimte laat voor de opleiding om haar eigenheid te benadrukken. In de kritische reflectie kan de opleiding van deze ruimte gebruik maken. De kritische reflectie is bij uitstek het handvat om docenten en ‘peers’ te laten spreken over de inhoud van de opleiding. Het moet dan ook een document zijn waarin docenten en studenten de opleiding herkennen. Het beoordelingskader biedt daarnaast de mogelijkheid om het gesprek tijdens de visitatie niet alleen te laten gaan over de in het verleden behaalde resultaten, maar ook over de ambities van de opleiding. Wat zijn de keuzes voor de toekomst, waar wil de opleiding heen? Om een dergelijk gesprek te kunnen voeren, wordt van het visitatiepanel verwacht dat het ook in staat is met de opleiding over haar toekomstplannen te reflecteren. Bij het schrijven van de kritische reflectie en bij de uitvoering van de visitatie is het van belang dat er geen overlap optreedt met de beoordeling in het kader van de instellingstoets kwaliteitszorg. Indien het nodig is te refereren aan instellings- of bijvoorbeeld facultair beleid, gaat het bij de beoordeling van de opleiding strikt om de ‘fitness for purpose’ van het beleid voor de desbetreffende opleiding. Randvoorwaardelijke zaken, zoals de opzet van de kwaliteitszorg of het personeelsbeleid van de instelling behoren hier niet toe, omdat deze onderwerp zijn van de instellingstoets kwaliteitszorg. De omvang van de kritische reflectie is maximaal 25 pagina’s, exclusief bijlagen.

Voorafgaand aan de visitatie schrijven de opleidingen een zogenaamde kritische reflectie en leveren zij documenten aan volgens specificaties van de NVAO. Uitgangspunt bij de beperkte opleidingsbeoordeling is dat bij een positieve instellingsaudit de beschrijving van de interne opleidingskwaliteitszorg achterwege gelaten kan worden in de kritische reflectie. Bij een uitgebreide opleidingsbeoordeling - wanneer geen sprake is van een positieve instellingstoets - dient in de kritische reflectie expliciet te worden ingegaan op de interne kwaliteitszorg (standaarden 13 en 14). Terwijl de NVAO benadrukt dat in de BOB geen sprake moet zijn van overlap met de instellingstoets, wordt zowel bij de instellingstoets als bij de BOB melding gemaakt van een beschrijving van de interne kwaliteitszorg. Zo vermeld de richtlijn voor de instellingstoets:

15

'De instelling heeft zicht op de mate waarin haar visie op de kwaliteit van haar onderwijs wordt gerealiseerd, en meet en evalueert regelmatig de kwaliteit van haar opleidingen bij studenten, medewerkers, alumni en vertegenwoordigers van het beroepenveld'

Tegelijkertijd staat in de BOB richtlijn: ‘De opleiding maakt in de kritische reflectie melding van de wijze waarop zij studenten docenttevredenheid onderzoekt en doet verslag van de resultaten daarvan’

Veel ruimte bij uitwerking In deze wat onduidelijke situatie nemen opleidingen het zekere voor het onzekere en kiezen zij vaak voor de strategie van 'bij onduidelijkheid steeds vermelden'. Dit is goed terug te zien in de kritische reflecties en wordt ook in een aantal gesprekken met betrokkenen benoemd. In de panelgesprekken en de interviews kwam duidelijk naar voren dat de ruimte die de NVAO geeft bij de invulling van de kritische reflectie onzekerheid veroorzaakt. Alfa-1: "Dus steeds weer die exegese: denken we dat de commissie hier iets wil zien over dit of eerder dat? Je bent constant aan het speculeren over wat de commissie verwacht. De gedachte was meer vrijheid om te presenteren zoals je wilt en vrijheid om kritisch te zijn waar jij kritisch op wilt zijn, maar in de praktijk verzandt dit dus in speculaties over wat de commissie verwacht, waar we op afgerekend worden."

Weliswaar bestaat er geen duidelijke wens om terug te keren naar de eerdere opzet met een indeling in meer dan twintig facetten, maar veel opleidingen geven aan bij de huidige opzet toch een duidelijker handreiking te willen voor de invulling van de kritische reflectie. Gezien het grote belang van de uitkomsten van het visitatieproces willen opleidingen zich optimaal presenteren. Gevolg hiervan is dat men met de uitwerking van de kritische reflectie vaak op zoek is naar de beste invulling. Opleidingen geven aan veel tijd kwijt te zijn met 'raden' van wat de NVAO precies wil weten. Vanuit enkele opleidingen wordt aangegeven dat men begrijpt dat de huidige structuur mogelijkheden biedt om de opleiding meer te profileren, maar het heeft in de praktijk vooral tot gevolg dat veel tijd gemoeid is met overleg over wat de beste invulling zou zijn van de 'open ruimte'. Er wordt dus niet gepleit voor een terugkeer naar de oude structuur, maar wel ziet men graag meer duidelijkheid over de diverse onderdelen waaruit de kritische reflectie moet zijn opgebouwd. Administratieve lasten In weerwil van de uitgangspunten van de vernieuwde opzet, hebben betrokkenen in het geheelniet de ervaring dat de administratieve lastendruk, in vergelijking met de voorgaande opzet, is gedaald. Gamma-6 "Het gaat over de cijfers die moeten worden aangeleverd. Definities veranderen ineens of berekeningsmethoden zijn weer anders dan hoe we dat hier op de RU doen. Dan moeten we weer gaan afstemmen met ander opleidingen in ons cluster. En hoe vergelijkbaar zijn die cijfers nu eigenlijk? De student-docent ratio is bijvoorbeeld heel afhankelijk van hoe je het berekent."

16

Van degenen die ook betrokken waren bij voorgaande visitaties gaf niemand aan in de vernieuwde opzet een verlichting te zien. Verschillende opleidingen hebben aangegeven dat in hun beleving minstens evenveel en soms meer gegevens zijn aangeleverd dan bij vorige visitaties. Bèta-10 "Ik vond het opstellen van het visitatiedossier zeer bewerkelijk. Het kost heel veel werk, met name het cijfermateriaal in de bijlagen. Uit alle hoeken en gaten ben je bezig dit bij elkaar te sprokkelen."

De gegevens komen vanuit verschillende gremia in de universiteit en het bijeen krijgen van alle informatie kost de opleiding veel tijd en energie. Juist de ruimte die geboden wordt bij de uitwerking (zie hiervoor) heeft tot gevolgd dat men vaak veel tijd kwijt is aan overleg over de juiste/beste weergave van informatie. Er wordt door niemand, en anders dan de Onderwijsinspectie concludeert in haar rapport 9, opgemerkt dat de lastendruk van een accreditatie licht is in vergelijking met de gegevens die er door een opleiding op het niveau van de Radboud Universiteit (faculteit of centraal niveau) moeten worden aangeleverd. Relatie met instellingstoets Voor de meeste betrokkenen is het niet duidelijk hoe in de nieuwe opzet de relatie met de instellingstoets is. Met andere woorden: hoe verhoudt de beperkte opleidingsbeoordeling zich tot de uitgebreide? Weer anders geformuleerd: welk voordeel heeft men van het feit dat de instelling een positieve beoordeling heeft gekregen? Uit de gesprekken bleek dat betrokkenen over het algemeen geen duidelijk beeld hadden van de inhoud van de instellingstoets en dat deze ook geen helder kader bood bij het schrijven van de kritische reflectie. Van verschillende kanten werd aangegeven dat het rapport van de instellingsaudit niet is verstrekt. Al met al is de inhoud, rol en consequentie van de instellingstoets voor opleidingen onduidelijk en speelt het tot op heden geen rol bij het schrijven van de kritische reflectie. Gamma-6 "Verder ben ik verbaasd dat er in de standaarden helemaal niet gerefereerd wordt aan de instellingstoets. Er zit helemaal geen link tussen en er is een enorme overkill aan administratieve processen."

Summatief versus formatief Opleidingen zijn bij het schrijven van de kritische reflectie vaak gericht op de summatieve component van de visitatie. Veel energie en tijd wordt besteed aan het verzamelen van informatie om deze vervolgens op een voor de commissie acceptabele wijze in de kritische reflectie op te nemen. Vanwege de mogelijk grote gevolgen van een negatieve beoordeling is er voor opleidingen veel aan gelegen hierbij geen steken te laten vallen. Toch bevat juist dit deel van het accreditatieproces een sterk formatief element, dat door veel opleidingen als positief wordt ervaren. Adviezen van de commissie waarin de opleiding gewezen wordt op eventuele tekortkomingen en suggesties ter verbetering worden gegeven, bieden een handvat voor verdere kwaliteitsverbetering.

9

Inspectie van het Onderwijs. De kwaliteit van het Nederlandse accreditatiestelsel hoger onderwijs, juli 2013, p.49.

17

Gamma 3-9 "Je leert niet als er maatregelen boven je hoofd hangen. Hoe kun je het systeem nu zo inrichten dat je het leereffect maximaliseert? In het voortraject zit de meeste winst." Bèta-10 "Het formatieve aspect is voor mij de kritische reflectie. Als je dat goed doet, heb je dat inzicht al en heb je daar eigenlijk de visitatiecommissie niet meer voor nodig."

Opvallend is wel dat niet alle beoordelingsrapporten suggesties voor verbetering geven, waardoor de formatieve kant van de beoordeling lang niet altijd goed uit de verf komt. Het belang van en daarmee de aandacht voor de summatieve component (“zijn we geslaagd?”) overheerst.

18

5 Bezoek commissie

Uit het beoordelingskader van de NVAO: Het verplichte locatiebezoek ten behoeve van de beperkte opleidingsbeoordeling duurt in beginsel een dag. Indien vergelijkbare opleidingen van een instelling tezamen worden beoordeeld, kan er een relatieve reductie van de bezoektijd plaatsvinden. Het visitatiepanel heeft voorafgaand aan het bezoek een aantal afstudeerwerken bestudeerd teneinde zicht te hebben op het bereikte eindniveau in de opleiding. Het maakt hiertoe een selectie uit een door de opleiding opgestelde complete overzichtslijst. De afstudeerwerken met de bijbehorende beoordelingscriteria en normering worden voorafgaand aan het bezoek toegestuurd aan de panelleden of de panelleden bestuderen deze ter plekke voorafgaand aan het bezoek. De panelleden vormen voorafgaand aan het bezoek een voorlopig oordeel over de opleiding en formuleren vragen voor het locatiebezoek. Het panel betrekt het resultaat van de instellingstoets kwaliteitszorg bij zijn oordeelsvorming. Het visitatiepanel spreekt tijdens het locatiebezoek in elk geval met het opleidingsmanagement, leden van de examencommissie en de opleidingscommissie, docenten, studenten, alumni en waar relevant vertegenwoordigers van het beroepenveld. Daarnaast bestudeert het panel het door de opleiding ter inzage gelegde materiaal. De precieze omvang van de gesprekken, de mogelijke clustering van de gespreksdeelnemers en de verdere inrichting van het bezoek worden bepaald door het panel. Het panel beslist naar eigen inzicht met welke docenten en studenten het wil spreken en welke documenten het wil inzien. De delegaties van de opleiding bestaan in beginsel uit niet meer dan zes personen. Het panel stelt een open spreekuur vast. Opleiding en panel geven zowel voorafgaand als tijdens het bezoek ruime bekendheid aan dit spreekuur. Het panel kan tevens in overleg met de opleiding colleges of andere onderwijsleersituaties bezoeken. Aan het einde van het locatiebezoek koppelt de voorzitter van het visitatiepanel het algemene oordeel en de onderliggende overwegingen op beknopte wijze terug aan de opleiding.

De ervaringen tijdens het bezoek van de commissie lopen uiteen. Uit de panelgesprekken komt naar voren dat men de sfeer tijdens het bezoek meestal als welwillend en constructief ervoer. Andere positieve ervaringen betreffen de goede voorbereiding van de commissie en een efficiënt uitgevoerd programma. Vanwege de beperkte duur van het bezoek - meestal één dag - komt een open 'dialoog' echter niet altijd van de grond. Hoewel het bezoek door de NVAO gekarakteriseerd wordt als 'peer review', ervaren veel direct betrokkenen in de praktijk geen dialoog tussen peers. Sommigen wijzen ook op een, in hun ogen, te procedurele karakter van het bezoek: Bèta-5 "De kritische reflectie dwingt je tot nadenken en op basis daarvan zet je al dingen in gang. Het bezoek is dan wel een ultieme stok achter de deur." Gamma interview "Toch komt het erg over als een rechtszaak. Je mag bijvoorbeeld geen handen schudden. Dit is niet prettig en verhoogt de spanning en onzekerheid bij de opleiding".

19

Gamma-9 "Het is een peer review, maar wel binnen een bestuurlijke context waardoor er maatregelen aan de review verbonden zijn. Dat maakt het lastig."

Commissies maken zelden gebruik van de mogelijkheid om onderdelen van het onderwijsprogramma bij te wonen. Sommige opleidingen gaven aan een rondleiding te hebben georganiseerd. Dit omdat men het van belang vindt dat de commissie de opleiding 'in werking' kan zien. Van het open spreekuur wordt nauwelijks gebruik gemaakt. Bèta-1 "Ik vind het ook heel erg belangrijk om de visitatiecommissie de opleiding in werking te laten zien, dat wat abstract in het rapport staat te laten ervaren in de praktijk."

Vanuit enkele opleidingen werd aangegeven dat het bezoek van de commissie vooral nuttig is voor de commissie; het zien van de context waarin de opleiding wordt verzorgd kan bijdragen aan het leveren aan een afgewogen oordeel, al is het betrokkenen niet geheel duidelijk hoe dit dan werkt. Voor de opleiding zelf heeft het bezoek voor de meesten weinig meerwaarde. Daarbij vinden sommige opleidingen dat het bezoek en de voorbereiding ervan een zware druk legt op de reguliere taken. Overigens valt dit niet helemaal los te zien van de voorbereiding van de visitatie, in de zin van het verzamelen van door de commissie gevraagde gegevens. Wanneer de commissie tijdens het bezoek hiervan echter geen (zichtbaar) gebruik maakt, is dit soms teleurstellend voor de opleiding. Als scripties of eindwerkstukken bijvoorbeeld niet of nauwelijks aan de orde worden gesteld tijdens het bezoek, kan de indruk bestaan dat commissieleden die ook niet of nauwelijks hebben gelezen. Alfa-6 en 7 “We hadden een lokaal ingericht met verslagen et cetera op basis van specifieke instructies die we hadden gekregen. Hier hadden we veel tijd in gestoken om de opleiding goed te presenteren. Er heeft maar een lid naar gekeken, en dat was meer uit persoonlijke interesse.”

Verder was het voor de opleidingen niet altijd duidelijk welke specifieke rol verschillende leden van de commissie hebben. Wanneer leden weinig spraakzaam zijn bij bepaalde gesprekken, roept dat vragen op. Ook kwamen soms stokpaardjes van commissieleden te vaak terug in de gesprekken met de commissie. De mondelinge terugkoppeling aan het eind van het visitatiebezoek wordt verschillend beoordeeld. Vanuit sommige opleidingen wordt aangegeven dat men tevreden hierover was en dit als een nuttige aanvulling zag op het uiteindelijke rapport. Enkele andere opleidingen geven aan dat ze het ceremonieel vonden en er in de terugkoppeling vooral gemeenplaatsen werden geuit omdat de commissie zich op de vlakte wil houden en nog geen uitspraken wil doen. Bij één opleiding werd daarentegen duidelijk aangegeven dat ze ‘zich geen zorgen hoefden te maken’, terwijl bij weer een andere opleiding de mondelinge terugkoppeling positief was en vervolgens de minder goede uitkomsten in het definitieve rapport als een totale verrassing kwamen.

20

6 Herbeoordeling afstudeerwerkstukken

Uit richtlijn NVAO voor de beoordeling van afstudeerwerken door panels: Deze richtlijn bedoelt duidelijke afspraken mee te geven waarover geen misverstand kan bestaan. Dat laat echter onverlet dat panels ook enige vrijheid hebben om naar eigen inzicht, maar wel volledig in de geest van deze afspraken, te handelen. 1. Lijst afgestudeerden Het panel vraagt aan de opleiding een volledige lijst van afgestudeerden van de laatste twee voltooide studiejaren. In ieder geval zijn daarop vermeld: naam student, het studentnummer, de afstudeerdatum, de variant en de locatie van de opleiding, de behaalde resultaten in de afstudeerfase (cijfer beoordeling eindwerk, cijfer mondelinge verdediging, eindcijfer afstuderen), de aanwezigheid van ingevulde en ondertekende beoordelingsformulieren. 2. Selectie Het panel selecteert zelf ruim voorafgaand aan de visitatie aselect en gestratificeerd 15 verschillende eindwerken (of portfolio’s) uit de grootste variant van de opleiding op basis van de lijst genoemd onder punt 1. Naar rato van de omvang van de overige varianten en in vergelijking met de grootste variant selecteert het panel aanvullend een aantal eindwerken uit deze varianten. Het panel zorgt ervoor dat de locaties van elke variant gelijkelijk in de steekproef vertegenwoordigd zijn uitgaande van hun omvang. De stratificering bestaat in de eerste plaats uit het opnemen van eindwerken met lage (5,5 - 6,5), middelhoge (7 - 8) en hoge (8,5 en meer) cijfers in de steekproef. Hierdoor krijgt het panel zicht op de toegepaste normen door de examinatoren. 3. Oordeel onvoldoende Als het percentage door het panel als onvoldoende beoordeelde eindwerken hoger is dan 10%, breidt het panel de steekproef uit tot 25. Eindwerken met een onvoldoende van het panel worden tijdens de visitatie inhoudelijk besproken met de beoordelaars/examinatoren. 4. Lijst eindwerken Het paneladvies bevat een lijst met beoordeelde eindwerken op studentnummer. De naam van de student en de titel van het eindwerk worden niet vermeld. 5. Eindwerk Het panel bestudeert elk eindwerk inclusief de ingevulde en ondertekende beoordelingsformulieren. Deze stukken zijn aangeleverd door de opleiding. 6. Oordeel panel Ieder eindwerk wordt eerst door één domeindeskundig panellid voorafgaand aan de visitatie beoordeeld. Het panellid legt zijn/haar voorlopige oordeel vast op een beoordelings-formulier. Bij twijfel wordt een tweede panellid ingeschakeld (4-ogen principe). In onderling overleg wordt het paneloordeel bepaald. Dit oordeel wordt vastgelegd op studentnummer. 7. Rapportage oordeel (on)voldoende Het panel rapporteert over het aantal eindwerken dat het als onvoldoende heeft beoordeeld en beredeneert inhoudelijk waarom het uiteindelijk een voldoende of onvoldoende geeft voor het gerealiseerde niveau van de opleiding.

21

Voor zover dat uit de documentatie kon worden afgeleid, is in de deskresearch nagegaan in hoeverre bij de herbeoordeling van afstudeerwerkstukken gehandeld is conform de richtlijnen van de NVAO. We hebben daarbij gelet op de informatie over de steekproeftrekking en de omvang van de steekproef, aanwijzingen over stratificatie bij de steekproefverdeling, eventuele discrepanties tussen het oordeel van de opleiding en het oordeel van de herbeoordelaars, het gebruik van beoordelingsformulieren en de onderbouwing van de herbeoordeling. Uit de bestudeerde documenten komt naar voren dat de omvang van de steekproef in nagenoeg alle gevallen beantwoordde aan de richtlijn van de NVAO (15 per opleiding). In één geval (opleiding G) had de opleiding bij de commissie aangegeven deze omvang wel fors te vinden. Na een aanvankelijke verwijzing naar de NVAO norm, bleek de commissie in dit geval alsnog genoegen te nemen met een halvering van de omvang (7 per opleiding). De desbetreffende opleiding brengt dit in verband met de clusterbeoordeling, waarbij de commissie over alle locaties voor gelijksoortige opleidingen veel afstudeerwerkstukken te bestuderen zou krijgen. De wijze waarop de selectie tot stand is gekomen is lang niet altijd goed te achterhalen. Wel wordt in QANU rapporten melding gemaakt van een aselecte en gestratificeerde steekproeftrekking, maar daaruit is doorgaans niet duidelijk af te leiden hoe dit precies in zijn werk is gegaan. Zo wordt nergens toegelicht op welke wijze er is gestratificeerd. Een proportionele stratificatie op basis van het scriptiecijfer is nodig om ervoor te zorgen dat bepaalde groepen (de lage of juiste hoge beoordelingen) niet oververtegenwoordigd zijn in de steekproef. Uit de gesprekken blijkt dat de opleidingen zich hier niet of nauwelijks mee bezig houden. Meestal wordt aangegeven dat er inderdaad sprake was van een verdeling over de verschillende cijferstrata, maar hoe de verdeling precies is gemaakt en of deze proportioneel was, is niet bekend bij de betrokkenen. De scripties worden aangeleverd met de beoordelingsformulieren van de opleiding. Op basis van welke criteria de commissie de herbeoordeling heeft uitgevoerd was niet bekend bij de opleidingen in dit onderzoek en is ook geen onderwerp van gesprek geweest bij het visitatiebezoek. Op dit punt ontbreekt transparantie. Bèta interview “Het proces is goed verlopen maar het is wel een soort black box. Je weet niet wat er precies gebeurt en dat is gevaarlijk. De criteria zijn niet duidelijk. Gebruiken ze de beoordelingsformulieren die zijn meegestuurd? Dat weet je niet.” Alfa interview “Het ging er dan vooral om dat de commissie alleen het eindproduct ziet maar dat de opleiding ook het proces heeft meegemaakt en meegenomen in de beoordeling”.

Bij slechts één opleiding is bekend dat de commissie gebruik heeft gemaakt van het beoordelingsformulier van de opleiding. In alle andere gevallen weet men niet of de commissie gebruik heeft gemaakt van een beoordelingsformulier en zo ja, of dat het beoordelingsformulier van de opleiding was of een eigen formulier van de commissie. Daar waar de commissie tot een ander oordeel komt dan de opleiding wordt dit meestal wel onderbouwd, maar in enkele gevallen ontbreekt een onderbouwing van afwijkende oordelen in het rapport. 22

In veel gevallen is niet duidelijk hoe vaak bij de herbeoordeling discrepanties naar voren zijn gekomen ten opzichte van de oorspronkelijke beoordeling. QANU geeft dan bijvoorbeeld aan dat in enkele gevallen een verschil naar voren kwam bij de herbeoordeling. In hoeveel gevallen dit precies was, is dan niet duidelijk evenmin als de feitelijke cijfers en de grootte van de discrepantie. Een algemeen bezwaar tegen de herbeoordeling van de scripties is dat de commissie alleen naar het eindproduct kijkt en niet naar het onderzoeken schrijfproces dat een student voor zijn scriptie heeft doorlopen. Meerdere betrokkenen geven aan dat het juist verstandig is dat scriptiebegeleiders (één van de meestal twee beoordelaars) het ‘schrijfproces’ van een scriptie of eindwerkstuk een rol laten spelen in hun beoordeling.

23

7 Beoordelingsrapport

Uit NVAO beoordelingskaders accreditatie hoger onderwijs: Het visitatiepanel geeft een oordeel over alle in het beoordelingskader opgenomen standaarden. Dat oordeel wordt gemotiveerd door een weging van de positieve en kritische elementen uit de bevindingen van het panel. Het oordeel kan zijn: onvoldoende, voldoende, goed of excellent. Vervolgens formuleert het panel een algemeen, gewogen en gemotiveerd, oordeel over de kwaliteit van de opleiding. Ook dat oordeel wordt gegeven op een vierpuntsschaal, variërend van onvoldoende tot excellent. De secretaris van het visitatiepanel stelt een beoordelingsrapport op van ongeveer 20 pagina’s. Het rapport heeft als voornaamste inhoud de oordelen van het panel op de standaarden. Het panel geeft daarbij een onderbouwing op basis van de kritische reflectie van de opleiding, de gesprekken met de vertegenwoordigers van de opleiding en de onderliggende data uit het ter inzage liggende materiaal. In het rapport zijn aansprekende en representatieve voorbeelden opgenomen. Het panel doet in het rapport verslag van de wijze waarop het zijn bezoek heeft ingericht en op welke wijze tot de keuze van gesprekspartners en documenten is gekomen. Het beoordelingsrapport wordt voorafgegaan door een samenvattend oordeel over de kwaliteit van de opleiding van maximaal twee pagina’s. Indien er verbeteracties mogelijk zijn, dan neemt het panel in een aparte paragraaf aanbevelingen op.

Van de 14 opleidingen (7 bachelor, 7 master) die nader bekeken zijn, hebben verreweg de meesten de kwalificatie ‘voldoende ‘gekregen 10. Eén bacheloropleiding (opleiding D) kreeg het oordeel ‘onvoldoende’ en drie opleidingen (bachelor en master opleiding C, master opleiding G) werden als ‘goed’ beoordeeld (Tabel B2.1). Uit de documentatie en gesprekken komt naar voren dat een formatieve beoordeling, waarbij de opleiding expliciete verbetersuggesties meekrijgt, soms ontbreekt. Slechts bij vier van de zeven opleidingscombinaties was dit - zowel voor de bachelor als voor de master - het geval. Bij één opleiding werden alleen voor de bachelor verbetersuggesties gegeven (Tabel B2.2). Er wordt steeds een onderbouwing gegeven bij de verstrekte oordelen betreffende standaard 1 (beoogde eindkwalificaties). De rapportages gaan daarbij steeds in op de concretisering van eindkwalificaties wat betreft inhoud, niveau en oriëntatie. Bovendien wordt ook steeds verwezen naar het onderliggend domein specifiek referentiekader (DSRK). Op een opleiding (A) na wordt het oordeel ook in verband gebracht met de Dublin descriptoren (tabel 10.3). Wat betreft standaard 2 (programma, personeel en voorzieningen) bleken alle rapporten een duidelijke beschrijving te geven van de mate waarin zowel de inhoud en vormgeving van het programma, als de kwaliteit van het personeel en de kwaliteit van opleidingsspecifieke voorzieningen het voor instromende studenten mogelijk maakten om de beoogde eindkwalificaties te realiseren (Tabel B2.4))). 10 De tabellen waar in deze paragraaf naar wordt verwezen staan in bijlage 2.

25

Verder werd in alle rapporten een toelichting gegeven op de verstrekte oordelen bij standaard 3: de toetsing en realisatie van eindkwalificaties (tabel 10.5). Zo gaan de rapporten nader in op de validiteit, betrouwbaarheid, inzichtelijkheid en het niveau van toetsen en beoordelingen, en worden uitspraken gedaan over het niveau van afstudeerwerkstukken. Maar door het ontbreken van informatie met betrekking tot de door de commissie gehanteerde criteria blijft het voor opleidingen vaak gissen waarom een specifiek oordeel is gegeven. Tenslotte worden niet altijd verwijzingen gevonden naar het niveau waarop afgestudeerden functioneren. Bij drie van de zeven opleidingscombinaties is dit niet het geval. Hoewel de ervaringen van opleidingen met de procedure als geheel verschillen, is over het algemeen sprake van een positieve houding ten opzichte van de verstrekte oordelen. Op basis van de deskresearch kan gesteld worden dat de summatieve oordelen in de meeste rapporten onderbouwd zijn, hoewel soms wel erg summier. In de meeste rapporten, maar zeker niet allemaal, worden daarbij ook adviezen, overwegingen en aanbevelingen ter verbetering (formatieve feedback) meegegeven. Belangrijk voor alle opleidingen is de vraag waarom een standaard met een onvoldoende (in plaats van voldoende) of een voldoende (in plaats van goed) wordt beoordeeld. Dit is niet altijd het geval. Ook speelt bij alle opleidingen de vraag of alle aan de commissie geleverde materialen ook zijn bekeken en meegenomen in de oordelen. Ook hier is het antwoord: soms wel, soms niet. Tenslotte is de vraag of de opleidingen van mening zijn of het rapport een stimulans voor verbetering van hun onderwijs is. Dit is zelden het geval. De positieve houding wordt namelijk vooral afgeleid van het feit dat er tijd is genomen en aandacht is geweest voor een kritische zelfevaluatie. De rapportage door QANU en het daaropvolgende besluit van de NVAO bevat voor de opleidingen weinig of geen stimuli voor verbetering van het onderwijs. Over het algemeen herkennen de opleidingen zich in de oordelen van de commissie en zijn er geen verrassingen. Ook hebben de meeste opleidingen de indruk dat de commissie zich goed had voorbereid en voldoende had geïnformeerd. Toch is het voor opleidingen niet altijd duidelijk waarom zij een ‘voldoende’ hebben gekregen voor een standaard en niet een 'goed’. Inhoudelijke onderbouwing van het oordeel is dan onvoldoende aanwezig. Bovendien geven enkele betrokkenen aan dat de weinig onderscheidende beoordeling niet erg stimulerend werkt om binnen de opleiding acties te ondernemen ter verbetering. Hierbij geven enkele opleidingen aan de voorkeur te hebben voor een meer onderscheidende beoordelingsschaal door bijvoorbeeld een vijfpuntsschaal te hanteren of eventueel het gebruik van 'rapportcijfers' (1 tot 10). Daarentegen geven enkele andere opleidingen juist aan een voorkeur te hebben voor een beperking van het oordeel tot de kwalificaties onvoldoende en voldoende. Opleidingen constateren dat de oordelen ‘goed’ en ‘excellent’ zeer weinig voorkomen en ze geven te kennen dat het verschil tussen goed en voldoende niet transparant is 11.

11 Het gebrek aan variatie én het geringe aantal oordelen ‘goed’,of ‘excellent’ maakt het lastig voor opleidingen om de beoordelingen te gebruiken bij de werving van (bijvoorbeeld: internationale) studenten en het profileren van een opleiding, zo werd door verschillende deelnemers opgemerkt.

26

Alfa interview “Het is een anticlimax dat alles voldoende was. Dat is niet erg onderscheidend en ook niet erg stimulerend. Soms was het uit de toelichting niet helemaal duidelijk waarom je een voldoende kreeg en niet een goed. Wat moet je dan doen om een goed te krijgen?”.

Opleidingen ervaren het beoordelingsrapport - in de onderzochte gevallen betreft dit steeds het door QANU geschreven rapport - over het algemeen als een summatieve evaluatie: extern wordt de opleiding de maat genomen en voorzien van een etiket: 'goedgekeurd'. De formatieve kant een stimulans voor kwaliteitsverbetering - blijft dan onderbelicht. De energie lijkt er bij de meeste opleidingen op gericht om de commissie vooral te voorzien van alle informatie die de opleiding een positieve beoordeling kan bezorgen. Al eerder bleek dat, wanneer we het gehele visitatieproces beschouwen, de stimulans tot verbetering zich bevindt in de eerste fase: het opstellen van de kritische reflectie.

27

8 Conclusies

In dit laatste hoofdstuk komen we terug op de vragen die aan dit onderzoek ten grondslag liggen, waarbij aan het einde van iedere paragraaf steeds de verbinding wordt gelegd met de uitkomsten van het Leidse onderzoek. Ook nemen we een aantal suggesties voor verbetering op die uit de panelgesprekken en interviews naar voren kwamen. 8.1

Kwaliteit van de oordelen

Zijn de kwaliteitsoordelen van de visitatiecommissie valide en herkenbaar? Op basis van de panelgesprekken en de interviews kunnen we stellen dat de meeste betrokkenen van de zeven opleidingscombinaties zich herkennen in de oordelen van de commissies. De uitkomsten van het beoordelingsrapport waren meestal geen verrassing. Opleidingen zijn zich vaak zelf al goed bewust van hun mogelijke tekortkomingen, mede door de exercitie van het schrijven van een kritische reflectie. Uit de deskresearch bleek dat de oordelen per standaard door de NVAO in veruit de meeste gevallen zijn onderbouwd, hoewel soms summier. Het was de opleidingen echter niet altijd duidelijk waarom zij op bepaalde onderdelen niet hoger scoorden dan een ‘voldoende’. Het onderscheid tussen een ‘voldoende’ en een ‘goede’ beoordeling is in deze gevallen onduidelijk. Waarschijnlijk speelt hier mee dat feedback in de vorm van adviezen en aanbevelingen ontbrak in de beoordelingsrapporten van vier van de zeven opleidingscombinaties bij een of meer standaarden. Een betere feedback door de commissies (en daarna door de NVAO) zou inzicht kunnen geven in de verbeteringen die de opleiding zou moeten doorvoeren om van de kwalificatie 'voldoende' naar 'goed' te gaan (of van ‘goed,‘ naar ‘excellent’). De mondelinge terugkoppeling door de commissie aan het einde van het visitatiebezoek werd verschillend ervaren. Voor sommige opleidingen was het een prettige afsluiting van het visitatiebezoek en kwam de toonzetting van het gesprek overeen met de uiteindelijke oordelen in het rapport. Daarentegen was één opleiding zeer verrast door de uiteindelijke beoordeling. Anderen vonden de terugkoppeling vooral een ceremoniële bijeenkomst, waarbij de commissie zich op de vlakte hield. De toegevoegde waarde van de terugkoppeling kwam voor deze groep niet uit de verf. Een specifiek onderdeel in de opleidingsbeoordeling is de herbeoordeling van de afstudeerwerken. Uit alle gesprekken blijkt dat er geen transparantie is over de wijze waarop de herbeoordeling van de scripties plaatsvindt. Weliswaar is duidelijk om hoeveel afstudeerwerkstukken het gaat, maar hoe de selectie hiervan plaats heeft gevonden - met name het bepalen van een 'proportioneel gestratificeerde steekproef' - is niet duidelijk. Opleidingen vinden daarnaast de criteria die herbeoordelaars hanteren niet helder. Soms hebben de opleidingen een vermoeden en nemen ze aan dat het op een bepaalde wijze is verlopen, maar zekerheid hierover hebben ze bepaald niet. Opleidingen verschillen wel in de mate waarin zij dit gebrek aan transparantie bij 29

de herbeoordeling van eindwerkstukken als problematisch ervaren en meer inzicht in de beoordeling wensen. Afwijkende oordelen van de commissie werden in het geval van onvoldoendes beargumenteerd in het rapport; voor andere afwijkende oordelen ten opzichte van de beoordeling van de eindwerkstukken vanuit de opleiding, is dit niet altijd het geval. Een ander aspect dat speelt bij de herkenbaarheid en validiteit van de oordelen is de deskundigheid van de commissie die deze oordelen geeft. Men vond de commissies in de meeste gevallen goed voorbereid voor hun taak. Domeindeskundigheid is doorgaans in voldoende mate aanwezig is, maar met name bij clustervisitaties is het vaak lastig om voor alle opleidingen de gewenste specifieke deskundigheid vertegenwoordigd te hebben. Hoewel niet de indruk bestaat dat dit direct een negatieve invloed heeft op de oordelen wordt wel aangegeven dat er soms aanbevelingen worden gedaan die niet direct toepasbaar of wenselijk zijn bij de betreffende opleiding. De internationale deskundigheid van commissieleden komt veelal neer op commissieleden afkomstig uit buurlanden of met ervaring in deze landen. Bovendien gaat internationale deskundigheid weleens gepaard met een suboptimale kennis van het Nederlands onderwijssysteem. Over de aanwezigheid van visitatie-/auditdeskundigheid was in de rapporten meestal weinig tot niets te vinden. Hoewel er waardering is voor de bijdrage van emeriti in de commissies, kan ontbrekende kennis van recente ontwikkelingen in onderwijs en onderzoek een belemmering vormen. De uitkomsten van het onderzoek sluiten voor deze onderzoeksvraag aan op de uitkomsten van het Leidse onderzoek; de validiteit en de herkenbaarheid van de oordelen laat te wensen over. Ook uit het Leidse onderzoek kwam naar voren dat de oordelen in de beoordelingsrapporten niet voldoende transparant zijn en dat duidelijke beoordelingsprotocollen en geoperationaliseerde beoordelingscriteria ontbreken. In het bijzonder wordt ook in het Leidse onderzoek geconcludeerd dat met name de herbeoordeling van de scripties, met verreikende consequenties voor de accreditatie van de opleidingen, niet transparant is voor de opleidingen. Verbetersuggesties vanuit de opleidingen: • Besteed, met name bij clustervisitaties veel aandacht aan een goede vertegenwoordiging van op de opleiding(en) afgestemde domeindeskundigheid. Draag daarbij zorg voor een helder gemeenschappelijk referentiekader en communiceer dit vooraf met de opleidingen. • Let bij samenstelling van de commissie op inzicht in recente ontwikkelingen in het desbetreffende domein en op kennis van het onderwijsveld. • Definieer ‘internationale ervaring’ zo mogelijk - ook - als ervaring buiten België en Duitsland. • Specificeer visitatie-/auditdeskundigheid en geef leden met deze expertise een duidelijke positie binnen de commissie. • Creëer meer ruimte voor de opleidingen om iets van zich te laten zien (rondleiding, pitch, college volgen).

30

8.2

Administratieve lasten

Heeft de nieuwe opzet geleid tot vermindering van de (administratieve) lastendruk? Over de administratieve lastendruk van de visitatie waren betrokkenen van de opleidingen eensgezind. De lastendruk is onverminderd hoog en volgens sommige betrokkenen gestegen sinds het vorige visitatieprotocol. Het formatieve aspect van het schrijven van een kritische reflectie wordt door de opleidingen in beginsel als positief ervaren. Het geeft aanleiding om de opleiding op gezette tijden in zijn geheel onder de loep te nemen en dit proces op zich leidt regelmatig al tot vernieuwingen in de opleiding. Volgens sommigen is dit proces het belangrijkste of leerzaamste onderdeel van de visitatie. Het schrijven van de kritische reflectie en het verzamelen van de ondersteunende gegevens wordt tegelijkertijd ook als zeer tijdrovend ervaren. Hieraan lijken twee oorzaken ten grondslag te liggen. Ten eerste is de tamelijk open opzet met drie standaarden volgens de opleidingen hieraan debet. Deze biedt vaak te weinig houvast, waardoor opleidingen veel tijd besteden aan inschatten wat de NVAO verwacht in de kritische reflectie terug te zien. Ook het leveren van de ondersteunende opleidingsgegevens die in de bijlage worden opgenomen of ter inzage worden gelegd, wordt als een tijdrovende zaak ervaren, niet alleen vanwege de hoeveelheid gevraagde gegevens, maar ook vanwege onduidelijkheid over definities m.b.t. kengetallen en veranderingen in het curriculum van de opleidingen en administratieve systemen. Daarbij is de verbinding met de instellingstoets kwaliteitszorg niet voor iedereen helder. Men is onvoldoende op de hoogte van de inhoud van de instellingstoets en het idee bestaat soms dat een visitatiecommissie geen onderscheid maakt tussen opleidingen die onder het regime van de beperkte of de uitgebreide opleidingsbeoordelingen vallen. We concluderen dat de opleidingen behoefte hebben aan meer duiding over wat er in een kritische reflectie moet staan. Een deel van de onzekerheid over de invulling zal wellicht weggenomen zijn, wanneer opleidingen eenmaal een beperkte opleidingsbeoordeling hebben doorlopen. Ze kunnen dan bij een volgende ronde teruggrijpen op de stukken van de vorige keer. Maar hier is wel sprake van een dilemma. Verdere uitwerking van de drie standaarden zou opleidingen meer helderheid geven over welke informatie ze moeten aanleveren voor de visitatie. Dat zou een tijdsbesparing kunnen opleveren (minder overleg over ‘wat de NVAO precies wil weten’) en onzekerheid wegnemen, waardoor er minder ‘overbodige’ informatie wordt aangeleverd. Aan de andere kant wil men zeker niet terugkeren naar het oude protocol met meer dan twintig facetten en wordt duidelijk gemaakt dat er geen enkele behoefte is aan (weer) een nieuw beoordelingskader. Vooral het summatieve aspect van de visitatie zet opleidingen aanzet om bergen werk te besteden aan de kritische reflectie en de ondersteunende gegevens. Een positieve beoordeling is van levensbelang. Opleidingen willen zich optimaal voorbereiden en bij onzekerheid over wat wel/niet te schrijven of wel/niet aan te leveren of ter inzage te geven, wordt ervoor gekozen om zaken wél aan te leveren. De combinatie van de controlefunctie en de verbeterfunctie van de visitatie komt mede hierdoor niet uit de verf of staat op gespannen voet met de beoogde doelstellingen. 31

De administratieve lasten die de accreditatie met zich meebrengt hangen samen met de mate waarin opleidingen systematisch aandacht besteden aan interne kwaliteitszorg. Enkele opleidingen hadden na de voorgaande visitatie hun administratie beter op orde, waardoor het aanleveren van gegevens bij de meest recente accreditatie efficiënter verliep. In de gesprekken kwam echter ook naar voren dat opleidingen de eigen kwaliteitszorg zo organiseren dat de administratieve gegevens niet één op één overeenkomen met de gewenste informatie voor een visitatie. Verandering in de protocollen van NVAO maken het voor opleidingen lastiger om op dit punt te zorgen voor de beoogde efficiëntie. Bovendien heeft de interne kwaliteitszorg vaak een specifieke opzet die samenhangt met de aard en context van de opleiding, waardoor een volledige afstemming met de protocollen van de NVAO niet haalbaar is. Ook voor deze onderzoeksvraag komen de uitkomsten in grote lijnen overeen met de uitkomsten van het Leidse onderzoek: er is geen vermindering van administratieve lastendruk gerealiseerd. De hoge tijdsbelasting is voor een belangrijk deel het gevolg van het opstellen van de kritische reflectie en het verzamelen van ondersteunende gegevens. Uit het Leidse onderzoek bleek eveneens dat onzekerheid over de invulling van de kritische reflectie leidt tot het geven van teveel informatie, in de kritische reflectie en ter inzage tijdens het bezoek. Ook wordt informatie over de interne kwaliteitszorg opgevraagd en gegeven terwijl deze geen onderdeel uitmaakt van de beperkte opleidingsbeoordeling. Verbetersuggesties vanuit de opleidingen: • Verhelder het format voor de kritische reflectie en aan te leveren gegevens en houd dit langere tijd stabiel. • Geef meer inzicht in criteria en standaarden en geef aan wat een opleiding ‘met een voldoende’ kan doen om een ‘goed’ te scoren. • Geef inzicht in de criteria die gehanteerd worden bij de herbeoordeling van de scripties. 8.3

Kwaliteitscultuur

Heeft de nieuwe onderwijsvisitatie een stimulerend effect op de kwaliteit van het onderwijs? Wanneer we het gehele visitatieproces beschouwen, kan geconcludeerd worden dat vooral de kritische evaluatie een impuls geeft aan de kwaliteit van het onderwijs 12. Het opstellen van de kritische evaluatie leidt tot het initiëren van verbeteringen, ook al voordat het vervolg van het visitatieproces is doorlopen. Het visitatiebezoek voegt hier niet zoveel aan toe. De gesprekken worden in de regel als open en constructief ervaren, maar lang niet alle opleidingen zijn positief over de opbrengst ervan voor de opleiding zelf. Bij het bezoek staat juist meer het beoordelende aspect van de visitatie centraal. De gewenste dialoog tussen peers komt niet altijd voldoende op gang. Bij een enkele opleiding waar dit wel gebeurde werd dit als zeer positief ervaren. Het

12 Dezelfde conclusie trekt de Onderwijsinspectie. De kwaliteit van het Nederlandse accreditatiestelsel hoger onderwijs, juli 2013, p41.

32

visitatiebezoek lijkt, evenals de kritische reflectie, te lijden onder de moeilijk te verenigen dubbelfunctie van het visitatieproces. Ook bij de herbeoordeling van de scripties komt het formatieve aspect van de visitatie niet uit de verf. Vanwege het gebrek aan transparantie over de wijze van beoordeling en omdat de herbeoordeling niet altijd onderwerp van gesprek is bij het visitatiebezoek, biedt dit onderdeel van het visitatieproces weinig aanknopingspunten voor opleidingen om zich te verbeteren. In het beoordelingsrapport komt de onderbouwing van mogelijk onvoldoende scriptiebeoordelingen wel aan de orde en geeft het wat dit onderdeel betreft meer aanknopingspunten tot verbeteringen. Over de algehele kwaliteit van het rapport zijn de meningen echter verdeeld. Een deel van de opleidingen is positief over het rapport; sommige opleidingen geven aan er nog regelmatig naar terug te grijpen bij het aanpassen van het beleid. Zij herkennen zich in het rapport en vinden daarin voldoende constateringen en adviezen om daadwerkelijk te werken aan de kwaliteit van het onderwijs. Maar er is ook een opleiding die aangeeft dat, ondanks een nuttig rapport, het proces niet is doorgelopen na het ontvangen van het rapport. De impuls die hier van het rapport zou kunnen uitgaan wordt door die opleiding niet opgepikt. Andere opleidingen zagen in het rapport geen nieuwe inzichten maar lastig te concretiseren algemene aanbevelingen of constateringen die rechtstreeks uit de eigen reflectie waren overgenomen. Voor deze opleidingen is het beoordelingsrapport geen stimulans voor kwaliteitsverbetering. Verder werd ook aangegeven dat de weinig onderscheidende schaal - de meeste oordelen voor de standaarden zijn een ‘voldoende’- in het geheel niet prikkelt tot verbetering. Het Nederlandse onderwijslandschap kent, wanneer de NVAO-besluiten als plattegrond worden gebruikt, wel erg weinig pieken. Tenslotte bestond bij enkele opleidingen de indruk dat de commissie zich met zaken bezig hield waar de opleiding geen invloed op heeft of die buiten de reikwijdte van een onderwijsvisitatie vallen, zoals organisatorisch-logistieke zaken of het personeelsbeleid van de universiteit. In het Leidse onderzoek wordt geconstateerd dat de noodzaak om alles op orde te hebben voor een visitatie een positieve invloed heeft op de kwaliteit van de opleidingen. Dit sluit aan op de Nijmeegse constatering dat de kritische evaluatie an sich positief wordt gewaardeerd als een middel om op gezette tijden de opleiding grondig onder de loep te nemen. Maar in Leiden is, evenals in dit onderzoek, de conclusie dat de visitatie weinig meerwaarde toevoegt aan de verbetering van de onderwijskwaliteit. Het gesprek met peers bleek ook daar vaak moeilijk tot stand te komen. Vandaar ook dat in het Leidse onderzoek de conclusie werd getrokken dat de verantwoordingsfunctie en de verbeterfunctie van de visitatie lastig te verenigen zijn. Verbetersuggesties vanuit het ITS: Gegeven deze onderzoeksresultaten, ligt de volgende suggestie voor de hand: trek de twee functies in de huidige opleidingsbeoordeling uit elkaar en organiseer een peer review voor een formatieve evaluatie en een audit voor de summatieve beoordeling. Het risico hiervan is uiteraard dat dit twee keer voorbereiding vraagt van de opleidingen en de administratieve lasten 33

aldus worden verhoogd. Een optie ter vermindering van dit risico is dan om de opleidingen van een instelling met een positieve instellingstoets kwaliteitszorg niet meer vijfjaarlijks te visiteren op de huidige wijze, maar op basis van ‘verdiend vertrouwen’ de visitatie in te richten als een zelfreflectie met alleen een peer review, een formatieve evaluatie dus. Betrokkenen geven immers zelf zonder uitzondering aan dat zij het opstellen van de kritische reflectie een uitermate zinvolle exercitie vinden. Relevant in dit verband is dat er een prikkel blijft bestaan voor de opleidingen om (op gezette tijden) te reflecteren. Die prikkel moet op instellingsniveau te vinden zijn bijvoorbeeld door een PDCA-cyclus van het kwaliteitsbeleid, aangezien alle door ons in het kader van dit onderzoek geïnterviewde medewerkers van mening zijn dat er rekenschap afgelegd moet worden over de kwaliteit van hun onderwijs. Het is, zeggen betrokkenen tegelijkertijd, wel zaak om de ongewenste effecten van een afrekencultuur, of die nu op het niveau van de instelling liggen of nationaal (het huidige stelsel) of internationaal te vermijden.

34

Bijlage 1: Tabellen herbeoordeling afstudeerscripties

Tabel B1.1 – Herbeoordeling afstudeerscripties: opleiding A bachelor

master

Steekproef conform NVAO?

ja

ja

Omvang selectie

15

16 + 4

Stratificatie proportioneel?

onbekend

onbekend

Afwijkend oordeel bij herbeoordeling

ja, (5, een onvoldoende)

ja (3, een onvoldoende)

Beoordelingsformulier aanwezig

nee

nee

Onderbouwing

Afwijkend oordeel (onvol- Afwijkend oordeel (onvoldoende) is onderbouwd. doende) is onderbouwd.

Tabel B1.2 – Herbeoordeling afstudeerscripties: opleiding B bachelor

master


ja

ja

Omvang selectie

15

15


niet bekend

niet bekend


ja

ja


nee

nee

Onderbouwing

ja

ja

Tabel B1.3 – Herbeoordeling afstudeerscripties: opleiding C bachelor

master

Steekproef conform NVAO richtlijn?

ja

ja

Aantal geselecteerde scripties per opleiding

15

15


onbekend

onbekend


nee

nee

Herbeoordelingsformulier/-criteria aanwezig

onbekend

onbekend

Onderbouwing van (her)oordeel

nee

nee

35

Tabel B1.4

Herbeoordeling afstudeerscripties: opleiding D bachelor

master


Ja (maar omvang is onduidelijk)

Ja (maar omvang is onduidelijk)

Omvang selectie

15 of 9*

15 of 9*


onbekend

onbekend


ja (meerdere onvoldoendes)

nee


nee

nee

Onderbouwing

ja

Ja

* Uit rapport blijkt niet dat steekproef is uitgebreid ondanks meerdere onvoldoende scripties

Tabel B1.5 – Herbeoordeling afstudeerscripties: opleiding E bachelor

master


onbekend

onbekend


15

15


onbekend

onbekend


ja (1)

ja (1)


ja

ja


ja

ja

Tabel B1.6 – Herbeoordeling afstudeerscripties: opleiding F bachelor

master


ja

ja


15

15


onbekend

onbekend


onbekend

onbekend


nee

nee


ja

ja

36

Tabel B1.7 – Herbeoordeling afstudeerscripties: opleiding G bachelor

master


nee (kleiner aantal))

nee (kleiner aantal)


7

7


onbekend

onbekend


ja (enkele gevallen)

ja (enkele gevallen)


ja

ja


nee

nee

37

Bijlage 2: Tabellen beoordelingen

Tabel B2.1 – Overzicht summatieve oordelen bij de 7 opleidingscombinaties (verantwoording) A

B

C

D

E

F

G

ba

ma

ba

ma

ba

ma

ba

ma

ba

ma

ba

ma

ba

ma

Standaard 1

v

v

v

v

g

g

v

v

v

v

v

v

g

g

Standaard 2

v

v

v

v

g

g

v

o

v

v

v

v

g

g

Standaard 3

v

v

v

v

g

g

o

v

v

v

v

v

v

g

E

v

v

v

v

g

g

o

v

v

v

v

v

v

g

Toelichting: De NVAO-beoordeling heeft betrekking op drie standaarden: 1: Beoogde eindkwalificaties, 2: Onderwijsleeromgeving en 3: Toetsing en gerealiseerde eindkwalificaties. De standaarden krijgen het oordeel onvoldoende (o), voldoende (v), goed (g) of excellent (e). Het eindoordeel over de opleiding als geheel wordt op dezelfde schaal gegeven.

Tabel B2.2 – Overzicht formatieve oordelen bij de 7 opleidingscombinaties (verbetering) A

B

C

D

E

F

G

ba

ma

ba

ma

ba

ma

ba

ma

ba

ma

ba

ma

ba

ma

Standaard 1

*

*

*

-

*

*

*

*

-

-

-

-

*

*

Standaard 2

*

*

*

-

*

-

*

*

*

*

-

-

*

*

Standaard 3

*

*

*

-

-

-

*

*

*

*

-

-

*

*

* overweging/advies/aanbeveling aanwezig, - = overweging/advies/aanbeveling afwezig Toelichting: Waar summatieve oordelen een uitspraak doen over een product, zijn formatieve oordelen een reflectie op een proces en geven suggesties om de kwaliteit hiervan te verbeteren.

39

Tabel B2.3 – Onderbouwing op de drie aspecten van standaard 1 van de 7 opleidingscombinaties A

B

C

D

E

F

G

ba

ma

ba

ma

ba

ma

ba

ma

ba

ma

ba

ma

ba

ma

Concretisatie

*

*

*

*

*

*

*

*

*

*

*

*

*

*

Dublin descriptoren

-

-

*

*

*

*

*

*

*

*

*

*

*

*

DSRK

*

*

*

*

*

*

*

*

*

*

*

*

*

*

Aanwezig * of ontbreekt Toelichting: 13 De criteria worden in het kader van dit onderzoek als volgt geïnterpreteerd: - De beoogde eindkwalificaties zijn wat betreft inhoud, niveau en oriëntatie geconcretiseerd. - De beoogde eindkwalificaties passen wat betreft niveau en oriëntatie binnen het Nederlandse kwalificatieraamwerk (i.c. de ‘Dublin descriptoren’). - De beoogde eindkwalificaties sluiten aan bij de actuele eisen die in internationaal perspectief vanuit het beroepenveld en het vakgebied worden gesteld aan de inhoud van de opleiding (i.c. het ‘Domeinspecifiek referentiekader’ of DSRK).


B

C

D

E

F

G

ba

ma

ba

ma

ba

ma

ba

ma

ba

ma

ba

ma

ba

ma

Inhoud en vormgeving programma

*

*

*

*

*

*

*

*

*

*

*

*

*

*

Kwaliteit personeel

*

*

*

*

*

*

*

*

*

*

*

*

*

*

Kwaliteit opleidingsspecifieke voorzieningen

*

*

*

*

*

*

*

*

*

*

*

*

*

*

Aanwezig * of ontbreekt Toelichting: De criteria worden in het kader van dit onderzoek als volgt geïnterpreteerd: - De ’inhoud en de vormgeving’ van het programma maakt het voor de instromende studenten mogelijk de beoogde eindkwalificaties te realiseren. - De ‘kwaliteit van het personeel’ maakt het voor de instromende studenten mogelijk de beoogde eindkwalificaties te realiseren. - De ‘kwaliteit van de opleidingsspecifieke voorzieningen’ maakt het voor de instromende studenten mogelijk de beoogde eindkwalificaties te realiseren.

13 De gehanteerde criteria zijn overgenomen uit het onderzoek van de Universiteit Leiden waarin zij zijn geoperationaliseerd op basis van het Beoordelingskaders accreditatiestelsel hoger onderwijs (NVAO, 2011).

40


B

C

D

E

F

G

ba

ma

ba

ma

ba

ma

ba

ma

ba

ma

ba

ma

ba

ma

Validiteit, betrouwbaarheid, inzichtelijkheid toetsen/beoord.

*

*

*

*

*

*

*

*

*

*

*

*

*

*

Niveau toetsen/beoordeling

*

*

*

*

*

*

*

*

*

*

*

*

*

*

Niveau afstudeerwerken

*

*

*

*

*

*

*

*

*

*

*

*

*

*

Afgestudeerden functioneren op niveau

-

-

*

*

-

-

-

-

*

*

*

*

*

*

Aanwezig * of ontbreekt -Toelichting: De criteria worden in het kader van dit onderzoek als volgt geïnterpreteerd: De opleiding beschikt over een adequaat systeem van toetsing: - toetsen en beoordelingen zijn valide, betrouwbaar en voor de student inzichtelijk; - tussentijdse en afsluitende toetsen en beoordelingen zijn op niveau. De opleiding toont aan dat de beoogde eindkwalificaties worden gerealiseerd: - afstudeerwerken zijn op niveau; - afgestudeerden functioneren in de praktijk of in een vervolgopleiding op niveau.

41

Bijlage 3: operationalisering van de deelvragen in indicatoren In onderstaande tabel wordt een totaaloverzicht gegeven van de overkoepelende deelvragen met een verwijzing of deze aan de orde komen in de deskresearch, het panelgesprek of de diepteinterviews. Deelvragen

deskresearch

Panelgesprekken

interviews

1. Hoe is het beoordelingspanel samengesteld? - Criteria - Deelnemers - Proces en ervaren knelpunten

x

x

x

2. Uit welke onderdelen bestond het informatiedossier dat de opleiding voor de visitatie heeft samengesteld en vooraf aan de commissie heeft toegestuurd (verplichte documenten/extra documenten?) - Is er afgeweken van de richtlijnen van de QANU/NVAO voor de opzet van het informatiedossier ? - Omvang van de administratieve lasten

x

x

x

3. Welke materialen/documenten heeft het beoordelingspanel extra opgevraagd? - Procedure, proces en inhoud + administratieve lasten

x

4. Op welke wijze zijn steekproeven en herbeoordeling van toetsen/ eindwerkstukken tot stand gekomen? (inhoud, procedure en proces) - Selectie (aantal? Blind? Proportionele verdeling punten?) - Criteria vooraf inzichtelijk? - Discrepanties oordeel <> herbeoordeling?) - Oordeel NVAO: transparantie, validiteit, betrouwbaarheid en representativiteit?

x

5. Is de beoordelingsprocedure per Standaard beschreven en hoe is de procedure verlopen? - inhoud, procedure en proces

x

6. Voldoet de gevolgde procedure aan de voorschriften van het NVAOprotocol; wordt een toelichting gegeven indien er wordt afgeweken? - perceptie commissie (reeds vooraf ingenomen standpunten of aannames?) - transparantie in werkwijze 7. Welke referentiekaders zijn gebruikt om tot een oordeel op elk van de drie Standaarden te komen?

x

8. Welke (informatie-)bronnen liggen primair ten grondslag aan de oordelen?

x

9. In hoeverre en op welke wijze wordt het oordeel per Standaard door het beoordelingspanel onderbouwd ? - transparantie van de onderbouwing (validiteit en betrouwbaarheid)

x

10. Met wie heeft het visitatiepanel gesproken tijdens de visitatie?

x

x

x

x

x

x

x

x

x

43

Deze vragen worden vervolgens per deelvraag in de volgende paragrafen verder geoperationaliseerd. Voorbereiding van de visitatie Deelvraag 1: Hoe is het beoordelingspanel samengesteld? 1. Operationalisering : ( papieren voorbereiding/procedure/proces) - Gevolde procedure (welke actoren waren betrokken?) - Proces (werkwijze, doorlooptijd) - Deelnemers (eisen NVAO ja of nee voldaan of niet te achterhalen: het panel bestaat uit ten miste vier leden, onder wie twee gezaghebbende domeindeskundigen en een student; zie NVAO-eisen) 2. Wat waren de ervaringen van de deelnemers met de gevolgde procedure en het proces voor het samenstellen van het beoordelingspanel? - eventuele knelpunten (beschikbaarheid, specifieke vak/domeinen/of werkvelddeskundigheid) eventuele knelpunten in de uitvoering (tijd, belasting naast docentschap etc.) - Taalbarrière? - eventuele knelpunten (afstand kunnen nemen (objectiviteit) versus loyaal zijn aan de opleiding(spanningsveld)

44

deskresearch

Panelgesprekken

interviews

x

x

x

x

Onderdelen van het visitatiedossier Deelvraag 2. Uit welke onderdelen bestond het informatiedossier dat de opleiding voor de visitatie heeft samengesteld en vooraf aan de commissie heeft toegestuurd (verplichte documenten/extra documenten?) 1. Volledigheid informatiedossier volgens QANU/NVAO-normen - Was het visitatiedossier volledig conform de Standaarden van de QANU/NVAO (verplichte onderdelen: zelfevaluatie, omvang, bijlagen etc.)? - Heeft de opleiding gebruik gemaakt van de mogelijkheid tot het benadrukken van de eigenheid van de opleiding door bijvoorbeeld studenten of peers? - Heeft de opleiding gebruik gemaakt van de mogelijkheid om de ambities van de opleiding te formuleren (toekomstplannen)? - Wordt er impliciet of expliciet een beschrijving gegeven van de interne opleidingskwaliteitszorg? - Is er gebruik gemaakt van interne auditmateriaal? 2. Ervaringen van de deelnemers in de panelgesprekken en opleiding met de totstandkoming van het visitatiedossier (inhoud, procedure en proces) - inhoud: interpretatie van de richtlijnen vanuit de NVAO of QANU? - Is er al dan niet gebruik gemaakt van informatie uit de interne audits in het kader van de kwaliteitszorg? - administratieve lasten (tijdsbesteding en tijdsdruk) - positieve leereffecten van de zelfevaluatie

deskresearch

Panelgesprekken

interviews

x

x

x

45

Beschikbaarheid aanvullende informatie (deelvragen 2 t/m 4) Deelvraag 3. Welke materialen/documenten heeft het beoordelingspanel extra opgevraagd?

deskresearch

1. Opvragen van aanvullende materialen/documenten door de commissie: - Op welke aspecten/onderdelen diende de opleiding aanvullende informatie op te leveren? - Was de toegevoegde waarde van de opgevraagde aanvullende informatie duidelijk ten opzichte van het materiaal wat was opgenomen in het visitatiedossier? - Wat was de omvang (hoeveelheid) werk (administratieve lasten) ? - Is de aanvullende informatie gebruikt door de commissie (ter inzage tijdens het het locatiebezoek of toegestuurd?)

x

panelinterviews gesprekken

x

Locatiebezoek Deelvragen 6 en 10: Wat zijn de ervaringen van de wetenschappelijke medewerkers van de Radboud Universiteit met het locatiebezoek van de commissie? 1. Is voorafgaand door de visitatiecommissie helder gecommuniceerd over de onderdelen en het programma van het locatiebezoek? (programma, deelnemers en gespreksonderwerpen en voorlopig oordeel) 2. Met wie heeft de visitatiecommissie gesproken tijdens het locatiebezoek? (opleidingsmanagement, examencommissie, opleidingscommissie, studieadviseurs, docenten, studenten en alumni) 3. Was er al dan niet sprake van een ‘open spreekuur’ ? 4. Werden er op de locatie door de commissie ook colleges of onderwijsactiviteiten bezocht?

46

deskresearch

Panelgesprekken

interviews

x

x

x

Herbeoordeling afstudeerscripties Deelvraag 4 : Op welke wijze zijn steekproeven en herbeoordeling van toetsen/eindwerkstukken tot stand gekomen? 1. Gevolgde procedure herbeoordeling afstudeerscripties: (NVAOrichtlijn d.d. 26 oktober 2012 + transparantie ( validiteit, betrouwbaarheid en representativiteit) 1.1. Selectie en werkwijze ( voorafgaand of tijdens locatiebezoek) - Waren vooraf de toets criteria inzichtelijk en helder? 1.2. Uitvo.ering steekproef: - Voorafgaand of tijdens het locatiebezoek? - Mate van objectiviteit: Steekproef (norm = gestratificeerd en aselect) (gestratificeerd met drie cijferstrata ; net voldoende -6,5, 7-8; 8,5 of hoger en aselecte steekproefafname per stratum, Aantal, blind (alleen studentennummers, pas na herbeoordeling de toegekende cijfers, beoordelingsformulier door 2 beoordelaars)? - Eventuele steekproefuitbreiding (ja/nee) 1.3 Oordeel en onderbouwing: (transparantie, betrouwbaarheid en validiteit) - transparantie op beoordelingsformulier (al dan niet beschikbaar?) - Gebruikte referentiekader door de visitatiecommissie - Discrepanties oordeel <> herbeoordeling? - Was er sprake van problematische afstudeerwerken? - Zijn afstudeerwerken na afloop van het locatiebezoek herbeoordeeld i.p.v. alleen vooraf? - Heeft de herbeoordeling van afstudeerwerken extra administratieve lasten tot gevolg gehad? - Is er sprake geweest van een leereffect na de herbeoordeling van de afstudeerwerken en zo ja op welke aspecten?

deskresearch

Panelgesprekken

interviews

x

x

x

47

Beoordelingsprocedure en Standaarden Deelvraag 5 t/m 9. Is de beoordelingsprocedure per Standaard beschreven en hoe is de procedure verlopen? Wat zijn de kwalificaties van de summatieve en formatieve beoordelingen (resp. verantwoording en verbetering) van de 7 opleidingscombinaties?

deskresearch

Panelgesprekken

interviews

x

x

x

Onderstaand de standaarden: Standaard 1: een specifieke invulling vanuit een geëxpliciteerde opleidingsvisie; Standaard 2: een uitdagende leeromgeving in plaats van ‘slechts’ een faciliterende; Standaard 3: iedereen volgt het toetsbeleid in plaats van nog niet iedereen; Standaard 3: eindkwalificaties worden niet alleen gerealiseerd, maar vertalen zich in producten die systematisch bovengemiddeld zijn. Voldoet de gevolgde procedure aan de voorschriften van het NVAOprotocol; wordt een toelichting gegeven indien er wordt afgeweken? - perceptie commissie (vooringenomenheid?) - transparantie in werkwijze Welke referentiekaders zijn gebruikt om tot een oordeel op elk van de drie Standaarden te komen?

x

Welke (informatie-)bronnen liggen primair ten grondslag aan de oordelen?

x

In hoeverre en op welke wijze wordt het oordeel per Standaard door het beoordelingspanel onderbouwd ? transparantie van de onderbouwing

x

48

x

x

x

evaluatie, monitoring, tevr effectonderzoek en datave

Recommend Documents