Vier jaar nieuw accreditatiestelsel hoger onderwijs in Nederland in cijfers

Vier jaar nieuw accreditatiestelsel hoger onderwijs in Nederland in cijfers April 2015

Vier jaar nieuw accreditatiestelsel hoger onderwijs in Nederland in cijfers April 2015

pagina 2

NVAO | Vier jaar nieuw accreditatiestelsel hoger onderwijs in Nederland in cijfers | April 2015

Inleiding

Op 1 januari 2011 is het nieuwe Nederlandse accreditatiestelsel hoger onderwijs in 1 werking getreden (besluit 21 december 2010, Stb. 2010, 862) . Daarmee is in Nederland de tweede fase van het accreditatiestelsel geïntroduceerd. De belangrijkste wijzigingen in het stelsel zijn de introductie van een “instellingstoets kwaliteitszorg” en meer differentiatie in de eindoordelen bij opleidingsaccreditatie, inclusief het toekennen van een “herstelperiode”. Daarnaast is gestreefd naar vereenvoudiging van het stelsel, versterking van de inhoudelijke componenten en vermindering van de administratieve lastendruk. Het invoeren van de instellingstoets kwaliteitszorg had twee hoofddoelen: enerzijds het versterken van de sturing binnen de instellingen op borging van de kwaliteit van de opleidingen en daarmee het accentueren van de eigen verantwoordelijkheid van het instellingsbestuur. Anderzijds het beperken van de administratieve lastendruk en het creëren van een meer inhoudelijke focus bij de beperkte beoordeling op opleidingsniveau. Wanneer aan de eisen van de instellingstoets kwaliteitszorg is voldaan kunnen instellingen hun opleidingen onder een beperkt regime te laten beoordelen. Met de mogelijkheid tot differentiatie in de eindoordelen per opleiding is een einde gekomen aan de situatie waarin voor de opleiding als geheel alleen “voldoende” of “onvoldoende” kon worden toegekend. De nieuwe eindoordelen “goed” en “excellent” gaven de ruimte om kwaliteitsverschillen boven het basisniveau te erkennen. Daarnaast werd door de introductie van een “herstelperiode” een zwakkere opleiding de kans geboden om zichzelf te verbeteren. Deze grotere variëteit aan eindoordelen geeft ruimte voor meer nuance en maatwerk. Opleidingen kunnen voor het streven naar hogere kwaliteit erkend worden met een eindoordeel ‘goed’ of ‘excellent’, en op onderdelen van opleidingen kan herstel of verbetering worden geëist. Vóór de wetswijziging had een oordeel “onvoldoende” ernstige gevolgen voor instellingen: onmiddellijk stopzetten van bekostiging, verlies van het recht diploma’s voor de desbetreffende opleiding af te geven en verlies van het recht op studiefinanciering voor bij de opleiding ingeschreven studenten. Deze gevolgen waren zo dramatisch dat betrokkenen er naar streefden een “onvoldoende” waar mogelijk te voorkomen. Het streven naar reductie van administratieve lasten heeft, behalve in de wetgeving, ook bij de recente herziening van de NVAO kaders (ingegaan per 1 januari 2015) een belangrijke rol gespeeld. Het accreditatiestelsel zoals dat in 2011 in Nederland tot stand kwam, is in 2013 geëvalueerd door verschillende partijen: de Inspectie van het Onderwijs, de Algemene Rekenkamer en het Vlaamse Rekenhof en de NVAO zelf. Bij die gelegenheid is in algemene zin geconcludeerd dat het nieuwe stelsel goed werkte. Tevens is vastgesteld dat de beperking van de administratieve lastendruk nog niet had opgeleverd wat ervan werd verwacht. In een aantal opzichten kwam de evaluatie te vroeg; het stelsel was ten tijde van de evaluatie nog maar anderhalf tot twee jaar effectief in werking.

1

Wet van 24 juni 2010 tot wijziging van de Wet op het hoger onderwijs en wetenschappelijk onderzoek in verband met

aanpassing van het accreditatiestelsel

pagina 3


Nu het huidige stelsel inmiddels vier jaren in werking is, zijn meer gegevens beschikbaar; zodat over een aantal aspecten van het stelsel het nodige kan worden gezegd. De NVAO wil daarom haar gegevens beschikbaar maken. Dat sluit aan op het breed gedeelde uitgangspunt in de samenleving dat in het kader van het publiek belang gegevens over de werking van belangrijke sectoren in de samenleving transparant en beschikbaar moeten zijn. De gegevens bieden ook nadere informatie en onderbouwing voor de gesprekken over de toekomstige ontwikkeling van het stelsel, zoals deze nu gaande zijn. De voorliggende analyse is uitsluitend gebaseerd op de (openbare) gegevens voor Nederland tot en met 31 december 2014 waarover de NVAO als accreditatieorganisatie beschikt, aangevuld met een aantal gegevens uit andere openbare bestanden. Het voornemen bestaat om de analyses verder uit te bouwen, ook op kwalitatief vlak, en zo mogelijk te combineren met gegevens uit andere openbare databestanden. In beginsel betreft de rapportage alle (her)accreditaties, toetsen nieuwe opleiding en instellingstoetsen kwaliteitszorg. In de periode waarover wordt gerapporteerd heeft de NVAO haar besluiten onder het regime van het “oude stelsel” buiten beschouwing gelaten. Bij het presenteren van deze cijfers is het belangrijk om niet te vergeten dat die betrekking hebben op de beoordelingen door een groot aantal panels van deskundigen. Ieder besluit van de NVAO steunt op een overtuigende inhoudelijke onderbouwing van de kwaliteit van de opleiding door onafhankelijke en gezaghebbende experts. Bij deze beoordelingen zijn vakgenoten, het werkveld en studenten vertegenwoordigd. De inhoudelijke beoordelingsrapporten en besluiten die daarop steunen, worden door de NVAO gepubliceerd op haar website. Hier past een woord van dank aan de panels die zich hebben ingespannen om zich een kritisch oordeel te vormen dat naast de onderbouwing van het accreditatieoordeel de opleidingen ook uitdaagt om de kwaliteit telkens te verbeteren en af te stemmen op de laatste ontwikkelingen. De hier gepresenteerde cijfers geven maar één dimensie weer van dit werk.

pagina 4


Inhoud Pag. Instellingstoets kwaliteitszorg Opleidingsaccreditatie

10



Aanvragen voor heraccreditatie: aantallen en eindoordeel

10



Trends in de eindoordelen: sector en jaren

12



Eindoordelen accreditatie: bekostigde instelling versus niet bekostigde instelling

13



Scores per standaard: beperkte en uitgebreide beoordeling

14

Uitkomst instellingstoets kwaliteitszorg versus uitkomst accreditatie

16



Eindoordelen accreditatie vs uitkomst instellingstoets kwaliteitszorg

16



Scores op standaarden vs uitkomst instellingstoets kwaliteitszorg

17



Herstelperiodes vs uitkomst instellingstoets kwaliteitszorg

18

Toets nieuwe opleiding

pagina 5

6

19



Algemene bevindingen

19



Aanvragen resulterend in een positief besluit onder voorwaarden

21



Ingetrokken aanvragen

21

CROHO sectoren

23

Bijzondere kenmerken

25

Enkele conclusies

27

Verantwoording

28


Instellingstoets kwaliteitszorg

Op grond van de aanpassing van het accreditatiestelsel in de Wet op het hoger onderwijs en wetenschappelijk onderzoek (WHW) konden instellingen voor hoger onderwijs zich aanmelden voor de instellingstoets kwaliteitszorg (ITK). Vooruitlopend op het ondergaan van die toets konden zij in de overgangssituatie al profiteren van het regime van de beperkte opleidingsbeoordeling, mits aan de voorwaarden van het overgangsrecht was 2 voldaan . Instellingen die niet aan deze voorwaarden voldeden, of niet voor de instellingstoets kozen, dienden hun opleidingen zich volgens het regime van de uitgebreide opleidingsbeoordeling te laten beoordelen. Indien de instelling een negatief oordeel kreeg bij de instellingstoets, of zich terugtrok uit de procedure, werden de al beperkt beoordeelde opleidingen van die instelling aanvullend beoordeeld. De invoerings- en overgangsregeling van de instellingstoets kwaliteitszorg heeft er toe geleid dat een reeks instellingen zich niet heeft aangemeld of zich hiervoor niet kon aanmelden. In januari 2015 vermeldt het Centraal Register Hoger Onderwijs (CROHO) 136 3 verschillende instellingen voor hoger onderwijs . Daaronder is een groot aantal kleine instellingen: 84 instellingen hebben minder dan 5 opleidingen geregistreerd in het CROHO. Daarnaast zijn 87 instellingen niet bekostigd en 49 instellingen bekostigd. Van de instellingen kunnen 31 instellingen primair als wetenschappelijke (wo) en 105 instellingen primair als hoger beroeps (hbo) instelling worden aangemerkt. Deze instellingen bieden 2.896 verschillende opleidingen aan: 1.457 wo opleidingen en 1.439 hbo opleidingen. Voor het overgangsregime van de ITK hebben zich uiteindelijk 42 instellingen aangemeld: 16 instellingen uit het wo en 26 uit het hbo. Het betreft hier, met uitzondering van twee private instellingen, bekostigde instellingen. Acht instellingen hebben zich om uiteenlopende redenen teruggetrokken uit de procedure. De NVAO heeft uiteindelijk voor 34 instellingen een besluit genomen. Hoewel het aantal van 34 deelnemende instellingen naast het totale aantal van 136 instellingen laag lijkt, verzorgen deze 34 instellingen wel 81 procent van het totaal aantal in het CROHO geregistreerde opleidingen.

2

Het overgangsregime is toegankelijk voor instellingen waarvan tenminste 50 procent van de opleidingen ten minste eenmaal is

geaccrediteerd (WHW, 18.32b). 3

Download d.d. 16 januari 2015. De indeling van instellingen naar wo en hbo is uitgevoerd naar het grootste aantal initiële en

postinitiële bachelor- en masteropleidingen in het wo of hbo (associate degrees zijn buiten beschouwing gelaten). Wanneer in deze rapportage sprake is van een opleiding wordt gerapporteerd over alle initiële en postinitiële bachelor- en masteropleidingen in het wo en hbo, inclusief de zogenoemde research masters.

pagina 6


Tabel 1: Instellingen: wel/geen deelname ITK, bekostiging en oriëntatie Oriëntatie instelling

4

Bekostiging

Aantal instellingen

Aantal opleidingen

Instellingen deelgenomen aan de ITK bekostigd wo hbo

14

1398

18

907

Totaal bekostigd

32

niet bekostigd wo hbo

2305

1

4

1

34

Totaal niet bekostigd Totaal deelname

2

38

34

(81%) 2343

Instellingen niet deelgenomen aan de ITK bekostigd wo hbo

4

12

19

292

Totaal bekostigd

23

niet bekostigd wo hbo Totaal niet bekostigd

304

12

43

67

206 79

249

Totaal geen deelname

102

(19%) 553

Totaal instellingen

136

(100%) 2896

Er zijn forse verschillen te signaleren in de mate waarin is deelgenomen aan de ITK tussen het wo en het hbo en de bekostigde en niet bekostigde instellingen. In het wo hebben alle 14 grotere bekostigde universiteiten deelgenomen. Zij bieden 96 procent van alle wo-opleidingen aan. Alleen enkele gespecialiseerde instellingen en een aantal niet bekostigde aanbieders hebben niet mee gedaan. Deze laatste bieden slechts 4 procent van het totale aantal wo opleidingen aan. In het hbo is het percentage deelnemers geringer: van de bekostigde instellingen heeft iets meer dan de helft aan de ITK deelgenomen. Naast de kleinere en monosectorale instellingen hebben ook enkele grotere hogescholen niet aan de ITK deelgenomen.

4

Instellingen zijn als wo/hbo als bekostigd/niet bekostigd aangemerkt op grond van het grootste aantal opleidingen in een van

de categorieën in het CROHO. Daarbij werden alleen unieke bachelor- en masteropleidingen geteld.

pagina 7


De instellingen in het hbo die niet hebben deelgenomen aan de ITK vertegenwoordigen 34 procent van het totaal aanbod hbo-opleidingen. Van de niet bekostigde aanbieders deden één wo- en één hbo-instelling mee. De niet bekostigde instellingen die niet aan de ITK hebben deelgenomen, vertegenwoordigen 87 procent van het totaal aantal opleidingen van deze instellingen. De niet bekostigde hbo-instelling die wel deelnam, vertegenwoordigt 13 procent van het totaal aantal opleidingen van niet bekostigde 5 instellingen . De besluitvorming van de NVAO op de afgehandelde aanvragen voor een ITK levert het beeld op dat in tabel 2 is weergegeven. Tabel 2: Instellingen ITK: besluit per 31 december 2014 Instellingen besluit

wo bekostigd wo niet bekostigd hbo bekostigd hbo niet-bekostigd Totaal besluiten ITK

Totaal

Positief

Positief onder vw

Aan vw voldaan

14

10

2

2

1

-

1

-

18

13

2

3

1

1

-

-

34

24

5

5

Omdat de instellingen die een negatief oordeel voorzagen, zich uit de procedure terugtrokken, zijn er door de NVAO geen negatieve oordelen uitgesproken. In het wo heeft 67 procent van de deelnemende instellingen de ITK in één keer succesvol afgerond; in het hbo was dat 74 procent. De vierentwintig instellingen die meteen een positieve ITK behaalden, scoorden bijna altijd positief op alle standaarden. In een enkel geval werd standaard 4 (verbeterbeleid) ten dele als voldoende beoordeeld, standaard 5 (organisatie) scoorde twee maal ‘voldoet ten dele’. Bij de tien instellingen die een positief oordeel onder voorwaarden verkregen, werd bijna de helft van de standaarden als ‘voldoet ten dele’ beoordeeld. Geen enkele instelling scoorde onvoldoende op een standaard. Grafiek 1 geeft een beeld van de scores van de betreffende instellingen op de diverse standaarden. De standaarden “beleid”, “resultaten” en “organisatie- en beslissingsstructuur” werden het meest als “voldoet ten dele” beoordeeld.

5

Hierbij moet worden aangetekend dat het overgangsregime alleen toegankelijk was voor instellingen waarvan tenminste 50

procent van de opleidingen al eenmaal was geaccrediteerd (WHW artikel 18.32b).

pagina 8


Grafiek 1: Standaardscores bij 10 instellingen met positief oordeel onder voorwaarden

pagina 9


Opleidingsaccreditatie

Het CROHO telt in totaal 2.896 bachelor- en masteropleidingen. Sinds 2011 ontving de NVAO in het nieuwe accreditatiestelsel in totaal 1.341 aanvragen voor heraccreditatie (onder het regime van de nieuwe wet) door in totaal 82 instellingen. Daarvan is 17 procent aan de hand van het uitgebreide kader beoordeeld en 83 procent aan de hand van het beperkte kader. In deze percentages wordt in de eerste plaats zichtbaar dat het beperkte kader is toegepast bij een aanzienlijk deel van de aanvragen. In de tweede plaats blijkt dat een kleine groep opleidingen na het terugtrekken van de betrokken instelling uit de instellingstoets kwaliteitszorg een aanvullende beoordeling moest ondergaan voor het omzetten naar een uitgebreide beoordeling. Van in totaal 54 instellingen zijn in de afgelopen vier jaar nog geen opleidingen voor heraccreditatie ontvangen. Dit zijn vooral kleine instellingen, zowel bekostigde als niet bekostigde, van wie de opleidingen de komende jaren voor heraccreditatie moeten worden voorgelegd. Naast de totaaloverzichten kunnen we de aanvragen onderverdelen naar wo, hbo, bekostigd en niet bekostigd, en de differentiatie in oordelen zichtbaar maken. In onderstaande paragrafen wordt eveneens nagegaan wat het beeld is wanneer de scores op standaarden worden geaggregeerd naar domein of sector. Tenslotte is ook een uitsplitsing over de sectoren/HOOP-gebieden mogelijk. Aanvragen voor heraccreditatie: aantallen en eindoordeel Omdat de beoordeling van opleidingen in een cyclus van zes jaar plaatsvindt, zijn in de gegeven periode niet alle opleidingen beoordeeld, die in het CROHO staan ingeschreven. In het wo werd 53 procent van het totaal aantal wo opleidingen beoordeeld, in het hbo 40 procent van het totaal aantal opleidingen. Tabel 3: Besluiten nieuwe stelsel per jaar, oriëntatie en bekostiging* 2011

2012

2013

2014

Totaal

bekostigd

-

46

323

384

753

niet bekostigd

-

3

10

4

17

-

49

333

388

770

bekostigd

2

95

153

237

487

niet bekostigd

2

16

25

41

84

Totaal hbo

4

111

178

278

571

Totaal

4

160

511

666

1341

wo

Totaal wo hbo

* Hierin zijn 8 aanvragen “na herstel” opgenomen. In 2012 zijn nog 150 besluiten “accreditatie oude stijl” genomen en in 2013 nog 5 besluiten “oude stijl”: deze zijn hier buiten beschouwing gelaten.

pagina 10


Van de 1.341 aanvragen voor heraccreditatie werden 6 aanvragen ingetrokken, 6 8 aanvragen betroffen een beoordeling na een eerder toegekend herstel en 1.221 opleidingen (92 procent) zijn zonder meer positief beoordeeld (zie tabel 4). Bij 91 opleidingen (7 procent) werd gelegenheid tot herstel geboden. Over een periode van drie jaar blijkt er geen duidelijk verschil in deze eindoordelen tussen het wo en het hbo. Het grote aantal hbo-herstelperiodes in 2013 kwam met name voor in de clusters Economie en Gedrag en maatschappij, terwijl de piek in de wo-herstelperiodes in 2014 met name moet worden toegeschreven aan opleidingen uit het domein Geesteswetenschappen. Tabel 4: Accreditatiebesluiten per jaar en oriëntatie

Accreditatiebesluit

wo

2013

%

aantal

aanvraag ingetrokken

2

1

0 -

herstelperiode

2

1

4

96

47

100


%

Totaal

1

2

0

3

13

9

36

6

50

96

323

90

350

93

721

49

100

336

100

388

100

774

0

-

1

2

0

1

1

3

anders*

0

-

1

1

8

22

4

23

herstelperiode

5

6

11

19

6

16

7

41

95

105

88

154

86

238

88

500

100

111

100 %

176

100

277

100

567

positief Totaal hbo Totaal

160

aantal

Totaal

2014

Totaal wo

%

2014 %

positief

hbo

2012

512

665

1341**

* “Anders” betreft aanvragen die geresulteerd hebben in een bijzondere afspraak tussen de instelling, de NVAO en het ministerie van OCW waarbij (nog) geen formeel accreditatiebesluit werd genomen. ** Vier aanvragen uit 2011 zijn in het totaal meegenomen, maar worden niet getoond.

6

Voor de acht betreffende opleidingen werd eerder een besluit tot herstelperiode genomen, dat laatste besluit is eveneens in

deze tellingen opgenomen.

pagina 11


In grafiek 2 worden de eindoordelen per opleidingstype (niveau en oriëntatie) in percentages weergegeven. Hieruit blijkt dat de eindoordelen “goed” en “excellent” relatief meer voorkomen bij de masteropleidingen. De excellente hbo-masteropleidingen zijn alle kunstopleidingen: muziek, dans, beeldende kunst en theater. In het wo gaat het om zeer gespecialiseerde top-masteropleidingen: nanoscience, logic, health en international law opleidingen. Opleidingen met een eindoordeel “goed” zijn zowel in het wo als in het hbo gespreid over meer soorten opleidingen. De masteropleidingen scoren over het geheel iets beter dan de bacheloropleidingen. Grafiek 2: Eindoordelen per opleidingstype (niveau en oriëntatie)

Trends in de eindoordelen: sector en jaren Wanneer over de jaren de eindoordelen voor de sectoren wo en hbo worden vergeleken, valt op dat er geen duidelijke verschillen zichtbaar zijn (zie tabel 5). In de afgelopen jaren is globaal gesproken een kleine 80 procent van de opleidingen als “voldoende” beoordeeld, 12 - 13 procent als goed of excellent, terwijl 7 - 8 procent van de opleidingen een herstelperiode kreeg toegekend. De beoogde differentiatie in het eindoordeel is daarmee tot op zekere hoogte zichtbaar. Wanneer we kijken naar de trends in de beoordelingen vallen met name de grote differentiatie in het hbo in 2013 en de toekenning van herstelperiodes in het wo in 2014 op. De wo excellente opleidingen betreffen allemaal specialistische masteropleidingen. De hbo-excellente opleidingen zijn op een enkeling na allemaal kunstopleidingen. Het gaat dus in vrijwel alle gevallen om opleidingen die studenten kunnen selecteren. Het is opvallend dat de spreiding in de eindoordelen een consistent beeld geeft tussen sectoren en over de tijd en dat fluctuaties goed te verklaren zijn. Dit suggereert dat de eindoordelen gedurende deze jaren redelijk consistent worden gehanteerd.

pagina 12


Tabel 5: Accreditatie (incl. OZM) trend en differentiatie in scores per sector Eindoordeel

wo

2012 %

2013 %

2014 %

Alle jaren %

excellent

8

1

0

1

goed

6

18

10

13

83

77

80

79

herstelperiode

2

4

9

7

excellent

1

2

2

2

goed

14

13

11

12

voldoende

79

74

80

78

5

11

6

8

voldoende

hbo

herstelperiode

Eindoordelen accreditatie: bekostigde instelling versus niet bekostigde instelling Er is een significant verschil in de eindoordelen van bekostigde en niet bekostigde instellingen. Zowel in het wo als in het hbo scoren niet bekostigde instellingen aanmerkelijk vaker het eindoordeel “herstel”. Tien niet bekostigde instellingen nemen de 12 herstelperiodes in het niet bekostigde onderwijs voor hun rekening (zie tabel 6). Tabel 6: Accreditatie (incl. OZM) eindoordelen bekostigde instelling versus niet bekostigde instelling Bekostiging instelling

Excellent

Goed

Voldoende

Herstelperiode

Herstelperiode %

bekostigd

7

102

596

47

6

niet bekostigd

-

1

14

3

17

7

103

610

50

6

11

61

378

32

7

-

6

43

9

16

Totaal hbo

11

67

421

41

8

Totaal

18

170

1031

91

7

wo

Totaal wo hbo

bekostigd niet bekostigd

pagina 13


Scores per standaard: beperkte en uitgebreide beoordeling Beperkte beoordeling Grafiek 3 geeft een overzicht van de oordelen op standaarden voor de opleidingen die zijn beoordeeld volgens het beperkte opleidingsregime. Dit betreft iets meer dan 1500 opleidingen. Bij 2 procent van de opleidingen worden standaarden als “onvoldoende” beoordeeld. Een onvoldoende oordeel is vooral gegeven op standaard 3 Toetsing en gerealiseerde eindkwalificaties (6 procent) en in beperkte mate op standaard 2 Onderwijsleeromgeving (1 procent). Een onvoldoende op de standaard 1 Doelstellingen betekent krachtens de wetgeving dat de opleiding niet kan worden ge(her)accrediteerd. Deze situatie heeft zich de afgelopen jaren niet voorgedaan. Een overgroot deel van alle herstelperiodes werd uitsluitend toegekend op basis van het negatieve oordeel op standaard 3 Toetsing en gerealiseerde eindkwalificaties. Grafiek 3: Oordelen op standaardniveau (beperkte opleidingsbeoordelingen) 100% 90% 80%

70% 60%

Excellent

50%

Goed

40%

Voldoende

30%

Onvoldoende

20% 10% 0% 1. Doelstellingen

2. Programma

3. Toetsing

De “excellente” en “goede” oordelen op standaardniveau zijn meer gevarieerd. Excellente oordelen op standaardniveau worden in iets meer dan 2 procent van de gevallen toegekend, waarbij de standaard “leeromgeving” dubbel zo vaak “excellent” scoort als de beide andere standaarden. Het oordeel “goed” komt in ongeveer 23 procent van de opleidingen voor. Standaard 1 Doelstellingen wordt in 30 procent van het aantal aanvragen goed beoordeeld; standaard 2 Onderwijsleeromgeving scoort bij een kwart van de opleidingen “goed” (25 procent), terwijl standaard 3 Toetsing en gerealiseerde eindkwalificaties 14 procent “goed” behaalt. Standaard 3 wordt het meest als voldoende beoordeeld (78 procent), maar ook het meest als onvoldoende (6 procent). Standaarden 1 en 2 scoren positiever. De beslisregels van de NVAO schrijven voor dat een eindoordeel over een opleiding alleen “goed” of “excellent” kan zijn, als dat oordeel ook voor standaard 3 geldt.

pagina 14


Dat verklaart waarom het percentage eindoordelen goed of excellent overeen komt met het percentage oordelen goed of excellent op laatstgenoemde standaard. Uitgebreide beoordeling De scores bij de uitgebreide opleidingsbeoordelingen zijn in grafiek 4 afgebeeld. Het betreft hier in het totaal 295 aanvragen. Ook bij de uitgebreide opleidingsbeoordelingen zijn onvoldoende eindoordelen vaak aan standaard 3 Toetsing en gerealiseerde eindkwalificaties toe te schrijven. Deze standaard is bij 9 procent van de opleidingen als onvoldoende beoordeeld. Het aantal keren dat andere standaarden als onvoldoende zijn beoordeeld, is zeer gering (minder dan 1 procent). Excellente scores op standaardniveau zijn bij 1,5 procent van de opleidingen toegekend, een oordeel “goed” komt frequenter voor (34 procent), met uitschieters voor de standaarden vormgeving van het programma (44 procent); instroom (44 procent); kwaliteit van personeel (43 procent); materiële voorzieningen (40 procent) en evaluatie resultaten kwaliteitszorg (49 procent). Standaard 3 Toetsing en gerealiseerde eindkwalificaties haalt minder scores “goed” (11 procent) en een enkele keer “excellent”. De score “voldoende” wordt op standaardniveau het meest toegekend (64 procent). Wat de eindoordelen betreft bij de uitgebreide opleidingsbeoordelingen wordt bij 81 procent van de opleidingen een “voldoende” eindoordeel gegeven; bij 11 procent van de opleidingen het eindoordeel “goed” en bij 9 procent “onvoldoende”. De eindoordelen bij uitgebreide opleidingsbeoordelingen zijn daarmee iets minder gunstig dan die bij het beperkte beoordelingsregime. Grafiek 4: Oordelen op standaardniveau (uitgebreide opleidingsbeoordelingen)

pagina 15


Uitkomst instellingstoets kwaliteitszorg versus uitkomst accreditatie

Eindoordelen accreditatie versus uitkomst instellingstoets kwaliteitszorg Wanneer voor alle opleidingsaccreditaties in Nederland het eindoordeel wordt gerelateerd aan de uitkomst van de instellingstoets kwaliteitszorg van de instelling die de opleiding verzorgt, kan nog niet worden geconcludeerd dat instellingen die over een ITK beschikken minder vaak opleidingen ter accreditatie voorleggen aan de NVAO die als onvoldoende worden beoordeeld. Ook bij deze instellingen moet de interne kwaliteitszorg zich nog verder ontwikkelen. Wanneer de spreiding van de eindoordelen per opleiding wordt vergeleken met de instellingen die a) de ITK direct met positief gevolg hebben doorlopen en b) die niet deelnamen aan de ITK is het beeld vrijwel gelijk. Bij de instellingen waar de instellingstoets heeft geresulteerd in het eindoordeel positief besluit onder voorwaarden is aan 10 procent van de opleidingen een herstelperiode toegekend en scoren minder opleidingen het eindoordeel “goed” of “excellent”. Bij de instellingen met een positieve uitkomst van de instellingstoets is dit 6 procent, respectievelijk 16 procent (zie tabel 7). Het verschil in spreiding in de eindoordelen blijkt gering tussen de instellingen met een andere uitkomst van de ITK. Tabel 7: Accreditatiebesluit versus uitkomst instellingstoets kwaliteitszorg Uitkomst ITK Instelling Besluit en eindoordeel opleiding*

Totaal

positief

positief onder voorwaarden

positief na voorwaarden

niet deelgenomen aan ITK

18

14

-

3

1

170

105

12

25

28

1032

589

118

162

162

91

47

14

14

16

1310

755

144

204

207

Procentueel

%

%

%

%

%

goed en excellent

14

16

8

14

14

voldoende

79

78

82

79

78

7

6

10

7

8

excellent goed** voldoende*** herstelperiode Eindtotaal

herstelperiode

* ingetrokken en niet beoordeelde aanvragen zijn buiten beschouwing gelaten ** waarvan 1 na herstel *** waarvan 7 na herstel

pagina 16


Scores op standaarden versus uitkomst instellingstoets kwaliteitszorg In deze paragraaf worden de scores op de standaarden betrokken in de beschouwing. In het geval van een beperkte opleidingsbeoordeling wordt op de drie standaarden 1 Doelstelling; 2 Programma en personeel en 3 Toetsing en eindniveau het oordeel uitgedrukt in een score van “onvoldoende” tot “excellent”. Bij een uitgebreide 7 opleidingsbeoordeling gaat het om 16 standaarden waaronder kwaliteitszorg . Daar wordt dezelfde schaal toegepast. In de eerste plaats zijn de instellingen ingedeeld in klassen op grond van het percentage eindoordelen “goed” en “excellent”. Daarbij wordt eveneens het eindoordeel meegenomen. 8

De instellingen zijn ingedeeld in vijf klassen : 1: 0 - 14% scores goed/excellent 2: 15 - 29% scores goed/excellent 3: 30 - 44% scores goed/excellent 4: 45 - 59% scores goed/excellent 5: 60% of meer scores goed/excellent Wanneer deze klassen worden afgezet tegen de status van de instelling in de instellingstoets kwaliteitszorg levert dat tabel 8 op. Alleen de 82 instellingen waarvoor in de gerapporteerde periode accreditatiebesluiten zijn genomen zijn in deze tabel opgenomen. Tabel 8: Klasse indeling instellingen op grond van % goed en excellent op scores (incl. eindoordeel) versus uitkomst instellingstoets kwaliteitszorg Klasse scores goed/excellent

Totaal instellingen aantal

Geen ITK

ITK positief na vw

ITK positief

ITK positief onder vw

% aantal

% aantal

% aantal

% aantal

%

1: 0-14%

19

23

12

25

4

17

1

20

2

40

2: 15-29%

25

30

10

21

10

42

2

40

3

60

Totaal 0-29%

54

46

58

60

100

3: 30-44%

13

16

7

15

4

17

2

40

-

-

4: 45-59%

10

12

9

19

1

4

-

0

-

-

5: 60% of meer

15

18

10

21

5

21

-

0

-

-

Totaal 30% max.

46 82

7

54 48

42 24

40 5

5

1. Beoogde eindkwalificaties; 2. Oriëntatie van het programma; 3. Inhoud van het programma; 4. Vormgeving van het

programma; 5. Instroom; 6. Studeerbaarheid; 7. Duur; 8. Personeelsbeleid; 9. Kwaliteit van het personeel; 10. Kwantiteit van het personeel; 11. Materiële voorzieningen; 12. Studiebegeleiding; 13. Evaluatie resultaten; 14. Verbetermaatregelen; 15. Betrokkenheid bij kwaliteitszorg; 16. Toetsing en gerealiseerde eindkwalificaties 8

pagina 17

De scores in de accreditatieaanvragen (beperkt / uitgebreid) werden hierbij betrokken, inclusief het eindoordeel.


Onder de instellingen die geen ITK hebben doorlopen, bevindt zich een relatief groot aantal in de best scorende klassen (4 en 5). Dat kan worden toegeschreven aan zeer kleine gespecialiseerde monosectorale instellingen en aan de kunsteninstellingen die niet hebben deelgenomen/konden deelnemen aan de ITK. De instellingen met een positief eindoordeel voor de ITK onderscheiden zich niet sterk van het gemiddelde. Bij de instellingen die een positief besluit na voorwaarden of een positief besluit onder voorwaarden behalen, ligt het aantal instellingen met een hoge frequentie scores “goed” of “excellent” relatief beduidend lager. De aantallen zijn hier echter erg klein, zodat eenduidige conclusies niet voor de hand liggen. Herstelperiodes versus uitkomst instellingstoets kwaliteitszorg In tabel 9 zijn de in totaal 91 herstelbesluiten geprojecteerd op het eindoordeel van de ITK en de oriëntatie van de instelling. Hier wordt zichtbaar dat de instellingen met eindoordeel “onder voorwaarden” van de ITK relatief meer herstelbeoordelingen ontvangen (10 procent) dan de instellingen met een positieve ITK (6 procent), rekening houdend met het aantal opleidingen dat de betrokken instellingen aanbieden. Over het geheel genomen is de uitkomst van de ITK niet voorspellend voor het voorkomen van herstelperiodes. De instellingen met een positief besluit voor de ITK nemen nog de helft van de herstelperiodes voor hun rekening (46). Tabel 9: Aantal herstelperiodes per status van de instellingstoets kwaliteitszorg Herstelbesluiten

Alle opleidingen

wo

pagina 18

hbo

totaal

Status ITK

%

aantal

%

aantal

%

aantal

wo

hbo

totaal

niet deelgenomen aan ITK

14

3

7

13

8

16

22

179

201

ITK positief

6

28

7

18

6

46 506

250

756

ITK positief na voorwaarden

8

12

3

2

7

14 144

64

208

ITK positief onder voorwaarden

7

7

18

8

10

15 101

44

145

Eindtotaal

6

50

8

41

7

91 773

537

1310


Toets nieuwe opleiding

Algemene bevindingen Als een instelling een nieuwe opleiding wil starten, vraagt ze, naar verkregen toestemming van de minister op grond van de zogenoemde toets op macrodoelmatigheid bij de NVAO een “toets nieuwe opleiding” (TNO) aan. Opmerkelijk is dat amper de helft van de TNO-aanvragen in één keer positief is beoordeeld. In totaliteit wordt 53 procent van de ingediende aanvragen in één keer positief beoordeeld (zie tabel 10 onder eindtotaal); 20 procent is positief onder voorwaarden. Bij de instellingen met een positief besluit voor de ITK (inclusief “na voorwaarden”) is dat 60 procent. Van de aanvragen resulteert 21 procent in een oordeel “voldoende onder voorwaarden”. De afwijkende waardes bij de niet bekostigde instellingen die geen ITK hebben doorlopen, worden sterk beïnvloed door de uitkomsten van de aanvragen van één niet bekostigde aanbieder, met veel intrekkingen en voorwaarden. Als deze aanbieder uit de statistieken wordt gehaald, passen de resultaten van de categorie “geen ITK” ook beter bij de overige categorieën. Instellingen die voorzien dat op een aanvraag voor een TNO een negatief oordeel volgt, hebben in alle gevallen hun aanvraag ingetrokken (27 procent). Hierdoor heeft de NVAO formeel geen negatieve oordelen geveld.

pagina 19


Tabel 10: Besluiten toets nieuwe opleiding versus instellingstoets kwaliteitszorg ITK

Geen ITK

Positief

Positief na voorwaarden

wo

Bekostigd


-

5

1

1

7

voldoende

-

13

4

4

21

voorwaarden

-

6

1

-

7

-

24

6

5

35


2

-

-

-

2

voldoende

2

-

-

-

2

voorwaarden

5

-

-

-

5

9

-

-

-

9

9

24

6

5

44


-

3

-

-

3

voldoende

3

9

4

2

18

voorwaarden

3

-

1

-

4

6

12

5

2

25


17

-

-

-

17

voldoende

17

-

-

-

17

voorwaarden

4

3

-

-

7

38

3

-

-

41

Totaal hbo

44

15

5

2

66

Eindtotaal

53

39

11

7

110

% TNO ingetrokken en voorwaarden

58%

44%

27%

14%

47%

% TNO voldoende

42%

56%

73%

86%

53%

niet bekostigd

totaal niet bekostigd Totaal wo

hbo

bekostigd

totaal bekostigd

niet bekostigd

totaal niet bekostigd


Eindtotaal

Bekostiging

Besluit en eindoordeel TNO

totaal bekostigd

pagina 20

Positief onder voorwaarden

Oriëntatie Instelling

Aanvragen resulterend in een positief besluit onder voorwaarden Grafiek 5 geeft een inzicht in de kritische standaarden bij het eindoordeel ‘positief onder voorwaarden’ (uitgebreide TNO beoordelingen). De standaard ‘inhoud van het programma’ is in 60 procent van de betrokken gevallen als onvoldoende beoordeeld. De aansluiting van het programma op de instroom en de oriëntatie waren andere standaarden die meer negatief scoorden. Bij de beperkte opleidingsbeoordelingen is het eindoordeel ‘positief onder voorwaarden’ gegeven wanneer standaard 2, ‘onderwijsleeromgeving’ als onvoldoende wordt beoordeeld. In geen enkel geval leidde een onvoldoende op de onderdelen beoogde eindkwalificaties, financiële voorwaarden of toetsing tot een eindoordeel ‘positief onder voorwaarden’. In al deze gevallen werd de aanvraag ingetrokken. Grafiek 5: Onvoldoende beoordeelde standaarden bij positieve TNO onder voorwaarden

Ingetrokken aanvragen In 27 procent van de toetsen nieuwe opleiding werd de aanvraag ingetrokken, omdat het panel niet tot een positief oordeel kon komen. Bij de beperkte opleidingsbeoordeling werden in de meeste gevallen het onderwijsleerproces en de toetsing als onvoldoende beoordeeld. Bij de uitgebreide opleidingsbeoordelingen waren in de meeste gevallen vier of vijf standaarden en ook het eindoordeel onvoldoende. In de meeste gevallen waren de standaarden ‘inhoud van het programma’, ‘vormgeving’, ‘studieomvang’ en ‘toetsing’ doorslaggevende negatieve factoren bij de ingetrokken aanvragen, vaak ook gecombineerd (zie grafiek 6). De inhoud van het programma en de toetsing scoorden in bijna alle ingetrokken aanvragen onvoldoende.

pagina 21


Grafiek 6: Percentages onvoldoende beoordeelde standaarden bij ingetrokken uitgebreide TNO

pagina 22


CROHO sectoren

Uitsplitsing van de accreditatiebesluiten naar de sectoren zoals gehanteerd in het Centraal Register Opleidingen Hoger Onderwijs (CROHO) levert het beeld op zoals geschetst in tabellen 11 en 12. Hierbij moet worden bedacht dat niet alle sectoren de afgelopen jaren onder het huidige stelsel in volle omvang zijn beoordeeld. Bij een aantal sectoren betrof het slechts een enkele opleiding, terwijl het merendeel van de opleidingen in die sector - gegeven de zesjarige cyclus – in één van de komende jaren voor het eerst binnen het huidige stelsel wordt beoordeeld. Dat geldt bijvoorbeeld voor de sectoren “Recht” en “Onderwijs”. In het hbo valt de sector “Taal en cultuur” op met een betrekkelijk hoog percentage “goed” en “excellent” (52 procent). Een verklaring is het relatief hoge aandeel kunstopleidingen. In het wo is de goede score voor de sector “Landbouw en natuurlijke omgeving” (61 procent) te wijten aan 22 als “goed” beoordeelde opleidingen van de Universiteit Wageningen. Het opmerkelijke hoge percentage herstelperiodes en intrekkingen in de sector Recht (35 procent) komt overwegend voor rekening van postinitiële opleidingen en enkele onderzoeksmasters. Het hoger dan gemiddeld aantal herstelperiodes in Taal en Cultuur (12 procent) betreft in grote mate het cluster Geesteswetenschappen. Ook vanuit het perspectief van de sectoren lijken fluctuaties in de scores te verklaren. Tabel 11: Hbo accreditatie: eindoordelen versus CROHO-sectoren Excellent

Goed

Goed na herstel

Voldoende

Voldoende na herstel

Herstelperiode

Eindtotaal

Herstelperiode %

Goed en Excellent %

ECONOMIE

-

16

-

138

1

15

170

9%

9%

GEDRAG EN MAATSCHAPPIJ

-

4

-

52

2

7

65

11%

6%

GEZONDHEIDSZORG

-

7

-

60

2

5

74

7%

9%

LANDBOUW EN NATUURLIJKE OMGEVING

-

5

-

21

-

-

26

0%

19%

ONDERWIJS

-

4

-

50

1

7

62

11%

6%

RECHT

-

-

5

-

1

6

17%

0%

SECTOROVERSTIJGEND

-

1

-

-

-

-

1

11

21

1

30

-

1

64

2%

52%

TECHNIEK

-

8

-

58

1

4

71

6%

11%

Eindtotaal

11

66

1

414

7

40

539

7%

14%

Sector:

TAAL EN CULTUUR

pagina 23


0% 100%

Tabel 12: Wo accreditatie en TNO: eindoordelen versus CROHO-sectoren Goed en Excellent %

Herstelperiode

-

13

49

2

-

64

3%

20%

GEDRAG EN MAATSCHAPPIJ

-

6

127

8

1

142

6%

4%

GEZONDHEIDSZORG

1

3

55

2

-

61

3%

7%

LANDBOUW EN NATUURLIJKE OMGEVING

-

23

15

-

-

38

0%

61%

NATUUR

2

14

110

5

-

131

4%

12%

ONDERWIJS

-

-

4

-

-

4

0%

0%

RECHT

4

1

6

6

-

17

35%

29%

SECTOROVERSTIJGEND

-

4

2

-

-

6

0%

67%

TAAL EN CULTUUR

-

23

174

25

1

223

12%

10%

TECHNIEK

-

16

74

2

-

92

2%

17%

Eindtotaal

7

103

616

50

2

778

7%

14%


Herstelperiode en ingetrokken %

Voldoende

Eindtotaal

Goed

pagina 24

Aanvraag ingetrokken

Excellent

ECONOMIE

Sector

Bijzondere kenmerken

Instellingen kunnen voor hun opleidingen, en ook voor de instelling als geheel, een “bijzonder kenmerk” aanvragen. Sommige van deze kenmerken zijn in de wet of in het accreditatiekader gedefinieerd, andere worden door instellingen en opleidingen zelf als zodanig aangeduid. Tabel 13 geeft een eerste inzicht in deze kenmerken. Tabel 13: Bijzondere kenmerken 2011 – 2014 Kenmerk

wo

hbo

Totaal

kleinschalig en intensief onderwijs

17

11

28

internationalisering

9

11

20

ondernemen

2

2

4

duurzaamheid

-

6

6

overige

-

13

13

Totaal

28

43

71

Er werden in de voorbije vier jaar 71 bijzondere kenmerken toegekend. Op een totaal van 1.341 accreditatieaanvragen vertegenwoordigt dit ongeveer 5 procent. Waar in het vorige accreditatiestelsel de aanvragen voor bijzondere kenmerken veelal een individueel karakter hadden, is de laatste jaren een tendens ontstaan om vooral een kenmerk aan te vragen dat in kaders of wetgeving is vastgelegd, in casu de kenmerken "internationalisering", "kleinschalig en intensief onderwijs", "duurzaamheid" en "ondernemen". Deze vertegenwoordigen meer dan 80 procent van alle sinds 2011 toegekende bijzondere kenmerken. Het wo benut uitsluitend dergelijke kenmerken, in het hbo worden individuele kenmerken vaker ingezet voor profilering, al blijft ook daar het aantal eerder beperkt. Overige toegekende bijzondere kenmerken

Euregionalisering, evidence based practice, imagineering, Real World Learning, toegepast praktijkonderzoek, topsportgerichtheid Het bijzonder kenmerk "kleinschalig en intensief onderwijs" geeft instellingen het recht om een hoger collegegeld te vragen, en neemt daarom een aparte positie in. Alle bijzondere kenmerken zijn toegekend aan bekostigde instellingen. Het wo ‘benut’ alleen dit kenmerk en het kenmerk "internationalisering"; bij het hbo wordt het verwerven van een bijzonder kenmerk vaker ingezet voor profilering. Alle bijzondere kenmerken zijn toegekend aan bekostigde instellingen. In een aantal gevallen wordt het bijzonder kenmerk aangevraagd door opleidingen die naar hun aard al naar het kenmerk verwijzen: 7 van de 20 opleidingen met het kenmerk "internationalisering" hebben ook het begrip international in hun naam. Bij het kenmerk "ondernemen" geldt dat voor de helft van de opleidingen.

pagina 25


Buiten de specifieke kenmerken rond internationalisering, kleinschalig en intensief onderwijs, duurzaamheid en ondernemen werden in de afgelopen vier jaar slechts dertien andere kenmerken toegekend. Dit is op een totaal van meer dan 1.300 opleidingen een marginaal aantal (minder dan 1 procent van de opleidingen).

pagina 26


Enkele conclusies

Uit het cijfermateriaal kunnen we enkele conclusies trekken. Er is een grote differentiatie in het Nederlandse hoger onderwijs zichtbaar: er zijn grote en kleine, algemene en gespecialiseerde, bekostigde en niet bekostigde hogescholen en universiteiten met een diversiteit aan opleidingen. Het accreditatiestelsel lijkt in staat die verschillen te accommoderen. Het stelsel kan ook divergenties in kwaliteit identificeren. Dat blijkt in de eerste plaats uit het feit dat opleidingen “goed” en “excellent” scoren. Opvallend is overigens dat de opleidingen die excellent scoren vrijwel allemaal de mogelijkheid hebben om studenten te selecteren. Verder worden opleidingen als onvoldoende aangemerkt en krijgen zij een herstelperiode toegekend of voorwaarden opgelegd. Instellingen nemen hun eigen verantwoordelijkheid door onvolkomen aanvragen in te trekken. Het valt op dat de eindoordelen bij opleidingen over het algemeen een consistent beeld geven en dat verschillen tussen de sectoren en domeinen goed kunnen worden verklaard. De “toets nieuwe opleiding” vormt een kritische drempel voor de toetreding tot het hoger onderwijs: toch lijkt het er op dat deze toets bij alle categorieën instellingen vaak betrekkelijk lichtvaardig wordt aangevraagd. De huidige instellingstoets kwaliteitszorg heeft op dit moment nog slechts een beperkte waarde als het gaat om het voorkomen van kwaliteitsproblemen bij bestaande of nieuwe opleidingen. De NVAO kan op grond van deze analyse op dit moment nog niet concluderen dat instellingen die met goed gevolg een instellingstoets hebben doorlopen minder vaak opleidingen die als “onvoldoende” zijn beoordeeld, ter accreditatie voorleggen. De niet bekostigde instellingen vragen enige aandacht. Zij nemen in beperkte mate deel aan de “instellingstoets kwaliteitszorg” - mede door de restrictieve regels van het overgangsrecht en de kleinschaligheid van veel van deze instellingen - en halen minder gunstige resultaten bij de opleidingsbeoordelingen dan de bekostigde instellingen. Nader onderzoek kan uitwijzen of hierin een verdere differentiatie kan worden aangebracht. De betekenis van de bijzondere kenmerken leent zich ook voor een nadere discussie: afgezien van het kenmerk “kleinschalig en intensief onderwijs” dat bijzondere consequenties heeft, wordt er verhoudingsgewijs weinig van deze kenmerken gebruik gemaakt. Niettemin lijkt het er op dat het veld wel hecht aan het behoud van de mogelijkheid tot het aanvragen van een bijzonder kenmerk. Het cijfermateriaal in deze rapportage heeft in de eerste plaats als doel om inzicht te geven in de uitkomsten van het nieuwe accreditatiestelsel. Interpretatie en conclusies worden aan de lezer gelaten. Het materiaal kan een bijdrage leveren aan de discussie over de verdere ontwikkeling van het stelsel. Uiteraard kan op verschillende gebieden nader onderzoek plaats vinden. Zo kunnen uit het voorliggende cijfermateriaal geen conclusies over de feitelijke of ervaren administratieve lastendruk worden getrokken. Ook een herhaling van het onderzoek als (vrijwel) alle opleidingen een keer onder het regime van het huidig stelsel zijn beoordeelde, ligt voor de hand.

pagina 27


Verantwoording

De NVAO heeft bij deze rapportage gebruik gemaakt van eigen bestanden. Met behulp van een Business Intelligence tool werden drie bestanden gecombineerd: het document management systeem “SWIT”; de scoretabellen en de databank “eQu”. Door kruislings te vergelijken en door toetsing aan de hand van het CROHO (download van 16 januari 2015) is een goede betrouwbaarheid van de gegevens bereikt. In deze rapportage zijn alleen de dossiers onder het regime van het nieuwe accreditatiestelsel meegenomen. In 2012 zijn daarnaast nog 150 besluiten accreditatie "oude stijl" genomen en nog 9 besluiten toets nieuwe opleiding "oude stijl". In 2013 werden nog 5 accreditatiebesluiten "oude stijl" genomen. Instellingen zijn als wo/hbo en als bekostigd/niet bekostigd aangemerkt op grond van het grootste aantal opleidingen in een van de categorieën in het Centraal Register Opleidingen Hoger Onderwijs (CROHO). Daarbij werden alleen unieke bachelor- en masteropleidingen geteld. Varianten en associate degrees zijn volledig buiten deze analyse gehouden. Daar waar de scores worden geanalyseerd, is in lijn met de NVAO uitgangspunten telkens de score voor de laagst scorende locatie of variant gehanteerd. De bestanden zijn, zoals gezegd, zo zorgvuldig mogelijk getoetst, fouten kunnen echter niet volledig worden uitgesloten.

pagina 28


Colofon

Vier jaar nieuw accreditatiestelsel hoger onderwijs in Nederland in cijfers April 2015 Samenstelling: NVAO NVAO Nederlands-Vlaamse Accreditatieorganisatie Parkstraat 28 ⁄ 2514 JK Den Haag Postbus 85498 ⁄ 2508 CD Den Haag Nederland T E

pagina 29

31 70 312 23 00 [email protected] www.nvao.net


Vier jaar nieuw accreditatiestelsel hoger onderwijs in Nederland in cijfers

Recommend Documents