Onderwijskwaliteit zichtbaar maken. Middagconferentie

Onderwijskwaliteit zichtbaar maken Middagconferentie

Rotterdam, 13 april 2010

INHOUDSOPGAVE Voorwoord: Welkom…………………………………………………….…2 Programma en zaalindeling………………………………………………3 Overzicht zalen…………………………………………………………….4 CV’s van de sprekers……………………………………………………..5 Korte beschrijving van de sessies Plenair 1: Accreditatie en Studiekeuze – Karl Dittrich………...7 Plenair 2: Instellingsbreed aan de slag – Bas Kortmann……..8 Plenair 3: Studiekeuze123 – Hans van Driel…………………..9 Plenair 4: Eerlijk ranken – Frank Steenkamp………………...10 Deelsessie 1: Benchmarking – Teun Timmers…………..…..11 Deelsessie 2: Guiding students – Johnny Rich ………..…….12 Deelsessie 3: Het Dashboard – Lex Freund……..…………...13 Plenair 5: Studenten en kwaliteit – Henno van Horssen…….15 Debat……………………………………………………………...16 Achtergrondinformatie: Het accreditatiestelsel……………. ……………………………17 Studiekeuzeproducten wereldwijd vergeleken……………….19

Onderwijskwaliteit zichtbaar maken, 13 april 2010

1

WELKOM De kwaliteit van het onderwijs staat volop in de belangstelling. Want: 1. Het hoger onderwijs krijgt een nieuw accreditatiestelsel - met meer gedifferentieerde kwaliteitsoordelen over opleidingen, en op instellingsniveau extra aandacht voor het functioneren van de kwaliteitszorg. Instellingen spelen hierop in met nieuwe evaluatieformats. Dit alles roept interessante vragen op: welke kwaliteitsindicatoren staan centraal? Hoe wordt de informatie verzameld, geijkt en gepresenteerd? 2. Tegelijk speelt onderwijskwaliteit een rol in de communicatie met studiekiezers en het algemene publiek. Rankings en vergelijkingssites spelen daarbij een onmiskenbare rol. Ook hier is de vraag: welke kwaliteit meet men eigenlijk, met welke indicatoren? En hoe wordt die informatie zichtbaar gemaakt en vergeleken? 3. Naast alle externe verantwoording en communicatie valt ten slotte de vraag te stellen wat instellingen en opleidingen zelf met de beschikbare kwaliteitsinformatie doen: is het toch eigenlijk allemaal plichtpleging, of worden de gegevens effectief benut om de eigen kwaliteit te monitoren en te verbeteren? Deze drie onderwerpen vonden wij, in hun onderlinge samenhang, interessant genoeg voor een middagconferentie. Datzelfde vonden tot ons plezier ook de gevraagde sprekers en meer dan honderdzestig deelnemers. Voor ons, het Centrum Hoger Onderwijs Informatie (C.H.O.I.) en de redactie van de Keuzegids, beide voortgekomen uit de Stichting Hoger Onderwijs Persbureau, is het voor het eerst dat wij op deze schaal een conferentie organiseren. Deze nieuwe activiteit bevalt ons zozeer, dat er inmiddels ook een aparte conferentie voor en over het MBO in voorbereiding is. Ingevoegd in deze reader teft u hierover meer informatie aan. Naast het programma van de dag, treft u hierna enige achtergrondinformatie aan die kan helpen om vat te krijgen op de materie. Wij vertrouwen erop dat de inleiders, de forumdeelnemers èn u als deelnemer aan de conferentie samen voor een leerzame middag zullen zorgen. Wij wensen u een goede discussie toe.

Namens het organisatieteam, Frank Steenkamp Han de Looper


2

PROGRAMMA EN ZAALINDELING LOCATIE: Hotel Engels, Stationsplein 45, Rotterdam 13.00: Ontvangst in de foyer, thee & koffie 13.30: Beatrixzaal Opening door Frank Steenkamp, hoofdredacteur Keuzegids Onderwijs Thema 1: Accreditatie en Toezicht 13.40:

Rationele Studiekeuze, door Karl Dittrich, voorzitter NVAO.

14.00:

Instellingsbreed met kwaliteit aan de slag, door Prof. Mr. Bas Kortmann, Rector Radboud Universiteit

Thema 2: Kwaliteitsinformatie voor het grote publiek 14.20:

Vergelijken van opleidingen op basis van kwaliteitsinformatie, door Hans van Driel, Studiekeuze123.nl

14.40:

Op zoek naar eerlijke beschrijving en ranking, door Frank Steenkamp, hoofdredacteur Keuzegids

15.00 Thee & Koffie, een half uur pauze Gelijktijdig: kleine expositie van onderwijsgidsen, ranglijsten, kwaliteitskaarten uit diverse landen. 15.30

Deelsessies (parallel) Sessie 1: Beatrixzaal

Benchmarking met landelijke gegevensbronnen: T. Timmers, onderzoeker C.H.O.I.

Sessie 2: Zaal 2002

Guiding prospective students in a practical way: J. Rich, oprichter wwww.push.co.uk

Sessie 3: Zaal 2006

Alle stuurinformatie in één oogopslag: A. Freund, Hogeschool Rotterdam.

Thema 3: Kwaliteitszorg: de verbeterfunctie 16.10: Beatrixzaal Studenten, bestuurders en het gebruik van kwaliteitsinformatie Presentatie van de resultaten van een landelijke enquête. Redactie Keuzegids i.s.m. ISO en LSVb. 16.30:

Forum: wie heeft er nou géén belang bij meer kwaliteit? Debat met bestuurders, politici, studenten en kwaliteitsdeskundigen.

17.10: Borrel


3

OVERZICHT ZALEN

Zaal 2002

Zaal 2006

Foyer/ ontvangst

Beatrixzaal (plenaire gedeelte)


4

DE SPREKERS Dr. Karl Dittrich, voorzitter NVAO Karl Dittrich studeerde politieke wetenschappen aan de Rijksuniversiteit Leiden en was als wetenschapper verbonden aan die universiteit, het Europees Universitair Instituut te Florence en de Universiteit Maastricht. In 1994 werd hij voorzitter van het College van Bestuur van de Universiteit Maastricht. Sinds 1 januari 2005 is hij voorzitter van de Nederlands-Vlaamse Accreditatieorganisatie (NVAO), en sinds juni 2008 vicevoorzitter van het Europees Consortium van Accreditatieorganisaties (ECA). In 2009 werd Karl Dittrich bestuurslid van het Europese Netwerk van Kwaliteitszorgorganisaties (ENQA). Prof. mr. S.C.J.J. Kortmann, rector magnificus Prof. Kortmann studeerde Nederlands recht aan de Rijksuniversiteit te Groningen en promoveerde cum laude aan de Radboud Universiteit. Hij was werkzaam als wetenschappelijk medewerker, advocaat en hoogleraar en was decaan van de Faculteit der Rechtsgeleerdheid. Bas Kortmann is sinds 2007 rector magnificus van de Radboud Universiteit Nijmegen en hij vervult verschillende nevenfuncties in en buiten het bedrijfsleven. Hans van Driel, Studiekeuze123 Hans van Driel is sinds 1989 werkzaam in het hoger onderwijs, op het terrein van ICT-gebruik in het Onderwijs (ICTO). Inmiddels werkt hij bij Hogeschool INHolland. Vanuit INHolland is hij drie dagen per week gedetacheerd bij Studiekeuze123. Daar is hij als projectmanager onder meer verantwoordelijk voor de verbetering van de informatiestroom vanuit de instellingen en het bevorderen van de mobiliteit van studenten binnen het Hoger Onderwijs. Drijfveer bij deze projecten is het optimaliseren van informatieprocessen. Bovenal staat het juist en objectief informeren van de student centraal, al gaat het ook vaak om het activeren van de student. Frank Steenkamp, C.H.O.I./Keuzegids Frank Steenkamp is afgestudeerd als bioloog. Na zijn studie was hij twintig jaar werkzaam als journalist, gespecialiseerd in het hoger onderwijs. Sinds 1999 is hij directeur van Stichting Hoger Onderwijs Persbureau (HOP). Daarnaast is Steenkamp initiatiefnemer en hoofdredacteur van de Keuzegids, die al ruim vijftien jaar een begrip is in het Nederlandse hoger onderwijs. De Keuzegids is recent ondergebracht bij C.H.O.I, het Centrum Hoger Onderwijs Informatie, een verzelfstandigd onderdeel van Stichting HOP. Dit centrum doet alle research en redactiewerk voor de Keuzegids, en voert benchmarkingdiensten uit voor onderwijsinstellingen.


5

Dr. Teun Timmers, C.H.O.I./Keuzegids Teun Timmers, afgestudeerd als fysicus en gepromoveerd in de informatica, was na een universitaire carrière in de medische informatica tien jaar in Groot-Brittannië als ITmanager bij diverse organisaties. Sinds 2007 werkt hij als senior onderzoeker bij C.H.O.I.. Daar droeg hij de afgelopen jaren bij aan de organisatie en dataverwerking van de Nationale studentenenquête (NSE), aan data-analyses voor de Keuzegids en aan trenden benchmarkrapportages voor de overheid en voor onderwijsinstellingen. Johnny Rich, PUSH.co.uk Johnny Rich is de oprichter van Push.co.uk, de grootste onafhankelijke website voor studiekiezers in het Verenigd Koninkrijk. Daarnaast is hij uitgever van PUSH en het Real World Magazine, een carrièreblad en -website gericht op afgestudeerden. PUSH wordt in het VK alom gewaardeerd voor hun onderzoek naar alle aspecten van het studentenleven en voor de onverbloemde en toegankelijke manier waarop die informatie wordt gepresenteerd aan studiekiezers. Johnny geeft in de Britse media regelmatig zijn mening over onderwijs-aangelegenheden en is uitgesproken kritisch over de university league tabellen in het VK. Lex Freund, manager informatievoorziening Hogeschool Rotterdam Lex Freund is sinds januari 2009 werkzaam bij de Hogeschool Rotterdam als manager informatievoorziening. In die rol is hij verantwoordelijk voor het competentiecentrum dat hogeschoolbrede bestuurs- en managementinformatie levert. Lex heeft na zijn studie kwantitatieve bedrijfseconomie aan de Erasmus Universiteit Rotterdam diverse management- en adviesfuncties gehad binnen bedrijfsleven en (semi) overheid. Terugkerende thema's in zijn loopbaan zijn Planning & Control en Business Intelligence, waarbij hij met zowel de strategische, organisatorische als technische aspecten te maken heeft gehad. Henno van Horssen, voorzitter ISO Henno van Horssen is student land & watermanagement op Hogeschool Van HallLarenstein in Velp. Daarvoor heeft Henno twee jaar politicologie aan de Radboud Universiteit gestudeerd. Hij is lid van het dagelijks bestuur van de medezeggenschapsraad, van de Commissie van Beroep van Hogeschool Van HallLarenstein en is voorzitter van het Interstedelijk Studenten Overleg. Han de Looper, C.H.O.I./Keuzegids Han de Looper was als onderzoeker, redacteur en schrijver betrokken bij vele edities van de Keuzegids Hoger Onderwijs. Hij is actief geweest als studentbestuurder en werkte voor de Universiteit Leiden en de TU Delft. De afgelopen jaren werkte hij als vertaler en docent Nederlands en Engels in Argentinië. Sinds januari 2010 is hij als freelancer actief in Nederland.


6

PLENAIRE SESSIE 1 13.40 BEATRIXZAAL THEMA 1: Accreditatie en kwaliteitsinformatie SPREKER: Karl Dittrich, voorzitter NVAO Rationele studiekeuze Een opleiding in het hoger onderwijs leidt tot geweldige mogelijkheden: een uitdagende baan, een fatsoenlijk salaris, goede levensomstandigheden, interessant werk! De keuze voor een opleiding is dus een heel belangrijke! Het gaat daarbij niet alleen over de keuze van de inhoud, maar er zou ook moeten worden nagedacht over de wijze waarop geleerd wordt, over een mogelijk buitenlandverblijf, over de beschikbare voorzieningen, over het studieklimaat. In de praktijk blijken zowel aanbieders als vragers van onderwijs zich vaak niet genoeg in te spannen om een realistisch beeld van een opleiding te schetsen. De opleidingen pakken te vaak uit met marketingmateriaal in plaats van met voorlichting, terwijl de studenten te vaak weinig moeite doen om voldoende informatie te krijgen om een goede keuze te kunnen maken. Dat leidt dus vaak tot teleurstellingen. Het is zaak op zoek te gaan naar goed toegankelijke en objectieve, betrouwbare informatie. In de volgende fase van het accreditatiestelsel kan de NVAO daaraan een bijdrage leveren door de mogelijkheid om gedifferentieerde oordelen uit te spreken. Maar ook de opleidingen en instellingen zelf kunnen hun eigen profiel scherper maken door zich af te vragen op welke punten zij zich zouden willen onderscheiden van hun collega-instellingen en -opleidingen. Dat vraagt echter om durf en scherpe keuzes!


7

PLENAIRE SESSIE 2 14.00 BEATRIXZAAL THEMA 1: Accreditatie en kwaliteitsinformatie SPREKER: Bas Kortmann, rector magnificus Radboud Universiteit “Als opleidingen van de Radboud Universiteit bij visitaties niet tot de top 25% behoren, worden bestuurlijke maatregelen genomen”. Deze passage uit het Strategisch Plan 2009-2013 geeft het belang aan dat de Radboud Universiteit Nijmegen toekent aan de kwaliteit van al haar onderwijs. De voortdurende aandacht van de universiteit voor de kwaliteit van haar bachelor-en masteropleidingen verzekert elke student van een goede opleiding. Van docenten wordt verwacht dat zij in staat zijn hun kennis en kunde op adequate en inspirerende wijze over te dragen. Prof. mr. Bas Kortmann, rector van de Radboud Universiteit, zal in zijn presentatie toelichten op welke wijze gezamenlijk is gewerkt aan de kwaliteit van het onderwijs van zijn universiteit. Hij zal vooral ingaan op de cruciale rol die is weggelegd voor visitatiecommissies, opleidingscommissies, docenten en studenten in dit proces.


8

PLENAIRE SESSIE 3 14.20 BEATRIXZAAL THEMA 2: Kwaliteitsinformatie voor het grote publiek SPREKER: Hans van Driel, Studiekeuze123 Vergelijken van opleidingen op basis van kwaliteitsinformatie. Studiekiezers willen we graag zien als consumenten: er is onderwijsaanbod en we willen graag maximale afname van dat aanbod. Misschien is het wel eens aardig deze metafoor door te zetten. Voor de keuze van een product wordt door de bewuste consument allerlei informatie gezocht, bij voorkeur van neutrale bronnen. Die consument bekijkt de verschillen, beoordeelt de gebruikersmogelijkheden en leest de reviews; de meningen van gebruikers over het product én over de aanbieder van het product. Uiteindelijk wordt de aanbieder bepaald, waarbij naast alle objectieve informatie ook regelmatig het “vertrouwde gevoel” of het “gemak van de nabijheid” overheersend is. Bron: http://www.bluelifeunlimited.com In principe werkt Studiekeuze123 volgens deze metafoor: we bieden objectieve en betrouwbare informatie over de geaccrediteerde opleidingen, we geven reviews mee in de vorm van de resultaten van de Nationale Studentenenquête én we geven de instellingen, als aanbieders, de gelegenheid hun specifieke kwaliteiten te etaleren. Wanneer we het hebben over ‘de kwaliteit van het onderwijs’, moet er wel onderscheid gemaakt worden in welke verantwoordelijkheid bij de instellingen ligt en en welke bij Studiekeuze123. Instellingen dragen zorg voor de kwaliteit van het onderwijs. Studiekeuze123 houdt zich bezig met de kwaliteit van de informatie over dat onderwijs. Kernvragen daarbij: • Waar haalt Studiekeuze123 de informatie over de opleidingen vandaan? • Hoe zorgt het voorlichtingsveld er voor dat we de studiekiezers ook een beeld geven van de kwaliteit van de instelling? • Hoe draagt dat bij aan de kwaliteit van de studiekeuze? In een korte bijdrage zal Hans van Driel ingaan op deze vragen.


9

PLENAIRE SESSIE4 14.40 BEATRIXZAAL THEMA 2: Kwaliteitsinformatie voor het grote publiek SPREKER: Frank Steenkamp, CHOI/Keuzegids De Keuzegids: op zoek naar eerlijke beschrijving en ranking Ik wil laten zien hoe de Keuzegids bijdraagt aan eerlijke vergelijking van opleidingen. Na onze uitgangspunten bespreek ik praktische problemen die we tegenkomen, en de oplossingen die we gevonden hebben. Het verhaal heeft een open eind, want er is zeker ruimte voor verdere verbetering van de Keuzegids – en van de gegevens waar deze gebruik van maakt. Hieronder alvast twee tabellen, uit december 2007 en december 2009, over dezelfde studie. De verschillen zijn illustratief voor de recente vernieuwing van de Keuzegids. Maar net zo interessant zijn de overeenkomsten.


10

DEELSESSIE 1 15.30 BEATRIXZAAL THEMA 1: Accreditatie en kwaliteitsinformatie SPREKER: Teun Timmers, C.H.O.I./Keuzegids Benchmarking met landelijke gegevensbronnen Landelijke gegevensbestanden, zoals de resultaten van de Nationale Studentenenquête of de studierendementstatistieken van de HBO Raad, vormen een dankbare en soms nog onderschatte bron voor benchmarking. Door hun landelijke dekking, uniformiteit in definities en eenvoudige toegankelijkheid bieden deze bestanden een geschikte basis om de prestaties van een instelling of opleiding af te zetten tegen relevante collega-instellingen of opleidingen. Toch kent dit vergelijkingswerk ook valkuilen, die je graag wil omzeilen: - Hoe voorkom je dat er appels en peren worden vergeleken, oftewel: hoe krijg je de juiste vergelijkingsbasis? - Hoe onderscheid je relevante signalen van statistische ruis en toevalsfluctuaties? In deze workshop gaan we op dergelijke kwesties in. Hier een voorproefje:

Studierendement: welke universiteit scoort het hoogst? Universiteit A Instroom Diploma's %Ba na 4jr Rechten 800 440 55% Wiskunde 40 26 65% Psychologie 200 140 70% TOTAAL 1040 606 58% Universiteit B Instroom Diploma's %Ba na 4jr Rechten 200 100 50% Wiskunde 70 44 63% Psychologie 500 335 67% TOTAAL 770 479 62% Wie wijzen we nu als winnaar aan?? Universiteit B, met het hoogste overall rendement? Of Universiteit A, die in elke studierichting hoger scoort? In dit geval is het antwoord vrij simpel: A. Maar dat geldt niet altijd. Daarom presenteren we in de workshop een aanpak die ook in meer complexe situaties uitkomst biedt. En we laten de deelnemers zelf aan deze aanpak proeven.


11

DEELSESSIE 2 (geheel Engelstalig) 15.30 ZAAL 2002/2003 THEMA 2: Kwaliteitsinformatie voor het grote publiek SPREKER: Johnny Rich, PUSH.co.uk

The UK has a diverse higher education system with a wide choice of universities. Each has different strengths and weaknesses. Each offers different ways to study and environments to do it in. And each is suitable for different students. Push has been at the forefront of developing ways to help individual students find the right university for them, creating an innovative approach which appeals to students and makes best use of the exclusive data they research and the unique delivery technology. In this seminar, Johnny Rich, who founded the organisation in 1992, will share how and why Push do what they do. The session will cover: • What's wrong with university league tables? • What really matters to students? • Framing the message: why does careers information need to be dull? • Reaching out: using different media effectively There will be an opportunity to ask questions and share your own reflections and experiences.


12

DEELSESSIE 3 15.30 ZAAL 2006/2007 THEMA 3: De Verbeterfunctie SPREKER: Lex Freund, Hogeschool Rotterdam

Het dashboard: alle stuurinformatie in één oogopslag beschikbaar, en dan… Onderwijskwaliteit gekwantificeerd zichtbaar maken is een uitdaging op zich. De Hogeschool Rotterdam is sinds 2005 actief met het ontwikkelen van een instrumentarium dat dit mogelijk maakt. De ervaring opgedaan in het ontwikkelen hiervan komt in de workshop aan bod, maar ook thema's als: wat zijn nu KPI's met een hoofdletter 'K' en hoe zorg je ervoor dat er echt mee gestuurd wordt. En om het makkelijk te maken: hoeveel versies van de waarheid kent uw organisatie en hoe gaat u daar mee om? Bij kwaliteitszorg wordt al snel gedacht aan input, output en processen. Iedereen wil daar ook graag informatie over, maar hoe regel je dat op een structurele manier en; dient de kwaliteitszorg zich niet ook op de informatievoorziening zelf te richten? Omgaan met managementinformatie om werkelijk te kunnen sturen (denk aan de PDCA cyclus) vergt ook bepaalde (management)kwaliteiten die soms nog ontwikkeld moeten worden. (Lees verder op volgende bladzijde)


13

Aan een dashboard worden dus niet alleen technische eisen gesteld, maar ook kwaliteitseisen die maken dat het aansluit bij de behoefte van management en bestuur en het niveau kwaliteitszorg van de organisatie. Daarbij begint het met de juiste set KPI's (stelregels: SMART en 'less is more') en een gebruiksvorm die snel te leren is en ook snel antwoord geeft op de meest voorkomende sturingsvragen. Van doorslaggevend belang is dat de organisatie ook werkelijk met de informatie aan de slag gaat en vertrouwen heeft in de geleverde cijfers. Dat als er een vraag wordt gesteld men eerst even het dashboard raadpleegt bijvoorbeeld. Eigen spreadsheets moeten uiteindelijk de prullenbak in, maar daar is draagvlak voor nodig en dan is alleen een mooie cockpit niet voldoende. Het ontwikkelen van een dashboard en onderliggend datawarehouse roept automatisch veel vragen op over hoe zaken feitelijk zijn ingericht (technisch maar ook organisatorisch) en hoe kwaliteit meetbaar kan worden gemaakt. De enige manier om het boven tafel te krijgen is door er mee aan de slag te gaan. Ook hier geldt de ijzeren kwaliteitscyclus: Plan Do Check en Act.


14

PLENAIRE SESSIE 5 16.10 BEATRIXZAAL THEMA 3: De verbeterfunctie SPREKERS: Han de Looper, CHOI/Keuzegids Henno van Horssen, Voorzitter ISO

Kwaliteitsinformatie en Studentbestuurders Bij het voorbereiden van de conferentie ‘Onderwijskwaliteit zichtbaar maken’ dienden zich steeds drie kwesties aan: welke gegevens worden er verzameld? Hoe wordt die informatie ontsloten en ten slotte, wat gebeurt er uiteindelijk mee? Toegespitst op een specifieke groep binnen de wereld van het hoger onderwijs, de bestuurlijk actieve studenten, werd in samenwerking met de landelijke studentenorganisaties ISO en LSVb een klein onderzoek gehouden. De drie genoemde vragen stonden daarbij centraal en werden voorgelegd aan studenten uit inspraakorganen op centraal en decentraal niveau binnen hogescholen en universiteiten. Naast een kleine enquête werd een aantal diepte-interviews gehouden om een inzicht te krijgen in de mate waarin en de wijze waarop studentbestuurders informatie over onderwijskwaliteit tot hun beschikking hebben. Het leverde een gevarieerd beeld op, met anekdotes die positieve en negatieve uitschieters illustreerden. Toch kwam ook een duidelijk algemeen beeld naar voren. Tijdens de conferentie zullen de resultaten van dit (bescheiden) onderzoek bekend gemaakt worden in de sessie ‘Studenten en kwaliteit’ gepresenteerd door Han de Looper, namens CHOI/Keuzegids. De voorzitter van het ISO, Henno van Horssen, zal zijn visie geven op de rol van studentbestuurders in de kwaliteitszorg, het belang van goede kwaliteitsinformatie in het hoger onderwijs en de consequenties die aan het tekort schieten van de kwaliteit verbonden moeten worden.


15

PLENAIRE SESSIE: DEBAT 16.30 BEATRIXZAAL

Tijdens het debat zullen de zes leden van het forum steeds in tweetallen reageren op stellingen die verband houden met de drie thema’s van de dag: •

Thema 1: Accreditatie en kwaliteitsinformatie Zonder uitgebreide standaardset kengetallen over onderwijskwaliteit blijft accreditatie ondoorzichtig.

•

Thema 2: Kwaliteitsinformatie voor het grote publiek Studiekiezers blijven toch kiezen op reisafstand en verhalen van vrienden.

•

Thema 3: Kwaliteitszorg, de verbeterfunctie Kwaliteit mag iets kosten, wanprestatie ook.

Het debat wordt geleid door Joeri van den Steenhoven, voorzitter van de Stichting Nederland Kennisland De deelnemers aan het debat zijn: - Olchert Brouwer voorzitter CvB, Amsterdamse Hogeschool voor de Kunsten - Jan Jacob van Dijk lid Tweede Kamer, CDA - Henno van Horssen voorzitter ISO - Gert Poppe schooldecaan Vossius Gymnasium Amsterdam - Felipe Salve beleidsmedewerker Institutional Research, Universiteit Utrecht - Frank Steenkamp directeur C.H.O.I. en hoofdredacteur Keuzegids Ook de zaal wordt van harte uitgenodigd deel te nemen aan het debat.


16

ACHTERGRONDINFORMATIE, 1: ACCREDITATIE 1. Het nieuwe accreditatiestelsel (bron: nieuwsberichten voorjaar 2010) Vanaf eind 2010 worden alle studies in het hoger onderwijs opnieuw beoordeeld. Universiteiten en hogescholen die aannemelijk maken dat hun voorzieningen en interne kwaliteitszorg in orde zijn, mogen hun opleidingen ‘beperkter’ laten toetsen. Ze hoeven bijvoorbeeld niet meer voor elke afzonderlijke opleiding te bewijzen dat het personeelsbeleid deugt. Dat is de kern van de voorgestelde accreditatiewet, die zojuist is aangenomen door de Tweede Kamer. De behandeling in de Eerste Kamer wordt op korte termijn verwacht. In de nieuwe accreditatieronde komt er een mengvorm: voor randvoorwaarden als faciliteiten, personeelsbeleid en medezeggenschap worden instellingen dan als geheel gewogen door de NVAO. Die zaken hoeven niet meer aan de orde te komen bij iedere opleidingstoets. Verder worden kwaliteitsverschillen straks beter zichtbaar. Tot nu toe oordeelde de NVAO louter of een opleiding ja/nee voldeed aan de basiskwaliteitseisen. Maar straks worden de oordelen op een vierpuntsschaal gegeven. Hiermee is al wat ervaring opgedaan, want de panels die opleidingen voor de NVAO moesten beoordelen, gaven de afgelopen jaren al wel gedifferentieerde oordelen op deelaspecten. Dit werd echter samengevat in louter voldoendes en (zeer zeldzame) onvoldoendes. Straks moet een panel ook de opleiding als geheel beoordelen in termen van ‘onvoldoende’, ‘voldoende’, ‘goed’ of ‘excellent’. Er wordt nog gewerkt aan de precieze criteria voor het zogenoemde accreditatiekader. Dit is naar verwachting in mei klaar. Voor die tijd moet het parlement beslissen of het akkoord gaat met de vernieuwde accreditatiewet. 2. Het waarom van de differentiatie in oordelen bron: brief K. Dittrich (NVAO) aan M. van Bijsterveldt (staatssecr. OCW) 22 maart In het wetsvoorstel wordt een opleiding niet alleen maar wel of niet geaccrediteerd. Opleidingen krijgen straks ook het predicaat onvoldoende, voldoende, goed of excellent. Dit voorstel is volgens de NVAO “gebaseerd op de behoefte in de samenleving om meer onderscheid te maken in de kwaliteit van opleidingen.” Met een gedifferentieerd oordeel kan het accreditatieselsel ook meer bijdragen aan kwaliteitsverbetering van opleidingen. In het huidige stelsel mochten panels al op elk onderdeel een oordeel uitspreken op een vierpuntsschaal. Dat deden ze ook; alleen bleken de visiterende instanties (VBI’s) verschillende normen te hanteren van wat ‘goed’ is. In het nieuwe stelsel wordt van de panels een gemotiveerd kwaliteitsoordeel gevraagd, niet alleen over onderdelen maar juist ook over het geheel van de opleiding. Dat oordeel wordt door de NVAO getoetst op validiteit. De volgende normen komen in het accreditatiekader: onvoldoende: voldoet niet aan de (inter)nationaal gangbare basiskwaliteit van ba/ma. voldoende: voldoet aan de basiskwaliteit van bachelor en master; goed: de kwaliteit steekt in aanzienlijke mate boven de gangbare basiskwaliteit uit; excellent: de kwaliteit steekt ver uit boven de gangbare basiskwaliteit en kan als een (inter)nationaal voorbeeld van ‘good practice’ dienen. Volgens de NVAO zijn deze normen al goed werkbaar gebleken ineen aantal pilots met het nieuwe accreditatiesysteem. Verder gaat de NVAO beslisregels stellen voor de manier waarop scores op aparte onderdelen van de beoordeling leiden tot een oordeel over de opleiding als geheel.


17

Aan het slot van zijn brief, die mede dient ter beantwoording van vragen in de Kamer, zegt Dittrich nog het volgende: “Het Nederlandse kwaliteitszorgstelsel kent (..)al een lange traditie van gedifferentieerde beoordelingen.” Tijdens het bestaan van het visitatiestelsel werd geoordeeld met een tienpuntsschaal (WO) of een vijfpuntsschaal (HBO). “Deze oordelen werden toentertijd gebruikt om ranglijsten op te stellen, zoals bijvoorbeeld in de Keuzegids Hoger Onderwijs.” “In Europa wordt in steeds meer landen gediscussieerd over de wenselijkheid gedifferentieerde oordelen uit te spreken. In die landen spelen dezelfde motieven een rol die ook in de Nederlandse discussie een doorslaggevende betekenis hebben: transparantie van verschillen in kwaliteit, stimulansen tot verbetering, informatie ten behoeven na studenten en ouders.” Het nieuwe accreditatiestelsel sluit volgens de NVAO aan op deze trend. 3. Welke informatie als INPUT in het accreditatieproces? Bron: voorbespreking met NVAO Ook in de afgelopen periode moesten opleidingen beoordeeld worden op aspecten die in meer of mindere mate meetbaar zijn. In de richtlijnen voor accreditatie, die zowel door opleidingen als door beoordelingspanels werden gebruikt, stonden daarom ook termen als contacturen, studierendement en docent-student-ratio. Maar in de praktijk werden deze onderwerpen in de visitatierapporten zelden in meetbare en toetsbare termen opgenomen. In de nieuwe accreditatieronde wil de NVAO naar eigen zeggen op dit punt meer regie gaan voeren. Het gebruik van een aantal kengetallen wordt voorgeschreven. Daaronder vallen in elk geval de drie bovengenoemde, plus de groepsgroottes in de diverse onderwijssoorten. 4. De vindbaarheid van informatie over NVAO-keurmerken Bron: Frank Steenkamp “Duizenden keurmerken, weinig transparantie” artikel www.qazine.eu, februari 2010 Als onderwijsconsument wil je op één plek van elke opleiding checken of deze officieel geregistreerd is, met welke naam en inhoud en op basis van welke kwaliteitsbeoordeling. De accreditatie door de NVAO vervult in dit verband een sleutelrol, maar optimaal vindbaar is de informatie nog niet. De zoekfunctie is bijvoorbeeld erg strikt: namen moeten exact ingetikt worden. En als opleidingen van naam veranderd zijn, staan ze bij de NVAO vaak nog onder de oude naam. Eigenlijk zou je van alle opleidingen de beoordelingen (de "facetscores" uit visitatierapporten) willen kunnen doorzoeken. Op zulk gebruik is de NVAO-website niet ingericht. Wie het niveau van afgestudeerden bij de SPH-opleidingen wil vergelijken, moet twintig keer twee pdf-bestanden openen en 600 pagina’s tekst doorzoeken. Dat kost uren. Dat brengt bijna niemand op.


18

ACHTERGRONDINFORMATIE 2: KWALITEITSINFORMATIE IN GIDSEN EN WEBSITES Dankzij de Elsevier-bijlage “De Beste Studies” en de Keuzegids Hoger Onderwijs kent Nederland al vijftien jaar publicaties die studiekiezers informeren over de kwaliteit van opleidingen. De vraag “waar vind ik de beste opleiding?” is echter niet specifiek Nederlands. Gidsen en websites met studiekeuze-informatie bestaan er in vele vormen, overal in Europa – en ver daarbuiten. Als achtergrondinformatie bij deze conferentie is hiervan een dwarsdoorsnede gemaakt. We legden een selectie van elf gidsen en websites naast elkaar. Welke informatie wordt er geboden? Hoe is die georganiseerd? Welke bronnen zijn er? En de visuele presentatie, hoe is die? Naast de Nederlandse oeruitgaven Keuzegids en Elsevier werden gidsen uit het Verenigd Koninkrijk en Italië gelegd, maar ook uit de VS en Argentinië. En tegenover Studiekeuze123 legden we een Duitse en een Britse website. Er is gekeken naar 19 criteria, verdeeld in zes clusters. Daarnaast is genoteerd wat ieder product uniek maakt. De resultaten staan samengevat in de tabel aan het eind van dit artikel. Hier eerst een aantal impressies. Bronnen Alle gidsen en sites maken, in wisselende mate, gebruik van gegevens van de instellingen zelf. Ook landelijke statistieken en eigen redactioneel onderzoek blijkt zo goed als universeel. Kwaliteitsoordelen van studenten, deskundigen en alumni zijn niet overal gemeengoed. De website PUSH laat bijvoorbeeld met opzet de Britse nationale studentenenquête links liggen. De Argentijnse gids gebruikt vrijwel alleen landelijke statistieken; maar deze pretendeert ook geen kwaliteitsvergelijking. Beschrijving Naast statistieken bevatten de gidsen (en soms de websites) ook beschrijvingen van instellingen en studies. Voor wie de sfeer van een instituut belangrijk vindt of zich echt nog wil oriënteren op een aantal vakgebieden is deze informatie onontbeerlijk. De Times University Guide bedient iedereen ruimschoots, terwijl bijvoorbeeld de Amerikaanse Princeton gids en de Britse Virgin-gids alleen informatie bieden op het niveau van hele instellingen. De Argentijnse gids doet het nog anders: wel landelijke informatie per studierichting, maar nauwelijks vergelijking tussen instellingen. Beschrijvingen of vergelijkende bespreking van opleidingen (dus studie per instelling) zien we in de Nederlandse publicaties, maar is elders verre van vanzelfsprekend. Vergelijkingsmethode Als het gaat om de wijze van presenteren en vergelijken, zien we drie modellen: • Naslagwerken met kwaliteitsscores per instituut, à la Michelingids • Rankings, die alle instituten volgens vaste criteria de maat nemen • Vergelijkingssites, waar de bezoeker zijn eigen criteria kiest Elk model kent varianten en er zijn ook mengvormen. Bij de vergelijkingssites mag de bezoeker altijd zelf de criteria kiezen, maar de presentatie van het resultaat loopt sterk uiteen. De ‘Hochschulranking’ van het Duitse CHE toont bijvoorbeeld een radarplot, waarbij de instelling die het meest voldoet het dichtst bij het centrum staat. (zie figuur 1, pag.23). Knap geprogrammeerd, maar niet altijd zo inzichtelijk. De Britse PUSH-website zet eenvoudig de opleidingen onder elkaar met een percentage ‘overeenkomst met ingevoerde criteria’ (zie figuur 2, pag 23). In het verleden bood ook de Nederlandse website Studiekeuze123 een dynamische ranking, maar deze is recent niet meer terug te vinden. Men kan opleidingen selecteren en ze met elkaar vergelijken. Steeds kunnen van maximaal vier opleidingen tegelijk de kwaliteitsgegevens bekeken worden. Daarmee is deze website nu meer opgeschoven naar een naslagwerk – met kwaliteitsscores (zie figuur 3, pag 24).


19

De meer traditionele rankings, zoals die van Elsevier, Keuzegids en de Times, bieden het voordeel van een geijkte, onderbouwde en daarmee gezaghebbende set criteria. Een mogelijk nadeel is de uniformiteit. Maar het kan ook anders: de Princeton Guide of The Best 371 Colleges biedt zijn lezer maar liefst zestig verschillende ranglijsten, waarin steeds weer op een ander criterium een top-100 is gebaseerd. De criteria variëren van het beste nachtleven tot de best bereikbare hoogleraren. Daarnaast wordt per instelling een zeer compacte beschrijving geboden, met enkele cruciale kengetallen. Ook de PUSH website biedt een paar dozijn voorgeselecteerde ‘top tens’ aan. Instroom Van die kengetallen is in alle gidsen en websites informatie over de instroom te vinden. Soms is het slechts een getal, met een man/vrouw verhouding. Soms worden ook meer kwalitatieve aspecten toegevoegd. In Engeland speelt sociale klasse nog altijd een rol, dus staat in de Times Guide dat Cambridge slechts twaalf procent studenten uit lagere klassen trekt, terwijl dit in Liverpool veertig procent is. In de VS is etniciteit een thema. Aan het vermaarde MIT blijkt zeven procent van de studenten Afro-american en twaalf procent Hispanic, zo leert de Princeton gids. In Nederland worden slaagpercentages belangrijk gevonden. We vinden ze in alle drie de onderzochte publicaties, maar alleen in de Keuzegids vormen ze een vast onderdeel van de ranking. Verder valt op dat Engeland, met zijn speciale HESA (Higher Education Statistics Agency) beschikt over een schat aan vergelijkende kengetallen. Elders lijkt het aanbod aan objectieve cijfers in het algemeen smaller. Oordelen Studentenenquêtes worden in veel landen nationaal georganiseerd en zijn dan beschikbaar voor diverse gebruikers. Dat geldt voor de Britse National Student Survey en de Nederlandse Nationale Studenten Enquête. Het oordeel van deskundigen kan ook gestandaardiseerd worden gebruikt, zoals de peer reviews van de Britse Quality Assurance Agency, die gebruikt wordt door alle Britse producten. In Nederland gebruikt de Keuzegids gegevens van de NVAO, terwijl Elsevier zelf bij hoogleraren en uhd’s peilt hoe zij over de kwaliteit van opleidingen denken. Een gevaar hierbij is dat er vooral historisch gegroeide reputatie gemeten wordt, in plaats van actuele kwaliteit. Statistiek versus oordelen Sommige kwaliteitsaspecten worden in diverse publicaties op verschillende manieren geoperationaliseerd. Onderzoekskwaliteit valt te meten in output, maar ook in reputatie. En arbeidsmarktgegevens kunnen steunen op oordelen van alumni of op meer onafhankelijke cijfers over de arbeidsmarkt en daarop gebaseerd prognoses. Bij huisvesting en levensonderhoud is goed te zien hoe onderwijsstelsels van elkaar verschillen. In de VS en het VK wordt stilgestaan bij beurzen, beschikbare woonruimte op de campus en verschillen in collegegelden. In Nederland ligt de nadruk op aanvullende studiekosten en kamerprijzen in de studentensteden. Uniek Hoewel de gidsen en websites per land vaak uit dezelfde bronnen putten, hebben ze elk toch unieke kenmerken. Er zijn verschillen in inhoud en in presentatie. Ook de toon loopt erg uiteen, van de populaire op jongeren gerichte website PUSH tot het serieuze, wat stijve format van de Times gids of de CHE website.


20

Uniek aan de Keuzegids is de combinatie van ‘harde’ ranking met toegankelijke tekst voor de doelgroep van zestien- en zeventienjarigen. Nieuwe ontwikkelingen Er zijn nog dynamische vergelijkingssites, statische rankings en mengvormen daarvan. Maar de trend is: meer webbased, meer interactiviteit. Wie nog rankings maakt, moet daarom aan steeds hogere eisen voldoen. Een interessante aanzet in dit verband zijn twee Europese initiatieven, waar o.a. prof. Frans van Vught van de Universiteit Twente bij betrokken is. Het eerste project, U-map, voorziet in een classificatie van alle Europese universiteiten op een groot aantal objectieve criteria. Het gaat daarbij níét om kwaliteit, maar om zaken als omvang, breedte qua disciplines, onderzoeksactiviteit, en contact met bedrijven. Daarmee kan men zelf groepen universiteiten vormen die men verder wil vergelijken (zie figuur 4, pag.24). In een tweede project, U-multirank, kunnen instellingen daarna vergeleken worden op een groot aantal kwaliteiten. De informatie die hiervoor nodig is, moet de komende jaren nog verzameld worden. De uniformiteit en volledigheid worden daarbij mogelijk struikelblokken. Een ander project om het Europese hoger onderwijs in kaart te brengen gaat uit van ECA, het Europese consortium voor accreditatie in het hoger onderwijs, waar namens Nederland en Vlaanderen de NVAO deel van uitmaakt. De website qrossroads.eu zal binnenkort inzicht gaan bieden in het aanbod aan hoger onderwijs in tenminste tien Europese landen.


21

TABEL 1: VERGELIJKING WEBSITES EN GIDSEN


22

VOORBEELDEN VAN GIDSEN EN WEBSITES

Figuur 1: Radarplot-weergave op Duitse CHE-site

Figuur 2: PUSH website: Percentages geven overeenkomst met gekozen criteria


23

VOORBEELDEN VAN GIDSEN EN WEBSITES (Vervolg)

Figuur 3: Studiekeuze 123, maximaal vier opleidingen tegelijk naast elkaar.

Figuur 4: U-map: Europese classificatie en vergelijking van instellingen


24

Onderwijskwaliteit zichtbaar maken. Middagconferentie

Recommend Documents