Goed-beter-best, over evaluatie en samenwerking in hoger onderwijs. Een verslag

12e Frans-Nederlandse ontmoetingsdagen 10-11 mei La Rochelle, Frankrijk.

Goed-beter-best, over evaluatie en samenwerking in hoger onderwijs Een verslag

De ontmoetingsdagen werden door het Réseau Franco-Néerlandais (Lille) en de Frans-Nederlandse Academie (Utrecht) georganiseerd aan de Letterenfaculteit van de Université de La Rochelle. Het thema van de ontmoetingsdagen van 2012 is de kwaliteit van opleidingen aan universiteiten, grandes écoles en hogescholen in Nederland, Frankrijk en Vlaanderen, op bachelor en masterniveau. En over de manier waarop deze gemeten en beoordeeld wordt. Twee begrippen zijn daarvoor van belang: evaluatie en accreditatie. Evaluatie meet de kwaliteit van de opleiding door deze langs een meetlat te leggen. Als het gaat om een zelfevaluatie licht de opleiding zelf haar onderwijsprogramma door. In het geval van externe evaluatie legt een onafhankelijke organisatie de meetlat langs de opleiding om de kwaliteit ervan te bepalen. Bij accreditatie stelt een externe commissie vast of de opleiding aan de gestelde kwaliteitscriteria voldoet en het stempel goedgekeurd krijgt. In Nederland, Vlaanderen en Frankrijk worden opleidingen geaccrediteerd en geëvalueerd door verschillende organisaties en/of overheden. Daarover hieronder een verslag. Samenvatting: NB. Het thema heeft betrekking op onderwijs en opleidingen, niet op onderzoek •

Zowel in Nederland, Vlaanderen als in Frankrijk worden opleidingen in hoger onderwijs geëvalueerd.

•

Voor Nederland en Vlaanderen gebeurt dit door de NVAO, de NederlandsVlaamse Accreditatieorganisatie. In Frankrijk evalueert de AERES, het Agence de l’Enseignement Supérieur et de la Recherche, de opleidingen.

•

De presentaties van de Franse en Nederlands-Vlaamse organisaties voor accreditatie en evaluatie laten zien dat er parallelle ontwikkelingen zijn naast verschillen.

•

Zowel de AERES als de NVAO evalueert opleidingen.

•

De AERES evalueert een instelling in haar totaliteit: bestuur en beleid, onderwijs en onderzoek.

•

CTI (Commission des Titres d’Ingénieur) en NVAO accrediteren.

•

De CTI evalueert en accrediteert de Franse ingenieursopleidingen.

•

De accreditatie van opleidingen in het Franse hoger onderwijs, met uitzondering van de ingenieursopleidingen, zijn zaak van het ministerie van hoger onderwijs en onderzoek en in een aantal gevallen van andere vakministeries op basis van de rapporten van AERES.

•

De NVAO streeft met de invoer van de instellingstoets naar een vermindering van de bureaucratie.

•

Ten behoeve van het streven naar optimale transparantie zijn de rapporten van de betrokken instanties openbaar, evenals de protocollen en procedures. Dit geldt voor Nederland, Frankrijk en Vlaanderen.

•

De Boekarest Verklaring van 2012 biedt evaluatie- en accreditatieorganisaties de mogelijkheid hun activiteiten in de Europese Unie te verrichten. Dit kan evaluatie van joint degrees en programmes transparanter maken.

•

Het nieuwe accreditatie- en evaluatiesysteem dat de NVAO per 2011 invoerde, let veel meer dan voorheen op de kwaliteit van de docenten. Instellingen worden geacht deze kwaliteit regelmatig te toetsen.

•

Instellingen die gezamenlijke programma’s met een double of een joint degree ontwikkelen doen er goed aan alle ins en outs in een samenwerkingsovereenkomst vast te leggen.

•

Evaluatieorganisaties zoals AERES en NVAO zijn nog op zoek naar de juiste wijze waarop internationale opleidingen adequaat geëvalueerd zouden moeten worden. Dit staat - ook indere EU-landen - nog in de kinderschoenen. Dit heeft dan ook via EU-brede organisaties als de ENQA – European Association Quality Assurance grote aandacht.

•

NVAO, AERES en CTI leren van elkaars systemen door in elkaars landen opleidingen te evalueren.

•

Het internationaliseringsbeleid van de UPMC heeft geleid tot kwaliteitsverbetering van opleidingen, tot het hebben van meer zelfreflectie met collega-instellingen, tot de wens om de rol van studenten in onderwijsevaluatie groter te maken en een goed alumnibeleid te ontwikkelen.

•

De wens om gezamenlijke programma’s één keer in gezamenlijkheid te evalueren is nadrukkelijk aanwezig bij evaluatie- en accreditatieorganisaties zoals NVAO, CTI en AERES. Het ontwikkelen en beschikken over gezamenlijke evaluatieprotocollen is goed voor de transparantie: één oordeel over één gezamenlijk programma. En goed voor de efficiency: het scheelt veel papierwerk, geld en tijd voor de instellingen en de visitatiecommissies.

•

Het is belangrijk om evaluatie van opleidingen in een internationaal perspectief te plaatsen. Er zijn weliswaar veel (cultuur)verschillen in aanpak tussen landen, maar er zijn ook overeenkomsten. Deze als uitgangspunt nemen leidt op den duur mogelijk tot een goed Europees evaluatiesysteem.

Goed, Beter, Best: evaluatie in hoger onderwijs 10 & 11 mei 2012 – La Rochelle, Frankrijk Verslag

De presentaties in kort bestek: NVAO Ann van Neygen sinds 2008 senior beleidsmedewerker van de NVAO (Nederlands-Vlaamse accreditatieorganisatie) lichtte de systemen, methodes en instellingen voor evaluatie en accreditatie van opleidingen in Nederland en Vlaanderen toe. Zij is ondermeer betrokken bij het uitwerken van een nieuw accreditatiestelsel in Vlaanderen. Een nieuw instrument in Nederland is de “Instellingstoets”, een soort initial accreditation, die instellingen moet stimuleren om het steeds beter te doen. Inmiddels hebben alle Nederlandse universiteiten en een groot aantal hogescholen de aanvraag voor een instellingstoets ingediend. Deze instellingstoets toetst de instelling in haar geheel op het gebied van kwaliteitszorg en –beleid en beoordeelt haar op beleid en praktijk. Bij de hieraan gelieerde beperkte beoordeling van opleidingen gaat het om inhoud en resultaat. Via de instellingstoets probeert men een paar standaardvragen te beantwoorden: Hoe werkt de instelling aan verbetering van personeelsbeleid, studeerbaarheid, kwaliteitszorg en voorzieningen? Hoe meet de instelling de resultaten, inclusief studierendementen? Er wordt daarnaast sterk gekeken naar de mate waarin er een kwaliteitscultuur gecreëerd wordt. Vervolgens wordt er gekeken naar hoe deze punten en vragen geïncorporeerd worden in de beslissings- en uitvoeringsstructuur van de instelling. De centrale vraag die de instelling beantwoordt is: hoe wordt visie omgezet in kwaliteit? De NVAO beoordeelt de instellingstoets aan de hand van een door de instelling te maken zelfevaluatie, gevolgd door een instellingsaudit door een commissie. Deze commissie, die minstens uit 4 leden bestaat, waaronder één student, wordt opgeleid en getraind door de NVAO. De NVAO spreekt op informele basis met de instelling die een audit zal ondergaan over het profiel van de instelling. Dit gesprek vormt de basis voor het samenstellen van de commissie en leidt tot ‘audit trails’ . Er vinden 2 soorten site visits plaats : 1 (algemeen) en 2 (gedetailleerd). De uitslag, zowel over de standaardvragen als over het geheel komt in een rapport met voor elk punt de volgende vaste onderdelen: bevindingen, overwegingen, oordeel, suggesties voor verbetering, samenvatting voor publicatie. Vooral dit laatste is erg belangrijk met het oog op toekomstige studenten. Zij kunnen hun studiekeus mede laten afhangen van deze rapporten. Alle uitkomsten worden gepubliceerd op de website van de NVAO en zijn dus openbaar. Een positief oordeel van de instellingstoets betekent voor opleidingen dat ze een beperktere beoordeling ondergaan (gestoeld op 3 thema’s en 3 standaarden). In de beperkte beoordeling komen die zaken aan de orde die opleidingsspecifiek zijn. Voor regelingen en afspraken die voor de instelling in haar geheel gelden, verwijst men dan naar de instellingstoets. Dit zou moeten leiden tot minder papierwerk en een sneller proces.


Bij een negatieve uitslag blijft de uitgebreide check en controle van afzonderlijke opleidingen bestaan (16 standaarden en 6 thema’s). Overigens geldt sinds kort in het geval van negatieve beoordeling van een opleiding wel een herstelperiode, waarin de instelling de tijd krijgt de kwaliteit binnen de instelling op te krikken. Het gevolg is dat het aantal negatieve beoordelingen sterk is toegenomen. Volgens Van Neygen is dit een positieve ontwikkeling. Zowel de instelling als de visiterende instantie zijn nu opener en eerlijker over respectievelijk de eigen en de te beoordelen kwaliteit. De herstelperiode geeft ademruimte en biedt de instelling de kans om echte kwaliteitsverbeteringen toe te passen. Voorheen werden veel opleidingen positief beoordeeld terwijl er toch vaak sprake was van significante negatieve aspecten, omdat de gevolgen van een negatief advies drastisch waren (geen accreditatie). De NVAO past ook voor Vlaamse instellingen het accreditatiestelsel toe. De trajecten en processen in Nederland en Vlaanderen lopen niet overal en helemaal gelijk. In Vlaanderen is er volgens Van Neygen een bredere focus op het accreditatieproces, de instellingstoets bestaat er overigens (nog) niet. Maar als de instellingstoets daar wordt ingevoerd, is deze dan ook verplicht – in tegenstelling tot Nederland. Van Neygen zegt dat er verschillen bestaan tussen Nederland en Vlaanderen wat betreft de evaluatie, zo is het visiteren van de organisatiestructuur in Vlaanderen niet ingeschreven in het decreet. Een ander verschil is dat er in Vlaanderen clusters van opleidingen worden gevisiteerd. Voorts wordt in Nederland accreditatie verleend voor een periode van 6 jaar, in Vlaanderen voor 8 jaar. AERES Jean-Marc Geib, sinds 10 juni 2011 directeur van de afdeling “opleidingen en diploma’s” van het AERES (Agence d’Evaluation de la recherche et de l’enseignement supérieur), lichtte de systemen, methodes en instellingen voor evaluatie en accreditatie van opleidingen toe in Frankrijk. Er zijn belangrijke verschillen met Nederland en Vlaanderen: het AERES accrediteert niet (dat doet het Franse Ministerie van hoger onderwijs en onderzoek, MESR). Daar staat tegenover dat de ‘evaluatieopdracht’ van het AERES bijzonder breed is en betreft: • alle hoger onderwijsinstellingen (ca. 100) • onderzoeksorganisaties (dit is een unicum onder de evaluatieorganisaties) • alle opleidingen op bachelor-, master-, PhD-niveau (ca. 4.000 opleidingen) • alle onderzoekseenheden (‘unités de recherche’) die overheidsfinanciering ontvangen (ca.3.500). Het AERES evalueert om de vijf jaar. Dit is door de omvang van de operatie een logistiek en organisatorisch ingewikkelde onderneming. Er wordt daarom per ‘vague géographique’ geëvalueerd. Op dit moment zijn de Région Parisienne en Ile de France aan de beurt. Het AERES heeft 80 administratieve medewerkers en de Raad van Toezicht telt 25 leden. Honderdtien wetenschappelijke afgevaardigden zijn elk belast met een bepaald onderwijs- en/of onderzoeksgebied. Zij kunnen vissen uit een poel van 10.000 externe deskundigen, waaronder 25% buitenlanders. Over een tijdspanne van 5 jaar zijn in totaal 6.000 deskundigen bij de evaluaties betrokken. Jean-Marc Geib benadrukt overigens dat het vaak lastig is opleidingen (onderwijs) los van onderzoek te beschouwen.


Het AERES evalueert instellingen als geheel (bestuur en beleid, onderwijs, onderzoek). Evaluatierapporten bevatten de volgende vaste onderdelen: opsomming sterke en zwakke punten, aanbevelingen, algemene informatie over de instelling en een eindcijfer. Vooral deze laatste maakt het gemakkelijker instellingen onderling te vergelijken. Het AERES wijst op haar onafhankelijkheid van het ministerie (MESR) en het feit dat al haar procedures eigen procedures zijn. Daarnaast vormt evaluatie door peers een zeer belangrijk aspect. De rapporten van de AERES zijn adviserend en in geen geval beslissend. De uiteindelijke beslissing over accreditatie ligt bij het ministerie. Ook bij de AERES staat transparantie voorop: alle verslagen zijn openbaar en zijn dan ook voor alle ‘stakeholders’, met inbegrip van studenten en media, toegankelijk. Verder is beroepsethiek van het grootste belang. Zo is het in Frankrijk verboden om docenten te evalueren, alleen het onderwijs wordt bekeken, rechtstreekse kritiek op de docent mag door de student niet gegeven worden. Over het algemeen, zegt Jean-Marc Geib, worden de studenten in Frankrijk nog onvoldoende bij het beoordelingsproces betrokken. Over het evalueren van opleidingen in het bijzonder valt het volgende op te merken: Omdat het AERES niet accrediteert, evalueert het ook nooit projecten, maar slechts bestaande opleidingen. Het maakt de balans op na vijf jaar bestaan en functioneren van een opleiding. Externe evaluatie door het AERES geschiedt altijd na een eerste fase van zelfevaluatie, door de instelling zelf dus. Ook in Frankrijk heb je dus eerst een zelfevaluatie (auto-évaluation) die vandaag de dag verplicht is en ook veel strenger gereglementeerd dan een paar jaar geleden. Net als in Vlaanderen en Nederland worden de instellingen op het gebied van opleidingen op een aantal punten bekeken, zoals de uitvoering van het onderwijsbeleid (construction du projet pédagogique, ‘compétences attendues’ (learning outcomes) arbeidsmarktcompetenties (les résultats en termes d’insertion professionnelle) en de opbouw van de opleiding. Is er bijvoorbeeld voldoende interne kwaliteitsbewaking? Alle gehanteerde criteria resulteren in een deelcijfer, volgens de schaal A+, A, B, C. Over een periode van drie jaar haalde 50% van de opleidingen de cijfers A en A+. De eindbeoordeling C, die op een (groot) probleem wijst, betrof over diezelfde periode nog geen 10% van de geëvalueerde opleidingen. Op basis van deze cijfers wordt geen ranking vastgesteld, maar worden categorieën aangeduid. Het AERES bestaat pas vijf jaar en ziet haar opdracht als het begeleiden van de instellingen in een algemeen proces van kwaliteitsverhoging van het systeem van hoger onderwijs in Frankrijk.


CTI Marie-Jo Goedert is verantwoordelijk voor internationale relaties bij CTI (Commission des titres d’ingénieur) en vertegenwoordigt de CTI bij het European Consortium for Accreditation (ECA). Zij is daarnaast beleidsmedewerker bij de algemene directie van ESTP Paris-French Engineering and Management Education en al meer dan tien jaar hoofd internationalisering van dezelfde instelling. Het beroep ingenieur wordt in Frankrijk niet door de overheid geregeld of beschermd, maar het ingenieursdiploma is in Frankrijk wel bij wet geregeld. De Franse ingenieursopleidingen worden geëvalueerd en geaccrediteerd door de CTI. Dit is de oudste accreditatieorganisatie ter wereld (1934). Het is een onafhankelijke organisatie, die belast is met een ‘missie van openbaar belang’ (mission d’intérêt public’). De financiering van de CTI komt voor 55% van het bevoegde ministerie (MESR), 40% van de instellingen, en 5% van internationale bijdragen. De raad van bestuur van de CTI bestaat uit 32 leden: 16 vertegenwoordigers van hoger onderwijsinstellingen en 16 van het bedrijfsleven, zowel werkgevers als werknemers. Daarnaast doet de CTI een beroep op een aantal deskundigen en beschikt over een team vaste medewerkers. Alle ingenieursopleidingen, zowel van overheidsinstellingen als van privéinstellingen, moeten één keer in de zes jaar geëvalueerd worden. De opleidingen die door de AERES worden geëvalueerd worden elke 5 jaar onder de loep genomen. Voor een structuur als de CTI is deze zesjarige cyclus zwaar. Er worden in Frankrijk jaarlijks 30 000 ingenieursdiploma’s uitgereikt. Ca. 600 000 Franse ingenieurs hebben een door CTI geaccrediteerd diploma. De procedure bij evaluaties / accreditaties verschilt nauwelijks van die bij de NVAO of het AERES: • De instelling stelt een zelfevaluatierapport op basis van richtlijnen van de CTI. • Er wordt een bezoek gebracht aan de instelling door een commissie van de CTI, een audit team, waarin standaard één student en één buitenlandse expert zitting hebben. • Het auditteam stelt zijn rapport op, op basis waarvan de Raad van bestuur van de CTI een eindoordeel formuleert: • Accreditatie voor 6 jaar met aanbevelingen; • Accreditatie voor 3 jaar of minder ingeval van ernstige problemen • Geen accreditatie. De beslissing van de CTI wordt bekrachtigd door de Franse overheid, in de praktijk het bevoegde ministerie (MESR, eventueel ook Industrie of Landbouw). De CTI evalueert niet alleen de inhoud van de opleiding, met inbegrip van toelatingsexamen en waarde op de arbeidsmarkt, maar ook de structuur en beleid van de instelling, samen met haar internationale dimensie en uitstraling. De vaste criteria bij de beoordeling van opleidingen zijn o.a.: • het aantal contacturen dat studenten gedurende de voorafgaande 6 semesters hebben genoten (tussen de 1800 en 2000); • de mate van projectonderwijs en het belang van teamwerk; • evenwichtige onderwijsinhoud; daarmee wordt voornamelijk bedoeld: het evenwicht tussen de theoretische en de toegepaste wetenschappelijke opleiding, en het verwerven van de managerscompetenties.


• •

minimaal 28 weken beroepservaring via stages, waarvan een verplichte buitenlandstage van minstens 3 maanden; verplichte certificering van kennis van het Engels (niveau B2/C1).

CTI accrediteert op verzoek ook opleidingen in het buitenland, o.a. in België, Bulgarije en Zwitserland. Voorts hebben ze een samenwerking met Canada (Ordre des ingénieurs du Québec en de Canadian Council of engineers). In Europees verband is de CTI sinds 2005 volwaardig lid van ENQA, sinds 2010 staat zij geregistreerd in het EQAR-register. De CTI is ook medeoprichter van ECA en van het specifieke netwerk voor ingenieursopleidingen EUR-ACE. Hierdoor worden uitwisseling van ‘good practices’ en wederzijdse erkenning van geaccrediteerde opleidingen bevorderd. Dit is o.a. het geval met de Zwitserse organisatie OAQ en de NVAO. Key note Patricia Pol is sinds september 2011 verantwoordelijk voor de afdeling Europese en internationale zaken van het AERES. Zij is tevens docente bij de Université Paris Est-Créteil, waar ze jarenlang vicevoorzitter voor internationalisering was. In haar lezing ligt de nadruk op internationalisering van hoger onderwijs, de definitie, uitvoering en evaluatie van internationaal beleid van universiteiten, evaluatie van overheidsbeleid van hoger onderwijs en de Europese ruimte voor hoger onderwijs en onderzoek. Internationalisering heeft sinds de jaren 90 een dubbele betekenis: het is enerzijds het proces waarbij de internationale en interculturele dimensie in alle aspecten van hoger onderwijs (zowel bij docenten en studenten) en onderzoek opgenomen wordt. Daarnaast slaat het begrip op de ontwikkeling van een specifiek beleid bij instellingen, dat erop gericht is een strategie van internationale samenwerking op te zetten. Sinds 2010 zien we volgens Patricia Pol de trend verschijnen waarin internationalisering volledig deel uitmaakt van de strategie en het instellingsbrede beleid. Er wordt niet meer een speciaal beleidsplan internationalisering opgesteld. Er is eerder sprake van global strategic management. Deze ontwikkeling is gebaseerd op de veronderstelling dat internationalisering een middel is om de kwaliteit van de prestaties van hoger onderwijsinstellingen te verbeteren. Recent gehouden enquêtes wijzen uit dat deze kwaliteitsverbetering inderdaad een feit is, met name voor wat betreft het internationale bewustzijn van studenten en de kwaliteit van de ‘output’ van instellingen in het algemeen. Maar er zijn ook risico’s aan verbonden, o.a. dat opleidingen steeds meer als verhandelbare ‘waren’ worden gezien (‘commodification of education programmes’) en dat de concurrentiestrijd op deze ‘markt’ tussen hoger onderwijsinstellingen op den duur de kwaliteit van internationale samenwerking schaadt. Daarnaast blijft het lastig om internationalisering in cijfers uit te drukken. Ook mobiliteitscijfers blijven lastig leesbaar. Dit maakt het trekken van gedegen conclusies moeilijk.


Zij haalt tevens de Boekarest Verklaring aan van april 2012, die evaluatie- en accreditatieorganisaties, mits in het Europese EQAR geregistreerd, de mogelijkheid biedt hun activiteiten over het hele gebied van de Europese Hoger Onderwijsruimte uit te oefenen. Dit kan een efficiënt instrument worden voor de evaluatie van ‘joint & double degree programmes’. In 2015 zullen er richtlijnen komen voor verdere ontwikkelingen op het gebied van internationalisering van hoger onderwijs via joint degrees en joint programmes. Mevrouw Pol schetst vervolgens de Franse situatie: Frankrijk kent een sterke traditie van inkomende studenten: 13% van de studentenpopulatie in 2011, zo’n 250.000 buitenlandse studenten, doet hun studie in Frankrijk. Met ongeveer 50.000 Franse studenten die naar het buitenland gaan voor hun opleiding, is er hier dus sprake van een onevenwichtige situatie. Overigens gaan in het kader van het Erasmusprogramma wel iets meer Franse studenten naar een ander EU-land voor studie of stage dan dat er EU-studenten naar Frankrijk komen. Ze wijst daarbij op het aanbod Engelstalige Masters, die steeds meer buitenlandse, en dus ook Franse, studenten aantrekken. In Franse universiteiten komen steeds meer faculteiten en opleidingen die een actief internationaliseringsbeleid voeren. Ook stijgt het aantal ‘transnationale opleidingen’, hetzij door joint & double degrees, hetzij door delocalisering van opleidingen (off shore campuses). Betrouwbare cijfers hierover zijn echter nog niet beschikbaar. De AERES heeft nog geen goed beeld over de kosten en baten van internationalisering. In de eerste vijf jaar van haar bestaan (2007-2011) richtte het AERES zich niet specifiek op de evaluatie van de internationale dimensie, dit was toen nog een van de criteria van de algemene evaluatie. Zo stond er bijvoorbeeld bij criterium 15 (opleidingen): ‘type internationaal partnerschap, het aantal betrokken studenten, het aantal Erasmus Mundus Masters, joint en/of double degrees’. En bij het evalueren van doctorale opleidingen zijn er bijvoorbeeld slechts 4 criteria (van de 36 in totaal) die betrekking hebben op internationalisering. Over het algemeen wordt in de evaluaties internationalisering niet zo vaak aangehaald als andere beleidstrategieën zoals die op het gebied van onderwijs en onderzoek. Als dit gebeurt, is het eerder als een zwak punt en blijft internationalisering in de waarneming van de instellingen en voor de zelfevaluaties, een grote uitdaging. Voorlopig onderzoekt het AERES verder naar de beste manier van evalueren van de internationale dimensie. Is dit door middel van specifieke evaluaties (cf. NVAO), door bestaande criteria aan te scherpen en te verbeteren in de zogeheten ‘geïntegreerde evaluaties’? En wat is de beste methode om joint degrees, branch & off shore campuses te evalueren? Onder leiding van de NVAO werkt de AERES aan het opzetten van een gezamenlijke evaluatie van Erasmus Mundus Programma’s. Dit om te zorgen dat een programma niet onnodig en/of onterecht tweemaal geëvalueerd wordt. In haar conclusie spreekt mevrouw Pol de wens uit voor nog meer samenwerking tussen organisaties die evaluaties uitvoeren, voor meer uitwisseling van “best practices”, en voor verder onderzoek naar de impact van evaluaties.


Keynote Paul Delnooz is directeur van de Mind Management Academy in Breda en lector aan de Avans Hogeschool in dezelfde stad. Hij spreekt over de “Creatieve Actie Methodologie”, een methode die hij ontwikkelde en waarop hij promoveerde. In samenwerking met hogescholen en universiteiten implementeert hij nu met succes deze methodologie bij verschillende opleidingen. Zijn lezing raakt weliswaar niet direct aan het thema van evaluatie en accreditatie, maar geeft wel een voorbeeld hoe je de kwaliteit van de afstudeerprojecten van studenten kunt verbeteren door een andere methode van werken. Delnooz stelt dat onderwijs en innovatie gelijk aan elkaar zijn. Vanuit die conclusie stelt hij de vraag: hoe verhoog je met innoverend onderwijs de kwaliteit van onderwijs? Volgens hem lenen huidige onderwijsmethodes zich daar niet adequaat genoeg voor. Hij pleit dan ook voor het totaal loslaten van de bestaande structuur en te kiezen voor de tactiek van de chaos. In plaats van het ‘veilige’ overdragen van kennis van docent op student, wil hij de student dwingen tot creatief denken. Dit doet hij door studenten zelf de vragen te laten bedenken en te stellen en ook zelf de antwoorden te vinden. Een kritische en bewustwordingsdenkwijze bij de studenten én de docenten opwekken, dat is het idee van Delnooz. De kwaliteitsverbetering komt volgens Delnooz op het moment dat men kritisch denkt om vervolgens zaken in twijfel te trekken. “Als overal al een concreet antwoord op is, dan is alles al goed, dan klopt alles. Dan mist de vraag: hoe kan ik dingen anders, beter doen?”. Delnooz heeft deze theorie doorgetrokken in het beoordelen van scripties van studenten. Hij stelt dat ook in het schrijven van deze eindwerkstukken de creativiteit en de kritische houding veelal ontbreekt waardoor het centrale denkniveau te laag is. Hij ontwikkelde daarom een barometer voor het meten van de academische waarde van een scriptie, in de hoop dat dit het niveau van de studenten en hun werk op zal krikken. Workshop 1 Geëvalueerd en dan? Inspectie hoger onderwijs Ingrid Wijgh (inspecteur hoger onderwijs) stelt dat het oude systeem (20042010) van accreditatie en evaluatie niet waterdicht was, dat het een hoge mate van bureaucratie kende en zeer arbeidsintensief was. Bovendien was het systeem meer gericht op het proces dan op de inhoud. Door het nieuwe systeem dat de NVAO in 2011 voor de Nederlandse universiteiten en hogescholen startte, wordt mogelijk een deel van deze problemen ondervangen. De instellingstoets met beperkte opleidingsbeoordelingen zou tot minder bureaucratie en grotere transparantie moeten leiden. De beperkte opleidingsbeoordelingen richten zich met het nieuwe systeem veel meer op de inhoud en dat zou studenten meer zekerheid moeten geven over de basiskwaliteit van hun opleiding en de garantie van de waarde van hun diploma. Bovendien is de onderlinge vergelijkbaarheid van opleidingen toegenomen, omdat weer steeds meer clusters van opleidingen samen geëvalueerd zullen worden.


Het nieuwe systeem besteedt ook nadrukkelijker aandacht aan de kwaliteit van de docenten door te letten op – verplichte en toetsbare - kwalificaties (BKO – Basiskwalificatie onderwijs en SKO – Seniorkwalificatie onderwijs) en het afleggen van verantwoordelijkheid in – jaarlijkse - functioneringsgesprekken. Universiteit Utrecht Margreet de Lange (Universiteit Utrecht) vertelt over de manier waarop de UU als eerste Nederlandse instelling de “instellingstoets” aanpakte. De instellingstoets is bedoeld als keurmerk van de interne kwaliteitszorg van een instelling. De UU heeft eerst zichzelf de maat genomen alvorens zij zich formeel meldde voor de toets. Dit voorbereidingsproces, dat een jaar in beslag nam, laat een aantal onvermoede zaken zien. Zo bleek het niet vanzelfsprekend dat alle docenten bekend waren met de visie op kwaliteit van de UU. De UU voerde overigens een zeer serieuze interne audit uit, met een visitatiecommissie die het hele proces zoals de NVAO dat voorstelt heeft doorlopen. De uitkomst van de eigen proefvisitatie leverde een aantal zinvolle aanbevelingen op. Deze zijn meegenomen in de uiteindelijke zelfevaluatie ten behoeve van de instellingstoets en aldus ingediend bij de NVAO. Margreet de Lange onderstreept dat de Utrechtse wijze een intensief traject was, dat veel van de mensen vroeg en ook het nodige kostte, maar dat het er toe geleid heeft dat alle pijn- en verbeterpunten glashelder in kaart zijn gebracht. Bij een positief oordeel van de NVAO van de instellingstoets is minder bureaucratie het gevolg. Immers, alle Utrechtse opleidingen, net als alle opleidingen in hoger onderwijs in Nederland en Vlaanderen, zijn verplicht om elke zes jaar heraccreditatie aan te vragen bij de NVAO. Elke opleiding schrijft vervolgens een zelfevaluatie en krijgt een visitatiecommissie op bezoek. Instellingen die beschikken over een positieve instellingstoets kunnen hun opleidingen in een beperkter kader laten beoordelen. De Lange constateert dat nog moet blijken welke waarde aan de instellingstoets kan worden toegekend. De UU was immers de eerste Nederlandse instelling, zodat er nu nog geen vergelijking gemaakt kan worden. Hogeschool Rotterdam Erwin van Braam (senior adviseur strategie Hogeschool Rotterdam) begint met een karakterschets van de stad Rotterdam en hoe de hogeschool bij de jonge bevolking van de stad wil aansluiten. De missie van de hogeschool is om bij te dragen aan de verdere ontwikkeling van de stad. Volgens Van Braam ontbrak er binnen de HR een helder antwoord op wat kwaliteit voor de instelling betekent. Vandaar dat er een kritische zelfreflectie is opgesteld. De HR zit momenteel midden in het proces. Het rapport is bijna klaar. De belangrijkste conclusies zijn volgens Van Braam dat kwaliteit systematisch gekoppeld dient te worden aan het bereiken van doelen en dat innovatie en interdisciplinariteit – vooral in het HBO – niet ten koste mag gaan van de kwaliteit van het onderwijs. Daarnaast is gebleken dat beleid niet altijd werkbaar is in de praktijk en zeker niet altijd zichtbaar.


De instellingstoets geeft volgens Van Braam helder inzicht in deze processen en biedt hulp bij het doordenken van sterke en zwakke punten. Een waardevol instrument dus. In het creëren van visie, maar vooral ook in de vertaling naar beleid (“waar kun je bijsturen?”). Daarnaast heeft het een grote meerwaarde als informatievoorzieningsinstrument voor de instelling zelf en naar buiten toe. Hogeschool Gent Rita Godyns (decaan faculteit toegepaste taalkunde, Hogeschool Gent) vertelt over de visitatie van de opleiding toegepaste taalkunde en hoe het hele proces in zijn werk ging. Zij geeft daarbij aan dat in Vlaanderen onderscheid gemaakt wordt tussen professionele bachelors en academische. Er bestaan in Vlaanderen alleen academische masters. De opleiding toegepaste taalkunde is een academische bachelor en – master opleiding. Godyns heeft het in haar presentatie over de masteropleiding. Deze opleiding kent drie masterprogramma’s: meertalige communicatie, tolken, vertalen. Het proces van evaluatie wordt voorgeschreven door de NVAO, op ongeveer dezelfde wijze als de NVAO dat doet voor Nederlandse opleidingen. De te schrijven zelfevaluatie moet voldoen aan zes aspecten: opleidingspecifieke aspecten, interne kwaliteitszorg, opbouw van het programma, doelstellingen, voorzieningen en personele aspecten. De visitatiecommissie neemt de zelfevaluatie als uitgangspunt voor haar gesprekken met diverse, bij de opleiding betrokken personen, gedurende de site visit aan de opleiding. Ook Godyns vindt het hele visitatietraject over het geheel genomen positief: een visitatie zorgt voor een interne dynamiek. Ze vraagt zich echter wel af of de baten opwegen tegen alle kosten, het hele proces is immers een enorme investering in tijd en kosten. Net als de andere panelleden vindt zij vooral de zelfevaluatie verrijkend. Workshop 2 Gezamenlijk programma, gezamenlijke evaluatie? AERES De inleiding wordt verzorgd door François Pernot. Deze Franse historicus (verbonden aan de Université Cergy-Pontoise) is sinds 2010 ook wetenschappelijk afgevaardigde voor ‘mensen maatschappijwetenschappen’ (SHS) bij het AERES. Op dit moment werkt hij samen met Mw. Pol aan de ontwikkeling van een evaluatiesysteem voor internationalisering. Internationalisering is vrij lastig te definiëren. Daarom worden drie soorten partnerschappen als uitgangspunt genomen: • •

Partnerschappen die zuiver en alleen een (verplichte) uitwisseling van studenten en docenten behelzen (bijvoorbeeld Erasmusuitwisseling); Partnerschappen die leiden tot een dubbel of gemeenschappelijk diploma. Binnen dit soort partnerschappen zijn meerdere vormen mogelijk. Het kan gaan om gezamenlijke programma’s zoals de ErasmusMundus programma’s op master- of PhD-niveau, of bijvoorbeeld ‘doctorats en co-tutelle’ vorm waarbij een promovendus aan ten minste twee instellingen een deel van zijn promotieonderzoek en -opleiding doet. Ook zijn in deze vorm partnerschappen tussen onderzoekscentra of Graduate Schools mogelijk.


•

Branch campuses of campus délocalisés – off shore education. Franse voorbeelden zijn een filiaal van ingenieursopleiding ‘Ecole centrale’ in Beijing, opleidingen van de Université Paris-Sorbonne in Abu-Dhabi, die van de business school ESSEC in Singapore en van de business school SKEMA in North Carolina USA. Off shore education kan ook vormgegeven worden door het inbrengen van Franse opleidingen in een buitenlandse instelling.

De evaluatie van al deze soorten van internationaliseringsactiviteiten en die in het kader van het Bolognaproces krachtig worden gestimuleerd, staat bij het AERES nog in de kinderschoenen. De AERES zoekt hierin ook nadrukkelijk samenwerking met andere evaluatieorganisaties binnen de EU, zoals de NVAO. Immers, met de AERES is ook bij deze organistaies de hamvraag: wat gaan we evalueren en hoe gaan we dat doen? De AERES is begonnen met het opstellen van acht criteria als basis voor een internationale evaluatie. Deze critieria hebben onder andere betrekking op de taal waarin de opleiding gegeven wordt, de instroom aan internationale studenten en hun herkomst, of er sprake is van verplichte mobiliteit en zo ja, van welk soort, en de wijze waarop de instelling beleid voert op het aanbieden van internationale opleidingen. Het doel is uiteindelijk dat de AERES jaarlijks de instellingen op deze critieria bevraagt om een goed overzicht te krijgen. De resultaten van de enquête zullen leiden tot een herevaluatie van de criteria om zo het systeem aan te passen en te verbeteren. Want samenwerking in gezamenlijke programma’s brengt gezamenlijke expertise met zich mee en zou moeten leiden tot een verbeterde kwaliteitscultuur. Universiteit Gent Nathalie Depoorter (Universiteit Gent, UGent) vertelt vanuit haar ervaring met bestaande partnerships van de UGent waaraan je moet denken als je een joint programme met een joint degree wil opzetten. Er zijn namelijk een aantal valkuilen waarmee rekening gehouden moet worden: •

•

•

•

•

Het ECTS-studiepuntensysteem is weliswaar binnen de EU aan instellingen gangbaar, maar in een joint programme moeten hier wel precieze afspraken over worden gemaakt. Wet- en regelgeving verschillen – sterk – per land. In sommige gevallen is de bekostiging van onderwijs sterk gekoppeld aan het aantal diploma’s, zoals in Nederland. Of zijn de vergoedingen – en dus de studieduur - van de student eraan gekoppeld, zoals het leerkrediet in Vlaanderen. De hoogte van de collegegelden verschillen sterk per land of zijn geheel afwezig; er zijn dure en goedkope landen. Het is dus van belang goed af te spreken bij welke instelling de student zich inschrijft en of hij daar een keuze in heeft als het gaat om een joint degree. Er zijn vaak afwijkingen in de wijze waarop de kwaliteit van de opleiding bewaakt wordt. Denk hierbij aan de werkwijze van de AERES en die van de NVAO. Het is ook zaak goed af te spreken aan welke taaleisen de studenten moeten voldoen, als de opleiding niet in hun moedertaal gegeven worden.


Zij raadt in ieder geval aan een stuurgroep op te richten die de deelnemende instellingen in staat stelt van tevoren goede afspraken te maken. Hierbij rekening houden met de valkuilen is belangrijk, evenals de antwoorden op een aantal sleutelvragen, zoals: • Zijn de learning outcomes goed gedefinieerd? • Is het joint programme coherent en duurzaam? • Hoe gaat de implementatie in zijn werk en is er een verbeterplan? • Wie is de coöordinator? • Welke afspraken worden over de kosten en de uitgaven gemaakt? Zij stipt ook nog aan dat in de uitvoering de randvoorwaarden erg belangrijk zijn. Denk hierbij aan de verzekering van de student, het gebruik van de bibliotheek, logistiek en huisvesting. Daarnaast is het zinvol om te werken met het diplomasupplement, waarvoor Europeesbreed een vast format is vastgesteld. Depoorter vindt dat er een herkenbaar acroniem voor de opleiding gevonden moet worden. En zij hamert op het maken van gedegen afspraken, voornamelijk als het aankomt op geldzaken. Het gaat volgens haar om het goed kunnen managen van de verwachting. Tot slot gaat zij nog in op specifieke punten voor Vlaanderen, zoals taalwetgeving en aanwezigheid professionele en academische bachelors. ErasmusMundus is vaak een goed alternatief, omdat nationale critieria omzeild kunnen worden. Met dit soort programma’s kun je meteen starten, terwijl je bij een joint degree eerst de toets voor het accrediteren van een nieuwe opleiding doorstaan moet worden. In Nederland moet daaraan voorafgaand ook de macrodoelmatigheidstoets met goed gevolg worden afgelegd, alvorens het accreditatietraject kan worden ingegaan. In een ErasmusMundus programma is de accreditatie gelijk geregeld. Depoorter heeft meegewerkt aan een handleiding voor het succesvol opzetten van joint programmes. Deze is vooralsnog alleen in het Nederlands beschikbaar. Universté de Pierre et Marie Curie – Paris 6 Sabine Lopez (directeur departement Internationale betrekkingen van de Université Pierre en Marie Curie Paris 6 – UPMC). Aan deze universiteit studeren 32.000 studenten waarvan 3.300 promovendi. Lopez stond voor de uitdaging om er voor te zorgen dat er vier keer zoveel studenten naar het buitenland gaan dan bij haar aantreden het geval was. Daartoe organiseerde zij “partenaires priviligiés”, joint programmes en programmes mixtes. De universiteit neemt inmiddels deel in meerdere ErasmusMundus- en biedt off shore programmes aan in onder andere Egypte en Vietnam. Door haar zeer actieve beleid zijn de cursussen geïnternationaliseerd, is er meer incoming en outgoing mobility, worden er cursussen Engels gegeven voor outgoing students, en profiteert de hele instelling van onderwijsinnovatie die het internationaliseringsbeleid veroorzaakte. Sabine Lopez implementeerde 20 internationale opleidingen op Bachelor, Master en PhD – niveau. In 2002 zette ze een afdeling voor taal- en methodologische ondersteuning voor buitenlandse studenten en onderzoekers van de UPMC op. Sabine Lopez onderstreept in haar presentatie dat internationalisering bijdraagt aan onderwijsvernieuwing en leidt tot kwaliteitsverbetering. Contact met buitenlandse collega’s bevordert immers zelfreflectie. Daarnaast wil ze graag de


rol van studenten in de evaluatie van onderwijs en opleidingen groter maken. Ze onderstreept ook het belang van een goed alumnibeleid om studenten te kunnen blijven volgen na hun afstuderen. Noordelijke Hogeschool Leeuwarden Marie-Hélène de Vrij-Bourigan (Noordelijk Hogeschool Leeuwarden) richt haar presentatie op de complexiteit van samenwerking. De opleiding Europese studies is een lokale, nationale en internationale opleiding. Lokaal, omdat het een opleiding is van de NHL. Nationaal omdat de opleiding ook aan de Haagse hogeschool en de Hogeschool Zuyd gedoceerd wordt. En internationaal, omdat buitenlandse partners in Frankrijk, Groot-Brittannië en Spanje eveneens de opleiding verzorgen. Dit betekent op alle vlakken veel coördinatie en afstemming: over cursusinhoud, inzet docenten, evaluatie, kosten, opbouw programma, doelstellingen en eindtermen. Belangrijk is onder andere dat met alle partners de afspraken helder zijn, het studentenprofiel en het competentieprofiel helder is en er op soortgelijke wijze geaccrediteerd wordt. Lastig is wel dat het Nederlandse model van competentiegericht onderwijs niet of nauwelijks bekend is in andere landen.

Utrecht – Lille - Juni 2012


Goed-beter-best, over evaluatie en samenwerking in hoger onderwijs. Een verslag

Recommend Documents