SG NRO 16-11-03b2 Reactie door de Stuurgroep NRO op de Evaluatie Nationaal Regieorgaan Onderwijsonderzoek: Een Stap Verder 8 januari 2016 De Stuurgroep van het NRO heeft met veel waardering kennisgenomen van het evaluatierapport Een Stap Verder, zoals dat door de commissie is vastgesteld op 4 januari 2016. De diverse uitdagingen die het NRO kent en de vele verwachtingen die leven over de rol die het NRO kan vervullen op het snijvlak van onderzoek, beleid en praktijk van onderwijs met tegelijkertijd een beperkt beschikbaar budget vergen een continue bezinning op een zo efficiënt en effectief mogelijke aanpak. Veel van de aanbevelingen van de commissie herkent het NRO en kan het opvolgen. In enkele gevallen is dat echter niet aan de orde en lijkt er sprake te zijn van een herhaling discussies die aan de orde waren bij de totstandkoming van het NRO. In z’n algemeenheid beschouwt het NRO het rapport als aanmoediging om verder te gaan op de ingeslagen weg. In deze reactie wordt per aanbeveling aangegeven wat de Stuurgroep van het NRO voornemens is ermee te doen. Aanbeveling 1: NRO en OCW gaan in gesprek over de inrichting van een advies- of makelaarsrol van NRO over (korte-termijn) beleidsgerichte onderzoeksvragen. Het NRO vestigt er de aandacht op, dat ‘adviesrol van het NRO’ ten aanzien van beleid tot misverstanden kan leiden. Er is een adviserend orgaan voor onderwijsbeleid - de Onderwijsraad - en het NRO zal een dergelijke adviesfunctie niet vervullen. Wel kan het NRO, zoals de commissie terecht stelt, als ‘makelaar’ gezien worden, bijvoorbeeld tussen deskundigen en degenen die onderzoek willen uitzetten over bepaald beleid of beleidsvoornemens. De commissie constateert dat er bij het ministere van OCW ad hoc beleidsvragen over vernieuwingen in het onderwijs leven die vragen om een antwoord op relatief korte termijn. Dit zal in veel gevallen niet via ‘nieuw’ onderzoek gebeuren, maar er zou gebruikgemaakt kunnen worden van reeds beschikbare kennis. Het NRO herkent deze vraag en ziet die ook vanuit de onderwijspraktijk: ook daar bestaat vaak behoefte aan kennis op korte termijn. Om hierin voor zowel de praktijk als het beleid te voorzien is OCW bereid om een pilot te financieren van een zogenoemde “Kennisrotonde” van 1 december 2015 tot 1 december 2016. Dit initiatief beoogt tegemoet te komen aan de behoefte om op snelle en doelmatige wijze kennis uit onderzoek ten dienste te stellen aan een brede doelgroep van onderwijsprofessionals. Hiertoe kunnen docenten, schoolleiders, onderwijsbestuurders en beleidsmakers kennisvragen stellen. In de beantwoording van kennisvragen zijn diverse afslagen mogelijk (in volgorde van snelheid van beantwoording): -
vanuit reeds beschikbare onderzoeksresultaten
-
vanuit een snelle survey van relevante literatuur
-
vanuit een overzichtsstudie
-
vanuit nieuw onderzoek (kortlopend)
-
vanuit nieuw onderzoek (langlopend).
Kort samengevat stimuleert de Kennisrotonde betere kennisbenutting in de onderwijspraktijk en het beleid door bijdragen te leveren op de volgende vier domeinen: -
Vraagarticulatie
-
Kennisverspreiding
-
Kennismakelen
-
Kennisontwikkeling.
Bij een positief resultaat van de pilot kan de Kennisrotonde structureel worden.
1
Aanbeveling 2: Het NRO moet een rol krijgen bij het adviseren over onderzoeksvragen die onderwijsvernieuwing betreffen en bij het bepalen van de veronderstelde effectiviteit daarvan, nadrukkelijk in samenspraak met het onderwijsveld zelf. De commissie wijst erop, dat onderwijsvernieuwingen gediend zijn bij een sterke empirische onderbouwing. Het NRO onderschrijft dit en bepleit een sterke verbinding tussen innovatie en onderzoek: onderwijsvernieuwingen zouden van meet af aan niet alleen begeleid moeten worden met onderzoek, maar zo ingericht moeten worden, dat nagegaan kan worden of de beoogde effecten daadwerkelijk worden behaald. Ook kan bij het al dan niet overgaan tot vernieuwingen gebruikgemaakt worden van bestaande inzichten; deze vernieuwingen zouden bij voorkeur ‘evidence informed’ moeten zijn. Naast min of meer grootschalige onderwijsvernieuwingen is binnen scholen en door leraren vaak sprake van doorontwikkeling om het onderwijs te verbeteren. Ook hierbij is onderzoek van belang, waarbij betrokkenheid vanuit de praktijk noodzakelijk is. Het NRO zal naar aanleiding van deze aanbeveling voorstellen formuleren om de verbinding tussen onderzoek, innovatie en doorontwikkeling structureel vorm te geven. Aanbeveling 3: Het NRO gaat in samenspraak met de praktijk en het onderzoeksveld experimenteren met de inrichting van academische werkplaatsen. De mogelijkheid voor het structureel inrichten van academische werkplaatsen lijkt in beeld te komen vanaf 2018, waarbij voortgebouwd kan worden op reeds bestaande samenwerkingsverbanden tussen onderwijspraktijk en onderwijsonderzoek bij hogescholen en universiteiten. Het NRO bereidt thans met de PO-raad en OCW enige pilots voor om te zien aan welke voorwaarden dergelijke werkplaatsen zouden moeten voldoen. Aanbeveling 4: Het NRO verkent en benut nieuwe moderne mogelijkheden voor disseminatie en kennisbenutting. De commissie is van oordeel dat het NRO thans op een tamelijk conventionele manier kennis ontsluit met de nadruk op teksten en slechts beperkt gebruikmaakt van nieuwe media. Het NRO beschouwt deze aanbeveling als een stimulans om door te gaan op de ingeslagen weg. Van meet af aan is de digitale ontsluiting van lopend onderzoek en resultaten van onderzoek een belangrijk oogmerk geweest. Naast het opzetten van een eigen website (www.nro.nl) is aansluiting gezocht bij Leraar24.nl, waarin nu de Onderwijscoöperatie, Kennisnet en het NRO samenwerken. Op Kennis Leraar24 worden thematische dossiers over onderwijs ondersteund met informatief filmmateriaal voor onderwijsprofessionals. Ook is met een groot aantal partners de Kennisportal Onderwijs tot stand gekomen (zie www.nro.nl/resultaten/kennisportal-onderwijs), waarin 15 databases in één keer doorzoekbaar zijn. Het NRO subsidieert het blad Didactief onder de voorwaarde dat artikelen ook digitaal beschikbaar worden gesteld. Naast een LinkedIn-groep gebruikt het NRO ook het Twitter-account @hetNRO. Het NRO moedigt onderzoekers aan om de resultaten van onderzoeken en vertalingen daarvan in de praktijk op verschillende manieren vorm te geven. Wanneer dit bij het gewenste doel past, zal ook beeld en geluid gebruikt worden. Andere middelen die in het onderzoek worden gebruikt of als product uit het onderzoek voortkomen zijn: blogs, apps, interactieve websites, games en simulatiespelen. Het NRO onderschrijft dat de indeling van Kennis Leraar24 en van de Kennisportal verbetering behoeft. Met gebruikersonderzoeken brengt het NRO in kaart welke aanpassingen de gebruiksvriendelijkheid hiervan kunnen vergroten. Aanbeveling 5: Het NRO wordt aangeraden om heldere (SMART) indicatoren voor succes te ontwikkelen, waarop het NRO in een later stadium concreet kan worden beoordeeld. De commissie beveelt aan om heldere indicatoren te ontwikkelen waarop het NRO in een later stadium kan worden beoordeeld. Dit staat op het programma, onder andere ten behoeve van de volgende 2
evaluatie in 2017; een eerste opzet hiervoor is in het najaar van 2013 door de Stuurgroep besproken en vastgesteld en zal het komende jaar verder worden uitgewerkt. Aanbeveling 6: Een betere balans binnen het onderzoek naar onderwijs is gewenst: tussen onder meer onderwijskundig, vakdidactisch en implementatieonderzoek. Tevens is het van groot belang dat andere disciplines (bijv. neuro- en cognitiewetenschappen) gestimuleerd worden om bij te dragen aan kennis over onderwijs. De commissie beveelt een betere balans aan tussen verschillende soorten onderzoek en daarbij betrokken disciplines. Ten aanzien van de disciplines kan het volgende worden opgemerkt. Het NRO benadrukt en zal dat ook in de toekomst doen, dat op vragen uit en over het onderwijs antwoorden mogelijk zijn vanuit verschillende disciplines. Waar mogelijk zal dit in ‘calls for proposals’ nadrukkelijker worden aangegeven. Dit is bijvoorbeeld gebeurd bij het thema “Bewegen en leerprestaties”. In het nieuwe programma worden als mogelijke disciplines die een bijdrage kunnen leveren genoemd: onderwijskunde, pedagogiek, vakdidactiek, economie, sociologie, cognitieve neurowetenschappen, psychologie, bestuurskunde, ethiek en rechten. Ook voor de neuro- en cognitiewetenschappen die de commissie apart vermeldt zijn er dus mogelijkheden. Hieraan kan nog worden toegevoegd dat het NRO hierover nauw samenwerkt met het NWO-onderdeel Maatschappij- en Gedragswetenschappen en het Nationaal Initiatief voor Hersenen en Cognitie (NIHC). Naast de disciplines noemt de commissie ook een indeling in soorten onderzoek: onderwijskundig, vakdidactisch en implementatieonderzoek. Het laatste onderzoek past volgens het NRO goed bij aanbeveling 2 en zou daar ook aan gekoppeld kunnen worden. De vraag naar meer vakdidactisch onderzoek herkent het NRO. Vanuit vrijwel alle vakken die in het voortgezet onderwijs worden gedoceerd, is hiervoor aandacht gevraagd. Het lijkt erop, dat de vakdidactische infrastructuur in de eerste geldstroom (bij universiteiten en hogescholen) is gekrompen: waar bijvoorbeeld eerst hoogleraren in de diverse vakdidactieken op verschillende universiteiten te vinden waren, zijn er nu nog maar enkelen in het land over. Dit structurele probleem kan het NRO met zijn beperkte subsidie niet oplossen, maar uiteraard wel signaleren. Hierbij zal er aandacht moeten zijn voor de nieuwe ontwikkelingen in de curricula en samenhang tussen vakken: onderwijsonderzoek kan plaatsvinden ten aanzien van multidisciplinaire domeinen of profielen. Wegens het beperkte financieringsbudget moet het NRO stevige keuzes maken. Substantiële financiering geven aan didactisch onderzoek binnen alle vakken die het onderwijs kent is niet alleen onmogelijk, maar zou ook leiden tot versplintering van de besteding van middelen voor onderwijsonderzoek. Voor de programmering stelt het NRO relevante thema’s vast. Dit gebeurt door raadpleging van het onderwijsveld, onderzoekers en beleidsmakers. Deze thema’s kunnen vakdidactisch van aard zijn; zo bleek in de afgelopen periode veel vraag naar onderzoek op het terrein van taal/Nederlands en rekenen. De thema’s kunnen ook meer algemeen van aard zijn, zoals onderzoek op het terrein van differentiatie in de klas. Bij zo’n algemeen thema kan vakdidactisch onderzoek overigens zeker een plaats krijgen; er kan bijvoorbeeld praktijkgericht onderzoek uitgevoerd worden naar het bevorderen van differentiatie in het vreemde-talen-onderwijs in de onderbouw van het VO. Het NRO zal zich bezinnen op meer mogelijkheden voor (vak)didactisch onderzoek en aandacht vragen voor de positie van didactiek in de eerste geldstroom, maar wijst nu al op de smalle marges door het beschikbare budget. Aanbeveling 7: Het NRO-gefinancierd onderzoek zou meer moeten opbrengen in de vorm van wetenschappelijke publicaties; ook moet het onderzoek, inclusief de wetenschappelijke publicaties, sterker binnen het internationale wetenschappelijke discours gepositioneerd worden. De commissie is van mening dat het aantal wetenschappelijke publicaties nog zeer gering is en dat er meer internationaal gepubliceerd zou moeten worden. 3
Hierover kan het volgende worden opgemerkt. Het NRO ontvangt subsidie voor onderzoek vanaf januari 2014. Het eerste onderzoek dat op grond daarvan in 2014 is uitgezet kent een duur van tenminste 16 maanden. De zelfevaluatie waarin de publicaties zijn geteld dateert van mei 2015 en is gebaseerd op de periode tot eind maart 2015. Vanuit dit perspectief is het opmerkelijk dat er überhaupt al output uit door het NRO gesubsidieerd onderzoek gerealiseerd is. Deze komt voort uit meer incidentele opdrachten: het uitzetten van een nulmeting voor Passend Onderwijs en van reviews om te komen tot een ‘call for proposals’ voor praktijkgericht onderzoek. Het verbaast het NRO dat de commissie nu al zorgen heeft over het aantal en de aard van publicaties. De verwachting is, dat uit het NRO-onderzoek ook internationale publicaties zullen voortvloeien. Dit was al het geval bij één van de voorgangers van het NRO, de PROO, en er is geen reden om te veronderstellen dat dit in de toekomst anders zal zijn. Voor de deelnemende onderzoekers is dit ook vanzelfsprekend. Het NRO stimuleert de deelname aan het internationaal discours door projecten te selecteren die gebruik mogen maken van voor het NRO beschikbare ruimtes in internationale congressen, namelijk van de American Educational Research Association (AERA) en de European Association for Practitioner Research on Improving Learning (EAPRIL). Het NRO participeert zelf in het netwerk EIPPEE (Evidence Informed Policy and Practice in Education in Europe) en onderhoudt contacten met op het NRO gelijkende instellingen in het buitenland, met name de Scandinavische landen en België. Tenslotte kan nog vermeld worden dat de Nederlandse bijdrage aan het meeste internationaal vergelijkend onderzoek door het NRO wordt uitgezet (PISA, PIRLS, TIMSS, ICCS, ICILS, TALIS). Dat het onderzoek moet leiden tot internationale publicaties en dat onderwijsonderzoek uit moet gaan van internationaal beschikbaar materiaal spreekt vanzelf. Daarnaast bestaat er ook een sterke vraag naar het verspreiden van onderzoeksresultaten in het Nederlands. Dit geldt voor beleidsgericht onderzoek: de resultaten van het onderzoek naar Passend Onderwijs of de inrichting van het Nederlandse onderwijsbestel zijn van belang voor beleidsmakers en politici en dienen in helder Nederlands te worden geformuleerd. Dit geldt ook voor onderzoeksresultaten en toepassingen die daaruit volgen voor de onderwijspraktijk: de toegankelijkheid wordt bevorderd wanneer dit in het Nederlands gebeurt. In relatie hiermee is het gewenst dat internationale onderzoeksresultaten die relevant zijn voor de onderwijspraktijk en het beleid in Nederland in het Nederlands worden vertaald en op een toegankelijke manier worden gepresenteerd. De commissie wijst in paragraaf 3.2. op het risico dat onderzoekers een dominante rol spelen in ontwerp en uitvoering van praktijkgericht onderzoek: intensieve besprekingen tussen onderzoekers en praktijkbeoefenaars zijn noodzakelijk. Het NRO onderschrijft dit, maar dat maakt indiening van voorstellen in het Engels tegelijkertijd tot een struikelblok: daar zou de onderzoeker, die meer internationaal is georiënteerd, in het voordeel kunnen zijn. Vandaar dat bij praktijkgericht (en ook bij beleidsgericht) onderzoek is gekozen voor Nederlands als indieningstaal. Vanuit het onderwijsveld wordt hierop ook sterk aangedrongen. De commissie beveelt in aanbeveling 5 aan om indicatoren voor het succesvol zijn van het NRO te definiëren. Hierin kan het aantal publicaties (en wanneer deze te verwachten zijn) worden meegenomen. Aanbeveling 8: Het NRO spant zich meer in om het praktijkveld bij de programmering te betrekken en om de kloof tussen wetenschap en praktijk te overbruggen. De commissie oordeelt dat bij het opzetten van programma’s de praktijk meer betrokken kan worden, maar dat overigens niet elke wetenschappelijke vraag direct uit de praktijk hoeft te komen. Voor het nieuwe, nog te verschijnen, programma heeft het NRO een brede en systematische raadpleging uitgevoerd met aandacht voor input vanuit de praktijk; dit zal in de toekomst worden gecontinueerd. De Kennisrotonde (zie bij aanbeveling 1) biedt mogelijkheden om de betrokkenheid van het praktijkveld 4
in het algemeen en de beroepsgroep in het bijzonder bij het overbruggen van de kloof tussen wetenschap en praktijk te vergroten. Leraar 24 biedt al de mogelijkheid om kennis te delen. Bij de vraag wat het praktijkveld nodig heeft is het ook wenselijk om een structurele aansluiting te vinden bij initiatieven binnen de praktijk. Hierbij kan gedacht worden aan het ‘peer-to-peer’-delen, de Docentendenktank en de Meesterklassen die de Onderwijscoöperatie thans inricht. Ook kan gedacht worden aan de doorontwikkeling van het LOF (Leraar Ontwikkel Fonds). In alle gevallen lijkt een natuurlijke relatie met de mogelijkheid om kennisvragen neer te leggen bij de Kennisrotonde mogelijk en noodzakelijk. Voor meer inspanningen om de kloof tussen wetenschap en praktijk te overbruggen verwijst het NRO naar de randvoorwaarde die voortvloeit uit aanbeveling 14. Aanbeveling 9: Het NRO zorgt voor helderder procedures met voldoende tijd tussen het uitzetten van de call en het indienen van voorstellen. Het NRO overweegt om te gaan werken met vooraanmeldingen. Beide aanbevelingen hebben – naar aanleiding van opmerkingen hierover in de eerste ronde van calls – de volle aandacht van het NRO. Het NRO wijst er overigens op, dat de kennelijk korte tijd tussen indienen van calls en van voorstellen niet heeft geleid tot weinig aanvragen. In de regel hanteert het NRO net als andere NWO-onderdelen doorgaans een periode van globaal acht weken tussen het openstellen van een Call for proposals, die bovendien veelal vooraf worden aangekondigd, en de deadline voor indiening van voorstellen. Wanneer die periode onverhoopt korter is, wordt het veld in een zo vroeg mogelijk stadium via de NRO-Nieuwsbrief daarop geattendeerd. In de planning van de komende rondes wordt rekening gehouden met de tijd die nodig is voor de opbouw van samenwerking tussen scholen en onderzoekers en voor de daarvoor meest geëigende periodes. Aanbeveling 10: Het NRO werkt in overleg met OCW en NWO een plan van aanpak uit voor de omvorming van de huidige bestuurlijke structuur, met een kleiner vast bestuur en ad-hoc beoordelingscommissies, zoals praktijk bij NWO. De commissie vindt de scheiding tussen verschillende soorten onderzoek en programmaraden kunstmatig en beveelt een herziening van de organisatiestructuur van het NRO aan. Het NRO zal hiervoor voorstellen ontwikkelen en het overleg hierover met OCW entameren, in relatie met aanbeveling 13. Het NRO deelt de opvatting dat zowel in programmering als in ‘soorten’ onderzoek een zekere overkoepeling is gewenst. Tegelijkertijd ziet het wel verschil tussen onderzoek dat vanuit consortia van onderwijsinstellingen en onderzoekers wordt opgezet en dat vanuit onderzoekers alleen wordt geformuleerd; zo worden nu fundamenteel en praktijkgericht onderzoek ten opzichte van elkaar gedefinieerd. Ook zijn er specifieke beleidsvragen die niet gemakkelijk met vragen vanuit de praktijk gecombineerd kunnen worden. Dit zal bij een eventuele omvorming van de huidige bestuurlijke structuur goed moeten worden doordacht. Daarnaast verdient de werklast van alle betrokkenen en de aanwezigheid van expertises binnen de diverse NRO-gremia aandacht. Zie ook aanbeveling 11. Aanbeveling 11: OCW neemt in de Stuurgroep en Programmaraden van het NRO een positie in als waarnemer en niet als lid. De commissie is van oordeel dat OCW-leden van de Stuurgroep en de programmaraden geen lid mogen zijn, maar alleen waarnemer. Ze stelt dat wensen vanuit het ministerie heel direct de koers van het NRO lijken te beïnvloeden. Deze observatie deelt het NRO niet: in de programmaraden in de Stuurgroep functioneren de OCW-leden op voet van gelijkheid. Los daarvan kan de status van OCW-medewerkers gezien worden als een governance-vraagstuk: is het mogelijk om financier en deelnemer te zijn? Dit is onderwerp van gesprek geweest met onder andere de Algemene Rekenkamer en dit heeft ertoe geleid dat OCW een duidelijke scheiding maakt tussen de financieringsfunctie enerzijds en deelname aan de Stuurgroep en de raden anderzijds. De Stuurgroep, die vorm aan de inhoud van het NRO geeft, legt bovendien verantwoording af aan het Algemeen Bestuur van NWO, dat op de tripartite vertegenwoordiging (wetenschap/beleid/praktijk) in het NRO toezicht houdt. 5
Tenslotte dient vermeld te worden dat het Ministerie van OCW evenzeer bij de onderzoeksresultaten van het NRO betrokken is als de praktijk van het onderwijs: deze betrokkenheid dient volgens het NRO in beide gevallen in de samenstelling van gremia tot uiting te worden gebracht. Aanbeveling 12: De Stuurgroep moet de mogelijkheid krijgen om de verdeling van middelen aan te passen op basis van de strategische doelstellingen van het NRO. De commissie beveelt aan dat de geldstromen van het NRO, die nu verdeeld zijn in specifieke categorieën, flexibeler kunnen worden ingezet. Het NRO gaat bezien in hoeverre hier ruimere mogelijkheden voor verdeling gecreëerd kunnen worden en welke relatie dit heeft met de inrichting van het NRO. Hierbij zullen de belangen van verschillende partijen en invalshoeken en de functie van de verschillende subsidie-instrumenten uiteraard zorgvuldig gewogen worden. Aanbeveling 13: OCW neemt in overweging om een deel van de structurele middelen voor lange termijn beleidsgericht onderzoek uit te zetten via het NRO. De commissie stelt voor een deel van structurele middelen voor lange termijn beleidsgericht onderzoek uit te zetten via het NRO. Op dit moment gebeurt de inzet van deze middelen ad hoc, bijvoorbeeld bij Passend Onderwijs en bij de vernieuwingen in het mbo en vmbo. Dat vergt van het NRO een zeer flexibele inzet van personeel, al betreft een groot deel van deze middelen langjarig onderzoek. Het NRO gaat hierover met OCW in gesprek. Aanbeveling 14: De bezetting van het bureau van het NRO moet beter worden toegerust op het waarmaken van de toenemende regierol en de daarmee verbonden complexiteit van taken. De commissie beveelt aan, dat het bureau van het NRO meegroeit met de toenemende eisen die aan het NRO worden gesteld. Op dit moment wordt de omvang van het bureau bepaald door de omzet aan onderzoek: 6% daarvan is bestemd voor het bureau. Daarnaast is een beperkt bedrag gereserveerd voor Kennisbenutting en Communicatie en is voor een pilotfase voor de Kennisrotonde aparte financiering toegekend. Deze 6% is ternauwernood voldoende om de rondes die voortvloeien uit het programma en de calls for proposals te ondersteunen, omdat deze door het inspelen op vragen vanuit de praktijk of het beleid vaak complexer zijn dan normaal bij NWO. Het intensief monitoren van projecten, de tussentijdse overlegmomenten, de start- en slotbijeenkomsten van projecten en programma’s en de adviezen en hulp bij kennisbenutting vragen meer inzet van personeel dan bij NWO voor onderzoeksprojecten gebruikelijk is. De toenemende eisen die ook door de commissie worden geformuleerd, kunnen niet binnen dit budget worden gerealiseerd. Voor een aanzienlijk deel kunnen deze worden gezien als inspanningen voor het vergroten van de betrokkenheid van de praktijk en het beleid op het onderzoek. Deze tweede taak van het NRO (vaak samengevat in de term ‘kennisbenutting’) zou dan substantieel uitgebreid moeten worden. Het is evenwel ongewenst om hiervoor gelden te onttrekken aan de eerste taak van het NRO: de financiering van onderzoek. Het NRO stelt dit dilemma aan de orde bij OCW. Bij gelijkblijvende financiering van het onderzoek en de overige taken zullen de ambities – zoals verwoord door de evaluatiecommissie – niet worden bereikt en zullen ook hier keuzes moeten worden gemaakt.
6
