Externe evaluatie ecbo. evaluatierapport

Externe evaluatie ecbo evaluatierapport

Colofon

Titel

Externe evaluatie ecbo, evaluatierapport

Commissie

J. Franssen (voorzitter); Prof. dr. R.L. Martens (lid); Prof. dr. P.L. Meurs (lid);

Secretaris

J. van der Pluijm

Datum

Maart 2012

Inhoudsopgave Voorwoord .............................................................................................................5 1

Inleiding ...........................................................................................................7 1.1 Opdracht ecbo.............................................................................................7 1.2

2

3

4

Opdracht Commissie Externe Evaluatie ....................................................8

Resultaten zelfevaluatie ..............................................................................11 2.1 Resultaten per kerntaak .......................................................................... 11 2.2

Positieve ontwikkelingen .......................................................................... 12

2.3

Verbeterpunten ......................................................................................... 13

Resultaten externe evaluatie .....................................................................15 3.1 Wat gaat goed?......................................................................................... 15 3.2

Wat kan beter? ......................................................................................... 15

3.3

De toekomst van het landelijke onderwijsonderzoek ............................ 17

Conclusies en aanbevelingen .....................................................................19 4.1 Inleiding .................................................................................................... 19 4.2

Beschrijving: inventarisatie en analyse .................................................. 19

4.3

Oordeel: conclusies en aanbevelingen ........................................................... 23

Bijlage 1

Overzicht gespreksdeelnemers ..................................................29


3

4


Voorwoord Per 1 januari 2009 is het expertisecentrum beroepsonderwijs (ecbo) opgericht op basis van de Overeenkomst Oprichting en Instandhouding Expertisecentrum Beroepsonderwijs, hierna te noemen ‘oprichtingsovereenkomst’. Ondertekenende partijen zijn de Stichting Cinop, de MBO Raad, de Universiteit van Amsterdam (UvA) en Colo (op 4 november 2008). In deze overeenkomst staan de afspraken over de doelstellingen van ecbo en de oprichting, besturing, organisatorische inbedding en financiering van ecbo door betrokken partijen. In de overeenkomst is opgenomen dat er een evaluatieverslag wordt vastgesteld over de werkzaamheden van ecbo en de realisatie van de doelstellingen in de periode 1 januari 2009 tot en met 31 december 2011. Het doel van de evaluatie is zicht te krijgen op de realisering van de toegevoegde waarde van ecbo voor het beroepsonderwijs en op de mogelijke aandachtspunten voor het bijstellen van de huidige koers en het ontwikkelen van de toekomstige koers van ecbo. De oprichtingspartijen adviseren op basis daarvan de Minister van OCW over continuering van participatie in ecbo en de condities hiervoor. De evaluatie van ecbo vindt plaats in twee fasen: 1 Een zelfevaluatie, uit te voeren door ecbo (fase 1). De zelfevaluatie kijkt naar de input, het werkproces en de output van ecbo binnen de context van de organisatie. 2 Een externe evaluatie, uit te voeren door een onafhankelijke commissie van externe experts (fase 2). De externe evaluatie kijkt naar de effectiviteit, efficiency en innovativiteit van ecbo. Daarbij ligt de nadruk vooral op oordeelsvorming met betrekking tot de realisering van de doelstellingen en op de formulering van aanknopingspunten voor toekomstige ontwikkeling van ecbo. De ecbo-directie is verantwoordelijk voor uitvoering van de zelfevaluatie, terwijl de Programmaraad opdrachtgever is van de externe evaluatiecommissie en het evaluatieverslag vaststelt. De Programmaraad heeft hiertoe met ingang van 1 september 2011 de Commissie Externe Evaluatie ingesteld. De commissie bestaat uit drie leden: Jan Franssen (voorzitter), Rob Martens en Pauline Meurs. De commissie heeft de taak om voor 31 januari 2012 haar onafhankelijke eindrapportage op te leveren. Hiertoe heeft de commissie gesprekken gevoerd (zie bijlage voor een overzicht van de gespreksdeelnemers), documenten bestudeerd en de zelfevaluatie van ecbo geanalyseerd. In het voorliggende rapport worden de bevindingen van de externe evaluatiecommissie gepresenteerd. Het rapport kent de volgende opbouw. In het eerste inleidende hoofdstuk wordt kort het werk van ecbo geschetst en wordt de opdracht van de Commissie Externe Evaluatie uitgewerkt. In het tweede hoofdstuk wordt de zelfevaluatie van ecbo geanalyseerd. In het derde hoofdstuk staat de externe evaluatie centraal en worden de resultaten uit de gesprekken met betrokken organisaties beschreven. In het vierde en laatste hoofdstuk worden de conclusies en aanbevelingen van de commissie gepresenteerd.


5

6


1

Inleiding

1.1

Opdracht ecbo

Ecbo is op 1 januari 2009 ontstaan door de fusie van twee onderzoeksorganisaties: het Expertisecentrum (EC) van Cinop en het Max Goote Kenniscentrum (MGK) van de Universiteit van Amsterdam. Het nieuwe expertisecentrum beroepsonderwijs werd gepositioneerd binnen de Stichting CINOP als een onafhankelijk expertisecentrum. Ecbo is werkzaam in de driehoek van onderwijspraktijk, onderwijsbeleid en onderwijsonderzoek en probeert tussen de velden van deze driehoek steeds de samenwerking te zoeken, met als doel het ontwikkelen, ontsluiten en verspreiden van kennis op basis van vragen en behoeften uit de bve-sector. Ecbo doet dit door zelf onderzoek te (laten) doen, afstemming te realiseren met onderzoekinstellingen en wetenschap, actuele onderzoeksresultaten te verbinden met landelijke (beleids)discussies en kennis te verspreiden. Deze activiteiten kunnen worden samengevat in de drie kerntaken van ecbo:1 1. Kennis ontsluiten: het toegankelijk maken van kennis die door anderen is ontwikkeld. 2. Kennis ontwikkelen: het uitvoeren van onderzoek en systematisch betekenis geven aan kennis over het beroepsonderwijs. 3. Kennis verspreiden: het actief delen van kennis met de praktijk van onderwijs, onderzoek en beleid en het agenderen van nieuwe vraagstukken. De werkzaamheden van ecbo zijn in 2011 verdeeld over vijf programmalijnen: 1. Beroepsonderwijs in de kenniseconomie: de focus van deze lijn ligt op het niveau van het stelsel: worden de kwalificerende en socialiserende functies van het beroepsonderwijs adequaat vervuld. 2. Leven lang leren: in deze lijn gaat het om de vraag wat de veranderingen op de arbeidsmarkt betekenen voor de kwalificatievragen, kennis en vaardigheden van de huidige en toekomstige beroepsbevolking en hoe de sector daarop kan inspelen. 3. Effectief beroepsonderwijs, leren en opleiden: de focus van deze lijn ligt op het primaire proces in het middelbaar beroepsonderwijs. 4. Beleid, bestuur en organisatie: de centrale vraag van deze lijn is die naar het functioneren van de instellingen in het licht van het realiseren van hun doelstellingen: hoe kan de kwaliteit van bestuur, beleid en organisatie van de instellingen in de sector verbeterd worden. 5. Beroepsonderwijs als keten: deze lijn wil kennis ontwikkelen en toegankelijk maken over de ontwikkeling van leerlingenstromen in en rond het mbo en de strategische en beleidsmatige reacties van het onderwijs op veranderingen in leerlingenstromen.

1

Ecbo (2011). Zelfevaluatie van het landelijk Expertisecentrum Beroepsonderwijs. Den Bosch/Utrecht: ecbo Externe evaluatie ecbo, evaluatierapport

7

Deze vijf programmalijnen komen overeen met de kernthema’s van de twee organisaties (EC en MGK) die samen in ecbo zijn opgegaan. De programmaraad van ecbo stelt de meerjarenprogrammering vast en daarbinnen het jaarprogramma. De directeur en programmaleiders van ecbo vertalen de centrale vraagstukken in concrete thema’s, onderzoeksprojecten en activiteiten voor het jaarprogramma.

1.2

Opdracht Commissie Externe Evaluatie Volgens het Besluit Programmaraad ecbo tot instelling van de Commissie Externe Evaluatie en het Plan van aanpak Evaluatie ecbo heeft de commissie de opdracht evaluatie en reflectie te bieden op het werk van ecbo. Volgens deze kaders dient de evaluatie recht te doen aan de breedte van het werkterrein van ecbo. Dat betekent dat in de evaluatie de (drieledige) relatie met onderzoekspraktijk, –beleid en –onderzoek tot uitdrukking dient te komen, alsmede de drievoudige taakstelling kennis ontsluiten, kennis ontwikkelen en kennis verspreiden. De evaluatie moet zicht bieden op de realisering van de toegevoegde waarde van ecbo voor het beroepsonderwijs en op de mogelijke aandachtspunten voor het bijstellen van de huidige koers en het ontwikkelen van de toekomstige koers van ecbo. De commissie maakt dit inzichtelijk door de zelfevaluatie van ecbo te toetsen in het licht van de oprichtings- en instandhoudingsovereenkomst ecbo en de balans op te maken ten aanzien van de realisering van de doelstellingen zoals geformuleerd in artikel 1 van genoemde overeenkomst (zie kader). De commissie kan tevens in vrijheid uitspraken doen over de toekomstige programmering van ecbo in brede zin. Evaluatiekader: Artikel 1 Overeenkomst Oprichting en Instandhouding Expertisecentrum Beroepsonderwijs. 1. Partijen stemmen in met de oprichting van het Expertisecentrum door CINOP. 2. Het Expertisecentrum voert een eigen en voor de bve-sector herkenbaar merk. 3. Het Expertisecentrum streeft actief naar een groot draagvlak binnen de bve-sector en de wetenschap. 4. Het Expertisecentrum verspreidt zijn kennis en onderzoeksresultaten actief binnen de bve-sector. 5. Het Expertisecentrum ontwikkelt zijn kennis en verricht zijn onderzoeken op basis van de vragen en behoefte van de bve-sector en draag zorg voor wetenschappelijke kwaliteit van de onderzoeksresultaten. 6. Het Expertisecentrum past alle passende vormen van kennisontwikkeling en kennisdeling toe, waar relevant en mogelijk wordt praktijkkennis in het veld aangewend om te komen tot nieuwe voor de praktijk relevante kennis. 7. Het Expertisecentrum ontwikkelt zich tot een informatiepunt waar binnen het kader van het meerjarig onderzoeksprogramma van het Expertisecentrum ontwikkelde actuele kennis beschikbaar is over het beroepsonderwijs. Het Expertisecentrum onderhoudt daartoe in ieder geval intensieve contacten met de (bijzondere) hoogleraren bve, met de lectoren in mbo en hbo en met universitaire onderzoekers (inclusief NWO-PROO). 8. Het Expertisecentrum speelt een actieve rol in het verbinden van actuele onderzoeksresultaten met landelijke (beleids)discussies. 8


9. Het Expertisecentrum draagt bij de uitvoering van onderzoeken zorg voor een goede afstemming met de voor de bve-sector relevante onderzoeksinstellingen. 10. Het Expertisecentrum maakt bij de uitvoering van onderzoeken gebruik van de expertise van de voor de bve-sector relevante onderzoeksinstellingen. 11. Het Expertisecentrum zal de wetenschappelijke belangstelling voor zijn onderzoeken bevorderen en contacten met de wetenschap onderhouden. Wetenschappelijke medewerkers die belast zijn met de uitvoering van onderzoeksprogramma’s verrichten

hun

onderzoeksactiviteiten

met

behoud

van

wetenschappelijke

onafhankelijkheid.

Samengevat bestaat de opdracht van de externe evaluatiecommissie uit twee delen, een beschrijvend deel en een oordelend deel, die samen het toetsingskader voor de externe evaluatie vormen. Deze delen worden als volgt omschreven: Beschrijvend (inventarisatie en analyse): 1. Op basis van de zelfevaluatie van ecbo en de externe evaluatie door de evaluatiecommissie worden de werkzaamheden van ecbo inzichtelijk gemaakt door antwoord te geven op de volgende deelvragen: a) Thematiek en werkwijze:  Doet ecbo de goede dingen en op de goede manier?  Op welke wijze heeft ecbo invulling gegeven aan de drie kerntaken in relatie tot de driehoek onderwijspraktijk, onderwijsbeleid en onderwijsonderzoek? b) Bereik van en relatie met bve-sector:  Worden de beoogde doelgroepen bereikt en betrokken en vormen ze een actief draagvlak voor ecbo?  Is er naamsbekendheid, waardering en draagvlak gerealiseerd in het veld? c) Organisatorische inbedding en de organisatie:  Beschikt ecbo over de strategische positie en de organisatorische randvoorwaarden om de beoogde doelen te realiseren?  Biedt de huidige organisatievorm de optimale mogelijkheden om op efficiënte en effectieve wijze te voorzien in de behoefte aan een expertisecentrum voor de bve-sector, nu en in de toekomst? Oordelend (conclusies en aanbevelingen): 2. De commissie maakt de balans op ten aanzien van de realisering van de doelstellingen zoals geformuleerd in artikel 1 van genoemde overeenkomst (zie evaluatiekader) en komt tot het oordeel of (en in welke mate) ecbo, vanuit een ontwikkelingsperspectief bezien 2, tot dusverre de beoogde doelstellingen en de beoogde toegevoegde waarde heeft gerealiseerd. 3. De commissie formuleert mogelijke aandachtspunten voor het bijstellen van de huidige koers en het ontwikkelen van de toekomstige koers van ecbo.

2

De oorspronkelijke doelen richten zich op de lange termijn, terwijl de evaluatie de eerste drie jaar betreft. Externe evaluatie ecbo, evaluatierapport

9

4. De commissie doet uitspraken over de toekomstige programmering van ecbo in brede zin, mede in het licht van relevante sectorontwikkelingen en de landelijke discussie over de toekomst van onderzoek. 3

3

De commissie zal ook (zijdelings) aandacht besteden aan de huidige landelijke discussie over de toekomst van (onderwijs)onderzoek. Volgens de conclusie van de evaluatiecommissie van NWO/PROO (juni 2009) is ‘een diepgaande reflectie over de optimalisering van de financiering, de structuur en de doelstellingen van onderwijskundig onderzoek in Nederland (..) dringend en dit kan leiden (tot) grotere efficiëntie en effectiviteit’. De Commissie de Graaf (november 2009-december 2010) heeft inmiddels het Nationaal Plan Toekomst Onderwijswetenschappen uitgebracht, waarin wordt ingegaan op de toekomst van het onderwijsonderzoek. De evaluatie van ecbo heeft niet tot doel deze of andere sectorontwikkelingen op zich te onderzoeken. Het benoemen van relevante sectorontwikkelingen is echter wel nodig om de ontwikkeling van ecbo in een realistische context te plaatsen.

10


2

Resultaten zelfevaluatie Deze paragraaf bevat een samenvatting van de resultaten van de zelfevaluatie zoals die door ecbo is uitgevoerd. De externe evaluatiecommissie doet in deze beschrijvende paragraaf geen uitspraken over de zelfevaluatie. In de afsluitende paragraaf komt de commissie in reflectieve zin terug op de resultaten van de zelfevaluatie.

2.1

Resultaten per kerntaak Ecbo heeft drie kerntaken: kennisontsluiting, kennisontwikkeling en kennisverspreiding. In de zelfevaluatie worden de volgende resultaten per kerntaak genoemd. 1. Kennisontsluiting: ecbo vervult in toenemende mate een vraagbaakfunctie voor veel organisaties in de kennisinfrastructuur rond het beroepsonderwijs. Wat betreft de kennisontsluiting zijn de volgende concrete acties uitgevoerd:  Vijf theoretische reviewstudies.  Maandelijks online resultaten recent onderzoek uit hele veld (Signaal!).  Tweewekelijks online bericht met aanstaande activiteiten (Flits!), die goed wordt ontvangen in het veld. 2. Kennisontwikkeling: via de programmaraad is er sprake van een breed, sectoraal gedragen en meerjarig onderzoeksprogramma in antwoord op de behoeften van de sector. Daarbij wordt het onderzoeksveld breed opgevat. Er zijn vijf programmalijnen, die zowel de sector als geheel bestrijken, als afzonderlijke thema’s op stelselniveau en op de werkvloer van het beroepsonderwijs in scholen en in bedrijven beschrijven. Concrete praktijkvraagstukken vormen het uitgangspunt van onderzoeksactiviteiten en ook vertegenwoordigers uit veld worden vanaf het begin bij projecten betrokken. De afgelopen jaren is gezocht naar nieuwe vormen van kennisontwikkeling en is er, door het niet meer actief werven van marktgelden, naar verhouding (dat wil zeggen in termen van de besteding van de publieke middelen) meer onderzoek zelf uitgevoerd. In de jaren 2009, 2010, 2011 is het bedrag dat extern is aanbesteed in afstemming met de voorkeuren van de programmaraad hoger geweest dan een kwart van de publiek ter beschikking gestelde middelen. Er is daarnaast actief gezocht naar andere vormen van samenwerking, niet alleen in geheel of gedeeltelijke uitbesteding van projecten. Ook is de bij ecbo aanwezige interne expertise aangevuld met specialistische kennis van derden en is gewerkt aan een betere verbinding met beschikbare databronnen (DUO, CBS, et cetera). 3. Kennisverspreiding: de afgelopen jaren is gezocht naar een combinatie van verschillende methodieken, passend bij diverse doelgroepen: bestuurders, beleidsmakers en kennismakelaars in de scholen (en in mindere mate de docenten). Er wordt gewerkt met rapporten, artikelen, webpublicaties, participatieve werkvormen en multimedia. Hierdoor heeft ecbo in korte tijd Externe evaluatie ecbo, evaluatierapport

11

grote naamsbekendheid gekregen. Momenteel wordt gewerkt ontwikkeling van een online Informatiepunt Onderzoek BVE.

aan

de

Wat de verhouding tussen de drie kerntaken betreft, heeft de kennisontwikkeling de meeste aandacht gekregen in 2009 en 2010. Vanaf 2010 zijn de drie kerntaken steeds vaker in projecten geïntegreerd. Tegelijkertijd heeft vanaf 2010 een accentverschuiving plaatsgevonden naar meer kenniscirculatie en kennisontsluiting en de nadruk op communicatie via internet (webportal, e-zines en internetpagina’s voor projecten), publieke debatten en extra seminars.

2.2

Positieve ontwikkelingen Op basis van de zelfevaluatie oordeelt ecbo dat in algemene zin ruim tegemoet wordt gekomen aan de missie: bijdragen aan een kwalitatief hoogwaardig stelsel van beroepsonderwijs en kwalificatieverkrijging door het ontsluiten, ontwikkelen en verspreiden van kennis over het beroepsonderwijs in interactie met onderwijspraktijk, onderwijsbeleid en onderwijsonderzoek. Sinds de oprichting is volgens ecbo sprake van een duidelijke en behoorlijke ontwikkeling en groeit de belangstelling voor kennisontwikkeling in het beroepsonderwijs. Ecbo baseert dit oordeel onder andere op de volgende positieve ontwikkelingen: Er was sprake van een goede startpositie door de fusie van twee gevestigde organisaties met goede netwerkrelaties in het veld. De opstartfase van ecbo is achter de rug. Ecbo ontwikkelt zich nu van een projectorganisatie naar een geïntegreerd kenniscentrum. Ecbo beschikt over gekwalificeerde en ervaren medewerkers. De afgelopen jaren zijn diverse jonge promovendi aangetrokken en zijn de drie bijzondere hoogleraren beroepsonderwijs betrokken als adviseur of projectuitvoerder, waardoor de verbinding met de wetenschap beter wordt gerealiseerd. Daarnaast zijn er ook andere vormen van samenwerking met universiteiten tot stand gebracht. Het meerjarige onderzoeksprogramma draagt bij aan de opbouw van een stabiel kennisdomein voor de sector. De samenstelling van de programmaraad zorgt voor een sectoraal breed gedragen programma. Door het separaat reserveren van budget kan ecbo ook inspelen op actuele vraagstukken. Volgens een representatieve steekproef zijn gebruikers en relaties positief over de toegevoegde waarde voor de kennisinfrastructuur, het ingaan op praktijkvragen en de geboden deskundigheid. De opkomst bij bijeenkomsten is goed, de kennisproducten zijn duidelijk zichtbaar en het imago ontwikkelt zich positief.

12


2.3

Verbeterpunten Naast de positieve ontwikkelingen, biedt de zelfevaluatie ook inzicht in de verbeterpunten die ecbo zelf voor ogen heeft: 1. De betrokken stakeholders verschillen in belang en belangstelling. Hierdoor is er een breed onderzoeksprogramma en behoefte aan diversificatie van producten en inzichten. Maar dat maakt gerichte vraagsturing lastig en zorgt voor versnippering en workload voor de medewerkers.  Er zal meer focus aangebracht moeten worden in het programma, ook door het teruglopende budget. Daarnaast is een scherpere profilering ten aanzien van de inhoud en vorm van het aanbod van producten en diensten nodig. 2. De huidige programmalijnen fungeren nu te veel als kokers, waardoor de kennis intern niet altijd overgedragen wordt.  Projecten zullen meer geëvalueerd moeten worden; op die manier kan beter vastgesteld gaan worden in welke mate gebruikers betrokken zijn in projecten en de mate waarin zij de resultaten die voor hen betekenisvol zijn ook daadwerkelijk gebruiken. 3. De kennisontwikkeling kan nog beter aansluiten bij de ontwikkeling op de scholen/roc’s en het beroepsonderwijs op de werkvloer van bedrijven en instellingen.  Ecbo zal zich onder andere gaan richten op het meer ‘onderzoeks-minded’ maken van het beroepsonderwijs, bijvoorbeeld door onderzoeksresultaten uit de instellingen te vergelijken of door praktijknabije onderzoeksmethodes in te zetten. 4. De kennisdiensten, zoals praktijkonderzoek, denktankrol, info- en vraagbaakfunctie zijn minder goed zichtbaar bij de doelgroepen.  Verder ontwikkelen van de kennisdienstverlening en van de informatieen vraagbaakfunctie. Daarbij moeten de sterke producten van ecbo beter uitgevent worden. 5. Soms heeft ecbo de beoogde doelgroep en het gewenste resultaat niet helder voor ogen, waardoor de achtergrond en verwachtingen van deelnemers te veel uit elkaar liggen.  Doelgroepen zullen beter geïdentificeerd moeten worden bij het organiseren van bijeenkomsten. Daarnaast zal ook meer actief gewerkt worden aan het toegankelijk maken van de ecbo-producten voor de praktijkmensen.


13

14


3

Resultaten externe evaluatie De evaluatiecommissie heeft gesprekken gevoerd met een aantal interne en externe betrokkenen (bijlage 1). In deze gesprekken is ingegaan op de rol die ecbo heeft gespeeld op het gebied van kennisontsluiting, kennisontwikkeling en kennisverspreiding. Ook is ingegaan op de organisatie, werkwijze en inbedding in het onderwijsveld van ecbo en is gekeken naar verbeterpunten en kansen. Dit hoofdstuk bevat de belangrijkste opbrengsten van de gesprekken; dat wil zeggen de beschrijvingen van wat de commissie heeft gehoord van de gespreksdeelnemers. Ingegaan wordt op vragen als wat doet ecbo goed en wat kan beter en hoe ziet landelijk de toekomst van het onderwijsonderzoek er uit.

3.1

Wat gaat goed? De diverse gesprekspartners geven aan dat ecbo voldoet aan de behoefte aan meer kennis over het bve. Ecbo weet wat er op het gebied van bve-onderzoek gebeurt en zo’n kennispartner is nodig voor de onderbouwing van ontwikkelingen met feiten. Volgens de gesprekspartners was er bij de start van ecbo sprake van een achterstand op het gebied van kennisontwikkeling en expertise rond de bve. Ecbo heeft zich in de eerste jaren goed gericht op het ontsluiten van wat al bekend was en het opstarten van kennisontwikkeling op basis van een brede agenda. Men is positief over vertegenwoordiging van het veld in de programmaraad; het zorgt voor een sterkere inbreng van stakeholders en voorkomt dat ecbo te veel wordt geleid door de waan van de dag. Er is gewerkt aan de wetenschappelijke inkadering, onder andere door de instelling van een interne redactieraad en de peerreview op het niveau van de programmaleiders. Met name de wetenschappelijk ingestelde directeur heeft volgens de gesprekspartners een flinke professionaliseringsslag kunnen maken. Gesprekspartners uit het veld zijn positief over de producten en werkwijze van ecbo. Ze vinden dat ecbo systematisch en consequent werkt en dat ze komen met goede kennis in goede vormen (korte, krachtige en bruikbare rapporten) en met een hoge praktijkrelevantie. Ze zien ook dat ecbo nog niet uitontwikkeld is, zeker niet wat betreft de kennisontsluiting. Op dat gebied is men bezig met het verkennen van diverse aanpakken en worden nieuwe methoden van uitwisseling van kennis met het beroepsveld ontwikkeld. In het algemeen zijn de gesprekpartners, mede gezien het korte bestaan van ecbo, positief over wat er is gerealiseerd.

3.2

Wat kan beter? Profilering en doelstelling ecbo Uit de gesprekken komt het beeld naar voren dat de doelstelling van ecbo erg breed is. Kennisontsluiting, -ontwikkeling, en –verspreiding zijn schuivende panelen en omvatten een breed scala aan activiteiten die ook om verschillende rollen en expertise/kwaliteiten van de medewerkers vragen. Het is de vraag of Externe evaluatie ecbo, evaluatierapport

15

ecbo wel op alle drie de vlakken een doelstelling moet hebben. Misschien moet de nadruk meer liggen op het samenhangend aan het veld presenteren van de resultaten van anderen. Ecbo moet explicieter aangeven waar ze wel en waar ze niet voor zijn. Ecbo wordt nog te veel gezien als een onderzoeksinstituut en zou zich verder kunnen ontwikkelen tot een expertisecentrum dat meedenkt over de actualiteit, inspeelt op trends en die inzichtelijk maakt. Kennisontwikkeling: vraagsturing en programmering De huidige brede onderzoeksagenda is het resultaat van de historie (de twee fusiepartners) en van de betrokkenheid van vele partijen (met ieder hun belangen en verwachtingen). Nu vinden zowel de interne als de externe gesprekspartners dat het tijd is om meer focus aan te brengen, ook gezien het beschikbare budget. De interne gesprekspartners geven aan dat het soms lastig is om scherp te blijven door het brede scala aan thema’s en activiteiten. De externe gesprekspartners vinden dat de focus meer gericht zou moeten zijn op de vertaling van kennis voor en de verspreiding naar de praktijk, zodat de kwaliteit van het onderwijs beter wordt en men beleidsmatig betere keuzes kan maken. Ze vinden dat ook de inhoudelijke thema’s opnieuw bepaald moeten worden, mede in het kader van nieuwe ontwikkelingen en behoeften in het veld. Dat laatste, het vraaggestuurd bepalen van de onderzoeksagenda, kan volgens de gesprekspartners nog beter. Hierbij moet wel worden opgemerkt dat de gesprekspartners hele verschillende opvattingen hadden over wat vraagsturing precies betekent en wie de vragers zijn. Directeur en programmaleiders van ecbo hebben op verschillende manieren geprobeerd binnen het meerjarenonderzoeksprogramma, een jaarprogramma te maken waarin de stem van het veld goed doorklinkt. De directeur heeft verschillende vergaderingen bezocht waarin bestuurders van roc’s bijeenkwamen, ook is hij bij vele besprekingen geweest waarbij het Ministerie, de MBO Raad en Colo uiteenlopende vragen hebben gesteld. De programmaleiders hebben op hun beurt per programmalijn vragen opgehaald bij scholen. In de beleving van de externe respondenten is het beeld echter vaak dat de onderzoeksvragen door de onderwijswetenschappen of de pedagogische centra worden geformuleerd, waarna ecbo scholen benadert om te kijken of ze dit een interessant onderwerp vinden en hier bij aan willen haken. Vanuit ecbo is het motto dat ‘vraagarticulatie alleen mogelijk is, als de vraag ook wordt gestuurd’. Dat roept de vraag op of daadwerkelijke vraagaftapping uit veld voldoende structureel is belegd. In de gesprekken zijn dan ook vragen gesteld bij de mate waarin met name het veld (de praktijk) betrokken is bij de programmering. Het idee leeft bij sommigen dat juist wetenschap (en soms beleid) een te grote vinger in de programmeerpap hebben. Het concept van ‘vraagsturing’ zou dus beter uitgewerkt en methodologisch ondersteund moeten worden. Daarbij zou ecbo bijvoorbeeld de netwerken in de scholen beter kunnen benutten. Nu richt men zich vaak op het College van Bestuur, terwijl volgens de gesprekspartners juist de laag daaronder meer zicht heeft op de ontwikkelingen en behoeften op de werkvloer. Ecbo zou daarom na kunnen denken hoe ze bijvoorbeeld schoolleiders, afdelingsleiders en docenten van het roc gaan betrekken bij de vraagarticulatie.

16


Kennisverspreiding: doelgroep en bereiken van kennismakelaars Een thema dat in de gesprekken steeds terugkomt, is de vraag wie precies de doelgroep van ecbo is. Dit is volgens de gesprekspartners niet altijd helder of wordt niet helder gecommuniceerd. In de zelfevaluatie heeft ecbo de doelgroep breed gedefinieerd: ecbo is op de hele bve-sector gericht, van ministerie tot scholen en bedrijven. In de ogen van de gesprekspartners is echter niet altijd duidelijk waar voor ecbo prioriteiten liggen binnen deze brede doelgroep. Met name het betrekken van de werkvloer (docenten) lijkt voor ecbo lastig te zijn. Toch zou ecbo volgens de gesprekspartners meer een rol moeten vervullen in het bereiken van docenten. Ecbo heeft een functie in het vertalen van kennis uit de wetenschap naar de praktijk, zodat docenten die kennis kunnen aftappen en gebruiken. Ecbo zou het gat kunnen dichten tussen wetenschap en praktijk, bijvoorbeeld door, eventueel in samenwerking met andere organisaties, resultaten uit onderzoek meer uit te werken in hulpmiddelen en tools die door de praktijk (de docenten) gebruikt kunnen worden. Het bereiken van de docenten kan ecbo zelf te doen, maar het is ook mogelijk gebruik te maken van bestaande netwerken en structuren, zoals de innovatiestaf van scholen, de bedrijfstakgroepen of de kenniscentra; dat zijn mogelijke knooppunten waar ecbo verbinding mee kan leggen. De aansluiting met de docenten kan ook verbeterd worden door zich meer te richten op de kennismakelaars in de scholen, zodat de scholen zelf verantwoordelijk worden voor het bereiken van de werkvloer. Dat betekent dat ecbo voldoende tijd en aandacht moet besteden aan de strategische mogelijkheden in de roc’s om verspreiding van kennis te optimaliseren en na te gaan wat de effecten hiervan zijn. Zo ontstaat een meer gerichte communicatie van onderzoeksresultaten naar het veld en wordt het veld ook ingezet bij de verspreiding en vertaling van de onderzoeksresultaten. Al deze zaken dragen ook bij aan de oplossing van het probleem dat het nu volgens de gesprekspartners soms onduidelijk is waar de kennis landt en in welke mate er gebruik van wordt gemaakt. Interne organisatie, afstemming en professionalisering De externe gesprekspartners hebben weinig zicht op de interne organisatie van ecbo. Volgens de interne gesprekspartners werken de verschillende programmalijnen soms als kunstmatige schotten. Er is meer samenhang en afstemming nodig. Er worden diverse werkvormen ingezet gericht op meer interne kennisdeling om zich verder te kunnen ontwikkelen tot een expertisecentrum. Intern zijn hier al slagen in gemaakt en wordt gekeken hoe de overlap eruit gehaald kan worden. De externe gesprekspartners geven tot slot te kennen dat het voor hen weinig inzichtelijk is hoe de relatie tussen ecbo en Stichting Cinop in elkaar zit.

3.3

De toekomst van het landelijke onderwijsonderzoek De evaluatie van ecbo kan niet los worden gezien van de huidige landelijke discussie rond de organisatie van het onderwijsonderzoek. In de gesprekken is hier dan ook uitgebreid bij stilgestaan. De Commissie de Graaf concludeert dat de kennisinfrastructuur in de onderwijssector dringend versterking behoeft. Er is een grote kloof tussen het onderwijs onderzoek enerzijds en anderzijds de Externe evaluatie ecbo, evaluatierapport

17

disseminatie naar de onderwijspraktijk en het gebruik in de onderwijspraktijk van onderzoeksresultaten. De Commissie de Graaf concludeert dat er momenteel sprake is van een grote versnippering in het onderwijsonderzoek: partijen weten niet van elkaar wat ze doen, de vraaglegitimatie is zwak, net als de valorisatie (kennisverspreiding). Het onderwijsonderzoek is gebaat bij een meer coherente programmering, meer vraagsturing en een betere bruikbaarheid in de praktijk. Daarom heeft de Commissie voorgesteld om een nieuw, klein en centraal instituut op te richten met een programmatische functie voor het gehele onderwijsonderzoek. Dit instituut moet zorgen voor een meer evenwichtige verdeling tussen de onderwijssectoren, moet de vraagsturing aan de voorkant beter organiseren en ook kijken of de gebruiker krijgt wat hij er van verwacht. Naar verwachting zal de helft van het budget geprogrammeerd worden en zal de andere helft via een open competitie worden weggezet, waarbij participatie en cofinanciering van grote scholen/onderwijsinstellingen (gekoppeld aan vraagarticulatie en disseminatie) een belangrijke rol gaan spelen. Wat betekent dit voor de toekomst van ecbo? In Nederland is het onderzoek naar het beroepsonderwijs altijd versnipperd geweest en onvoldoende belegd bij de universiteiten. Vanuit het ministerie van OCW blijft er daarnaast behoefte aan een organisatie die snel antwoorden kan geven op specifieke vragen met betrekking tot de bve-sector. Een instituut zoals ecbo wordt als een versterking gezien van de onderzoekscapaciteit mits het er voldoende in slaagt een brug te slaan tussen onderzoek en de praktijk van het beroepsonderwijs. . Ecbo heeft in dit verband ook een belangrijke meerwaarde ten opzichte van onderzoeksbureaus die moeten concurreren om de middelen voor praktijkgericht onderzoek. In het volgende hoofdstuk, bij de aanbevelingen voor de positionering en de toekomstige koers van ecbo (paragraaf 4.3.2), zal deze constatering verder uitgewerkt worden.

18


4

Conclusies en aanbevelingen

4.1

Inleiding In dit afsluitende hoofdstuk wordt antwoord gegeven op het beschrijvende en het oordelende deel van het toetsingskader dat door de evaluatiecommissie is gevolgd. In het beschrijvende deel (paragraaf 4.2) worden, op basis van de zelfevaluatie van ecbo en de externe evaluatie door de evaluatiecommissie, de werkzaamheden van ecbo inzichtelijk gemaakt aan de hand van de volgende deelvragen: a) Thematiek en werkwijze:  Doet ecbo de goede dingen en op de goede manier?  Op welke wijze heeft ecbo invulling gegeven aan de drie kerntaken in relatie tot de driehoek onderwijspraktijk, onderwijsbeleid en onderwijsonderzoek? b) Bereik van en relatie met bve-sector:  Worden de beoogde doelgroepen bereikt en betrokken en vormen ze een actief draagvlak voor ecbo?  Is er naamsbekendheid, waardering en draagvlak gerealiseerd in het veld? c) Organisatorische inbedding en de organisatie:  Beschikt ecbo over de strategische positie en de organisatorische randvoorwaarden om de beoogde doelen te realiseren?  Biedt de huidige organisatievorm de optimale mogelijkheden om op efficiënte en effectieve wijze te voorzien in de behoefte aan een expertisecentrum voor de bve-sector, nu en in de toekomst? In het oordelende deel (paragraaf 4.3) wordt de balans opgemaakt: in welke mate heeft ecbo, vanuit een ontwikkelingsperspectief bezien, tot dusverre de beoogde doelstellingen en de beoogde toegevoegde waarde gerealiseerd? In deze paragraaf staat vooral de toekomstige koers van ecbo centraal: hoe kan de strategische rol van ecbo optimaal benut worden, mede in het licht van relevante sectorontwikkelingen en de landelijke discussie over de toekomst van onderzoek.

4.2

Beschrijving: inventarisatie en analyse A: Thematiek en werkwijze Uit de gesprekken komt naar voren dat ecbo een goede start heeft gemaakt in het ontsluiten en verder ontwikkelen van de expertise over het bve-veld. Vanuit een brede agenda is gezocht naar overeenkomsten in de belangen en verwachtingen van de vele betrokken partijen. De externe partijen geven overwegend aan dat ze blij zijn met de producten en werkwijze van ecbo: ecbo werkt systematisch en consequent, de praktijkrelevantie is hoog en ze komen met een goede combinatie van aanpakken om de kennis te verspreiden. Kortom, een positief beeld. Wel komt de evaluatiecommissie op basis van de zelfevaluatie en de externe gesprekken tot enkele verbeterpunten ten aanzien van de


19

thematiek en werkwijze van ecbo: De brede inhoudelijke agenda van ecbo heeft zijn doel gehad, maar nu is het tijd voor meer focus. Soms is het niet geheel duidelijk "waar ecbo precies van is". De precieze afbakening en verdeling tussen de programmalijnen, die mede zijn ontstaan vanuit de historie van de fusie, is niet altijd duidelijk en soms fungeren de programmalijnen intern als kokers. Dit blijkt ook uit de zelfevaluatie. Daarin heeft ecbo gesteld dat het de laatste drie jaar heeft ingezet op kennisaccumulatie per programmalijn. Deze kennisopbouw heeft geleid tot geïdentificeerde domeinen waar een rijkere kennisbasis is gerealiseerd. Er is nu echter behoefte aan focus, aan prioritering binnen de programmalijnen of aan het samenvoegen van bepaalde lijnen. Ecbo probeert in te spelen op diverse doelgroepen in de sector van het beroepsonderwijs. Om dat effectief te doen is ook binnen de drie kerntaken van ecbo behoefte aan een sterkere prioritering. Dit raakt aan de discussie over het feitelijke doel van ecbo. De afgelopen jaren lag de nadruk met name op de kennisontwikkeling, terwijl het brede veld dat ecbo bestrijkt ook (en met name) behoefte heeft aan een expertisecentrum dat als knooppunt van kennis fungeert. Dit vraagt om een verschuiving van de kerntaken richting kennisontsluiting en kennisverspreiding. De commissie vindt het dan ook een goede ontwikkeling dat sinds 2009 de budgetverdeling voor kennisontwikkeling ten opzichte van kennis verspreiden wat meer verschoven is in de richting van de laatste categorie, maar de commissie wil graag nog een stap verder (zie voor een verdere uitwerking paragraaf 4.3.2). Wat de werkwijze betreft is er binnen het meerjarenprogramma van ecbo relatief veel aandacht voor beschrijvend praktijkonderzoek en systematisch literatuuronderzoek. De oriëntatie op praktijkgericht onderzoek dat soms ook snel resultaten moet opleveren, kan leiden tot concessies aan de wetenschappelijke kwaliteit. Daarnaast vraagt de samenleving en de hardnekkige kloof tussen onderzoek en praktijk, ook steeds meer om andere vormen van onderzoek: meer modus 2 onderzoek waarbij sprake is van een cocreatie met de scholen. Dit gebeurt nu nog te weinig binnen ecbo. De nadruk ligt op modus 1 onderzoek (wetenschappers produceren kennis die ze vervolgens verspreiden). In 2011 (voorlopige cijfers) is er door ecbo meer onderzoek zelf uitgevoerd en minder onderzoek extern uitbesteed. Hierdoor bestaat het risico dat het percentage projecten waarbij sprake is van externe betrokkenheid afneemt. De commissie vindt dit geen wenselijke trend. Het staat haaks op de behoefte aan een netwerkorganisatie die meer als makelaar onderzoek initieert, partijen bij elkaar brengt en in specifieke gevallen zelf – samen met het veld – onderzoek uitvoert. Volgens de externe gesprekspartners is vraagsturing in de programmering van ecbo niet altijd inzichtelijk. De uitwerking van deze vraagsturing is naar het oordeel van de evaluatiecommissie niet geheel duidelijk of procedureel vastgelegd en de doelgroep (wat is vraagsturing en wie zijn de vragers?) is niet altijd helder. Ook is onduidelijk wat precies de rol van de programmaraad hierin is. De programmaraad lijkt meer bestuurlijk dan inhoudelijk samengesteld te zijn. Vraagsturing is naar het inzicht van de evaluatiecommissie meer dan een brede vertegenwoordiging van bestuurders

20


in de programmaraad. De evaluatiecommissie adviseert ecbo het proces van vraagsturing en vraagarticulatie nader uit te werken en inzichtelijker te maken. B: Bereik van en relatie met de bve-sector Het is moeilijk een reëel beeld te krijgen van het bereik van en de relatie met de bve-sector gezien de relatief korte periode waarin ecbo nu functioneert. Volgens de zelfevaluatie is er sprake van een toenemende naamsbekendheid en weten steeds meer mensen de kennisdiensten van ecbo te vinden. Uit de gesprekken blijkt echter dat er nog geen uitgekristalliseerd beeld bestaat en er verschillend wordt gedacht over de positie en mogelijkheden van ecbo. Daarom zijn met name op dit terrein verbeteringen mogelijk: Er is behoefte aan een verdere professionalisering en intensivering van de kennisverspreiding. Daarnaast blijkt uit de zelfevaluatie dat ecbo meer bekendheid moet geven aan de eigen kennisdiensten. Een eerste vereiste om de kennisverspreiding te kunnen verbeteren, is inzicht in de doelgroep. Uit beide evaluaties blijkt dat het moeilijk is om de doelgroep van ecbo helder voor ogen te hebben. Zo geven diverse externe partijen aan dat de bekendheid met ecbo onder docenten tamelijk gering is en dat zij op dit moment (te) weinig betrokken zijn bij de vraagsturing. Tegelijkertijd vragen anderen zich af of docenten wel tot de doelgroep behoren van ecbo. De commissie is van mening dat docenten een belangrijke doelgroep voor ecbo vormen en actiever betrokken moeten worden. Een andere observatie is dat bij kennisverspreiding voornamelijk lijkt te worden uitgegaan van eenrichtingsverkeer (de eerder genoemde modus 1 opvatting). In de modus 2 opvatting van wetenschap is meer sprake van cocreatie en heeft de praktijk ook de gelegenheid te reageren en commentaar te leveren, of de vragen te articuleren. Dit op basis van meer complementariteit. Uit de externe evaluatie blijkt duidelijk dat er behoefte is aan meer samenwerking/onderzoek doen met het veld, met daarin een duidelijke rol van de scholen. C: Organisatorische inbedding en organisatie De rol van ecbo als kennismakelaar wordt door de diverse partijen in het veld onderschreven en als zeer nuttig ervaren. De directeur heeft hierin een belangrijke en positieve bijdrage geleverd. De vragen die in beide evaluaties rond de organisatie zijn gesteld, hebben met name betrekking op de organisatorische randvoorwaarden om de beoogde doelen te bereiken. Die zijn niet optimaal en belemmeren in sommige gevallen het benutten van de strategische positie. Het gaat dan met name om de volgende punten: De externe evaluatie laat zien dat de profilering van ecbo onvoldoende helder is voor de verschillende doelgroepen. Door de huidige combinatie van rollen (onderzoeksbureau, expertisecentrum, kennismakelaar) is voor het veld niet altijd helder wat de positie van ecbo is. Ecbo zou in de ogen van de commissie scherper kunnen zijn op de eigen profilering, zodat de strategische positie die ecbo heeft als expertisecentrum beter tot zijn recht komt.


21

Het andere belangrijke punt betreft de professionalisering van de interne werkprocessen en van de medewerkers. Wetende dat ecbo de omslag moet maken van een projectorganisatie naar een volwaardig expertisecentrum ligt de prioriteit nu bij het verbeteren van de interne en externe kwaliteitsborging. Deze is naar het oordeel van de evaluatiecommissie nog impliciet en eenzijdig. De versterking hiervan vraagt niet alleen om heldere afspraken over de kwaliteitsprocedure en over de evaluatie en de borging van de resultaten, maar ook om bewuste keuzes als het gaat om het verder professionaliseren van de medewerkers. Er is zowel behoefte aan meer gepromoveerde medewerkers die goed de relatie kunnen leggen tussen de wetenschap en de praktijk als aan mensen die niet zozeer goede onderzoekers zijn, maar die veel meer de kennismakelaarsrol kunnen vervullen. Dit vraagt om een sterke bevoegdheid van de directeur om, snel personele beslissingen te kunnen nemen die nodig zijn om ecbo als expertisecentrum steviger te positioneren. In het verlengde van het vorige punt constateert de commissie dat de borging van de wetenschappelijke kwaliteit aandacht vraagt. In de zelfevaluatie heeft ecbo aangegeven verschillende vormen van kwaliteitsborging te hanteren: in de meerjaren- en jaarprogrammering, bij de beschrijving van projecten, bij de uitvoering van projecten en in de redactieraad. Daarop bestaat ook extern toezicht. Ook zijn er begeleidingscommissies en expertgroepen per programmalijn en bij de diverse projecten die worden uitgevoerd. De commissie stelt vast dat de borging van de wetenschappelijke kwaliteit de aandacht heeft van ecbo en adviseert dit verder te versterken en expliciteren. Tevens moet de vraag gesteld naar de rol van de programmaraad. De programmaraad keurt de meerjaren en jaarprogrammering goed en borgt dat de verbinding met het onderwijsveld (in brede zin) goed is. De programmering vindt plaats op hoofdlijnen. De raad vergadert echter niet vaak en de samenstelling van de programmaraad is meer bestuurlijk en vertegenwoordigend dan inhoudelijk. De facto is de raad in de ogen van de commissie meer een adviesorgaan dan een programmaorgaan. Tot slot stelt de evaluatiecommissie vast dat het onhandig is dat ecbo, dat al klein is, ook nog met een bilocatie te maken heeft. Deze keuze is vanuit de historie bezien begrijpelijk, maar werkt nu, drie jaar na dato, mogelijke suboptimaliteit in de hand. De positionering van dit expertisecentrum bij het CINOP (Stichting CINOP), in plaats van bijvoorbeeld onder de vlag van een universiteit, lijkt vooralsnog effectief te zijn. Ecbo maakt, zoals in de zelfevaluatie staat, gebruik van de organisatorische ondersteuning van Stichting Cinop via Huisvesting, ICT, PZ, Finance en Control, en dergelijke. De personele constructie van detachering maakt het onder andere mogelijk om mensen (expertise) aan de organisatie te binden. De voor- en nadelen van de verhouding tussen het consultancybedrijf Cinop en ecbo zijn de commissie, gezien het tijdsbestek van de evaluatie, niet voldoende helder geworden.

22


4.3

Oordeel: conclusies en aanbevelingen

4.3.1 Realisatie van de doelstellingen en de toegevoegde waarde van ecbo Allereerst wil de commissie vaststellen dat de evaluatie van ecbo vroeg en misschien zelfs te vroeg komt. Ecbo is pas korte tijd onderweg en is bezig om bestaansrecht te ontwikkelen. Er is nog weinig inzicht in de feitelijke impact die ecbo heeft op het beroepsonderwijs. De organisatie is in ontwikkeling en maakt bovendien een cultuuromslag in werkwijze en bemensing door de transitie van een projectorganisatie naar een expertisecentrum. Daar komt bij dat de doelstelling van ecbo breed is, zoals ook vastgelegd was in de oprichtingsovereenkomst; ecbo wil een bijdrage leveren in verschillende fases van de kennisontwikkeling en toepassing. Het is nog niet duidelijk of ecbo op alle gebieden meerwaarde kan leveren, mede omdat de context waarin zij moet functioneren nauwelijks op onderzoek en kennisontwikkeling is gericht. Er zijn echter belangrijke argumenten voor het bestaansrecht van ecbo. Bij de universiteiten is weinig aandacht voor onderzoek naar het beroepsonderwijs, kenniscentra zoals aangesloten waren bij Colo (nu onderdeel van de structuur rond SBB) zijn weinig gericht op algemeen onderzoek naar het beroepsonderwijs en zijn geen natuurlijke partners, en in het veld zelf zijn beperkte mogelijkheden om te investeren in een adequate kennisinfrastructuur. In deze complexe context moet ecbo niet alleen goede diensten en producten leveren, zij moet ook investeren in de inrichting van de sector zelf opdat de diensten en producten ook goed kunnen landen. Met inachtneming van het feit dat de evaluatie erg vroeg komt, is de commissie zeer te spreken over de resultaten die zijn bereikt. Er is nog veel werk te verzetten maar ecbo heeft een stevige basis weten te leggen onder haar werkzaamheden en heeft zich langzaam maar zeker een positie weten te verwerven in het brede bve-veld. Er is volgens de commissie inhoudelijk dan ook geen reden om te twijfelen aan het bestaansrecht van ecbo. De signalen zijn gunstig en de gesprekken bevestigen de keuze voor een apart expertise centrum voor het mbo: door ecbo is meer kennis ontwikkeld en ontsloten voor het bve. Over het algemeen wordt ook vanuit de MBO Raad de rol van ecbo als kennismakelaar gewaardeerd. Duidelijk is dat ecbo een specifieke en belangrijke rol kan vervullen die bijvoorbeeld vanuit het onderwijsonderzoek van NWO PROO de afgelopen jaren onvoldoende is waargemaakt. De evaluatiecommissie is dan ook van mening dat er specifieke aandacht, geld en infrastructuur nodig is voor de versterking van de kennisbasis van de bvesector en dat ecbo daarin een goede rol kan vervullen. Omdat ecbo nog geen drie jaar in de huidige vorm operationeel is, is men op zoek naar de beste werkwijze voor het initiëren, uitvoeren en verspreiden van praktijkrelevant onderwijs onderzoek gericht op de bve-sector. Ecbo moet de kans krijgen om deze professionaliseringsslag te realiseren. Dit vraagt wel van ecbo dat zij haar potentieel de komende jaren waar moet maken. Dit betekent de basis van het instituut te versterken, het aanscherpen van de doelstelling van ecbo, het creëren van meer samenhang in het werk en het daadwerkelijk realiseren van de omslag van projectenbureau naar expertisecentrum, onder meer door een Externe evaluatie ecbo, evaluatierapport

23

herformulering van de taken en functies van medewerkers, directeur en programmaraad. De aanbevelingen uit de volgende paragraaf kunnen hier als richting fungeren. 4.3.2 Aanbevelingen voor de positionering en toekomstige koers van ecbo Positionering ecbo algemeen De huidige strategische positie van ecbo is niet helder en sterk genoeg. De gewenste profilering ligt volgens de commissie minder bij de kennisontwikkeling en veel meer bij het realiseren van een knooppunt van kennis van en voor het beroepsonderwijs. Ecbo verkeert nu in de pioniersfase met een groeiende positie richting overheid, wetenschap, onderwijsinstellingen en kenniscentra. Het is belangrijk dat ecbo de kans krijgt zijn positie te versterken en de organisatie te consolideren. Dat is niet alleen van belang voor ecbo zelf maar vooral ook voor het brede veld van het beroepsonderwijs. Dat dwingt ecbo sterkere verbindingen met het veld te zoeken en er voor te zorgen dat scholen en de beroepsgroep een stevige positie hebben in de vraagarticulatie (dus meer dan alleen onderzoeksobject zijn). Dit alles vraagt om een onafhankelijke positie van ecbo. Volgens de commissie kan ecbo zijn onafhankelijkheid en zijn meerwaarde versterken door zich te concentreren op de legitimiteit van het instituut: de kwaliteit van het verbinden van kennis en het verbinden van werkveld, praktijk en wetenschap. In het licht van de huidige landelijke discussie over de programmering van onderwijsonderzoek (Commissie De Graaf) adviseert de evaluatiecommissie om ecbo voor de komende vijf jaar een zelfstandige positie te laten behouden met eigen middelen en het ecbo niet te laten opgaan in de nieuwe programmeringsorganisatie. Ecbo zou daarbij een expliciete opdracht moeten meekrijgen om zich te ontwikkelen tot een gezaghebbend expertise- en kenniscentrum voor de bve-sector. In hoofdstuk 3 is reeds aangegeven dat er vanuit het ministerie van OCW behoefte blijft aan een organisatie die snel antwoorden kan geven op specifieke vragen met betrekking tot de bve-sector. Een zelfstandig ecbo kan een belangrijke meerwaarde bieden ten opzichte van een onderzoeksbureau dat als één van de partijen moet concurreren om de middelen. Ecbo als kennisinstituut Bij de algemene positionering van ecbo is al aangegeven dat de evaluatiecommissie met name kansen ziet voor een vergaande nadruk op twee van de drie kerntaken, namelijk kennisontsluiting en kennisverspreiding. Dat zou betekenen dat ecbo minder bezig zou moeten zijn met de daadwerkelijke zelf uitvoering van onderzoek, maar meer met vormen van onderzoek die de makelaarsfunctie versterken en ondersteunen. Door meer onderzoek uit te besteden en door meer cocreatie met het veld te stimuleren (kennispartners bij elkaar brengen, modus 2 onderzoek), hoeft ecbo niet op alle onderzoeksterreinen expertise op te bouwen. De nadruk komt dan veel meer te liggen op de transferrol, waardoor ecbo meer een echt expertisecentrum wordt dat onderzoek bij elkaar brengt, synthetiseert en weer verspreidt. Een

24


expertisecentrum zal ook altijd zelf onderzoek moeten blijven doen, maar dan gaat het vooral om het bij elkaar brengen van secundaire data die door ecbo van interpretatie worden voorzien. Een knooppuntfunctie betekent niet alleen verbinden met onderwijs en de onderwijswetenschappen, maar ook met het beroepenveld en de kenniscentra die daar mee bezig zijn. Een knooppuntfunctie betekent ook dat de gehanteerde communicatietechnieken en strategieën voor het verspreiden van kennis nog eens tegen het licht gehouden moeten worden. Door te kiezen voor twee kerntaken, ontstaat automatisch ook meer focus en prioritering in de huidige vijf programmalijnen. Vanuit de huidige brede aanpak en brede programmering is sprake van een versnippering van tijd en expertiseopbouw en van een te hoge werkbelasting bij medewerkers. De commissie verwacht dat vanuit de knooppuntfunctie programmalijnen gebundeld kunnen worden, zodat juist kennisverbinden en –verspreiden meer accent krijgen. De organisatorische inbedding Als ecbo zich verder gaat ontwikkelen tot een onafhankelijk en professioneel knooppunt/expertisecentrum, zal de organisatie daar ook op gericht moeten zijn. Dit vraagt om een heroriëntatie van taken en functies tussen de medewerkers, directie en programmaraad. Bezien vanuit de nieuwe rol van ecbo zoals de evaluatiecommissie die voor zich ziet, is er momenteel sprake van een mismatch tussen de opdracht van ecbo en de competenties van een deel van het personeel. De meeste medewerkers zijn goede onderzoekers. Ook een expertisecentrum zal soms zelf onderzoek doen (met name op basis van secundaire data), maar de nadruk moet veel minder liggen op het eigen expertiseveld en veel meer op het kunnen vervullen van de kennismakelaarsrol. Een kennisinstituut vraagt om gepromoveerde medewerkers die begrijpen hoe kennis werkt: geen wetenschappers die alleen wetenschappelijk willen publiceren, maar gepromoveerden die een affiniteit hebben met de maatschappelijke rol, die kennis voor de praktijk willen inzetten en waarde hechten aan de cocreatie met het veld en aan het organiseren van verbindingen tussen de diverse kennispartners. Voorwaarde om kwaliteit te behouden en op een hoger plan te helpen, is dat medewerkers de vragen uit de praktijk weten te herkennen en te verbinden met de wetenschap. De competenties om die verbinding te maken moeten volgens de commissie verder ontwikkeld worden. Daarnaast vraagt een expertisecentrum om een meer onafhankelijke en zelfstandige organisatie die snel kan handelen om te kunnen reageren op dringende kennisvragen. Dat betekent dat de directeur van ecbo een sterkere positie en bevoegdheid moet krijgen. De programmaraad moet zich op afstand (blijven) bevinden van het instituut en de lijnen aangeven op basis van de vragen en voorstellen uit het veld. Deze positie houdt in dat de programmaraad -zoals nu ook gebeurt- niet tijdens het traject intervenieert. Een andere profilering van ecbo vereist daarentegen wel een programmaraad die zich meer opstelt als een adviserend orgaan waarin mensen zitten die vooral kunnen bijdragen aan de vormgeving en invulling van de knooppuntfunctie van ecbo. Kritische mensen uit wetenschap, praktijk en met name het beroepenveld die


25

niet zozeer vanuit belangen, maar meer vanuit hun toegevoegde waarde meedenken over het makelen en dissemineren van kennis. Een dergelijke adviesraad maakt het ook mogelijk dat ecbo zich meer zelfstandig en onafhankelijk kan opstellen. Vraagsturing Onder vraagsturing verstaat de evaluatiecommissie het vertrekken vanuit een goed gedefinieerd probleem uit de praktijk. De commissie heeft geconstateerd dat dit nog onvoldoende gerealiseerd wordt. Met name het ongericht verspreiden van kennis heeft weinig effect. Vanuit de nieuwe profilering zal ecbo expert moeten worden in het bruikbaar maken van kennis voor concrete beleids- en schoolpraktijken. Hier liggen voor ecbo drie taken: 1. Ecbo zou er goed aan doen om de vraagsturing actiever op te pakken onder meer door met de ‘vragers’ de problemen te ontsluiten en te vertalen in onderzoeks- en kennisvragen. Concreet vraagt dit van ecbo het programmeren van het versterken van de expertiseontwikkeling en de vraagarticulatie binnen het bve-veld. Het is goed om ook in de kennisverspreiding op zoek te gaan naar methodieken en instrumenten die de scholen kunnen ondersteunen bij hun rol als kennismakelaar. Dit betekent dat ecbo ook moet investeren in het opbouwen en onderhouden van deze infrastructuur opdat de producten landen daar waar dat nodig is. 2. Als er meer ondersteuning komt bij de vraagarticulatie, dan kan ook meer en beter gebruik gemaakt worden van de kennis die binnen de onderwijsinstellingen beschikbaar is. Het is belangrijk dat ecbo meer nog dan nu het geval is een bestendige relatie met de instellingen opbouwt. De roc’s hebben een sterk netwerk op het gebied van onderzoek, daar zou ecbo zich aan moeten koppelen, bijvoorbeeld via de academische werkplaatsgedachte. Wat de doelgroep van ecbo betreft, is (nog impliciet) gekozen voor het management/staf van de instellingen en niet voor de docent als doelgroep van ecbo. Dit betekent dat de instellingen verantwoordelijk zijn voor het verspreiden van de kennis binnen de roc. Hiervoor kan het netwerk van innovatiemanagers van de instellingen goed benut worden. Dit vraagt wel van de instellingen dat zij de innovatiemanagers in positie brengen zodat ze hun rol ook kunnen vervullen. Ook hier ligt een taak voor ecbo, omdat zij via de MBO-raad en met steun van OCW de instellingen aan kan spreken op het creëren van randvoorwaarden op de instellingen zodat ook zij hun kennisrol kunnen waarmaken. Denk bijvoorbeeld aan het opnemen van de onderzoekende houding van docenten in het professioneel statuut van de instelling. Ecbo moet deze ontwikkeling krachtig ondersteunen en hier ook de kenniscentra nauw bij betrekken. 3. Er moet meer geïnvesteerd worden in de cocreatie van onderzoek, onder andere door wetenschappers en het beroepsveld bij elkaar te brengen. Hier ligt een belangrijke meerwaarde voor het ecbo. Enerzijds vraagt dit om het versterken van de banden met het universitair wetenschappelijk onderzoek. Anderzijds vraagt het om specifieke procedures (zoals de procedures die door Kennisnet in haar praktijkgericht onderzoek gehanteerd worden of zoals die 26


bijvoorbeeld gehanteerd zijn in de Expeditie Durven, Delen, Doen van de VO raad) waarbij in cocreatie met onderwijsinstellingen gewerkt wordt aan feitelijke problemen op scholen, waarbij tevens geprobeerd wordt tot generaliseerbare en wetenschappelijke onderzoeksbevindingen te komen naar aanleiding van deze cocreatie. Door deze samenwerking zou de informatie en kennis die vanuit ecbo wordt aangereikt, wellicht praktischer kunnen en meer “how to” informatie kunnen bevatten, zonder echter dat door deze sterkere vertaling naar de praktijk concessies gedaan moeten worden aan de wetenschappelijke en onderzoeksmatige kwaliteit daarvan. Financiering en inbedding Het aandeel publieke middelen is de afgelopen jaren verhoudingsgewijs toegenomen in de financiering van ecbo. Qua financiering raadt de evaluatiecommissie aan de huidige financieringsomvang te continueren. Eventueel kan in de toekomst een deel van de financiering lopen in de vorm van een model van competitie via het nieuwe orgaan voor onderwijsonderzoek, maar het is belangrijk dat ecbo, in nauwe samenwerking met de vele betrokken partijen in het bve-veld, in staat blijft vraaggestuurd, eigenstandig, snel en waar nodig eigenwijs onderzoek te (laten) verrichten of te bundelen. Een model van competitie zoals dat bijvoorbeeld bij NWO PROO gehanteerd is, kan hierbij belemmerend en vertragend werken. De basisfinanciering moet zeker voor een aantal jaren worden voortgezet. Daarnaast is er projectfinanciering nodig en kan gezocht worden naar andere financieringsvormen, bijvoorbeeld door onderwijsinstellingen co-investor te laten zijn. De evaluatiecommissie vindt het goed dat ecbo terughoudend is in het verwerven van middelen van marktpartijen, omdat dit de onafhankelijke positie en de objectiviteit zou kunnen schaden. Tot slot van deze evaluatie nog een opmerking over de positionering van ecbo binnen Cinop. De commissie onderkent dat het onderbrengen bij Cinop, evenals de dislocatie, een pragmatische oplossing was voor de fusiesituatie drie jaar geleden. De commissie vraagt zich af de hoofdmissie van ecbo (het realiseren van een expertisecentrum en een knooppunt van kennis) maximaal gerealiseerd kan worden binnen de huidige constructie tussen Cinop en ecbo. De evaluatiecommissie heeft niet de vraag gekregen om te kijken of binnen deze de hoofdmissie van ecbo het best gewaarborgd is. De commissie geeft daarom het advies om hier nog goed naar te kijken, mede in het licht van het advies van de Commissie De Graaf.


27

28


Bijlage 1 Overzicht gespreksdeelnemers Dhr. R. Baarda (Senior beleidsmedewerker Colo) Mevr. J. Bours (Directeur Centre for Teaching and Learning, Koning Willem I College) Dhr. H. Coonen (Kwartiermaker Centrale organisatie Onderwijswetenschappen) Mevr. M. Held (Docente verpleegkunde bij het Koninklijk Willem I) Mevr. F. Hengeveld (Lid MBO Raad, lid Programmaraad, bestuurder de Groene Welle) Dhr. S. Karsten (Wetenschappelijk adviseur ecbo) Mevr. I. Koning (Hoofd communicatie kennistransfer ecbo) Mevr. J. Leenhouts (Lid MBO Raad, Voorzitter CvB Mondriaan College) Dhr. M. van der Meer (Directeur ecbo) Dhr. H. Morshuis (Bestuur ecbo en directeur Cinop) Dhr. J. Neuvel (Senior onderzoeker ecbo) Mevr. J. Noordijk (Directeur BVE OCW) Mevr. T. Pruimboom (Dienst OPK van het Regio College) Dhr. J. Schobben (Directeur onderwijs en ontwikkeling, ROC De Leijgraaf) Dhr. W. Streumer (Algemeen directeur Ecabo en lid Programmaraad) Mevr. E. Verheijen (Programmaleider ecbo) Mevr. A. Westerhuis (Programmaleider ecbo) Mevr. G. de Wit (Programmamanager deelnemerssucces en onderwijs, Regio College) Dhr. Th. Wubbels (Voorzitter Programmaraad) Mevr. B. van Wijk (Onderzoeker ecbo) Mevr. I. Zitter (Senior onderzoeker ecbo)


29

Externe evaluatie ecbo. evaluatierapport

Recommend Documents