Validatierapport Kwaliteitszorg Onderzoek

Validatierapport Kwaliteitszorg Onderzoek Hogeschool Van Hall Larenstein

April 2013 Deelcommissie VKO    

Prof. dr. F.A. (Frans) van Vught (voorzitter); Drs. B. (Bart) van Bergen (lid) Drs. P.M.M. (Paul) Rullmann (lid) H. (Hans) Koolmees (secretaris)

INHOUDSOPGAVE

1.

Inleiding ..................................................................................................................................................... 3

2.

Schets van de hogeschool .......................................................................................................................... 4

3.

Bevindingen ............................................................................................................................................... 6

3.1.

Structuur en samenhang in de kwaliteitszorg ............................................................................................. 6

3.2.

Randvoorwaarden voor de uitvoering van de kwaliteitszorg ................................................................... 10

3.3.

Evaluaties van onderzoekseenheden ........................................................................................................ 12

3.4.

Verbeterbeleid .......................................................................................................................................... 13

4.

Conclusies en aanbevelingen ................................................................................................................... 15

Bijlage 1 Instellingsbesluit VKO ......................................................................................................................... 17 Bijlage 2 Overzicht bestudeerd materiaal ............................................................................................................. 20 Bijlage 3 Bezoekprogramma ................................................................................................................................. 21 Bijlage 4 Korte beschrijving van de VKO deelcommissieleden ........................................................................... 23 Bijlage 5. Organigram Hogeschool Van Hall Larenstein ...................................................................................... 24 Bijlage 6. Overzicht lectoraten Hogeschool Van Hall Larenstein ......................................................................... 25


2

1. Inleiding De validatiecommissie kwaliteitszorg onderzoek (VKO) is begin 2009 door de voorzitter van de HBO-raad geïnstalleerd (zie instellingsbesluit, bijlage 1). De VKO maakt als onafhankelijke commissie deel uit van het per 1 januari 2009 ingevoerde kwaliteitszorgstelsel voor onderzoek aan hogescholen, gebaseerd op het brancheprotocol kwaliteitszorg onderzoek (BKO). De taak van de VKO is het valideren van de kwaliteitszorgsystemen van de hogescholen, voor zover de kwaliteitszorg betrekking heeft op onderzoek. Kwaliteitszorg wordt daarbij gedefinieerd als "het systematische en dynamische geheel van beleid, organisatie, procedures, processen en middelen, gericht op het permanent handhaven en verhogen van de kwaliteit van het onderzoek binnen de hogeschool, door middel van cyclisch evalueren en verbeteren". Bij de installatie van de VKO is voor elke hogeschool - op basis van eigen voorkeuren –door de HBO-raad vastgelegd in welk jaar de validatie plaatsvindt. In de zo tot stand gekomen planning voor 2009-2015 stond de Hogeschool Van Hall Larenstein ingeroosterd voor de eerste helft van 2013. De VKO ontving in februari 2013 het zelfevaluatierapport van de hogeschool met uitgebreide documentatie (zie overzicht in bijlage 2) ter bestudering en bespreking. Het validatiebezoek vond vervolgens plaats op donderdag 21 maart 2013. Een deelcommissie vanuit de VKO sprak op die dag met het College van Bestuur, opleidingsdirecties, staf, lectoren, onderzoekers/docenten, de voorzitter van de externe onderzoeksevaluatiecommissies en externe stakeholders vanuit twee lectoraten binnen de hogeschool (zie het volledige bezoekprogramma en de antecedenten van de deelcommissie vanuit de VKO in bijlage 3 en 4). Aan het eind van het bezoek is door de voorzitter van de deelcommissie VKO een voorlopige mondelinge terugkoppeling gegeven. Daarna heeft de VKO zich intern beraden op de definitieve rapportage. Van de VKO wordt verwacht dat zij bij elke hogeschool tot een op ontwikkeling en verbetering gerichte rapportage komt. Het gaat daarbij om een onderbouwde en genuanceerde kwalitatieve conclusie ten aanzien van het functioneren van het kwaliteitszorgsysteem in verschillende opzichten en op verschillende dimensies, alsmede de hierop gebaseerde aanbevelingen tot verbetering. Op basis van haar bevindingen heeft de VKO de kwaliteitszorg met betrekking tot het onderzoek van de hogeschool voorwaardelijk gevalideerd. Deze rapportage geeft een nadere onderbouwing van dit oordeel. In hoofdstuk 2 wordt een schets gegeven van de hogeschool, in algemene zin en meer toegespitst op de missie, organisatie en omvang van het onderzoek. Hoofdstuk 3 beschrijft de bevindingen en beoordelingen van de VKO aan de hand van de vier validatievragen zoals deze zijn vastgelegd in het basisdocument kwaliteitszorg onderzoek 2009-2015 (zie www.vkohogescholen.nl). In hoofdstuk 4 sluit de VKO af met haar conclusie en aanbevelingen.


3

2. Schets van de hogeschool Hogeschool Van Hall Larenstein (VHL), gevestigd in Velp, Wageningen en Leeuwarden, is in Nederland de grootste hogeschool in de sector Hoger Agrarisch Onderwijs (HAO). De hogeschool biedt hboopleidingen aan en voert onderzoek uit in het groene domein. VHL verzorgt 14 bachelor opleidingen, 6 Associate degree opleidingen en 3 masteropleidingen. Het streven is om ten minste één lectoraat te verbinden aan elke opleiding. Er studeren ca. 4.000 studenten waarvan 13 % een vooropleiding in het buitenland heeft gevolgd. Er werken 508 medewerkers bij de hogeschool met een totale omvang van 388 fte. Gedurende een periode van meer dan honderd jaar heeft VHL zich door fusies en verhuizingen ontwikkeld tot de huidige instelling. De laatste fusie heeft in 2004 plaatsgevonden en betrof het onderbrengen van VHL in het concern Wageningen UR (WUR). Door het uitblijven van de verwachte meerwaarde ervan is in juni 2012 besloten tot een ontvlechting. VHL omschrijft haar missie als volgt: ‘VHL is een gespecialiseerde hogeschool in het groene domein en draagt bij aan de kwaliteit van het leven door uitdagend groen onderwijs te verzorgen en praktijkgericht onderzoek uit te voeren. VHL blijft dé groene hogeschool van Nederland voor studenten die betekenisvol werk gaan doen in de sector gericht op natuur en leefomgeving, gezondheid van mens en dier en voeding en voedselproductie. VHL onderscheidt zich door een breed en diep aanbod van opleidingen en diensten en door het stimuleren van creativiteit en innovatie. Zij biedt hoogwaardig onderwijs en doet onderzoek waarin kwaliteit voorop staat.’ De missie van VHL wordt vertaald in 6 kwaliteitsdoelen. Deze kwaliteitsdoelen hebben betrekking op: 1) tevreden studenten, 2) beroepsgericht onderwijs, 3) internationale oriëntatie, 4) verankering van praktijkgericht onderzoek, 5) ruimte voor ontwikkeling en groei van medewerkers en 6) operational excellence. De indicatoren hiervoor zijn opgenomen in de Prestatieafspraken VHL 2012 – 2015. De organisatie van VHL is als volgt opgebouwd: Het College van Bestuur (CvB) geeft leiding aan de opleidingen die verdeeld zijn over 8 directies, aan de 15 lectoraten en aan 7 stafdiensten. Voor het organigram zie bijlage 5. Voor het overzicht van de lectoraten zie bijlage 6. Het CvB is in deze constellatie de hiërarchisch leidinggevende van de lector en de opleidingsdirecteur is de functioneel leidinggevende. De opleidingsdirecteur is budgethouder voor onderwijs en onderzoek. De opleidingsdirecteuren dragen de verantwoordelijkheid voor de kwaliteit van hun opleiding(en) en de aan die opleidingen gekoppelde lectoraten. Het Stafbureau van het CvB voert taken uit op het gebied van de kwaliteitszorg van het onderwijs en het onderzoek. Het CvB is eindverantwoordelijk voor de integrale kwaliteit van de hogeschool. Met betrekking tot de visie en de doelen van het onderzoek stelt VHL het volgende: ‘VHL voert praktijkgericht onderzoek uit in nauwe samenwerking met de beroepspraktijk. Hiermee ontwikkelt VHL actuele en innovatieve kennis en levert zij een bijdrage aan een duurzame en innovatieve samenleving. De verbinding tussen het onderwijs, het onderzoek en de beroepspraktijk is cruciaal. Het onderwijsportfolio en vragen uit de beroepspraktijk zijn leidend voor de thema’s en onderzoeksvragen van het onderzoek van VHL. De lectoraten zijn de onderzoekseenheden van de hogeschool en leggen in een open dialoog de verbindingen tussen onderwijs, praktijkgericht onderzoek en de (internationale) samenleving. Het praktijkgericht onderzoek is multidisciplinair en heeft de volgende kenmerken: 1) is relevant voor en heeft invloed op de beroepspraktijk, 2) is wetenschappelijk valide, 3) is onderwijsgerelateerd en 4) is internationaal georiënteerd. Doel van het praktijkonderzoek is een bijdrage te leveren aan de ontwikkeling van nieuwe kennis, aan kenniscirculatie en kennisvalorisatie met de beroepspraktijk en de maatschappij,


4

aan de vernieuwing van het onderwijsaanbod, aan de opleiding van studenten tot professional en aan de professionalisering van docenten’. Ten tijde van het validatiebezoek beschikt VHL over 15 lectoraten, 16 lectoren, drie vacatures en 2 erelectoren. Van de 15 lectoraten worden er 5 geheel of gedeeltelijk uit de rijksbijdrage gefinancierd. Tien lectoraten zijn te karakteriseren als bijzondere lectoraten of worden anderszins extern gefinancierd. Op 1 januari 2012 waren er 96 docenten en andere onderzoekers verbonden aan de lectoraten. Het aantal promovendi bedroeg 2. Een aantal lectoraten participeert in 7 Centres of Expertise. Eén van deze Centres wordt gecoördineerd door VHL (Centre of Expertise ‘Dier’). In de overige Centres is VHL deelnemer. Het kwaliteitszorgsysteem voor onderzoek is gebaseerd op het aggregatieniveau van de afzonderlijke lectoraten. Het kent zowel een interne invalshoek als een externe invalshoek en vindt, naast de evaluatie van de afzonderlijke onderzoeken binnen de lectoraten, op twee niveaus plaats: 1) binnen de lectoraten met behulp van veel verschillende evaluatie-instrumenten en aan de hand van een PDCA-cyclus en 2) op hogeschoolniveau eveneens aan de hand van een PDCA-cyclus. Ten tijde van het validatiebezoek waren bij twee lectoraten de externe onderzoekevaluaties vrijwel afgerond. Op basis van deze twee evaluaties heeft de voorzitter van de commissies een meta-evaluatie uitgevoerd. De jaarcijfers die door de VKO worden geïnventariseerd laten m.b.t. het onderzoek van VHL het volgende beeld zien:  Het budget voor onderzoek bedroeg in 2011 in totaal K€ 2.509 waarvan K€ 585 afkomstig was uit de 1e geldstroom.  De lector-studentratio bedraagt 1 : 768 (landelijk streefcijfer: 1 : 720)  De betrekkingsomvang van de lector bedraagt 0,46 fte (landelijk gemiddelde 0,54 fte)  Het aandeel gepromoveerde lectoren bedraagt 64 % (landelijk gemiddelde 74 %)  Het percentage onderzoeksgelden en speciale subsidies dat VHL uit de markt verwerft t.o.v. het gehele onderzoeksbudget bedraagt 76 % (landelijk gemiddelde 44 %)  Het aantal docent onderzoekers bedraagt 30 % (landelijk gemiddelde 12 %)  Het gemiddeld aantal fte’s per onderzoeker bedraagt 0,17 (landelijk gemiddelde 0,26)  Het percentage studenten dat bij het onderzoek betrokken is bedraagt 11,8 % (landelijk gemiddelde 3,4 %)


5

3. Bevindingen De VKO kon beschikken over een uitgebreide documentatie in de vorm van het zelfevaluatierapport met diverse bijlagen en een grote hoeveelheid notities, beleidsdocumenten, notulen, plannen, voortgangsrapportages e.d. (zie bijlage 2 voor het overzicht van de bestudeerde documenten). De VKO heeft in haar oordeelsvorming veelvuldig gebruik gemaakt van deze documentatie. De commissie constateert dat de medewerkers een grote betrokkenheid demonstreren bij de onderzoekstaak van de VHL. Het zelfevaluatierapport laat zien dat men niet terughoudend is in het signaleren van zaken die goed gaan en zaken die verbetering behoeven. Een zelfde houding trof de commissie aan gedurende de gesprekken. Deze waren te karakteriseren als open en men durfde zich daarbij kwetsbaar op te stellen. Conform het basisdocument dient de VKO de volgende vier validatievragen te beantwoorden: 1. Is er sprake van voldoende structuur en samenhang in de kwaliteitszorg van de hogeschool (ten aanzien van onderzoek)? 2. Zijn er voldoende randvoorwaarden voor de uitvoering van de kwaliteitszorg (ten aanzien van onderzoek)? 3. Worden de onderzoekevaluaties op deskundige en onafhankelijke wijze uitgevoerd en conform de brancheafspraken hierover? 4. Worden evaluaties gebruikt voor de handhaving en verbetering van de kwaliteit van het onderzoek en de organisatie? Hieronder structureert de commissie haar bevindingen aan de hand van deze vier vragen in respectievelijk de paragrafen 3.1, 3.2, 3.3 en 3.4. Elk van deze vier paragrafen wordt afgesloten met mogelijkheden voor verbetering op de voor de validatievraag relevante onderwerpen.

3.1. Structuur en samenhang in de kwaliteitszorg Beschrijving De kernpunten uit de visie op het onderzoek worden door VHL als volgt omschreven: ‘Het praktijkonderzoek wordt in nauwe samenwerking met de beroepspraktijk uitgevoerd en levert actuele en innovatieve kennis op waarmee een bijdrage geleverd wordt aan een duurzame en innovatieve samenleving […] De verbinding tussen het onderwijs, het onderzoek en de beroepspraktijk is cruciaal […] Het praktijkonderzoek van VHL is 1) relevant voor en heeft invloed op de beroepspraktijk, 2) is wetenschappelijk valide, 3) is onderwijsgerelateerd en 4) is internationaal georiënteerd.’ Het onderzoek aan VHL kent vier doelen/kerntaken die overeenkomen met hetgeen beschreven is in het BKO: 1) kennisontwikkeling, 2) professionalisering van docenten, 3) kenniscirculatie en 4) onderwijsontwikkeling. Deze doelen/kerntaken fungeren als leidraad bij de beoordeling van de kwaliteit van het praktijkgericht onderzoek. Daarnaast heeft VHL zes kwaliteitsdoelstellingen beschreven (zie hoofdstuk 2). Van deze zes kwaliteitsdoelstelling zijn vier doelen van belang voor het praktijkgericht onderzoek: 1) beroepsgericht onderwijs, 2) internationale oriëntatie, 3) verankering van praktijkgericht onderzoek en 4) ruimte voor ontwikkeling en groei van medewerkers. Het kwaliteitszorgsysteem voor onderzoek van VHL richt zich op het aggregatieniveau van de afzonderlijke lectoraten. Het kwaliteitszorgsysteem is opgebouwd uit de interne kwaliteitszorg en de externe kwaliteitszorg.


6

Binnen de lectoraten vindt de evaluatie van de afzonderlijk uitgevoerde onderzoeken op heel verschillende wijzen plaats. Elk lectoraat heeft de vrijheid om de meest geschikte wijze hiervoor zelf vast te stellen en/of de eisen te volgen die de externe opdrachtgevers stellen. Voorts wordt de interne kwaliteitszorg op twee niveaus uitgevoerd. Op het lectoraatsniveau maakt men bij de interne kwaliteitszorg gebruik van de PDCA-cyclus. Deze cyclus staat beschreven in het document Onderzoeksbeleid Hogeschool Van Hall Larenstein 2013 – 2016. In de planningsfase hanteert men o.a. de volgende documenten: lectoraatsopdracht, meerjarenplan, jaarplan en onderzoeksbeleid. Deze documenten vormen in de check-fase, aangevuld met het jaarverslag over de voorgaande periode, het uitgangspunt voor de plannings- en voortgangsgesprekken die tussen opleidingsdirecteur en de lector gehouden worden. Op hogeschoolniveau maakt men bij de interne kwaliteitszorg eveneens gebruik van de PDCA-cyclus in de vorm van managementgesprekken. Kaderstellend daarbij is het document ‘Onderzoeksbeleid VHL 20132016. De gesprekken vinden plaats tussen het CvB en de opleidingsdirecteuren. In deze gesprekken worden de jaarplannen en de voortgang van de uitvoering van de jaarplannen besproken. Het onderzoek maakt deel uit van deze jaarplannen. De beoordelingsgesprekken met de lector worden door het CvB gevoerd waarbij de opleidingsdirecteur een adviserende rol heeft. Interne en externe verantwoording wordt afgelegd in jaarverslagen. De externe kwaliteitszorg vindt plaats in de vorm van visitaties. Die dienen één keer per zes jaar plaats te vinden. Dat is in het verleden niet altijd gebeurd. VHL heeft besloten om een inhaalslag te plegen inzake externe evaluaties en uit pragmatische overwegingen is besloten om tot 2016 het tijdstip van externe evaluatie te laten samenvallen met het moment van een eventuele herbenoeming van de lector. De resultaten van de externe evaluaties spelen een belangrijke rol in de besluitvorming bij verlenging van het lectoraat en/of de aanstelling van de lector. De wijze van evaluatie van het uitgevoerde onderzoek binnen de lectoraten wordt bepaald door de lectoren zelf al dan niet in samenspraak met de opleidingsdirecteuren. In veel gevallen wordt deze wijze van evaluatie mede bepaald door de opdrachtgevers van het onderzoek. De ontwikkeling van de PDCA-cycli en de wijze waarop de externe kwaliteitszorg plaatsvindt worden met name geïnitieerd door medewerkers van het stafbureau CvB. Deze plannen worden besproken en geamendeerd in het lectorenberaad en het directeurenoverleg waarna bijstelling en vaststelling plaatsvindt.

Observaties en oordeel De commissie oordeelt positief over het uitgangspunt van de koppeling van de vier doelen/kerntaken van het praktijkgericht onderzoek aan de kwaliteitsdoelen zoals die verwoord zijn in de prestatieafspraken. De missie van VHL heeft zijn vertaling gekregen in vier doelen/kerntaken van onderzoek. Maar deze vier doelen/kerntaken zijn zodanig algemeen geformuleerd dat ze nog niet de specifieke kleuring weergeven van de (onderzoek)missie van VHL en niet exact de lading dekken van het uitgevoerde onderzoek. In de meta-evaluatie van de onafhankelijke voorzitter van twee evaluatiecommissies zijn hierover behartigenswaardige opmerkingen gemaakt die de commissie graag onderstreept. De commissie constateert eveneens dat bij de kwaliteitszorg op hogeschoolniveau er nog weinig aandacht wordt besteed aan de epistemologische en fundamenteel methodologische keuzes volgens welke het praktijkgericht onderzoek uitgevoerd wordt; wat is in essentie het eigene van het praktijkgericht onderzoek en welke zijn de meeste geëigende methoden en technieken om het praktijkgericht onderzoek aan te pakken. Deze onderwerpen worden nu naar mening van de commissie nog te veel alleen op lectoraatsniveau (min of meer expliciet) aan de orde gesteld. Naar de mening van de commissie kan een meer gemeenschappelijke visie een duidelijke bijdrage leveren aan het onderzoekprofiel van VHL.


7

Met VHL constateert de validatiecommissie dat de doelen/kerntaken van onderzoek nog niet in voldoende mate hun vertaling hebben gekregen in meetbare en hanteerbare indicatoren. Wel is geconstateerd dat op lectoraatsniveau eerste aanzetten daartoe gegeven zijn. Het risico daarbij is dat, indien zonder hogeschoolbrede kaderstelling de indicatoren op lectoraatsniveau ontwikkeld worden, er fragmentering kan optreden en hogeschoolbrede aansturing van het onderzoek minder goed mogelijk is. De commissie constateert dat er in het tweede halfjaar van 2012 veel initiatieven zijn genomen m.b.t. de kwaliteitszorg. Zo is er o.a. het Onderzoeksbeleid Hogeschool Van Hall Larenstein 2013 – 2016 ontwikkeld, is er een Draaiboek Onderzoeksevaluaties ontwikkeld en hebben er twee externe evaluaties en een meta-evaluatie plaatsgevonden. Al deze initiatieven dragen er toe bij dat het onderzoeksbeleid en de uitvoering ervan (met name de kwaliteitszorg) beter gestroomlijnd worden. Maar door de recente datum van deze initiatieven is het uiteindelijk effect ervan nog niet voldoende zichtbaar in de organisatie. Uitgaande van de reëel bestaande situatie ten tijde van het validatiebezoek, constateert de commissie dat de structuur van de kwaliteitszorg te karakteriseren is als gefragmenteerd. In verschillende gesprekken komt de metafoor van een archipel naar voren waarbij slechts in geringe mate sprake is van verbinding tussen de eilanden (onderzoekseenheden) die deel uitmaken van die archipel (horizontale verbinding). Bovendien vertoont de verticale verbinding tussen enerzijds bestuur en staf- en hulpdiensten en anderzijds de uitvoerende organisatie niet altijd de hechtheid die gewenst is om tot een slagvaardig kwaliteitsbeleid alsmede de uitvoering daarvan te komen. Er zijn wel redenen aan te wijzen waarom de horizontale en verticale verbindingen nog onvoldoende tot stand zijn gebracht. In de afgelopen jaren is veel energie gaan zitten in het fusieproces tussen VHL en WUR waardoor er onvoldoende bestuurlijke aandacht was om richting te geven aan de kwaliteitszorg van het onderzoek met als gevolg dat de centrale kwaliteitsinstrumenten zwakker ontwikkeld en geïmplementeerd zijn dan wenselijk is. Het daardoor ontstane vacuüm is opgevuld door veelal weinig gecoördineerde, decentraal ontwikkelde instrumenten. Nu de ontvlechting van de fusie in 2012 is ingezet, ontstaat er ruimte om naar de fundamenten van het praktijkonderzoek te kijken en onderdelen van het vigerende kwaliteitszorgsysteem verder te ontwikkelen en/of aan te passen. Of zoals een van de gesprekspartners opmerkte: ‘In zekere zin is de tijd er nu rijp voor om onszelf opnieuw uit te vinden.’ De commissie constateert dat veel medewerkers van VHL de urgentie hiervan onderkennen en constateert eveneens dat men er momenteel druk mee bezig is. Ter verdere adstructie van het bovenstaande volgen hieronder enkele nadere observaties van de commissie: De commissie constateert dat er vaak grote verschillen bestaan tussen de kwaliteitszorginstrumenten (in aantal en opzet) die ingezet worden op het lectoraatsniveau. Daar zitten vaak originele aanpakken bij: het fenomeen van de koppelhoogleraren, de external examiners, de adviesraden, het aanstellen van projectingenieurs en de wijze waarop het werkveld betrokken wordt, zijn enkele voorbeelden daarvan. De commissie vindt het echter teleurstellend dat er tot op heden in dezen te weinig kennisuitwisseling heeft plaatsgevonden tussen de verschillende onderzoekseenheden waardoor onvoldoende gebruik wordt gemaakt van deze variëteit aan aanpakken. Zoals hiervoor beschreven maakt VHL bij de interne kwaliteitszorg, met ingang van 2011, gebruik van twee PDCA-cycli; één cyclus op opleidings- en lectoraatsniveau en één op hogeschoolniveau. De commissie heeft geen documenten onder ogen gehad met een heldere en integrale beschrijving van de PDCA-cyclus op hogeschoolniveau maar uit gesprekken bleek dat deze cyclus wel gehanteerd wordt. De PDCA-cyclus op opleidings- en lectoraatsniveau is op basale wijze vastgelegd in de onlangs uitgebrachte nota Onderzoeksbeleid Hogeschool Van Hall Larenstein 2013 – 2016.


8

Met betrekking tot de hantering van de PCDA-cyclus op opleidings- en lectoraatsniveau, constateert VHL zelf in de zelfevaluatie, dat niet alle onderzoekseenheden de documenten aanleveren op basis waarvan het instrument inhoud kan krijgen (lectoraatsopdrachten, meerjarenplannen, jaarplannen en jaarverslagen). Bovendien blijkt dat ook niet altijd de vereiste plannings- evaluatie- en beoordelingsgesprekken plaatsvinden. De urgentie wordt wel gevoeld en men heeft begin 2013 afspraken gemaakt om hier verbetering in aan te brengen. De commissie constateert eveneens dat de PDCA-cyclus nog niet geheel gesloten is. Met name de overgang van de Act-fase naar de Plan-fase waarin grote verbeterslagen gemaakt kunnen worden op basis van ervaringen uit het verleden, heeft nog onvoldoende uitwerking gekregen. Vrijwel hetzelfde kan geconstateerd worden voor de PDCA-cyclus op hogeschoolniveau. Ook hier ontbreken vaak de vereiste documenten om de cyclus goed te kunnen doorlopen en vinden niet altijd de gesprekken plaats zoals ze bedoeld zijn. Samengevat kan gesteld worden dat het interne kwaliteitszorgsysteem onderzoek, zoals eerder geconstateerd, een gefragmenteerde indruk maakt. Of zoals een van de gesprekspartners het verwoordde: ‘Je komt in deze organisatie tal van goudklompjes tegen; nu moet er aan gewerkt worden om deze tot een goudstaaf te smeden.’ Eveneens constateert de commissie dat het kwaliteitszorgsysteem op veel onderdelen nog intentioneel van aard is: er staat veel op papier maar nog niet alles is in voldoende en/of in gelijke mate uitgewerkt en afgestemd en op professionele wijze in praktijk genomen. Het ontbreekt vaak nog aan voldoende effectieve horizontale en verticale verbindingen. De verdere vormgeving en invoering van de kwaliteitszorg vragen om een goede regie. De commissie heeft bij veel gespreksdeelnemers goede ideeën gehoord. De betrokkenheid van de medewerkers is groot en er is veel creativiteit in de organisatie. Alle reden dus om al deze positieve aspecten te mobiliseren d.m.v. een duidelijk sturingsproces zodat de vele losse bouwstenen tot een stevig gebouw zullen leiden. De commissie constateert dat de externe evaluaties niet altijd regelmatig hebben plaatsgevonden. Om een inhaalslag te bewerkstelligen bij het uitvoeren van de externe evaluaties heeft VHL tot 2016 voor een pragmatische oplossing gekozen door de externe visitatie te laten voorafgaan aan de (her)benoeming van de lector. Daarna, zo gaat de commissie er van uit, zal een systeem gekozen worden waarbij de externe evaluaties op regelmatige wijze uitgevoerd zullen worden.

Mogelijkheden voor verbetering 1. Ontwikkel een instellingstrategie voor de zelfstandige organisatie VHL, concretiseer vervolgens de missie en doelen van het praktijkgericht onderzoek en vertaal dit in het Onderzoeksbeleid en daaraan gekoppelde implementatieplan. 2. Vervolmaak de verbinding tussen missie – doelen/kerntaken – indicatoren en besteed daarbij niet alleen aandacht aan de inhoud van het onderzoek maar eveneens aan de epistemologische en fundamenteel methodologische keuzes die gemaakt kunnen worden m.b.t. de uitvoering van het onderzoek. 3. Verbeter de horizontale verbinding in de onderzoeksorganisatie o.a. door meer inhoud te geven aan de besprekingsplatforms (o.a. Lectorenoverleg) en het bevorderen van het uitwisselen van ‘best practices’ 4. Verbeter de verticale verbinding in de onderzoeksorganisatie door het helder toedelen van rollen, verantwoordelijkheden en bevoegdheden en ontwikkel binnen die kaders heldere op elkaar afgestemde processen. 5. Zorg voor sluitende PDCA-cycli.


9

6. Voorzie, voor zover dat nog niet gebeurd is, de kwaliteitscycli van duidelijke en op elkaar afgestemde formats en protocollen en bevorder een nauwgezette hantering daarvan. 7. Heroverweeg de criteria op basis waarvan de externe evaluaties geprogrammeerd worden.

3.2. Randvoorwaarden voor de uitvoering van de kwaliteitszorg Beschrijving VHL streeft er naar om aan elke opleiding een lectoraat te verbinden. Dat heeft inmiddels geleid tot een relatief groot aantal lectoraten. De aansturing van het onderzoek en de kwaliteitszorg vindt met name plaats op het niveau van de opleidingen. Iedere opleidingsdirecteur is op het domeinkennisgebied van zijn opleiding inhoudelijk en financieel verantwoordelijk voor het onderzoek. Hij/zij initieert nieuwe plannen, toetst ontwikkelingen aan het beleid van VHL en monitort de voortgang. De portefeuille onderzoek op hogeschoolniveau is belegd bij de voorzitter van het College van Bestuur. Het Opleidingsdirecteurenoverleg kent een coördinerend opleidingsdirecteur en deze is een belangrijke sparringspartner voor de voorzitter van het CvB op het gebied van het onderzoeksbeleid op hogeschoolniveau. Bij VHL zijn er veel actoren betrokken bij de kwaliteitszorg van het onderzoek: het CvB, de opleidingsdirecteuren, de lectoren, de onderzoeksmedewerkers, het stafbureau van het CvB, Finance & Control en Human Resource Management en Marketing en Communicatie. De kosten voor de inzet van het personeel voor de kwaliteitszorg zijn niet specifiek begroot, maar zijn opgenomen in het reguliere budget van de betrokken dienst. De kosten die verbonden zijn aan audits, accreditaties en externe advisering worden elk jaar apart begroot. Een centrale rol is weggelegd voor het stafbureau van het CvB. Dit bureau draagt zorg voor de totstandkoming van het onderzoeksbeleid en de in dat verband te produceren notities. Het bureau adviseert het CvB bij strategische keuzes met betrekking tot onderzoek. Daarnaast ontwikkelt het stafbureau het kwaliteitszorgsysteem voor het onderzoek en coördineert het de uitvoering daarvan. Tevens ondersteunt het stafbureau de lectoren bij de uitvoering van de externe evaluaties en het opstellen van project- en subsidieaanvragen. Voor de uitvoering van deze taken zijn drie medewerkers beschikbaar. De overige diensten leveren de standaarddiensten die men van deze afdelingen mag verwachten. Daarbij dient aangetekend te worden dat de dienst HRM zich actief bezighoudt met het creëren van scholingsmogelijkheden op het gebied van onderzoek en de dienst Finance & Control zich actief betoont op het gebied van de financiële beheersing en verantwoording van de onderzoeksprojecten.

Observaties en oordeel Het streven om aan elke opleiding een lectoraat te verbinden is lovenswaardig maar leidt in het algemeen, door de beperkte financiële middelen, tot geringe omvang van de lectoraten. De validatiecommissie twijfelt er aan of de relatief kleine omvang van de lectoraten volstaat om een samenhangend onderzoeksprogramma op voldoende kwalitatief niveau uit te voeren. Het verder bevorderen van samenwerking tussen lectoraten kan een eerste bijdrage leveren aan het realiseren van meer focus en massa in het onderzoek. De commissie zet vraagtekens bij het besturingsmodel m.b.t. onderzoek. Er ontbreken duidelijke bestuurlijke kaders waardoor het lastig is om op transparante wijze rollen, taken en bevoegdheden toe te


10

delen. Het is de commissie bij voorbeeld niet duidelijk geworden op welke wijze de verantwoordelijkheden van het CvB zich verhouden tot de verantwoordelijkheden van de coördinerende opleidingsdirecteur die zich met het hogeschoolbrede onderzoeksbeleid bezighoudt. Ook is niet duidelijk hoe op het gebied van het onderzoek de rollen van de opleidingsdirecteuren zich verhouden tot die van de coördinerende opleidingsdirecteur. Omdat deze (met name centrale) rollen en verantwoordelijkheden niet duidelijk gedefinieerd zijn, ontbreekt het op veel gebieden aan een voldoende slagvaardig en gestroomlijnd hogeschoolbreed onderzoeksbeleid. Door het ontbreken van dit beleid ontstaan er op het gebied van onderzoek binnen de opleidingen veel ongecoördineerde initiatieven. Een vergelijkbare situatie doet zich voor bij de medewerkers van het Stafbureau van het CvB. Men verricht zijn werkzaamheden binnen onvoldoende duidelijk gedefinieerde kaders, en ervaart dat men daardoor minder impact heeft op de organisatie dan wenselijk wordt geacht. De hiervoor geschetste situatie draagt er ook toe bij dat, zoals VHL zelf concludeert, de dienstverlening van de dienst HRM nog onvoldoende is ontwikkeld. Men erkent het grote belang van (onderzoek)competentieontwikkeling maar de dienstverlening in dezen dient verbeterd te worden. De commissie wil dat graag uitbreiden door ook aandacht te vragen voor het ontwikkelen van specifieke onderzoek competentieprofielen, voor het ontwikkelen van loopbaanperspectieven op het gebied van onderzoek en voor het ontwikkelen van een specifiek promovendibeleid ter ondersteuning van de ambitieuze personele doelen die men zich gesteld heeft in de prestatie-afspraken. VHL constateert eveneens dat het aanleveren van periodieke financiële overzichten nog te wensen overlaat. Alhoewel de commissie dit niet heeft kunnen verifiëren onderschrijft zij het belang van goede financiële rapportages. Deze rapportages kunnen nog effectiever zijn als ze gekoppeld zijn aan duidelijke normstellingen. Voor wat betreft de onderzoekcultuur trof de commissie bij alle medewerkers die zij gesproken heeft een sterke betrokkenheid bij en groot enthousiasme voor het onderzoek aan. Zowel in de zelfevaluatie als in de gesprekken kwam duidelijk naar voren dat men een gezonde kijk heeft op hetgeen goed gaat en hetgeen verbetering behoeft. Die betrokkenheid en dat enthousiasme leiden rechtstreeks tot de bereidheid om de schouders te zetten onder het vele werk dat nog verricht moet worden en vormen een stevig fundament op basis waarvan de kwaliteitscultuur verder uitgebouwd kan worden. Het is niet geheel duidelijk hoeveel fte er precies beschikbaar is voor de ondersteuning van de onderzoeksfunctie omdat de kosten die hieraan verbonden zijn niet specifiek begroot worden maar onderdeel uitmaken van het reguliere budget van het stafbureau.. Maar naar aanleiding van de gesprekken heeft de commissie er geen twijfel over dat de gerealiseerde kwantitatieve inzet adequaat is. Naast de verbeterpunten die VHL in zijn zelfevaluatie beschrijft vraagt de commissie met nadruk extra aandacht voor het besturingsmodel van de hogeschool op het gebied van onderzoek. Een transparanter besturingsmodel is een sine qua non om tot gerichter beleid, en gerichte verbeteracties te komen en voorkomt dat er onnodig energie weglekt door het uitvoeren van activiteiten die niet gekoppeld zijn aan hogeschoolbrede prioriteiten.

Mogelijkheden voor verbetering 1. Bevorder de synergie tussen de lectoraten en de onderzoekslijnen opdat er meer focus en massa in het onderzoek gaat ontstaan 2. Ontwikkel een duidelijk bestuurlijk kader van waar uit het onderzoek op hogeschoolniveau beter aangestuurd kan worden


11

3. Verduidelijk de rol van de staf- en hulpdiensten en stuur deze op centraal niveau duidelijker aan. 4. Zorg voor een duidelijke verbinding van de onderzoekspraktijk met het HRM-beleid 5. Verbeter de management-informatiesystematiek op het gebied van onderzoek.

3.3. Evaluaties van onderzoekseenheden

Beschrijving De externe kwaliteitszorg is gebaseerd op het Brancheprotocol Kwaliteitszorg Onderzoek (BKO). Het externe kwaliteitszorgproces is neergelegd in het in februari 2013 uitgebrachte document Draaiboek Onderzoeksevaluatie Lectoraten Hogeschool Van Hall Larenstein 2013 – 2016. Naast de procesgang is in dit document een beoordelingskader opgenomen m.b.t. 5 onderwerpen: 1) de missie en het onderzoekprofiel, 2) Input, 3) Resultaten en impact, 4) Kwaliteitszorg en 5) Toekomstvisie. Op het moment van het validatiebezoek hadden twee lectoraten een eerste evaluatietraject afgerond: het Lectoraat ‘Groene Leefomgeving van Steden’ en het Lectoraat ‘Welzijn van Dieren’. Het externe visitatieproces begint met het schrijven van een zelfevaluatie, In het draaiboek wordt vrij gedetailleerd weergegeven welke elementen in de zelfevaluatie aan bod moeten komen. Voor de uitvoering van de externe evaluatie wordt een onafhankelijke commissie in het leven geroepen. De commissie bestaat uit vier leden die gezamenlijk over voldoende kennis moeten beschikken over het onderzoeksonderwerp van het lectoraat, alsmede over onderwijs en kwaliteitsmanagement. VHL kiest er voor om het voorzitterschap en het secretariaat van de externe visitatiepanels uit te laten voeren door Hobéon. Om de onafhankelijkheid van de commissieleden te garanderen mogen er tussen de commissieleden en het lectoraat geen samenwerkingsrelaties bestaan. Bovendien mag er geen afhankelijkheidsrelatie zijn in de vorm van een relatie opdrachtgever-opdrachtnemer. Het stafbureau CvB toetst de expertise en de onafhankelijkheid van de beoogde commissieleden. Op basis van het zelfevaluatierapport, aanvullende documentatie en gesprekken met interne en externe partijen, vormt de commissie zich een oordeel over het functioneren en de prestaties van het lectoraat. Dat oordeel wordt vastgelegd in een evaluatierapport dat uiteindelijk door het CvB wordt vastgesteld.

Observaties en oordeel De validatiecommissie is van mening dat de zelfevaluatierapporten van goede kwaliteit zijn. Men is kritisch op het eigen handelen en spaart zichzelf daarbij niet. Bovendien worden in de zelfevaluatierapporten tal van te ondernemen verbeteracties geformuleerd. De zelfevaluatierapporten beperken zich niet tot het terugblikken op de afgesloten periode maar schetsen ook een toekomstperspectief. In voldoende mate wordt het template gevolgd zoals dat in het draaiboek beschreven is. Daardoor biedt het zelfevaluatierapport voldoende basis om het externe visitatiepanel antwoord te laten geven op de evaluatievragen zoals die in het Basisdocument Kwaliteitszorgstelsel ten aanzien van het onderzoek aan hogescholen 2009 – 2015 zijn vastgesteld. De evaluatierapporten van de externe evaluatiecommissie zijn gedegen samengesteld en leveren afdoende antwoorden op de vijf vragen zoals die in het BKO en gerelateerde documenten worden gesteld. Bovendien formuleert de externe evaluatiecommissie een aantal aanbevelingen die een bijdrage kunnen leveren aan de verdere ontwikkeling van het lectoraat.


12

De validatiecommissie constateert dat binnen VHL veel lectoraten een breed kennisgebied bestrijken en vaak multidisciplinair van aard zijn. In die gevallen is het noodzakelijk dat binnen de externe evaluatiecommissie voldoende brede en diepe kennis aanwezig is om tot een goed afgewogen oordeel te komen. De commissie geeft graag in overweging om hier bij de samenstelling van de externe evaluatiecommissies scherp op te letten en waar nodig over te gaan tot een uitbreiding van deze commissies. De validatiecommissie heeft waardering voor het kiezen van een vaste voorzitter van meerdere externe evaluatiecommissies. Dat schept een basis voor het evenwichtig en vergelijkbaar beoordelen van de afzonderlijke lectoraten. De validatiecommissie is overtuigd van het onafhankelijk karakter van de externe evaluatiecommissies. Wel vraagt zij bij VHL extra aandacht voor het borgen van voldoende domeinkennis in de externe evaluatiecommissies. De validatiecommissie heeft eveneens waardering voor het feit dat er jaarlijks een meta-evaluatie wordt geschreven door de vaste voorzitter van de externe evaluatiecommissies. Deze meta-evaluaties geven, naarmate ze vaker worden opgesteld, een steeds duidelijker algemeen beeld van de kwaliteit van de lectoraten en de kwaliteitszorg en geven direct richting aan mogelijke verbeteringstrajecten die er op hogeschoolniveau ingezet kunnen worden.

Mogelijkheden voor verbetering 1. Waak er voor dat er in de externe evaluatiecommissies voldoende domeinspecifieke kennis aanwezig is. Dat geldt met name voor de lectoraten waar geïntegreerde domeinkennis en multidisciplinaire kennis vereist is.

3.4. Verbeterbeleid

Beschrijving, observaties en oordeel De lector schrijft mede op basis van het externe evaluatierapport en in afstemming met de opleidingsdirecteur, een verbeterplan voor het lectoraat, waarin wordt beargumenteerd welke aanbevelingen op welke wijzen zullen worden opgepakt. Daar waar de aanbevelingen niet overgenomen worden dient dat goed onderbouwd te worden. Het verbeterplan wordt, voorzien van een advies door het stafbureau CvB, voorgelegd aan het CvB. Het CvB stelt het verbeterplan vast. De verbeterplannen worden verwerkt in de meerjarenplannen en de jaarplannen van de lectoraten en zijn daarmee een onderdeel van de PDCA-cyclus op opleidings- en lectoraatsniveau. In het Draaiboek Onderzoeksevaluaties Lectoraten VHL worden richtlijnen gegevens volgens welke het verbeterplan geschreven kan worden. De validatiecommissie kan nog geen oordeel geven over het verbeterbeleid. Op het moment van het validatiebezoek waren slechts twee lectoraten extern gevisiteerd. Bij slechts een van deze lectoraten (Lectoraat Groene Leefomgeving van Steden) was een eerste versie beschikbaar van een verbeterplan. Daardoor zijn er uiteraard nog geen ervaringen opgedaan met de daadwerkelijke effecten van de uitvoering van de verbeterplannen. Dat is een te smalle basis om een evenwichtig oordeel te kunnen uitspreken.


13

Mogelijkheden voor verbetering 1. Zorg voor een duidelijke beschrijving van het verbeterproces met aandacht voor het toedelen van rollen en verantwoordelijkheden die de diverse partners in dit proces moeten nemen.


14

4. Conclusies en aanbevelingen De Hogeschool Van Hall Larenstein verkeert in een fase van ontvlechting uit het Wageningen UR concern die in 2004 tot stand gebracht werd tussen VHL en WUR. Dat heeft de afgelopen jaren zoveel bestuurlijke energie gevergd dat de kwaliteitszorg onderzoek niet de aandacht heeft gekregen die het verdiende. Ondanks dit gebrek aan bestuurlijke aandacht hebben zich op het gebied van onderzoek toch diverse veelbelovende ontwikkelingen voorgedaan. Zo was de validatiecommissie sterk onder de indruk van het grote aantal bijzondere lectoraten dat de afgelopen jaren tot stand is gebracht. Bovendien constateerde de commissie dat er sprake is van een grote externe geldstroom. Maar liefst 76 % van het onderzoeksgelden onttrekt VHL aan de markt en aan specifieke doelsubsidies. Landelijk bedraagt dat percentage 44 %. Ook constateerde de validatiecommissie in de gesprekken met de externe stakeholders een grote mate van tevredenheid over de bruikbaarheid van de onderzoeksresultaten. Voor het praktijkgericht onderzoek is dat geen onbelangrijk gegeven. Tenslotte heeft de validatiecommissie waardering voor de kritische inhoud die in de zelfevaluatie van VHL naar voren komt. De kritische houding die in dat rapport naar voren kwam werd bevestigd in de gesprekken die de commissie gevoerd heeft met veel interne stakeholders. Men schroomde er niet voor om, naast de positieve punten, ook de kritiekpunten vrijmoedig naar voren te brengen. Zelfs in die gevallen waar men de oplossing van de problemen nog niet scherp voor ogen heeft staan. Dat zijn allemaal goede uitgangspunten. Maar de commissie heeft ook geconstateerd dat er nog veel werk te verzetten is. En de urgentie is daarbij groot! VHL zal tegen het einde van het jaar de instellingstoets ondergaan. Bij de instellingstoets gaat het om de vraag in hoeverre de instelling ‘in control’ is en op een constante en systematische wijze aan kwaliteitsverbetering werkt. Op basis van hetgeen de commissie op het gebied van onderzoek heeft waargenomen, stelt zij dat op dat terrein nog veel uitdagingen liggen. De kwaliteitszorg onderzoek heeft de afgelopen jaren onvoldoende bestuurlijke aandacht gekregen en daar waar die aandacht wel aanwezig was, was die niet altijd even voldoende doortastend. Dat heeft tot gevolg gehad dat er veel initiatieven, vaak weinig gecoördineerd en weinig geprioriteerd, lager in de organisatie worden genomen hetgeen de transparantie van (uitvoering van) beleid niet vergroot. Dat is o.a. een gevolg van het feit dat er sprake is van een onheldere verdeling van rollen, verantwoordelijkheden en bevoegdheden bij de vele medewerkers en diensten die direct of indirect bij de kwaliteitszorg van het onderzoek betrokken zijn. Niet duidelijk is wat van wie verwacht mag worden. Daarnaast constateert de commissie dat veel beleid nog een sterk intentioneel karakter heeft. Er is veel op papier gezet maar de samenhang tussen deze plannen is niet altijd even duidelijk. Tevens is ook niet altijd even duidelijk hoe de intenties in werkelijkheid omgezet zullen worden. Implementatieplannen ontbreken nog vaak. Omdat de meeste kwaliteitsinstrumenten van recente datum zijn is er nog onvoldoende ervaring mee opgedaan om te kunnen beoordelen wat het effect van die instrumenten is op de daadwerkelijke kwaliteitsverbetering van het onderzoek. Samenvattend stelt de commissie dat ze stellig de indruk heeft dat de validatie van het kwaliteitszorgstelsel te vroeg heeft plaatsgevonden. VHL was er nog niet klaar voor en bijgevolg kan de commissie niet tot een ander oordeel komen dan dat binnen een termijn van twee jaar opnieuw een validatie zal moeten plaatsvinden.


15

Met betrekking tot de door de commissie te beantwoorden vier validatievragen kunnen op hoofdlijnen de volgende aanbevelingen verwoord worden die de samenhang van het kwaliteitszorgsysteem bevorderen. Enkele van deze zijn reeds in de voorgaande paragrafen geformuleerd: 1. Zet het intentioneel karakter van het beleid om in goed doordachte daadwerkelijke acties die tot verbetering van de kwaliteitszorgsystematiek leiden 2. Bevorder de synergie tussen de onderzoeksprogramma’s en onderzoekslijnen om focus en massa in het onderzoek te bevorderen 3. Bevorder een grotere externe oriëntatie bij het verder ontwikkelen van de kwaliteitssystematiek. Veel informatie is beschikbaar buiten VHL en het hoger agrarisch onderwijs. Het wiel hoeft niet altijd opnieuw uitgevonden te worden. 4. Ontwikkel een duidelijk bestuurlijk kader op basis van een goed doordachte reeks van missie – doelen – indicatoren 5. Verstevig de centrale aansturing van het onderzoek door o.a.: a. Het handhaven van de verantwoordelijkheid voor het onderzoeksbeleid bij één portefeuillehouder onderzoek in het College van Bestuur. b. het opleidingsdirectie-overleg (ODO) te splitsen in een onderwijs- en een onderzoekgedeelte c. van het lectorencollectief een gestructureerd advieslichaam te maken 6. Bevorder de verticale verbinding in de onderzoeksorganisatie door: a. het toedelen van duidelijke rollen, verantwoordelijkheden en bevoegdheden aan personen en organisatie-eenheden die een rol dienen te spelen in het kwaliteitszorgsysteem van het onderzoek b. het verder ontwikkelen van duidelijke processen voorzien van adequate formats en protocollen c. een goed gecoördineerde aansturing van de staf- en hulpdiensten d. het toezien op het juist hanteren van de ontwikkelde processen 7. Doorbreek de ‘archipelstructuur’ van de onderzoeksorganisatie die momenteel kenmerkend is voor VHL. Dat kan geschieden door het bevorderen van horizontale verbindingen tussen de diverse onderzoekseenheden, tussen de staf- en hulpdiensten onderling en de onderzoekseenheden enerzijds en de staf- en hulpdiensten anderzijds. Dat kan gebeuren door het inrichten van goed functionerende besprekingsplatforms. 8. Stem het takenpakket van de staf- en hulpdiensten beter af op de eisen en wensen van de onderzoekspraktijk. Met name de verbinding met de dienst HRM is van cruciaal belang voor het bevorderen van de competentie-ontwikkeling van de onderzoekers en het inbedden van de onderzoeksfuncties in de organisatie. 9. Spits de managementinformatiesystemen meer toe op de eisen en wensen die de onderzoekfunctie daaraan stelt en zorg voor een goede onderlinge afstemming van de deelsystemen. 10. Besteed intensief aandacht aan het sluitend maken van de PDCA-cycli met name waar deze gericht zijn op de overgang van de oude act-fase naar de nieuwe plan-fase. 11. Besteed intensief aandacht aan de verbetertrajecten in het proces van externe evaluaties door deze duidelijk te structureren. 12. Besteed zorgvuldig aandacht aan de bezetting van de externe evaluatiecommissies. Met name de domeinspecifieke kennis dient daarin voldoende aandacht te krijgen. Op basis van het voorgaande kan de validatiecommissie niet tot validatie van het kwaliteitszorgsysteem van VHL overgaan. Nog te veel zaken zijn onvoldoende uitgewerkt en (voldoende) in praktijk genomen. De urgentie om dit te verbeteren is hoog en wordt door de organisatie als zodanig ervaren. Dit besef, gecombineerd met het enthousiasme van de medewerkers voor de onderzoeksfunctie, kan bij een gerichte en goed gestuurde aanpak tot een nieuw elan leiden waardoor er een steviger basis zal ontstaan voor de kwaliteitszorg van het onderzoek en daardoor voor de onderzoekskwaliteit op zich. De commissie wenst VHL veel succes toe bij het uitvoeren van dit urgente proces.


16

Bijlage 1 Instellingsbesluit VKO Het bestuur van de HBO-raad, vereniging van hogescholen, gelet op het door de vereniging in 2008 vastgestelde basisdocument kwaliteitszorgstelsel ten aanzien van het onderzoek aan hogescholen (hieronder verder aangeduid als basisdocument) als nadere uitwerking van het in 2007 vastgestelde brancheprotocol kwaliteitszorg onderzoek. BESLUIT Artikel 1: Instelling 1. Er is met ingang van 23 maart 2009 een validatiecommissie kwaliteitszorg onderzoek, hierna te noemen VKO. 2. De VKO is ingesteld voor de periode 2009-2015. Artikel 2: Samenstelling 1. De VKO bestaat uit zeven leden, waaronder de voorzitter en de vicevoorzitter. 2. De volgende leden zijn door de HBO-raad benoemd: - Prof. dr. P.L. (Pauline) Meurs (voorzitter); - Prof. dr. F.A. (Frans) van Vught (vicevoorzitter); - Drs. B. (Bart) van Bergen (lid); - Dr. C.M. (Tini) Hooymans (lid); - Drs. P.M. (Paul) van Roon (lid); - Drs. P.M.M. (Paul) Rullmann (lid); - Prof. dr. H.W. (Henk) Volberda (lid). 3. De HBO-raad voorziet in het secretariaat van de VKO. Artikel 3: Taak en werkwijze 1. De taak van de VKO is het zesjaarlijkse evalueren en valideren van de kwaliteitszorgsystemen van hogescholen op het aggregatieniveau van de instelling, voor zover de kwaliteitszorg betrekking heeft op het (praktijkgerichte) onderzoek van de hogeschool. 2. De VKO hanteert het in het basisdocument beschreven validatiekader bij het valideren van de kwaliteitszorg van elke hogeschool en komt onafhankelijk en objectief tot een validatiebesluit. 3. De VKO komt op basis van haar evaluerende activiteiten tevens tot analyses en aanbevelingen voor verdere verbetering van het kwaliteitszorgsysteem van de hogeschool. 4. De VKO baseert haar validatiebezoek op een door de hogeschool uitgevoerde zelfevaluatie. Het basisdocument specificeert de eisen die aan zelfevaluatie en validatiebezoek inclusief de op te leveren rapportages worden gesteld. 5. De VKO bepaalt haar eigen procedures en werkwijze ten aanzien van het validatiebezoek, de validatie en de oplevering van de rapportages binnen de kaders van het basisdocument. 6. De VKO brengt op basis van elk validatiebezoek een openbaar validatierapport uit zoals bedoeld in het basisdocument, nadat hoor en wederhoor heeft plaatsgevonden. 7. Indien de VKO tot een voorwaardelijke validatie heeft geoordeeld worden afspraken gemaakt voor een vervolgvalidatie binnen een termijn van twee jaar. Daarop baseert de VKO of sprake is van onvoorwaardelijke validatie of dat geen validatie wordt verleend. Artikel 4: Rapportage en informatievoorziening


17

1. De besturen van de hogescholen dragen er zorg voor dat elk rapport van een externe evaluatiecommissie als bedoeld in het bovengenoemde basisdocument, vergezeld van het eventuele bestuursstandpunt over dat rapport, binnen een maand na het openbaar maken van het rapport ter kennis van de VKO wordt gebracht. 2. De besturen van de hogescholen dragen er zorg voor dat een gedocumenteerd zelfevaluatierapport tijdig ter beschikking wordt gesteld aan de VKO en dat een validatiebezoek kan plaatsvinden, beide conform de kaders die daaraan door middel van het basisdocument zijn gesteld en de procedures die binnen die kaders door de VKO worden opgesteld. 3. De VKO draagt er zorg voor dat elk validatierapport ter beschikking wordt gesteld aan de HBOraad en de Minister van OCW. 4. De VKO draagt er zorg voor dat de door haar ontvangen externe evaluatierapporten vanuit de hogescholen alsmede de door haar zelf gepubliceerde validatierapporten vrij verkrijgbaar zijn via de website van de VKO. Artikel 5: Geldmiddelen 1. De basisinfrastructuur van de VKO (t.b.v. secretariaat, communicatie en algemene vergaderingen) wordt gefinancierd met de jaarlijks te indexeren doelcontributie van de hogescholen. 2. De reëel gemaakte kosten (honoraria en reiskosten van de betreffende deelcommissie VKO) per validatie worden via de HBO-raad bij de betreffende hogeschool in rekening gebracht. 3. De VKO-leden ontvangen via de HBO-raad een jaarlijkse vergoeding op basis van het aantal verrichte validaties en bijgewoonde VKO vergaderingen. Artikel 6: Planning 1. De validaties door de VKO vinden plaats in de volgende vastgestelde volgorde: 2009: Hogeschool Utrecht, Gerrit Rietveld Academie, Hogeschool Zuyd; 2010: Hogeschool van Beeldende Kunsten Muziek en Dans, Hogeschool van Amsterdam, De Haagse Hogeschool, Hogeschool INHOLLAND, Hogeschool voor de Kunsten Utrecht, Hanzehogeschool Groningen; 2011: Fontys Hogescholen, Hogeschool Leiden, Aeres Groep, Gereformeerde Hogeschool Zwolle, Hogeschool van Arnhem en Nijmegen, Saxion Hogescholen; 2012: Hogeschool Zeeland, Interactum (Hogeschool IPABO, Marnix Academie, Hogeschool Domstad, Iselinge Hogeschool, Hogeschool De Kempel en Katholieke PABO Zwolle; Hogeschool Edith Stein separaat), Noordelijke Hogeschool Leeuwarden, Stenden Hogeschool, Hogeschool Helicon, Amsterdamse Hogeschool voor de Kunsten; 2013: Codarts Hogeschool voor de Kunsten, Van Hall Larenstein, Hogeschool Rotterdam, NHTV internationale hogeschool Breda, ArtEZ hogeschool voor de kunsten, Windesheim; 2014: Avans Hogeschool, Design Academy Eindhoven, Driestar educatief, HAS Den Bosch, Christelijke Hogeschool Ede, Hotelschool Den Haag. 2. Van deze planning kan alleen worden afgeweken in uitzonderlijke situaties. VKO, HBO-raad en betreffende hogescho(o)l(en) treden met elkaar in overleg indien volgens een van deze partijen sprake is van een situatie die wijziging in de planning noodzakelijk maakt. Het bestuur van de HBO-raad stelt de gewijzigde planning vast en communiceert deze via de geëigende kanalen. 3. De specifieke planning per validatietraject wordt in overleg tussen VKO en hogeschool gemaakt, e.e.a. conform de procedures van de VKO. Artikel 7: Evaluatie 1. Na twee jaar (gerekend vanaf de eerste validatie) zal het overkoepelende kwaliteitszorgstelsel -en daarbinnen de rol en het functioneren van de VKO- worden geëvalueerd op basis van de opgedane


18

ervaringen. Hierop wordt mede gebaseerd of en welke eventuele tussentijdse aanpassingen in samenstelling, organisatie en werkwijzen nodig zijn. 2. Ruim voor het aflopen van de periode waarop dit instellingsbesluit betrekking heeft zal het stelsel en daarbinnen de rol en het functioneren van de VKO - worden geëvalueerd met het oog op de vormgeving en invulling van de kwaliteitzorg t.a.v. onderzoek in de erop volgende periode. Den Haag, 23 maart 2009 D. Terpstra, voorzitter HBO-raad


19

Bijlage 2 Overzicht bestudeerd materiaal De cursief gedrukte documenten waren in hard-copy beschikbaar; de overige documenten waren digitaal beschikbaar. 1. Strategisch Plan 2011 – 2014 Wageningen UR 2. Prestatieafspraken VHL 2012 – 2015 a. Brief advies Reviewcommissie prestatieafspraken VHL b. Definitief advies Reviewcommissie prestatieafspraken VHL, september 2012 3. Onderzoeksbeleid Van Hall Larenstein 2013 – 2016 (concept) 4. Lectorenbeleid VHL 2009 – 2011 5. VHL kenniskring per lectoraat 6. Inhoudelijke omschrijving lectoraten Van Hall Larenstein 7. Overzicht realisatie Lectorenbeleid 2009 – 2011 8. Monitor onderzoeksgegevens VHL 2009 9. Monitor onderzoeksgegevens VHL 2010 10. Monitor onderzoeksgegevens VHL 2011 11. Cyclus Functionering en Beoordeling VHL, 2008 12. Procedures voor reguliere lectoraatsopdrachten en werving reguliere lectoren Hogeschool Van Hall Larenstein, 2012 13. Format imformatie plannings- en beoordelingsgesprekken lectoren VHL, januari 2013 14. Format lectoraatsopdracht, 2013 15. Besluiten Directie-CvB VHL en Raad van Bestuur Wagening UR over lectoraten 2010 – 2012 16. Zelfevaluatie Groene Leefomgeving van Steden oktober 2012 a. Beoordelingskader voor externe evaluatiecommissie b. Opdracht voor externe evaluatiecommissie 17. Zelfevaluatie Welzijn van Dieren november 2012 a. Beoordelingskader voor externe evaluatiecommissie b. Opdracht voor externe evaluatiecommissie 18. Rapport onderzoeksevaluatie Groene Leefomgeving van Steden, 2013 19. Verbeterplan Groen Leefomgeving van Steden (eerste concept 2013) 20. Meta-evaluatie externe evaluaties lectoraten Groene Leefomgeving van Steden en Welzijn van Dieren VHL, Hobeon 2013 21. Draaiboek Externe Onderzoeksevaluaties VHL, 2013 22. Zelfevaluatierapport Van Hall Larenstein; kwaliteitszorg onderzoek 23. Rapport Onderzoeksevaluatie Welzen van Dieren, 2013 Daarnaast waren er nog twee digitale documentatiemappen beschikbaar met notulen van het lectorenberaad en met beleidsdocumenten van 12 afzonderlijke lectoraten (waarin opgenomen indien aanwezig: 1) lectoraatsopdracht, 2) meerjarenplan, 3) jaarplannen, 4) voortgansrapportages en jaarverslagen). Gedurende de validatiedag lagen diverse documenten ter inzage die betrekking hadden op de profielen van de lectoraten en documenten m.b.t. uitgevoerd onderzoek.


20

Bijlage 3 Bezoekprogramma

Van

Tot

Programma-items en deelnemers

09.00

09.45

Welkom en presentatie vanuit de hogeschool (VvB/staf) Presentatie over VHL en rol/ambitie van onderzoek (door CvB vz), daarna gelegenheid tot informatieve vragen stellen door panel.    

Klaas van Mierlo (vz CvB) Rien Komen (lid CvB) Ben Schulte (beleidsmedewerker) Eva Verschoor (beleidsmedewerker)

09.45

10.30

Besloten vergadering VKO

10.30

11.20

Vraaggesprek VKO met CvB/centrale staf. Focus op onderzoeksorganisatie en strategie   

11.25

12.15

Klaas van Mierlo (vz CvB) Wendy Zuidema (Opleidingsdirecteur Life Sciences, portefeuillehouder onderzoek) Wendela Schlebaum (CvB-secretaris, hoofd stafafdeling CvB)

Vraaggesprek VKO met lectoren/onderzoekers vanuit onderzoekseenheid Welzijn van Dieren    

Hans Hopster (lector) Tjalling Huisman (opleidingsdirecteur Dierenmanagement en Kust- en Zeemanagement) Jolanda Hokwerda (onderzoeksassistent) Vincent Pompe (docent-onderzoeker

12.15

13.00

Besloten vergadering VKO/lunch

1`3.00

13.50

Vraaggesprek VKO met lectoren/onderzoekers vanuit onderzoekseenheid Geïntegreerd Natuur- en Landschapsbeheer     

13.55

14.45

Derk Stobbelaar (lector) John Janssen (lector) Hans van Rooijen (opleidingsdirecteur Bos- en Natuurbeheer) Hedwig van Loon (docent bij opleiding Bos- en Natuurbeheer) Dan Assendorp (docent bij opleiding Land- en Watermanagement

Vraaggesprek VKO met voorzitters externe onderzoeksevaluatie-commissies en externe stakeholders betrokken bij kwaliteitszorg van het onderzoek.


21

     14.50

15.45

Fred de Bruijn (Hobeon, vz evaluatie-commissies) Externe betrokkene bij lectoraat Welzijn van Dieren: Lenny van Erp (HasHogeschool) Externe betrokkene bij lectoraat Geintegreerd Natuur en Landschapsbeheer: Jeroen de Koe (Natuurmonumenten) Externe betrokkene bij lectoraat Geintegreerd Natuur en Landschapsbeheer: Jan van Groenendael (Gegevensautoriteit Natuur) Ingeborg Haagsma vanuit de Groene Kennis Cooperatie (GKC) (tot 14.30)

Vraaggesprek VKO met centrale staf. Focus op het kwaliteitszorgsysteem, organisatie, ondersteuning, cultuur, onderzoeksmethodologie  

Eva Verschoor (beleidsmedewerker) Ben Schulte (beleismedewerker)

15.45

16.40

Besloten vergadering VKO

16.40

17.15

Mondelinge terugkoppeling openbaar


22

Bijlage 4 Korte beschrijving van de VKO deelcommissieleden

Prof. dr. F.A. (Frans) van Vught (voorzitter); Voorzitter Reviewcommissie hoger onderwijs en onderzoek, topadviseur EU, president European Centre for Strategic Management of Universities (Esmu), voorzitter bestuur Netherlands’ House for Education and Research (Nether), voormalig voorzitter CvB en Rector Universiteit Twente. Drs. B. (Bart) van Bergen (lid); Technisch adviseur medische universiteiten Vietnam inzake de ontwikkeling van Centers of Excellence. Oud-faculteitsdirecteur Hogeschool van Arnhem en Nijmegen. Oud-voorzitter sectoraal adviescollege hgzo. Drs. P.M.M. (Paul) Rullmann (lid); Lid CvB TU Delft. Lid Commissie tussentijdse evaluatie lectoren en kenniskringen. Oud lid CvB Hogeschool Haarlem. H. (Hans) Koolmees (secretaris); Secretaris Validatiecommissie Kwaliteitszorg Onderzoek.


23

Bijlage 5. Organigram Hogeschool Van Hall Larenstein


24

Bijlage 6. Overzicht lectoraten Hogeschool Van Hall Larenstein

Lectoraat

Opleiding (trekker)

Opleiding (betrokken)

Lector (fte)

Bekostiging

Status

Duurzame Agribusiness in Metropolitane Gebieden

Bedrijfskunde en Agribusiness (W)

Plattelandsvernieuwing (W)

Dr. Ir. Eweg (0.5)

Extern

Bijzonder

Watertechnologie

Life Sciences

Milieukunde

Ir. Bult (0.4); Dr. Ir. Nederlof (0.4)

Extern

Bijzonder

Biobased Economy

Bedrijfskunde en Agribusiness (L)

Milieukunde, Tuin- en Akkerbouw (L), Dieren Veehouderij (L), Biotechnologie

Dr. Derksen (0.4)

Groene Plus

Food, Health and Safety

Voedingsmiddelentechnologie (L,W)

Biotechnologie

Dr. Van der Leij (0.7) Vacature ( 0.5)

Rijks-bijdrage en extern

Regulier + Bijzonder

Food Physics

Voedingsmiddelentechnologie (L,W)

Mw. dr. Oudhuis (0.5)

Extern

Bijzonder

Melkveehouderij

Dier en Veehouderij (L)

Bedrijfskunde en Agribusiness (L)

Ing. Zijlstra (0.3)

Groene Plus

Welzijn van Dieren

Diermanagement

Dier- en Veehouderij (L, W)

Dr. Ing. Hopster (0.5)

Marine Ecosystems Management

Kust- en zeemanagement

Diermanagement, Milieukunde

Dr.ir. Baptist (0.2)

Extern (IMARES)

Bijzonder

Marine Policy

Kust- en zeemanagement

Drs. Pastoors (0.2)

Extern (IMARES)

Bijzonder

Duurzame Visserij en Aquacultuur Geïntegreerd Natuur- en Landschapsbeheer

Kust- en zeemanagement Bos- en Natuurbeheer

Tuin- en Akkerbouw (L) Master Velp

Mw. dr. Walker 0.4

Groene Plus

Dr. Ir. Van der Heide (0.2) Dr. Janssen (0.2) Dr. Ir. Stobbelaar (0.2)

Groene Plus

Integraal Waterbeheer en Klimaatbestendige Gebiedsontwikkeling

Land- en Watermanagement

Master Velp

Vacature (0.5)

Rijks-bijdrage

Regulier

Groene Leefomgeving van Steden

Tuin- en Landschapsinrichting

Bos- en Natuurbeheer, Master Velp

Drs. Timmermans (0.8)

Rijks-bijdrage

Regulier

Regionale Transitie

Plattelandsvernieuwi ng (L, W) Bedrijfskunde en Agribusiness (L, W)

Tuin en Akkerbouw (L), Dier- en Veehouderij (L), Milieukunde, Land- en Water-management

Vacature (0.5)

Rijks-bijdrage

Regulier

Stadslandbouw als stedelijke ontwerpopgave

Tuin- en Landschapsinrichting

Plattelandsvernieuwing (W, L)

Vacature

Groene plus

Ere- lectoren Ir. G. Braks Drs. W. Helmer

Bos- en Natuurbeheer Bos- en Natuurbeheer

Persoon-lijk

Benoemd in 2003 2009


25

Validatierapport Kwaliteitszorg Onderzoek

Recommend Documents