Validatierapport Kwaliteitszorg Onderzoek

Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam

December 2015 Deelcommissie VKO    

Prof. dr. P.L. (Pauline) Meurs (voorzitter) Drs. P.M. (Paul) van Roon (lid) Drs. P.M.M. (Paul) Rullmann (lid) H. (Hans) Koolmees (secretaris)

INHOUDSOPGAVE

1. 2. 3. 3.1. 3.2. 3.3. 3.4. 4. Bijlage 1

Inleiding .......................................................................................................................................... 3 Schets van de hogeschool................................................................................................................ 5 Bevindingen .................................................................................................................................... 7 Structuur en samenhang in de kwaliteitszorg .................................................................................. 7 Randvoorwaarden voor de uitvoering van de kwaliteitszorg ........................................................ 13 Evaluaties van de Onderzoekseenheden ....................................................................................... 15 Verbeterbeleid ............................................................................................................................... 17 Conclusies en aanbevelingen ........................................................................................................ 20 Instellingsbesluit VKO ................................................................................................... 23

Bijlage 2 Organogram Hogeschool Rotterdam ................................................................................ 26 Bijlage 3 Overzicht bestudeerd materiaal ........................................................................................ 27 Bijlage 4 Bezoekprogramma ......................................................................................................... 28 Bijlage 5 Kwaliteitsindicatoren Onderzoek Hogeschool Rotterdam .................................................... 30 Bijlage 6 Korte beschrijving van de VKO deelcommissieleden ......................................................... 31


2

1.

Inleiding

De Validatiecommissie Kwaliteitszorg Onderzoek (VKO) is begin 2009 door de voorzitter van de HBOraad geïnstalleerd (zie instellingsbesluit, bijlage 1). De VKO maakt als onafhankelijke commissie deel uit van het per 1 januari 2009 ingevoerde kwaliteitszorgstelsel voor onderzoek aan hogescholen, gebaseerd op het brancheprotocol kwaliteitszorg onderzoek (BKO). De taak van de VKO is het valideren van de kwaliteitszorgsystemen van de hogescholen, voor zover de kwaliteitszorg betrekking heeft op onderzoek. Kwaliteitszorg wordt daarbij gedefinieerd als "het systematische en dynamische geheel van beleid, organisatie, procedures, processen en middelen, gericht op het permanent handhaven en verhogen van de kwaliteit van het onderzoek binnen de hogeschool, door middel van cyclisch evalueren en verbeteren". De validatie van de kwaliteitszorg voor het onderzoek van de Hogeschool Rotterdam vond plaats op 26 juni 2013. Helaas moest de VKO constateren dat ze niet tot validatie over kon gaan. Het kwaliteitszorgsysteem voor het onderzoek was naar het oordeel van de VKO ten tijde van het bezoek sterk gefragmenteerd; onderdelen ervan waren niet goed op elkaar afgestemd. Bovendien constateerde de VKO dat het systeemdenken dominant was en dat er derhalve onvoldoende aandacht was voor het resultaatdenken. Dit bracht eveneens met zich mee dat het kwaliteitszorgsysteem op onderdelen onnodig complex was ingericht hetgeen het gevaar met zich meebracht dat er van een zekere bureaucratisering sprake was. Eveneens was niet duidelijk wat de kwaliteitsdoelen van de onderzoeksfunctie waren waardoor betekenisvolle evaluaties niet altijd goed mogelijk waren. Tenslotte constateerde de VKO dat het hoge tempo waarin het kwaliteitszorgsysteem tot stand was gebracht, met name in het jaar voorafgaand aan de validatie, ten koste was gegaan van voldoende draagvlak bij de uitvoeringsorganisatie. In aansluiting op het validatiebezoek is in overleg met de Hogeschool Rotterdam besloten dat er in het najaar van 2015 een hervalidatie zou plaatsvinden. Die hervalidatie vond plaats op 28 oktober 2015. Een deelcommissie van de VKO sprak op die dag met het College van Bestuur, enkele instituuts- en stafdirecteuren, lectoren en onderzoekers van twee kenniscentra en medewerkers kwaliteitszorg. Het volledige bezoekprogramma en de antecedenten van de deelcommissie zijn opgenomen in de bijlagen 4 en 6 van dit rapport. Aan het eind van het bezoek is door de voorzitter van de deelcommissie VKO een voorlopige terugkoppeling gegeven. Daarna heeft de VKO zich intern beraden op de definitieve rapportage. Van de VKO wordt verwacht dat zij bij elke hogeschool tot een op ontwikkeling en verbetering gerichte rapportage komt. Het gaat daarbij om een onderbouwde en genuanceerde kwalitatieve conclusie ten aanzien van het functioneren van het kwaliteitszorgsysteem in verschillende opzichten en op verschillende dimensies, alsmede de hierop gebaseerde aanbevelingen tot verbetering. Op basis van haar bevindingen heeft de VKO de kwaliteitszorg met betrekking tot het onderzoek van de Hogeschool Rotterdam positief gevalideerd. Deze rapportage geeft een nadere onderbouwing van dit oordeel. De opbouw van het rapport is als volgt: Na deze inleiding wordt in hoofdstuk 2 schets gegeven van de hogeschool, in algemene zin en meer in het bijzonder toegespitst op de missie, organisatie en omvang van het onderzoek. Hoofdstuk 3 beschrijft de bevindingen en beoordelingen van de VKO aan de hand van de vier validatievragen zoals deze zijn vastgelegd in het basisdocument kwaliteitszorg onderzoek 2009-2015 (zie:


3

www.vkohogescholen.nl). Omdat de VKO zich tijdens het validatiebezoek vooral gericht heeft op de wijze waarop de Hogeschool Rotterdam is omgegaan met de aanbevelingen die zij gegeven heeft n.a.v. het eerste validatiebezoek en de resultaten daarvan, zijn deze ondergebracht bij de vier validatievragen. In hoofdstuk 4 sluit de VKO af met haar conclusie en aanbevelingen.


4

2. Schets van de hogeschool Aan de Hogeschool Rotterdam studeren ruim 34.000 studenten en zijn er ruim 3.000 medewerkers werkzaam. Het onderwijs wordt gerealiseerd in 11 instituten. Daarnaast is de Hogeschool Rotterdam voor wat betreft het onderwijs structureel verbonden met de STC-groep (de Rotterdamse onderwijs- en kennisinstelling op het gebied van scheepvaart, transport en havenindustrie) in de Rotterdam Mainport University en wordt er samengewerkt met het Albeda College Zadkine (MBO) in de Rotterdam Academy. De Hogeschool Rotterdam stelt dat de beroepspraktijk zich op alle terreinen in hoog tempo ontwikkelt. Die ontwikkeling wordt in steeds grotere mate gebaseerd op inzichten uit wetenschap en praktijkgericht onderzoek. De beroepspraktijk verwacht dat de afgestudeerden de ontwikkelingen kunnen bijhouden en dat zij in staat zijn om impulsen te geven voor verbetering en vernieuwing. In haar visie stelt de Hogeschool Rotterdam dat zij studenten wil opleiden tot vakkundige, onderzoekende en weerbare professionals die in staat zijn om actuele vraagstukken uit de praktijk op kritische onderzoekende wijze tot een praktische oplossing weten te brengen. Het onderzoek is ondergebracht in 5 kenniscentra. In het onderzoek staan drie prestatiegebieden centraal: 1. Verbonden met het onderwijs (onderzoek draagt bij aan actuele, maatschappelijk relevante curricula, aan de ontwikkeling van studenten en aan de professionele ontwikkeling van docenten op het terrein van onderzoek en beroepspraktijk). 2. Praktijkgericht (onderzoek draagt bij aan innovatie van de beroepspraktijk en/of maatschappij). 3. Wetenschappelijk (onderzoek draagt bij aan het ontwikkelen en delen van nieuwe kennis). Om focus en massa in het onderzoek te realiseren richt de Hogeschool Rotterdam zich op een vijftal thema’s die zijn ontleed aan de aandachtspunten voor de regionale ontwikkeling. Bovendien zijn deze thema’s zodanig ontwikkeld dat ze goed verbonden kunnen worden met een breed scala aan opleidingen. Het betreft thema’s die in de volgende kenniscentra zijn ondergebracht: 1. Transitie naar een duurzame haven (RDM) 2. Design en Media (Creating 010) 3. Zorginnovatie 4. Talentontwikkeling 5. Innovatief Ondernemerschap De kenniscentra zijn de thuisbasis van de lectoren en vormen het organisatorisch kader voor de onderzoeksprogrammering. Naast deze vijf thema’s profileert de Hogeschool Rotterdam zich in het bijzonder op twee typisch Rotterdamse speerpunten: a) de duurzame ontwikkeling van het Rotterdamse Haven- en Industriecomplex en b) de integrale aanpak van de sociale, economische en maatschappelijke problemen op Rotterdam Zuid. Rond beide thema’s zijn twee Centres of Expertise (CoE) ingericht waarin de hogeschool structureel samenwerkt met tal van bedrijven en instellingen aan innovatie. De gehele organisatie van de Hogeschool Rotterdam wordt ondersteund door vier stafdiensten: 1. Concernstaf


5

2. Onderwijs en Ontwikkeling 3. Administratie, Informatievoorziening en Control 4. Faciliteiten en Informatietechnologie. De kenniscentra en de CoE’s worden ondersteund door een eigen Bedrijfsbureau Ondersteuning Kenniscentra en CoE. De eenhoofdige instituutsdirecties, de programmadirecteuren van de Kenniscentra en de CoE’s en de directies van de stafdiensten vallen rechtstreeks onder het College van Bestuur maar beschikken, zeker in vergelijking met het verleden, over een relatief grote autonomie. De samenhang in de hogeschool wordt geborgd door een gemeenschappelijke visie die vertaald is in vijf ankerpunten voor het bachelor onderwijs en in de hiervoor genoemde drie prestatiegebieden voor het onderzoek (verbonden met onderwijs, praktijkgericht, wetenschappelijk). Deze ankerpunten en prestatiegebieden worden vertaald in indicatoren die per instituut en per kenniscentrum kunnen verschillen zodat er rekening gehouden kan worden met de eigen doelen, de specifieke context en de ontwikkelingsfase waarin deze organisatie-eenheden verkeren. De jaarcijfers 2011 en 2014 die door de VKO worden geïnventariseerd laten met betrekking tot het onderzoek van Hogeschool Rotterdam het volgende beeld zien: 2011

2014

Hogeschool Rotterdam

Positie t.o.v. 38 hogescholen

Hogeschool Rotterdam

Positie t.o.v. 38 hogescholen

Rijksbijdrage per student

€ 203,78

24

€ 204

23

Raak-bijdrage per student

€ 20,02

18

€ 43

11

€ 0,00

16

€0

16

€ 43,55

22

€ 70

18

Financieel

Internationale bijdrage per student Overige bijdrage per student Personeel Aantal studenten per lector (landelijk streefcijfer: 720)

1,792

27

1.420

27

0,44 fte

32

0,54 fte

27

Percentage gepromoveerde lectoren

46 %

31

44 %

30

Percentage docent-onderzoekers van docenten

8,6 %

28

7,2 %

28

0,32 fte

6

0,36 fte

10

8,0 %

19

-

-

Percentage promovendi van docenten

1,66 %

28

-

-

Gemiddelde fte per promovendus

0,40 fte

19

0,4 fte

23

Percentage student-onderzoekers

3,0 %

22

3,4 %

20

Aantal fte´s per lector

Gemiddelde fte per docent-onderzoeker Percentage gepromoveerde onderzoekers


6

3. Bevindingen De VKO kon ter voorbereiding van het validatiebezoek beschikken over een documentatie in de vorm van het zelfevaluatierapport en enkele visie- en beleidsnota’s zoals het Positionpaper van de Hogeschool Rotterdam, de nota Praktijkgericht Onderzoek en het Handboek Kwaliteit Onderzoek. Eveneens kreeg de commissie de digitale versie van de strategische plannen van de vijf kenniscentra toegezonden. Tijdens het validatiebezoek lagen tal van uitvoeringsnotities, verslagen en evaluatierapporten ter inzage. De commissie wil de Hogeschool Rotterdam graag complimenteren met de heldere wijze waarop het zelfevaluatierapport is geformuleerd: compact, volledig, inzichtelijk, ondubbelzinnig, samenhangend en goed leesbaar. Evenals bij het eerste validatiebezoek kon de validatiecommissie constateren dat de medewerkers gedurende de gesprekken zich open opstelden en niet terughoudend waren in het signaleren van zaken die nog niet goed gaan en verbetering behoeven. Maar anders dan de vorige keer merkte de commissie dat er veel meer sprake was van eenheid in visie en na te streven doelen. Bovendien kon de commissie constateren dat hogeschoolbreed de betrokkenheid bij de onderzoeksfunctie aanzienlijk was toegenomen. Van enig cynisme was geen sprake meer. Integendeel: ‘Het lijkt steeds meer een voorrecht te worden onderzoek te mogen doen’ zo werd aangegeven door enkele gesprekspartners. Conform het basisdocument dient de VKO de volgende vier validatievragen te beantwoorden: 1. Is er sprake van voldoende structuur en samenhang in de kwaliteitszorg van de hogeschool (ten aanzien van onderzoek)? 2. Zijn er voldoende randvoorwaarden voor de uitvoering van de kwaliteitszorg (ten aanzien van onderzoek)? 3. Worden de onderzoekevaluaties op deskundige en onafhankelijke wijze uitgevoerd en conform de brancheafspraken hierover? 4. Worden evaluaties gebruikt voor de handhaving en verbetering van de kwaliteit van het onderzoek en de organisatie? Omdat het in dit geval een hervalidatie betreft zal de commissie niet alle aspecten behandelen die bij de vier validatievragen normaliter naar voren komen maar zal zij zich voornamelijk richten op de aanbevelingen die zij in het eerste validatierapport heeft gegeven en de wijze waarop de Hogeschool Rotterdam met deze aanbevelingen is omgegaan. Hieronder structureert de validatiecommissie haar bevindingen aan de hand van deze vier vragen in respectievelijk de paragrafen 3.1, 3.2, 3.3 en 3.4. Elk van deze vier paragrafen wordt afgesloten met mogelijkheden voor verbetering op de voor de validatievraag relevante onderwerpen.

3.1. Structuur en samenhang in de kwaliteitszorg

Beschrijving De Hogeschool Rotterdam heeft, onder andere op basis van het validatierapport uit 2013, binnen de kaders van de toen al hogeschoolbreed lopende heroriëntatie op het Focusbeleid, extra aandacht gegeven aan de onderzoeksfunctie. Daartoe heeft zij een Regieorgaan Onderzoek en Onderwijs ingesteld. Dit Regieorgaan Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam

7

kent een brede samenstelling met actieve participatie vanuit het College van Bestuur. Het doel van het Regieorgaan was om het ontwikkelen implementatieproces ten aanzien van de onderzoeksfunctie zodanig te verstevigen en te bevorderen, dat er een breed draagvlak voor de resultaten zou ontstaan. Dat is gelukt. Het regieorgaan heeft op systematische wijze bijgedragen aan de ontwikkeling van een onderzoeksbeleid voor de hogeschool als geheel. Het regieorgaan heeft een brede dialoog georganiseerd met de verschillende geledingen en leiding gegeven aan de discussies en verschillende opties voorgelegd. Dit alles heeft er toe geleid dat in gezamenlijkheid en in onderlinge afstemming gemeenschappelijke oplossingen gevonden en ingevoerd zijn die kunnen rekenen op een breed draagvlak. In de eerste plaats is er intern en extern een intensieve discussie gevoerd over de missie van het praktijkgericht onderzoek. De resultaten ervan zijn vastgelegd in de nota Praktijkgericht Onderzoek bij Hogeschool Rotterdam: Visie en Beleid. In dit document wordt gesteld dat een inhoudelijk hoog niveau in het onderwijs en het ontwikkelen van een stevige beroepsidentiteit alleen gerealiseerd kan worden met een intensieve verbinding tussen onderwijs, onderzoek en beroepspraktijk. De missie wordt als volgt omschreven: ‘De Hogeschool Rotterdam is een kennisinstelling met een goede reputatie waar het praktijkgerichte onderzoek nauw verbonden is met het onderwijs, zodat het bijdraagt aan het opleiden van vakkundige, onderzoekende en weerbare professionals. Dat onderzoek is van hoge kwaliteit en heeft een diepe verbinding met Rotterdamse beroepspraktijken. Lectoren, docenten en studenten dragen met het onderzoek bij aan het verbeteren en vernieuwen van de beroepspraktijk’. De missie is vertaald in drie prestatiegebieden voor het praktijkgerichte onderzoek van de Hogeschool Rotterdam:  Verbonden met het onderwijs (onderzoek draagt bij aan actuele, maatschappelijk relevante curricula, aan de ontwikkeling van studenten en aan de professionele ontwikkeling van docenten op het terrein van onderzoek en beroepspraktijk).  Praktijkgericht (onderzoek draagt bij aan innovatie van de beroepspraktijk en/of maatschappij).  Wetenschappelijk (onderzoek draagt bij aan het ontwikkelen en delen van nieuwe kennis). Deze prestatiegebieden zijn op hun beurt op hogeschoolniveau voorzien van inputindicatoren, outputindicatoren en impactindicatoren. Op basis van deze hogeschoolbrede prestatiegebieden is opnieuw nagedacht over de missie en de doelen van de afzonderlijke kenniscentra. Focus, massa en afstemming op de interne en externe omgeving speelden daarbij een grote rol. Rekening houdend met de context waarin de afzonderlijke kenniscentra verkeren (zoals de ontwikkelingsfase van het kenniscentrum, de omvang van het kenniscentrum en de verbinding met de beroepspraktijk) kiezen zij uit de hogeschoolbrede indicatoren voor een set van voor hen relevante indicatoren (zie ook bijlage 5). Ook de aansturing van de Hogeschool Rotterdam heeft de afgelopen twee jaar een ingrijpende verandering ondergaan. De hogeschool ontwikkelt zich van een sterk centraal gestuurde organisatie naar een resultaatgerichte en lerende organisatie die er op gericht is om de professionele verantwoordelijkheid binnen teams te bevorderen. Dit brengt met zich mee dat de ontwikkelingen op verschillende plekken in de hogeschool een verschillend tempo kennen en ook een eigen invulling krijgen afgestemd op de specifieke situatie en behoefte in het betreffende domein. Het decentralisatieproces heeft ook gevolgen gehad voor de totstandkoming van de strategische beleidsplannen van instituten (onderwijs) en de kenniscentra (onderzoek). Instituutsdirecties en programmadirecteuren beschikken over een relatief grote mate van autonomie. Zij zijn direct verantwoording verschuldigd


8

aan het College van Bestuur. Vanuit deze positie dienen de instituutsdirecties een strategisch beleidsplan en opleidingsjaarplannen te ontwikkelen. De programmadirecteuren ontwikkelen een strategisch onderzoeksplan en daarvan afgeleide onderzoeksjaarplannen. Deze leiden o.a. tot een kennisagenda voor het onderwijs en een onderzoeksagenda voor het onderzoek. Om te voorkomen dat de instituten en de kenniscentra zich los van elkaar gaan ontwikkelen is centraal vastgesteld dat de instituten op termijn 10 % van de loonsom voor het docerend personeel dienen te besteden aan onderzoek. In overleg tussen de instituten en de kenniscentra wordt vastgesteld op welke wijze de onderzoekscapaciteit ingezet wordt Op deze wijze wordt, zoals de Hogeschool Rotterdam dat noemt, in ‘een wederzijdse gezagsvolle relatie’ beleid ontwikkeld dat enerzijds tegemoet komt aan de eigen verantwoordelijkheden van het onderwijs en het onderzoek en anderzijds tegemoet komt aan de gezamenlijke bijdrage aan het onderwijs. Het bovenstaande is als volgt schematisch weer te geven:

Om het proces van planvorming en planrealisatie te kunnen monitoren wordt gebruik gemaakt van een PDCA-cyclus die beschreven staat in het document Handboek Kwaliteit Onderzoek Hogeschool Rotterdam. Deze kwaliteitszorgcyclus voor het onderzoek maakt deel uit van het kwaliteitszorgsysteem voor de gehele Hogeschool Rotterdam. In dit document wordt voor elke stap in de PDCA-cyclus beschreven hoe de deelprocessen verlopen, welke input informatie hiervoor nodig is, welke evaluatie-activiteiten uitgevoerd moeten worden, welke actoren bij de uitvoering van deze activiteiten betrokken zijn en tot welk soort besluitvorming elke stap dient te leiden. De belangrijkste processen in deze PDCA-cyclus worden in aparte documenten nader uitgewerkt (bij voorbeeld de planning en uitvoering van de externe evaluaties volgens het landelijk Brancheprotocol Kwaliteitszorg Onderzoek).


9

Observaties en oordeel In het validatierapport van 2013 heeft de VKO m.b.t. het onderwerp structuur en samenhang in de kwaliteitszorg zeven aanbevelingen in overweging gegeven. In dit rapport worden de aanbevelingen nogmaals weergegeven en voorzien van observaties en oordelen De commissie is aangenaam verrast door het vele en gedegen werk dat de afgelopen twee jaar ten aanzien van de onderzoeksfunctie van de Hogeschool Rotterdam is verzet. Uit gesprekken en documenten bleek duidelijk dat alle aanbevelingen weloverwogen aandacht hebben gekregen. Daarbij heeft het Regieorgaan Onderzoek en Onderwijs een belangrijke rol gespeeld. Het is een goede ingreep geweest om voor de vele werkzaamheden die verricht moesten worden en die om onderlinge afstemming vroegen, een dergelijk orgaan in het leven te roepen. Opmerkelijk vond de commissie het dat in de voor de validatie beschikbaar gestelde schriftelijke stukken de invloedrijke rol van het Regieorgaan zodanig onderbelicht bleef dat een van de commissieleden het regieorgaan betitelde als het Geheim Genootschap van de Hogeschool Rotterdam. Voor zover de commissie het op afstand kan beoordelen heeft het Regieorgaan een belangrijke rol gespeeld in het transformatieproces. Niet door directief op te leggen wat er moest gebeuren en hoe het moest gebeuren maar door te bevorderen dat belanghebbende partijen met elkaar in gesprek kwamen om tot concrete oplossingen te komen. Ook de onderlinge afstemming van de diverse deelprocessen die ontwikkeld werden binnen de Hogeschool Rotterdam hebben veel aandacht van het Regieorgaan gekregen. Deze initiërende en procesbegeleidende rol van het Regieorgaan heeft er toe geleid dat er veel draagvlak is ontstaan voor de veranderingen die ontwikkeld en ingevoerd moesten worden. Nu het transformatieproces ten einde loopt wordt overwogen om het Regieorgaan op te heffen. Hoewel de commissie er geen voorstander van is om commissies in het leven te houden die niet langer actief een bijdrage leveren aan een organisatie, wil zij de Hogeschool Rotterdam toch waarschuwen voor een al te snelle opheffing van het Regieorgaan. Er is in de afgelopen twee jaar veel kennis en ervaring opgebouwd in het Regieorgaan die van groot nut kunnen zijn bij de verdere implementatie van de veranderingsprocessen en de ‘finetuning’ ervan. 1. Verstevig de regie op het ontwikkelen van het onderzoeksbeleid en de productie van onderzoeksdocumenten waardoor deze systematischer ontwikkeld worden en er meer samenhang gaat ontstaan. In de eerste plaats is het onderzoeksbeleid heroverwogen. Die heroverweging heeft plaatsgevonden onder begeleiding van het Regieorgaan Onderwijs en Onderzoek dat op bewonderingswaardige wijze een goede balans heeft gevonden tussen aansturing binnen ruime centrale kaders en decentrale uitwerking. Dit kwam geheel tegemoet aan het na te streven karakter van de Hogeschool Rotterdam als een organisatie die een resultaatgerichte en lerende organisatie wil zijn waarin gebouwd wordt op de professionele verantwoordelijkheid van de diverse teams. De commissie vindt het daarbij een goede zaak dat de Hogeschool Rotterdam in dezen niet het Rotterdamse stadscredo ‘niet l….. maar poetsen’ in de praktijk heeft gebracht door gelijk na de vorige validatie concrete verbetermaatregelen te treffen, maar door ruim de tijd te nemen om op iteratieve wijze te werken aan een onderzoeksvisie en onderzoeksbeleid. Dit heeft geleid tot een breed gedragen visie op praktijkgericht onderzoek in de Rotterdamse context die vervolgens zijn vertaling heeft gekregen in een duidelijk onderzoeksbeleid. Het is een goede zaak dat daarbij ook onderwerpen als focus en massa aan bod zijn gekomen. Het heeft geleid tot duidelijke onderzoeksagenda’s. Veel waardering heeft de commissie voor de heldere wijze waarop visie en beleid verwoord zijn in de notitie Praktijkgericht Onderzoek bij Hogeschool Rotterdam. Nog lang niet alle aspecten die in dit beleid ver-


10

woord worden hebben hun effecten in de praktijk bewezen. De implementatieperiode is daarvoor nog te kort geweest. Maar in tegenstelling tot de gesprekken die de commissie tijdens de validatie in 2013 voerde bleek dat er thans niet langer meer sprake is van uiteenlopende interpretaties van het vastgestelde beleid en dat er geen sprake meer is van cynisme ten aanzien van de onderzoeksfunctie zoals die soms in 2013 naar voren kwam. De hogeschool beschikt nu over een gedegen basis om de onderzoeksfunctie verder uit te bouwen. Naast de notitie Praktijkgericht Onderzoek bij Hogeschool Rotterdam zijn ook de overige beleids- en uitvoeringsdocumenten op het gebied van onderzoek helder geschreven en goed op elkaar afgestemd. Anders dan in het verleden hoefde de commissie niet vele en elkaar vaak tegensprekende documenten door te nemen, maar kon zij volstaan met het kennisnemen van slechts enkele samenhangende nota’s om een helder beeld te krijgen van hetgeen de hogeschool wil bereiken en de manier waarop dat gerealiseerd moet worden. 2. Bevorder een stabiele organisatiestructuur rond het onderzoek die bijdraagt aan de verbetering en consolidatie van de onderzoeksfunctie. De commissie heeft veel waardering voor de wijze waarop de decentraal georiënteerde organisatiestructuur de afgelopen jaren vorm heeft gekregen. Deze komt enerzijds ten goede aan de professionele verantwoordelijkheid van de afzonderlijke instituten en de kenniscentra, terwijl anderzijds er voorwaarden geschapen zijn om in een ‘wederzijdse gezagsvolle relatie’ tot samenwerking te komen. De commissie vindt het een goed idee dat de Hogeschool Rotterdam als voorwaarde stelt dat een door de jaren oplopend percentage tot 10 % van de loonsom voor het docerend personeel besteed moet worden aan onderzoekstaken. Dat kan tot gevolg hebben dat in de nabije toekomst het onderzoeksvolume kan toenemen en dat tegelijkertijd bevorderd wordt dat de instituten en de kenniscentra tot betekenisvolle samenwerking kunnen komen waarbij tegemoet gekomen moet wordt aan beider gemeenschappelijke en afzonderlijke belangen. 3. Ga door op de weg waarbij onderwijs, onderzoek en praktijk steeds meer met elkaar in verband gebracht worden. Doe dat met de voortvarendheid waarmee dat de afgelopen tijd gebeurd is maar waak er voor dat het gekozen tempo niet ten koste gaat van draagvlak, kwaliteit en het vermogen om het beleid te internaliseren. De verbinding tussen onderwijs, onderzoek en praktijk heeft nog sterker dan bij de validatie uit 2013 gestalte gekregen. Zoals bij aanbeveling 2 is gesteld, heeft de verbondenheid tussen onderzoek en onderwijs verder vorm gekregen. Bovendien is de rol van de beroepspraktijk in de diverse beleidsdocumenten beter verwoord (o.a. bij de totstandkoming van strategische plannen en evaluaties). Zoals reeds eerder beschreven, heeft in tegenstelling tot de validatie van 2013 de Hogeschool Rotterdam voldoende tijd ingeruimd om het draagvlak te vergroten voor de soms niet geringe beleidsaanpassingen die hebben plaatsgevonden. 4. Hoeveel waardering er ook is voor het dienstbaar zijn van het onderzoek voor het verbeteren van het eindniveau van het onderzoek van de bacheloropleidingen, houd de ogen goed geopend voor de bredere taak die het praktijkgericht onderzoek heeft en het sui generis karakter van dit soort onderzoek. De Hogeschool Rotterdam heeft duidelijk gekozen voor een sterke verbinding tussen onderwijs, onderzoek en beroepspraktijk. De organisatiestructuur waarin de instituutsdirecties en programmadirecteuren zowel afzonderlijk als gemeenschappelijk verantwoording verschuldigd zijn aan het College van Bestuur bevordert enerzijds de eigenstandigheid van de onderzoeksfunctie en anderzijds de samenwerking tussen onderwijs en onderzoek. De commissie is er echter nog niet geheel van overtuigd dat dit voldoende basis biedt voor het erkennen van het sui generis karakter van het praktijkgerichte onderzoek. Er is volgens de commissie nog te weinig kennis aanwezig bij alle personen en partijen, die niet direct bij de uitvoering van het


11

onderzoek betrokken zijn, die invloed uitoefenen op de onderzoeksagenda en het onderzoeksbeleid om dat karakter te (h)erkennen. Daardoor is het gevaar niet denkbeeldig dat er onvoldoende rekening wordt gehouden met het eigene van praktijkgericht onderzoek (zowel qua doelen als qua methoden en technieken) om tot volle bloei te komen. Juist om dit punt kan het Regieorgaan een rol vervullen en het praktijkgerichte onderzoek als zelfstandige activiteit bevorderen en zorgdragen voor passende randvoorwaarden (w.o. middelen, kennisdeling, samenwerkingspartners). 5. Ontwikkel een heldere visie op de inhoudelijkheid van het praktijkgericht onderzoek in de context van de Rotterdamse omgeving. Baseer op deze visie heldere kwaliteitsdoelen en leidt daar even duidelijke indicatoren van af. De Hogeschool Rotterdam heeft veel energie gestoken in het ontwikkelen van een heldere visie op de inhoud van het praktijkgerichte onderzoek. Er zijn drie duidelijke omschreven prestatiegebieden geformuleerd waarop de onderzoekseenheden moeten presteren: verbinding met onderwijs, wetenschappelijkheid en praktijkgerichtheid. Elk van deze prestatiegebieden is vertaald in meerdere impact- en outputindicatoren die centraal zijn vastgesteld. Indachtig het streven om te komen tot een resultaatgerichte en lerende decentrale organisatie hoeven niet alle kenniscentra de totale set van indicatoren te hanteren. Rekening houdend met de aard van het kenniscentrum, de context waarin het verkeert en de na te streven doelen, maakt het kenniscentrum een weloverwogen keuze uit de beschikbare indicatoren. De commissie is van mening dat daarmee een goede balans is gevonden tussen het centrale en decentrale beleid. Het is nog niet duidelijk op welke wijze de kenniscentra een normering willen verbinden aan de indicatoren. Daartoe is de tijd tot op heden wellicht ook te kort geweest. Maar de commissie vraagt in de nabije toekomst wel om voldoende aandacht aan dit punt te besteden. 6. Probeer de omslag te maken van het systeemgeoriënteerd denken m.b.t. de kwaliteitszorg van het onderzoek in een doelgeoriënteerd denken. De commissie is van mening dat ten aanzien van deze aanbeveling grote vorderingen zijn gemaakt waarvoor zij veel waardering heeft. Bij de vorige validatie stonden de kwaliteitszorgprocessen nog in het middelpunt van de belangstelling en was er relatief weinig aandacht voor de na te streven doelen. Die situatie is geheel veranderd. Dankzij de discussies die de afgelopen twee jaar gevoerd zijn over onderzoeksvisie, onderzoeksbeleid en onderzoeksdoelen, staat het de organisatie nu veel duidelijker voor ogen welke de streefdoelen zijn en welke de indicatoren zijn die bij de monitoring gehanteerd worden. De Hogeschool Rotterdam stelt daarbij dat de dialoog het centraal stuurelement is bij het realiseren van de kwaliteit: ‘De kwaliteitsindicatoren zijn daarbij nadrukkelijk geen doel op zich, maar geven indicaties aan de hand waarvan de dialoog plaatsvindt. De nadruk verschuift van het maken van uniforme kaderafspraken naar het aanspreken van professionele teams en hun leidinggevenden op hun verantwoordelijkheid om de kwaliteit van het werk van hun organisatieonderdeel voortdurend te ontwikkelen’. De commissie kan zich een dergelijke visie, gezien de ontwikkelingsfase waarin de hogeschool verkeert, goed voorstellen maar is van mening dat dit op den duur een te grote vrijblijvendheid met zich meebrengt. Indicatoren die afgeleid zijn van doelen zijn belangrijk. Maar indicatoren die niet voorzien zijn van een normering hebben op den duur een te vrijblijvend karakter en zorgen onvoldoende voor kwantitatieve maar vooral ook kwalitatieve groei. De commissie beveelt de Hogeschool Rotterdam dan ook aan om na te gaan denken over de verdere normering van de indicatoren. Het hanteren van deze normering hoeft niet door te slaan in een ongenuanceerde afrekencultuur en hoeft niet ten koste te gaan van de dialoog waarin rekening wordt gehouden met de context waarin de doelrealisatie plaatsvindt. Normen kunnen soms niet gehaald worden maar dat gebeuren dient dan wel aanleiding te zijn om in dialoog te achterhalen wat de redenen waren waarom de norm niet gehaald is. Vervolgens kan, eveneens in dialoog, geconcludeerd worden of de


12

norm bijgesteld moet worden of dat het beleid en de context aanpassing vergen om wel tot doelrealisatie te kunnen komen. 7. Voltooi het in gang gezette proces m.b.t. het ontwikkelen van het kwaliteitszorgsysteem en zorg voor een gedisciplineerde organisatiebrede uitvoering daarvan aan de hand van een sluitende PDCA-cyclus. Let er op dat bij het doorontwikkelen van het kwaliteitszorgsysteem er geen overbodige detaillering gaat ontstaan die onvoldoende meerwaarde biedt voor de beleidsvorming, de organisatie en de uitvoering van het onderzoek. Efficiency van het systeem moet in balans zijn met de effectiviteit ervan. De commissie heeft veel waardering voor het integrale kwaliteitszorgsysteem. Het maakt een overtuigende indruk. Bij de ontwikkeling van dit systeem is goed voortgebouwd op hetgeen in 2013 reeds beschikbaar was. De grote winst van de afgelopen twee jaar is dat het kwaliteitssysteem inzichtelijker gemaakt is en dat onderdelen beter op elkaar afgestemd zijn. Zo zijn bijvoorbeeld de sluitende PDCA-cycli goed omschreven en sluiten deze cycli horizontaal en verticaal goed op elkaar aan. Maar de ‘proof of the pudding is in the eating’ en de Hogeschool Rotterdam heeft nog geen volledige beleidscyclus doorlopen om het effect ervan goed te kunnen beoordelen. Wel heeft de commissie met veel waardering kunnen constateren dat in alle meerjarenplannen van de kenniscentra aandacht wordt besteed aan de onderzoeksindicatoren. Deze meerjarenplannen hebben alle hun vertaling gekregen in concrete (soms wel erg uitgebreide) jaarplannen. De plannen vormen daarmee een goede basis om tot betekenisvolle evaluaties te komen. De commissie heeft er alle vertrouwen in dat die positieve effecten zich zullen voordoen. Wel vraagt de commissie alert te blijven op een goede werking van de cyclus en om, indien nodig, tot aanpassing over te gaan. Daarbij beveelt de commissie aan om het systeem ‘lean and mean’ te houden. Te vaak is de commissie in de praktijk tegengekomen dat noodzakelijke (en soms niet noodzakelijke) aanpassingen leiden tot onnodig veel detaillering waarmee het spook van de bureaucratie binnengehaald wordt.

Mogelijkheden voor verbetering 1. Wees voorzichtig met het al te snel opheffen van het Regieorgaan Onderwijs en Onderzoek. Dit orgaan kan nog een belangrijke rol blijven spelen bij de verdere ontwikkeling en ‘finetuning’ van het onderzoeksbeleid en de kwaliteitszorg van het onderzoek. 2. Blijf aandacht besteden aan het sui generis karakter van de onderzoeksfunctie. Dat kan o.a. door het verhogen van de kennis en vaardigheden op het gebied van onderzoek zodat er een breder besef binnen de hogeschool gaat ontstaan over wat het eigene is van de onderzoeksfunctie en welke voorwaarden daarvoor aanwezig moeten zijn. 3. Voorzie de indicatoren van normen waardoor beleidsaanpassing beter mogelijk wordt gemaakt. 4. Waak voor bureaucratisering bij de verder vormgeven en ‘finetuning’ van het kwaliteitszorgsysteem.

3.2. Randvoorwaarden voor de uitvoering van de kwaliteitszorg

Beschrijving Sinds het validatiebezoek in 2013 hebben ten aanzien van de randvoorwaarden voor de uitvoering van het onderzoek en de kwaliteitszorg enkele belangrijke veranderingen plaatsgevonden.


13

De omslag van een centraal gestuurde organisatie naar een resultaatgerichte en lerende organisatie heeft ook een aanpassing vereist van de organisatiestructuur. Naast de aanpassing van de positie van de instituten en de kenniscentra zijn er ook wijzigingen aangebracht bij de ondersteunende diensten. Het aantal ondersteunende diensten is teruggebracht van 9 naar 4. Daarnaast is het Instituut voor Onderzoek en Innovatie, dat een turbulent verleden kende, opgeheven en beschikken de vijf kenniscentra gezamenlijk over een bedrijfsbureau OKc. Bij elk van de kenniscentra is naast de programmadirecteur ook een functionaris kwaliteitszorg aangesteld. De herpositionering van de ondersteunende diensten heeft ook een intensievere aandacht voor de onderzoeksfunctie met zich meegebracht. Zo heeft het onderzoek een structurele plaats gekregen in het HRMbeleid van de hogeschool. Dat komt tot uitdrukking doordat de onderzoekstaken meer dan in het verleden deel uitmaken van de planningsgesprekken, de voortgangsgesprekken en de beoordelingsgesprekken. Ook is het functiehuis aangepast. De onderzoeksfuncties zijn opgenomen in functiereeksen waardoor meer mogelijkheden ontstaan voor loopbaanplanning. Tenslotte heeft ook de professionalisering ten aanzien van het onderzoek extra aandacht gekregen. In 2014 is een nieuw lid in het College van Bestuur aangesteld die mede op basis van haar kennis en ervaring verantwoordelijk is voor de onderzoeksportefeuille. Zoals eerder is gesteld in paragraaf 3.1 hebben de beschikbare middelen een impuls gekregen door de afspraak dat de onderwijsinstituten 10 % van de loonsom voor het docerend personeel zullen investeren in onderzoeksactiviteiten. De belangrijkste verandering die heeft plaatsgevonden en die mede ten grondslag lag aan de hiervoor genoemde wijzigingen is de cultuurverandering geweest. Deze verandering is mogelijk gebleken door een intensieve dialoog tussen diverse partijen over de onderzoekstaak van de hogeschool en de voorwaarden die daarvoor aanwezig moeten zijn. Het heeft het begrip voor het belang van de onderzoeksfunctie aanzienlijk verbreed en verdiept binnen de Hogeschool Rotterdam.

Observaties en oordeel In 2013 werden ten aanzien van de randvoorwaarden voor de uitvoering van het onderzoek de volgende aanbevelingen meegegeven aan de Hogeschool Rotterdam: 1. Steef naar en stabiele en duurzame organisatorische positie van de onderzoeksfunctie Deze aanbeveling is in de vorige paragraaf reeds aan de orde gekomen. 2. Heroverweeg de zelfstandige organisatorische positie van het Backoffice zoals die per september 2013 is voorzien. 3. Verbeter de dienstverlening van de ondersteunende diensten t.b.v. de onderzoeksfunctie. De commissie heeft geconstateerd dat de dienstverlening door de ondersteunende diensten aan het verbeteren is. Het terugbrengen van 9 naar 4 diensten heeft voor helderheid gezorgd en geleid tot betere afstemming van de dienstverlening. Werden er in 2013 nog relatief veel opmerkingen gemaakt over de eenzijdige gerichtheid van de ondersteunende diensten op het onderwijs, tijdens het bezoek in 2015 was daar vrijwel geen sprake meer van. Dat wil niet zeggen dat alle diensten nu voldoende zijn toegerust om de onderzoeks-


14

functie adequaat te ondersteunen maar er heeft zich een fundamentele wijziging voorgedaan die het vertrouwen doet groeien dat dat in de komende jaren verder ontwikkeld zal worden. De commissie oordeelt positief over de inrichting van het bedrijfsbureau OKc dat specifiek gericht is op de ondersteuning van de vijf gezamenlijke kenniscentra. Ook hier zijn eerste verbeteringen zichtbaar doordat de informatievoorziening, de planning en de verantwoordingsactiviteiten professioneler en systematischer aangepakt worden. De commissie hoopt, en is ervan overtuigd, dat met de inrichting van het bedrijfsbureau OKc een einde is gekomen aan de talrijke posities die de onderzoeksondersteuning in het verleden heeft moeten innemen door de vele reorganisaties. Eveneens is de commissie tevreden over de wijze waarop het HRM-beleid meer georiënteerd is op de onderzoeksfunctie van de hogeschool. Dat zal ongetwijfeld tot gevolg hebben dat het besef rond nut en noodzaak van het onderzoek breder en dieper verspreid zal worden binnen de organisatie en dat de deskundigheid op het gebied van onderzoek zal toenemen. 4. Draag zorg voor heldere sturingsprincipes (centraal/decentraal) in de nieuwe organisatiestructuur van het onderzoek en zorg voor de beschikbaarheid van adequate sturingsinformatie. In paragraaf 3.1 zijn de sturingsprincipes al aan bod gekomen. Het ontworpen kwaliteitszorgsysteem dat o.a. voorziet in prestatiegebieden en daaraan verbonden indicatoren leidt er toe dat er in de nabije toekomst meer sturingsinformatie beschikbaar zal komen. Dat is nog niet het geval omdat men slechts aan het begin van de eerste uitvoeringscyclus staat. Maar het ontworpen systeem en de wijze waarop de implementatie van het systeem gemonitord wordt geeft de commissie voldoende vertrouwen dat ook dit proces tot een goed einde gebracht zal worden. 5. Overweeg of de financiële investeringen m.b.t. het onderzoek in verhouding staan tot de ambitieuze doelen die HR voor ogen heeft. In een eerdere paragraaf is al aandacht besteed aan de goede maatregel om 10 % van de loonsom voor het docerend personeel te investering in onderzoeksactiviteiten. Dat is volgens de commissie een goede eerste stap om tot een robuuste onderzoeksfunctie te komen. Samenvattend stelt de commissie dat de Hogeschool Rotterdam ruim voldoende aandacht heeft besteed aan de noodzakelijke ondersteuning van de onderzoeksfunctie. Als vervolg op de inhoudelijke discussie over de onderzoeksfunctie zijn er niet alleen maatregelen getroffen in de lijnorganisatie maar hebben ook de ondersteunende diensten een transformatie ondergaan. De dynamiek die ontstaan is heeft een extra impuls gekregen door het feit dat er binnen het College van Bestuur een lid is benoemd met kennis en ervaring op het gebied van onderzoek. Dat heeft er ongetwijfeld toe bijgedragen dat de onderzoeksportefeuille meer bestuurlijke aandacht krijgt hetgeen een versnelling in de ontwikkeling van de onderzoeksfunctie tot gevolg heeft.

Mogelijkheden voor verbetering 1. De commissie heeft geen specifieke aanbeveling anders dan op de ingeslagen weg voort te gaan.

3.3. Evaluaties van de Onderzoekseenheden


15

Beschrijving De Hogeschool Rotterdam heeft het schema m.b.t. planning van de externe onderzoeksevaluaties en interne audits dat in 2013 beschikbaar was gehandhaafd. Wel hebben zich in dit schema enkele wijzigingen voorgedaan die het gevolg zijn van nieuw beleid maar dat heeft de kern van de planning niet aangetast. Het schema voorziet in een zesjaren cyclus waarin de externe evaluaties (visitaties) van de kenniscentra zijn opgenomen. Voorafgaand aan deze externe evaluaties vindt een interne midterm audit plaats door de dienst AMC. Een jaar later wordt gemonitord in hoeverre de aanbevelingen van de audit zijn gerealiseerd. Op basis van dit schema zijn er bij de kenniscentra Talentontwikkeling en Creating 010 in de afgelopen periode externe evaluaties uitgevoerd. Ook heeft er in 2014 een interne audit plaatsgevonden bij het kenniscentrum RDM en heeft er een audit plaatsgevonden op het niveau van de hogeschool als voorbereiding op het validatiebezoek van de VKO. Ten tijde van het validatiebezoek in oktober 2015 vond bij het kenniscentrum zorginnovatie een externe evaluatie plaats waarvan de resultaten tijdens het bezoek nog niet beschikbaar waren. In 2014 is een extern evaluatierapport uitgebracht over het kenniscentrum Talentontwikkeling.

Observaties en oordeel In 2013 werden ten aanzien van de evaluaties van de onderzoekseenheden de volgende aanbevelingen meegegeven aan de Hogeschool Rotterdam: 1. Stel regelmatig het document Handreiking Onderzoeksevaluaties en Interne Audits bij o.a. op basis van ontwikkelingen rond het nader definiëren van kwaliteitscriteria en indicatoren. De commissie heeft niet kunnen constateren of deze bijstellingen al hebben plaatsgevonden maar het definiëren van de indicatoren heeft zo recentelijk plaatsgevonden dat er wellicht nog geen tijd is geweest om dit te doen. De commissie heeft er overigens vertrouwen in dat een dergelijke aanpassing nog zal plaatsvinden voorzover dat al niet gebeurd is. 2. Houd vast aan de duidelijke planning die recentelijk is opgesteld m.b.t. de externe evaluaties en interne audits. De commissie heeft waardering voor het feit dat de audits en de visitaties conform het eerder opgestelde schema zijn uitgevoerd en dat de vele ontwikkelingen op het gebied van de onderzoeksorganisatie geen excuus zijn geweest om tot uitstel van de evaluaties te komen. 3. Vraag in het externe evaluatieproces meer aandacht voor de inhoudelijke beoordeling van het uitgevoerde onderzoek. In de laatste rapporten van de externe evaluatiecommissies heeft de commissie nog niet kunnen constateren dat er expliciet aandacht is geweest voor een analytische inhoudelijke beoordeling van het uitgevoerde onderzoek. Het nieuwe BKO 2016-2022 voorziet wel in een dergelijke beoordeling en hecht daar zo veel waarde aan dat een negatieve beoordeling van deze standaard zal leiden tot een negatief eindresultaat van de externe evaluatie. Het is dus zaak dat de hogeschool hier op korte termijn aandacht aan besteedt.


16

4. Laat de stem van de beroepspraktijk meer doorklinken in de externe evaluaties door betrokkenen steviger te betrekken bij het stakeholdersonderzoek en door ze een positie te geven in de gespreksgroepen waarmee de evaluatiecommissies spreken. De commissie heeft geconstateerd dat bij de meest recente externe evaluaties de betrokkenheid van de beroepspraktijk voldoende geborgd is. 5. Nu sinds kort de externe evaluaties van de onderzoekseenheden op het niveau van de kenniscentra worden uitgevoerd, hetgeen de validatiecommissie toejuicht, dient kritisch gevolgd te worden of de (inhoudelijke) samenstelling van de externe evaluatiecommissies voldoende garanties biedt dat het brede terrein van de kenniscentra in voldoende mate door de commissies afgedekt wordt. In het document Handreiking Onderzoeksevaluaties en Interne Audits is aan dit punt aandacht besteed. Omdat sindsdien nog maar één externe evaluatie heeft plaatsgevonden is het nog moeilijk vast te stellen of dit zijn vertaling heeft gekregen in de uitvoering van de externe evaluaties. Samenvattend constateert de commissie dat de externe evaluaties conform de planning uitgevoerd worden en dat ze voldoen aan de vereisten zoals die in het vigerende brancheprotocol zijn opgenomen. Wel dient meer aandacht besteed te worden aan de inhoudelijke beoordeling van het uitgevoerde onderzoek. De commissie hecht er aan om haar waardering uit te spreken over de kwaliteit van de auditrapporten. Zij getuigen van een heldere en integere analyse op basis van herkenbare ijkpunten en even heldere aanbevelingen. De kwaliteit van de rapporten zal ongetwijfeld verder toenemen nu er duidelijkheid bestaat over de prestatiegebieden en de daaraan verbonden indicatoren. De auditrapporten zijn vaak kritischer van aard dan de externe evaluatierapporten. Daarmee vormen ze een goede voorbereiding op deze externe evaluaties

Mogelijkheden voor verbetering 1. Besteed bij de externe evaluaties meer aandacht aan de inhoudelijke beoordeling van het onderzoek conform het Brancheprotocol 2016 – 2022. 2. Volg de ontwikkelingen rond prestatiegebieden, indicatoren en normering en zorg er voor dat eventuele wijzigingen hun vertaling krijgen in de uitvoeringsdocumenten die betrekking hebben op de evaluatieactiviteiten.

3.4. Verbeterbeleid

Beschrijving Het verbeterbeleid is een belangrijk onderdeel van de PDCA-cyclus. Op basis van de analyses die in de Check & Control fase worden uitgevoerd, wordt in de Act fase nagegaan of de beoogde doelen gehaald worden/zijn. Bij het niet behalen van de beoogde doelen of de dreiging daarvan, wordt onmiddellijk actie ondernomen. Die actie kan bestaan uit het direct uitvoeren van verbeteracties (veelal korte termijn), het bijstellen van beleid, of het uitwerken en uitvoeren van verbeterplannen (veelal gericht op de middellange termijn). Daarmee is de situatie vrijwel gelijk aan die van 2013. Het verschil is dat door het werken met indicatoren er thans meer informatie beschikbaar is om te kunnen bepalen of activiteiten daadwerkelijk tot realisatie van de doelen hebben geleid en of bijstelling noodzakelijk is.


17

Observaties en oordeel De Hogeschool Rotterdam heeft de gehele kwaliteitszorgcyclus (van meerjarenplan tot jaarverslag) nog niet in uitvoering kunnen nemen, toch constateert de commissie dat er ten opzichte van de situatie in 2013 aanzienlijke resultaten zijn geboekt. In 2013 werden ten aanzien van de evaluaties van de onderzoekseenheden de volgende aanbevelingen meegegeven aan de Hogeschool Rotterdam: 1. Besteed in de meerjarenplannen, jaarplannen, tussentijdse evaluaties en jaarverslagen expliciet aandacht aan de kwaliteitszorg van het onderzoek. De commissie constateert met genoegen dat in alle meerjarenplannen expliciet aandacht wordt besteed aan de kwaliteitszorg. In alle meerjarenplannen wordt eveneens aandacht besteed aan de voor het kenniscentrum relevante indicatoren. De commissie heeft nog niet kunnen constateren dat dat ook het geval is bij de jaarplannen en de jaarverslagen omdat het meerjarenplan een eerste stap is in de kwaliteitscyclus en er nog onvoldoende tijd was om deze nader uit te werken in jaarplannen. In een dergelijke situatie ligt het voor de hand dat er nog geen jaarverslagen volgens de nieuwe opzet beschikbaar zijn. De commissie heeft er evenwel vertrouwen in dat de meerjarenplannen hun doorwerking zullen krijgen in de jaarplannen en de jaarverslagen. 2. Zorg voor een goede wederzijdse (inhoudelijke) aansluiting op elkaar van de hiervoor genoemde documenten en de daarop gebaseerde monitoring-gesprekken. Momenteel staan deze documenten en gesprekken nog te veel los van elkaar. 3. Zorg voor een goede HR-brede regie op deze processen zodat alle onderzoekseenheden op een vergelijkbaar niveau omgaan met hun kwaliteitsverbetering. Op dit gebied hebben forse verbeteringen plaatsgevonden. Alle meerjarenplannen bevatten min of meer dezelfde onderwerpen waardoor de onderlinge vergelijkbaarheid groter wordt. Het blijkt overduidelijk dat er ten aanzien van de samenstelling van de meerjarenplannen duidelijke afspraken zijn gemaakt Er is sprake van een zekere uniformering zonder dat dat de werking van een keurslijf heeft dat onvoldoende ruimte biedt om het eigene van de afzonderlijke kenniscentra tot uiting te laten komen. 4. Overweeg om de stakeholders van de kenniscentra door middel van jaarverslagen op de hoogte te stellen van de verbeterstappen die ondernomen zijn. De commissie heeft verzuimd om vorderingen op dit gebied na te gaan. Voorzover dat niet gebeurd is beveelt de commissie aan om in de nabije toekomst hier aandacht aan te besteden. In haar rapport van 2013 constateerde de commissie dat zij er niet van overtuigd was dat het verbeterbeleid op een voldoende intensieve en systematische wijze werd uitgevoerd. Er was destijds slechts een enkel verbeterdocument beschikbaar en van verbeteracties was in de jaarplannen en de meerjarenplannen nauwelijks sprake. De situatie is inmiddels sterk veranderd. De commissie heeft tal van verbeterdocumenten onder ogen gehad van kenniscentra die onlangs een interne audit hebben ondergaan of een externe evaluatie hebben laten uitvoeren. De commissie neemt aan, ondanks het feit dat ze geen kennis heeft genomen van de jaarplannen, dat deze verbeteracties ook onderdeel zullen gaan vormen van deze jaarplannen.


18

Samenvattend constateert de commissie dat er bij de Hogeschool Rotterdam momenteel sprake is van een goed gesloten PDCA-cyclus en dat de ontwikkelde indicatoren voldoende waarborg bieden dat deze cyclus op basis van voldoende informatie goed en betekenisvol doorlopen kan worden.

Mogelijkheden voor verbetering 1. De commissie heeft geen specifieke aanbeveling anders dan op de ingeslagen weg voort te gaan.


19

4. Conclusies en aanbevelingen In 2013 heeft de VKO het kwaliteitszorgsysteem voor het onderzoek van de Hogeschool Rotterdam niet kunnen valideren omdat dit systeem op veel onderdelen niet goed uitgewerkt was en als geheel te gefragmenteerd van aard was. Een gevolg daarvan was dat het systeem onvoldoende geoperationaliseerd en geïnternaliseerd was. Bovendien was ten tijde van het validatiebezoek in 2013 het strategieproject van de gehele hogeschool recentelijk afgerond waardoor de nieuwe strategie nog niet zijn vertaling kon krijgen in het onderzoeksbeleid. De situatie tijdens het validatiebezoek in 2015 is geheel anders. De commissie is onder de indruk van het vele en goede werk dat de Hogeschool Rotterdam verzet heeft om tot een goed onderzoeksbeleid en een daaraan gekoppeld kwaliteitszorgsysteem voor het onderzoek te komen. In de eerste plaats betreft dit de wijze waarop het veranderingsproces vorm gekregen heeft. De commissie heeft veel waardering voor de wijze waarop de Hogeschool Rotterdam draagvlak binnen en buiten de organisatie heeft weten te creëren voor de niet onaanzienlijke veranderingen die ingevoerd moesten worden. Er is veel tijd voor uitgetrokken om in dialoog met belanghebbenden tot de beste oplossingen te komen voor de vele kwesties die zich aandienden. Deze decentrale aanpak is geheel in lijn met het sturingsprincipe dat de Hogeschool Rotterdam nastreeft: een resultaatgerichte en lerende organisatie waarin gebouwd wordt op de professionele verantwoordelijkheid binnen de teams. Het speciaal daarvoor in het leven geroepen Regieorgaan Onderzoek en Onderwijs heeft volgens de vaarneming van de commissie hierin een voortreffelijke initiërende en begeleidende rol gespeeld. Met name de interne discussie over de rol die het onderzoek moet spelen in de Hogeschool Rotterdam heeft het interne draagvlak vergroot. Anders dan bij het validatiebezoek in 2013 kwam de commissie geen onderlinge tegenstrijdigheden meer tegen in de beleids- en uitvoeringsdocumenten. Ook kwamen tijdens de gesprekken geen verschillende interpretaties ten aanzien van beleidskwesties naar voren. Het is duidelijk dat er veel meer sprake is van een ondubbelzinnige interpretatie van het beleid. Bovendien constateerde de commissie dat men een gemeenschappelijke verantwoordelijkheid voelt voor het goed uitvoeren van de onderzoeksagenda‘s. Van enig cynisme ten aanzien van de onderzoeksfunctie, die in 2013 nog een enkele keer naar voren kwam, was in 2015 geen sprake meer, De commissie beseft terdege dat zij tijdens de gesprekken heeft gesproken met medewerkers die in de voorhoede van de nieuwe ontwikkelingen meelopen en dat hun visie wellicht nog niet tot in alle haarvaten van de organisatie is doorgedrongen. Dat blijkt o.a. uit auditrapporten en uitspraken van de bij de gesprekken aanwezige auditor die stelde dat de uitvoering van de kwaliteitszorg nog niet volledig door de gehele organisatie geïnternaliseerd is; er zijn nog te vaak externe impulsen nodig. Maar de commissie heeft er vertrouwen in dat het bewustzijn rond kwaliteitszorg bij de huidige aanpak snel zal groeien en uiteindelijk in de eerder genoemde haarvaten van de organisatie terecht zal komen. In de tweede plaats heeft de commissie met veel belangstelling en waardering kennis genomen van de wijze waarop relatief autonome organisatieonderdelen zoals de instituten en de kenniscentra, zich tot elkaar dienden te verhouden. De hogeschoolmaatregel waarin gesteld wordt dat 10 % van de loonsom van docerend personeel aan onderzoek besteed moet worden en voor de instituten en kenniscentra respectievelijk een kennisagenda en een onderzoeksagenda moet opleveren, leidt tot samenwerking in een wederzijdse gezonde afhankelijkheid.


20

Voorts heeft de commissie met plezier geconstateerd dat de Hogeschool Rotterdam veel aandacht heeft besteed aan de functie van het onderzoek en daar drie prestatiegebieden aan ontleend heeft. Elk van die prestatiegebieden is vervolgens vertaald in impactindicatoren en outputindicatoren waaruit de kenniscentra een keuze kunnen maken die tegemoet komen aan de context waarin zij hun onderzoek uitvoeren. Daarmee heeft de Hogeschool Rotterdam een goede balans gevonden tussen consistent centraal algemeen beleid en decentraal specifiek beleid voor de afzonderlijke kenniscentra. Door dit proces heeft het in 2013 dominerend systeemdenken plaats gemaakt voor het gewenste resultaatdenken De vertaling van de beleidsvoornemens in beleidsdocumenten en uitvoeringsdocumenten is voortvarend ter hand genomen maar uiteraard nog niet afgerond. Het aantal documenten ten opzichte van 2013 is aanzienlijk afgenomen en vertonen een goede samenhang. Bovendien zijn ze compact en helder geschreven. Met name door de betere kwaliteit van de beleids- en uitvoeringsdocumenten, de kaders die ontwikkeld zijn voor de meerjarenplannen, de jaarplannen en de jaarverslagen en niet te vergeten de ontwikkelde indicatoren is er nu veel meer informatie beschikbaar om de PDCA-cyclus betekenisvol uit te voeren. Dat is een geheel andere situatie dan de commissie in 2013 aantrof. Toen was de PDCA-cyclus als systeem in grote lijnen weliswaar op orde maar ontbeerde het vaak inhoudelijke informatie om goed te kunnen functioneren. Ook heeft de Hogeschool Rotterdam niet verzuimd om aandacht te besteden aan de organisatiestructuur en de ondersteuning van het onderzoek. De organisatie is meer gestroomlijnd en de kenniscentra beschikken over een adequate ondersteunende dienst. Bovendien is het aantal stafdiensten verminderd en geïntegreerd waardoor in combinatie met het duidelijker onderzoeksprofiel de ondersteuning beter uitgevoerd kan worden dan voorheen. Tenslotte is de commissie tevreden over het feit dat de Hogeschool Rotterdam de aanzienlijke veranderingen niet als excuus heeft gebruikt om de reeds in 2013 opgezette planning rond externe evaluaties en interne audits uit te stellen. Al de toen reeds geplande activiteiten zijn daadwerkelijk in uitvoering genomen. Samenvattend kan de commissie constateren dat alle aanbevelingen uit het rapport van 2013 opgevolgd zijn hetgeen in belangrijke mate heeft bijgedragen aan een goed opgezette onderzoeksfunctie. Uiteraard is nog lang niet alles tot in de details geregeld maar op hoofdlijnen is het beleid ontwikkeld en is er een goede structuur voor de kwaliteitszorg van het onderzoek uitgewerkt. Nadere uitwerking hiervan zal gedurende de komende tijd plaatsvinden. De commissie heeft daar het volste vertrouwen in. Dat vertrouwen is gebaseerd op de cultuuromslag die de Hogeschool Rotterdam in relatief korte tijd heeft weten te realiseren. En dat is bijzonder: cultuuromslagen vergen tijd en zeker in grote en daardoor vaak logge organisaties. Maar het is in Rotterdam gelukt om de organisatie zodanig in te richten dat deze flexibeler en responsiever is geworden en dat verantwoordelijkheden breder gedeeld worden. Om in termen van de bekende organisatiekundige James Belasco te spreken: ‘teaching the elephant to dance’. Gezien het voorgaande komt de commissie in deze validatie niet met een groot aantal aanbevelingen. De belangrijkste aanbeveling is om door te gaan op de ingeslagen weg. Wel vraagt de commissie de Hogeschool extra alert te zijn op de volgende punten: 1. Blijf aandacht besteden aan het sui generis karakter van het praktijkgerichte onderzoek, o.a. door het bevorderen van de deskundigheidsbevordering m.b.t. onderzoek. Het zal op den duur bijdragen aan het verhogen van de creativiteit en de innovatie van de organisatie.


21

2. Besteed aandacht aan de normering van de indicatoren. Daarmee ontstaat een steviger basis voor doelformulering en evaluatie. 3. Blijf bij de verdere uitwerking van het kwaliteitszorgsysteem alert op bureaucratiseringsverschijnselen. 4. Blijf bij de externe evaluaties aandacht besteden aan de inhoudelijke en methodische kwaliteit van het onderzoek. De commissie is onder de indruk van het behaalde resultaat en wenst de Hogeschool Rotterdam veel succes met het verder uitbouwen van de onderzoeksfunctie.


22

Bijlage 1 Instellingsbesluit VKO Het bestuur van de HBO-raad, vereniging van hogescholen, gelet op het door de vereniging in 2008 vastgestelde basisdocument kwaliteitszorgstelsel ten aanzien van het onderzoek aan hogescholen (hieronder verder aangeduid als basisdocument) als nadere uitwerking van het in 2007 vastgestelde brancheprotocol kwaliteitszorg onderzoek. BESLUIT Artikel 1: Instelling 1. Er is met ingang van 23 maart 2009 een validatiecommissie kwaliteitszorg onderzoek, hierna te noemen VKO. 2. De VKO is ingesteld voor de periode 2009-2015. Artikel 2: Samenstelling 1. De VKO bestaat uit zeven leden, waaronder de voorzitter en de vicevoorzitter. 2. De volgende leden zijn door de HBO-raad benoemd: - Prof. dr. P.L. (Pauline) Meurs (voorzitter); - Prof. dr. F.A. (Frans) van Vught (vicevoorzitter); - Drs. B. (Bart) van Bergen (lid); - Dr. C.M. (Tini) Hooymans (lid); - Drs. P.M. (Paul) van Roon (lid); - Drs. P.M.M. (Paul) Rullmann (lid); - Prof. dr. H.W. (Henk) Volberda (lid). 3. De HBO-raad voorziet in het secretariaat van de VKO. Artikel 3: Taak en werkwijze 1. De taak van de VKO is het zesjaarlijkse evalueren en valideren van de kwaliteitszorgsystemen van hogescholen op het aggregatieniveau van de instelling, voor zover de kwaliteitszorg betrekking heeft op het (praktijkgerichte) onderzoek van de hogeschool. 2. De VKO hanteert het in het basisdocument beschreven validatiekader bij het valideren van de kwaliteitszorg van elke hogeschool en komt onafhankelijk en objectief tot een validatiebesluit. 3. De VKO komt op basis van haar evaluerende activiteiten tevens tot analyses en aanbevelingen voor verdere verbetering van het kwaliteitszorgsysteem van de hogeschool. 4. De VKO baseert haar validatiebezoek op een door de hogeschool uitgevoerde zelfevaluatie. Het basisdocument specificeert de eisen die aan zelfevaluatie en validatiebezoek inclusief de op te leveren rapportages worden gesteld. 5. De VKO bepaalt haar eigen procedures en werkwijze ten aanzien van het validatiebezoek, de validatie en de oplevering van de rapportages binnen de kaders van het basisdocument. 6. De VKO brengt op basis van elk validatiebezoek een openbaar validatierapport uit zoals bedoeld in het basisdocument, nadat hoor en wederhoor heeft plaatsgevonden. 7. Indien de VKO tot een voorwaardelijke validatie heeft geoordeeld worden afspraken gemaakt voor een vervolgvalidatie binnen een termijn van twee jaar. Daarop baseert de VKO of sprake is van onvoorwaardelijke validatie of dat geen validatie wordt verleend. Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam

23

Artikel 4: Rapportage en informatievoorziening 1. De besturen van de hogescholen dragen er zorg voor dat elk rapport van een externe evaluatiecommissie als bedoeld in het bovengenoemde basisdocument, vergezeld van het eventuele bestuursstandpunt over dat rapport, binnen een maand na het openbaar maken van het rapport ter kennis van de VKO wordt gebracht. 2. De besturen van de hogescholen dragen er zorg voor dat een gedocumenteerd zelfevaluatierapport tijdig ter beschikking wordt gesteld aan de VKO en dat een validatiebezoek kan plaatsvinden, beide conform de kaders die daaraan door middel van het basisdocument zijn gesteld en de procedures die binnen die kaders door de VKO worden opgesteld. 3. De VKO draagt er zorg voor dat elk validatierapport ter beschikking wordt gesteld aan de HBOraad en de Minister van OCW. 4. De VKO draagt er zorg voor dat de door haar ontvangen externe evaluatierapporten vanuit de hogescholen alsmede de door haar zelf gepubliceerde validatierapporten vrij verkrijgbaar zijn via de website van de VKO. Artikel 5: Geldmiddelen 1. De basisinfrastructuur van de VKO (t.b.v. secretariaat, communicatie en algemene vergaderingen) wordt gefinancierd met de jaarlijks te indexeren doelcontributie van de hogescholen. 2. De reëel gemaakte kosten (honoraria en reiskosten van de betreffende deelcommissie VKO) per validatie worden via de HBO-raad bij de betreffende hogeschool in rekening gebracht. 3. De VKO-leden ontvangen via de HBO-raad een jaarlijkse vergoeding op basis van het aantal verrichte validaties en bijgewoonde VKO vergaderingen. Artikel 6: Planning 1. De validaties door de VKO vinden plaats in de volgende vastgestelde volgorde: 2009: Hogeschool Utrecht, Gerrit Rietveld Academie, Hogeschool Zuyd; 2010: Hogeschool van Beeldende Kunsten Muziek en Dans, Hogeschool van Amsterdam, De Haagse Hogeschool, Hogeschool INHOLLAND, Hogeschool voor de Kunsten Utrecht, Hanzehogeschool Groningen; 2011: Fontys Hogescholen, Hogeschool Leiden, Aeres Groep, Gereformeerde Hogeschool Zwolle, Hogeschool van Arnhem en Nijmegen, Saxion Hogescholen; 2012: Hogeschool Zeeland, Interactum (Hogeschool IPABO, Marnix Academie, Hogeschool Domstad, Iselinge Hogeschool, Hogeschool De Kempel en Katholieke PABO Zwolle; Hogeschool Edith Stein separaat), Noordelijke Hogeschool Leeuwarden, Stenden Hogeschool, Hogeschool Helicon, Amsterdamse Hogeschool voor de Kunsten; 2013: Codarts Hogeschool voor de Kunsten, Van Hall Larenstein, Hogeschool Rotterdam, NHTV internationale hogeschool Breda, ArtEZ hogeschool voor de kunsten, Windesheim; 2014: Avans Hogeschool, Design Academy Eindhoven, Driestar educatief, HAS Den Bosch, Christelijke Hogeschool Ede, Hotelschool Den Haag. 2. Van deze planning kan alleen worden afgeweken in uitzonderlijke situaties. VKO, HBO-raad en betreffende hogescho(o)l(en) treden met elkaar in overleg indien volgens een van deze partijen sprake is van een situatie die wijziging in de planning noodzakelijk maakt. Het bestuur van de HBO-raad stelt de gewijzigde planning vast en communiceert deze via de geëigende kanalen. 3. De specifieke planning per validatietraject wordt in overleg tussen VKO en hogeschool gemaakt, e.e.a. conform de procedures van de VKO.


24

Artikel 7: Evaluatie 1. Na twee jaar (gerekend vanaf de eerste validatie) zal het overkoepelende kwaliteitszorgstelsel -en daarbinnen de rol en het functioneren van de VKO- worden geëvalueerd op basis van de opgedane ervaringen. Hierop wordt mede gebaseerd of en welke eventuele tussentijdse aanpassingen in samenstelling, organisatie en werkwijzen nodig zijn. 2. Ruim voor het aflopen van de periode waarop dit instellingsbesluit betrekking heeft zal het stelsel en daarbinnen de rol en het functioneren van de VKO - worden geëvalueerd met het oog op de vormgeving en invulling van de kwaliteitzorg t.a.v. onderzoek in de erop volgende periode. Den Haag, 23 maart 2009 D. Terpstra, voorzitter HBO-raad


25

Bijlage 2 Organogram Hogeschool Rotterdam


26

Bijlage 3 Overzicht bestudeerd materiaal 1. 2. 3. 4. 5. 6. 7. 8. 9.

Zelfevaluatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam, augustus 2015 Handboek Kwaliteit Onderzoek Hogeschool Rotterdam, mei 2015 Praktijkgericht Onderzoek bij Hogeschool Rotterdam: visie en beleid, juni 2015 Positionpaper Overtref jezelf, 2014 Kenniscentrum RDM: strategisch plan 2015 – 2019 Kenniscentrum Talentontwikkeling: strategisch plan 2015 – 2019 Kenniscentrum Creating 010: strategisch plan 2015 – 2019 Kenniscentrum Zorginnovatie: strategisch plan 2015 – 2019 Kenniscentrum Innovatief Ondernemerschap: strategisch plan 2015 – 2019

Tijdens de validatiedag lagen tal van beleids- en uitvoeringsdocumenten ter inzage.


27

Bijlage 4 Bezoekprogramma Van

Tot

Programma-items en deelnemers

09.00

10.00

Onderzoeksvisie en –beleid, organisatorische inbedding      

Angelien Sanderman (College van Bestuur; portefeuille onderzoek) Ostara de Jager-Bes (Voorzitter Regieorgaan / Directeur O&O) Erwin van Braam (Directeur Concernstaf) Marleen Goumans (Lid Regieorgaan / Programmadirecteur Zorginnovatie) Hans Maas (Lid Regieorgaan / Instituutsdirecteur CMI) Hans van der Moolen (Instituutsdirecteur IvG)

10.00

10.30

Besloten vergadering VKO

10.30

11.00

Kenniscentrum RDM – deel 1       

11.00

11.30

Liek Voorbij (Programmadirecteur) Sander van der Geest (Instituutsdirecteur IGO) Mirjam van den Bosch (Instituutsdirecteur EAS) Frank Rieck (Lector) Peter Budde (Hoofddocent / Onderzoeker) Wilco Braam (hoofddocent / Onderzoeker) Willemijn Lofvers (Onderzoeker)

Kenniscentrum RDM – deel 2    

Frank Rieck (Lector) Peter Budde (Hoofddocent / Onderzoeker) Wilco Braam (Hoofddocent / Onderzoeker) Willemijn Lofvers (Onderzoeker)

11.30

12.00


12.00

12.30

Kenniscentrum Talentontwikkeling – deel 1       

Frans Spierings (Programmadirecteur / Lector) Jeroen Oversier (Instituutsdirecteur ISO) Rob Elegershuizen (Instituutsdirecteur IvL) Ellen Klatter (Lector) Mariette Lusse (Lector) Willem de Vos (Hoofddocent / Onderzoeker) Denise van Schelven (Promovenda)


28

12.30

13.00

Kenniscentrum Talentontwikkeling – deel 2    

Ellen Klatter (Lector) Mariette Lusse (Lector) Willem de Vos (Hoofddocent / Onderzoeker) Denise van Schelven (Promovenda)

13.00

14.00

Besloten vergadering VKO / Lunch

14.00

15.00

Kwaliteitszorg (centrale en decentrale staf)       

Arjan Lagendaal (Directeur OKC) Mariska Wit (Manager O&O / afdeling OkP) Patricia Molegraaf (Kwaliteitszorgmedewerker Kenniscentrum TO en ISO) Tjallien ten Zweege (Kwaliteitszorgmedewerker Kenniscentrum RDM) Carla Melchior (Kwaliteitszorgmedewerker Kenniscentrum Talentontwikkeling en ISO) Maria van Holten (Senior auditor CcS) Cobi van Beek (Strategisch beleidsadviseur CcS)

15.00

16.00


16.00

16.45

Openbare mondelinge terugkoppeling


29

Bijlage 5 Kwaliteitsindicatoren Onderzoek Hogeschool Rotterdam


30

Bijlage 6 Korte beschrijving van de VKO deelcommissieleden

Prof. dr. P.L. (Pauline) Meurs (voorzitter); Hoogleraar bestuur van de gezondheidszorg, Erasmus Universiteit Rotterdam. Voorzitter van de Raad voor Volksgezondheid en Samenleving. Buitengewoon Raadslid Onderzoeksraad voor de Veiligheid. Drs. P.M. (Paul) van Roon (lid);

Oud-Directeur Beleid bij FME-CWM; lid Algemeen Bestuur NVAO; voorzitter STENIM (stichting energie inkoop metalektro); voorzitter voucherbeslisraad Mijn Bedrijf 2.0 (regio Utrecht). Drs. P.M.M. (Paul) Rullmann (lid) Voorzitter SURF. Voorzitter Commissie Doelmatigheid Hoger Onderwijs. Voorzitter Raad van Toezicht ROC NOVA. Lid bestuur Quality Assurance Netherlands Universities (QANU). Oud lid College van Bestuur Technische Universiteit Delft. Oud lid Commissie tussentijdse evaluatie lectoren en kenniskringen. Oud lid College van Bestuur Hogeschool Haarlem. H. (Hans) Koolmees (secretaris); Secretaris Validatiecommissie Kwaliteitszorg Onderzoek.


31

Validatierapport Kwaliteitszorg Onderzoek

Recommend Documents