Validatierapport Kwaliteitszorg Onderzoek Hogeschool INHolland
November 2010 Deelcommissie VKO
•
Prof. dr. P.M. (Pauline) Meurs (voorzitter)
•
Drs. B. (Bart) van Bergen
•
Drs. P. (Paul) van Roon
•
Prof. dr. H.W. (Henk) Volberda
•
Drs. M.A. (Marcel) de Haas (secretaris)
INHOUDSOPGAVE Inleiding ................................................................................................................................ 3 1. Schets van de hogeschool ............................................................................... 4 2. Bevindingen ............................................................................................................. 6 2.1 Structuur en samenhang .......................................................................... 7 Randvoorwaarden......................................................................................... 8 2.2 2.3 Evaluaties van onderzoekseenheden ................................................ 8 2.4 Verbeterbeleid ................................................................................................ 9 Conclusie en aanbeveling .............................................................................. 11 3. Bijlage 1 Instellingsbesluit VKO ........................................................................... 12 Bijlage 2 Overzicht bestudeerd materiaal ...................................................... 16 Bijlage 3 Bezoekprogramma................................................................................... 17
2
Inleiding De validatiecommissie kwaliteitszorg onderzoek (VKO) is begin 2009 door de voorzitter van de HBO-raad geïnstalleerd (zie instellingsbesluit, bijlage 1). De VKO maakt als onafhankelijke commissie onderdeel uit van het per 1 januari 2009 ingevoerde kwaliteitszorgstelsel voor onderzoek aan hogescholen, gebaseerd op het brancheprotocol kwaliteitszorg onderzoek (BKO). De taak van de VKO is het valideren van de kwaliteitszorgsystemen van de hogescholen, voor zover de kwaliteitszorg betrekking heeft op onderzoek. Kwaliteitszorg wordt daarbij gedefinieerd als "het systematische en dynamische geheel van beleid, organisatie, procedures, processen, en middelen, gericht op het permanente handhaven en verhogen van de kwaliteit van het onderzoek binnen de hogeschool, door middel van cyclisch evalueren en verbeteren". Bij de installatie van de VKO is voor elke hogeschool - op basis van eigen voorkeuren – door de HBO-raad vastgelegd in welk jaar de validatie plaatsvindt. In de zo tot stand gekomen planning voor 2009-2015 is Hogeschool INHolland de zevende door de VKO te valideren hogeschool. De VKO ontving daartoe op 31 augustus 2010 het zelfevaluatierapport van de hogeschool met uitgebreide documentatie (zie overzicht in bijlage 2) ter bestudering en bespreking. Het validatiebezoek vond vervolgens plaats op 29 september 2010. Een deelcommissie vanuit de VKO sprak op die dag met het College van Bestuur, met management en staf en met lectoren en onderzoekers/docenten vanuit twee domeinen binnen de hogeschool (zie het volledige bezoekprogramma en de antecedenten van de deelcommissie vanuit de VKO in bijlage 3). Nadat de voorzitter van de deelcommissie VKO een voorlopige mondelinge terugkoppeling had gegeven aan het eind van het bezoek heeft de VKO zich intern beraden op de definitieve rapportage. Van de VKO wordt verwacht dat zij bij elke hogeschool tot een op ontwikkeling en verbetering gerichte rapportage komt. Het gaat daarbij om een onderbouwde en genuanceerde kwalitatieve conclusie ten aanzien van het functioneren van het kwaliteitszorgsysteem in verschillende opzichten en op verschillende dimensies, en hierop gebaseerde aanbevelingen voor verbetering. Op basis van haar bevindingen heeft de VKO de kwaliteitszorg met betrekking tot het onderzoek van de hogeschool voorwaardelijk gevalideerd. Deze rapportage geeft daarvoor een nadere onderbouwing. In hoofdstuk 1 wordt een schets gegeven van de hogeschool, in algemene zin en meer toegespitst op de missie, organisatie en omvang van het onderzoek. Hoofdstuk 2 beschrijft de bevindingen en beoordelingen van de VKO aan de hand van de vier validatievragen zoals deze zijn vastgelegd in het basisdocument kwaliteitszorg onderzoek 2009-2015 (zie www.vkohogescholen.nl). In hoofdstuk 3 sluit de VKO af met haar conclusie en aanbeveling.
3
1. Schets van de hogeschool INHolland is in 2003 ontstaan na een fusie van aantal hbo-instellingen en telt circa 33.500 studenten en 2900 medewerkers. Ze biedt 83 bachelor- en 7 masteropleidingen aan. Het onderwijs wordt aangeboden op 9 locaties in de Randstad. Onderzoek is voor INHolland het tweede primaire proces. De hogeschool heeft 1 28 lectoren in dienst met een totale omvang van 16 fte. Daarnaast participeren 136 (36 fte) docenten en docentonderzoekers en 31 (12 fte) promovendi in onderzoek. Er wordt 2 binnen INHolland ongeveer 7,8 miljoen euro aan onderzoeksgelden gegenereerd uit de combinatie van Rijksbekostiging, RAAK-subsidies en overige bronnen. De Hogeschool wil midden in de samenleving staan en tevens geworteld zijn in de regio's. De studentenpopulatie kenmerkt zich door een grote heterogeniteit, zowel qua afkomst als qua vooropleiding. Door middel van het concept van competentiegericht onderwijs, de major/minor structuur en hoogwaardige ICT-faciliteiten wil INHolland moderne en aansprekende leer- en werklocaties leveren. Het beroepsgerichte onderwijs beoogt dat studenten na hun afstuderen kunnen functioneren als innovatieve kenniswerkers in de beroepspraktijk. Daarbij wil INHolland haar studenten expliciet bewust maken van de kracht van ondernemerschap, innovatie en internationale competenties. Volgens INHolland vraagt een hogeschool als kennisinstelling onder meer: kennisontwikkeling op het vakgebied, professionalisering van medewerkers en studenten, verankering van onderzoek in het onderwijs en kenniscirculatie binnen en buiten de hogeschool. INHolland kende tot voor kort een organisatiemodel, met 16 Schools en meerdere diensten als besturingseenheden, dat door de hogeschool te complex werd bevonden. Daarom is zij overgegaan tot domeinvorming. Inhoudelijk verwante opleidingen zijn geclusterd in zes domeinen. Per domein heeft één directeur de eindverantwoordelijkheid voor onderwijs, onderzoek, contractactiviteiten en financiën. Daarnaast worden er parallel vier nieuwe diensten gevormd. Een deel van de bestaande diensten zal worden ingebed in de domeinen. Vanaf 1 september 2010 zijn de domeinen operationeel in de nieuwe structuur. Dat geldt voor de diensten per 1 januari 2011. INHolland wil deze domeinvorming aangrijpen om de verbinding onderwijs en onderzoek te versterken. Het onderzoek werd tot 1 september 2010 geregisseerd vanuit het instituut ASAR (Advanced Studies en Applied Research). De lectoraten waren geclusterd in RIC's (Research and Innovation Centres). In de nieuwe structuur verdwijnen de RIC's en maken de lectoraten deel uit van op te richten domeinkenniscentra. In deze structuur zullen de lectoraten in een volgende fase van ontwikkeling moeten komen waar het gaat
1 2
peildatum 1 januari 2010 over het kalenderjaar 2009
4
om hun interactie met de omgeving (binnen en buiten INHolland) en hun vermogen om zich op continue basis te blijven verbeteren. De lectoraten hebben vier doelstellingen: 1. Centraal stellen van systematische kennisontwikkeling door middel van eigen langjarige onderzoekprogramma’s. 2. Bijdragen aan het onderwijs en professionalisering docenten/medewerkers (docenten en studenten participeren rechtstreeks in het onderzoek). 3. Het onderzoek richten op kennis die gevraagd wordt door economie en samenleving. 4. Kenniscirculatie en het succesvol werven van externe middelen. INHolland onderscheidt in haar kwaliteitszorg voor onderzoek drie onderdelen: •
Kwaliteitszorg als verbetering van het onderzoek. Dit vindt plaats door middel van periodieke (interne) evaluaties, kennisuitwisseling en het stimuleren van een onderzoekscultuur. De Research School (zie ook 2.1) vervult hierin een rol.
•
Kwaliteitszorg als toetsing en verantwoording. Deze vindt (tot op heden) plaats op het niveau van de lectoraten. De jaarlijkse cyclus betreft de monitoring van het lectoraat via de werkplannen, jaarverslagen en triaalrapporages in de beleidscontext, maar ook de PCM-cyclus van de individuele lector. De vierjaarlijkse cyclus vindt plaats rondom het beoordelen van het lectoraat met het oog op al dan niet continueren.
•
Kwaliteitszorg via externe evaluatie (zesjaarlijks conform BKO). Deze vond tot 1 september 2010 per RIC plaats; in de periode 2010-2015 zal per domein worden geëvalueerd.
Ten tijde van het bezoek van de VKO waren twee RIC's extern geëvalueerd: Governance en Education & Learning. In beide gevallen is gebruik gemaakt van Hobéonadviesbureau. Dit bureau is tevens gevraagd een integraal advies te geven op basis van de twee externe evaluaties met betrekking tot mogelijke verbeteringen van kwaliteit en kwaliteitszorg. Aan dit advies wordt in het volgende regelmatig gerefereerd als het externe advies.
5
2. Bevindingen De VKO kon beschikken over een uitgebreide documentatie in de vorm van het zelfevaluatierapport met relevante bijlagen (zie bijlage 2). Daarin is de hogeschool kritisch naar zichzelf en maakt onder meer dankbaar gebruik van de analyses en aanbevelingen uit het externe advies. Deze werden in belangrijke mate bevestigd door de gesprekken tijdens het validatiebezoek. In het weergeven van haar bevindingen in de onderhavige rapportage kon de VKO dan ook veelvuldig gebruikmaken van de door de hogeschool geleverde feitelijke en evaluatieve informatie. Dominant in de context, in zowel de zelfevaluatie als het bezoek van de VKO, is de transitiefase waarin de hogeschool op dit moment verkeert. Zoals in hoofdstuk 1 al beschreven is de organisatiestructuur van INHolland nog maar net (sinds een maand voor het bezoek) fundamenteel gewijzigd. De voormalige 16 Schools zijn opgeheven en opgegaan in zes domeinen. De nieuwe structuur en indeling van de diensten moet nog worden geëffectueerd. De voormalige positie van onderzoek en lectoraten binnen de centrale dienst ASAR heeft plaatsgemaakt voor een decentrale positie binnen de domeinen. De RIC's transformeren naar domeinkenniscentra. Door al deze recente - en deels nog te realiseren veranderingen was het voor de VKO moeilijk een consistent beeld te verkrijgen van de kwaliteitszorg van het onderzoek in de brede zin van het woord. Het feit dat de hogeschool in deze transitiefase verkeert heeft in belangrijke mate bijgedragen aan de voorwaardelijkheid van de validatie. Conform het basisdocument dient de VKO de volgende vier validatievragen te beantwoorden: 1. Is er sprake van voldoende structuur en samenhang in de kwaliteitszorg van de hogeschool (ten aanzien van onderzoek)? 2. Zijn er voldoende randvoorwaarden voor de uitvoering van de kwaliteitszorg (ten aanzien van onderzoek)? 3. Worden de onderzoeksevaluaties op deskundige en onafhankelijke wijze uitgevoerd en conform de brancheafspraken hierover? 4. Worden evaluaties gebruikt voor de handhaving en verbetering van de kwaliteit van het onderzoek en de organisatie? Hieronder structureert de commissie haar bevindingen aan de hand van deze vier vragen in respectievelijk de paragrafen 2.1, 2.2, 2.3 en 2.4. Elk van deze vier paragrafen sluit af met mogelijkheden voor verbetering op de voor de validatievraag relevante onderwerpen.
6
2.1
Structuur en samenhang
De VKO heeft een aantal goede ingrediënten aangetroffen voor een op den duur samenhangend kwaliteitszorgsysteem. De commissie doelt dan onder andere op de instrumenten die worden ingezet bij de jaarcyclus rondom het werkplan en de PCMcyclus, de vierjaarlijkse beoordeling van lectoraten en het systeem van externe evaluaties. De hogeschool concludeert in de zelfevaluatie dat deze instrumenten nog onvoldoende samenhang hebben om te kunnen spreken van continue ontwikkeling. Het externe advies stelt dat de kwaliteitszorg nog 'in de kinderschoenen' staat. Bij de beoordeling van hun voortgang en resultaten zouden de lectoren nog vooral gebruikmaken van hun professionele intuïtie. Een systematische evaluatie in het licht van de missie en doelstellingen zou nog niet aan de orde zijn. De VKO onderschrijft deze conclusies; ook zij heeft nog onvoldoende samenhang en systematiek aangetroffen. Een belangrijk manco daarbij is volgens haar het nog ontbreken van een eensluidende en sturende kwaliteitsvisie op onderzoek: waartoe dient het onderzoek en welke eisen stelt dit aan de kwaliteit ervan? Er zijn in diverse documenten en bij diverse personen, zowel op instellingsniveau als binnen de domeinen, goede uitgangspunten en gedachten over onderzoek en kwaliteit te vinden. Hierbij ontbreekt echter de samenhang en geen van de visies is enigszins consequent doorvertaald naar sturende doelstellingen, criteria, instrumenten en de organisatie. Het is de VKO onvoldoende duidelijk geworden hoe de kwaliteitszorg er in de nieuwe structuur uit gaat zien. Dit betreft niet alleen de samenhang tussen het instrumentarium, maar vooral ook de verdeling van rollen en verantwoordelijkheden tussen de verschillende partijen die erbij betrokken zijn. De transitie van Schools/ASAR naar domeinen, van RIC's naar domeinkenniscentra, de samenvoeging van OKR en ASAR, van centrale naar deels decentrale diensten heeft daarbij immers onvermijdelijk consequenties. Dat geldt ook voor de voorgenomen omvorming van het INHolland Validatie- en Accreditatieorgaan (INVO) naar een 'Quality Board'. Volgens INHolland worden met de samenvoeging van de diensten ASAR (Onderzoek) en OKR (Onderwijs) ook de kwaliteitszorgsystemen van onderwijs en onderzoek bij elkaar gebracht en ligt er een kans om tot verdere integratie en daarmee een instellingsbreed kwaliteitszorgsysteem te komen. Ook de VKO ziet die mogelijkheden maar heeft ook daarbij op basis van documentatie en gesprekken verder nog geen concreet beeld gekregen. Evenmin heeft zij inzicht gekregen in de wijze waarop in deze nieuwe constellatie de aandacht voor onderzoek gewaarborgd zal worden gegeven.
7
2.2
Randvoorwaarden
De VKO stelt vast dat INHolland een aantal goede initiatieven heeft genomen met het oog op het creëren van een onderzoekscultuur, onder andere via het HRM-beleid. Zo faciliteert de hogeschool al vanaf 2005 promotietrajecten door betreffende medewerkers gedurende ten minste drie jaar voor 0,4 fte vrij te stellen. Het promotiebeleid is in 2009 geëvalueerd waarop verdere verbeteringen zijn getroffen. Daarnaast is de hogeschool in 2009 gestart met de Master Leren en Innoveren waarvoor medewerkers financiële middelen kunnen verkrijgen en 1 dag per week kunnen worden vrijgesteld. De hogeschool stimuleert kennisuitwisseling over onderzoek(skwaliteit) tussen medewerkers en studenten, onder meer tijdens hogeschoolbrede symposia en studiedagen en via miniconferenties. Ook is een jaarlijkse onderzoeksprijs in het leven geroepen. De zogenoemde Research School speelt in de professionalisering van docenten én kenniskringleden een belangrijke rol en draagt bij aan de ontwikkeling van een onderzoekscultuur binnen de organisatie. De Research School wil de expertise op het gebied van onderzoek(smethodologie) uitbreiden en deskundigheidsbevordering in het (methodologische) proces van onderzoek faciliteren. Ze biedt een breed scala aan van workshops en (onderzoeks)curricula voor medewerkers om de kennis en expertise op het gebied van onderzoek te vergroten en te verbeteren. De VKO is positief over de doelstellingen en de activiteiten van de Research School. De School zou een meer centrale rol kunnen vervullen bij de verdere professionalisering van lectoren en (docent)onderzoekers, maar ook bij het borgen en verbeteren van de kwaliteit van het onderzoek op het niveau van de hogeschool als geheel. Naar de indruk van de VKO wordt in kwantitatieve zin voldoende tijd en geld vrijgemaakt voor kwaliteitszorg. Uit de documenten valt echter af te leiden dat aan het proces van evalueren niet door alle betrokkenen met even groot enthousiasme is deelgenomen. Het externe advies suggereert dat dit onder meer te maken had met 'het overheersende gevoel van verantwoording te moeten afleggen'. De hogeschool stelt daarop dat het proces van evaluaties aan effectiviteit en rendement zou kunnen winnen als de evaluatie niet gezien wordt als een 'verplicht nummer' maar als een kwaliteitsvraag, voorwaardelijk voor individuele en gezamenlijke onderzoeksactiviteiten. De VKO onderschrijft dit ten zeerste maar heeft nog weinig concrete maatregelen gevonden die hieraan zouden kunnen bijdragen.
2.3
Evaluaties van onderzoekseenheden
Zoals in hoofdstuk 1 aangegeven heeft INHolland bij de voorbereiding en uitvoering van de eerste twee externe evaluaties Hobeon als VBI ingeschakeld. Deze heeft de opdracht gekregen te ondersteunen en te adviseren in het proces van de externe evaluatie, de externe evaluatiecommissies samen te stellen en een rapportage namens de externe evaluatiecommissie op te stellen. Deze rapportages bestaan uit een beschrijving van het
8
evaluatieproces en de context van de evaluatie, gevolgd door de resultaten van het RIC en een conclusie. In het rapport wordt aandacht besteed aan de missie en doelstellingen van het betreffende RIC en het werkprogramma, onderzoeksthema’s en onderzoeksportfolio van het RIC en de afzonderlijke lectoraten. Ook de betrokkenheid van stakeholders wordt beschreven. In een afsluitend hoofdstuk is er aandacht voor de resultaten, waarbij de vier doelstellingen van de lectoraten het uitgangspunt waren. Gekeken wordt naar: •
resultaten op het gebied van kennisontwikkeling;
•
resultaten op het gebied van beroepspraktijk en samenleving;
•
resultaten op het gebied van onderwijs en scholing.
Met genoegen stelt de VKO vast dat de kaders voor de evaluaties, zowel inhoudelijk als procedureel, zichtbaar afgestemd zijn op het BKO. Dit geldt voor de samenstelling van de externe commissie, de richtlijnen voor de onafhankelijkheid en deskundigheid van de commissie, de frequentie en systematiek van evalueren en de te behandelen onderwerpen in de (openbare) rapportages. Door middel van de externe evaluatie toetst de hogeschool niet alleen de kwaliteit van de onderzoekseenheid maar ook de mate waarop de hogeschool een adequate wijze van kwaliteitszorg heeft ingesteld om zelfstandig de kwaliteit van onderzoek te toetsen. De VKO oordeelt positief over de twee evaluaties. Deze zijn zeer open, zelfkritisch en transparant uitgevoerd. Ze stelt vast dat de uitbesteding van de evaluaties tot goed bruikbare rapportages heeft geleid. Daarbij is echter nog onvoldoende sprake geweest van het internaliseren en toepassen van de gebruikte kaders en instrumenten door de hogeschool zelf. De hogeschool wil de systematiek, gehanteerd tijdens de evaluaties, gebruiken om de komende jaren het kwaliteitszorgstelsel onderzoek binnen de organisatie verder te ontwikkelen en te verbeteren. De VKO juicht dit van harte toe.
2.4
Verbeterbeleid
Uit de externe evaluatierapporten blijkt dat de productie van de lectoraten groot is, zeker gerelateerd aan de omvang van de eenheden. De productie is veelkleurig en lijkt een grote waarde te hebben voor de beroepspraktijk (artikelen, lezingen, trainingen, webapplicaties, e.d.) en het eigen onderwijs (minoren, masters, casussen, afstudeeropdrachten etc.). Het komt er volgens het externe advies op aan vanuit afzonderlijke projecten nu over te gaan naar onderzoekprogramma's of -lijnen. Door meer focus en massa zou meer doorwerking en duurzaamheid gerealiseerd kunnen worden. Ook zou de stap gemaakt moeten worden naar (theoretisch gefundeerde) nieuwe concepten voor de beroepspraktijk, deel uitmakend van de noodzakelijke kennisbasis voor beroepsopleidingen en beroepspraktijk. De aanbevelingen in het externe advies richten zich op drie hoofdpunten:
9
1. Focus en massa creëren door keuzes en brede implementatie: de aandacht richten op het ontwikkelen van kennisinhouden die voor de opleidingen en de hogeschool onderscheidend en cruciaal worden gezien. 2. Het werkprogramma breder beleggen door andere partijen (ook extern) actief te betrekken bij de uitvoering en evaluatie van onderzoek. Daarbij zou ook de rolverdeling tussen CvB, lector, domeindirectie en ASAR duidelijker moeten zijn. 3. Context en randvoorwaarden versterken, onder andere door deelname in kenniskringen onderdeel te maken van deskundigheidsbevordering, expliciet hanteren van onderzoeksgerelateerde profielen voor medewerkers en studenten, professionalisering van de subsidiedesk , nadere bezinning op de faciliteiten voor promovendi, aanscherping van het profiel van lector. De VKO juicht de aanbevelingen van de externe commissie van harte toe. Op elk van de drie onderdelen was de hogeschool al voorzichtig begonnen met het formuleren van ontwikkelingsmogelijkheden. Belangrijk is echter dat de aanbevelingen worden omgezet in concrete maatregelen met daarbij tijdspaden en verantwoordelijkheden. Bij elk van de drie onderdelen zou de VKO een specifieke opmerking willen maken. Wat betreft het creëren van focus en massa (1) is tijdens het bezoek over en weer gesproken over de onlangs geïntroduceerde vier D's: diversiteit, digitalisering, duurzaamheid en dynamiek van de stad. Deze zouden een rol moeten gaan spelen in het bepalen van de prioriteiten in het onderzoek. De VKO heeft daarvoor bij de betrokken lectoren en onderzoekers echter weinig enthousiasme aangetroffen. Het ziet er naar uit dat deze 4 D’s eerder een retorische en PR functie hebben dan dat zij zijn ingebed in de keuzes en prioriteiten van de onderzoeksleiders en de domeindirecteuren. Van belang is dus dat dit proces van profilering en prioritering in samenspraak met betrokkenen ter hand wordt genomen. Wellicht is het daarbij zinvoller de domeinstructuur aan te houden en te zorgen voor meer synergie en grootschaligheid van onderzoeksthema's. Bij het breder beleggen van het werkprogramma (2) zou de VKO met name het belang van de externe stakeholders willen beklemtonen evenals het belang van meer programmatisch benaderen van onderzoek. Bij het versterken van context en randvoorwaarden (3) doet de VKO de suggestie om de Research School centraler te positioneren en door te ontwikkelen naar een platform voor de kwaliteits- en deskundigheidsbevordering van lectoren en (docent)onderzoekers .
10
3. Conclusie en aanbeveling De VKO bezocht Hogeschool INHolland middenin de overgang naar een fundamenteel andere organisatiestructuur, die wordt gekenmerkt door domeinvorming en een andere indeling (en gedeeltelijke decentralisatie) van de diensten. Deze nieuwe structuur biedt mogelijkheden om het onderzoek dichter bij het onderwijs te brengen en een verdergaande focus en massa te creëren. De VKO juicht de verandering om die reden van harte toe. Tegelijkertijd heeft ze het door de transitie erg moeilijk gevonden om een helder en consistent beeld te krijgen van de huidige en toekomstige kwaliteitszorg van het onderzoek. Dit ondanks de op zichzelf zeer openhartige en informatieve documenten en gesprekken. De hogeschool beschikt naar het oordeel van de VKO over een aantal goede bouwstenen voor een op termijn samenhangend kwaliteitszorgsysteem. Er is een jaarcyclus met werkplannen en triaalrapportages, een vierjarige beoordeling van lectoraten en een zesjaarlijkse evaluatiesystematiek op het niveau van (de voormalige) RIC's. Naast dit instrumentarium zijn er diverse kwaliteitsbevorderende maatregelen genomen via het HRM-beleid en via de weg van kennisuitwisseling en professionalisering binnen het instituut ASAR, dat als 'kraamkamer' diende voor het onderzoek en de kwaliteitszorg. Het is echter voor de VKO nog niet helder hoe een en ander er in de nieuwe situatie uit gaat zien. De VKO concludeert dat de hogeschool nog onvoldoende is toegekomen aan het doordenken, in breder verband bespreken en concreet neerzetten van de kwaliteitszorg. Het ontbreekt ook nog aan een sturende visie op onderzoek en kwaliteit, de rolverdeling tussen de verschillende partijen is niet duidelijk en de samenhang tussen de diverse instrumenten evenmin. De VKO is zeer te spreken over de opbrengst van de eerste twee recent uitgevoerde externe evaluaties. Uit deze evaluaties komt naar voren dat INHolland in staat blijkt om goede, enthousiaste, gedreven en productieve lectoren te werven en te behouden. De kwaliteit van het werk van de beoordeelde lectoren blijkt in algemene zin aan de maat. Het externe advies biedt een aantal heldere analyses en aanbevelingen die uiterst behulpzaam zijn bij de verdere ontwikkeling van beleid, organisatie en kwaliteitszorg van het onderzoek binnen INHolland. Het advies is bovendien op een zeer transparante wijze gebruikt ter voorbereiding op het bezoek van de VKO. De VKO is verheugd dat de aanbevelingen van die commissie door het CvB op de meeste punten wordt onderschreven. Het is haar echter ook hierbij onvoldoende duidelijk hoe een ander concreet zal worden aangepakt in termen van hoe, wie, wat en wanneer. Kortom, de VKO heeft zich - gegeven de grote veranderingen die zijn ingezet- nog geen oordeel kunnen vormen over het systeem van kwaliteitsbewaking van het onderzoek en van de verbetermaatregelen. De VKO kan op basis van de gevoerde gesprekken en de documentatie niet met zekerheid vaststellen dat het kwaliteitszorgsysteem in de nieuwe
11
situatie daadwerkelijk zal leiden tot het permanente bewaken en verbeteren van het onderzoek. Om die reden heeft zij besloten het kwaliteitszorgsysteem van INHolland voorwaardelijk te valideren. Dit houdt in dat als de organisatie en de kwaliteitszorg in een meer stabiele fase verkeren de VKO opnieuw een bezoek brengt aan de hogeschool. Aangezien de VKO veel goede bouwstenen en initiatieven heeft aangetroffen om tot een consistent en uitnodigend kwaliteitsbeleid te komen, is de verwachting dat de hogeschool dan beter in staat zal zijn een eenduidig beeld te geven van onderzoeksbeleid, -organisatie en kwaliteitszorg. De VKO heeft de indruk dat de hogeschool, op basis van zelfevaluatierapporten, audits en het externe advies voldoende aanknopingspunten voor het verbetertraject heeft, zowel ten aanzien van kwaliteitszorg als de uit de evaluaties voortvloeiende verbeteringen. Daarbij zou de VKO de volgende prioriteiten willen meegeven: 1. Formuleer op basis van de diverse documenten en ideeën een gedragen visie op onderzoek en kwaliteit. Betrek daarbij niet alleen zoveel mogelijk interne betrokkenen, maar ook externe stakeholders. Laat de visie duidelijk sturend zijn voor het beleid en de kwaliteitszorg. 2. Vertaal de kwaliteitsvisie naar een kwaliteitskader voor het onderzoek binnen INHolland. Zet de betekenis van onderzoek voor onderwijs en beroepspraktijk centraal. Maak daarbij gebruik van de door Hobeon aangereikte kaders, op zo'n manier dat voldoende ruimte blijft voor de eigenheid per onderzoeksdomein 3. Breng alle onderdelen van kwaliteitszorg (ook die onderdelen die zijn gericht op professionalisering en kennisdeling) samen in een samenhangend kwaliteitszorgsysteem met een explicitering van de rollen en verantwoordelijkheden van de vele betrokken partijen en diensten. Bezie hoe de externe stakeholders een meer structurele positie kunnen krijgen in het kwaliteitszorgsysteem. Heroverweeg de positie van de Research School. 4. Zet alle voor 1/m 3 benodigde stappen in een concreet stappenplan. Benoem een projectmanager die op basis van expertise en gedrevenheid centrale sturing kan geven op dit proces met duidelijke targets en tijdspaden. 5. Bespreek en bediscussieer de in het externe advies aangereikte aanbevelingen (focus en massa organiseren, werkprogramma's breder beleggen, verdere verbetering van context en randvoorwaarden) in breder verband, zowel intern als extern. Baseer hierop de concrete maatregelen. De VKO wenst INHolland veel succes en inspiratie bij dit verbetertraject.
12
Bijlage 1 Instellingsbesluit VKO Het bestuur van de HBO-raad, vereniging van hogescholen, gelet op het door de vereniging in 2008 vastgestelde basisdocument kwaliteitszorgstelsel ten aanzien van het onderzoek aan hogescholen (hieronder verder aangeduid als basisdocument) als nadere uitwerking van het in 2007 vastgestelde brancheprotocol kwaliteitszorg onderzoek BESLUIT Artikel 1: Instelling 1. Er is met ingang van 23 maart 2009 een validatiecommissie kwaliteitszorg onderzoek, hierna te noemen VKO. 2. De VKO is ingesteld voor de periode 2009-2015. Artikel 2: Samenstelling 1. De VKO bestaat uit zeven leden, waaronder de voorzitter en de vicevoorzitter. 2. De volgende leden zijn door de HBO-raad benoemd: -
Prof. dr. P.L. (Pauline) Meurs (voorzitter);
-
Prof. dr. F.A. (Frans) van Vught (vicevoorzitter);
-
Drs. B. (Bart) van Bergen (lid);
-
Dr. C.M. (Tini) Hooymans (lid);
-
Drs. P.M. (Paul) van Roon (lid);
-
Drs. P.M.M. (Paul) Rullmann (lid);
-
Prof. dr. H.W. (Henk) Volberda (lid).
3. De HBO-raad voorziet in het secretariaat van de VKO. Artikel 3: Taak en werkwijze 1. De taak van de VKO is het zesjaarlijkse evalueren en valideren van de kwaliteitszorgsystemen van hogescholen op het aggregatieniveau van de instelling, voor zover de kwaliteitszorg betrekking heeft op het (praktijkgerichte) onderzoek van de hogeschool. 2. De VKO hanteert het in het basisdocument beschreven validatiekader bij het valideren van de kwaliteitszorg van elke hogeschool en komt onafhankelijk en objectief tot een validatiebesluit. 3. De VKO komt op basis van haar evaluerende activiteiten tevens tot analyses en aanbevelingen voor verdere verbetering van het kwaliteitszorgsysteem van de hogeschool. 4. De VKO baseert haar validatiebezoek op een door de hogeschool uitgevoerde zelfevaluatie. Het basisdocument specificeert de eisen die aan zelfevaluatie en validatiebezoek inclusief de op te leveren rapportages worden gesteld. 5. De VKO bepaalt haar eigen procedures en werkwijze ten aanzien van het validatiebezoek, de validatie en de oplevering van de rapportages binnen de kaders van het basisdocument.
13
6. De VKO brengt op basis van elk validatiebezoek een openbaar validatierapport uit zoals bedoeld in het basisdocument, nadat hoor en wederhoor heeft plaatsgevonden. 7. Indien de VKO tot een voorwaardelijke validatie heeft geoordeeld worden afspraken gemaakt voor een vervolgvalidatie binnen een termijn van twee jaar. Daarop baseert de VKO of sprake is van onvoorwaardelijke validatie of dat geen validatie wordt verleend. Artikel 4: Rapportage en informatievoorziening 1. De besturen van de hogescholen dragen er zorg voor dat elk rapport van een externe evaluatiecommissie als bedoeld in het bovengenoemde basisdocument, vergezeld van het eventuele bestuursstandpunt over dat rapport, binnen een maand na het openbaar maken van het rapport ter kennis van de VKO wordt gebracht. 2. De besturen van de hogescholen dragen er zorg voor dat een gedocumenteerd zelfevaluatierapport tijdig ter beschikking wordt gesteld aan de VKO en dat een validatiebezoek kan plaatsvinden, beide conform de kaders die daaraan door middel van het basisdocument zijn gesteld en de procedures die binnen die kaders door de VKO worden opgesteld. 3. De VKO draagt er zorg voor dat elk validatierapport ter beschikking wordt gesteld aan de HBO-raad en de Minister van OCW. 4. De VKO draagt er zorg voor dat de door haar ontvangen externe evaluatierapporten vanuit de hogescholen alsmede de door haar zelf gepubliceerde validatierapporten vrij verkrijgbaar zijn via de website van de VKO. Artikel 5: Geldmiddelen 1. De basisinfrastructuur van de VKO (t.b.v. secretariaat, communicatie en algemene vergaderingen) wordt gefinancierd met de jaarlijks te indexeren doelcontributie van de hogescholen. 2. De reëel gemaakte kosten (honoraria en reiskosten van de betreffende deelcommissie VKO) per validatie worden via de HBO-raad bij de betreffende hogeschool in rekening gebracht. 3. De VKO-leden ontvangen via de HBO-raad een jaarlijkse vergoeding op basis van het aantal verrichte validaties en bijgewoonde VKO vergaderingen. Artikel 6: Planning 1. De validaties door de VKO vinden plaats in de volgende vastgestelde volgorde: 2009: Hogeschool Utrecht, Gerrit Rietveld Academie, Hogeschool Zuyd; 2010: Hogeschool van Beeldende Kunsten Muziek en Dans, Hogeschool van Amsterdam, De Haagse Hogeschool, Hogeschool INHOLLAND, Hogeschool voor de Kunsten Utrecht, Hanzehogeschool Groningen; 2011: Fontys Hogescholen, Hogeschool Leiden, Aeres Groep, Gereformeerde Hogeschool Zwolle, Hogeschool van Arnhem en Nijmegen, Saxion Hogescholen; 2012: Hogeschool Zeeland, Interactum (Hogeschool IPABO, Marnix Academie, Hogeschool Domstad, Iselinge Hogeschool, Hogeschool De Kempel en Katholieke PABO Zwolle;
14
Hogeschool Edith Stein separaat), Noordelijke Hogeschool Leeuwarden, Stenden Hogeschool, Hogeschool Helicon, Amsterdamse Hogeschool voor de Kunsten; 2013: Codarts Hogeschool voor de Kunsten, Van Hall Larenstein, Hogeschool Rotterdam, NHTV internationale hogeschool Breda, ArtEZ hogeschool voor de kunsten, Windesheim; 2014: Avans Hogeschool, Design Academy Eindhoven, Driestar educatief, HAS Den Bosch, Christelijke Hogeschool Ede, Hotelschool Den Haag. 2. Van deze planning kan alleen worden afgeweken in uitzonderlijke situaties. VKO, HBO-raad en betreffende hogescho(o)l(en) treden met elkaar in overleg indien volgens een van deze partijen sprake is van een situatie die wijziging in de planning noodzakelijk maakt. Het bestuur van de HBO-raad stelt de gewijzigde planning vast en communiceert deze via de geëigende kanalen. 3. De specifieke planning per validatietraject wordt in overleg tussen VKO en hogeschool gemaakt, e.e.a. conform de procedures van de VKO. Artikel 7: Evaluatie 1. Na twee jaar (gerekend vanaf de eerste validatie) zal het overkoepelende kwaliteitszorgstelsel -en daarbinnen de rol en het functioneren van de VKO- worden geëvalueerd op basis van de opgedane ervaringen. Hierop wordt mede gebaseerd of en welke eventuele tussentijdse aanpassingen in samenstelling, organisatie en werkwijzen nodig zijn. 2. Ruim voor het aflopen van de periode waarop dit instellingsbesluit betrekking heeft zal het stelsel -en daarbinnen de rol en het functioneren van de VKO - worden geëvalueerd met het oog op de vormgeving en invulling van de kwaliteitzorg t.a.v. onderzoek in de erop volgende periode. Den Haag, 23 maart 2009 D. Terpstra, voorzitter HBO-raad
15
Bijlage 2 Overzicht bestudeerd materiaal 1. De 2e fase van INHolland. Bestuurlijke Agenda 2008-2010. (2008). Hogeschool INHolland 2. Samen werken aan de kennis van morgen. Instellingsplan 2006-2010. (2005) Hogeschool INHolland. 3. Professioneel Maatwerk. Instellingsplan 2010-2014 (2010) Hogeschool INHolland. 4. Velu, G. en Onstenk, J. (red.). Op weg naar verbinding van onderzoek en onderwijs. Inspiratie en houvast voor docenten, domeindirecties en lectoren. (2010). Eindrapport BA werkgroep onderwijs & onderzoek. Hogeschool INHolland. 5. Binding van professionals. Personeelsbeleidsplan 2007-2010. (2007). Hogeschool INHolland. 6. Menendez, S. Research and Innovation Excellence in a professional context. Notitie over het onderzoeksprofiel en de vormgeving van de onderzoeksfunctie van INHolland. (2006) Institute of Advanced Studies and Applied Research, Hogeschool INHolland. 7. Notitie Facilitering Promotieonderzoeken Hogeschool INHolland. (2007) ASAR. Hogeschool INHolland. 8. Notitie over verloop en rendement van promotietrajecten binnen Hogeschool INHolland. (2010) ASAR. Hogeschool INHolland. 9. Positie en functie van de Commissie Promotiebeleid INHolland. (2010) ASAR. Hogeschool INHolland 10. Backbone onderwijsconcept. (2003). OKR. Hogeschool INHolland 11. Backbone 2.0 Blijvend vernieuwen van de onderwijspraktijk. (2007). Hogeschool INHolland. 12. Research School 2008. Verankering en verbreding van onderzoek en onderzoeksmethodologie in Hogeschool INHolland. (2008). ASAR. Hogeschool INHolland. 13. The way to get on. De rol van de Research School bij het onderzoek binnen Hogeschool INHolland. (2010). ASAR. Hogeschool INHolland. 14. Bevindingen en aanbevelingen naar aanleiding van evaluatie RIC’s Education & Learning en Governance INHolland.(2010) Notitie Hobéon Management Consult. 15. Brouwer, F.M. en de Bruijn, Ir. A.T. Rapportage Evaluatie RIC Education & Learning Inholland. (2010). Hobéon Management Consult BV. 16. Brouwer, F.M. en de Bruijn, Ir. A.T. Rapportage Evaluatie RIC Governance Hogeschool INHolland. (2010). Hobéon Management Consult BV. 17. Dagprogramma site visit externe evaluatie RIC Education & Learning. 18. Format voor aanvragen voor lectoraten en kenniskringen. (Richtlijn lectoraatsaanvraag en continueringsaanvraag). 19. Kwaliteitszorg Onderzoek Hogeschool INHolland 2009-2015. (2009) Hogeschool INHolland. 20. Opzet dagprogramma externe evaluatie RIC Governance. 21. Planning & Control Cyclus Lectoraten 2009: Format Jaarverslag en werkplan. 22. Planning & Control Cyclus lectoraten 2009: Format triaalrapportages. 23. PCM formulier Hogeschool INHolland. (Individueel Performance en Ontwikkelplan, verslag functioneringsgesprek, Beoordelingsformulier 24. Referentiekader voor onderzoeksevaluaties. (2009). Hobéon Management Consult. 25. Start externe evaluaties RIC’s Education & Learning en Governance (2009). ASAR. 26. Zelfevaluatie 2003-2009. Research & Innovation Centre Education & Learning. (2010). RIC Education & Learning. Hogeschool INHolland. 27. Zelfevaluatierapport RIC Governance INHolland o.b.v. Referentiekader Onderzoeksevaluaties. (2010). RIC Governance. Hogeschool INHolland.
16
Bijlage 3 Bezoekprogramma van 09.00
09.45 11.00
12.05
tot 09.45
11.00 12.00
13.00
Welkom en presentatie vanuit de hogeschool
•
• Besloten vergadering VKO Vraaggesprek VKO met CvB/centrale staf:
•
• • • • • 13.50 14.45
• •
15.45 16.40
18.00
15.45
16.40 17.15
20.00
Dr. Jeroen Onstenk (RIC-voorzitter RIC Education & Learning, lector Geïntegreerd Pedagogisch Handelen) Dr. Dorian de Haan (lector Ontwikkelingsgericht Onderwijs) Prof.drs. Dolf van Veen (lector Grootstedelijk Onderwijs & Jeugdbeleid) Dr. Guus Wijngaards (lector eLearning) Dr. Patricia Vuijk (senior onderzoeker lectoraat educatieve Dienstverlening) Drs. Cor de Raadt (domeindirecteur Domein Onderwijs, Leren en Levensbeschouwing)
Besloten vergadering VKO/lunch Vraaggesprek VKO met Lectoren/onderzoekers (Domein management, financie en recht)
•
14.50
Dr. Joke Snippe (CvB portefeuillehouder onderzoek)
• Mr.drs. Anita van der Wal (directeur ASAR en OKR) Vraaggesprek VKO met Lectoren/onderzoekers (Domein Onderwijs, Leren en Levensbeschouwing)
•
13.00 13.50
Lein Labruyère (vice-voorzitter CvB) Mr.drs. Anita van der Wal (directeur ASAR en OKR)
Dr. Stefan Peij (RIC-voorzitter Governance, Lector Boards & Governance) Dr. Rick Anderson (lector Controlling) Erik Westhoek (domeindirecteur Management, Finance en Recht) Mr. drs. Peter de Koning (kenniskringlid Boards & Governance) Drs. Rob van Wordragen (kenniskringlid Controlling
• • Vraaggesprek VKO met lectoraat Leefstijlverandering bij Jongeren
• •
Peter Peeters (manager onderzoek ASAR) Drs. Sandra Stam (beleidsadviseur ASAR) Drs. Schelte Beltman (coördinator Research School ASAR)
• Besloten vergadering VKO Mondelinge terugkoppeling
• •
Dr. Joke Snippe (CvB portefeuillehouder onderzoek) Mr.drs. Anita van der Wal (directeur ASAR en OKR) aangevuld met diverse eerdere gesprekspartners
• Besloten vergadering VKO/diner buiten de hogeschool
17
Antecedenten VKO deelcommissie Prof. dr. P.L. (Pauline) Meurs (voorzitter); Hoogleraar Bestuur van de Gezondheidszorg, Erasmus Universiteit. Voorzitter ZonMW. Lid eerste kamer voor de PvdA. Drs. B. (Bart) van Bergen (lid) Technisch adviseur medische universiteiten Vietnam inzake de ontwikkeling van Centers of Excellence. Oud-faculteitsdirecteur Hogeschool van Arnhem en Nijmegen. Oud-voorzitter sectoraal adviescollege hgzo. Drs. P.M. (Paul) van Roon (lid); Oud-Directeur Beleid bij FME-CWM. Voorzitter STENIM (stichting energie inkoop metalektro); Lid bestuur Stichting Handelsland NL Prof. dr. H.W. (Henk) Volberda (lid); Hoogleraar Strategic Management and Business, Erasmus Universiteit. Wetenschappelijk directeur INSCOPE. Directeur Erasmus Strategic Renewal Center.
Drs. M.A. (Marcel) de Haas (secretaris VKO) Projectmanager Kwaliteitszorg Onderzoek HBO-raad. Voorheen adjunctdirecteur Onderwijsvisitaties HBO-raad, manager Beleid, Kwaliteit en IR Hogeschool INHOLLAND en onderzoeker Universiteit Leiden.
18
