Validatierapport Kwaliteitszorg Onderzoek Hogeschool voor de Kunsten Utrecht
November 2010 Deelcommissie VKO
•
Prof. dr. F.A. (Frans) van Vught (dagvoorzitter)
•
Drs. P.M.M. (Paul) Rullmann
•
Dr. C.M (Tini) Hooymans
•
Drs. M.A. (Marcel) de Haas (secretaris)
INHOUDSOPGAVE Inleiding ................................................................................................................................ 3 1. Schets van de hogeschool ............................................................................... 4 2. Bevindingen ............................................................................................................. 6 2.1 Structuur en samenhang in kwaliteitszorg ................................... 6 Randvoorwaarden voor kwaliteitszorg ............................................ 8 2.2 2.3 Evaluaties van onderzoekseenheden ................................................ 9 2.4 Verbeterbeleid .............................................................................................. 10 Conclusie en aanbeveling .............................................................................. 12 3. Bijlage 1 Instellingsbesluit VKO ........................................................................... 14 Bijlage 2 Overzicht bestudeerd materiaal ...................................................... 17 Bijlage 3 Bezoekprogramma................................................................................... 18
2
Inleiding De validatiecommissie kwaliteitszorg onderzoek (VKO) is begin 2009 door de voorzitter van de HBO-raad geïnstalleerd (zie instellingsbesluit, bijlage 1). De VKO maakt als onafhankelijke commissie onderdeel uit van het per 1 januari 2009 ingevoerde kwaliteitszorgstelsel voor onderzoek aan hogescholen, gebaseerd op het brancheprotocol kwaliteitszorg onderzoek (BKO). De taak van de VKO is het valideren van de kwaliteitszorgsystemen van de hogescholen, voor zover de kwaliteitszorg betrekking heeft op onderzoek. Kwaliteitszorg wordt daarbij gedefinieerd als “het systematische en dynamische geheel van beleid, organisatie, procedures, processen, en middelen, gericht op het permanente handhaven en verhogen van de kwaliteit van het onderzoek binnen de hogeschool, door middel van cyclisch evalueren en verbeteren.” Bij de installatie van de VKO is voor elke hogeschool - op basis van eigen voorkeuren – door de HBO-raad vastgelegd in welk jaar de validatie plaatsvindt. In de zo tot stand gekomen planning voor 2009-2015 is de Hogeschool voor de Kunsten Utrecht (in het vervolg afgekort tot HKU) de achtste door de VKO te valideren hogeschool. De VKO ontving daartoe op 13 oktober 2010 het zelfevaluatierapport van de hogeschool met documentatie (zie overzicht, bijlage 2) ter bestudering en bespreking. Het validatiebezoek vond vervolgens plaats op 10 november 2010. Een deelcommissie vanuit de VKO sprak op die dag met het College van Bestuur, management/staf, lectoren en onderzoekers/docenten vanuit de HKU (zie volledig bezoekprogramma en antecedenten deelcommissie VKO in bijlage 3). Nadat de voorzitter van de VKO een voorlopige mondelinge terugkoppeling had gegeven aan het eind van het bezoek heeft de VKO zich beraden op de definitieve rapportage. Van de VKO wordt verwacht dat zij bij elke hogeschool tot een op ontwikkeling en verbetering gerichte rapportage komt. Het gaat daarbij om een onderbouwde en genuanceerde kwalitatieve conclusie ten aanzien van het functioneren van het kwaliteitszorgsysteem in verschillende opzichten en op verschillende dimensies, en hierop gebaseerde aanbevelingen voor verbetering. Op basis van haar bevindingen heeft de VKO de kwaliteitszorg met betrekking tot het onderzoek van de HKU als gevalideerd gekwalificeerd. Deze kwalificatie wordt in de volgende hoofdstukken nader onderbouwd. In hoofdstuk 1 wordt een schets gegeven van de hogeschool, in algemene zin en meer toegespitst op de missie, organisatie en omvang van het onderzoek. Hoofdstuk 2 beschrijft de bevindingen en beoordelingen van de VKO aan de hand van de vier validatievragen zoals deze zijn vastgelegd in het basisdocument kwaliteitszorg onderzoek 2009-2015 (zie www.vkohogescholen.nl). In hoofdstuk 3 sluit de VKO af met haar conclusie en aanbeveling.
3
1. Schets van de hogeschool De HKU is in 1987 ontstaan uit een fusie tussen vijf instellingen voor hoger onderwijs. Anno 2010 telt de HKU circa 4000 studenten die een voor-, bachelor-, master- of posthbo-opleiding volgen. De opleidingen zijn ondergebracht bij in totaal vijf faculteiten: Beeldende Kunst en Vormgeving, Muziek, Theater, Kunst, Media en Technologie en Kunst en Economie. De HKU is één van de grootste op kunst en cultuur gerichte opleidingsinstituten in Europa. De missie van de HKU luidt als volgt: 'Kunst kan het beste worden beleefd, beoefend, bestudeerd en gemaakt in een stimulerende en vernieuwende omgeving. De Hogeschool voor de Kunsten Utrecht (HKU) streeft dat na.' In zowel artistiek als onderwijskundig opzicht wil de HKU ambachtelijk en vernieuwend zijn. Vernieuwing en innovatie vinden volgens de HKU het meest plaats op het snijvlak tussen traditionele disciplines Naast de traditionele kunstbeoefening en ontwikkeling van vaardigheden zijn experiment, onderzoek en innovatie van kunst en technologie de bouwstenen van de onderwijsprogramma's. Ondersteund door docenten en begeleiders maken studenten gebruik van werkplaatsen, ateliers en studio's via projecten, teamwork en interdisciplinair onderwijs. De HKU wil een bepalende positie innemen op het gebied van onderzoek binnen het hoger kunstonderwijs. Het gaat er bij de HKU om dat studenten zelf in staat zijn zich te verbinden met en verdiepen in het discours, niet alleen middels artefact en congressen, maar ook door zelf te participeren in onderzoek in nauwe samenhang met de lectoraten. Voor een evenwichtige doorontwikkeling van het vakgebied is het volgens de HKU noodzakelijk om te investeren in reflectie, onderzoek en theorievorming. Met onderzoek voor, door en naar kunst(educatieve)–, ontwerp– en uitvoeringspraktijken beoogt de HKU de verbinding tussen onderzoek, onderwijs en werkveld te versterken. Al vanaf 1998 zijn lectoraten ingesteld en is een Centrum voor Onderzoek in het leven geroepen. Sinds 1999 is de HKU 'an accredited institution of the Open University, United Kingdom’. Dat houdt in dat er volgens het Engelse systeem universitaire masteropleidingen worden aangeboden. Ook in deze opleidingen speelt onderzoek een voorname rol. Vanaf 2001 heeft de HKU lectoraten met behulp van de SKO–gelden kunnen inrichten. In 2010 (peildatum 1 januari) zijn er negen (6,5 fte) lectoren, 72 (12,4 fte) (docent-)onderzoekers en 11 (4,2 fte) promovendi actief betrokken bij het onderzoek. De lectoraten vallen beleidsmatig onder de faculteiten om de band tussen onderwijs en onderzoek zo optimaal mogelijk te maken. Onverlet de algemene verantwoordelijkheid van het College van Bestuur (CvB) voor de algehele kwaliteit van het onderzoek van de HKU, zijn de faculteitsbesturen verantwoordelijk voor het onderzoeksbeleid en de lectoraten van de faculteit. Het
4
Overleg Onderzoek is het orgaan waarbinnen samenwerking gestalte krijgt. In het overleg zijn het CvB, de faculteitsbesturen en de lectoraten vertegenwoordigd. Het vergadert circa zes keer per jaar waarvan minimaal twee keer in volledige samenstelling. Het overleg wordt ondersteund door het Bestuursbureau/Onderwijs, Onderzoek en Kwaliteitszorg (BB/OOK). Het kwaliteitszorgsysteem voor onderzoek van de HKU bestaat uit de volgende vier elementen: 1. Jaarlijkse planning, uitvoering & controlcyclus ten aanzien van onderzoek, per faculteit. 2. Driejaarlijkse interne audits van onderzoek van de faculteit, mede aan de hand van jaarverslagen van lectoren, door een commissie bestaande uit 2 lectoren van andere faculteiten, een faculteitsbestuurder, een technisch voorzitter en een secretaris (BB/OOK). Per jaar worden twee faculteiten geauditeerd (voorjaar en najaar). 3. Zesjaarlijkse beoordeling van het onderzoek aan de HKU door een externe evaluatiecommissie 4. Zesjaarlijkse beoordeling van het interne kwaliteitszorgssysteem voor het onderzoek van de HKU door de VKO. Ten tijde van het validatiebezoek zijn vier van de vijf faculteiten intern geaudit, de externe beoordeling is voorzien in 2014.
5
2. Bevindingen De VKO kon beschikken over voldoende documentatie in de vorm van het zelfevaluatierapport met diverse relevante bijlagen (zie overzicht in bijlage 2). Daarmee verkreeg de commissie een goed beeld van de wijze waarop aan de HKU de kwaliteitszorg van het onderzoek ter hand is en wordt genomen en de context waarbinnen dit gebeurt. Onderdeel daarvan vormen de door de HKU georganiseerde interne audits die uitvoerig door de HKU zijn gedocumenteerd. De gesprekken die de VKO vervolgens tijdens haar validatiebezoek mocht voeren, heeft ze ervaren als open, informatief en constructief. Deze gesprekken hebben kleur gegeven aan het beeld dat de commissie vooraf had verkregen op basis van het zelfevaluatierapport. Conform het basisdocument diende de VKO de volgende vier validatievragen te beantwoorden: 1. Is er sprake van voldoende structuur en samenhang in de kwaliteitszorg van de hogeschool (ten aanzien van onderzoek)? 2. Zijn er voldoende randvoorwaarden voor de uitvoering van de kwaliteitszorg (ten aanzien van onderzoek)? 3. Worden de onderzoeksevaluaties op deskundige en onafhankelijke wijze uitgevoerd en conform de brancheafspraken hierover? 4. Worden evaluaties gebruikt voor de handhaving en verbetering van de kwaliteit van het onderzoek en de organisatie? Hieronder structureert de commissie haar bevindingen aan de hand van deze vier vragen in respectievelijk de paragrafen 2.1, 2.2, 2.3 en 2.4. Elk van deze vier paragrafen sluit af met mogelijkheden voor verbetering op de voor de validatievraag relevante onderwerpen.
2.1
Structuur en samenhang in kwaliteitszorg
Zoals in hoofdstuk 1 aangegeven omvat het kwaliteitszorgsysteem van de HKU de jaarlijkse planning & control, de driejaarlijkse interne audit op faculteitsniveau, de zesjaarlijkse externe beoordeling van al het HKU-onderzoek en de zesjaarlijkse beoordeling van de kwaliteitszorg door de VKO. Daarmee kent het systeem een heldere en overzichtelijke structuur. De inrichting, bewaking en uitvoering van het systeem zijn vanuit het CvB gedelegeerd naar het overleg onderzoek, ondersteund door het BB/OOK. De jaarlijkse planning & control betreft een beleidscyclus waarbij de evaluatie binnen de lectoraten een belangrijke rol speelt. De onderzoeksactiviteiten worden periodiek – op geëigende momenten, bijvoorbeeld na voltooiing van een opdracht of project – geëvalueerd. Hierop doen de lectoraten voorstellen aan het faculteitsbestuur voor bijstelling van het onderzoeksbeleid. Het faculteitsbestuur herformuleert zo nodig het facultaire onderzoeksbeleid en eventueel de positie van de lectoraten (en onderzoeksgroepen). De jaarverslagen van faculteiten en lectoraten geven een beeld van
6
de wijze waarop in het verslagjaar invulling is gegeven aan beleid, uitvoering, evaluatie en bijstelling. De driejarige interne audits per faculteit zijn ingevoerd als overbrugging tussen de jaarlijkse p&c cyclus en de zesjarige externe beoordeling (zie verder 2.3). Bij het opstellen van het auditdocument wordt onder meer gebruikgemaakt van jaarplannen en rapportages. Vervolgens wordt de uit de interne audits verkregen inzichten en informatie gebruikt voor de zesjaarlijkse externe beoordeling van de kwaliteit van de gehele onderzoekseenheid alsook voor de beoordeling van de kwaliteitszorg door de VKO. Door de audits is aan het licht gekomen dat de kwaliteitzorg die gericht is op externe verantwoording in de geauditeerde lectoraten goed functioneert. Wel is er volgens de HKU nog sprake van een te reactieve houding. Er wordt weliswaar goed gebruik gemaakt van kwaliteitsoordelen die (ongevraagd) door derden verstrekt worden, maar de mate waarin er op eigen initiatief evaluatieve gegevens verzameld worden, laat nog te wensen over. Mogelijkheden voor verbetering De VKO is van oordeel dat op boven beschreven wijze duidelijk verbindingen worden gelegd tussen de verschillende onderdelen van het kwaliteitszorgsysteem. Er zijn voldoende momenten van zelfreflectie en evaluatie (ook in dialoog met externe stakeholders), al zijn die soms wat weinig proactief. Vanuit de evaluaties worden relaties gelegd met planning en control, waardoor daadwerkelijk van een verbetercyclus gesproken kan worden. De VKO ziet niettemin op een aantal aspecten mogelijkheden voor verdere verbetering van het functioneren van het systeem. Ten eerste is de explicitering van kwaliteit nog erg beperkt. Daarmee doelt de commissie met name op het ontbreken van geëxpliciteerde indicatoren. De kwaliteitszorg krijgt hierdoor een sterk procesmatige benadering en de verbinding met de missie en doelstellingen van de HKU is onvoldoende transparant. Dat laatste maakt de bestuurlijke hantering van het systeem moeilijk. Impliciet zijn indicatoren er wel. In de gesprekken die de VKO tijdens het validatiebezoek voerde kreeg zij de indruk dat geen grote verschillen van inzicht bestaan over de betekenis en opbrengsten die het onderzoek zou moeten hebben. Zo wordt door een ieder waarde gehecht aan het oordeel van de externe partners (opdrachtgevers, gebruikers, etc.) en staat de bruikbaarheid voor het onderwijs (o.a. met het oog op multi-disciplinariteit) hoog in het vaandel. Daarnaast wordt kennisontwikkeling belangrijk gevonden evenals de maatschappelijke relevantie (waaronder de bijdrage aan beleid). Naar de inschatting van de VKO biedt deze mate van overeenstemming voldoende basis om tot gedragen en geëxpliciteerde indicatoren te komen.
7
2.2
Randvoorwaarden voor kwaliteitszorg
De HKU streeft een verbetercultuur na. De verantwoordelijkheid voor de kwaliteitszorg van activiteiten berust in eerste instantie bij de uitvoerders ervan, dus de lectoren en andere onderzoekers. Lectoren kunnen uit hun middelen medewerkers aanstellen voor specifieke taken op het gebied van de kwaliteitszorg. Op de faculteiten zijn bij de facultaire bureaus Onderwijs, Onderzoek en Kwaliteitszorg (OOK) medewerkers aangesteld die ondersteuning bieden aan lectoren en onderzoekers bij de gegevensverzameling. Voorts beschikt de HKU centraal over een afdeling van het bestuursbureau (BB/OOK) die tevens ondersteuning biedt aan faculteiten en lectoraten op het gebied van zowel de interne als de externe kwaliteitszorg. Bij deze centrale afdeling berust met name de organisatie en de administratieve ondersteuning en de verslaglegging van de audits. BB/OOK verzorgt daarnaast ook de verslaglegging van het periodieke Overleg Onderzoek en treedt op als contact voor de externe kwaliteitszorg van onderzoek. Mogelijkheden voor verbetering Van de door de HKU nagestreefde verbetercultuur heeft de VKO tijdens haar bezoek een positieve indruk gekregen. De HKU kende op het gebied van onderwijs al een sterk kwaliteitsbewustzijn en deze cultuur is zichtbaar doorgetrokken naar onderzoek. Het is de VKO duidelijk geworden dat het overleg onderzoek voor de samenhang van de kwaliteitszorg van groot belang is. Omdat in het overleg zowel lectoren als bestuur zijn vertegenwoordigd, wordt een gemeenschappelijke kijk op onderzoek en kwaliteit(szorg) binnen de HKU bevorderd. Daarnaast behoudt men gezamenlijk het overzicht en leert men van elkaars problemen en oplossingen. Dit laatste wordt nog eens versterkt door de wijze waarop de HKU de interne audits uitvoert. Elke faculteit wordt daarbij geanalyseerd en beoordeeld door een commissie van bestuurders en lectoren vanuit andere faculteiten. Tot nu toe lijken zich geen ernstige randvoorwaardelijke knelpunten te hebben voorgedaan bij de uitvoering van de kwaliteitszorg. De ondersteuning vanuit BB/OOK is professioneel en geniet waardering. Wel is aandacht nodig voor het tempo bij de evaluatiecyclus van met name de interne audits. Er zit gemiddeld genomen veel tijd tussen de verschillende activiteiten van de cyclus hetgeen ten koste gaat van de urgentiebeleving van verbeteringen en het vasthouden van het momentum.
8
2.3
Evaluaties van onderzoekseenheden
Zoals eerder beschreven worden onderzoeksevaluaties in de systematiek van de HKU op verschillende niveaus uitgevoerd: op het niveau van de onderzoeken zelf, jaarlijks en driejaarlijks op het niveau van de faculteiten en zesjaarlijks extern op het niveau van de onderzoekseenheid en de instelling. Onderzoeksevaluaties op het niveau van de onderzoeken zelf worden ingericht en uitgevoerd naar het inzicht van de betrokken lectoren en de andere onderzoekers. De driejaarlijkse interne (collegiale) audit is wel gestandaardiseerd. Deze begint met een auditdocument van de faculteit waarop een schriftelijke reflectie wordt gegeven door de lector(en) van de faculteit (critical appraisal). Er vindt vervolgens een visitatie plaats door een commissie bestaande uit twee collega-lectoren en een -bestuurslid van andere faculteiten. Deze mondt uit in een rapportage (inclusief aanbevelingen) waarop het faculteitsbestuur een reactie geeft (opgesteld in samenspraak met de lectoren). Faculteitsbestuur en lector(en) geven in hun jaarverslag inzicht in de wijze waarop gevolg is en wordt gegeven aan de adviezen van de auditcommissie. Ten tijde van het validatiebezoek hebben vier van dergelijke audits plaatsgevonden waarbij zes lectoraten zijn betrokken. Voor de vraagstellingen die bij de audits gehanteerd worden is gebruik gemaakt van het BKO. De externe en onafhankelijke evaluatie van de gehele onderzoekseenheid van de HKU is voorzien in 2014. Mogelijkheden voor verbetering De VKO heeft de interne audits van drie faculteiten (Kunst & Economie, Theater en Kunst, Media & Technologie) als audittrails nader bestudeerd en besproken. Ze vindt dat deze audits zorgvuldig en gedegen zijn uitgevoerd. De rapportages van de auditcommissies zijn voldoende kritisch en geven duidelijke aanknopingspunten voor verdere ontwikkeling en verbetering van onderzoek, randvoorwaarden en organisatie. De VKO oordeelt ook positief over de wijze waarop de onderwerpen en evaluatievragen uit het BKO in de audits zijn meegenomen. De HKU heeft in deze fase bewust gekozen voor interne (collegiale) audits. Zodoende wilde men eerst ervaring opdoen en bevorderen dat men van elkaar kon leren, alvorens de externe toets te ondergaan. De VKO kan deze keuze begrijpen maar zou daarbij hebben verwacht dat een externe stakeholder aan de commissie zou zijn toegevoegd. De externe blik zou de objectiviteit ten goede zijn gekomen en was een logische keuze geweest gezien het belang dat aan de visie en inbreng van stakeholders wordt gehecht. Het is de VKO duidelijk geworden dat deze kwestie al aan de orde is geweest binnen het overleg onderzoek en dat hieraan tegemoetgekomen gaat worden in volgende audits.
9
De interne audits kunnen niet worden beschouwd als de externe onderzoeksevaluaties zoals deze met het BKO zijn beoogd. Die externe evaluatie is gepland in 2014 en omvat al het onderzoek aan de HKU in één keer. De VKO wil hier twee kanttekeningen bij plaatsen. Ten eerste vindt zij het niet gewenst om tot 2014 te wachten. De ontwikkeling van het onderzoek is gebaat bij een snellere externe toets. Het doorlopen van twee interne audits per faculteit is daarvoor niet nodig. Ten tweede vraagt de beoordeling van al het onderzoek binnen de HKU in één audit om een goede doordenking van de opzet hiervan. De verschillende faculteiten zullen binnen die beoordeling voldoende herkenbaar moeten zijn om tot zinvolle analyses en aanbevelingen te kunnen komen. De omvang en samenstelling van de commissie is daarbij van doorslaggevend belang.
2.4
Verbeterbeleid
De interne auditcommissies constateren dat de lectoraten een grote hoeveelheid activiteiten ontplooien, zeker als die bezien worden in het licht van de (soms) bescheiden aanstellingen en middelen. Er wordt op diverse manieren over het onderzoek gecommuniceerd door publicaties, rapporten, boeken, artikelen, webpagina’s, artefacten en performances, adviezen, lezingen en voordrachten. De waardering en erkenning voor de onderzoeksactiviteiten van de lectoraten blijken uit de belangstelling voor de producten en de uitnodiging om bijdragen te leveren aan congressen, symposia en fora. Tevens blijkt sprake te zijn van succesvolle acquisitie van onderzoeksopdrachten. Enkele lectoraten hebben een begin gemaakt met valorisatie die de context van de opdrachtgever overstijgt. Er wordt geprobeerd om de verworven contextspecifieke kennis toepasbaar en beschikbaar te maken voor andere contexten binnen de creatieve werkvelden of andere sectoren van de maatschappij. Het meeste onderzoek dat door de lectoraten wordt uitgevoerd is nauw verbonden met het onderwijs en heeft rechtstreeks consequenties voor de curricula. In de ene faculteit vervult de lector met het onderzoek een verbindende schakel tussen verschillende richtingen; in een andere faculteit wordt geconstateerd dat het onderzoek heeft bijgedragen aan verbetering van de kwaliteit van het onderwijs. Een van de grote winstpunten van de lectoraten is dat onderzoek een aangrijpingspunt is geworden voor faculteitsbestuurders om de professionele ontwikkeling van medewerkers in een duidelijk perspectief te plaatsen. In verschillende faculteiten kan het functioneren van het lectoraat getypeerd worden als een ‘community of practice’, waarbinnen niet alleen lectoren en onderzoekers bij het onderzoek betrokken worden, maar ook docenten en studenten. Uit de audits komt ook duidelijk naar voren dat de lectoraten zich in verschillende ontwikkelingsstadia bevinden. Mede door de audits is bij de lectoren en bestuurders de behoeft ontstaan om meer coherentie in het onderzoeksbeleid aan te brengen. Vrij algemeen is de constatering van de auditcommissies dat er binnen de lectoraten geworsteld wordt met de beschikbaar gestelde middelen en menskracht. Het acquireren van onderzoeksgelden in de kunstsector is problematisch. Een werkveld dat zelf voor een
10
belangrijk deel aangewezen is op overheidssubsidies, dat bovendien een grote mate van onzekerheid in continuïteit kent, kan nauwelijks middelen vrijmaken voor onderzoek. Naar aanleiding van de audits wordt er binnen het Overleg Onderzoek nagedacht om de kennis en ervaring die is opgedaan in de kunstsector te valoriseren in andere sectoren waarin het gebruikelijker is om onderzoeksopdrachten te verwerven. Ook wordt er nagedacht over condities waaronder onderzoek gekoppeld kan worden aan opdrachten voor kunstproducties. Mogelijkheden voor verbetering De VKO heeft reeds aangegeven dat de HKU wordt gekenmerkt door een verbetercultuur. De wijze waarop met de uitkomsten van de audits wordt omgegaan past bij deze cultuur. Men neemt de analyses en aanbevelingen serieus en dwingt zichzelf door middel van een schriftelijke reactie per audit aan te geven welke concrete maatregelen getroffen zullen worden. De VKO ziet niettemin mogelijkheden om de bestuurlijke hantering van het kwaliteitszorgsysteem verder te brengen. Hiervoor is het nodig om meer nadrukkelijk een koppeling te leggen met het profiel en de ambities van de HKU. Ook hierbij is explicitering (zie ook 2.1) het sleutelwoord. Het is de VKO duidelijk geworden dat zich voorzichtig een uitgesproken HKU-profiel aan het ontwikkelen is met accenten op techniek, ondernemerschap, multi-disciplinariteit en een verbreding ten opzichte van het traditionele werkveld. De HKU zou deze kenmerken meer expliciet als speerpunten kunnen beschouwen waarop via de bestuurlijke hantering van het kwaliteitszorgsysteem sturing kan worden gegeven.
11
3. Conclusie en aanbeveling De VKO heeft bij de HKU een functioneel kwaliteitszorgsysteem aangetroffen. Het systeem kent een heldere structuur en een logische samenhang tussen de verschillende onderdelen. De activiteiten van de lectoraten vormen daarbij duidelijk het vertrekpunt. Deze activiteiten worden op geëigende momenten geëvalueerd, vaak ook in dialoog met samenwerkingspartners en opdrachtgevers. De VKO heeft daarvan goede voorbeelden aangetroffen. Wel zou meer pro-activiteit aan de dag kunnen worden gelegd. Uitkomsten van evaluaties worden waar relevant meegenomen in de jaarplannen van lectoraten en faculteiten. Daarmee grijpen evaluatie en beleid in elkaar waardoor daadwerkelijk sprake kan zijn van een verbetercyclus. Bij de HKU is (zoals bij vele andere instellingen) de omslag van aanbod- naar vraaggestuurde kwaliteitszorg goed zichtbaar, mede onder invloed van meer externe opdrachtgevers. Het accent van de HKU op ondernemerschap draagt hier ook zeker aan bij. Transparantie is daarbij een belangrijke voorwaarde. Om deze transparantie te realiseren ontbeert het kwaliteitszorgsysteem echter nog expliciete indicatoren. Dit gemis vermindert de kracht van de evaluaties en maakt de bestuurlijke hantering moeilijk. Impliciet zijn indicatoren er wel, bijvoorbeeld ten aanzien van de toegevoegde waarde voor onderwijs en praktijk. Naar de inschatting van de VKO zou het bereiken van een afdoende mate van consensus hierover binnen de HKU niet al te veel moeite hoeven te kosten. Daarbij ontwikkelt zich langzamerhand een uitgesproken HKU profiel waarvan de kenmerken zich goed kunnen lenen voor nadere specificatie van de indicatoren. Er is een goed kwaliteitsbesef aanwezig en de openheid en het zelfkritisch vermogen binnen de HKU maken indruk. Coördinatie en uitvoering van kwaliteitszorg zijn in goede handen bij het centrale overleg onderzoek, waarin lectoren en bestuur vertegenwoordigd zijn. Het BB/OOK biedt hierbij een uitstekende ondersteuning. In het afgelopen jaar is veel tijd en energie gaan zitten in het organiseren en uitvoeren van de interne collegiale audits op faculteitsniveau. De VKO heeft echter kunnen vaststellen dat deze inspanningen zijn beloond. Proces en uitkomsten zijn als leerzaam ervaren door zowel de beoordelaars als de beoordeelden. De systematiek, onderwerpen en evaluatievragen van het landelijke BKO zijn goed herkenbaar in deze interne audits. De VKO vindt het echter een gemiste kans dat geen externen aan de commissies zijn toegevoegd. De HKU heeft laten weten dit in het vervolg wel te gaan doen. De daadwerkelijk externe beoordeling heeft de HKU voorzien in 2014. Al het onderzoek van de HKU zal dan als een eenheid worden beoordeeld. De VKO raadt aan om deze externe toets naar voren te halen en de samenstelling van de commissie(s) vooraf goed te doordenken. De interne audits hebben niettemin voldoende kritisch gehalte en de rapportages bevatten diverse aanknopingspunten voor verbeteringen. In algemene zin bestaat veel waardering voor de productiviteit en toegevoegde waarde van de lectoraten. In de
12
positionering en profilering richting onderwijs en werkveld bevinden de lectoraten zich in verschillende ontwikkelingsstadia. Nagenoeg alle lectoraten worstelen met beperkte menskracht en middelen en hebben zorgen over continuïteit. Binnen het overleg onderzoek wordt gesproken over mogelijke oplossingen, onder meer door verbreding en verlegging van werkvelden en producten. Hoewel de argumenten voor focus en massa de HKU bekend zijn, wil ze vooralsnog niet overgaan een minimumgrens te stellen aan de omvang van een lectoraat. De VKO is van oordeel dat de HKU er niettemin niet aan ontkomt in de huidige fragmentatie op enigerlei wijze focus en massa aan te gaan brengen. De VKO heeft overwogen een voorwaardelijke validatie uit te spreken vanwege het nog ontbreken van ervaringen met externe onderzoeksevaluatie (zoals deze in het BKO is beoogd). Zij heeft hiertoe uiteindelijk echter bewust niet besloten. De reden hiervoor is dat de opzet van het systeem, de cultuur en de randvoorwaarden voor de uitvoering en de ervaringen met de interne audits, voldoende vertrouwen geven in de verdere ontwikkelingen. De VKO gaat er daarbij vanuit dat de HKU externe stakeholders toevoegt aan de interne auditcommissies en de integrale externe beoordeling minstens twee jaar naar voren haalt in de planning (2012 i.p.v. 2014). Ook vertrouwt de VKO erop dat per direct een traject in gang word gezet dat zich richt op het formuleren van als legitiem ervaren indicatoren voor onderzoek binnen de kunsten en op de wenselijk geachte opzet van de externe beoordeling. De VKO complimenteert de hogeschool voor hetgeen is bereikt en moedigt haar aan om met dezelfde inzet en hetzelfde enthousiasme op de ingeslagen weg verder te gaan. Ten slotte spreekt de VKO de hoop uit dat deze rapportage daarbij van waarde kan zijn.
13
Bijlage 1 Instellingsbesluit VKO Het bestuur van de HBO-raad, vereniging van hogescholen, gelet op het door de vereniging in 2008 vastgestelde basisdocument kwaliteitszorgstelsel ten aanzien van het onderzoek aan hogescholen (hieronder verder aangeduid als basisdocument) als nadere uitwerking van het in 2007 vastgestelde brancheprotocol kwaliteitszorg onderzoek BESLUIT Artikel 1: Instelling 1. Er is met ingang van 23 maart 2009 een validatiecommissie kwaliteitszorg onderzoek, hierna te noemen VKO. 2. De VKO is ingesteld voor de periode 2009-2015. Artikel 2: Samenstelling 1. De VKO bestaat uit zeven leden, waaronder de voorzitter en de vicevoorzitter. 2. De volgende leden zijn door de HBO-raad benoemd: -
Prof. dr. P.L. (Pauline) Meurs (voorzitter);
-
Prof. dr. F.A. (Frans) van Vught (vicevoorzitter);
-
Drs. B. (Bart) van Bergen (lid);
-
Dr. C.M. (Tini) Hooymans (lid);
-
Drs. P.M. (Paul) van Roon (lid);
-
Drs. P.M.M. (Paul) Rullmann (lid);
-
Prof. dr. H.W. (Henk) Volberda (lid).
3. De HBO-raad voorziet in het secretariaat van de VKO. Artikel 3: Taak en werkwijze 1. De taak van de VKO is het zesjaarlijkse evalueren en valideren van de kwaliteitszorgsystemen van hogescholen op het aggregatieniveau van de instelling, voor zover de kwaliteitszorg betrekking heeft op het (praktijkgerichte) onderzoek van de hogeschool. 2. De VKO hanteert het in het basisdocument beschreven validatiekader bij het valideren van de kwaliteitszorg van elke hogeschool en komt onafhankelijk en objectief tot een validatiebesluit. 3. De VKO komt op basis van haar evaluerende activiteiten tevens tot analyses en aanbevelingen voor verdere verbetering van het kwaliteitszorgsysteem van de hogeschool. 4. De VKO baseert haar validatiebezoek op een door de hogeschool uitgevoerde zelfevaluatie. Het basisdocument specificeert de eisen die aan zelfevaluatie en validatiebezoek inclusief de op te leveren rapportages worden gesteld. 5. De VKO bepaalt haar eigen procedures en werkwijze ten aanzien van het validatiebezoek, de validatie en de oplevering van de rapportages binnen de kaders van het basisdocument.
14
6. De VKO brengt op basis van elk validatiebezoek een openbaar validatierapport uit zoals bedoeld in het basisdocument, nadat hoor en wederhoor heeft plaatsgevonden. 7. Indien de VKO tot een voorwaardelijke validatie heeft geoordeeld worden afspraken gemaakt voor een vervolgvalidatie binnen een termijn van twee jaar. Daarop baseert de VKO of sprake is van onvoorwaardelijke validatie of dat geen validatie wordt verleend. Artikel 4: Rapportage en informatievoorziening 1. De besturen van de hogescholen dragen er zorg voor dat elk rapport van een externe evaluatiecommissie als bedoeld in het bovengenoemde basisdocument, vergezeld van het eventuele bestuursstandpunt over dat rapport, binnen een maand na het openbaar maken van het rapport ter kennis van de VKO wordt gebracht. 2. De besturen van de hogescholen dragen er zorg voor dat een gedocumenteerd zelfevaluatierapport tijdig ter beschikking wordt gesteld aan de VKO en dat een validatiebezoek kan plaatsvinden, beide conform de kaders die daaraan door middel van het basisdocument zijn gesteld en de procedures die binnen die kaders door de VKO worden opgesteld. 3. De VKO draagt er zorg voor dat elk validatierapport ter beschikking wordt gesteld aan de HBO-raad en de Minister van OCW. 4. De VKO draagt er zorg voor dat de door haar ontvangen externe evaluatierapporten vanuit de hogescholen alsmede de door haar zelf gepubliceerde validatierapporten vrij verkrijgbaar zijn via de website van de VKO. Artikel 5: Geldmiddelen 1. De basisinfrastructuur van de VKO (t.b.v. secretariaat, communicatie en algemene vergaderingen) wordt gefinancierd met de jaarlijks te indexeren doelcontributie van de hogescholen. 2. De reëel gemaakte kosten (honoraria en reiskosten van de betreffende deelcommissie VKO) per validatie worden via de HBO-raad bij de betreffende hogeschool in rekening gebracht. 3. De VKO-leden ontvangen via de HBO-raad een jaarlijkse vergoeding op basis van het aantal verrichte validaties en bijgewoonde VKO vergaderingen. Artikel 6: Planning 1. De validaties door de VKO vinden plaats in de volgende vastgestelde volgorde: 2009: Hogeschool Utrecht, Gerrit Rietveld Academie, Hogeschool Zuyd; 2010: Hogeschool van Beeldende Kunsten Muziek en Dans, Hogeschool van Amsterdam, De Haagse Hogeschool, Hogeschool INHOLLAND, Hogeschool voor de Kunsten Utrecht, Hanzehogeschool Groningen; 2011: Fontys Hogescholen, Hogeschool Leiden, Aeres Groep, Gereformeerde Hogeschool Zwolle, Hogeschool van Arnhem en Nijmegen, Saxion Hogescholen; 2012: Hogeschool Zeeland, Interactum (Hogeschool IPABO, Marnix Academie, Hogeschool Domstad, Iselinge Hogeschool, Hogeschool De Kempel en Katholieke PABO Zwolle;
15
Noordelijke Hogeschool Leeuwarden, Stenden Hogeschool, Hogeschool Helicon, Amsterdamse Hogeschool voor de Kunsten; 2013: Codarts Hogeschool voor de Kunsten, Van Hall Larenstein, Hogeschool Rotterdam, NHTV internationale hogeschool Breda, ArtEZ hogeschool voor de kunsten, Windesheim; 2014: Avans Hogeschool, Design Academy Eindhoven, Driestar educatief, HAS Den Bosch, Christelijke Hogeschool Ede, Hotelschool Den Haag; Hogeschool Edith Stein separaat). 2. Van deze planning kan alleen worden afgeweken in uitzonderlijke situaties. VKO, HBO-raad en betreffende hogescho(o)l(en) treden met elkaar in overleg indien volgens een van deze partijen sprake is van een situatie die wijziging in de planning noodzakelijk maakt. Het bestuur van de HBO-raad stelt de gewijzigde planning vast en communiceert deze via de geëigende kanalen. 3. De specifieke planning per validatietraject wordt in overleg tussen VKO en hogeschool gemaakt, e.e.a. conform de procedures van de VKO. Artikel 7: Evaluatie 1. Na twee jaar (gerekend vanaf de eerste validatie) zal het overkoepelende kwaliteitszorgstelsel -en daarbinnen de rol en het functioneren van de VKO- worden geëvalueerd op basis van de opgedane ervaringen. Hierop wordt mede gebaseerd of en welke eventuele tussentijdse aanpassingen in samenstelling, organisatie en werkwijzen nodig zijn. 2. Ruim voor het aflopen van de periode waarop dit instellingsbesluit betrekking heeft zal het stelsel -en daarbinnen de rol en het functioneren van de VKO - worden geëvalueerd met het oog op de vormgeving en invulling van de kwaliteitzorg t.a.v. onderzoek in de erop volgende periode. Den Haag, 23 maart 2009 D. Terpstra, voorzitter HBO-raad
16
Bijlage 2 Overzicht bestudeerd materiaal 1.
HKU Instellingsplan 2009 – 20112
2.
Onderzoeksorganisatie HKU (mei/oktober 2010)
3.
Overzicht lectoraten HKU (maart 2010)
4.
Monitor HKU 2008
5.
Monitor HKU 01-01-2010
6.
Kwaliteitszorg Onderzoek HKU (maart 2009)
7.
Auditprotocol HKU (mei 2009/september 2010)
8.
Planning audits (september 2010)
9.
Verslagen College van Lectoren / Overleg Onderzoek 2008 tm 2010
10. Audit BKV - december 2009 a. auditdocument b. critical appraisal c. gespreksverslagen (3) d. rapport auditcommissie e. reactie faculteitsbestuur en lector 11. Audit Theater - januari 2010 a. auditdocument b. critical appraisal c. gespreksverslagen (3) d. rapport auditcommissie e. reactie faculteitsbestuur 12. Audit KMT - maart 2010 a. auditdocument b. critical appraisal c. gespreksverslagen (3) d. rapport auditcommissie 13. Audit K&E – juni 2010 a. auditdocument b. critical appraisal c. gespreksverslagen (3) d. Verslagen College van Lectoren / Overleg Onderzoek 2008 tm 2010
17
Bijlage 3 Bezoekprogramma 10.00 • • • • • •
– 10.30 Welkom en presentatie vanuit de hogeschool Ad Wisman (voorzitter CvB) Jan IJzermans (voorzitter Overleg Onderzoek) Nirav Christophe (lector Theatrale Maakprocessen) Jeroen van Mastrigt (lector Art & Technology) Jacob Oostwoud Wijdenes (beleidsmedewerker Onderwijs, Onderzoek en Kwaliteitszorg) Theo Pulles (beleidsmedewerker Onderwijs, Onderzoek en Kwaliteitszorg)
10.30 – 11.45 Besloten vergadering VKO 11.45 • • • • • •
– 12.45 Vraaggesprek CvB delegatie en Centrale Staf Ad Wisman (voorzitter CvB) Jan IJzermans (voorzitter Overleg Onderzoek) Dick Jongkind (directeur Gemeenschappelijke Dienst) Jacob Oostwoud Wijdenes (beleidsmedewerker Onderwijs, Onderzoek en Kwaliteitszorg) Theo Pulles (beleidsmedewerker Onderwijs, Onderzoek en Kwaliteitszorg)
12.45 – 13.30 Besloten vergadering VKO / lunch 13.30 • • • • • •
– 14.15 Vraaggesprek Faculteit Kunst en Economie en Faculteit Theater Derk Blijleven (voorzitter Faculteit Kunst en Economie) Giep Hagoort (lector Kunst en Economie) Janine Prins (lid kenniskring Kunst en Economie) Eva van der Molen (voorzitter Faculteit Theater) Nirav Christophe (lector Theatrale Maakprocessen) Joris Weijdom (lid kenniskring Theatrale Maakprocessen)
14.20 – 15.05 Vraaggesprek Faculteit Kunst, Media & Technologie • Jan IJzermans (voorzitter Faculteit Kunst Media & Technologie, lector Muziekontwerp) • Willem-Jan Renger (plv. voorzitter Faculteit Kunst Media & Technologie) • Jeroen van Mastrigt (lector Art & Technology) • Marinka Copier (lector Play Design and Development, hoofd onderwijsafdeling Kunst & Technologie) • Rens Machielse (programmaleider Creative Design Practices, hoofd onderwijsafdeling Muziek & Technologie) • David Crombie (Europese projecten voor het programma Adaptive Architectures for Creative Design en andere programma's) • Willempje Vrins (programmamanager Applied Game Design) 15.10 • • •
– 15.40 Vraaggesprek kwaliteitszorg Jacob Oostwoud Wijdenes (beleidsmedewerker Onderwijs, Onderzoek en Kwaliteitszorg) Theo Pulles (beleidsmedewerker Onderwijs, Onderzoek en Kwaliteitszorg)
15.40 - 16.40 Besloten vergadering VKO 16.40 – 17.30 Mondelinge terugkoppeling
18
Antecedenten VKO deelcommissie Prof. dr. F.A. (Frans) van Vught (vice-voorzitter); Topadviseur EU commissievoorzitter, president European Centre for Strategic Management of Universities (Esmu), voorzitter bestuur Netherlands’ House for Education and Research (Nether), oud voorzitter CvB en oud rector Universiteit Twente. Drs. P.M.M. (Paul) Rullmann (lid); Lid CvB TU Delft. Lid Commissie tussentijdse evaluatie lectoren en kenniskringen. Oud lid CvB Hogeschool Haarlem. Dr. C.M (Tini) Hooymans (lid); Lid TNO Raad van Bestuur. Plaatsvervangend Kroonlid SER. Lid Adviesraad Wetenschap en Technologie (AWT).
Drs. M.A. (Marcel) de Haas (secretaris) Projectmanager Kwaliteitszorg Onderzoek HBO-raad. Voorheen adjunctdirecteur Onderwijsvisitaties HBO-raad, manager Beleid, Kwaliteit en IR Hogeschool INHOLLAND en onderzoeker Universiteit Leiden.
19
