Validatierapport Kwaliteitszorg Onderzoek Design Academy Eindhoven
mei 2014 Deelcommissie VKO
Prof. dr. P.L. (Pauline) Meurs (voorzitter); Dr. C.M. (Tini) Hooymans (lid); Drs. P.M.M. (Paul) Rullmann Drs. E.C. (Emiel) de Groot (secretaris)
INHOUDSOPGAVE Inleiding ............................................................................................................... 3 1. Schets van de hogeschool ................................................................................ 4 2. Bevindingen .................................................................................................... 6 2.1. Structuur en samenhang ............................................................................ 6 2.2. Randvoorwaarden ....................................................................................10 2.3. Evaluaties van onderzoekseenheden ...........................................................12 2.4 Verbeterbeleid .........................................................................................13 Conclusies en aanbevelingen ..................................................................................14 Bijlage 1 Instellingsbesluit VKO ..............................................................................16 Bijlage 2 Overzicht bestudeerd materiaal .................................................................19 Bijlage 3 Bezoekprogramma ..................................................................................20 Bijlage 4 Korte beschrijving van de VKO deelcommissieleden .....................................21
2
Inleiding De validatiecommissie kwaliteitszorg onderzoek (VKO) is begin 2009 door de voorzitter van de HBO-raad geïnstalleerd (zie instellingsbesluit, bijlage 1). De VKO maakt als onafhankelijke commissie deel uit van het per 1 januari 2009 ingevoerde kwaliteitszorgstelsel voor onderzoek aan hogescholen, gebaseerd op het brancheprotocol kwaliteitszorg onderzoek (BKO). De taak van de VKO is het valideren van de kwaliteitszorgsystemen van de hogescholen, voor zover de kwaliteitszorg betrekking heeft op onderzoek. Kwaliteitszorg wordt daarbij gedefinieerd als "het systematische en dynamische geheel van beleid, organisatie, procedures, processen en middelen, gericht op het permanent handhaven en verhogen van de kwaliteit van het onderzoek binnen de hogeschool, door middel van cyclisch evalueren en verbeteren.” Bij de installatie van de VKO is voor elke hogeschool - op basis van eigen voorkeuren – door de HBO-raad vastgelegd in welk jaar de validatie plaatsvindt. In de zo tot stand gekomen planning voor 2009-2015 stond Design Academy Eindhoven (DAE) ingeroosterd voor de periode voorjaar 2014. De VKO ontving daartoe op 18 maart 2014 het zelfevaluatierapport van de hogeschool met uitgebreide documentatie (zie overzicht in bijlage 2) ter bestudering en bespreking. Het validatiebezoek vond vervolgens plaats op 2 april 2014. Een deelcommissie vanuit de VKO sprak op die dag met het College van Bestuur, staf, lectoren, onderzoekers/docenten en stakeholders (zie het volledige bezoekprogramma en de antecedenten van de deelcommissie vanuit de VKO in bijlage 3 en 4). Aan het eind van het bezoek is door de voorzitter van de deelcommissie VKO een voorlopige mondelinge terugkoppeling gegeven. Daarna heeft de VKO zich intern beraden op de definitieve rapportage. Van de VKO wordt verwacht dat zij bij elke hogeschool tot een op ontwikkeling en verbetering gerichte rapportage komt. Het gaat daarbij om een onderbouwde en genuanceerde kwalitatieve conclusie ten aanzien van het functioneren van het kwaliteitszorgsysteem in verschillende opzichten en op verschillende dimensies, alsmede de hierop gebaseerde aanbevelingen tot verbetering. Op basis van haar bevindingen heeft de VKO de kwaliteitszorg met betrekking tot het onderzoek van de hogeschool voorwaardelijk gevalideerd. Deze rapportage geeft een nadere onderbouwing. In hoofdstuk 1 wordt een schets gegeven van de hogeschool, in algemene zin en meer toegespitst op de missie, organisatie en omvang van het onderzoek. Hoofdstuk 2 beschrijft de bevindingen en beoordelingen van de VKO aan de hand van de vier validatievragen zoals deze zijn vastgelegd in het basisdocument kwaliteitszorg onderzoek 2009-2015 (zie www.vkohogescholen.nl). In hoofdstuk 3 sluit de VKO af met haar conclusie en aanbevelingen.
3
1. Schets van de hogeschool Design Academy Eindhoven (DAE) is een kleine, zelfstandige hogeschool met wereldwijde faam als een van de beste designinstituten, die toptalenten aflevert. De DAE verzorgt designonderwijs voor ongeveer 720 studenten: 610 op Bachelor niveau en 110 op Masterniveau. DAE onderscheidt zich nationaal en internationaal in het hoger kunstonderwijs als een authentieke, creatieve en innovatieve academie. Het is de missie van de DAE om ontwerptalenten op te leiden die de wereld van morgen vormgeven en het discours over design stimuleren. Kern van het onderwijs is talent gestuurd onderwijs. Elke student volgt zijn/haar eigen leertraject. Binnen de academie vormen studenten met (hoofd)docenten een hechte gemeenschap. Het bachelor onderwijs bestaat uit acht inhoudelijke ontwerpafdelingen en vier kompasrichtingen. Vanuit het netwerk van docenten zijn studenten verbonden met het werkveld. Het overgrote deel van de docenten is voor één dag per week aan DAE verbonden. De Design Academy heeft een aantal roerige jaren achter de rug, met bestuurlijke wisselingen, bijbehorende onderbrekingen en stagnaties in beleidsontwikkeling en implementatie. In 2012 is een vernieuwingsplan voor het onderwijs opgesteld. Enkele van de onderwijsvernieuwingen die het toenmalige College voorstond waren voor sommigen een brug te ver. Vanwege de onrust die dit teweeg bracht, ontstond een onwerkbare situatie. Als gevolg van de commotie rond het vernieuwingsplan is de bestuursvoorzitter in 2012 terug getreden. In 2013 heeft de Raad van Toezicht op 1 april een creatief directeur aangesteld en per 1 augustus een directeur Onderwijs en Onderzoek. Vanaf augustus 2013 was het nieuw College van Bestuur een feit. Sinds het einde van het jaar werkt het nieuwe CvB samen met interne en externe stakeholders aan een plan voor de verdere ontwikkeling van onderwijs en onderzoek. De komende jaren wil de academie zich meer profileren in de internationale design research gemeenschap. DAE geeft in haar zelfevaluatierapport aan dat een inhaalslag noodzakelijk is. De omvang van het onderzoek is op dit moment beperkt. Het onderzoek binnen DAE vindt plaats in twee lectoraten. Vanuit de lectoraten wordt een bijdrage geleverd aan het versterken van de onderzoeksfunctie van de hogeschool. Binnen de lectoraten zijn twee lectoren, één associate lector en een aantal research associates werkzaam. Er wordt binnen de DAE ongeveer 364 duizend euro aan onderzoeksgelden gegenereerd uit de combinatie van rijks bekostiging (167k) en overige bronnen (197k). Lectoraat Strategic Creativity City and Countryside
Lectoren Lector Bas Raijmakers Associate lector Daniëlle Arets David Hamers
Aanstelling 0,174 fte 0,174 fte 0,2 fte
4
De jaarcijfers 2013 die door de VKO worden geïnventariseerd met betrekking tot het onderzoek van de DAE laten het volgende beeld zien:
Financieel Totale financiële bijdrage per student Rijksbijdrage per student Raak-bijdrage per student Internationale bijdrage per student Overige bijdrage per student Personeel Aantal studenten per lector (landelijk streefcijfer: 720) Aantal fte´s per lector Percentage gepromoveerde lectoren Percentage docent-onderzoekers van docenten Gemiddelde fte per docent-onderzoeker Percentage gepromoveerde onderzoekers Percentage promovendi van docenten Gemiddelde fte per promovendus Percentage student-onderzoekers
Design Academy
Landelijk gemiddel de
Positie t.o.v. 37 hogesch olen
€ 509,14 € 234,88 € 0,00 € 0,00 € 274,26
€ 385.62 € 234.47 € 46.03 € 31.72 € 95.76
12 17 24 18 4
1.975
1.312
32
0.18 fte 100 % 7.7 %
0,56 fte 77 % 13.7 %
35 1 30
0.43 fte 0.0 % 0,00 % 0.00 fte 0.0 %
0,25 fte 15.1 % 3.12 % 0,43 fte 4.5 %
2 32 35 35 33
Het College van Bestuur van DAE geeft aan dat zij zelfstandig onderzoek met academische betekenis even belangrijk vindt als onderzoek dat gerelateerd is aan de onderwijsactiviteiten. Maar gezien de beperkte budgettaire mogelijkheden ligt de focus de komende jaren bij het versterken van de relatie tussen onderwijs en onderzoek. De lectoren worden actief betrokken bij de onderwijsvernieuwing, met name bij de ontwikkeling van een leerlijn voor theorie, reflectie en research in het bachelorprogramma. Binnen de hogeschool staat een op kwaliteit gerichte werkwijze (kwaliteitscultuur) centraal en wordt ook gewerkt met impliciete criteria. Er is echter nog geen apart, op papier vastgelegd, systeem voor de kwaliteitszorg van het onderzoek. De ambitie van de hogeschool is om een kwaliteitszorgstructuur te ontwikkelen en te hanteren. Alle belanghebbende professionals (docenten, lectoren) worden betrokken bij het opstellen daarvan. Zodoende kan het kwaliteitszorgsysteem rekenen op draagvlak. Ten tijde van het VKO-bezoek waren beide lectoraten door één externe onafhankelijke commissie geëvalueerd. De VKO beschikte over de relevante documenten die in het kader van dat evaluatietraject waren opgeleverd. Ze sprak tijdens haar bezoek met beide lectoren en met de voorzitter van de externe onafhankelijke commissie.
5
2. Bevindingen De VKO kon beschikken over een uitgebreide documentatie in de vorm van het zelfevaluatierapport met diverse relevante bijlagen (zie bijlage 2 voor het overzicht van de bestudeerde documenten). De commissie waardeert het dat DAE, door haar openhartige rapportages en gesprekken, de commissie deelgenoot heeft gemaakt van de discussies betreffende de ontwikkeling van beleid op het gebied van onderzoek. De gesprekken heeft de VKO ervaren als vriendelijk en informatief. Conform het basisdocument dient de VKO de volgende vier validatievragen te beantwoorden: 1. Is er sprake van voldoende structuur en samenhang in de kwaliteitszorg van de hogeschool (ten aanzien van onderzoek)? 2. Zijn er voldoende randvoorwaarden voor de uitvoering van de kwaliteitszorg (ten aanzien van onderzoek)? 3. Worden de onderzoekevaluaties op deskundige en onafhankelijke wijze, en conform de brancheafspraken uitgevoerd? 4. Worden evaluaties gebruikt voor de handhaving en verbetering van de kwaliteit van het onderzoek en de organisatie? Hieronder structureert de commissie haar bevindingen aan de hand van deze vier vragen in respectievelijk de paragrafen 2.1, 2.2, 2.3 en 2.4. Elk van deze vier paragrafen wordt afgesloten met mogelijkheden voor verbetering op de voor de validatievraag relevante onderwerpen.
2.1. Structuur en samenhang Binnen het onderwijs van de academie wedijveren de relatief autonome Ontwerp (Bachelors)- en Researchafdelingen (Masters) met elkaar bij het realiseren van de beste ontwerpen en in het verlengde daarvan in het aantrekken van de juiste docenten en het opzetten van passende curricula. Deze interne dynamiek zorgt volgens DAE voor een kwaliteitscultuur met als kenmerken: passie, betrokkenheid, veeleisendheid en toewijding. DAE geeft aan dat het inhoudelijke streven naar kwaliteit en passie nogal eens op gespannen voet staat met organisatorische kwaliteitseisen. Zoals eerder vermeld, kent de academie nog geen geformaliseerd kwaliteitszorgsysteem voor het onderzoek en onderwijs. De NVAO constateerde in 2012: ‘Vanuit het oogpunt van verantwoording is de huidige opzet van de kwaliteitszorg niet volledig traceerbaar doordat het proces van kwaliteitszorg niet formeel gestroomlijnd plaatsvindt. Het ontbreekt aan voldoende formele procedures als evaluaties, monitoring en rapportages. Het nieuwe College van de Bestuur heeft aangegeven de aanbeveling van de NVAO versneld over te nemen.
6
Om recht te doen aan het autonome karakter van elke afdeling heeft het College van Bestuur ervoor gekozen om voor elke afdeling te komen tot een expliciete en duidelijke taakstelling met betrekking tot vormgeven aan designonderzoek. Elk hoofd van een afdeling krijgt jaarlijks de opdracht om op basis van de algemene visie van de academie op onderwijs, op design en op onderzoek een eigen invulling te geven aan het onderzoek en de inbedding ervan in het onderwijs. De te maken afspraken vormen de start van een afdelingsgewijze (jaarlijkse) kwaliteitscyclus en moeten zorgen voor richting en houvast. De uiteindelijke evaluaties van de resultaten vormen, zoals de DAE aangeeft: ‘de neutrale kwaliteitsbakens waarlangs elke afdeling zijn eigen karakteristieke weg volgt’. De verantwoordelijkheid voor het nakomen van de afspraken en de uiteindelijke resultaten ligt bij elk afdelingshoofd. Zijn of haar taak is het duidelijk communiceren op welke manier de eigen afdeling uitvoering geeft aan de meer algemene richting en inhoud van het onderwijs en onderzoek aan de DAE. Hoewel er tijdens het bezoek van de VKO nog geen geformaliseerd kwaliteitszorgsysteem onderzoek aanwezig was, zijn er binnen de DAE wel een aantal elementen van interne kwaliteitszorg van het praktijkgerichte onderzoek aanwezig, waaronder: -
Kenniskring: Om de relatie tussen het onderwijs, het onderzoek en de lectoraten te verstevigen is een Kenniskring ingesteld, bestaande uit een Bachelor- en Mastervertegenwoordiging, theoriedocenten, beleidsmedewerker en lectoren. De belangrijkste taak is het ontwikkelen van een consistente visie op design research binnen de DAE en een bij de academie passende afstemming tussen onderzoek en onderwijs.
-
Evaluatie van de Design Research Spaces1. Elke Design Research Space sluit af met een kort evaluatiegesprek met betrokkenen. Daarnaast evalueren de lectoren elk jaar samen met de studenten de Design Research Spaces in de vorm van een uitgebreide discussie aan de hand van concrete evaluatievragen. De verslagen vormen de basis voor eventuele verbetermaatregelen.
In de organisatie zijn eveneens een aantal elementen van externe kwaliteitszorg aanwezig, waaronder: -
Werkveldcommissie: DAE kent sinds begin dit jaar een werkveldcommissie die gevraagd en ongevraagd advies geeft over zaken die vanuit het werkveld van belang zijn voor de academie. Twee leden van de veertien werkveldcommissieleden vertegenwoordigen het wetenschappelijke designonderzoek en vormen de verbinding tussen het nationale en internationale onderzoeksveld en de lectoraten. De voltallige werkveldcommissie komt eenmaal per jaar bij elkaar.
1
Een Design Research Space is een kortlopend onderzoekstraject van minstens vier weken waarbij de Research Associate een deel van zijn of haar onderzoek uitvoert samen met geselecteerde studenten van DAE. Het organiseren van een zogeheten Design Research maakt deel uit van elke Research Associate aanstelling.
7
-
Deelname onderzoeksprogramma’s: De deelname van de lectoraten aan de onderzoeksprogramma TRADERS (internationaal) en CRISP met elk een eigen formele structuur voor de kwaliteitszorg.
8
Onderzoeksbeleid van de DAE De DAE is voornemens om toe te werken naar een meer gedragen beleid ten aanzien van lectoraten en onderzoek. Het College van Bestuur voert momenteel oriënterende gesprekken over een op te richten (centraal) kennisteam van waaruit het onderzoek door de lectoren wordt uitgevoerd en gecoördineerd. De beoogde onderzoekseenheid valt dan onder directe verantwoordelijkheid van het College van Bestuur (directielid Onderwijs en Onderzoek). Jaarlijkse en tussentijdse gesprekken met het College van Bestuur zorgen voor continue monitoring van de werkzaamheden van de lectoraten en daarmee ook van de ingezette verbetertrajecten. De beoogde taken van de eenheid zijn: -
Via de kenniskring bijdragen aan een gezamenlijk kader voor onderwijs en onderzoek;
-
Aan de hand van het vastgestelde onderzoeksprofiel en de eisen die gesteld zijn aan deugdelijk designonderzoek coördineren van het onderzoek zoals dat wordt uitgevoerd onder verantwoordelijkheid van de lectoren;
-
Verbinding met het onderwijs door het dissemineren van onderzoeksresultaten, het betrekken van belangstellende docenten en studenten bij onderzoeksprojecten en het aanbieden van Design Research Spaces en op termijn een Honours programma;
-
Initiëren van onderzoek en aanboren van externe financieringsbronnen;
-
Zorgen voor explicitering van onderzoeksmethodieken zoals ze aan de academie binnen de verschillende afdelingen gehanteerd worden;
-
Contacten onderhouden met externe partijen die als stakeholders bij onderzoek betrokken zijn.
-
Dissemineren (in-en extern) van opgedane kennis via nationale en internationale podia waaronder academische design research conferenties, interne debatten, maar zeker ook designevents waaronder de Dutch Design Week en Salone del Mobile.
Oordeel en mogelijkheden voor verbetering De VKO oordeelt dat de kwaliteitszorg met betrekking tot onderzoek zich bevindt in een opbouwfase. Tijdens het bezoek van de commissie was er nog geen sprake van een geformaliseerd kwaliteitszorgsysteem onderzoek. De VKO kan daarom niet anders dan concluderen dat zij vooralsnog onvoldoende structuur en samenhang heeft aangetroffen in de kwaliteitszorg van de hogeschool (ten aanzien van onderzoek). Hiermee is overigens niet gezegd dat er onvoldoende kwaliteit zou worden geleverd. Het is de VKO duidelijk geworden dat de academie op weg is naar een nieuw evenwicht tussen vanzelfsprekende zorg voor kwaliteit, en de meer geformaliseerde kwaliteitszorg. Beide vormen van kwaliteitszorg zijn noodzakelijk voor goed bestuur en interne en externe verantwoording. De VKO beveelt aan om de volgende acties te ondernemen:
-
Een goed kenniscentrum begint bij een eensluidende en sturende kwaliteitsvisie op onderzoek. Voor DAE is kwaliteit een vanzelfsprekend onderdeel van het beleid en voor het handelen op het gebied van onderwijs en onderzoek. De wijze waarop dit ook wordt uitgedragen en de internationale erkenning ervan laten zien dat het geen loze woorden zijn. De VKO zou graag zien dat deze vanzelfsprekende kwaliteit voor wat betreft het onderzoeksbeleid meer geëxpliciteerd wordt dan nu het geval is: wat kenmerkt het onderzoek aan de DAE en in welk opzicht onderscheidt haar onderzoek
9
zich van andere kennisinstellingen? De VKO stelt vast dat de academie al een duidelijk keuze heeft gemaakt. De VKO is gecharmeerd van de onderzoeksmissie “thinking through making”. De commissie kan zich indenken dat DAE zich de komende periode nog sterker op dit overkoepelende onderzoeksthema profileert en de missie vertaalt naar een onderzoeksprogramma voor de hogeschool, een programma dat de missie concretiseert en waaraan concrete onderzoeksvragen worden gekoppeld. -
Het onderzoeksprogramma dient vervolgens vertaald te worden naar de opdracht van de lectoren zodat meer samenhang en synergie tussen de verschillende onderzoeksthema’s kan worden gerealiseerd. Deze vertaling moet terugkomen in het kwaliteitskader met bijbehorende indicatoren. Belangrijk is dat er op termijn een inhoudelijke sturing van het kwaliteitszorgsysteem kan uitgaan.
-
Ontwikkel op basis van deze kaders eenvoudige evaluatieprocessen en formats op basis waarvan de PDCA-cycli doorlopen kunnen worden. Doe dit vanzelfsprekend op zo’n manier dat het kwaliteitszorgsysteem aansluit bij de nagestreefde vrijheid en autonomie van de afdelingen. De commissie wil hierbij aangeven dat het geen enkel bezwaar is om enige variëteit in kwaliteitszorginstrumenten tussen de afdelingen aan te brengen.
-
Houd het te ontwikkelen kwaliteitszorgsysteem onderzoek beknopt waardoor het effectief en efficiënt kan bijdragen aan de kwaliteitsverbetering. De academie heeft veel inspanningen verricht om de samenhang tussen onderwijs en onderzoek te versterken. Het oprichten van een kenniskring is een prima manier om de verbinding tussen onderwijs en de lectoraten tot stand te brengen. De VKO onderstreept de ambitie van de DAE om op dezelfde manier de masteropleidingen te verweven met de lectoraten.
2.2. Randvoorwaarden Binnen de DAE hecht men grote waarde aan vrijheid, autonomie en experiment. Niet voor niets luidt de onderzoeksmissie: ‘thinking through making’. De kwaliteitszorg moet er op gericht zijn om de omgevingsfactoren te optimaliseren en ruimte te scheppen voor het ‘onderzoekend ontwerpen’. De DAE zoekt nog naar een productief evenwicht tussen enerzijds de behoefte aan efficiëntie, effectiviteit en standaardisering en anderzijds veel ruimte voor eigen invullingen en voor verschillende werkmodellen en – stijlen. Zowel op centraal als op decentraal niveau wordt binnen de DAE gewerkt aan het vergroten van de bereidheid en betrokkenheid bij kwaliteitsbewaking. Bij de kwaliteitszorg van onderzoek is op centraal niveau het beleidsbureau (1,6 fte) betrokken. Het beleidsbureau is onder meer belast met de kwaliteitszorg op het gebied van onderwijs, onderzoek, internationalisering, interne en externe audits en accreditatietrajecten en heeft zitting in de Kenniskring. Het beleidsbureau is eveneens verantwoordelijk voor het opstellen van het zelfevaluatierapport ter voorbereiding op het bezoek van de VKO. Op dit moment zijn de lectoren en de associate lector
10
verantwoordelijk voor de kwaliteitszorg van het onderzoeksprogramma, daarbij ondersteund door het Beleidsbureau. Ter bevordering van de inbedding van kwaliteitszorg binnen de ontwerpafdelingen zullen op termijn de hoofden van ontwerpafdelingen in samenwerking met de lectoren mede verantwoordelijkheid gaan dragen voor kwaliteitszorg van het onderzoek binnen hun afdeling. De ondersteuning vanuit financiën en HRM wordt door de onderzoekers zeer gewaardeerd. De goede ondersteuning vanuit beide afdelingen maakt het voor de onderzoekers mogelijk om te participeren in de onderzoeksprogramma’s CRISP en TRADERS. Oordeel en mogelijkheden voor verbetering De VKO heeft geconstateerd dat men zich binnen DAE bewust is van het belang van het leveren van kwaliteit. De commissie heeft de indruk dat er voldoende tijd wordt vrijgemaakt om een kwaliteitszorgsysteem te ontwikkelen. De VKO oordeelt positief over de aangetroffen kwaliteitscultuur. In vele opzichten is merkbaar dat men gewend is elkaar kritisch te benaderen (zie 2.1). Voor de hogeschool is kwaliteitszorg dan ook nauw verbonden met het permanente streven naar talentontwikkeling en excellentie. Tegelijkertijd moet de VKO constateren dat het kwaliteitszorgsysteem nog onvoldoende in de dagelijkse praktijk van medewerkers is geïnternaliseerd. De VKO beveelt aan om binnen afzienbare tijd met een kwaliteitszorgstructuur te komen, waarin de meer impliciete benadering wordt aangevuld met een aanpak gebaseerd op meer expliciete criteria. De inzet van DAE om de papieren evaluatielast zo beperkt mogelijk te houden, naast de inrichting van een meer objectieve evaluatie en verantwoordingssystematiek, is naar het oordeel van de commissie een juiste keus. De VKO wil dan ook op geen enkele wijze – met deze aanbevelingen – een papieren exercitie van de kwaliteitszorg maken. Het gaat er vooral om dat de inzet op kwaliteit, het toetsen van inspanningen en resultaten en het daar waar nodig bijsturen, voor buitenstaanders en medewerkers navolgbaar zijn. DAE heeft laten zien op relatief korte termijn grote stappen voorwaarts te kunnen zetten. Een sterk punt is dat het CvB stuurt op een goede balans tussen topdown en bottom-up processen. Dit is een gunstige voorwaarde voor de ontwikkeling van een kwaliteitszorgstructuur en - cultuur. Continuïteit van het onderzoek is een aandachtspunt voor de academie. Met een studentenaantal van 720 is het niet eenvoudig om voldoende (interne) middelen te reserveren voor onderzoek. De VKO vindt het positief dat DAE nadenkt over de vraag hoe in de nabije toekomst additionele middelen kunnen worden geworven. De commissie adviseert te overwegen om meer dan vier procent van het totale budget van de hogeschool te reserveren voor onderzoek. De samenwerking met andere kennisinstellingen zoals hogescholen en universiteiten komt volgens de VKO goed op gang door onder meer participatie in de onderzoeksprogramma’s zoals TRADERS en CRISP. Wel merken de externe partners op
11
dat het succes van de samenwerking grotendeels een gevolg is van het handelen van de afzonderlijke lectoren en dus meer aan personen gebonden is dan dat de samenwerking beleidsmatig en organisatorisch verankerd is binnen de hogeschool. Omdat de mogelijkheden voor het onderzoek gegeven de schaal beperkt zijn adviseert de VKO om slim en goed gebruik te maken van een aantal voorkeurspartners, bijvoorbeeld via de samenwerking met ‘Zuyd’ of ‘Naturalis’. Deze noodzaak wordt versterkt op het moment dat de huidige onderzoeksprogramma’s aflopen.
2.3. Evaluaties van onderzoekseenheden Elke zes jaar vindt er een (externe) evaluatie van de lectoraten plaats. Op basis van de zelfevaluatie beoordeelt een extern, door de hogeschool ingericht panel, het onderzoek en de kwaliteit. Leidraad is een vijftal vragen, zoals geformuleerd in het landelijke kwaliteitszorgstelsel, dat de externe commissie op basis van het zelfevaluatierapport moet kunnen beantwoorden. Het lectoraat maakt, naar aanleiding van de bevindingen, en in samenspraak met het CvB, een plan van aanpak voor het verbeteren van de kwaliteit van het onderzoek. Op 14 januari 2014 heeft de eerste externe evaluatie van beide lectoraten plaatsgevonden. Na overleg met de lectoren heeft het College van Bestuur een internationaal auditpanel samengesteld op basis van een profielschets. Het definitieve rapport werd in maart aangeboden. Uit de conclusie van het panel spreekt waardering over de productiviteit en impact van het onderzoek. Er werd geconstateerd dat de continuïteit van het onderzoek een aandachtspunt is voor de academie. Daarnaast stelt het panel voor om meer focus in de programmering en selectie van de onderzoeksthema’s aan te brengen en om de onderzoeksresultaten zichtbaar te maken aan de buitenwereld. DAE geeft aan dat het rapport van het externe auditpanel voor de komende tijd voldoende richting geeft en inhoud biedt aan het onderzoek van beide lectoraten en van de academie in het algemeen. Oordeel en mogelijkheden voor verbetering De VKO heeft kunnen vaststellen dat de externe evaluatie op deskundige en voldoende onafhankelijke wijze heeft plaatsgevonden. De commissie heeft een duidelijke opdracht meegekregen, namelijk het beantwoorden van de vijf evaluatievragen zoals opgesteld in het BKO. De validatiecommissie waardeert het kritische (opbouwende) gehalte van het externe evaluatierapport. De rapportage geeft een goed beeld van de sterke en zwakke punten en biedt voldoende houvast voor kwaliteitsverbetering (zie 2.4). De aanpak om de twee lectoraten samen te visiteren juicht de VKO van harte toe.
12
2.4
Verbeterbeleid
Met het uitvoeren van de zelfevaluatie en de externe audit heeft DAE stappen gezet om de interne kwaliteitszorg van haar onderzoek te ontwikkelen. De academie heeft tijdens het gesprek met de VKO aangegeven dat zij het externe auditpanel, het bezoek van het VKO panel en het voorbereidende proces als positief heeft ervaren – ook als impuls voor het ontwikkelen van een kwaliteitszorgsysteem - omdat breed wordt onderkend dat de verdere ontwikkeling van het onderzoek om professionalisering van de kwaliteitszorg vraagt. Naar aanleiding van de bevindingen van het externe auditpanel stellen de lectoraten van DAE een verbeterplan op dat vervolgens geaccordeerd wordt door het College van Bestuur. In het verbeterplan wordt aangegeven welke aanbevelingen prioriteit hebben en op welke termijn er welke resultaten mogen worden verwacht. Tijdens het bezoek van de VKO was het verbeterplan nog niet voorhanden. Oordeel en mogelijkheden voor verbetering Het is de VKO duidelijk geworden dat de externe evaluatie en de bijbehorende zelfevaluatie voor de hogeschool waardevol zijn geweest. De aandachtspunten die in het rapport van de externe audit aan de orde komen zijn zeer herkenbaar voor de VKO. Het zijn veelal punten die zij ook tijdens haar bezoek als relevante thema's constateerde. Dit geldt bijvoorbeeld voor de wijze waarop meer focus en massa verkregen moet worden in de onderzoeksprogrammering en de interne kwaliteitszorg van lectoraten. Het vormt nu prioriteit om de aanbevelingen op te volgen. De VKO adviseert de hogeschool om de verbeterplannen te monitoren en mee te nemen in de PDCA cyclus. De validatiecommissie heeft met genoegen kunnen vaststellen dat DAE zich lerend opstelt en open staat voor feedback. De hogeschool is vastberaden om de aanbevelingen op te pakken en uit te voeren. De VKO heeft er daarom vertrouwen in dat de verbeteringen binnen afzienbare tijd tot stand zullen worden gebracht. Ze beveelt niettemin aan om in toekomstige (zelf)evaluaties meer aandacht te besteden aan de mogelijkheden voor ontwikkeling en verbetering. Dit kan bijvoorbeeld door het benoemen van concrete kwalitatieve en/of kwantitatieve normen (zie paragraaf 2.1) waar de (zelf)evaluatie op in gaat en die een meer nadrukkelijke koppeling leggen met het onderzoeksprofiel van de DAE.
13
Conclusies en aanbevelingen De gesprekken tijdens haar bezoek heeft de VKO als zeer open en inspirerend ervaren. De VKO is onder de indruk van de eerlijke manier waarop er tijdens het bezoek met de commissie is gesproken. Kenmerkend voor de DAE is de kleinschaligheid, de inbedding in het werkveld en de focus op kwaliteit. De commissie heeft waardering voor de stappen die door het nieuwe College van Bestuur zijn gezet. Tegelijkertijd was het een lastig bezoek voor de commissie. Het Branche Protocol Onderzoek (BKO) is opgesteld vanuit een meer klassiek idee van een organisatie. De DAE is echter te typeren als een netwerk hogeschool waarbij veel medewerkers parttime aanstellingen (één dag per week) hebben van één jaar. De rest van de tijd runnen ze hun eigen ontwerpbureau of zijn ze op andere manieren actief als ontwerper, kunstenaar, schrijver, journalist of kunsthistoricus. De VKO heeft op basis van de zelfevaluatie - en haar bezoek aan de DAE- vastgesteld dat het kwaliteitszorgsysteem voor onderzoek nog in opbouw is. De hogeschool wil toe naar een meer structurele en geformaliseerde aanpak van kwaliteitszorg, zonder daarmee de cultuur van de academie geweld aan te doen. Dit is een ambitie die de commissie van harte onderschrijft. De commissie is positief over de kwaliteitscultuur. In vele opzichten is merkbaar dat medewerkers van de DAE gewend zijn om elkaar kritisch te benaderen. De commissie heeft kunnen vaststellen dat de urgentie om tot een goed functionerend kwaliteitszorgsysteem te komen aanwezig is en dat er voldoende tijd wordt vrijgemaakt om de beoogde kwaliteitszorg tot stand te brengen. De VKO heeft kunnen vaststellen dat de externe evaluatie op deskundige en voldoende onafhankelijke wijze heeft plaatsgevonden. Uit de conclusie van het panel spreekt waardering over de productiviteit en impact van het onderzoek. Het externe advies biedt heldere analyses en aanbevelingen die behulpzaam zijn bij de verdere ontwikkeling van beleid en kwaliteitszorg van het onderzoek. Het vormt nu prioriteit om de aanbevelingen op te volgen. De VKO kan op basis van de gevoerde gesprekken en de documentatie op dit moment niet met zekerheid vaststellen dat het aangekondigde kwaliteitszorgsysteem zal leiden tot het permanent bewaken en verbeteren van het onderzoek. Tegen deze achtergrond kwam het bezoek van de VKO te vroeg. Het moment is wel gebruikt om DAE een aantal suggesties te geven over de inrichting van een kwaliteitszorgsysteem dat past bij DAE en ook navolgbaar en toetsbaar is voor anderen. De VKO heeft daarom besloten om het kwaliteitszorgsysteem van DAE voorwaardelijk te valideren. De commissie zal samen met de DAE in overleg treden op welke wijze een volgend bezoek van de VKO kan worden vormgegeven zodat de last voor de hogeschool wordt geminimaliseerd. Het vervolgbezoek zal in het teken staan van de realisatie van de
14
geschetste plannen. Aangezien de VKO veel goede initiatieven heeft aangetroffen om tot een consistent en uitnodigend kwaliteitsbeleid te komen, is de verwachting dat de hogeschool dan beter in staat zal zijn om een beeld te geven van de realisatie van de kwaliteitszorg. De VKO zou de DAE graag de volgende prioriteiten willen meegeven: -
Ontwikkel een onderzoeksprogramma voor de hogeschool. De VKO is gecharmeerd van de onderzoeksmissie “thinking through making”. De commissie kan zich voorstellen dat de DAE zich de komende periode nog sterker op dit overkoepelende onderzoeksthema profileert en de missie vertaalt naar een onderzoeksprogramma voor de hogeschool. Een onderzoeksprogramma zal de herkenbaarheid en doorwerking van het onderzoek ten goede komen;
-
Vertaal het onderzoeksprogramma naar de opdracht van de lectoren zodat meer samenhang en synergie kan worden gerealiseerd;
-
Spreek hierbij toetsbare normen af zodat de uitkomsten van de kwaliteitszorginstrumenten kunnen worden benut en deze als basis kunnen dienen bij de gesprekken met het College van Bestuur.
-
Ontwikkel op basis van deze kaders eenvoudige evaluatieprocessen en formats. Doe dit vanzelfsprekend op zo’n manier dat het kwaliteitszorgsysteem aansluit bij de nagestreefde vrijheid en autonomie van de afdelingen;
-
Zorg er daarbij voor dat het kwaliteitszorgsysteem proportioneel van aard is zodat er een goede balans gevonden wordt tussen effectiviteit en efficiency;
-
Zet alle benodigde stappen in een concreet plan en verbind duidelijke targets en tijdspaden. Voor het draagvlak is het belangrijk om goed naar de organisatie te luisteren, maar naar het oordeel van de VKO kan het CvB hier een meer sturende rol in vervullen;
-
Maak bij de realisatie van bovenstaande prioriteiten gebruik van hetgeen elders in het HBO reeds gerealiseerd is;
De VKO wenst de DAE veel succes en inspiratie bij dit verbetertraject.
15
Bijlage 1 Instellingsbesluit VKO Het bestuur van de HBO-raad, vereniging van hogescholen, gelet op het door de vereniging in 2008 vastgestelde basisdocument kwaliteitszorgstelsel ten aanzien van het onderzoek aan hogescholen (hieronder verder aangeduid als basisdocument) als nadere uitwerking van het in 2007 vastgestelde brancheprotocol kwaliteitszorg onderzoek. BESLUIT Artikel 1: Instelling 1. Er is met ingang van 23 maart 2009 een validatiecommissie kwaliteitszorg onderzoek, hierna te noemen VKO. 2. De VKO is ingesteld voor de periode 2009-2015. Artikel 2: Samenstelling 1. De VKO bestaat uit zeven leden, waaronder de voorzitter en de vicevoorzitter. 2. De volgende leden zijn door de HBO-raad benoemd: -
Prof. dr. P.L. (Pauline) Meurs (voorzitter);
-
Prof. dr. F.A. (Frans) van Vught (vicevoorzitter);
-
Drs. B. (Bart) van Bergen (lid);
-
Dr. C.M. (Tini) Hooymans (lid);
-
Drs. P.M. (Paul) van Roon (lid);
-
Drs. P.M.M. (Paul) Rullmann (lid);
-
Prof. dr. H.W. (Henk) Volberda (lid).
3. De HBO-raad voorziet in het secretariaat van de VKO. Artikel 3: Taak en werkwijze 1. De taak van de VKO is het zesjaarlijkse evalueren en valideren van de kwaliteitszorgsystemen van hogescholen op het aggregatieniveau van de instelling, voor zover de kwaliteitszorg betrekking heeft op het (praktijkgerichte) onderzoek van de hogeschool. 2. De VKO hanteert het in het basisdocument beschreven validatiekader bij het valideren van de kwaliteitszorg van elke hogeschool en komt onafhankelijk en objectief tot een validatiebesluit. 3. De VKO komt op basis van haar evaluerende activiteiten tevens tot analyses en aanbevelingen voor verdere verbetering van het kwaliteitszorgsysteem van de hogeschool. 4. De VKO baseert haar validatiebezoek op een door de hogeschool uitgevoerde zelfevaluatie. Het basisdocument specificeert de eisen die aan zelfevaluatie en validatiebezoek inclusief de op te leveren rapportages worden gesteld.
16
5. De VKO bepaalt haar eigen procedures en werkwijze ten aanzien van het validatiebezoek, de validatie en de oplevering van de rapportages binnen de kaders van het basisdocument. 6. De VKO brengt op basis van elk validatiebezoek een openbaar validatierapport uit zoals bedoeld in het basisdocument, nadat hoor en wederhoor heeft plaatsgevonden. 7. Indien de VKO tot een voorwaardelijke validatie heeft geoordeeld worden afspraken gemaakt voor een vervolgvalidatie binnen een termijn van twee jaar. Daarop baseert de VKO of sprake is van onvoorwaardelijke validatie of dat geen validatie wordt verleend. Artikel 4: Rapportage en informatievoorziening 1. De besturen van de hogescholen dragen er zorg voor dat elk rapport van een externe evaluatiecommissie als bedoeld in het bovengenoemde basisdocument, vergezeld van het eventuele bestuursstandpunt over dat rapport, binnen een maand na het openbaar maken van het rapport ter kennis van de VKO wordt gebracht. 2. De besturen van de hogescholen dragen er zorg voor dat een gedocumenteerd zelfevaluatierapport tijdig ter beschikking wordt gesteld aan de VKO en dat een validatiebezoek kan plaatsvinden, beide conform de kaders die daaraan door middel van het basisdocument zijn gesteld en de procedures die binnen die kaders door de VKO worden opgesteld. 3. De VKO draagt er zorg voor dat elk validatierapport ter beschikking wordt gesteld aan de HBO-raad en de Minister van OCW. 4. De VKO draagt er zorg voor dat de door haar ontvangen externe evaluatierapporten vanuit de hogescholen alsmede de door haar zelf gepubliceerde validatierapporten vrij verkrijgbaar zijn via de website van de VKO. Artikel 5: Geldmiddelen 1. De basisinfrastructuur van de VKO (t.b.v. secretariaat, communicatie en algemene vergaderingen) wordt gefinancierd met de jaarlijks te indexeren doelcontributie van de hogescholen. 2. De reëel gemaakte kosten (honoraria en reiskosten van de betreffende deelcommissie VKO) per validatie worden via de HBO-raad bij de betreffende hogeschool in rekening gebracht. 3. De VKO-leden ontvangen via de HBO-raad een jaarlijkse vergoeding op basis van het aantal verrichte validaties en bijgewoonde VKO vergaderingen. Artikel 6: Planning 1. De validaties door de VKO vinden plaats in de volgende vastgestelde volgorde: 2009: Hogeschool Utrecht, Gerrit Rietveld Academie, Hogeschool Zuyd; 2010: Hogeschool van Beeldende Kunsten Muziek en Dans, Hogeschool van Amsterdam,
17
De Haagse Hogeschool, Hogeschool INHOLLAND, Hogeschool voor de Kunsten Utrecht, Hanzehogeschool Groningen; 2011: Fontys Hogescholen, Hogeschool Leiden, Aeres Groep, Gereformeerde Hogeschool Zwolle, Hogeschool van Arnhem en Nijmegen, Saxion Hogescholen; 2012: Hogeschool Zeeland, Interactum (Hogeschool IPABO, Marnix Academie, Hogeschool Domstad, Iselinge Hogeschool, Hogeschool De Kempel en Katholieke PABO Zwolle; Hogeschool Edith Stein separaat), Noordelijke Hogeschool Leeuwarden, Stenden Hogeschool, Hogeschool Helicon, Amsterdamse Hogeschool voor de Kunsten; 2013: Codarts Hogeschool voor de Kunsten, Van Hall Larenstein, Hogeschool Rotterdam, NHTV internationale hogeschool Breda, ArtEZ hogeschool voor de kunsten, Windesheim; 2014: Avans Hogeschool, Design Academy Eindhoven, Driestar educatief, HAS Den Bosch, Christelijke Hogeschool Ede, Hotelschool Den Haag. 2. Van deze planning kan alleen worden afgeweken in uitzonderlijke situaties. VKO, HBO-raad en betreffende hogescho(o)l(en) treden met elkaar in overleg indien volgens een van deze partijen sprake is van een situatie die wijziging in de planning noodzakelijk maakt. Het bestuur van de HBO-raad stelt de gewijzigde planning vast en communiceert deze via de geëigende kanalen. 3. De specifieke planning per validatietraject wordt in overleg tussen VKO en hogeschool gemaakt, e.e.a. conform de procedures van de VKO. Artikel 7: Evaluatie 1. Na twee jaar (gerekend vanaf de eerste validatie) zal het overkoepelende kwaliteitszorgstelsel -en daarbinnen de rol en het functioneren van de VKOworden geëvalueerd op basis van de opgedane ervaringen. Hierop wordt mede gebaseerd of en welke eventuele tussentijdse aanpassingen in samenstelling, organisatie en werkwijzen nodig zijn. 2. Ruim voor het aflopen van de periode waarop dit instellingsbesluit betrekking heeft zal het stelsel -en daarbinnen de rol en het functioneren van de VKO worden geëvalueerd met het oog op de vormgeving en invulling van de kwaliteitzorg t.a.v. onderzoek in de erop volgende periode. Den Haag, 23 maart 2009 D. Terpstra, voorzitter HBO-raad
18
Bijlage 2 Overzicht bestudeerd materiaal 1. Rapport Zelfreflectie Kwaliteitszorg Onderzoek en Lectoraten (VKO), 2014 2. Plan Kwaliteitszorg, 2013 3. Knowledge Creation at DAE Self Evaluation Readerships, 2013 4. Evaluatierapport Auditpanel, 2014 5. Accreditation Bachelor Course 2012 6. Accreditation Masters Course 2012 7. Accreditation DAE Organisation 2012 8. Briefing Commissie Ontwerp Bacheloronderwijs DAE, 2014 9. Verslag eerste bijeenkomst Commissie Ontwerp Bacheloronderwijs, 2014 10. Aanstellingsbrief Werkveld Commissie 11. Voorbereidende Notitie Hoofdenbijeenkomst, november 2013 12. Verslag Hoofdenoverleg, 2013 13. Verslag Coördinatorenoverleg, 2014 14. Overleg Lectoren en Masterhoofden (kenniskring i.o.), 2013 15. Plan van aanpak vriendenbeleid, 2014 16. Voorstel voor evaluatie van het vernieuwde propedeusejaar, 2014 17. Werkafspraken voor evaluatie van de vernieuwde propedeuse, 2014 18. Plan van Aanpak Invoering Studenten Enquetes, 2013 19. Beleidsnotitie Lectoraten, 2012 20. DAE Design Research Visie, 2010 21. Projectplan Kwaliteitszorg, 2012 22. Verslag overleg Lectoraten, 2011
19
Bijlage 3 Bezoekprogramma
Tijd 09.00 – 09.45
Gesprekspartners Presentatie College van Bestuur
Voorzitter en creatief directeur Drs. Thomas Widdershoven Directeur Onderwijs en Onderzoek Drs. Tonny Holtrust Operationeel directeur Drs. Igor van Hooff
09.45 – 10.30
Besloten vergadering VKO
10.30 – 11.20
Vraaggesprek met College van Bestuur
11.25 – 12.30
Voorzitter en creatief directeur Thomas Widdershoven Directeur Onderwijs en Onderzoek Tonny Holtrust Operationeel directeur Igor van Hooff Hoofd Onderwijs Jochem Otten
Vraaggesprek met lectoren en externe betrokkenen
Lector Dr. Bas Raijmakers Lector Dr. David Hamers Associate Lector Drs. Danielle Arets Docent onderzoeker Maartje van Gestel Docent onderzoeker Ester van de Wiel
12.30 – 13.15
Lunch/besloten vergadering VKO
13.15 – 14.05
Vraaggesprek met voorzitter extern evaluatiepanel en stakeholders
14.05 – 14.55
Dr. Peter Peters (voorzitter extern evaluatiepanel, Maastricht University) Prof. Dr. Ir. Aarnout Brombacher (TUE) Klaas Jan Wierda Msc. (Océ Technologies)
Vraaggesprek met centrale staf
Senior Beleidsmedewerkers: Yolande Hezemans en Arjo de Vries Programma coördinator Masters Judith Konz
14.55 – 15.45
Besloten vergadering VKO
15.45 – 16.25
Mondelinge terugkoppeling
College van Bestuur Overige belangstellenden vanuit de academie
20
Bijlage 4 Korte beschrijving van de VKO deelcommissieleden
Prof. dr. P.L. (Pauline) Meurs (voorzitter) Hoogleraar Bestuur van de Gezondheidszorg, Erasmus Universiteit. Voorzitter ZonMW. Lid Onderzoeks-raad voor Veiligheid. Dr. C.M (Tini) Hooymans (lid) Oud-lid Raad van Bestuur (TNO). Lid Centrale Commissie voor de Statistiek van het Centraal Bureau voor de Statistiek (CBS). Drs. P.M.M. (Paul) Rullmann (lid) Voorzitter Wetenschappelijke Technische Raad van SURF. Voorzitter Raad van Toezicht Codarts. Lid bestuur Quality Assurance Netherlands Universities (QANU). Oud lid College van Bestuur Technische Universiteit Delft. Oud lid Commissie tussentijdse evaluatie lectoren en kenniskringen. Oud lid College van Bestuur Hogeschool Haarlem. Drs. E.C. (Emiel) de Groot (secretaris) Secretaris Validatiecommissie Kwaliteitszorg Onderzoek, beleidsadviseur onderzoek & internationalisering Vereniging Hogescholen.
21
