Bestuurlijke hantering onderzoeksbeoordelingen aan de UvT 2009-2015
Bestuurlijke hantering onderzoeksbeoordelingen aan de UvT 2009-2015 In het najaar van 2007 hebben de besturen van VSNU, NWO en KNAW besloten tot aanpassing van het Standard Evaluation Protocol (SEP)1. Omdat is gebleken dat het SEP in grote lijnen haar doelen bereikt, is gekozen voor een beperkte aanpassing, waarbij de systematiek van het huidige protocol niet fundamenteel wordt gewijzigd. In deze Bestuurlijke hantering wordt beschreven welke procedure voor onderzoeksbeoordelingen aan de UvT wordt gevolgd in de periode 2009-2015. Dit document heeft de volgende indeling: 1. Planning 2. Voorbereiding 3. Bestuurlijke afhandeling De stand van zaken rond onderzoeksbeoordelingen vormt steeds een van de agendapunten van het bilateraal overleg over onderwijs en onderzoek. De kosten verbonden aan de mid-term reviews, externe onderzoeksbeoordelingen en zelfevaluaties worden door de betrokken faculteit gedragen.
1
VSNU, KNAW en NWO (2009). Standard Evaluation Protocol 2009-2015. Protocol for the evaluation of the scientific research in the Netherlands. Den Haag.
1
Bestuurlijke hantering onderzoeksbeoordelingen aan de UvT 2009-2015
1.
Planning
1.1. Cyclus onderzoeksbeoordelingen De cyclus van de onderzoeksbeoordelingen is ongewijzigd gebleven ten opzichte van het vorige SEP. Elke zes jaar wordt een externe beoordeling uitgevoerd. Ter voorbereiding hiervan wordt een zelfevaluatie opgesteld, die als input voor de externe beoordeling dient. Daarnaast wordt elke zes jaar een mid-term review uitgevoerd. De mid-term review vindt drie jaar na de site visit van de externe beoordeling plaats. Drie jaar later vindt dan de nieuwe externe beoordeling plaats, mede op basis van de resultaten van de de midterm review. 1.2. Planningsschema Het College van Bestuur maakt een planning voor de mid-term reviews en de externe beoordelingen. Hieronder staat de planning voor de UvT voor de komende beoordelingsperiode (2009-2015). Door de jaren heen is de planning van de onderzoeksbeoordelingen voor de verschillende faculteiten door elkaar gaan lopen. Dit betekent dat sommige faculteiten eerst een externe beoordeling volgens het nieuwe SEP moeten doen, terwijl andere faculteiten eerst een mid-term review volgens het nieuwe SEP moeten doen. Planning onderzoeksbeoordelingen UvT 2009-2015. (EB = Externe beoordeling, MTR = Mid-term review) 2009 2010 2011 FEB
EB
FRW Bestuurskunde
EB
FSW Psychologie MAW MTO
1)
MTR
1)
FKT
MTR
2015 EB EB
EB
EB MTR
MTR
2014
MTR MTR
EB
2013
MTR
1)
FGW
1)
2012
MTR EB
MTR
EB
EB
MTR
EB
MTR
Deze evaluatie hanteert het SEP 2003-2009.
1.3. Onderzoeksinstituten Het College van Bestuur geeft er de voorkeur aan dat de facultaire onderzoeksinstituten zoveel mogelijk aansluiten bij de mid-term reviews en externe beoordelingen van de eigen faculteit. Multidisciplinaire onderzoeksinstituten kunnen, in overleg met de betrokken faculteiten, zelf kiezen wanneer hun mid-term reviews en externe beoordelingen plaats vinden. Zo kunnen de instituten volledig aansluiten bij een van de faculteiten, maar zij kunnen hun onderzoeksprogramma’s ook verdelen over de faculteiten waar zij onder vallen. Voorwaarde hierbij is dat het volledige onderzoeksprogramma van het instituut geëvalueerd wordt, conform de afspraken in deze Bestuurlijke hantering. Het onderzoeksinstituut maakt, in overleg met de betrokken faculteiten, een voorstel en legt dit ter goedkeuring voor aan het College van Bestuur.
2
Bestuurlijke hantering onderzoeksbeoordelingen aan de UvT 2009-2015
2.
Voorbereiding
2.1.
Voorbereiding externe beoordelingen
In het schema in paragraaf 1.2 is aangegeven wanneer van elke faculteit de externe beoordeling wordt verwacht. Uitgangspunt hierbij is steeds het jaar waarin de site visit van de mid-term review heeft plaatsgevonden. 2.1.1. Planning Aan het begin van het evaluatieproces stelt de faculteit een planningsdocument op. In dit document worden minimaal de interne (voor het College van Bestuur) en externe (voor de evaluatiecommissie) deadline van de zelfevaluatie en de datum van de site visit opgenomen. De planning wordt ter informatie aan het College van Bestuur gestuurd. 2.1.2. Vergelijking Het College van Bestuur geeft er de voorkeur aan dat de externe beoordelingen gezamenlijk met andere vergelijkbare nationale en/of internationale onderzoeksgroepen wordt uitgevoerd. Om dit mogelijk te maken zal ruim (i.e. een jaar) voor de datum dat de externe beoordeling plaats vindt bekend moeten zijn met welke andere onderzoeksgroepen men zich wenst te vergelijken. De faculteiten gaan hierover in overleg met de instellingen waar hun voorkeur naar uitgaat en rapporteren aan het College van Bestuur wanneer de definitieve keuze is gemaakt. 2.1.3. Zelfevaluatie Voorafgaand aan de externe beoordeling dient door de faculteit een zelfevaluatie te worden uitgevoerd. De concept-zelfevaluatie dient tijdig bij het College van Bestuur te worden aangeleverd, zodat het mogelijk is hierover overleg met de faculteit aan te gaan en, indien gewenst, de zelfevaluatie aan te passen. De zelfevaluatie dient als input voor de externe beoordeling en moet minstens vier weken voor de site visit beschikbaar worden gesteld aan de externe onderzoekscommissie. De zelfevaluatie bestaat uit twee onderdelen: 1. Een zelfevaluatie rapport, met daarin onder andere een SWOT-analyse. 2. Een volledig kwantitatief overzicht van de input en output van de faculteit van de afgelopen zes jaar. Bij uitvoering van de zelfevaluatie dient er zoveel mogelijk gebruik te worden gemaakt van de richtlijnen uit het SEP (zie SEP, Hoofdstuk 5). De SWOT-analyse is een van de belangrijkste onderdelen van de zelfevaluatie. Deze analyse dient zowel op het niveau van de faculteit, als voor elke onderzoeksgroep afzonderlijk, uitgevoerd te worden. In het SEP wordt beschreven welke onderwerpen in de SWOT-analyse aan bod moeten komen (zie SEP, Hoofdstuk 5.3). 2.1.4. Instructies aan commissie In overleg met de andere instellingen die bij de beoordeling betrokken zijn stelt de faculteit de instructies aan de evaluatiecommissie, ofwel de Terms of Reference (TOR), op. Het SEP is daarbij uitgangspunt (zie SEP, Hoofdstuk 4.4). De TOR kan worden aangevuld met voor de betreffende evaluatie relevant geachte documenten. De betrokken Colleges van Bestuur stellen de definitieve TOR vast. In het geval van nationale vergelijking, worden de instructies aan de evaluatiecommissie ook onderdeel van het Discipline Protocol 2.1.5. Samenstellen evaluatiecommissie Het College van Bestuur is verantwoordelijk voor het uitnodigen en instellen van de evaluatiecommissie, die uit zowel nationale als internationale experts moet bestaan. De bij de beoordeling betrokken faculteiten doen hiertoe gezamenlijk een voorstel, waarbij
3
Bestuurlijke hantering onderzoeksbeoordelingen aan de UvT 2009-2015
ze de in de TOR verwoorde vereisten in acht nemen, en leggen dit voor aan de betrokken Colleges van Bestuur. Deze stellen, bij instemming met het voorstel, de commissie in. Tevens wordt een werkprogramma voor de commissie opgesteld. Daarnaast worden afspraken gemaakt over de ambtelijke ondersteuning van de commissie. 2.2.
Voorbereiding mid-term reviews
In het schema in paragraaf 1.2 is aangegeven wanneer van elke faculteit de mid-term review wordt verwacht. Uitgangspunt hierbij is steeds het jaar waarin de site visit van de externe onderzoeksbeoordeling heeft plaatsgevonden. Het hoofddoel van de mid-term review is enerzijds het evalueren van de conclusies en aanbevelingen uit de vorige externe beoordeling en anderzijds het formuleren van nog te ondernemen acties. De mid-term review heeft dus nadrukkelijk een retrospectief en een prospectief karakter. De mid-term review is een interne procedure en is bedoeld als een ‘lichte’ procedure. Hoewel de mid-term review een minder zwaar karakter heeft dan voorheen, vindt het College van Bestuur het nog steeds van groot belang dat deze zorgvuldig en volledig wordt uitgevoerd. Het oogpunt van de mid-term review is hetzelfde als dat van de externe beoordeling, maar in de uitvoering is hij eenvoudiger van aard. 2.2.1. Vergelijking De mid-term review is bedoeld als een interne en lichte procedure. Dit betekent dat deze niet gezamelijk met andere nationale en/of internationale onderzoeksgroepen uitgevoerd hoeft te worden. Mocht er vanuit de faculteit toch interesse bestaan voor nationale en/of internationale vergelijking bij de mid-term review, dan staat het haar vrij dit te doen. 2.2.2. Zelfevaluatie Voorafgaand aan de mid-term review dient door de faculteit een zelfevaluatie te worden uitgevoerd. De zelfevaluatie dient als input voor de mid-term review en moet minstens vier weken voor de site visit beschikbaar worden gesteld aan de externe onderzoekscommissie. De zelfevaluatie bij de mid-term review heeft andere eisen dan die voor de externe beoordeling. Vanwege het ‘lichte’ karakter van de mid-term review hoeft er minder informatie aangeleverd te worden, maar de volgende onderdelen dienen minimaal een plaats te krijgen in de zelfevaluatie: 1. Een zelfevaluatie rapport ‘light’, met daarin een terugblik op de afgelopen drie jaar en een vooruitblik op de komende drie jaar. Dit rapport hoeft geen SWOTanalyse te bevatten (zie verder SEP, Hoofdstuk 5.1). 2. Een volledig kwantitatief overzicht van de input en output van de faculteit van de afgelopen drie jaar. 2.2.3. Instructies aan commissie De faculteit stelt de instructies aan de evaluatiecommissie, ofwel de Terms of Reference (TOR), op. Het SEP is daarbij uitgangspunt (zie SEP, Hoofdstuk 4.4). De TOR kan worden aangevuld met voor de betreffende mid-term review relevant geachte documenten. De conclusies van de mid-term review hoeven geen kwantitatieve component te bevatten. Een kwalitatieve beoordeling van de onderzoeksgroepen volstaat. 2.2.4. Samenstellen evaluatiecommissie Het College van Bestuur is verantwoordelijk voor het uitnodigen en instellen van de evaluatiecommissie. De faculteit doet hiertoe een voorstel, waarbij ze de in de TOR verwoorde vereisten in acht neemt, en legt dit voor aan het College van Bestuur. Deze stelt, bij instemming met het voorstel, de commissie in.
4
Bestuurlijke hantering onderzoeksbeoordelingen aan de UvT 2009-2015
3.
Bestuurlijke afhandeling
3.2
Bestuurlijke afhandeling externe beoordelingen
3.1.1. Het evaluatierapport De evaluatiecommissie produceert een evaluatierapport op basis van haar bevindingen, waarbij de vereisten uit de TOR in acht worden genomen (zie SEP, Hoofdstuk 6.2). Het rapport wordt door de faculteit gecontroleerd op feitelijke onjuistheden. Daarnaast wordt het rapport door het College van Bestuur beoordeeld op compleetheid en consistentie. Indien er fouten en/of omissies worden aangetroffen, wordt de commissie geïnformeerd op welke gronden dit het geval is. Het College van Bestuur verzoekt de commissie daarbij het rapport zodanig aan te passen dat het wel acceptabel wordt bevonden. In voorkomende gevallen vindt hieraan vooraf overleg plaats tussen College van Bestuur en de betrokken faculteit. 3.1.2. Conclusies Nadat door de commissie het definitieve rapport is opgeleverd, treden het College van Bestuur en de faculteit met elkaar in overleg. De betrokken faculteit wordt door het College van Bestuur gevraagd conclusies te trekken over de toekomst van het onderzoek van de faculteit en het College van Bestuur te informeren over de maatregelen die men aan de hand van deze conclusies voor ogen heeft. De in overleg vastgestelde maatregelen vormen onderdeel van de bestuurlijke agenda van de faculteit (en in voorkomende gevallen van het College van Bestuur). Daarnaast verzoekt het College van Bestuur de faculteit een bestuurlijke reactie te leveren op kwesties die door de commissie in haar rapport naar voren zijn gebracht. Hierin dient tevens aandacht te worden besteed aan de implementatie van de aanbevelingen van de commissie. De bestuurlijke reactie wordt als appendix bij het evaluatierapport gevoegd en vormt er een geheel mee. Het College van Bestuur stelt vervolgens het evaluatierapport definitief vast. 3.1.3. Openbaarmaking resultaten Het evaluatierapport en de bestuurlijke reactie vormen tezamen het resultaat van de externe beoordeling. Het College van Bestuur draagt zorg voor bekendmaking van de resultaten van de externe beoordeling en rapporteert hierover in het jaarverslag van de UvT. De evaluatierapporten en de bestuurlijke reactie worden door het College van Bestuur ook via internet openbaar gemaakt. 3.2.
Bestuurlijke afhandeling mid-term reviews
Na oplevering van de concept mid-term review heeft de faculteit de mogelijkheid om feitelijke onjuistheden in het rapport te laten wijzigen. Na vaststelling van de definitieve mid-term review door de faculteit wordt het rapport besproken met het College van Bestuur. Het College van Bestuur vraagt de faculteit om een bestuurlijke reactie op het rapport. In het jaarverslag van de UvT maakt het College van Bestuur melding van de conclusies die in het rapport worden getrokken. Deze conclusies vormen tevens input voor de externe beoordeling.
5
