Prestatiemeting van wetenschappelijk onderzoek

Prestatiemeting van wetenschappelijk onderzoek

Prestatiemeting van wetenschappelijk onderzoek Een empirische studie naar de doorwerking van universitaire prestatiemeetsystemen

Proefschrift

ter verkrijging van de graad van doctor aan de Technische Universiteit Delft, op gezag van de Rector Magnificus prof. dr. ir. J.T. Fokkema voorzitter van het College voor Promoties, in het openbaar te verdedigen op vrijdag 20 november 2009 om 12.30 uur door Mark PEN doctorandus in de sociale geografie geboren te Heerenveen

Dit proefschrift is goedgekeurd door de promotor: Prof. mr. dr. J.A. de Bruijn

Samenstelling promotiecommissie: Rector Magnificus, voorzitter Prof. mr. dr. J.A. de Bruijn, Technische Universiteit Delft, promotor Prof. dr. P.A.A. van den Besselaar, Universiteit van Amsterdam Prof. dr. J.J. Boonstra, Universiteit van Amsterdam Prof. mr. dr. E.F. ten Heuvelhof, Technische Universiteit Delft Prof. dr. ir. H. Priemus, Technische Universiteit Delft Prof. dr. M.J.W. van Twist, Erasmus Universiteit Rotterdam

© 2009 Mark Pen / Uitgeverij LEMMA Behoudens de in of krachtens de Auteurswet gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch, door fotokopieën, opnamen of enige andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever. Voor zover het maken van reprografische verveelvoudigingen uit deze uitgave is toegestaan op grond van artikel 16h Auteurswet dient men de daarvoor wettelijk verschuldigde vergoedingen te voldoen aan de Stichting Reprorecht (Postbus 3051, 2130 KB Hoofddorp, www.reprorecht.nl). Voor het overnemen van (een) gedeelte(n) uit deze uitgave in bloemlezingen, readers en andere compilatiewerken (art. 16 Auteurswet) kan men zich wenden tot de Stichting PRO (Stichting Publicatie- en Reproductierechten Organisatie, Postbus 3060, 2130 KB Hoofddorp, www.cedar.nl/pro). No part of this book may be reproduced in any form, by print, photoprint, microfilm or any other means without written permission from the publisher. ISBN 978-90-5931-527-3 NUR 805 www.lemma.nl

Inhoudsopgave

Samenvatting

ix

1

Inleiding

1

1.1 1.2 1.3 1.4 1.5

De opmars van prestatiemeting De volgende stap: prestatiefinanciering Kritiek van onderzoekers Probleemstelling Opbouw van dit onderzoek

1 3 5 7 8

2

De kaart van universitair Nederland

11

2.1 2.2 2.3 2.4 2.5 2.6 2.7

Over universiteiten, onderzoekers en wetenschapsgebieden Prestatiefinanciering in de eerste geldstroom: een korte geschiedenis Tweede en derde geldstroom: per definitie prestatiegebonden Invloed van rankings op imago van universiteiten Conclusie: prestaties belangrijker voor onderzoeksfinanciering Problematiek van simpele outputgeoriënteerde verdeelmodellen Diepgaandere benaderingswijzen van onderzoeksoutput

11 16 18 19 20 21 27

3

Over de werking van prestatiemeetsystemen

37

3.1 3.2 3.3 3.4 3.5 3.6 3.7

Modelmatige managerial noties Het perspectief van wetenschappelijke professionals Kanttekeningen bij ideaaltypische kenmerken van professionals Heilzame effecten van prestatiemeetsystemen Perverse effecten van prestatiemeetsystemen Tussenconclusie: randvoorwaarden voor prestatiemeting En verder: aandacht voor de context of discovery

37 40 44 48 51 61 64

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK 4

Aanpak en analysekader voor case-onderzoek

77

4.1 4.2 4.3 4.4 4.5

Voorwaarden voor case-onderzoek Selectie van cases Onderzoeksvragen en dataverzameling Fasering van het veldwerk Analysekader

77 78 79 81 82

5

Case 1: Technische Natuurwetenschappen

85

5.1 5.2 5.3 5.4 5.5

De onderzoeksomgeving Het prestatiemeetsysteem Managing professionals over het prestatiemeetsysteem Kwantitatieve ontwikkelingen in output en budgetten Conclusies

85 85 89 95 97

6

Case 2: Geneeskunde en Gezondheidswetenschappen

99

6.1 6.2 6.3 6.4 6.5


99 100 103 113 117

7

Case 3: Economische Wetenschappen en Bedrijfskunde

119

7.1 7.2 7.3 7.4 7.5


119 119 122 129 131

8

Case 4: Sociale Wetenschappen

133

8.1 8.2 8.3 8.4 8.5


133 133 135 143 144

INHOUDSOPGAVE 9

Analyse van het case-onderzoek

147

9.1 9.2 9.3 9.4 9.5 9.6 9.7

Achtergrond en kenmerken van de prestatiemeetsystemen Eerste observatie: de systemen zijn schamel Betekenis van de prestatiemeetsystemen Tweede observatie: de schamele systemen hebben toch positieve effecten Verklarende factoren: demping, boundary spanning en embeddedness Derde observatie: prestatiemeting heeft ook een symbolische waarde Beperkingen van prestatiemeetsystemen als sturingsinstrument

148 151 151 156 157 161 162

10

Ontwerpprincipes voor prestatiemeetsystemen

165

10.1 10.2 10.3 10.4

Basale voorwaarden Ruimte voor dempingsfactoren Ruimte voor compenserende factoren Tot slot: agenda voor een dialoog over prestatiemeetsystemen

165 166 167 168

Literatuur

169

Bijlagen

185

Bijlage 1: Verkennende gesprekken Bijlage 2: Stellingenlijst voor case-onderzoek Bijlage 3: Interviews en resultaten case 1 Bijlage 4: Interviews en resultaten case 2 Bijlage 5: Interviews en resultaten case 3 Bijlage 6: Interviews en resultaten case 4 Bijlage 7: Vier prestatiemeetsystemen vergeleken

187 189 193 195 197 199 201

Summary

205

Dankwoord

209

Curriculum vitae

211

ix

Samenvatting Prestatiemeting van universitair onderzoek is de laatste jaren sterk in opkomst geraakt. Onder prestatiemeting wordt verstaan het proces van verzamelen, consolideren, verwerken en distribueren van prestatie-informatie. Prestatiemeting in universiteiten kan zich richten op het meten van verworven onderzoeksmiddelen (bijvoorbeeld extern onderzoeksgeld), geproduceerde wetenschappelijke output (bijvoorbeeld wetenschappelijke publicaties, monografieën, vakpublicaties, proefschriften, ontwerpen of octrooien) en effecten van onderzoek (bijvoorbeeld citaties of maatschappelijke toepassingen). Prestatiemeting kan zich ook richten op het meten van de organisatie- en proceskenmerken die onderzoeksprestaties beïnvloeden (bijvoorbeeld aantal promoties, postdocplaatsen, aandeel projectfinanciering). De resultaten van universitaire prestatiemeting kunnen vrijblijvend zijn, vooral bedoeld om inzicht te krijgen in de productiviteit van onderzoekers, maar prestatie-informatie kan ook de basis vormen voor strategisch beleid en de allocatie van interne middelen. Het lijkt er sterk op dat outputgeoriënteerde prestatiefinanciering steeds verder doordringt tot in de haarvaten van het universitaire onderzoek. Dat is het gevolg van de toenemende verzakelijking van de universitaire organisatie, waarin onderzoeksprestaties, -coördinatie en -verantwoording belangrijker worden. Bestuurders en onderzoeksmanagers zoeken steeds vaker naar mogelijkheden om het geld bij de best presterende groepen te krijgen (allocatiedoel) of prestatieprikkels te geven (prestatiedoel). Onderzoekers hechten over het algemeen veel belang aan onderzoekskwaliteit. In de wetenschappelijke traditie bepalen peers (vakcollega’s, ‘gelijken’) of onderzoek van voldoende kwaliteit is. Dat gebeurt onder meer bij het toekennen van onderzoekssubsidies, het plaatsen van artikelen in wetenschappelijke tijdschriften, bij prijzen, benoemingen en erkenningen. Naast dit aloude systeem van peer review, dat op tal van plekken in de wetenschappelijke professie is ingebed, staan steeds vaker prestatiemeetsystemen die niet zozeer een oordeel vellen, als wel kwantificeren. Veel universitaire onderzoekers zuchten onder de administratieve last van het kwantificeren van onderzoeksprestaties en de aanverwante bureaucratie. Zij wijzen er bijvoorbeeld op dat onderzoeksprestaties weliswaar meetbaar zijn, maar wat deze cijfers vervolgens betekenen, vormt onderwerp van discussie. Hoe kunnen outputcijfers zinvol worden geïnterpreteerd? Hoe kunnen zij op verantwoorde wijze worden vertaald naar onderzoeksbudgetten? In de praktijk blijkt dat de variëteit in onderzoeksoutput binnen universiteiten en faculteiten groot is, wat het onderling vergelijken van output lastig maakt. Bovendien, outputgeoriënteerde prestatiemeting zet aan tot perversiteiten, zoals het dupliceren van onderzoeksoutput, het vermijden van risicovol onderzoek dat niet direct tot publicaties leidt of het uitsmeren van onderzoeksresultaten over meerdere publicaties.

x

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK

In dit onderzoek staat de vraag centraal welke effecten prestatiemeetsystemen hebben in de wetenschappelijke praktijk, of ze betekenisvol kunnen zijn voor zowel managers als professionals, en zo ja, onder welke voorwaarden. Voor het beantwoorden van deze vraag zijn theoretische inzichten en bestaand empirisch onderzoek bestudeerd. Daarnaast is onderzoek gedaan in vier faculteiten (technische natuurwetenschappen, geneeskunde, economische wetenschappen en sociale wetenschappen) van verschillende universiteiten waar onderzoeksgeld uit de eerste geldstroom al enige jaren wordt verdeeld via een prestatiemeetsysteem. Om inzicht te krijgen in de betekenis van die systemen voor outputfinanciering zijn facultaire documenten bestudeerd en interviews afgenomen. De focus lag op de managing professionals (afdelingshoofden, onderzoekscoördinatoren). Enerzijds hebben zij managementtaken en zijn zij verantwoordelijk voor de aansturing van het onderzoek. Anderzijds zijn zij hoogleraar en komen zij voort uit de wetenschappelijke professie. Daardoor kennen zij de drijfveren van onderzoekers en begrijpen zij de wetenschapsinhoudelijke belangen van onderzoekers, concurrentieverhoudingen met andere onderzoeksinstellingen, het nut van samenwerking met externe partijen en kansen voor interdisciplinair onderzoek. Vanuit hun professionele achtergrond weten managing professionals hoe het prestatiemeetsysteem de onderzoekspraktijk kan stimuleren of frustreren. Uit het empirisch onderzoek komt naar voren dat prestatiemeetsystemen eigenlijk niet in staat zijn de grote variëteit aan onderzoeksoutput een plek te geven. De systemen kunnen de variëteit aan onderzoeksoutput niet aan. Veel typen output worden niet meegeteld. Er is over het algemeen ook weinig ruimte om te komen tot een gezamenlijke interpretatie van prestatiecijfers; de cijfers worden gemeten en de professional krijgt geen ruimte de betekenis van die cijfers toe te lichten. De cijfers worden direct vertaald in onderzoeksbudgetten. Die bevindingen leverden een eerste observatie op: de prestatiemeetsystemen zijn schamel en rigide. Vervolgens is gekeken welke effecten de systemen hebben. De systemen blijken te leiden tot een toename van gemeten output (productietoename op prestatieindicatoren). Maar er blijkt nauwelijks sprake van een reallocatie van onderzoeksmiddelen naar de best presterende eenheden. Dit komt doordat slechts een deel van het onderzoeksgeld via het systeem wordt verdeeld en er nog alternatieve manieren zijn om middelen uit de eerste geldstroom te verwerven. Dat er weinig reallocatie plaatsvindt is opmerkelijk, omdat prestatiebeloning impliceert dat positieve scores beter worden beloond dan minder positieve scores. Tegelijkertijd blijkt, opvallend genoeg, dat de managing professionals vrij positief oordelen over de prestatiemeetsystemen, ondanks dat de systemen schamel en rigide zijn. Over het algemeen zijn de systemen voor de managing professionals niet meer

SAMENVATTING

xi

weg te denken uit de faculteiten. De systemen hebben, alle inhoudelijke beperkingen ten spijt, bijgedragen aan een zekere prestatiegerichtheid. De systemen zetten aan tot publiceren in tijdschriften die ertoe doen in het vakgebied. De hogere onderzoeksproductie wordt vooral toegeschreven aan het vervangingseffect dat na verloop van tijd optreedt: zwak presterende onderzoekers worden vervangen door beter presterende onderzoekers. Er is nog een ander opvallend punt. De literatuur voorspelt dat een directe koppeling tussen geld en prestaties tot perversiteiten leidt. Daarvan lijkt echter niet of nauwelijks sprake. Perverse effecten, zoals verwaarlozing van niet-gemeten taken, afname van innovatie, afname van samenwerking en een overmatige fixatie op prestaties die gemeten worden, lijken niet of nauwelijks voor te komen. Bovenstaande bevindingen leiden tot de conclusie dat de systemen weliswaar geen recht doen aan de variëteit in onderzoeksoutput en een zekere starheid hebben, maar desondanks kunnen rekenen op de goedkeuring van managing professionals. Er is een aantal verklarende factoren gevonden voor deze paradox. Ten eerste zijn er tal van dempende krachten in het prestatiemeetsysteem. Bijvoorbeeld, systemen hebben in financiële zin een beperkte betekenis, er is een aanzienlijk tijdsgat tussen prestatie en beloning en de reikwijdte van de systemen is beperkt. Deze dempende krachten zorgen er voor dat de systemen vaak geen directe prikkels afgeven, maar wel bijdragen aan een prestatiegerichte cultuur. Ten tweede vormen de managing professionals een ‘hitteschild’: een werende laag tegen te dominante prikkels van het systeem die perversiteiten uitlokken. Deze vorm van boundary spanning draagt bij aan het vertrouwen in het prestatiemeetsysteem. Ten derde is er in de faculteiten naast het prestatiemeetsysteem ruimte voor andere zienswijzen en beoordelingssystemen voor onderzoek. In de universitaire praktijk worden onderzoeksprestaties vanuit verschillende kanten gemeten. Met andere woorden: de systemen zijn ingebed in een reeks van andere systemen en processen voor onderzoeksevaluatie. Tot slot is er een groot aandeel externe financiering van universitair onderzoek met als gevolg dat het onderzoeksmanagement (en de prikkelstructuur) deels van buiten de instelling komt. Externe werfkracht kan vaak meer opleveren dan ‘scoren’ in het interne prestatiemeetsysteem van de faculteit. De hoge waardering maar tegelijkertijd beperkte doorwerking van prestatiemeetsystemen, als gevolg van de dempingsfactoren, leidt tot de conclusie dat de systemen vaak vooral een symbolische waarde hebben. De systemen voorzien nauwelijks in een voor de onderzoekers voelbare koppeling tussen prestatie en beloning, maar dragen op termijn wel bij aan een gestage toename van productiviteit, gemeten naar de maatstaven van het systeem. Aan de symbolische waarde ontlenen de systemen paradoxaal genoeg hun effectiviteit. De systemen laten vooral zien dat de faculteit prestaties belangrijk vindt en dat ze worden beloond. Dat de doorwerking in de praktijk meevalt, lijkt er weinig toe te doen.

xii


Het voorgaande leidt tot een drietal ontwerpprincipes voor prestatiemeting van wetenschappelijk onderzoek: -

Basale ontwerpprincipes. Volgens bestaande inzichten uit de literatuur behoren prestatiemeetsystemen in professionele organisaties te voldoen aan enkele basale voorwaarden. Die hebben betrekking op de legitimiteit van indicatoren, een variëteit aan indicatoren, dynamiek of aanpassingsvermogen van het systeem, controleerbaarheid van cijfers, duidelijkheid over de functies van het systeem en ruimte voor gezamenlijke betekenisgeving van prestatiecijfers door manager (beoordelaar) en professional (beoordeelde). Aan dit normatieve kader blijkt in de onderzochte praktijk maar ten dele (en soms zelfs nauwelijks) te worden voldaan. Om mogelijke negatieve gevolgen te voorkomen of te neutraliseren is ruimte gecreëerd voor demping en compenserende factoren.

-

Ruimte voor dempingsfactoren. In de praktijk blijkt dat prestatiemeetsystemen voor wetenschappelijk onderzoek niet alle soorten professionele output kunnen omvatten. Om effectief te zijn, kan een prestatiemeetsysteem paradoxaal genoeg slechts een beperkte doorwerking in het professionele proces hebben. Demping draagt bij aan die beperkte doorwerking en daarmee aan de fairness van het systeem. Demping kan te maken hebben met het uitsluiten van bepaalde onderzoekers, het toestaan van uitzonderingsgevallen, het creëren van een tijdsgat tussen prestatie en beloning en het vormen van een ‘hitteschild’ tussen het systeem en de onderzoeker. De managing professional vormt in de praktijk vaak het hitteschild. Die filtert perverse systeemprikkels.

-

Ruimte voor compenserende factoren. Naast dempingsfactoren in het systeem, is het heilzaam ruimte te creëren voor alternatieve zienswijzen en beoordelingsinstrumenten. Een praktijk waarin slechts een deel van het interne onderzoeksgeld via het prestatiemeetsysteem wordt verdeeld, biedt ruimte om ook professionele producten of initiatieven te belonen die niet direct meetbaar zijn of buiten het systeem zijn gehouden. Daarnaast hoeft een facultair of universitair prestatiemeetsysteem niet op zichzelf te staan. Onderzoeksprestaties kunnen op meervoudige wijze benaderd worden. Andere research management instrumenten, beleidsgelden, interne subsidies en financiële regelingen vullen de leemten van het prestatiemeetsysteem of neutraliseren ongewenste effecten. De instrumenten kunnen de waarden uit het prestatiemeetsysteem versterken, maar ook tegenspreken. Deze meervoudigheid en redundantie past in een omgeving van wetenschappelijk onderzoek, waarin onderzoeksoutput niet altijd langs dezelfde meetlat gelegd kan worden.

1

1

Inleiding

1.1

De opmars van prestatiemeting

Prestaties van universitair onderzoek staan de laatste jaren steeds meer in de belangstelling van universitaire bestuurders, decanen, onderzoeksdirecteuren, afdelingshoofden en onderzoekers. Het tellen van publicaties en citaties is een normale activiteit geworden in universiteiten. Deze ontwikkeling past in een trend van toenemende aandacht voor evaluatie en verantwoording van wetenschappelijk onderzoek. Dit beeld staat haaks op de werkwijze van de academia tot ongeveer 1970. Het meten en beoordelen van onderzoeksprestaties was tot dan toe veel minder indringend dan tegenwoordig. Universiteiten hadden een grote afstand tot de overheid en samenleving. Onderzoekers bepaalden redelijk onafhankelijk van elkaar welke onderwerpen en vraagstellingen centraal stonden en het was niet gewoon hierover intern of extern verantwoording af te leggen. Als gezamenlijke keuzes moesten worden gemaakt over de verdeling van geld, werd gestreefd naar consensus. Hoogleraren, die binnen hun wetenschappelijke discipline het onderzoek coördineren, hadden over het algemeen de neiging elkaar zoveel mogelijk te ontzien.1 Dit model had tot gevolg dat de wetenschap een optelsom was van keuzen, wensen en belangen van individuele hoogleraren.2 Een gecoördineerd onderzoeksbeleid bestond nauwelijks. De autonome wetenschapsbeoefening werd mede mogelijk gemaakt doordat de overheid zich weinig met de wetenschapssector bemoeide.3 Zo ontstaan twee beelden van de universitaire onderzoeksgemeenschap: een waarin onderzoekers een grote mate van bewegingsvrijheid hebben en een waarin veel aandacht is voor onderzoekscoördinatie en verantwoording van onderzoeksprestaties. Hier wordt niet ingegaan op de vraag welk van de beelden moet prevaleren. Feit is dat de aandacht voor onderzoekscoördinatie, prestatiemeting en accountability sterk is toegenomen in de afgelopen decennia. De belangstelling voor sturing en verantwoording van wetenschappelijk onderzoek begon in de jaren zestig van de vorige eeuw toen de autonome positie van wetenschappers werd aangetast door bemoeienis van buitenaf. De politiek en samenleving hadden kennisvragen en verwachtten antwoorden van de wetenschap.4 Op nationaal niveau ontstond een behoefte aan strategische onderzoeksprogrammering. Onderzoek moest op middellange termijn een duidelijk doel dienen.5 Deze veranderende opvatting leidde onder andere tot de oprichting van de Raad van Advies voor Wetenschapsbeleid in 1966 (tegenwoordig Adviesraad voor Wetenschap en Technologie). Ook verscheen in dat jaar de eerste nota Wetenschapsbudget, waarin rijksdoelstellingen voor de wetenschapssector waren opgenomen. In de jaren daarna verschenen meer beleidsnota’s, werd een aparte hoofddirectie Wetenschapsbeleid op

2


het ministerie van Onderwijs en Wetenschappen opgericht en werd een ministerspost voor wetenschapsbeleid ingesteld. Het was allemaal bedoeld om op macroniveau verbindingen te leggen tussen de wetenschappelijke professie en de wensen van politiekbestuurlijke en maatschappelijke actoren. Sindsdien zijn verschillende beleidsoperaties uitgevoerd met als doel de openheid, doelmatigheid, kwaliteit en flexibiliteit van universiteiten te vergroten. Termen als taakverdeling, concentratie, coördinatie, zwaartepunten, tijdelijke en voorwaardelijke financiering werden in de decennia daarna veelvuldig gebruikt in het jargon van het wetenschapsbeleid. De beleidsdrukte in de wetenschapssector vertaalde zich ook naar het universitaire instellingsniveau. Universiteiten kregen, mede door de druk van buitenaf, steeds meer behoefte aan outputcijfers, citatie-analyses en onderzoeksevaluaties voor de onderbouwing van onderzoeksbeleid en het maken van financiële keuzes. Dit deed zich overigens niet alleen in Nederland voor, maar ook in andere Westerse landen was sprake van een toenemende belangstelling voor kwantiteit, kwaliteit en relevantie van wetenschappelijk onderzoek.6 Universiteiten lieten aan de buitenwereld zien dat onderzoeksbeleid werd gemaakt om wetenschappelijke samenhang en toponderzoek te bevorderen. De brede aandacht voor effectiviteit en efficiency bracht sommigen ertoe te spreken van de opkomst van de McUniversity, waarin veel nadruk ligt op organisatiestructuren, businessmodellen, public relations en een strategische allocatie van middelen.7 Onderzoekers leken steeds meer te zuchten onder de last van de toegenomen bureaucratie en het marktdenken. De wetenschappelijke vrijheid om op strategisch niveau het onderzoek te bepalen was ingedamd doordat steeds meer onderzoeksmiddelen waren toegewezen aan specifieke aandachtsgebieden. Op de golven van het beleid van de overheid, onderzoeksfinanciers en universitaire bestuurders, die bepaalden in welke onderzoeksgebieden geïnvesteerd moest worden, konden onderzoekers met concrete voorstellen komen. Onderzoeksvoorstellen werden gehonoreerd naar mate die beter aansloten bij de doelstellingen van het beleid. Belangrijke verdeelcriteria waren de relevantie van het voorstel en de past performance van de betrokken onderzoekers. Om inzicht te hebben in de behaalde resultaten uit het verleden werd het steeds belangrijker voor onderzoekers en onderzoeksmanagers om de track record van onderzoeksprestaties bij te houden. Prestatiemeting is steeds verder doorgedrongen in de wetenschapspraktijk en dit instrument wordt meer en meer gebruikt als middel voor verantwoording en allocatie van onderzoeksgeld. Maar veel onderzoekers zijn tegelijkertijd ook huiverig voor de simplistische outputtellingen. Productielijstjes geven weinig of geen inzicht in de wetenschappelijke kwaliteit en maatschappelijke betekenis van onderzoek. Daarom oordelen onderzoekers in het algemeen positiever over peer review als methode voor het in

1. INLEIDING

3

beeld brengen van onderzoeksprestaties. Bij peer review kijken peers (vakcollega’s, ‘gelijken’) naar de competentie, significantie en originaliteit van onderzoekswerk.8 Bij de beoordeling van competentie van het onderzoek gaat het om de vraag of het methodologisch juist is uitgevoerd, of – indien het onderzoek nog moet plaatsvinden – uitgevoerd gaat worden. Bij significantie of relevantie wordt bekeken of de resultaten betekenisvol zijn voor de wetenschap of maatschappij, of betekenisvol kunnen worden. Bij relevantie kan onderscheid gemaakt worden tussen de mogelijkheid voor praktische toepassingen (instrumentele relevantie), de bijdrage aan doorbraken in technologische ontwikkeling (innovatieve relevantie), de bijdrage aan kennisvermeerdering en de opbouw van paradigma’s (intrinsieke relevantie) en de bijdrage aan besluitvorming en beleidsontwikkeling (contributieve relevantie).9 De originaliteit heeft betrekking op de mate waarin het onderzoek vernieuwend is. Ver voor de verzakelijking in universiteiten en de opkomst van outputtellingen was peer review al een integraal onderdeel van het wetenschapssysteem; onderzoekers nemen elkaar voortdurend de maat.10 Met de verzakelijkingstendens in het wetenschapsbedrijf heeft het aloude peer review in de afgelopen jaren dus steeds meer concurrentie gekregen van kwantitatieve methoden voor het in kaart brengen van onderzoeksprestaties. Peer review wordt soms geassocieerd met de schijn van vriendendiensten en belangenverstrengeling. In de zoektocht van bestuurders en beleidsmakers naar objectievere maatstaven voor onderzoeksbeoordeling heeft prestatiemeting haar opmars gemaakt. Onder prestatiemeting wordt verstaan het proces van verzamelen, consolideren, verwerken en distribueren van prestatie-informatie. Prestatiemeting kan zich richten op het meten van verworven middelen (bijvoorbeeld extern onderzoeksgeld), geproduceerde output (bijvoorbeeld wetenschappelijke publicaties, monografieën, vakpublicaties, proefschriften, ontwerpen of octrooien) en effecten (bijvoorbeeld citaties of maatschappelijke toepassingen). Prestatiemeting kan ook gericht zijn op het meten van de organisatiekenmerken en processen die onderzoeksprestaties beïnvloeden (bijvoorbeeld aantal promoties, postdocplaatsen, aandeel projectfinanciering). De resultaten van prestatiemeting kunnen vrijblijvend zijn, vooral bedoeld om inzicht te krijgen in prestaties, maar prestatie-informatie kan ook de basis zijn voor strategisch beleid en de allocatie van middelen in een organisatie.11 Welke prestatiemaatstaven worden gekozen is afhankelijk van de doelen die worden nagestreefd en welke prestaties belangrijk worden gevonden.12

1.2

De volgende stap: prestatiefinanciering

Een toenemend aantal faculteiten werkt met financiële allocatiemodellen waarin gekwantificeerde onderzoeksprestaties een rol spelen. Die trend past in een landelijke beweging waarin prestatie-informatie wordt gebruikt voor de verdeling van onderzoeksgeld. Op nationaal niveau wordt in Nederland sinds de jaren negentig van de

4


vorige eeuw een deel van de eerste geldstroom, de basisfinanciering voor universiteiten, door het ministerie van Onderwijs, Cultuur en Wetenschap (OCW) verdeeld op basis van enkele prestatieparameters, zoals aantallen promoties, deelname aan onderzoeksscholen (interuniversitaire samenwerkingsverbanden) en onderwijsdiploma’s. In de meeste universiteiten worden de rijksparameters doorvertaald bij de interne verdeling van rijksmiddelen uit de eerste geldstroom. Een faculteit of onderzoeksinstituut in een universiteit krijgt meer of minder geld afhankelijk van de prestaties op de rijksparameters. Enkele universiteiten verdelen onderzoeksgeld uit de eerste geldstroom ook op basis van eigen prestatiecriteria. De Technische Universiteit Delft verdeelt bijvoorbeeld eerste geldstroom op basis van aantallen publicaties (verdeeld naar hoog- en laaggewaardeerde publicaties) en octrooien. Andere universiteiten kijken naar de verdiencapaciteit in de tweede en derde geldstroom van faculteiten of onderzoeksinstituten. De tweede geldstroom bestaat uit programma-, projecten persoonsgebonden financiering van de Nederlandse organisatie voor Wetenschappelijk Onderzoek (NWO) en de Koninklijke Nederlandse Akademie van Wetenschappen (KNAW). Deze middelen worden in een competitief proces verworven. De derde geldstroom wordt gevormd door onderzoeksbudgetten van overheden, bedrijven, Europese Unie, onderzoeksfondsen en maatschappelijke organisaties. Ook deze middelen worden verstrekt aan de onderzoekers met de beste ideeën, voorstellen of past performance. Hoe meer tweede en derde geldstroom in concurrentie met andere onderzoeksgroepen is binnengehaald, hoe beter de onderzoeksgroep relatief scoort in het wetenschappelijke veld.13 Nederlandse universiteiten verdelen ook steeds vaker geld op basis van de scores die faculteiten of instituten behalen bij externe onderzoeksevaluaties (visitaties). Bij een externe evaluatie wordt een onderzoekseenheid beoordeeld door (inter)nationale peers. Hierbij wordt een vijfpuntsschaal gebruikt. Een kwalitatief oordeel wordt in feite een kwantitatief oordeel. Een hoge score (4 – very good, of 5 – excellent) kan in veel gevallen een financiële beloning opleveren. Ook citatiescores worden regelmatig betrokken in allocatiemodellen, hoewel die uitsluitend toepasbaar zijn in die wetenschapsgebieden waar citaties worden gemeten. Voor grote delen van de geestes- en sociale wetenschappen is dat nagenoeg onmogelijk, omdat die niet publiceren in tijdschriften die in de databases voor de berekening van citatiescores zijn opgenomen. Hoewel universitaire allocatiemodellen op objectieve gronden onderzoeksgeld verdelen doet zich ook een aantal problemen voor. Een van de voornaamste knelpunten is het bepalen van wat goed en minder goed onderzoek is. Welke prestaties zijn relevant? Hoe worden prestaties ten opzichte van elkaar gewogen? Is een artikel van tien pagina’s in een hooggewaardeerd tijdschrift meer waard dan een monografie van een paar

1. INLEIDING

5

honderd pagina’s of andersom? Wat zegt kwantiteit over kwaliteit van onderzoek? En hoe om te gaan met de grote verschillen in publicatieculturen tussen wetenschapsgebieden? Tegenstanders van prestatiemeting betogen dat prestatiemeting aanzet tot kortetermijndenken, waardoor het dupliceren van bestaand werk meer oplevert dan investeren in nieuwe wetenschapsgebieden wat niet meteen tot een rijke oogst leidt. Ondanks de vele bedenkingen zijn er partijen die pleiten voor meer outputgeoriënteerde financieringsmodellen, omdat die een prikkel vormen voor betere prestaties. Het Centraal Planbureau bijvoorbeeld, pleitte voor de verdeling van een groter aandeel overheidsfinanciering op basis van meetbare onderzoeksoutput of economische effecten van onderzoek. In het rapport ‘Prikkel de prof’ is aangedrongen op prestatiefinanciering over de volle breedte van het wetenschapssysteem.14 Ook de minister van OCW van het vorige kabinet toonde zich in 2004 enthousiast over deze gedachte, blijkend uit een passage in de nota Wetenschapsbudget: ‘Voor de lange termijn wil ik toe naar een systematische vaststelling van de onderzoeksoutput, kwantitatief en kwalitatief, die periodieke herverdeling mogelijk maakt in de richting van de best presterende universiteiten of onderdelen daarvan.’ 15

Sinds het verschijnen van de nota is langs verschillende wegen gezocht naar mogelijkheden voor meer prestatiefinanciering op nationaal niveau.

1.3

Kritiek van onderzoekers

Wetenschappelijke onderzoekers oordelen kritisch over bestuurlijke bravoure om geld te verdelen naar rato van kwantitatieve maatstaven. Vaak wordt gewaarschuwd dat het principe publish or perish en de nadruk op ‘het getal’ kan leiden tot perverse effecten, zoals een afname van creativiteit en salami-style-publishing (onderzoeksresultaten uitsmeren over een groter aantal publicaties). Er is veel meer waardering voor peer-topeer-judgement.16 Ook wordt ervoor gepleit onderzoekers meer vertrouwen te geven en minder nadruk te leggen op een controle- en verantwoordingscultuur. Abram de Swaan, universiteitshoogleraar sociale wetenschap aan de Universiteit van Amsterdam schreef in 2005 in een opiniestuk in de Volkskrant: ‘De meeste universitaire onderzoekers zijn habituele zelfuitbuiters. Ze zitten ver buiten de kantooruren nog vergenoegd een boek te lezen of een stuk te schrijven. Alleen al daarom is het niet verstandig ze in te snoeren in roosters of taakschema’s. Dat maakt verantwoording en beoordeling niet overbodig, maar dat moet dan wel spaarzaam, effectief en eerlijk gebeuren. Met die beoordeling gaat het steeds vaker en steeds erger mis. (…) Dat komt doordat in de oordeelsvorming een vreemd feti-

6

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK sjisme zich verbreidt, een afgodische aanbidding van het Cijfer. (…) Maar één vraag wordt haast nooit gesteld: ‘Wat heeft u in de afgelopen tijd ontdekt, bedacht of uitgevonden?’ (…) Meningsvorming en oordeelsvorming verlopen aan de universiteit bijna altijd in collegiaal overleg. Langzamerhand zijn mensen gaan geloven dat zulk redelijk overleg niet genoeg is, dat zij niet op hun gezamenlijk gezag te goeder trouw kunnen oordelen, maar dat er een bijzondere bibliometrische becijfering nodig is. Wat verstandige mensen in goed fatsoen elkaar te vertellen hebben leek opeens zo gewoontjes en zo ouderwets, mensenwerk vol feilen en misgrepen. Dat is het ook. Maar het alternatief is wichelarij.’ 17

Frits van Oostrom, toenmalig president van de Koninklijke Nederlandse Akademie van Wetenschappen (KNAW), opiniëerde in zijn jaarrede van 2007: ‘(…) waar het op zichzelf nobele beginsel meten is weten een monsterverbond aanging met schrik voor het inhoudelijke oordeel, heeft dit geleid tot de verheerlijking van het getal, en liefst het grote en het groeiende. En wat niet telbaar is, telt niet. Het leidt ten diepste tot het overschaduwen van doel (kwaliteit) door middel (meting). Dit zijn natuurlijk zeer verraderlijke mechanismen, met een hoge kans op pervertering, zoals wij allen weten. Want onderzoekers moeten uiteraard wel productief zijn, maar niemand onder ons zal ook maar een moment staande houden dat iemand die dertig artikelen per jaar produceert daarom een betere onderzoeker, laat staan geleerde, is dan iemand met drie.’ 18

Jos de Mul, hoogleraar Filosofie aan de Erasmus Universiteit Rotterdam, stelde: ‘De kwantificering van de kwaliteit is een schijnexactheid, die in het licht van de schaarste der middelen tot bijzonder onrechtvaardig beleid kan leiden. Bovendien leidt het getallenfetisjisme ook gemakkelijk tot een schijnobjectiviteit, aangezien de keurige gelijkvormige lijstjes met getallen de achterliggende visie op wat onderzoek is of zou moeten zijn, verhullen en een eigen leven gaan leiden.’ 19

Ronald Plasterk, toenmalig directeur van het Hubrecht Instituut van de KNAW en hoogleraar Ontwikkelingsgenetica aan de Universiteit Utrecht, merkte in de OCWcourant in 2006 op dat voorkomen moet worden dat sturen op output leidt tot perverse prikkels, ‘waarbij ontdekkingen minder belangrijk worden gevonden dan de publicatie van je artikel door een prominent tijdschrift, en aandacht in de krant, want alleen dát wordt door de beheerder van de faculteit meegeturfd. (…) Je kunt wetenschap niet langs een liniaal meten.’ 20

1. INLEIDING

7

Hans Clevers, hoogleraar Immunologie en eveneens directeur van het Hubrecht Instituut, bepleitte in zijn oratie in 2005 aan de Universiteit Utrecht: ‘Het allerbelangrijkste is de invoering van een breed en streng systeem van beloning naar kwaliteit, waarin externe peer review centraal staat. Het gehele overheidsbudget zou op deze wijze ingezet moeten worden.’ 21

Ook de internationale Research Management Evaluation Committee die de universitaire medische centra in Nederland in 2005 beoordeelde, kwam met een pleidooi voor de allocatie van geld naar rato van kwaliteit. De commissie deed de aanbeveling dat ‘the percentage of research money allocated on the basis of performance needs to be increased. The criteria for performance must be fully explicit. More emphasis needs to be placed on rewarding the highest possible level of quality. The best performing groups and scientists should directly experience the consequences of their better performance with regard to human and financial resources allocated. Parallel to a performance based allocation of research money, a closing-down policy for underperforming groups and research themes needs to be developed and implemented.’ 22

1.4

Probleemstelling

Ondanks de behoefte van bestuurlijke actoren om prestatiemeting te gebruiken bij de allocatie van middelen en de sceptische tegengeluiden van onderzoekers, is er maar weinig onderzoek gedaan naar de wijze waarop prestatiemeetsystemen, de geordende complexen van prestatiemeting, doorwerken tot in de haarvaten van universiteiten. Dit onderzoek gaat over de vraag of, en zo ja onder welke voorwaarden, een prestatiemeetsysteem een zinvol instrument kan zijn in een universiteit. De centrale probleemstelling van dit onderzoek luidt: Welke effecten hebben prestatiemeetsystemen in de wetenschappelijke praktijk, kunnen deze betekenisvol zijn voor zowel managers als professionals, en zo ja, onder welke voorwaarden? Voor de beantwoording van de vraag wordt gezocht naar empirische onderbouwing. Dit wordt belangrijk geacht, omdat al veel normatieve bijdragen over de heilzame en perverse effecten van prestatiemeetsystemen beschikbaar zijn in de literatuur. De beantwoording van de probleemstelling voorziet in een behoefte bij universitaire bestuurders, managers en professionals die inzicht willen krijgen in de doorwerking van het instrument prestatiemeting. De uitkomsten van dit onderzoek moeten een empirisch onderbouwd beeld geven van de positieve en negatieve kanten van prestatiemeting in

8


onderzoeksinstellingen en hiervan afgeleide ontwerpprincipes voor effectieve systemen. Daarnaast voorziet dit onderzoek in een leemte in de wetenschappelijke literatuur over de effecten van prestatiemeetsystemen in wetenschappelijke onderzoeksorganisaties.23

1.5

Opbouw van dit onderzoek

Verkenning van literatuur en theorie: hoofdstuk 2 en 3 Dit onderzoek begint met een verkenning van bestaande inzichten uit de literatuur. In hoofdstuk 2 wordt inzicht geschetst in het Nederlandse universitaire landschap. Gekeken wordt naar de kenmerken van Nederlandse universiteiten, kenmerken van onderzoekers en wetenschapsgebieden en de financiering van wetenschappelijk onderzoek. Verder wordt gekeken naar landelijke en universitaire allocatiemodellen en mogelijkheden om wetenschappelijke prestaties zichtbaar te maken. Dit hoofdstuk is mede gebaseerd op gesprekken in de universitaire sector (bijlage 1). Hoofdstuk 3 laat zien hoe prestatiemeetsystemen werken. Daarbij worden twee perspectieven tegenover elkaar gezet: het managerial perspectief en het perspectief van de professional. In dit hoofdstuk wordt ook onderzocht welke heilzame en persverse effecten prestatiemeetsystemen kunnen hebben en welke randvoorwaarden er zijn voor effectieve systemen. Empirisch onderzoek in vier faculteiten: hoofdstuk 4 tot en met 8 Om inzicht te krijgen in de werking van prestatiemeetsystemen in een wetenschappelijke omgeving is exploratief case-onderzoek uitgevoerd in enkele universiteiten. Deze aanpak biedt ruimte om de theoretische inzichten uit hoofdstuk 2 en 3 in de praktijk te toetsen en verder te ontwikkelen (theory-confirming cases).24 Voor het case-onderzoek is gezocht naar faculteiten waar onderzoeksafdelingen geld ontvangen op basis van hun score op een aantal prestatieparameters. In die faculteiten hebben onderzoeksafdelingen en onderzoekers direct financieel belang bij goede onderzoeksprestaties. In hoofdstuk 4 wordt de aanpak en verantwoording van het case-onderzoek verder toegelicht. De hoofdstukken 5 tot en met 8 behandelen de cases. Vergelijking van de vier systemen: hoofdstuk 9 In hoofdstuk 9 worden de overeenkomsten en verschillen tussen de cases geanalyseerd. Daar worden conclusies getrokken over de effectiviteit van de systemen en de verklarende factoren. Slot: ontwerpprincipes voor prestatiemeetsystemen – hoofdstuk 10 Deze studie besluit met een hoofdstuk over ontwerpprincipes voor prestatiemeetsystemen in universiteiten. Op basis van theoretische en empirische inzichten wordt een aantal randvoorwaarden voor prestatiemeting gedefinieerd.

1. INLEIDING

9

Referenties 1 2

3

4

5

6

7

8

9 10 11

12

Arriëns,T.E.H. (1970), Universitaire bestuursorganisatie, Alphen aan den Rijn: Samsom, p. 116. Boer, H.F. de (2003), Institutionele verandering en professionele autonomie. Een empirisch-verklarende studie naar de doorwerking van de wet ‘Modernisering Universitaire Bestuursorganisatie (MUB)’, proefschrift, Universiteit Twente, p. 72. Spaapen, J.B., C.A.M. van Suyt, A.A.M. Prins & S.S. Blume (1988), De moeizame relatie tussen beleid en onderzoek. Evaluatie van vijf jaar Voorwaardelijke Financiering, Den Haag: Staatsdrukkerij. Camps, T.W.A. (1995), Het besloten concilie der deskundigen. Een studie naar de praktijk van strategische besluitvorming en bestuurlijke informatievoorziening in Nederlandse universiteiten in de periode 1975-1990, proefschrift, Universiteit Twente. Blume, S.S., J.B. Spaapen & A.A.M. Prins (1985), De externe beoordeling van wetenschappelijk onderzoek aan Nederlandse universiteiten en hogescholen. Twee jaar Voorwaardelijke Financiering: een leerproces, Den Haag: Staatsdrukkerij. OECD Group on the Science System (1998), University research in transiton, Paris: OECD. Weijden, I. van der (2007), In search of performance. Research management within the Dutch public medical and health sector, proefschrift, Amsterdam: VU. Morris, N. (2002), The developing role of departments, in: Research Policy, 31(5), pp. 817-833. Parker, M. & D. Jary (1995), The McUniversity: organization, management and academic subjectivity, in: Organization, 2, pp. 319-338. Deem, R. (1998), New managerialism and higher education: the management of performances and cultures in universities in the United Kingdom, in: International Studies in Sociology of Education, 8, pp. 47-70. Sense about Science (2004), Peer review and the acceptance of new scientific ideas, discussion paper from a working party equipping the public with an understanding of peer review, www.senseaboutscience.org, London. Hackman, H., P.J.D. Drenth & J.J.F. Schroots (2004), Evaluating for science: processes and protocols, Amsterdam: ALL European Academies, pp. 12-14. Merton, K.M. (1973), The sociology of science: theoretical and empirical investigations, Chigago: University of Chigago Press. Waal, A.A. de & L.A.F. M. Kerklaan (2003), Prestatiemanagement in de overheid: een overzicht, paper gepubliceerd t.b.v. het seminar New Public Management 2003, Vrije Universiteit Amsterdam, p. 1. Neely, A. (1998), Measuring business performance, why, what and how, London: The Economist Books. Phillimore, A.J. (1988), University research performance indicators in practice: the University Grants Committee’s evaluation of British universities, 1985-1986, in: Research Policy, 18, pp. 255-271.

10

13 14 15 16 17 18 19 20 21

22 23

24


Rip, A. (1999), Research management from the top and from below, Enschede: Universiteit Twente. CPB (2003), Prikkel de prof. Een analyse van de bekostiging van universitair onderzoek. CPB-document 36, Den Haag. Ministerie van OCW (2003), Wetenschapsbudget 2004. Focus op excellentie en meer waarde, Den Haag, p. 10. Obbink, H. (2000), Bureaucratie rondom onderzoek smoort creativiteit, in: Ad Valvas, VU. De Volkskrant 20 augustus 2005. Oostrom, F. van (2007), Markt en ziel, Jaarrede voor de Verenigde Vergadering van de Koninklijke Nederlandse Akademie van Wetenschappen, Amsterdam. Mul, J. de (2005), Publish and perish!, in: Tijdschrift voor Filosofie, 68, pp. 417-434. Citaat van R. Plasterk in: OCW Courant 19 september 2006. Clevers, H. (2005), Hoe maken we de Nederlandse wetenschap beter? Rede uitgesproken bij de aanvaarding van het ambt van hoogleraar in de Faculteit der Diergeneeskunde en in de Faculteit Geneeskunde aan de Universiteit Utrecht op het vakgebied van de Moleculaire Genetica. International Research Management Evaluation Committee (2005), Report on the research management of the university medical centers in the Netherlands, pp. 31-32. Centraal Planbureau (2002), De pijlers onder de kenniseconomie: opties voor institutionele vernieuwing, Den Haag, pp. 123-168. Centraal Planbureau (2003), Prikkel de prof. Een analyse van de bekostiging van universitair onderzoek, Den Haag, pp. 8-9. Jongbloed, B. (2002), Bekostiging van universitair onderzoek: perspectieven op een nieuw sturingsarrangement, rapport van de Werkgroep Financiering Master, Enschede: CHEPS. Koelman, J. & R. Venniker (2001), Public funding of academic research: the Research Assessment Exercise of the UK, in: Higher education reform. Getting the incentives right, Den Haag: Sdu, pp. 102. Lijphart, A. (1971), Comparative politics and the comparative method, in: American Political Science Review, volume 65, p. 691. Eckstein, H. (1975), Case study and theory in political science, in: F.I. Greenstein & N.W. Polsby (eds.), Strategies of inquiry, Reading, MA: Addison-Wesley, pp. 104.

11

2

De kaart van universitair Nederland

De universitaire sector is groot en heeft vele gezichten vanwege de grote verscheidenheid aan taken en disciplines. In de veertien Nederlandse universiteiten werken in totaal ruim veertigduizend mensen die zorgen voor academisch onderwijs, wetenschappelijk onderzoek en kennisoverdracht naar de samenleving. In dit hoofdstuk worden de belangrijkste kenmerken van de universitaire sector, de diversiteit aan wetenschapsgebieden en financiering van wetenschappelijk onderzoek op een rij gezet. De onderwijstaak wordt buiten beschouwing gelaten. Verder wordt gekeken hoe prestaties van wetenschappelijk onderzoek in kaart kunnen worden gebracht.

2.1

Over universiteiten, onderzoekers en wetenschapsgebieden

Veertien Nederlandse universiteiten De Nederlandse universitaire sector vindt zijn oorsprong circa vierhonderd jaar geleden in een tijd waarin in Europa vele universiteiten werden opgericht. Het woord universiteit is afgeleid van het Latijnse universitas magistrorum et scholarium wat ongeveer ‘gemeenschap van onderwijzers en academici’ betekent. De oudste Nederlandse universiteit is die van Leiden (1575). Samen met de Rijksuniversiteit Groningen (1614), Universiteit van Amsterdam (1632) en de Universiteit Utrecht (1636) vormt deze de groep klassieke brede universiteiten. Aan het einde van de negentiende eeuw en in de eerste decennia van de twintigste eeuw werden in Nederland universiteiten opgericht die voortkwamen uit een geloofsrichting: de gereformeerde Vrije Universiteit Amsterdam (1880), de katholieke Radboud Universiteit (1923) en de katholieke Universiteit van Tilburg (1927). In de tweede helft van de twintigste eeuw groeide het aantal universiteiten verder uit tot het huidige aantal van veertien. Relatief jonge universiteiten zijn de Erasmus Universiteit (sinds 1973, daarvoor economische hogeschool), de Universiteit Maastricht (1976), de Landbouwuniversiteit Wageningen (sinds 1986, daarvoor landbouwhogeschool), de Technische Universiteit Delft, Technische Universiteit Eindhoven en Universiteit Twente (alle drie met een universitaire status sinds 1986, daarvoor waren het technische hogescholen). De Open Universiteit is opgericht in 1984 en richt zich op hoger afstandsonderwijs. Deze universiteit is relatief klein en heeft een beperkte onderzoekstaak. Universitair personeel De universiteiten telden eind 2006 in totaal ruim 39.000 full time arbeidsplaatsen. Circa 55 procent van de arbeidsplaatsen zijn wetenschappelijke functies, de rest van de medewerkers werkt in niet-wetenschappelijke functies (ondersteunend en beheerspersoneel). In tabel 2.1 zijn de universiteiten gerangschikt op personeelsomvang. Gemid-

12


deld telt een universiteit ongeveer 3.000 fte, maar de onderlinge verschillen zijn groot. De grootste universiteit (Universiteit Utrecht) is bijna vier keer zo groot als een van de kleinste universiteiten (Universiteit van Tilburg).

Universitair hoofddocent

Universitair docent

Overig WP onderwijs

Overig WP onderzoek

Overig WP

Promovendus

Ondersteuning

Totaal

Personeelsomvang in fte’s van Nederlandse universiteiten naar type functie, ultimo 20081 Hoogleraar

Tabel 2.1

Universiteit Utrecht

279

280

720

365

306

85

906

2 360

5 299

TU Delft

216

246

386

192

519

63

1 024

1 872

4 517

Universiteit van Amsterdam

275

205

442

347

324

25

619

1 651

3 887

Universiteit Leiden

211

128

364

132

290

4

678

1 438

3 246

Rijksuniversiteit Groningen

222

217

322

205

248

12

508

1 573

3 308

Vrije Universiteit

216

190

355

227

307

15

544

1 491

3 345

Radboud Universiteit

201

122

250

191

279

9

467

1 446

2 965

Universiteit Maastricht

129

146

297

183

280

584

1 320

2 939

TU Eindhoven

127

116

268

74

247

178

684

1 044

2 738

Universiteit Twente

125

114

244

65

268

10

627

1 001

2 455

99

130

272

31

241

541

1 015

2 329

Erasmus Universiteit

110

109

232

73

52

6

269

648

1 498

Universiteit van Tilburg

175

101

152

100

89

7

268

639

1 533

31

35

112

72

10

1

32

333

627

2 415

2 139

4 415

2 258

3 460

416

7 749

17 832

40 684

Wageningen Universiteit

Open Universiteit* Totaal

* De Open Universiteit heeft een beperkte onderzoekstaak Cijfers zijn exclusief personeel in dienst van de universitaire medische centra

Universitaire bestuursstructuur De universiteiten kennen tegenwoordig een onderling vergelijkbare interne organisatie. Dit is het gevolg van een de Wet Modernisering Universitaire Bestuursorganisatie (MUB) uit 1997 waarin een aantal uniforme afspraken is vastgelegd. De raad van toezicht is het hoogste orgaan in een universiteit. De raad van toezicht wordt benoemd door de minister van Onderwijs, Cultuur en Wetenschap. De raad houdt toezicht op het functioneren van het college van bestuur en verleent goedkeuring aan strategische instellingsdocumenten, zoals het instellingsplan, de begroting en het jaarverslag. Het college van bestuur is verantwoordelijk voor het bestuur en beheer van de universiteit. Een van de leden van het college van bestuur is de rector magnificus, die de portefeuil-

2. DE KAART VAN UNIVERSITAIR NEDERLAND

13

le wetenschappelijk onderzoek heeft. De rector magnificus kan via de begroting kaderstellende richtlijnen voor wetenschappelijk onderzoek vaststellen. De universitaire structuur bestaat uit faculteiten waarin het onderzoek en onderwijs is georganiseerd. Faculteiten kunnen bestaan uit subfaculteiten of afdelingen waarin onderzoeksdisciplines zijn verenigd. Aan het hoofd van de faculteit staat de decaan. Decanen worden benoemd door het college van bestuur. De decaan geeft, al dan niet gesouffleerd door andere faculteitsbestuurders, leiding aan de faculteit waarbinnen het wetenschappelijk onderzoek is georganiseerd. Een decaan is belast met het vaststellen van algemene richtlijnen voor de wetenschapbeoefening, het vaststellen van een jaarlijks onderzoeksprogramma van de faculteit en het toezicht op de uitvoering van het onderzoeksprogramma. Binnen de faculteiten geven hoogleraren leiding aan het wetenschappelijk onderzoek op hun vakgebied. Universitair hoofddocenten, universitair docenten en (junior) onderzoekers verrichten in teamverband of in zelfstandigheid wetenschappelijk onderzoek. Wat bindt onderzoekers? Hoewel de universitaire sector groot is en onderdak biedt aan veel uiteenlopende vakgebieden, zijn er gemeenschappelijke kenmerken van universitair onderzoek. De zogenoemde CUDOS-normen vertegenwoordigen waarden waarin universitaire onderzoekers zich wereldwijd in moeten herkennen:2 -

-

Communalism: wetenschappelijke resultaten en kennis zijn gemeenschappelijk bezit en moeten zonder belemmeringen kunnen worden uitgewisseld. Universality: iedereen kan deelnemen aan het wetenschappelijke proces. Nationaliteit, culturele verschillen, sekse, ras en religie mogen geen rol spelen in het wetenschappelijke debat. Disinterestedness: wetenschappelijke resultaten moeten objectief en zonder persoonlijk belang gepresenteerd worden. Originality: wetenschappelijke resultaten moeten nieuw zijn. Resultaten van anderen mogen niet gepresenteerd worden zonder bronvermelding. Scepticism: wetenschappelijke resultaten zijn per definitie onderwerp van wetenschappelijke toetsing en kritiek.

De CUDOS-principes representeren het ideaalbeeld waarin onderzoekers sterk collegiaal met elkaar verbonden zijn, elkaars wetenschappelijk werk voortdurend toetsen en streven naar belangeloosheid van onderzoek. Deze principes hebben een sterk normatief karakter. In Nederland zijn binnen de kring van de Vereniging van Nederlandse Universiteiten (VSNU) aanvullende gedragsnormen opgesteld in de Nederlandse Gedragscode Wetenschapsbeoefening.3 De kernpunten uit de gedragscode zijn:

14

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK -

-

-

-

Zorgvuldigheid: wetenschappelijke activiteiten geschieden met zorgvuldigheid. Toenemende prestatiedruk mag daaraan geen afbreuk doen. Betrouwbaarheid: de reputatie van betrouwbaarheid van de wetenschap wordt door iedere wetenschapsbeoefenaar met zijn handelswijze ondersteund en versterkt. Een wetenschapsbeoefenaar is betrouwbaar in de uitvoering van zijn onderzoek en het rapporteren daarover, en evenzeer in de overdracht van zijn kennis in onderwijs en publicaties. Controleerbaarheid: gepresenteerde informatie is controleerbaar. Als onderzoeksresultaten openbaar worden gemaakt, blijkt duidelijk waar de gegevens en de conclusies op zijn gebaseerd, waaraan ze zijn ontleend en waar ze te controleren zijn. Onpartijdigheid: de wetenschapsbeoefenaar laat zich bij zijn wetenschappelijke activiteiten leiden door geen ander belang dan het wetenschappelijk belang. Hij is altijd bereid zich daarvoor te verantwoorden. Onafhankelijkheid: wetenschapsbeoefenaars verrichten hun werk in academische vrijheid en in onafhankelijkheid. Voor zover beperkingen van die vrijheid onvermijdelijk zijn, worden zij zichtbaar gemaakt.

Deze standaarden vormen het gedragskader waarbinnen onderzoekers werken. Jonge onderzoekers worden in deze gedragscode en samenhangende principes geschoold in onderzoekersopleidingen. De Nederlandse universiteiten hebben klachtenregelingen waarin staat vermeld hoe wordt omgegaan met een schending van de wetenschappelijke integriteitsregels. Op nationaal niveau is een Landelijk Orgaan Wetenschappelijke Integriteit (LOWI) ingesteld dat een bemiddelende rol kan spelen als zich binnen universiteiten integriteitsconflicten voordoen die niet via de klachtenregelingen kunnen worden beslecht. Afbakening van wetenschapsgebieden Het universitaire onderzoek kan ruwweg verdeeld worden in de natuurwetenschappen, medische wetenschappen, maatschappijwetenschappen en humaniora. Daarbinnen kunnen weer vele tientallen vakgebieden en subvakgebieden worden onderscheiden. Om een beeld te krijgen van de variëteit aan wetenschapsgebieden kan gekeken worden naar de indeling die koepelorganisaties uit het wetenschapsbestel hebben gemaakt. De Koninklijke Nederlandse Akademie van Wetenschappen (KNAW) kent een hoofdindeling in tien secties: filosofie en theologie, gedrags- en maatschappijwetenschappen, historische wetenschappen, rechtswetenschappen, taal- en literatuurwetenschappen, aardwetenschappen, biologie, geneeskunde, natuur- en sterrenkunde, scheikunde, technische wetenschappen en wiskunde. De Nederlandse organisatie voor Wetenschappelijk Onderzoek (NWO) onderscheidt acht gebieden: aard- en levenswetenschappen, chemische wetenschappen, exacte wetenschappen, geesteswetenschappen, maatschap-


15

pij- en gedragswetenschappen, medische wetenschappen, natuurkunde en technische wetenschappen. De VSNU gaat uit van de indeling in HOOP-gebieden, afgeleid van Hoger Onderwijs en Onderzoek Plan van het ministerie van OCW. Tabel 2.2 toont een overzicht van de universitair personeel naar HOOP-gebied en type functie. Deze tabel toont uitsluitend het personeel in dienst van universiteiten. Het personeel in dienst van de acht universitaire medische centra, dat overwegend behoort tot het HOOP-gebied ‘gezondheid’, is hierin niet opgenomen.

Hoogleraar

Universitair hoofddocent

Universitair docent

Overig WP onderwijs

Overig WP onderzoek

Overig WP

Promovendus

Ondersteuning

Totaal

Tabel 2.2 Personeelsomvang in fte’s per HOOP-gebied en naar type functie, ultimo 20084

Techniek

422

440

804

300

969

247

2 237

1 613

7 034

Natuur

417

351

554

153

978

24

1 726

2 136

6 339

Gedrag & Maatschappij

382

415

914

491

459

15

1 133

1 396

5 205

Taal & Cultuur

398

231

781

404

267

13

619

866

3 579

94

124

232

217

230

56

579

1 032

2 564

Economie

298

231

443

224

136

10

529

694

2 565

Rechten

256

178

324

288

130

8

342

685

2 211

Landbouw

99

129

272

31

240

541

575

1 886

Diversen

48

38

92

150

52

44

43

8 834

9 300

2 415

2 139

4 415

2 258

3 460

416

7 749

17 832

40 684

Gezondheid

Totaal

Cijfers zijn exclusief personeel in dienst van de universitaire medische centra

Wetenschappelijke output Wetenschappelijke onderzoekers staan aan de basis van een grote variëteit aan wetenschappelijke producten en diensten, zoals artikelen in tijdschriften, boeken, bijdragen aan congresbundels, samenvattingen, recensies, annotaties en voordrachten. In uiteenlopende publicatievormen wordt verslag gedaan van onderzoekswerk of wordt onderzoekswerk van anderen kritisch beoordeeld. Wetenschappelijke verslaglegging vormt steeds het eindproduct van onderzoek en is daarmee ook de belangrijkste output. Of wetenschappelijke output veel of weinig betekenend is, hangt af van de kwaliteit, die tot uitdrukking komt in de waardering van het werk door anderen. Die waardering blijkt uit het kwaliteitsoordeel dat anderen geven over het werk of de mate waarin aan het wetenschappelijk werk gerefereerd wordt, blijkend uit (positieve) recensies of citaties.

16

2.2


Prestatiefinanciering in de eerste geldstroom: een korte geschiedenis

Aaneenschakeling van landelijke allocatiemodellen Lange tijd ontvingen universiteiten een rijksbijdrage op basis van het aantal ingeschreven studenten. Welk deel van de rijksbijdrage voor onderwijs of onderzoek bestemd was, was niet gespecificeerd. In 1984 veranderde dit met de invoering van het Plaatsen Geld Model (PGM).5 In het PGM werd onderscheid gemaakt tussen onderzoeks- en onderwijsgeld. Binnen het onderzoeksdeel werd 27 procent van de rijksbijdrage prestatieafhankelijk gemaakt: de Voorwaardelijke Financiering. Om in aanmerking te komen voor de Voorwaardelijke Financiering moesten universiteiten voorstellen voor meerjarige onderzoeksprogramma’s indienen. Die werden beoordeeld op wetenschappelijke kwaliteit en maatschappelijke relevantie. Na twee rondes Voorwaardelijke Financiering werd de maatregel in 1994 afgeschaft. Een herverdeling van geld tussen universiteiten was uitgebleven. De Voorwaardelijke Financiering had universiteiten echter wel aangezet tot het maken van onderzoeksbeleid en het zorgen voor samenhang in onderzoeksplannen. Als opvolger van het PGM werd in 1994 het Hoger Onderwijs Bekostigingsmodel (HOBEK) ingevoerd. De overheid wilde niet meer de directe bemoeienis met de onderzoeksprogrammering, maar wenste wel prestatieprikkels te geven. Daarom werd een deel van de onderzoeksfinanciering afhankelijk gemaakt van het aantal promoties. In 1998 werd de HOBEK opgevolgd door de STABEK, het model Stabiele Bekostiging (STABEK). Voor het onderzoeksdeel betekende dit een uitbreiding van de prestatiefinanciering. Niet alleen werd nu gekeken naar het aantal promoties, maar ook naar de deelname van een universiteit aan onderzoeksscholen. Onderzoeksscholen zijn eind jaren tachtig gestimuleerd om samenwerking tussen universiteiten en disciplines te bevorderen en onderzoekersopleidingen te verbeteren. Alleen onderzoeksscholen die door de Erkenningscommissie Onderzoeksscholen (ECOS) van de KNAW werden erkend, kwamen in aanmerking voor financiering. Om voor erkenning in aanmerking te komen moesten onderzoeksscholen voldoen aan kwaliteitscriteria met betrekking tot de inhoud van het onderzoek, de beschikbare capaciteit voor onderwijs en begeleiding van promovendi, postdocbeleid, internationale contacten, inzet van gastonderzoekers en docenten. Na de STABEK volgde in 2000 de invoering van het Prestatie BekostigingsModel (PBM). Dit had voor het onderzoeksdeel van de eerste geldstroom geen gevolgen, voor het onderwijsdeel wel. In 2003 werd het PBM opgevolgd door het BAMA-model, waarin onderzoeksfinanciering mede afhankelijk werd gemaakt van het aantal masterdiploma’s. Dat betekende dat een deel van de onderzoeksfinanciering gekoppeld werd aan de prestaties op onderwijsgebied. De berekening van de component promoties


17

veranderde ook in het BAMA-model. In het vervolg werd die berekend op basis van aantallen per universiteit in het tweede kalenderjaar voorafgaand aan het begrotingsjaar. Tot dan toe werd gerekend met vierjaarlijkse gemiddelden. Om recht te doen aan de relatief hoge kosten van bèta- en biomedisch onderzoek werden twee niveaus van promotievergoedingen onderscheiden: laag bekostigde wetenschapsgebieden (alfa- en gammaonderzoek) en hoog bekostigde wetenschapsgebieden (bèta-, technisch en medisch onderzoek). De verhouding in de bekostigingsniveaus voor laag bekostigde proefschriften, hoog bekostigde proefschriften en ontwerperscertificaten (voor technische opleidingen) is gelijk aan 3 : 6 : 5. Voor een hoog bekostigd proefschrift bedraagt de premie circa 80.000 euro. Al met al wordt momenteel circa 33 procent van de eerste geldstroom verdeeld op basis van prestatieparameters (promoties/ontwerpcertificaten – 12 procent, onderzoeksscholen – 6 procent en masterdiploma’s – 15 procent). Tweederde van de eerste geldstroom is basisfinanciering, die strategische overwegingen component (SOC) wordt genoemd.6 Gevolgen van allocatiemodellen? Hebben de prestatiecomponenten in de eerste geldstroom voor onderzoek geleid tot veranderingen? Voor de aantallen promoties is dit het beste zichtbaar. De promotievergoedingen hebben gezorgd voor een toename van het aantal promoties met vijftig procent in tien jaar. Figuur 2.1 toont de ontwikkeling in de laatste zeven jaren. Ook het aantal onderzoeksscholen is in de loop van de jaren negentig toegenomen. Er is meer bundeling ontstaan in het universitaire onderzoek. Aangezien de beloning van onderzoeksscholen pas eind jaren negentig in gang is gezet, is het de vraag of de groei is toe te schrijven aan de financiële prikkel. Al vanaf eind jaren tachtig is een groei van onderzoeksscholen zichtbaar.7 Nederland telt momenteel ongeveer honderd onderzoeksscholen (circa 70 procent interuniversitair en 30 procent intra-universitair). Opmerkelijk is dat het aantal onderzoeksscholen de laatste jaren enigszins afnam van 107 in 2003 naar 96 in 2006. Dit lijkt te komen doordat de financiering van onderzoeksscholen onder druk staat.8 Er wordt binnen universiteiten onvoldoende geld vrijgemaakt voor interuniversitair onderzoek om de scholen te handhaven. Momenteel gaat bij veel universiteiten de voorkeur uit naar stimulering van intra-universitaire onderzoeksbundeling.

18

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK 3500 3000 2500 2000 1500 1000 500 0 2000 2001 2002 2003 2004 2005 2006 2007

Figuur 2.1

Aantal promoties in Nederland, 2000-20079

Tot slot heeft hebben de achtereenvolgende ministeriële allocatiemodellen niet geleid tot een grootscheepse reallocatie van onderzoeksgeld over de Nederlandse universiteiten. Ondanks de toename van prestatiebekostiging in de eerste geldstroom, is de relatieve verdeling van onderzoeksgeld uit de eerste geldstroom over de Nederlandse universiteiten in de periode 1983-2003 praktisch ongewijzigd gebleven.10

2.3

Tweede en derde geldstroom: per definitie prestatiegebonden

Tweede geldstroom Naast rijksgeld dat rechtstreeks naar de universiteiten gaat, is er ook rijksgeld dat via intermediaire organisaties wordt verstrekt. De belangrijkste organisaties zijn NWO, ZonMW (voor de medische wetenschappen), STW (voor de technische wetenschappen) en de KNAW. Alleen al NWO telt momenteel ongeveer 150 subsidiesoorten. De intermediaire organisaties verdelen geld op basis van onderzoeksvoorstellen, waarbij ook wordt gekeken naar de track record van onderzoekers. Een aanzienlijk deel van het geld wordt verdeeld binnen programmatische kaders; het onderzoek moet passen binnen de programma’s en thema’s die de subsidieverstrekkers hebben vastgesteld. De onderzoekssubsidiënten zijn weliswaar verantwoordelijk voor top-down onderzoeksbeleid, maar worden van onderop gevoed door de inbreng van universitaire instellingen en onderzoekers, die onderzoeksvoorstellen beoordelen op inhoud en kwaliteit en adviseren over honorering.11 Naast subsidieprogramma’s met inhoudelijke kaders zijn er ook steeds meer persoonsgebonden subsidies. Deze subsidies zijn bedoeld voor individuele excellente of talentvolle onderzoekers. Deze carrièresubsidies maken een steeds groter deel uit van de NWO-subsidies. In 2005 bedroeg dit aandeel 31 procent van de totale subsidies.12 De omvang van de tweede geldstroom is in de afgelopen jaren sterk


19

gegroeid. Alleen al het budget van NWO is tussen 2001 en 2007 gegroeid van 189 miljoen naar 310 miljoen euro, een groei van 64 procent. Derde geldstroom De derde geldstroom bestaat uit onderzoeksgeld dat niet tot de eerste of tweede geldstroom wordt gerekend. Een belangrijk kenmerk van de derde geldstroom – evenals bij de tweede geldstroom – is dat onderzoekers met elkaar concurreren om schaarse onderzoeksmiddelen. Het kan gaan om programma- en projectfinanciering van de overheid, Europese Unie, non-profit organisaties, collectebusfondsen en bedrijfsleven. De omvang van derde geldstroom is in de periode 1991-2001 met bijna 140 procent gestegen van 268 miljoen naar 637 miljoen euro.13 Wordt gekeken naar de periode 1975-2005, dan blijkt dat de overheidsuitgaven voor de derde geldstroom zelfs zijn vertienvoudigd. Van de derde geldstroom is ongeveer twintig tot vijfentwintig procent afkomstig uit het bedrijfsleven. De overige middelen komen van overheid en non-profitinstellingen. De meeste middelen gaan naar de wetenschapsgebieden life sciences en gezondheid. Het ministerie van Economische Zaken heeft met haar onderzoeks- en innovatiesubsidies een aanzienlijke bijdrage geleverd aan de toename van de derde geldstroom.14 De stimuleringsregelingen hadden tot doel de innovatie en economische ontwikkeling in Nederland te bevorderen. Er kunnen verschillende clusters van subsidie-instrumenten worden onderscheiden waarmee een paar honderd miljoen euro gemoeid is, zoals de Innovatiegerichte Onderzoeksprogramma’s, Technologische Topinstituten, Maatschappelijke topinstituten, Bsik-impuls, FES-impulsen, Smart Mix en het Sleutelgebiedenbeleid.15 De opkomst van dergelijke grote stimuleringsregelingen is gepaard gegaan met de instelling van een nieuwe organisatorische laag in het wetenschapssysteem; de laag die bestaat uit consortia en regieorganen die zijn bedoeld om het programmatisch gestuurd onderzoek te coördineren. Als gevolg van de opkomst van de derde geldstroom hebben universiteiten zich steeds meer ontwikkeld tot hybride organisaties, waarin onderzoek gefinancierd uit de basisfinanciering en toegepast (opdracht)onderzoek naast elkaar bestaan.16

2.4

Invloed van rankings op imago van universiteiten

Onderzoeksoutput van universiteiten speelt een belangrijke rol in de (inter)nationale ranking van universiteiten. Hoewel rankings geen directe invloed hebben op onderzoeksbudgetten, hebben ze wel invloed op de status van een universiteit en de aantrekkingskracht op onderzoekers en studenten. In internationaal verband bestaan (naast vele anderen) enkele prominente rankings van universiteiten:

20

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK a.

de Shanghai University wereldtop 500, die is gebaseerd op Nobelprijzen, frequent geciteerde onderzoekers, artikelen in de bladen Science en Nature en artikelen in overige Engelstalige peer reviewed tijdschriften; b. de Times Higher Education wereldtop 200, gebaseerd op het oordeel van 5.100 academici wereldwijd, citatiescores, staf-student ratio en internationale oriëntatie; c. de bibliometrische top 100 van Europese universiteiten, gebaseerd op het aantal citaties per publicatie gerelateerd aan het wereldgemiddelde.17 Ook in Nederland verschijnen regelmatig rankings waarin universiteiten op een aantal indicatoren met elkaar vergeleken worden. Hoewel er in het algemeen veel belangstelling uitgaat naar rankings zijn ze methodologisch omstreden. De kwaliteit van instellingen wordt uitgedrukt in één cijfer: de rangschikking ten opzichte van andere instellingen. Deze rangschikking is veelal gebaseerd op een rekensom met een groot aantal indicatoren die op zichzelf weliswaar relevant kunnen zijn, maar eenmaal verwerkt tot een positie in een ranglijst is niet meer herleidbaar op welke punten de universiteiten relatief goed en minder goed scoort. Bovendien leiden andere wegingsfactoren tot een andere ranking. Uit onderzoek blijkt dat het met de statistische betrouwbaarheid van de wereldranglijsten van Shanghai University en Times Higher Education slecht gesteld is. De ranglijsten blijken zeer gevoelig voor kleine veranderingen in indicatoren en wegingsfactoren. In een bestendigheidstoets met ruim honderd simulaties, waarbij combinaties van indicatoren zijn gebruikt, verdween een groot deel van de rangorde.18 Desalniettemin hebben ze grote invloed op de gepercipieerde hiërarchie in het universitaire landschap.

2.5

Conclusie: prestaties belangrijker voor onderzoeksfinanciering

Veranderingen in de financieringsstromen naar universiteiten hebben ertoe geleid dat de totale financiering van universitair onderzoek in 2003 voor 58 procent plaatsvond op basis van prestaties.19 De overige 42 procent van de financiering van universitair onderzoek was niet verbonden aan prestaties (tabel 2.3). De toename van externe gelden heeft ook invloed op de besteding van de eerste geldstroom. Door de groei van programma- en projectgelden voor onderzoek wordt een steeds groter deel van de eerste geldstroom verbruikt. Aan elke euro tweede of derde geldstroom moest de universiteit kort geleden 84 eurocent uit de eerste geldstroom toevoegen vanwege de zogenoemde matchingsverplichting. In sommige vakgebieden waar een accumulatie van tweede en derde geldstroom optreedt, ontstond een situatie waarin geen extra middelen meer geworven konden worden, omdat de omvang van de eerste geldstroom dat niet toestond.20 Vanwege deze problematiek heeft de minister


21

van OCW in 2008 besloten de matchingsverplichting voor NWO-subsidies af te schaffen. Hierdoor zou de vrije besteding van eerste geldstroom door universiteiten weer moeten toenemen.

Eerste geldstroom 1)

Strategische overwegingen component Aantal diploma’s Aantal promoties Deelname aan onderzoeksscholen

Tweede geldstroom 2) Derde geldstroom 3) Totaal 1) 2) 3)

Omvang (mln euro) 926

Aandeel

213 174 91 238 587 2 229

10% 8% 4% 11% 26% 100%

42% Prestatiegebonden

Tabel 2.3 Financiering van universitair onderzoek in 200321 Financieringsbron Verdeelsleutel

basisfinanciering OCW NWO, ZonMW, STW, KNAW overheden, bedrijven, collectebusfondsen, Europese Unie

2.6

Problematiek van simpele outputgeoriënteerde verdeelmodellen

Universiteiten volgen landelijk verdeelmodel Uit een rapport van het Centraal Planbureau uit 2003 blijkt dat vrijwel alle universiteiten een intern allocatiemodel hebben waarmee onderzoeksgeld wordt verdeeld op basis van prestatieparameters.22 Uit het rapport blijkt ook dat het allocatiemodel altijd geldt voor een deel van het onderzoeksbudget, nooit voor het hele budget. De verschillen tussen de allocatiemodellen van universiteiten zijn groot. Tabel 2.4 laat zien welke criteria relevant zijn. Uit het overzicht blijkt dat universiteiten over het algemeen het OCW-bekostigingsmodel volgen. Promoties, ontwerpcertificaten en onderwijsdiploma’s zijn relevant bij de verdeling van eerste geldstroom. Publicaties spelen bijna nooit een rol van betekenis bij de allocatie van geld over faculteiten. Resultaten uit onderzoeksevaluaties van faculteiten, die eens per zes jaar worden uitgevoerd, zijn ook niet opgenomen in de universitaire allocatiemodellen. De universiteiten kennen wel geld toe voor verworven tweede geldstroom. Dat heeft te maken met de hiervoor genoemde matchingsverplichting, die recentelijk dus voor NWO-subsidies is afgeschaft.

30

n.b. 36 85 97 2) 38 90 63 n.b. 33,5 3)

n.b. 38 n.b. -

n.b. 13 9 13 11 Ja 11 n.b. 8

n.b. 13 15 70 13 30 12 n.b. 5/ 20,5 Ja 40

Max. 7 n.b. 10 17 14 5) 10 Ja 1 n.b. -

overig

20

onderzoeksvisitatie

-

matching derde geldstroom

75

matching tweede geldstroom

studenten, diploma’s

UvA 1) VU UL UM UU UT TUD TUE 1) RuG

promoties, ontwerpen

EUR

Criteria in objectieve verdeelmodellen, 2003 (% van totale onderzoeksbudget dat op basis van criterium is verdeeld)23 Percentage van totale onderzoeksbudget dat op basis van criterium is verdeeld:

publicaties

Universiteit

Tabel 2.4


Procentueel aandeel in universitaire onderzoeksbudget van objectief verdeelmodel

22

-

Max. 20

4

n.b. 2 Ja n.b. -

n.b. 10 n.b. -

n.b. 42 4 1 n.b. -

WUR 4) 30 20 7 1 3 RUN 16 Ja Ja UvT 64 Ja 18 2 4 n.b. = informatie niet beschikbaar 1) De UVA en TUE hebben geen informatie verstrekt in het kader van het CPB-onderzoek. 2) De UM heeft geen apart universitair onderzoeksbudget. Het betreft hier het percentage van het budget dat binnen de box onderwijs en onderzoek (75% van de eerste geldstroommiddelen) wordt verdeeld op basis van onderzoeksparameters. 3) De RUG heeft geen apart universitair onderzoeksbudget. Het betreft hier het percentage van de totale eerste geldstroommiddelen. 4) De WUR is niet geheel vergelijkbaar met de andere universiteiten, omdat zij bestaat uit één faculteit. 5) Inclusief matching derde geldstroom

Waarom is een focus op kwantiteit van onderzoeksoutput problematisch? De universitaire allocatiemodellen beperken zich over het algemeen tot slechts enkele duidelijk meetbare indicatoren die afgeleid zijn van het landelijke allocatiemodel voor de eerste geldstroom. Vanuit bestuurlijk perspectief is dat misschien verklaarbaar, maar vanuit professioneel perspectief kan het echter problematisch zijn, omdat er weinig ruimte is voor kwalitatieve nuanceringen. Hierna wordt een aantal problemen genoemd


23

die de vergelijking van kwantiteiten van onderzoeksoutput vanuit professionele optiek lastig maken. Probleem 1: Onderzoeksoutput is onvergelijkbaar Het wetenschappelijk onderzoek in universiteiten kent een grote variëteit. Vele vakgebieden zijn vertegenwoordigd, met elk eigen onderzoekstradities, publicatieculturen, prestatienormen en wetenschappelijke waarden. Deze complexiteit maakt dat het moeilijk – of feitelijk onmogelijk – is de disciplines over één kam te scheren. Wetenschapsgebieden zijn er vanwege de onderlinge verschillen in normen en tradities niet bij gebaat om langs dezelfde prestatiemaatlat te worden gelegd. Abram de Swaan lichtte dit toe in een opiniërend artikel in de Volkskrant van 20 augustus 2005: ‘Prestaties van natuurkundigen zijn vrij goed af te lezen uit het aantal van hun publicaties in gerenommeerde tijdschriften en vooral uit het aantal citaten dat die artikelen hebben opgeleverd in de publicaties van collega’s. Bij de beoordeling van de exacte vakken gaat het ongeveer toe als bij hardlopen of verspringen: chronometer en meetlat zijn voldoende. In de sociale wetenschappen is dat al veel moeilijker. Daar bieden vechtsport of schoonspringen een betere vergelijking: een jury van kenners bepaalt het puntental op grond van criteria die ze nog niet aan leken kunnen uitleggen. In sommige geesteswetenschappen, en ook in de kunsten, gaat het meer toe als bij een missverkiezing. De jury komt tot een oordeel volgens een combinatie van maatstaven, maar het is niet goed mogelijk die helemaal te verwoorden en het ene onderdeel (wipneusje, kersenmond) af te wegen tegen het andere (pretoogjes, krullenkop). En erger nog, de toeschouwers en de kijkers thuis zijn ervan overtuigd dat zij elk voor zich het beste weten wie mooi is en wie lelijk. Dat wetenschapsmensen achteraf moeten worden beoordeeld op hun publicaties, daarover is iedereen het eens, ook in de mensenwetenschap. Maar hoe moeten die publicaties gewogen worden?’

De uiteenlopende publicatieculturen komen voort uit de manier waarop binnen een discipline tussen vakgenoten wordt gecommuniceerd.24 In de medische en bètawetenschappen wordt vooral gepubliceerd in gerefereerde Engelstalige wetenschappelijke tijdschriften. Wetenschappelijke tijdschriften bevatten meer dan vijftig procent van de publicaties van de vakgebieden wiskunde, chemie, fysica en biologie, maar slechts circa dertig procent van het werk van de geestes- en sociale wetenschappen.25 Voor veel van de alfawetenschappen zijn monografieën juist belangrijke wetenschappelijke informatiedragers. Voor technische wetenschappen (bijvoorbeeld ruimtevaartwetenschappen en bouwkunde) zijn ontwerpen en software belangrijke vormen van output. Vaak zijn ook grote verschillen binnen disciplines te vinden. In de psychologie richten kwalitatieve onderzoekers zich meer op boeken, terwijl de experimenteel-psychologen vooral publiceren in artikelen. Vergelijkingen van prestaties tussen én binnen discipli-

24


nes zijn lastig. Wat voor de ene onderzoeker een knappe prestatie is, is voor de andere onderzoeker een mager resultaat. De cijfers in tabel 2.5 zijn illustratief voor de verschillen in publicatieculturen. Rechten, geesteswetenschappen en sociale wetenschappen publiceren relatief meer in vaktijdschriften met een bredere doelgroep of produceren boeken. De natuurwetenschappen, geneeskunde en landbouwwetenschappen richten zich vooral op Engelstalige peer reviewed tijdschriften. Aantal publicaties in Nederland in 2007 naar HOOP-gebied26 Promoties Wetenschappelijke publicaties Landbouw 249 2 886 Natuur 575 9 005 Techniek 526 11 746 Gezondheid 996 16 999 Economie 132 3 304 Rechten 128 3 955

Tabel 2.5

Gedrag & Maatschappij Taal & Cultuur Diversen Totaal

Vakpublicaties 458 590 1 652 1 961 687 3 256

325 249

7 198 5 499

1 889 2 309

7

270

157

3 187

60 862

12 959

Onderzoeksoutput hoeft niet alleen betrekking te hebben op publicaties, maar kan ook te maken hebben met activiteiten gericht op de verspreiding van wetenschappelijke expertise, bijvoorbeeld deelname aan redacties van wetenschappelijke tijdschriften, adviescommissies of presentaties op congressen. Verder kan output worden gerelateerd aan input, waardoor maten voor productiviteit (output per fte) of efficiency (output per euro) ontstaan. Ook voor dergelijke indicatoren geldt dat de verschillen tussen vakgebieden groot zijn. Probleem 2: Het graduele verschil tussen fundamenteel en toegepast onderzoek De variëteit in wetenschappelijk werk bestaat niet alleen tussen vakgebieden, maar ook binnen vakgebieden. Binnen de meeste wetenschapsgebieden kan onderscheid worden gemaakt tussen fundamenteel-exploratief (of basaal) onderzoek en toegepast oplossingsgericht onderzoek. Bij fundamenteel onderzoek wordt een bijdrage geleverd aan theorievorming en de ontwikkeling van nieuwe basale kennis. Het werk kenmerkt zich door een hoge mate van improvisatie en onvoorspelbaarheid van wetenschappelijke uitkomsten. Het werk is geïnspireerd op vragen vanuit de wetenschap zelf. Fundamenteel onderzoek haalt inspiratie uit de wetenschappelijke omgeving. Het kenmerkt zich


25

door een sterke publicatietraditie en een eenduidige wetenschappelijke community. Toegepast onderzoek is meer gericht op de ontwikkeling van een product, dienst of techniek, waarbij de uitkomst relatief beter voorspelbaar is.27 Het onderzoek is geïnspireerd op maatschappelijke vragen die om antwoorden of oplossingen vragen. Fundamenteel en toegepast onderzoek leveren meestal zeer verschillende output op. Fundamenteel onderzoek vindt zijn weg naar gespecialiseerde wetenschappelijke tijdschriften met een doelgroep van vakgenoten. Toegepast onderzoek leidt vaak tot rapporten aan externen, publicaties in vaktijdschriften of tot publicaties voor een breed publiek. Er is dus een variëteit aan publicatiesoorten. Voor prestatiemeting betekent het dat de veelheid aan indicatoren zal moeten toenemen om recht te doen aan de diversiteit van de output. Daarnaast bestaat het vraagstuk van de weging: is alle output even veel waard, of gaat een classificatie ook gepaard met verschillende waardering? In de praktijk is het vaak moeilijk een scherp onderscheid te maken tussen fundamenteel en toegepast onderzoek; het onderscheid is gradueel (figuur 2.2). Er is sprake van een geleidelijke overgang, waarbij een grijs gebied bestaat waarin mengvormen van fundamenteel en toegepast onderzoek te zien zijn. In de biomedische wetenschappen kan fundamenteel onderzoek op moleculair niveau bijvoorbeeld onverwacht leiden tot kennis die voor farmaceuten interessant is. Het onderzoek kan uitmonden in een wetenschappelijk artikel in een gespecialiseerd tijdschrift, en tegelijkertijd een patent opleveren waarmee economische spin-off kan worden gegenereerd. Er ontstaan zo verschillende soorten output waarmee in een prestatiemeetsysteem rekening moet worden gehouden.

Inspiratie uit de wetenschap

uit de omgeving

Interdisciplinair

Figuur 2.2

Missiekarakteristieken van wetenschappelijk onderzoek28 Aanpak

Monodisciplinair Probleem 3: Mono- versus interdisciplinair onderzoek Figuur 2.2 laat ook zien dat onderzoek mono- of interdisciplinair van aard kan zijn. Hoe het onderzoek wordt gekarakteriseerd is afhankelijk van de samenstelling van het onderzoeksteam. Werken onderzoekers uit verschillende disciplines samen, bijvoorbeeld wanneer geesteswetenschappers samenwerken met onderzoekers uit de informatica, dan ontstaan nieuwe inzichten (in dit geval bijvoorbeeld over het gebruik van

26


computertechnologie bij historisch onderzoek). Interdisciplinair onderzoek vraagt om een gezamenlijke onderzoeksbenadering tussen onderzoekers van verschillende wetenschappelijke disciplines.29 De probleemstelling, methodologie en interpretatie van onderzoeksresultaten zijn het product van samenwerking tussen verschillende vakgebieden.30 Transdisciplinair onderzoek wordt gezien als een specifieke vorm van interdisciplinariteit. Transdisciplinariteit geeft aan dat de grenzen tussen gevestigde vakgebieden vervagen als gevolg van intensieve samenwerking. Een nieuw vakgebied ontstaat tussen deze grensvlakken.31 Interdisciplinair en transdisciplinair onderzoek zijn vaak op gang gebracht door concrete problemen en gericht op het overbruggen van het gat tussen wetenschappelijke kennis en vragen vanuit de samenleving.32 Ondanks dat er lange tijd weinig aandacht was voor inter- en transdisciplinair onderzoek is de algemene veronderstelling dat wetenschappelijke vooruitgang juist voor een belangrijk deel wordt gedragen door kruisbestuiving van wetenschappelijke ideeën en paradigma’s en verdere integratie van disciplines.33 Inter- en transdisciplinair onderzoek worden vaak in verband gebracht met het begrip ‘vernieuwend onderzoek’.34 Een implicatie van nieuwe onderzoekscoalities is dat publicaties ontstaan op het snijvlak van wetenschappen. De ervaring leert dat interdisciplinair onderzoek vaak moeilijker publiceerbaar is in de traditionele (maar hooggewaarde) monodisciplinaire wetenschappelijke tijdschriften.35 Het blijkt lastig geaccepteerd te worden door de gevestigde professies. Er zal op alternatieve plekken gepubliceerd moeten worden, vaak resulterend in artikelen in tijdschriften met een minder hoog aanzien. De verschillen in onderzoeksaanpak monden uit in publicaties die kunnen afwijken van gangbare output. De vraag is hoe dit in een prestatiemeetsysteem verwerkt wordt. Probleem 4: Output is het product van interactie Veel onderzoeksoutput komt tot stand door samenwerking tussen onderzoekers, onderzoeksgroepen, faculteiten en universiteiten. De samenwerking verloopt in veel gevallen buiten het verticaal georiënteerde bestuurlijke systeem. Wetenschappelijke managers zijn kapitein op een schip met veel andere stuurlui.36 Samenwerking tussen onderzoekers is vaak van belang om de kwaliteit van het primaire proces te verhogen. Doordat wetenschappelijke output ontstaat in coproductie is het moeilijk is te bepalen welk deel van het werk aan een onderzoeker of onderzoeksgroep kan worden toegeschreven. De noodzaak van onderzoekssamenwerking is in de laatste decennia toegenomen met de opkomst van programma- en projectfinanciering van onderzoek. Om in aanmerking te komen voor onderzoekssubsidies is het veelal noodzakelijk allianties aan te gaan met andere onderzoekers, bedrijven of maatschappelijke actoren. Carrièresubsidies, investe-


27

ringsschema’s en meerjarige transorganisationele samenwerkingsverbanden hebben een deel van de onderzoekssturing buiten de universitaire instelling geplaatst.37 Voor veel samenwerkingsverbanden en virtuele onderzoeksinstituten, zoals onderzoeksscholen, geldt dat universitaire bestuurders geen of weinig directe zeggenschap hebben.38 Probleem 5: Wetenschappelijk onderzoek is complex en uitkomsten zijn onzeker Wetenschappelijk onderzoek kenmerkt zich door complexiteit en onzekerheid.39 Dit staat haaks op de doelgerichtheid die met prestatiemeetsystemen wordt nagestreefd. De complexiteit van wetenschappelijk werk wordt veroorzaakt door de vele uitzonderingen en variëteit in het soort opdrachten en vraagstukken waarmee de professionals geconfronteerd worden. Wetenschappelijk werk kent ook een hoge mate van samengesteldheid en verwevenheid van de te verrichten handelingen. Doordat de output in samenspel met andere onderzoekers tot stand komt, is het lastig precies aan te geven waarvoor de wetenschappelijke professional verantwoordelijk kan worden gehouden. De onzekerheid van professioneel werk wordt bepaald door de onvoorspelbaarheid van het precieze verloop van werkprocessen. Er zijn beperkte mogelijkheden tot standaardisering van het werk door derden. Ook de uitkomsten van professioneel werk zijn in zekere zin onvoorspelbaar. Het is moeilijk vooraf precies te specificeren wat de uitkomsten van het proces zullen zijn. Daardoor is het ook moeilijk om vooraf scherpe targets te formuleren. In een wetenschappelijke omgeving kan overmatige sturing op output leiden tot een ontmoediging voor nieuw onderzoek, omdat nieuwe onderzoeksprogramma’s en -projecten enige tijd nodig hebben om tot wasdom te komen en niet per definitie direct tot succesvol resultaat zullen leiden.40

2.7

Diepgaandere benaderingswijzen van onderzoeksoutput

Naast eenvoudige outputtellingen uit landelijke en universitaire allocatiemodellen, zoals hiervoor besproken, zijn er ook diepgaandere methoden voor de ‘waardebepaling’ van onderzoeksoutput. Hierna wordt achtereenvolgens ingegaan op onderzoeksevaluaties, bibliometrische methoden en het bepalen van maatschappelijke impact. Onderzoeksevaluaties Evenals prestatiemeetsystemen worden evaluatiesystemen ingezet voor doelen als verantwoording, beoordeling van resultaten en ondersteuning van strategische besluitvorming.41 Hoewel kan worden beargumenteerd dat prestatiemeting eigenlijk een vorm van evalueren is, zijn er ook fundamentele verschillen:42 -

Prestatiemeetsystemen zijn on-going, terwijl evaluatiesystemen episodic zijn. Universitaire allocatiemodellen geven een jaarlijks (of soms zelf halfjaarlijks) beeld van de wetenschappelijke progressie op een aantal indicatoren, terwijl onderzoeksvisitaties eens per x jaar plaatsvinden.

28


-

Prestatiemeetsystemen tellen een beperkt aantal indicatoren en hebben daardoor een lage tolerantie voor variëteit. Daarentegen hebben evaluatiesystemen een hoge tolerantie voor variëteit. Evaluatiesystemen adresseren diepgaande onderwerpen, zoals de kwaliteit en relevantie van onderzoek, de levensvatbaarheid van bestaande en nieuwe onderzoekslijnen.

-

Prestatiecriteria zijn algemeen, dus voor iedereen van toepassing, terwijl evaluatiecriteria situatiespecifiek worden ontworpen. Bij onderzoeksvisitaties wordt missiegebonden geëvalueerd. Dat wil zeggen dat de prestaties van het instituut worden beoordeeld op basis van de eigen doelstellingen.

-

Middelen voor prestatiemeting zijn meestal onderdeel van de organisatorische infrastructuur. De kosten voor het in de lucht houden van een prestatiemeetsysteem zijn verweven in de begroting. De beleidsmedewerkers of institutional research medewerkers staan op de reguliere begroting van de faculteit. De middelen voor evaluaties moeten worden gevonden, omdat die eens in de aantal jaren voorkomen.

-

Managers spelen een sleutelrol bij prestatiemeting. De bestuurders en managers zien immers regelmatig de uitkomsten van het prestatiemeetsysteem voorbij komen en gebruiken die in hun gesprekken met onderzoekers. De relatie tussen managers en evaluatoren is minder direct. De evaluatoren staan in feite dichter bij de onderzoekers die het object van evaluatie vormen. Vanwege de schijn van subjectiviteit in het peer review proces kijken bestuurders vaak met enig wantrouwen naar de vriendschappelijke relatie tussen evaluator en geëvalueerde.

Een onderzoeksevaluatie biedt dus de mogelijkheid voorbij te gaan aan uitsluitend kwantitatieve maten. Sinds circa vijftien jaar vinden onderzoeksevaluaties in Nederland plaats. Van 1993 tot 2004 organiseerde de VSNU op landelijk niveau visitaties per onderzoeksdiscipline, waarin alle relevante faculteiten werden betrokken. In 2003 is een nieuw systeem van visitaties in werking getreden; evaluaties volgens het Standard Evaluation Protocol (SEP). Alle publiek gefinancierde onderzoeksinstellingen van faculteiten of onderzoeksinstituten van universiteiten, NWO- en KNAW-instituten worden eens per zes jaar afzonderlijk geëvalueerd door een zelf te benoemen externe evaluatiecommissie. De landelijke disciplinegeoriënteerde visitaties zijn met de invoering van het SEP afgeschaft. Het SEP vraagt de evaluatiecommissie een oordeel te geven op vier aspecten: productiviteit, kwaliteit, relevantie (wetenschappelijk en sociaal-economisch) en vitaliteit (interne en externe dynamiek, onderzoekskeuzes, succes-


29

ratio van projecten).43 Het niveau waarop wordt gepresteerd wordt impliciet of expliciet vergeleken met prestaties elders in de internationale wetenschappelijke omgeving. Op elk van de te beoordelen aspecten wordt een oordeel gegeven op een vijfpuntsschaal (tabel 2.6). Tabel 2.6 Excellent (score 5)

Beoordelingsschaal van het SEP Werk dat zich internationaal gezien aan het front van de wetenschappelijke ontwikkelingen bevindt, met zeer waarschijnlijk een belangrijke en substantiële invloed in het veld; het instituut is een internationale leider).

Very good (score 4)

Werk dat internationaal competitief is en waarvan verwacht wordt dat een significante bijdrage levert; het onderzoek is in nationaal verband toonaangevend, het instituut is een internationale speler en op nationaal niveau een leider.

Good (score 3)

Werk dat competitief is op nationaal niveau en waarschijnlijk een belangrijke bijdrage levert aan het internationale veld; het instituut wordt internationaal zichtbaar geacht en op nationaal niveau is het een belangrijke speler.

Satisfactory (score 2)

Werk dat solide, maar niet uitdagend is; het werk draagt bij aan de kennisvermeerdering en is het waard om gesteund te worden, maar de prioriteit wordt minder hoog geschat dan de voorgaande categorieën.

Unsatisfactory (score 1)

Werk dat niet solide en uitdagend is, gebreken vertoont in wetenschappelijk of technisch opzicht en herhalend ten opzichte van eerder onderzoek.

De resultaten van externe evaluaties worden steeds vaker gebruikt bij de allocatie van middelen in universiteiten. Uit een studie uit 1997 bleek dat de landelijke disciplinebeoordelingen van de VSNU een plaats hadden verworven in de besluitvorming van universitaire bestuurders. De beoordelingen verschaften bestuurders en managers een solide basis voor strategische keuzen en zijn een essentieel onderdeel van het verantwoordings- en besturingsinstrumentarium van universiteiten geworden.44 Maar ook is gebleken dat cijfermatige beoordelingen van onderzoek nooit de enige aanleiding of rechtvaardiging zijn voor keuzes, reorganisaties of middelentoewijzing aan onderzoeksgroepen. Besturen geven aan dat ‘achter de cijfers’ moet worden gekeken en dat ook andere doelen dan kwaliteit moeten worden meegewogen bij bestuurlijke beslissingen. Zo zou gekeken moeten worden naar het gewenste onderzoeksportfolio of de strategie van de universiteit of faculteit, de focus en breedte in onderzoeksterreinen, het onderwijs en de inverdiencapaciteit van een onderzoeksgroep. Uit een studie uit 2005 blijkt dat het gevolg van een goede score bij een externe evaluatie is dat een groep minder snel ter verantwoording wordt geroepen en eerder buiten schot blijft bij reorganisaties.45 Maar een hoge score biedt geen garanties. Groepen met een score ‘excellent’ zonder binding met andere groepen of die niet passen in de universitaire of facultaire onderzoeksstrategie kunnen ook in aanmerking komen voor

30


bezuinigingen of reorganisaties, naast groepen die een 2 of 3 scoren. Groepen die zeer goed of excellent beoordeeld zijn, geven in de genoemde studie aan dat zij niet hebben gemerkt dat een goede kwaliteitsbeoordeling grote gevolgen heeft voor budgetten, aantallen promovendi, postdocs of onderzoeksfaciliteiten. De betreffende groepsleiders ervoeren dit niet als een omissie. Voor de onderzoeksgroepen bleken wetenschappelijke erkenning, de versterking van het groepsgevoel en zelfvertrouwen belangrijker dan financiële beloning. Een goede reputatie biedt eveneens aantrekkingskracht op toponderzoekers van buiten en geeft een betere ingang bij onderzoeksfondsen. Bibliometrie: de waarde van wetenschap voor de wetenschap Een meer kwantitatieve benadering om reliëf aan te brengen in outputtellingen biedt de bibliometrie. In de bibliometrie wordt er vanuit gegaan dat wetenschappelijke relevantie en invloed tot uitdrukking komt in het aantal keren dat naar onderzoeksresultaten wordt verwezen. In het algemeen wordt verondersteld dat een wetenschappelijke publicatie die vaak geciteerd wordt, bruikbaarder is dan wetenschappelijk werk dat niet of nauwelijks geciteerd wordt.46 De precieze stijl van refereren is afhankelijk van het wetenschapsgebied, waardoor in feite kan worden gesproken van verschillende citatieculturen.47 In het algemeen geldt: hoe meer geciteerd, hoe groter de invloed. Dit principe bracht de Amerikaan Eugene Garfield ertoe in 1961 de Science Citation Index op te richten. In 1963 werd op basis van de citatie-index voor het eerst inzicht verschaft in het aantal keren dat een auteur werd geciteerd. De citatie-index bevat bibliografische informatie, waaruit kan worden afgeleid in welke artikelen naar andere artikelen wordt verwezen. Ruim veertig jaar later beheert het Institute for Scientific Information (ISI) de Science Citation Index (SCI), Social Science Citation Index (SSCI) en Citation Index for the Arts & Humanities (CI&H). Het zijn de dominante databases in de citatieanalyses.48 Deze indexen bevatten samen circa 7.500 internationale peer reviewed tijdschriften. Niet-Engelstalige tijdschriften zijn niet opgenomen in de databases. In de ISI-databases zijn tijdschriften van de medisch-biologische wetenschappen veruit het sterkst vertegenwoordigd, het betreft circa 65 procent van het totaal aantal tijdschriften. In de resterende 35 procent hebben de exacte wetenschappen meer dan tweederde van het aandeel. Van de tijdschriften die zijn opgenomen in de ISI-indexen kan een impactfactor (IF) worden berekend. De impactfactor van een tijdschrift in jaar t wordt als volgt berekend: aantal citaties ontvangen in jaar t door alle publicaties gepubliceerd in het betreffende tijdschrift in de jaren t-1 en t-2 (C), gedeeld door het aantal mogelijk te citeren artikelen gepubliceerd in het betreffende tijdschrift in de jaren t-1 en t-2 (N). Dus: IF = C/N. De impact factor representeert dus de gemiddelde citatie impact van één en twee jaar oude publicaties. In de ISI worden onder publicaties verstaan:

2. DE KAART VAN UNIVERSITAIR NEDERLAND -

31

articles: reguliere publicatie of paper, waarin verslag wordt gedaan van onderzoek; letters: reacties van lezers aan de tijdschriftredactie inzake eerder verschenen artikelen; notes: technisch commentaar korter dan een artikelen en beperkt in omvang; reviews: recensies en onderzoek naar eerder verschenen artikelen.

De impactfactor van een tijdschrift geeft aan hoe groot de kans is om geciteerd te worden als in dat tijdschrift wordt gepubliceerd. De impactfactors van tijdschriften worden elk jaar gepubliceerd in de Science Citation Index Journal Citation Report. Bij de berekening van een impactfactor wordt standaard een periode van twee jaar genomen. Uiteraard heeft de keuze voor een bepaalde tijdsspanne invloed op de waarde van de impactfactor. De tijdschriften met de hoogste impactfactors worden de wetenschappelijke toptijdschriften genoemd (bijvoorbeeld Nature, Science). Artikelen in dergelijke tijdschriften worden gemiddeld enkele tientallen keren geciteerd. Duizenden andere tijdschriften moeten het doen met een impactfactor van 1 of zelfs minder. Als de impactfactors van tijdschriften bekend zijn, kan worden berekend hoe deze zich ten opzichte van elkaar verhouden.49 Zo wordt bijvoorbeeld gekeken naar de verhouding tussen de citatiescore van een tijdschrift en de gemiddelde citatiescore van tijdschriften uit hetzelfde wetenschapsgebied (Journal Citation Score - JCSm), of naar de gemiddelde citatiescore in een bepaald wetenschapsgebied (Field Citation Score FCSm). Dergelijke maten vormen weer de basis voor een aantal afgeleide maten, die zijn ontwikkeld door het Centrum voor Wetenschaps- en Technologiestudies (CWTS) uit Leiden (2.7). Het CWTS voert berekeningen uit van de citatiescores van onderzoekers, onderzoeksgroepen en instituten. Aan de hand van publicatielijsten (naam auteur, titel publicatie, tijdschrift) kan berekend worden hoe de onderzoeker, de groep of het instituut publiceert ten opzichte van andere onderzoeksgebieden uit het vakgebied. Tabel 2.7 Bibliometrische indicatoren P Aantal publicaties in internationale tijdschriften in een bepaalde periode C Aantal ontvangen citaties in een bepaalde periode (exclusief zelfcitaties) CPP Gemiddeld aantal citaties per publicatie (excl. zelfcitaties) CPP/JCSm Citatiescore van artikelen afgezet tegen de tijdschriften waarin wordt gepubliceerd JCSm/FCSm De mate waarin een groep publiceert in de betere tijdschriften van de gebieden waarin wordt gepubliceerd CPP/FCSm Citatiescore genormaliseerd voor een wetenschapsgebied. Dit laat zien hoe hoog de citatiescore is binnen de gebieden waarin wordt gepubliceerd. Deze indicator wordt vanwege de veelzeggendheid door het CWTS de crown indicator genoemd.

32


In het volgende hoofdstuk wordt stilgestaan bij de kanttekeningen bij de bibliometrie, waaronder de beperkingen voor vakgebieden die niet publiceren in tijdschriften uit de ISI-databases. Feitelijk kunnen vrijwel alleen citatie-indicatoren voor de biomedische en bètawetenschappen vrij goed door de bibliometrie worden bepaald. Societal impact: de waarde van wetenschap voor de maatschappij Hiervoor ging het vooral over de waardering van wetenschappelijk werk door vakcollega’s en wetenschappelijke relevantie. Uiteindelijk zal onderzoek op korte of langere termijn ook betekenis krijgen voor mens, natuur en samenleving. Om de relevantie van onderzoek in beeld te krijgen, kan de aandacht uitgaan naar tal van meetbare zaken: omvang van contractonderzoek, aantallen octrooien, publiek-private wetenschappelijke co-publicaties, onderzoekspublicaties geciteerd door bedrijfsleven of spin-offs van universiteiten, rapporten aan derden, citaties door beleidsmakers, lezingen voor beleidsmakers en bestuurders, deelname aan maatschappelijke commissies en adviesorganen.50 Hoewel dergelijke tellingen een beeld geven van de relatie tussen de wetenschap en haar externe omgeving, zijn ze tegelijkertijd ook oppervlakkig. Om inzicht te krijgen in de diepergaande relatie tussen wetenschap en externe omgeving zijn evaluatiemethoden beschikbaar die enig inzicht verschaffen. Een evaluatiemethode die in de tweede helft van de jaren negentig is ontwikkeld is de Sci-Quest methode, waarmee maatschappelijke en wetenschappelijke relevantie van kennis zichtbaar wordt gemaakt. De Sci-Quest methode sluit aan bij een internationale stroming van evaluatiemethodologen die belangstelling hebben voor een brede benadering van relevantie van onderzoek.51 De methode blijft dichtbij de missie en doelen van de onderzoeksinstelling.52 In deze aanpak worden de reguliere methoden voor prestatiemeting in onderlinge samenhang gebruikt. Daardoor ontstaat een vrij compleet en afgewogen beeld van de impact van onderzoek. De eerste stap bestaat uit het formuleren van de missie en het zelfbeeld van de instelling. Daar worden vervolgens relevante kwantitatieve gegevens bij gezocht. De gegevens hebben betrekking op de relatie van het onderzoek met de maatschappelijke en wetenschappelijke omgeving. Per domein waarop de instelling doelen wil bereiken, worden indicatoren gekozen (bijvoorbeeld output, impact, mobiliteit van afgestudeerden, financiering uit verschillende geldstromen, samenwerking). De tweede stap betreft het bepalen van de relevante kennisproductie op basis van de Research Embedment and Performance Profile. De prestaties op de gekozen indicatoren kunnen worden vergeleken met een gemiddelde (benchmarking), waarna wordt vastgesteld of de groep relatief goed of slecht scoort. De derde stap is de stakeholdersanalyse, waarin relevante gebruikersgroepen worden gevraagd de prestaties van de instelling te beoordelen. Het stakeholderonderzoek geeft inzicht in de interactie tussen de onderzoekers en de externe omgeving. In de vierde en laatste stap worden de resultaten van de eerste drie stappen geanalyseerd door een externe


33

commissie die bestaat uit peers en stakeholders. Door de integratieve benadering wordt de instelling zowel op haar wetenschappelijke merites als haar maatschappelijke betekenis beoordeeld. Evaluatiemethoden als die van Sci-Quest zijn diepgaand, maar ook arbeidsintensief en zullen slechts periodiek worden uitgevoerd.

Referenties 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

17 18 19 20

Wetenschappelijk Onderwijs PersoneelsInformatie (WOPI), VSNU. Merton, R.K. (1942), Science and technology in a democratic order, in: Journal of Legal and Political Sociology, nr. 1, pp. 115-126. VSNU (2004) De Nederlandse gedragscode wetenschapsbeoefening. Principes van goed wetenschappelijk onderwijs en onderzoek, Den Haag. WOPI, VSNU. AWT (2005), De waarde van weten. De economische betekenis van universitair onderzoek, rapportnr. 62, Den Haag: AWT, p. 12. Jongbloed, B. & C. Salerno (2003), De bekostiging van het universitaire onderwijs en onderzoek in Nederland. Modellen, thema’s en trends, pp. 39-43. Sonneveld, H. (1997), Promotoren, promovendi en de academische selectie. De collectivisering van het Nederlandse promotiestelsel 1984-1995, Amsterdam. Erkenningscommissie Onderzoeksscholen (2005), Positie van onderzoeksscholen, Amsterdam: KNAW. Promotiecijfers gebaseerd op Kengetallen Universitair Onderzoek (KUOZ) van de VSNU. Versleijen, A. e.a. (2006), Dertig jaar publieke onderzoeksfinanciering in Nederland 1975-2005, Den Haag: Rathenau Instituut, pp. 24-25. Meulen, B.J.R. van der & A. Rip (1994), Research institutes in transition, Centre for Studies of Science, Technology and Society, Universiteit Twente. Versleijen, A. e.a. (2006), ibid. CBS (2003), Kennis en Economie, Den Haag. Versleijen, A. e.a. (2006), ibid., pp. 28-32. AWT (2007), Weloverwogen impulsen. Strategisch investeren in zwaartepunten, adviesnr. 72, Den Haag. Mouwen, C.A.M. & S.C. van Bijsterveld (2000), De hybride universiteit: het onverenigbare verenigd? De integratie van taak en markt in de universiteit van de toekomst, Den Haag: Elsevier Bedrijfsinformatie, pp. 77-91. Ministerie van OCW (2007), Kennis in kaart, Den Haag. Centre for Research on Lifelong Learning, https://crell.jrc.ec.europa.eu. AWT (2005), Een vermogen betalen. De financiering van universitair onderzoek, Den Haag, p. 12. AWT (2004), De prijs van succes. Over matching van onderzoekssubsidies in kennisinstellingen, adviesnr. 58, Den Haag. Ernst & Young Accountants (2004), De omvang van matching. Onderzoek naar de effecten van matching van de tweede en derde geldstroomfinanciering op de beleidsruimte van Nederlandse, publieke kennisinstellingen.

34

21 22 23 24

25 26 27

28 29 30 31

32 33 34 35 36 37 38

39

40

41

42


AWT (2005), ibid., p. 11. CPB (2003), Prikkel de prof. Een analyse van de bekostiging van universitair onderzoek, Den Haag: CPB, p. 36. CPB (2003), ibid., pp. 35-39. Phillimore, A.J. (1988), University research performance indicators in practice: the University Grants Committee’s evaluation of British universities, 1985-1986, in: Research Policy, 18, pp. 255-271. Debackere, K & W. Glänzel (2004), Using bibliometric approach to support research policy making: the case of the Flemish BOF-key, in: Scientometrics, 29(2), pp. 253-276. Cijfers afkomstig van VSNU. Fisscher, O.A.M. (1986), Wetenschap bedrijven. Onderzoek in drie researchinstellingen naar de sturing en motivatie in samenhang met de gerichtheid van het researchwerk, proefschrift Rijksuniversiteit Groningen, Groningen: Van der Kamp. NWO (1995), Kennis Verrijkt, Den Haag. Butler, D. (1998), Interdiscplinary research being stifled, in: Nature, 396, p. 202. RMNO (2005), Interdisciplinariteit en beleidsrelevantie in onderzoeksprogramma’s. Een stellingname, Den Haag: RMNO. Flinterman, J.F. & R. Teclemariam-Mesbah e.a. (2001), Transdisciplinarity: the new challenge for biomedical research, in: Bulleting of Science, Technology & Society, 21(4), pp. 253-266. Lawrence, R.J. & C. Després (2004), Futures of transdisciplinarity, in: Futures, 36, pp. 397-405. Metzger, N. & R. Zare (1999), Interdisciplinary research: from belief to reality, in: Science, 283, pp. 642-643. Timmerhuis, V.C.M. (1999), Ruimte voor vernieuwing. Ervaringen binnen de technische natuurwetenschappen, Den Haag: AWT. Moed, H.F. (2005), Citation analysis in research evaluation, Dordrecht: Springer. AWT (2001), Wijsheid achteraf. De verantwoording van universitair onderzoek, adviesnr. 51, Den Haag. Versleijen, A. e.a. (2006), ibid., p. 71. Boer, H.F. de (2003), Institutionele verandering en professionele autonomie. Een empirisch-verklarende studie naar de doorwerking van de wet ‘Modernisering Universitaire Bestuursorganisatie (MUB)’, proefschrift, Universiteit Twente, p. 58. Timmerhuis, V.C.M. (1997), Wetenschapsorganisaties in verandering. Keuzen in organisatieontwikkeling en personeelsbeleid, proefschrift, Katholieke Universiteit Brabant, Tilburg University Press, p. 38. Geuna, A. (2001), The changing rationale for European university research funding – are there negative unintended consequences?, in: Journal of Economic Isues, 53, pp. 607-632. Rip, A. (2003), Societal challenges for R&D evaluation, in: P. Shapira & S. Kuhlmann (eds.), Learning from science and technology policy evaluation, Cheltenham: Edward Elgar, pp. 32-53. McDavid, J.C. & L.R.L. Hawthorn (2006), Program evaluation and performance measurement: an introduction to practice, Thousand Oaks, CA: Sage.

2. DE KAART VAN UNIVERSITAIR NEDERLAND 43 44 45

46 47 48 49

50

51

52

35

VSNU, NWO, KNAW (2003), Standard Evaluation Protocol for Public Research Organisations 2003-2009. Amsterdam/Den Haag. Westerheijden, D.F. (1997), A solid basis for decisions, in: Higher education, 33, pp. 397-413. Jongbloed, B. & B. van der Meulen (2005), De follow-up van onderzoeksvisitaties, onderzoek in opdracht van de Commissie Dynamisering, CHEPS, Universiteit Twente, p. 61. Garfield, E. (1979), Citation indexing. Its theory and application in science, technology and humanities. New York: Wiley. Wouters, P. (1999), The citation culture, proefschrift, Universiteit van Amsterdam, p. 215. Wouters, P. (1999), ibid., p. 4. Leeuwen, T.N. van (2004), Second generation bibliometric indicators. The improvement of existing and development of new bibliometric indicators for research and journal performance assessment procedures, proefschrift, Universiteit Leiden. NOWT (2005), Wetenschaps- en technologie-indicatoren. EU (periodiek), European innovation scoreboard. KNAW (2005), Judging research on its merits, rapport van de Raad voor Geesteswetenschappen en Sociaal-wetenschappelijke Raad. Lyall, C., A. Bruce, J. Firn, M. Firn & J. Tait (2004), Assessing end-use relevance of public sector research organisations, in: Research Policy, 33, pp. 73-87. Gibbons, M, C. Limoges, H. Nowotny, S. Schwartzman, P. Scott & M. Trow (1994), The new production of knowledge: the dynamics of science and research in contemporary societies, London: Sage. Guba, E.G. & Y.S. Lincoln (1989), Fourth generation evaluation, Newbury Park, CA: Sage Publications. Hertog, P. den (1996), User involvement in RTD concepts, practices and policy lessons, Apeldoorn: TNO. Spaapen, J, H. Dijstelbloem & F. Wamelink (2007), Evaluating research in context. A method for comprehensive assessment, 2e editie, Den Haag: COS.

37

3

Over de werking van prestatiemeetsystemen

Prestatiemeetsystemen worden gebruikt voor het inzichtelijk maken en optimaliseren van prestaties in het bedrijfsleven; een omgeving waarin prestaties vaak duidelijk kwantificeerbaar zijn, zoals het aantal productie-eenheden per geïnvesteerde euro of omzet- en winstcijfers. Voor een omgeving van wetenschappelijke professionals, die wordt gekenmerkt door variëteit en complexiteit van wetenschappelijke output ligt een prestatiemeetsysteem minder voor de hand. In het vorige hoofdstuk zijn tal van praktische en methodologische problemen genoemd die een betekenisvolle kwantificering van onderzoeksoutput lastig maken. Toch is prestatiemeting en outputfinanciering de laatste jaren gemeengoed aan het worden in de wetenschappelijke wereld. In dit hoofdstuk wordt vanuit verschillende perspectieven gekeken naar het fenomeen prestatiemeting. Eerst wordt aandacht besteed aan het managerial perspectief: de behoefte van universitaire bestuurders, faculteitsbestuurders en onderzoeksmanagers om onderzoeksoutput te ‘vangen’ in meetsystemen. Daarna wordt vanuit het perspectief van de professionals – het gezichtsveld van onderzoekers – bekeken waarom prestatiemeetsystemen vaak spanningen oproepen, rigiditeit veroorzaken, frustraties en weerzin opwekken en uiteindelijk kunnen leiden tot perverse effecten.

3.1

Modelmatige managerial noties

Een prestatiemeetsysteem is ontworpen voor gebruik door bestuurders en managers in een organisatie. Het systeem meet de prestaties in de organisatie op vooraf vastgestelde prestatieparameters. Managers kunnen verschillende functies toekennen aan prestatiemeetsystemen.1 Het kan gaan om min of meer vrijblijvende functies, zoals het verschaffen van transparantie en accountability. Het kan ook gaan om meer dwingende functies, zoals budgetallocatie of prestatiefinanciering. In de kern worden prestatiemeetsystemen gebruikt voor het inzichtelijk maken van prestaties van organisaties, onderdelen of individuen. Input-output-model Het input-output-model, dat veel wordt gebruikt in public management literatuur, geeft inzicht in de aspecten die voor prestatiemeting in aanmerking komen. Het input-outputmodel doorloopt enkele stappen. Na het bepalen van de organisatiedoelen (bijvoorbeeld toponderzoek verrichten op een selectie van onderzoeksthema’s) en input (arbeidsinzet en middelen), kunnen prestaties worden gemeten op het gebied van throughput (werkprocessen en activiteiten, bijvoorbeeld onderzoeksprojecten, door-

38


looptijd, onderzoeksfte’s, ratio staf/promovendi), output (bijvoorbeeld wetenschappelijke publicaties) en effecten (bijvoorbeeld citaties en maatschappelijke toepassingen).2 Bij het meten van prestaties, of het geven van betekenis aan prestaties, kan de externe omgeving als referentiekader worden gebruikt. Kan de organisatie voldoen aan de verwachtingen en wensen van buiten? Voor wetenschappelijk onderzoek kan bijvoorbeeld bekeken worden hoe wetenschappelijke producten in de wetenschappelijke of maatschappelijke omgeving effect sorteren, van betekenis zijn en tot veranderingen leiden. Hoewel universiteiten maar voor een beperkt deel vraaggerelateerd werken, geeft het input-output-model wel weer wat de achtergrond van prestatiemeting is en in welke behoefte het kan voorzien. Het model kan gebruikt worden om de doeltreffendheid en doelmatigheid van organisaties transparant te maken.3

Omgeving

finale effecten Maatschappelijke problemen

Behoeften

Relevantie

Intermediaire effecten Effectiviteit

Organisatie Doelen

Figuur 3.1

Input-output model4

Input

Throughput

Output

Efficiëntie Kosten

Kosteneffectiviteit

Als prestatiemeting wordt gebruikt als beoordelingsenenafrekeninstrument krijgt het Gebruik duurzaamheid een dwingend karakter. In een bedrijfsomgeving wordt dan gesproken over organizational control en performance management: het proces waarin sturing plaatsvindt door het systematisch vaststellen van doelen, het monitoren op basis van prestatieindicatoren en kritische succesfactoren en het uitdelen van financiële prikkels.5 In de universitaire omgeving zal de term performance management niet snel vallen, omdat het niet past in de relatie tussen universitaire managers en de onderzoekers. Toch is het principe waarbij de universiteit of faculteit prestatieparameters formuleert en een bonus/malus-systeem heeft feitelijk weinig anders. Ook in die situatie wordt immers gestuurd op organisatieprocessen en resultaten middels financiële prikkels. De middelen uit de eerste geldstroom worden ingezet in lijn met de uitkomsten van de prestatieme-

3. OVER DE WERKING VAN PRESTATIEMEETSYSTEMEN

39

ting. De werking van dergelijke systemen zullen in het empirische deel (hoofdstuk 4 t/m 9) van dit onderzoek worden onderzocht. Agency theory: hiërarchische relatie tussen principaal en agent In de agency theory wordt een organisatie gezien als een netwerk van principaal-agent relaties met hiërarchische afhankelijkheidsrelaties.6 De principaal is de ‘koper’ of opdrachtgever en de agent is de ‘aanbieder’ of opdrachtnemer van een dienst. Met andere woorden: in de organisatie is de principaal de werkgever, vertegenwoordigd door de manager. De agent is de werknemer die zijn diensten aanbiedt tegen een materiële (en immateriële) beloning. De agency theory veronderstelt dat in de relatie tussen principaal en agent een belangentegenstelling bestaat. De agent heeft andere belangen dan de principaal voor ogen staat en omgekeerd. De principaal is niet volledig op de hoogte van de belangen van de agent omdat die een informatieachterstand heeft. De agent zit namelijk dichter op de materie dan de principaal. Deze informatie-assymetrie kan leiden tot ondoelmatigheid. In de agency theory is de centrale vraag hoe in de relatie tussen principaal en agent opportunistisch gedrag van de agent kan worden tegengehouden. Verondersteld wordt dat een prestatiemeetsysteem, waarin prestaties transparant worden gemaakt, de kans op opportunistisch gedrag van de agent verkleint. Prestatieinformatie geeft de mogelijkheid tot controle. Door middel van deze controle kan de principaal de moral hazard, waartoe een natuurlijke neiging zou bestaan, beheersen. Prestatiemeting wordt zo een instrument voor behavioral accounting: gedrag van werknemers wordt gereguleerd door control (beheersbaarheid) in de werkomgeving.7 Self-efficacy: het geloof in eigen kunnen Het concept self-efficacy (zelfwerkzaamheid) legt een minder hiërarchisch accent op de relatie tussen manager en medewerker.8 De self-efficacy biedt de mogelijkheid aan iemand om gemotiveerd te raken, cognitieve capaciteiten aan te spreken en de ‘juiste’ activiteiten te verrichten. Bij voldoende competentie hebben mensen het gevoel dat zij het proces van prestatiesturing zelf enigszins kunnen beheersen. Het gevoel van control wordt bevorderd door feedback, omgevingsaanpassing en participatie.9 Competentie en control leiden tot het gevoel van ‘the joy of being a cause’.10 Als iemand competent en in control is, ontstaat commitment. Medewerkers raken betrokken bij het prestatiedoel. De mate van betrokkenheid laat zien in welke mate de persoon zich verbonden voelt met de perspectieven van de organisatie.11 Terwijl competentie en control de arbeidsprestatie bevorderen, blijkt commitment bepalend voor zogenoemd extra-rol gedrag: meer doen dan de functie van de medewerker strikt genomen voorschrijft.12 Goal setting theory: doelen motiveren Deze theorie staat min of meer tussen de hiërarchische agency theory en het concept self efficacy. De goal setting theory veronderstelt dat prestatiedoelen en het proces waarin doelen geformuleerd worden bevorderlijk zijn voor het motivatieproces van

40


mensen.13 Doelgerichtheid leidt de aandacht naar relevante activiteiten en ontmoedigt niet-relevante activiteiten. Daarnaast zetten doelen aan tot doorzettingsvermogen en deadlines bevorderen een hoger werktempo. Een voorwaarde is dat iemand vooraf weet dat achteraf op systematische wijze feedback zal worden gegeven over de mate waarin de doelen zijn gehaald en de inspanningen die hieraan hebben bijgedragen. De goal setting theory zegt dat mensen minder gemotiveerd zullen zijn als de kans op succes zeer hoog of zeer laag is. Figuur 3.2 laat zien dat de motivatie het grootst is als de kans op succes ongeveer vijftig procent is. De persoonlijke inschatting van de eigen competentie om de gewenste prestatie te realiseren is daardoor belangrijk voor de effectiviteit van prestatiemeting.14

Figuur 3.2

Motivatie en de kans op succes 15 Motivatie

Hoog Bovenstaande theorieën gaan er vanuit dat werknemers gemotiveerd worden door middel van doelstellingen en dat controlemechanismen nodig zijn voor het op orde houden van de organisatie. De ervaring in de wetenschapssector leert dat wetenschappelijk onderzoekers veelal met scepsis kennis nemen van dergelijke theoretische bespiegelingen, omdat intrinsieke motivatie en autonomie in het onderzoek belangrijker zijn dan Laag verticale sturingsprikkels. Het oordeel van collega’s en vakgenoten over de kwaliteit Kans op succes van onderzoekswerk wordt belangrijker gevonden dan het oordeel van de1,0eigen mana0,0 0,5 gers en bestuurders. Maar, uiteindelijk is de relatie tussen bestuurder en professional niet machtsvrij, omdat bestuurders kunnen ingrijpen in de strategie en begroting van de instelling waar de professionals deel van uitmaken.

3.2

Het perspectief van wetenschappelijke professionals

De gemiddelde wetenschappelijke professional zal weinig enthousiast worden over het managerial perspectief op prestatiemeting waarin kwantificeren van output en sturen door bonus/malus-arrangementen een belangrijke plaats innemen. Over het algemeen worden met dergelijke beelden contra-intuïtieve reacties opgeroepen. Er zal een voorkeur bestaan voor evaluatieve studies waarin meer diepgang wordt bereikt. Dit heeft


41

vooral te maken met de professionele aard van het wetenschappelijke werk. Wetenschappelijke professionals onderscheiden zich door enkele unieke kenmerken. Hierna worden vier ideaaltypische kenmerken besproken.16 Kenmerk 1: Professionals leveren hooggekwalificeerd werk Wetenschappelijk onderzoekers hebben een hoge mate van expertise, die het resultaat is van langjarige opleiding en training op een specifiek kennisterrein (body of knowledge). De specifieke kennis en vaardigheden in samenhang met een set aan normen en waarden met betrekking tot de professie vormen de basis voor het werk. Veel expertise van wetenschappelijk onderzoekers is tacit knowledge: impliciete kennis, die moeilijk is te expliciteren en formaliseren in prestatiemeetsystemen.17 De kennis is sterk persoonsgebonden en vormt het resultaat van jarenlange training en ervaring. Deze expertise is nodig om onvoorspelbare onderzoeksprocessen te kunnen uitvoeren. Het verloop van een onderzoeksproces is in grote mate onvoorspelbaar en kenmerkt zich door een verwevenheid van handelingen.18 Bij de start van werkzaamheden kan veelal niet met zekerheid worden gezegd op welk moment bepaalde stappen precies zullen worden doorlopen. Nieuwe kennis en ervaring wordt verbonden aan bestaande expertise, waardoor weer nieuwe expertise wordt ontwikkeld. ‘As long as the process cannot be specified in detail it is not possible to spell out the specific requisite skills and to train people for them. In the context of professional work, job descriptions are at best glittering generalities: ‘Do science in a scientific manner and answer the phone in the absence of the boss.’ 19

In de literatuur wordt onderscheid worden gemaakt tussen improviserende innoverende professionals en routinematig werkende professionals.20 De eerste groep produceert op basis van creativiteit en improvisatietalent telkens nieuwe, unieke oplossingen en informatie. De andere categorie past min of meer routinematig bepaalde kennis en vaardigheden op hoog niveau toe. De routinematige aanpak van professioneel werk is geen ontkenning van de complexiteit en onzekerheid van het werk, maar de professional gebruikt zelf ontwikkelde routines of protocollen om vast te stellen wat er aan de hand is en hoe gehandeld dient te worden. In dit verband is ook wel gesproken over pigeonholing: een vraag wordt benaderd met een procedure of protocol dat leidt tot enkele bekende oplossingen.21 Het biedt de professional een mogelijkheid om de onzekerheid bij de benadering van het probleem te reduceren. Dit doet zich bijvoorbeeld voor in de toegepaste geneeskunde: een arts hanteert een aantal vaste stappen om een diagnose te stellen. Een wetenschapper in het fundamenteel onderzoek heeft vaker te maken met wetenschappelijke problemen waarvan de aard en omvang niet kan worden vastgesteld via bekende protocollen. Het is de vraag of prestatiemeetsystemen bijdragen aan doelgerichtheid (goal setting theory) en control in de werkomgeving (agency theory) als de organisatie hoofdzakelijk bestaat uit innoverende wetenschappelijke professionals.

42


Kenmerk 2: Professionals hechten aan betekenisvol werk De betrokkenheid bij het werk is onder wetenschappers over het algemeen groot. Soms wordt zelfs gesproken van een roeping. Marc De Mey, hoogleraar cognitieve wetenschap aan de Universiteit Gent, verwoorde zijn visie op ‘wat wetenschappers drijft’ in een symposium van de KNAW als volgt: ‘Het is een diep gewortelde overtuiging, zowel bij universitaire beleidsmensen als bij beheerders van fondsen voor wetenschappelijk onderzoek, dat de beste kansen voor belangrijke wetenschappelijke prestaties geleverd worden door intrinsiek gemotiveerde onderzoekers. De drang om te weten, om het juiste puzzelstukje te identificeren en in het geheel te doen passen, brengt wetenschappers ertoe geen acht te slaan op hun werkuren, ook in de weekends met hun onderzoek bezig te blijven en zelfs ‘betere’ banen terzijde te laten waar hun expertise financieel hoger zou worden gewaardeerd. Zij hebben de indruk dat hun onderzoekersbaan samenvalt met hun hobby en die synergische combinatie zorgt voor het karakteristieke amplicatie-effect van de gedrevenheid.’ 22

Als deze intrinsieke motivatie van wetenschappers zo groot is als die lijkt, is het de vraag of prestatiemeting veel toevoegt aan het behalen van goede onderzoeksprestaties. Kenmerk 3: Professionals hechten aan autonomie Een ander onderscheidend kenmerk van de professional is zijn autonomie. Het gaat hierbij om keuzevrijheid van doelen en werkmethoden (means and ends). Autonomie is een belangrijke randvoorwaarde voor initiatief, creativiteit, oorspronkelijkheid en innovativiteit. ‘Professionals vormen een bijzonder gezelschap. Het zijn hoog opgeleide vakspecialisten, die gewend zijn aan autonomie in hun werk. In het algemeen zijn ze kritisch, ongebonden en eigenzinnig. Daarom hebben ze de reputatie van een moeilijk te managen doelgroep.’ 23

Het belang van autonomie voor professionals ligt in de literatuur echter regelmatig onder vuur vanwege de mogelijke tegenstelling met het belang van de organisatie (zie de agency theory).24 Een onderzoek uit 2003 laat zien dat hoogleraren inderdaad sterk hechten aan hun autonomie en zich niet al te veel aantrekken van het beleid van de organisatie.25 Slechts dertig procent van de Nederlandse hoogleraren zegt zich sterk te confirmeren aan het onderzoeksbeleid van de faculteit, de overige zeventig procent zegt zich niet of slechts in beperkte mate aan het beleid aan te passen. In de onderzoekswereld lijkt het bon ton om het beleid niet al te serieus te nemen. Facultair onder-


43

zoeksbeleid zou vooral een externe functie hebben; de faculteit laat zien dat er in het onderzoek in samenhang wordt gehandeld. Bij het doorgronden van het begrip autonomie spelen twee aspecten een rol: de aard en de mate van autonomie. Wat betreft de aard van autonomie wordt in de literatuur onderscheid gemaakt tussen strategische autonomie en operationele autonomie. Strategische autonomie duidt op de vrijheid om zelf onderzoeksterreinen te kiezen, operationele autonomie heeft te maken met de vrijheid om te bepalen hoe doelen worden bereikt. Uit een onderzoek naar autonomie in Amerikaanse R&D-laboratoria blijkt dat in veel van die organisaties een grote mate van strategische autonomie wordt toegekend aan medewerkers. Dit is gecombineerd met veel operationele controles en daardoor weinig operationele autonomie, oftewel onderzoekers worden veel gecontroleerd in de dagelijkse praktijk.26 De noodzaak van autonomie lijkt soms verheven tot ideologie.27 De vraag kan worden gesteld welke mate van autonomie nodig is. Uit empirisch onderzoek blijkt dat zowel coördinatie als vrijheid van wetenschapsbeoefening belangrijke bepalende factoren zijn voor goede prestaties.28 In een te losse omgeving met een grote mate van autonomie waren onderzoekers geneigd zich na verloop van tijd te isoleren met afnemende prestaties tot gevolg. De beste prestaties werden geleverd in organisaties waar medewerkers weliswaar (operationele) autonomie hadden, maar waar ook duidelijke eisen aan hen werden gesteld. In dit verband werd gesproken van een creatieve spanning die nodig is om goed te kunnen presteren: een organisatie dient uitdagingen en verwachtingen te formuleren, gecombineerd met autonomie om op een creatieve manier aan die uitdagingen en verwachtingen te voldoen. Kenmerk 4: Professionals prefereren collegiale besturing De wetenschappelijke wereld wordt gedomineerd door meritocratie: status is gebaseerd is op wetenschappelijke verdiensten. Onderzoekers hechten waarde aan waardering van expertise en vaardigheden door vakcollega’s (beroepsbinding).29 Niet de organisatie, maar de collega-professionals zijn bepalend bij het beoordelen van en toezicht houden op het werk en gedrag. Voor professionals gelden de ‘wetten’ van de functionele autoriteit: het gezag in het vakgebied en de bekwaamheid als legitimatie voor ingrijpen. Ambtsautoriteit spreekt de professional veel minder aan.30 De binding met de werkgever is daardoor minder groot. Er is sprake van limited participation van de professional in de organisatie.31 Veel onderzoekers bewaren bij voorkeur enige afstand tot wat organisatorische en administratieve rompslomp wordt genoemd. Onderzoekers hebben vaak moeite met een gestructureerde bedrijfsmatig georiënteerde organisatie.32 Ze hebben hun eigen vakstandaarden, codes en ethiek. Er wordt meer belang gehecht aan het contact met vakgenoten buiten de eigen organisatie dan de interne procedures en lokale managers.33 Voor prestatiemeetsystemen betekent dit dat zij volgend moeten zijn aan

44


de waarden die voor de professional centraal staan. Dat betekent dat de prestatieindicatoren moeten aangrijpen op de prestaties die voor wetenschappers en hun wetenschappelijke omgeving belangrijk zijn.

3.3

Kanttekeningen bij ideaaltypische kenmerken van professionals

Afgaande op de literatuur verschijnt een rooskleurig beeld van de aard en drijfveren van wetenschappelijke professionals; het zouden hooggekwalificeerde autonoom werkende mensen zijn die op basis van intrinsieke motivatie tot uitstekende resultaten komen. Dit beeld kan enigszins worden genuanceerd. Er kunnen zich situaties voordoen waarin de professionele omgeving niet optimaal functioneert.34 Non-interventiebeginsel De professionele habitat is vaak sterk gefragmenteerd. De professionals zijn veel met hun eigen zaken bezig, waardoor vaak niet voldoende onderling wordt gecommuniceerd. Gevolg is dat de horizontale controle tekort schiet. Tegelijkertijd valt te constateren dat onderzoeksprofessionals sterk van elkaar zijn afhankelijk en elkaar voortdurend tegen komen. Repetitieve interdependenties zijn een voedingsbodem voor het non-interventiebeginsel.35 Het non-interventiebeginsel kan op gespannen voet staan met de effectiviteit van peer review. In een wetenschappelijke omgeving waarin peer review aan de orde van de dag is, kan het zijn dat onderzoeker A vandaag onderzoeker B beoordeelt en morgen beoordeelt onderzoeker B onderzoeker A. Het kan lonend zijn elkaar niet al te kritisch te benaderen. Ook kan het aantrekkelijk zijn een omgeving te creëren waarin tegengeluiden niet al te veel worden gemobiliseerd (groupthink). Peer review is een relatief gesloten proces doordat buitenstaanders het oordeel van peers moeilijk kunnen toetsen. In het Nederlandse evaluatiesysteem komen peers relatief vaak tot een gunstig oordeel over wetenschappelijk onderzoek. De Meta-Evaluatiecommissie, die toezicht houdt op de toepassing van het Standard Evaluation Protocol heeft onlangs geconstateerd dat lage scores in Nederland praktisch niet meer voorkomen.36 De commissie wijst op een erosie van de scores: ‘het is opvallend dat de eindscores van de onderzoekseenheden die afzonderlijk gevisiteerd zijn, nooit lager uitvallen dan een vier. Dat wijst op een ernstige erosie van de waarderingscijfers. Als ervan uit gegaan wordt dat de gemiddelde waardering van het onderzoek in Nederland idealiter voldoende moet zijn (dus een drie) is een beoordeling waarin slechts hogere cijfers voorkomen per definitie inflatoir. Dat doet afbreuk aan de vertrouwenwekkendheid van het evaluatie proces.’ 37


45

De Meta-Evaluatiecommissie heeft ook geconstateerd dat het vaak moeilijk is te traceren waarop de oordeelsvorming gebaseerd is. Vanuit de onderzoekswereld is aangegeven dat de hoge scores moeten worden gezien in het licht van de processen van selectie en evaluatie die de afgelopen decennia hebben plaatsgevonden, waardoor de kwaliteit van wetenschappelijke groepen in Nederland hoog is.38 Er zou dus geen sprake zijn van een inflatie in de oordeelsvorming. Bias in peer review Peer review is een belangrijk onderdeel in het wetenschappelijk proces en kan grote gevolgen hebben voor de reputatie en carrière van onderzoekers.39 De uitkomsten van peer review worden bepaald door de voorkeuren van de referenten (personal bias): ‘Quality is often in the eye of the beholder.’ Er kunnen vier vormen van bias worden onderscheiden.40 -

Bias 1: Conventional approach bias: de voorkeur voor heersende paradigma’s of bevindingen uit eigen onderzoek. Peers zijn vaak gevestigde wetenschappers, waardoor het gevaar bestaat dat controversieel onderzoek ondergewaardeerd wordt. Er zijn ook empirische bewijzen voor een negatieve bias ten aanzien van interdisciplinair onderzoek, doordat referenten uit vakspecialismen hun eigen onderzoeksterrein onvoldoende terugzien.

-

Bias 2. Insider bias: de voorkeur voor werk van bekende onderzoekers uit het old boys network.41 Uit onderzoek naar het oordeel van peers over artikelen voor tijdschriften blijkt dat de oordelen sterk uiteen kunnen lopen, waarbij de bekendheid met het werk van eerdere onderzoekers een bepalende factor is.42 Een bijna ludieke illustratie van dit effect blijkt uit een ranking van Amerikaanse law schools door rechters, advocaten en rechtendecanen. De Princeton Law School verscheen in de top-20, maar deze bestond feitelijk niet. De beoordelaars gingen af op de hoge reputatie van de Princeton University en veronderstelden dat de law school toch minstens zo goed moest zijn.43

-

Bias 3: Dominant broup bias: de voorkeur voor gevestigde onderzoekers (succes-breeds-succes-bias). Onderzoeksfinanciering op basis van in het verleden behaalde resultaten kan leiden tot een verschuiving van middelen naar oudere onderzoekers en onderzoekseenheden, ten koste van jonge of nieuwe onderzoekers en nieuwe onderzoeksgroepen, die in de toekomst productiever kunnen zijn dan gevestigde groepen, maar op basis van past performance geen potentieel uitstralen.44 Dit is vergelijkbaar met het Matthew-effect dat aangeeft dat prestaties langjarige consequenties kunnen hebben.45 Succes versterkt de reputatie van de onderzoeker en de kans op het verwerven van onderzoeksmiddelen.

46

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK ‘For unto every one that hath shall be given, and he shall have abundance: but from him that hath not shall be taken away even that which he hath.’ (Matthew XXV:29, KJV).

-

Bias 4: Disambiguation: jaloezie of corruptie bij referenten.46 Jaloezie bij een referent kan leiden tot een negatief oordeel over een onderzoeksvoorstel of afwijzing van een publicatie. Omdat op veel plekken vergelijkbaar onderzoek plaatsvindt, kan een referent signaleren dat zijn onderzoek sterk lijkt op het te publiceren artikel. Door de publicatie van het concurrerende artikel te vertragen, kan hij de primeur pakken.

Kortom, het systeem van peer review is niet waterdicht, zoals ook Drummond Rennie, deputy editor van het Journal of the American Medical Association, opmerkte: ‘There seems to be no study too fragmented, no hypothesis too trivial, no literature too biased or too egotistical, no design too warped, no methodology too bungled, no presentation of results too inaccurate, too obscure, and too contradictory, no analysis too self-serving, no argument too circular, no conclusions too trifling or too unjustified, and no grammar and syntax too offensive for a paper to end up in print. Peer review determines where rather than whether a paper should be published. However, from time to time, ‘shoddy science’ ends up in the most prestigious of journals.’ 47

Kanttekeningen bij de waarde van autonomie Het belang van autonomie voor professionals is misschien minder groot dan het lijkt.48 Veel autonomie kan leiden tot geslotenheid, waarbij ongevoeligheid ontstaat voor signalen van buiten. Regels en richtlijnen die van buiten komen worden defensief benaderd.49 Hieraan verwant is advocatief gedrag: bestaande praktijken worden verdedigd omdat ze vanuit de professie zijn voortgekomen en alleen daarom al verdedigd moeten worden. Autonomie kan zich derhalve ook tegen de professie keren. Uit een onderzoek onder 378 faculty members van 19 verschillende colleges en research universities in de Verenigde Staten bleek dat het belang van autonomie in werkelijkheid minder groot is dan vaak wordt aangenomen. Toen werd gevraagd welke incentives voor onderzoekers belangrijk zijn, bleek dat een vaste aanstelling, salarisstijging en sabbaticals het hoogste scoren (figuur 3.3).50 Daarna volgen startsubsidies voor nieuwe onderzoekers, faciliteiten/infrastructuur en congresbezoek. Pas onderaan verschijnt professionele autonomie.


47

Vaste aanstelling (‘tenure’) Salarisstijging Sabbatical, onderzoekstijd Startsubsidies Faciliteiten, infrastructuur Reizen, congresbezoek Onderzoekssubsidies (‘summer funds’)

Figuur 3.3

Werken met studenten onderzoek Missiekarakteristieken van wetenschappelijk Eigen keuze onderzoeksthema’s

Een ander onderzoek onder ruim 240 bètaonderzoekers laat zien dat de belangrijkste Onderzoeksassistenten motivatoren zijn: 1) constateren dat onderzoeksresultaten worden toegepast, 2) salarisverhoging, 3) wetenschappelijk werk wordt vercommercialiseerd, 4) waardering door Minder onderwijslast 51 een supervisor en 5) een financiële bonus. Motivatoren kunnen verschillen al naar Interne subsidies gelang de carrièrefase van een onderzoeker (life span development theory).52 Financiële Professionele autonomie beloning en promotie zijn aan het begin van de carrière belangrijker dan op latere leeftijd. 0% 20% 40% 60% Malversaties in het wetenschapsbedrijf Ondanks de ideaaltypische kenmerken van de wetenschappelijke professionals en opvattingen over wetenschappelijke integriteit, is niets menselijks wetenschappers vreemd. Fraude en plagiaat komen ook in wetenschappelijke kringen regelmatig voor.53 Uit een Amerikaans onderzoek onder ruim 3.200 onderzoekers die zijn gefinancierd door de National Institutes of Health (NIH) blijkt dat frauduleus handelen regelmatig aan de orde is (tabel 3.1).54

80%

100%

48


Tabel 3.1

Percentage onderzoekers dat niet-integer gedrag heeft vertoond in de laatste drie jaar55 Niet-integere gedragsvormen 1. Vervalsen van onderzoeksdata 2. Negeren van belangrijke data 3. Relaties met belanghebbende bedrijven niet zichtbaar maken 4. Relaties met studenten, onderzoeksthema’s of klanten die vragen oproepen 5. Gebruik van ideeën van anderen zonder bronvermelding (plagiaat) 6. Niet-geautoriseerd gebruik van onderzoeksdata 7. Weglaten van data die strijdig zijn met resultaten van eerder onderzoek 8. Bijschaven van onderzoeksuitkomsten in lijn met gewenste resultaten 9. Niet kritisch nakijken van onderzoeksuitkomsten van anderen 10. Verandering van onderzoeksaanpak, methode of resultaten onder druk van externe financier 11. Publiceren van dezelfde onderzoeksuitkomsten in twee of meer tijdschriften 12. Onjuiste citaties 13. Niet noemen van details over methode of resultaten in publicaties 14. Gebruik van ongepaste onderzoeksmethoden 15. Achterwege laten van meetresultaten die op het oog ongepast lijken 16. Onzorgvuldige dossieropbouw tijdens onderzoeksproces

Totaal 0,3% 0,3% 0,3% 1,4% 1,4% 1,7% 6,0% 7,6% 12,5% 15,5% 4,7% 10,0% 10,8% 13,5% 15,3% 27,5%

Circa één tot twee procent van de onderzoekers maakt zich schuldig aan ernstige vormen van niet-integer handelen. Mogelijk liggen de werkelijke cijfers nog hoger. Het is de vraag of prestatiemeetsystemen kunnen bijdragen aan het terugdringen van dergelijk wetenschappelijk ongewenst gedrag. Gezien de aard van het misconduct zal een prestatiemeetsysteem geen corrigerende werking hebben, omdat de misdragingen zich afspelen in het onderzoeksproces zelf.

3.4

Heilzame effecten van prestatiemeetsystemen

De managementliteratuur geeft veel aanwijzingen voor de heilzame werking van prestatiemeetsystemen.56 Hierna worden de veel genoemde effecten behandeld. Daarbij wordt onderscheid gemaakt tussen effecten van de eerste orde, die direct na invoering van een prestatiemeetsysteem zichtbaar worden, en effecten van de tweede orde, die zich na verloop van tijd zullen manifesteren. Prestatie-informatie draagt bij aan verantwoording (eerste orde effect) Een eerste effect van een prestatiemeetsysteem, hoewel enigszins obligaat, is dat prestaties transparant worden. Een prestatiemeetsysteem biedt zo de mogelijkheid om intern of extern verantwoording af te afleggen. Middels prestatiecijfers kan inzicht worden gegeven in de output, effecten of doelmatigheid van het functioneren van de organisatie, of onderdelen daarvan. Voor wetenschappelijke organisaties, die in hoofdzaak


49

met publieke onderzoeksgelden worden gefinancierd, is het belangrijk dat zij verantwoording afleggen over hun positie, wetenschappelijke status en maatschappelijke betekenis. Prestatiecijfers kunnen een rol spelen in de periodieke verantwoording van onderzoekers naar buiten. En ook binnen de universiteit zullen faculteiten en instituten verantwoording moeten afleggen aan het universiteitsbestuur. Prestatie-informatie wordt gebruikt om te leren (eerste orde effect) Prestatie-informatie vormt de basis voor oordeelsvorming over de doeltreffendheid of doelmatigheid van de organisatie. Managers kunnen op basis van prestatie-informatie bepalen of de geleverde output ‘aan de maat’ is en ingrijpen in processen om de doeltreffendheid of doelmatigheid te vergroten. Prestatiemeting is daarmee ook een early warning system; het bestuur van de organisatie wordt gewaarschuwd wanneer actie nodig is om de prestaties op cruciale prestatie-indicatoren zeker te stellen.57 Wat is er bijvoorbeeld aan de hand als het aantal publicaties per fte onderzoeksinzet binnen een faculteit zeer grote verschillen laat zien? Of wat betekent het dat bepaalde onderzoeksgroepen veel meer externe financiering binnenhalen dan andere groepen? Prestatiemeting is een stimulans voor doelgericht handelen (eerste orde effect) Medewerkers worden gestimuleerd zich te richten op prestaties die worden gemeten. De doelgerichtheid van de organisatie als geheel kan groter worden. ‘What gets measured, gets done.’58 Illustratief is de toename van het aantal promoties in Nederland. Sinds de invoering van promotievergoedingen door het ministerie van OCW is het aantal promoties tussen 2000 en 2007 met 700 per jaar toegenomen. Dit laat zien dat universiteiten gevoelig zijn voor financiële prikkels. Prestatie-effect (tweede orde effect) Waar prestatie-informatie wordt gebruikt voor oordeelsvorming en de allocatie van middelen, zullen medewerkers worden aangezet tot prestaties die worden gemeten.59 Uit empirisch onderzoek blijkt dat financiële sancties die worden gekoppeld aan prestatiemeting van invloed zijn op gedrag.60 Uit een onderzoek naar een groot aantal empirische studies die de invloed van financiële beloning op prestaties van medewerkers in kaart hebben gebracht, blijkt dat financiële prikkels een positieve correlatie hebben met productiviteit.61 Er werd geen positieve correlatie gevonden met kwaliteit van prestaties. Hierbij moet worden opgemerkt dat het empirische bewijs vooral is gebaseerd op organisaties waar de productie duidelijk meetbaar en realiseerbaar is. Het prestatieeffect is in de literatuur ook wel genuanceerd door te stellen dat hetgeen gemeten wordt automatisch toeneemt door een verschuiving van definities.62 Voorheen ‘onzichtbare’ output wordt binnen de definitie geplaatst, waardoor de volume of intensiteit van de beoogde output toeneemt door de activiteit van het meten; de meting ‘verandert’ de werkelijkheid (hypertrofie). Dit kan zich ook voordoen in een onderzoeksorganisatie. In een situatie waarin bijvoorbeeld alleen Engelstalige publicaties worden geteld kun-

50


nen vertalingen van Nederlandstalige publicatie naar het Engels de output laten toenemen. De output is niet werkelijk gestegen, maar wel binnen de definitie van de prestatie-indicator geplaatst. Wervings- of vervangingseffect (tweede orde effect) Een organisatie met een prestatiemeetsysteem kan aantrekkelijk worden gevonden door goed presterende potentiële medewerkers, die verwachten te kunnen profiteren van het systeem. De prestaties van de goed presterende instellingen kunnen verbeteren door de komst van de nieuwe goed presterende medewerkers.63 Zwak presterende instellingen zullen te maken kunnen krijgen met vertrekkende medewerkers die niet profiteren van het prestatiemeetsysteem.64 Een belangrijk deel van de productiviteitsstijging na invoering van een prestatiemeetsysteem is te danken aan deze selectie.65 Binnen de universitaire sector wordt steeds vaker gesproken over de ‘transfer markt’. Hiermee wordt bedoeld dat excellente onderzoekers (vergelijkbaar met topsporters) worden weggekocht door een universiteit die meer geld biedt. De universiteit hoopt zo te profiteren van de goede prestaties van de excellente onderzoeker. Het budget wordt voor de nieuweling wordt vaak gevonden in een reallocatie van middelen. Minder goed presterende onderzoekers krijgen meer onderwijstaken of worden naar de marge van het universitaire onderzoek gedreven. Kwaliteit van beleid en besluitvorming (tweede orde effect) Prestatiemeting heeft daardoor ook een communicatiefunctie. Prestatiemeting biedt voor complexe organisaties van professionals de mogelijkheid om te ‘prikken’ in de vaak gesloten wereld van professionals.66 De werkzaamheden en output van professionals zijn vaak moeilijk te beoordelen voor een buitenstaander, omdat het gaat om hooggekwalificeerde werkzaamheden die op basis van interactie met andere professionals tot stand komen. De complexe werkzaamheden van professionals laten zich over het algemeen ook moeilijk representeren door eenvoudige prestatie-indicatoren. Zo is het in de universitaire onderzoeksorganisatie, waarin veel onderzoekers samenwerken, vaak moeilijk vast te stellen wat precies iemands bijdrage is geweest, hoeveel eenheden output iemand geleverd heeft en hoe die output moet worden beoordeeld. Een prestatiemeetsysteem kan ook leiden tot betere beleidsafwegingen en bestuurlijke beslissingen.67 Informatie over prestaties levert een bijdrage aan het streven om beleid zoveel mogelijk evidence based te maken.68 Met een adequaat overzicht van prestatiegegevens kunnen wetenschappelijke managers beslissingen nemen over extra investeringen in bepaalde onderzoeksgroepen, bijvoorbeeld omdat die achterblijven of juist relatief goed presteren. Binnen de organisatie kan vervolgens ook worden uitgelegd waarop die beslissingen zijn gebaseerd. In de universitaire omgeving worden strategi-


51

sche beslissingen vaak niet genomen op basis van prestatiecijfers sec, maar ook en vooral op basis van kwaliteitsoordelen van peers. Allocatie-effect (tweede orde effect) Nog dwingender wordt het wanneer prestatie-informatie wordt gebruikt voor budgetallocaties. Onderzoeksgroepen kunnen rijker of armer worden, afhankelijk van hun wetenschappelijke prestaties, gemeten naar bepaalde prestatieparameters. In dit verband wordt ook wel gesproken over outputfinanciering, prestatiefinanciering of prestatiebeloning. In deze situatie zal behoefte bestaan aan een prestatiemeetsysteem dat op een aantal vooraf overeengekomen prestatie-indicatoren informatie verzamelt. De informatie wordt vertaald naar budgetberekeningen. Zowel op landelijk niveau als in universiteiten is een trend waarneembaar waarbij onderzoekseenheden worden afgerekend op prestaties. In de nationale onderzoeksbekostiging zijn er bijvoorbeeld promotievergoedingen en bijdragen aan erkende onderzoeksscholen. In sommige universiteiten wordt een deel van het onderzoeksgeld verdeeld op basis van aantallen publicaties of octrooien (zie hoofdstuk 2). Waar prestaties niet zichtbaar zijn, kunnen politieke en subjectieve overwegingen een prominente rol spelen in beleid en besluitvorming. Een prestatiemeetsysteem biedt de mogelijkheid om een meerjarenreeks van prestatie-informatie op te bouwen voor beleidsonderbouwing. Deze transparantie zal tot gevolg hebben dat bij alle organisatieonderdelen wordt aangedrongen op het zo volledig en genuanceerd mogelijk weergeven van de prestaties. Adequate besluitvorming draagt bij aan het allocatie-effect. Het allocatie-effect veronderstelt dat het toewijzen van middelen aan de meest productieve en kwalitatief hoogstaande organisatie-onderdelen bijdraagt aan een algemene stijging van de output van de organisatie.69 Als een onderzoeksgroep die twee maal meer presteert dan een andere onderzoeksgroep meer geld krijgt, ten koste van de minder goed presterende groep, zal dat extra geld relatief meer opleveren dan wanneer het geld opnieuw naar de minder goed presterende groep was gegaan. Voorwaarde is wel dat de goed presterende groep in staat is om onderzoekers aan te trekken met een even hoog prestatieniveau. Voor de onderzoeksorganisatie als geheel is de output door de reallocatie van middelen dan toegenomen.

3.5

Perverse effecten van prestatiemeetsystemen ‘The traditional view of measurement as a means of control is naive. As soon as performance measures are used as a means of control, the people being measured begin to manage the measures rather than the performance.’ 70

52


Dit citaat van Andy Neely illustreert dat prestatiemeting in organisaties het gedrag van medewerkers ook in een ongewenste richting kan sturen. Er kan onderscheid gemaakt worden tussen perverse effecten van de eerste en tweede orde. Eerste orde effecten worden vrij direct zichtbaar. Tweede orde effecten ontstaan na verloop van tijd. Meetfixatie (eerste orde effect) Prestatiesystemen meten kwantiteiten en zullen dus vooral aangrijpen op goed meetbare en goed gedefinieerde aspecten van de prestaties. De organisatie zal zich vooral daarop gaan richten. Hierdoor kan de organisatie een tunnelvisie ontwikkelen. Dit kan leiden tot wat myopia (bijziendheid) wordt genoemd: mensen fixeren zich op cijfers die op de korte termijn een positief beeld geven.71 De overmatige focus op de prestaties waarop wordt afgerekend (measure fixation) kan ook leiden tot het negeren of verwaarlozen van andere taken.72 Onderzoekers die primair worden afgerekend op wetenschappelijke publicaties zouden andere taken, bijvoorbeeld maatschappijgerichte activiteiten, kunnen verwaarlozen. In een wetenschappelijke omgeving bestaat bij hoge prestatiedruk het risico van salami-style-publishing: delen van een onderzoek die eerder in één publicatie zouden zijn opgenomen worden nu verdeeld over verschillende publicaties waardoor het totaal aantal eenheden toeneemt.73 De onderzoeksresultaten worden uitgesmeerd tot de least publishable unit is bereikt.74 Hoewel prestatiemeetsystemen en internationale prestatiedruk een prikkel kunnen zijn voor een salamitactiek blijkt uit mondiale prestatiecijfers dat dit waarschijnlijk meevalt (tabel 3.2).75 Tabel 3.2 Mondiale outputcijfers 1980-200276 Indicator Aantal publicaties Aantal unieke auteurs dat publiceert Aantal keren dat wetenschappers auteur waren Wetenschappelijke samenwerking, gemiddelde teamomvang Gemiddeld aantal publicaties per auteur Publicaties per auteur (productiviteit)

1980

2002

478.000 545.000 1.187.000 2,48

814.000 1.095.000 3.081.000 3,79

Gem. jaarlijkse groei, 1980-2002 + 2,5% + 3,3% + 4,5% + 1,9%

2,17 0,88

2,81 0,74

+ 1,2% - 0,7%

De mondiale output van artikelen in tijdschriften, die zijn opgenomen in de tijdschriftendatabases van het Institute for Scientific Information, is in de periode 1980-2002 weliswaar met gemiddeld 2,5 procent per jaar zijn gestegen (van 478.000 naar 814.000 artikelen), maar het aantal ‘unieke’ auteurs dat in een jaar publiceert, steeg in diezelfde periode van 545.000 naar bijna 1.100.000. Het aantal keren dat onderzoekers een publicatie afleverden steeg van 1.187.000 naar meer dan 3.000.000 in 2002. Uit een combinatie van deze cijfers blijkt dat de teamomvang, die een teken van wetenschappelijke


53

samenwerking is, is toegenomen met 1,9 procent. Het gemiddeld aantal publicaties per auteur nam ook toe (met 1,2 procent). Maar per saldo is de productiviteit (het aantal publicaties per auteur) afgenomen met 0,7 procent. Manipulatief gedrag (eerste orde effect) Prestatiemeting kan ook uitlokken dat mensen zich ertegen gaan verzetten, het prestatiemeetsysteem verwerpen, eraan proberen te ontsnappen of het systeem aanvallen.77 Prestatiemeetsystemen zullen vooral perverterend gedrag oproepen als niet alle relevante prestaties nauwkeurig worden gemeten, doelen niet duidelijk zijn of worden geaccepteerd, de normen te hoog en eenzijdig zijn vastgelegd door hogerhand en de informatie toch wordt gebruikt als basis voor positieve of negatieve sancties.78 Hoe meer het bestuur van de organisatie in een dergelijke situatie geneigd is te sturen op basis van gemeten prestaties, des te meer ontstaat de neiging tot perverterend gedrag. Dit leidt tot de Wet van de Afnemende Effectiviteit van prestatiemeetsystemen (figuur 3.4).79 De energie in de organisatie wordt contraproductief aangewend voor ontwijkbewegingen.80

Figuur 3.4

De Wet van de Afnemende Effectiviteit81

Perverterend gedrag kan verschillende vormen aannemen.82 Onderzoekers kunnen weerstand bieden tegen prestatiemeting doorHoog cijfers te manipuleren of niet te leveren (clouding the transparancy). Zij kunnen ook de neiging krijgen keuzes te maken die ervoor zorgen dat de gemeten waarden een positieve wending nemen (gaming the nuEffectiviteit mers of gamesmanship). De relevantie van prestatiecijfers en berekeningen worden dan voortdurend onder vuur genomen (beating the system). Onderzoekers kunnen gaan protesteren tegen het delen van informatie over prestaties waarvoor zij verantwoordeLaag lijk werden geacht.83 Laag Hoog Gaming the numbers (eerste orde effect) Impact Prestatiemeting leidt ertoe dat de organisatie de productie verhoogt volgens de criteria van het systeem. Deze vorm van strategisch gedrag wordt gaming the numbers ge-

54


noemd. Er is sprake van strategische gedrag omdat de waarde van de prestatie alleen op papier bestaat. Onderzoekers die worden afgerekend op aantallen publicaties, zullen zorgen voor zoveel mogelijk verschillende publicaties door onderzoeksuitkomsten te verdelen over verschillende artikelen, publicaties te dupliceren of bestaande boeken opnieuw uit te geven. Ook de bibliometrie biedt ruimte om te spelen met cijfers. De Science Citation Index kent elk tijdschrift dat in de database is opgenomen een impactfactor toe. De impactfactor geeft voor jaar t het gemiddelde aantal citaties weer die de artikelen in het tijdschrift kregen in jaar t-1 en t-2. Iemand die publiceert in een tijdschrift met een hoge impactfactor wordt hoger gewaardeerd dan iemand die publiceert in een tijdschrift met een lage impactfactor. Het is dus de kunst te publiceren in tijdschriften met een zo hoog mogelijke impactfactor, ook wanneer het wetenschappelijke tijdschrift misschien niet dat publiek bereikt dat de onderzoeker voor ogen heeft. Om in de hoogst genoteerde tijdschriften te publiceren is het van belang onderwerpen en invalshoeken te kiezen die kunnen rekenen op de waardering van redacties en peers. Vanwege het belang van de impactfactor hebben ook uitgeverijen belang bij goed geciteerde artikelen. Zij zullen vooral kiezen voor artikelen die veel kans maken om veelvuldig geciteerd te worden. Daarom is het voor uitgevers niet alleen belangrijk de hoogst gekwalificeerde artikelen te selecteren, de artikelen moeten ook aansluiten bij de modethema’s in wetenschappelijk onderzoek waarover veel gepubliceerd wordt. En hoe vaker het tijdschrift in een jaar verschijnt, hoe meer artikelen en dus hoe hoger de kans dat er enkele artikelen tussen zitten die de impactfactor van het tijdschrift verhogen. Omdat een impactfactor altijd gebaseerd is op het aantal citaties van artikelen in het jaar van verschijning en het jaar daarop, kan het zinvol zijn een artikel met een (verwachte) hoge impact over de jaargrens te tillen zodat het een langere ‘houdbaarheid’ heeft. Doordat onderzoekers zich blijven richten op de hoogst geciteerde tijdschriften, blijft het aanbod van artikelen voor de uitgevers groot. Ondanks de tendens om meer open access te publiceren en de positie van uitgeverijen af te zwakken (vrij toegankelijk op internet buiten de wetenschappelijke tijdschriften om) is de publicatiecultuur in veel wetenschapsgebieden toch nog vooral gericht op high impact journals. Prestatiemeetsystemen representeren daardoor ook de heersende ideeën over wetenschappelijke output en de voorkeur voor deze tijdschriften. Bibliometristen geven regelmatig aan welke methodologische beperkingen de berekeningen van citatie-impact met zich meebrengen.84 Aanvankelijk concentreerde de aandacht zich vooral op technische problemen, zoals de onvolledigheid van de ISIdatabase, typfouten, verschillende auteurs met dezelfde naam en zelfcitaties, waardoor vervuiling in de citatietellingen optrad. In de loop der jaren kwamen ook tal van methodologische problemen aan het licht.85 Deze methodologische ‘gaten’ bieden soms


55

ruimte om beter voor de dag te komen in citatiescores, terwijl andere vakgebieden zich in allerlei bochten moeten wringen om mee te draaien in citatieanalyses. Er kunnen drie typen methodologische problemen worden onderscheiden. Ten eerste verschilt de kans om geciteerd te worden per vakgebied. De kans is afhankelijk van het aantal relevante tijdschriften dat in de database is opgenomen, de publicatiecultuur (belang van tijdschriften als communicatiekanaal) en citatiecultuur (aantal citaties in een artikel). Bibliometrische studies zijn bijna uitsluitend gebaseerd op de ISI-databases, waarin uitsluitend Engelstalige tijdschriften zijn opgenomen. Belangrijker nog is dat ook publicaties in tijdschriften die niet zijn opgenomen in de ISI buiten beschouwing blijven. Dat is niet alleen het geval voor een groot aantal wetenschappelijke artikelen, maar ook voor boeken, software en overige output. Daardoor zijn bibliografische analyses alleen zinvol voor vakgebieden waarvan verwacht mag worden dat zij (kunnen) publiceren in tijdschriften uit de database.86 Met name de alfawetenschappen, en een groot deel van de gammawetenschappen, blijven in de databases buiten beschouwing (tabel 3.3).

1)

96% 95% 90% 93% 89% 83% 81% 75% 77% 75% 71% 59% 60% 41% 34%

97% 95% 93% 90% 94% 89% 84% 88% 81% 80% 74% 80% 77% 72% 50%

Totale ISIdekking 3)

Vakgebied Moleculaire biologie en biochemie Biomedische wetenschappen gericht op de mens Chemie Klinische geneeskunde Theoretische natuurkunde en astronomie Toegepaste natuurkunde en chemie Biologische wetenschappen gericht op planten en dieren Psychologie en psychiatrie Geologie Overige sociale wetenschappen - gezondheidswetenschappen Wiskunde Economische wetenschappen Technische wetenschappen Overige sociale wetenschappen Geesteswetenschappen

ISI-dekking van tijdschriften 2)

Referenties naar artikelen in ISI-tijdschriften87 Belang van tijdschriften 1)

Tabel 3.3

92% 90% 84% 84% 83% 73% 69% 66% 62% 60% 53% 47% 46% 29% 17%

Percentage referenties naar publicaties in tijdschriften Percentage referenties naar artikelen in ISI-tijdschriften 3) Percentage referenties naar artikelen in ISI-tijdschriften t.o.v. totale referenties (kolom 1 x kolom 2) 2)

56


ISI-onderzoeker Henry Small rekende bij zijn deelname aan een bibliometriestudiebijeenkomst in de Koninklijke Vlaamse Academie van België voor Wetenschappen en Kunsten voor dat in het studiegebied van de filosofie en geschiedenis van de wetenschappen tachtig procent van de referenties naar items ging die niet in de ISI-database waren opgenomen, waarvan zestig procent naar boeken.88 De uiteenlopende publicatieen citatieculturen leiden er ook toe dat impact factors van tijdschriften uit verschillende vakgebieden niet met elkaar vergeleken kunnen worden.89 Als alleen wordt gekeken naar citaties en impactfactoren, zouden alleen disciplines met ISI-tijdschriften tot de betere wetenschap gerekend worden. Een tweede probleem met bibliometrische methoden heeft te maken met de tijd die zit tussen een publicatie en het moment waarop die geciteerd wordt. In sommige vakgebieden (bijvoorbeeld medische wetenschappen) is de tijdspanne vrij kort, maar in bijvoorbeeld de technische wetenschappen kan het jaren duren voordat de citaties naar een bepaald artikel op gang komen. Ook duurt het soms enige tijd voordat een publicatie over een vernieuwend onderwerp wordt geciteerd door vakgenoten. Daarom is het bij citatie-analyses belangrijk na te gaan op welke periode deze betrekking hebben. Impactfactoren zijn gebaseerd op een periode van twee jaar. Dit laat veel citaties buiten beschouwing. Regelmatig wordt er door critici op gewezen dat publicaties soms pas na vele jaren veelvuldig worden geciteerd en in de eerste jaren nauwelijks citaties opleveren (delayed recognition of Mendel-effect). Een derde bezwaar is dat citatiematen kunnen worden verstoord door het bovenmatig refereren aan publicaties van bevriende collega’s of citaties van eigen werk (hoewel voor zelfcitaties een correctie kan worden uitgevoerd in de analyse). Ook wordt bij citaties geen onderscheid gemaakt tussen positieve en negatieve citaties. Het percentage negatieve citaties wordt geschat op ongeveer tien procent.90 Ondanks de tekortkomingen van de bibliometrie levert dit vakgebied voor wetenschappelijke disciplines die goed vertegenwoordigd zijn in de ISI-databases interessante informatie op. Het CWTS heeft eens een percentage berekend van artikelen die binnen vijf jaar na verschijning niet geciteerd zijn door anderen dan de auteur(s) zelf (in de geregistreerde tijdschriften). In de natuurwetenschappen blijkt dat 47 procent te zijn, in de technische wetenschappen 35 procent. Worden daarbij de artikelen gevoegd die slechts een-, twee- of driemaal geciteerd zijn in dezelfde periode, dan is het percentage van artikelen dat zelden of nooit geciteerd wordt vermoedelijk meer dan 90 procent.


57

‘Aangezien circa 90 procent van de wetenschappelijke artikelen zelden of nooit geciteerd wordt, is outputfinanciering gebaseerd op het tellen van artikelen die grotendeels geen spoor trekken in de wetenschappelijke literatuur. De scores voor de artikelen zijn dan surrogaatgegevens die op gebrekkige wijze de kwaliteit van onderzoek representeren.’ 91

Vanwege de beperkingen van zowel peer review als bibliometrische analyses wordt vaak voorgesteld om beide methoden te combineren. Uit onderzoek blijkt echter dat de resultaten niet altijd hoog correleren.92 Ook bij de selectie van onderzoeksvoorstellen door onderzoeksfinanciers blijkt vaak geen sprake van correlatie met bibliometrische indicatoren.93 Onderzoekers die grote onderzoekssubsidies hebben binnengehaald blijken in de toekomst ook succesvol bij het binnenhalen van financiering, maar hun onderzoek leidt nauwelijks tot meer publicaties in toptijdschriften ten opzichte van de aanvragers die in de laatste ronde van de subsidieprocedure waren afgewezen.94 Tunnelvisie kan leiden tot deprofessionalisering95 (tweede orde effect) Hoewel universiteiten in hun instellingsplannen en jaarverslagen het belang van economische spin-off en maatschappelijke betekenis van kennis benadrukken, worden feitelijk vooral wetenschappelijke verdiensten beloond met geld en carrièregroei. Onderzoekers moeten vooral wetenschappelijk excellent zijn. Dit komt tot uitdrukking in wetenschappelijke toppublicaties en een concurrerende positie in de tweede en derde geldstroom. Prestatiemeting kan ertoe leiden dat medewerkers zoveel mogelijk doen wat van hen verwacht wordt en minder nadenken over wat goed zou kunnen zijn voor de organisatie of het bestel waarin de organisatie functioneert. Dit wordt ook wel de verdrijving van de bestelverantwoordelijkheid of deprofessionalisering genoemd. Het uit zich bijvoorbeeld in minder externe oriëntatie, verkokering en het frustreren van ketensamenwerking.96 Prestatiemeetsystemen waarin wetenschappelijke publicaties centraal staan, kunnen een remmende werking hebben op de publieke communicatie over onderzoek en technologische ontwikkeling, omdat dat niet gemeten en beloond worden.97 Als er in de universitaire omgeving aandacht is voor vermaatschappelijking van kennis, gaat de aandacht vaak uit naar kennis als direct economisch product.98 In die benadering worden universiteiten beschouwd als organisaties die kennis ontwikkelen, die bedrijven in staat stelt innovaties te doen.99 Mogelijke indicatoren zijn octrooiverwijzingen, of aantal octrooien in verhouding tot het aantal wetenschappelijke publicaties, het aandeel van de totale onderzoeksuitgaven voor wetenschappelijk onderzoek dat gefinancierd wordt door het bedrijfsleven of aantallen en typen samenwerkingsrelaties. Ook kan gekeken worden naar het aantal onderzoekers dat zelf, individueel of als collectief, nieuwe economische bedrijvigheid geneert (spin-offs).100 Het bezwaar tegen

58


dergelijke indicatoren is dat zij maar een beperkt aantal kenniskanalen tussen wetenschap en bedrijfsleven beschrijven.101 Dat simpele indicatoren weinig zeggen over de bestelverantwoordelijkheid van universiteiten blijkt uit een voorbeeld over octrooien. In de periode 1980-1999 werden op naam van Nederlandse universiteiten 600 octrooien aangevraagd voor basisvindingen.102 Dit zijn de eerst ingediende octrooiaanvragen, exclusief aanvragen die daarop volgen, zoals afsplitsingsaanvragen of buitenlandse aanvragen. Dit getal werkt in zekere zin verhullend. In de eerste plaats representeert het niet het werkelijke aantal octrooiaanvragen dat uit universiteiten voortkomt. Vaak staan vindingen niet op naam van een universiteit, maar van een onderzoeker, waarbij de vinding zelf is overgenomen door een particulier bedrijf. In de tweede plaats wordt voor slechts een beperkt deel van de aanvragen ook de rechten verkregen (gemiddeld 33 procent).103 Ten derde geeft het getal niet weer hoe groot de benutting van octrooien daadwerkelijk is. Hoe hoog het aantal niet-gebruikte octrooien is, wordt niet geteld.104 Octrooien zijn als prestatie-indicator alleen relevant en interessant als zij economisch geëxploiteerd worden, maar die informatie komt alleen naar boven door op octrooiniveau onderzoek te doen. Niet meetbare effecten van wetenschappelijk onderzoek blijven buiten beeld bij prestatiemeting. Daarbij kan het bijvoorbeeld gaan om de bijdrage aan het maatschappelijk debat over onderwerpen als klimaatproblemen, energievraagstukken of toepassing van biotechnologie. Ook de rol die wetenschap speelt bij het voeden van overheidsbeleid blijft buiten beeld bij prestatiemeting.105 Het blijkt lastig de waarde van wetenschappelijk onderzoek voor economie, beleid en maatschappij precies vast te leggen in outputindicatoren.106 Daardoor kan ook niet op simpele wijze duidelijk gemaakt worden hoe gecodificeerde kennis zijn weg vindt naar het bedrijfsleven en de maatschappij. Formele contacten tussen onderzoekers en bedrijfsleven kunnen in kaart worden gebracht, maar daarnaast zijn er informele contacten en wordt kennis ook verspreid zonder dat wetenschappers daar zelf bij betrokken zijn, bijvoorbeeld via adviesbureaus, ingenieursbureaus en overheidsdiensten. Een methode om de maatschappelijke effecten van wetenschappelijk onderzoek vast te stellen is een diepgaande evaluatiestudie. Middels casestudies kan op basis van kwantitatieve en kwalitatieve informatie een relatie tussen onderzoek en privaat of maatschappelijk rendement worden gelegd.107 Casestudies zijn beschrijvend van aard. Ze geven over het algemeen inzicht in processen, actoren en resultaten. Een casestudie benadering is in staat complexe verbanden bloot te leggen, maar vraagt tijd en geduld.108 De relatie tussen onderzoek, resultaten en effecten kan alleen transparant worden gemaakt als langjarig gekeken wordt naar de verschillende ronden van disseminatie.109 De overname van wetenschappelijke vindingen is een voortdurend en diffuus proces, waarin gebruikers combinaties maken van resultaten van verschillende relevan-


59

te onderzoeken.110 Naast het feit dat case studies complex en tijdsintensief zijn en veel geduld vragen, is er het probleem van het counter-factual: om de opbrengst van een investering in universitair onderzoek te bepalen, moet een vergelijking worden gemaakt met een situatie waarin dit niet is gebeurd. Ook casestudies geven dus geen alomvattend beeld van de prestaties van wetenschappelijk onderzoek. Afname van creativiteit en innovatie (tweede orde effect) Prestatiemeting leidt in veel gevallen tot een situatie waarin medewerkers de productie verhogen volgens de criteria van het systeem, maar vanuit professioneel perspectief heeft deze productieverhoging geen of een negatieve betekenis (creamskimming of cherry picking).111 De organisatie krijgt de neiging zich vooral te richten op producten die relatief zonder veel risico’s zijn voort te brengen (cash cows). Deze situatie doet zich bijvoorbeeld voor als een onderzoeksgroep een grote expertise heeft opgebouwd op een terrein en van daaruit relatief gemakkelijk kan publiceren. Als deze groep wordt afgerekend op het aantal publicaties zal het minder interessant zijn nieuwe wegen in te slaan, omdat het enige tijd zal duren voordat de stroom publicaties weer op gang komt. Een systeem van outputfinanciering beloont in feite het reproduceren van het bestaande.112 Prestatiemeetsystemen kunnen verstarren (tweede orde effect) Het ontwikkelen van een prestatiesysteem vraagt meestal een grote inspanning van de organisatie. Het duurt circa vier jaar voordat een systeem van prestatiemeting volledig is ingevoerd.113 Wanneer een systeem eenmaal is ontwikkeld en zich in de organisatie heeft vastgezet, is het niet eenvoudig dat systeem te veranderen. Bij de ontwikkeling van het systeem is gewerkt vanuit de bestaande machtsverhoudingen. Het systeem representeert de belangen in de organisatie. Iedere aantasting van het systeem kan een legitimatie zijn voor een volgende amendering en het draagvlak aantasten. Amendering is dus niet gewenst, waardoor het systeem bevriest.114 Dit verstarringseffect wordt versterkt wanneer bij de totstandkoming van het systeem sprake is geweest van veel verzet. Het prestatiemeetsysteem wordt niet meer ontvankelijk voor noodzakelijke aanpassingen vanwege dynamiek in de organisatie en daarbuiten. Inflatieziekte (tweede orde effect) Een tegenovergesteld effect van verstarring kan zich ook voordoen. Een prestatiemeetsysteem dijt uit wanneer bestuurders ontvankelijk zijn voor een voortdurende aanpassing van het systeem met als doel recht te doen aan alle denkbare variëteit in een organisatie. Binnen een wetenschappelijke omgeving met een grote variëteit aan wetenschappelijke producten is die verleiding groot. Hierdoor ontstaat een explosie van indicatoren (mushrooming).115 Het gevolg is dat het systeem te omvangrijk wordt; er ontstaan contradicties en overlappende productdefinities, de toegankelijkheid van het systeem neemt af en de mogelijkheden voor strategisch gedrag nemen toe.116 Het presta-

60


tiesysteem leidt dan aan de zogenoemde inflatieziekte.117 Prestatiemeting is zo complex geworden dat medewerkers de werking niet meer doorzien en prikkels niet meer voelbaar zijn118 (indicator overload 119). Prestatiemeting veroorzaakt een papieren werkelijkheid (tweede orde effect) Vaak blijkt dat organisatie-onderdelen die goed scoren in een systeem van prestatiemeting veel hebben geïnvesteerd in procedureel-organisatorische voorzieningen om aan de eisen van het systeem te voldoen. Er is bijvoorbeeld sprake van een aparte afdeling die ieder product van het organisatie-onderdeel registreert en erop toe ziet dat de individuele leden van de organisatie alle informatie aanleveren. Onderzoek laat zien dat deze organisaties op papier wel, maar in werkelijkheid niet beter presteren dan organisatie-onderdelen die niet of minder in deze voorzieningen geïnvesteerd hebben.120 Een voorbeeld is de hello nurse, die tot taak had het eerste contact met de patiënt te leggen waardoor de organisatie kon voldoen aan de eis van maximaal vijf minuten-wachttijd. Hoewel de doelstelling werd gehaald, was zeker geen sprake van verhoging van kwaliteit van dienstverlening.121 Ritualisme (tweede orde effect) Naarmate de kloof tussen het primaire proces en het bestuurlijk echelon groter is, neemt de vermeende hardheid van de cijfers toe.122 Hoe verder een bestuurder van het primaire proces afstaat, des te groter het risico dat het zicht verloren gaat op causale verbanden die op de werkvloer betekenis geven aan de prestatiecijfers. Het bestuur ziet alleen de geaggregeerde gegevens en loopt het risico op grond daarvan eigen causaliteiten te ontwikkelen.123 Prestatiecijfers nodigen uit om als onbetwistbaar te worden beschouwd. Als een professional aan zijn bestuurder toelicht dat een cijfer anders geïnterpreteerd moet worden laat deze al snel de verdenking op zich dat hij onder de feiten uit wil.124 Het gevolg kan zijn dat het periodieke overleg over prestatiecijfers een ritueel wordt .125 Terwijl medewerkers in het primaire proces hun eigen activiteiten uitvoeren naar professionele normen, voeden zij het systeem met informatie die voor het bestuur geen aanleiding biedt om in te grijpen. Ondertussen hebben bestuurders een eigen werkelijkheid met planningscycli, jaarrapportages en strategische nota’s. Deze werkelijkheid heeft nog maar weinig te maken met het primaire proces. De bestuurder wordt dankzij het prestatiemeetsysteem voortdurend bevestigd in zijn eigen gelijk:126 ‘Often wrong, but never in doubt’.127 Terwijl in de literatuur vaak wordt gewaarschuwd voor een hiërarchisch gebruik van prestatiemeting, blijkt het in de praktijk verleidelijk om het als instrument voor hiërarchische sturing toe te passen.128 Uit empirisch onderzoek blijkt dat eenzelfde systeem van prestatiemeting veel vertrouwen oproept bij bestuurders en veel wantrouwen bij professionals.129 Uiteindelijk kan het leiden tot de paradox dat organisaties die flink aan het meten zijn niet automatisch de meest effectieve organisaties zijn. Meer stu-


61

ringssystemen leiden niet onmiddellijk tot meer resultaten (managerialistische contradictie).130 Ook komen situaties voor waarin de kosten van het straffen van slechte presteerders (reorganisaties, ontslagen) hoger zijn dan de beloning van goede presteerders. Dit leidt tot de prestatieparadox: goede prestaties in een omgeving waarin niet wordt gepresteerd worden uiteindelijk niet beloond, omdat de kosten daarvoor te hoog zijn.131

3.6

Tussenconclusie: randvoorwaarden voor prestatiemeting

Hoe kan prestatiemeting op een zinvolle manier worden toegepast? In het voorgaande is duidelijk geworden dat prestatiemeting vanuit het oogpunt van de managers en de organisatie wenselijk kan zijn, maar voor professionals kunnen de systemen frustraties oproepen als geen recht wordt gedaan aan de complexiteit van de professie, als output niet de waardering krijgt die het zou moeten verdienen of als bepaalde output in het geheel niet wordt meegeteld. Voor wetenschappelijke managers en professionals is een belangrijke vraag of en hoe prestatiemeting zinvol kan worden gebruikt. Managementliteratuur geeft inzicht in factoren die bepalend zijn voor de effectiviteit van prestatiemeetsystemen. Vaak gaat de aandacht uit naar kenmerken van het systeem, in het bijzonder de prestatie-indicatoren. Maar daarnaast speelt ook het proces van prestatiemeting een belangrijke rol; het proces betreft de spelregels en afspraken over het gebruik van het instrument. In deze paragraaf wordt eerst stilgestaan bij de kenmerken van de prestatie-indicatoren en de inrichting van het systeem, vervolgens zal worden gekeken naar het proces en de context waarbinnen prestatiemeting veelal functioneert. Systeemkenmerken Indicatoren moeten legitiem zijn Legitieme indicatoren behoren functioneel te zijn. Of een indicator functioneel is, hangt af van de context en doelen van prestatiemeting.132 Indicatoren zijn functioneel en betekenisvol als zij inzicht verschaffen in de doeltreffendheid en/of doelmatigheid van het functioneren van de organisatie, zowel voor de manager als voor de professional.133 De prestatiemaatstaven passen bij de verantwoordelijkheden van de professionals. Voor wetenschappelijke professionals zijn legitieme indicatoren betekenisvol als ze passen bij de aard van het vakgebied. De gemeten prestaties moeten ook redelijkerwijs haalbaar zijn. Als een prestatiemeetsysteem bijvoorbeeld aantallen promoties beloont, maar een onderzoeksgroep is te klein om voldoende promoties te realiseren, kunnen frustraties optreden. Niet-legitieme of onduidelijke indicatoren kunnen de betekenis van het prestatiemeetsysteem doen afnemen.134 In het voorgaande is gebleken dat wetenschappelijke producten zeer uiteenlopen, dat er tussen en binnen vakgebieden grote verschillen zijn in wat belangrijk wordt gevonden. In een situatie waarin sprake is van moeilijk meetbare en zeer diverse output, zal het

62


lastig zijn een passende set indicatoren te bedenken. Voor een goede beoordeling van onderzoek kan de aandacht niet alleen uitgaan naar meetbare output, omdat de complexiteit van de wetenschappelijke professie niet volledig in kwantitatieve indicatoren gevangen kan worden.135 Legitieme maatstaven meten ook wat ze beogen te meten.136 Maatstaven die hier niet aan voldoen, lijden aan de convexiteits- en concaviteitsziekte; indicatoren die aan deze kwaal lijden - te vergelijken met een blik in een holle en een bolle spiegel - brengen gegevens voort die verschillen met de werkelijkheid.137 De convexiteitsziekte leidt tot hogere waarden, de concaviteitsziekte geeft lagere waarden aan dan er in werkelijkheid zouden moeten zijn. In de bètawetenschappen worden vaak publicaties in tijdschriften met een hoge impactfactor beloond. Die impactfactor is gebaseerd op het gemiddelde aantal citaties dat artikelen in dat tijdschrift ontvangen. Hoe vaak een artikel een citatie ontvangt wordt gezien als een maat voor kwaliteit. Dat een artikel in een tijdschrift met hoge impact factor verschijnt, wil echter nog niet zeggen dat dat specifieke artikel ook dat aantal citaties ontvangt. De onderzoeker wordt beloond voor de vermeende kwaliteit van het artikel op basis van het tijdschrift waarin wordt gepubliceerd. Variëteit aan indicatoren Een zinvol prestatiemeetsysteem houdt rekening met de diversiteit aan wetenschappelijke producten en de complexiteit van het proces waarin producten worden voortgebracht. In een complexe wetenschappelijke omgeving bestaat behoefte aan een mix van indicatoren, die bovendien vanuit verschillende perspectieven gedefinieerd kunnen worden.138 ‘No criterion or measure currently available is sufficiently well established to stand alone.’ 139

Prestatiemeting wordt levendig wanneer de aandacht niet alleen uitgaat naar producten, maar ook naar de achterliggende processen: welke inspanningen levert de organisatie, hoe innovatief is ze, hoe gaat ze om met een steeds veranderende omgeving, aan welke activiteiten geeft ze prioriteit, hoe onderhoudt ze de relaties met derden, die invloed op haar prestatie kunnen uitoefenen? Aandacht voor processen kan kleur geven aan de betekenis van prestatiecijfers.140 De cijfers vormen geen werkelijkheid op zich, maar bieden een ingang om de prestaties van onderzoekers te beoordelen. Niet statisch, maar dynamisch Een prestatiemeetsysteem kan geperverteerd raken door een overmaat aan strategisch gedrag of doordat professionals het systeem ontduiken. Het prestatiemeetsysteem kan zichzelf na verloop van tijd ook overbodig maken doordat het uitgewerkt raakt, bijvoorbeeld wanneer iedereen aan de prestatienormen voldoet. De praktijk leert dat elk


63

systeem van prestatiemeting na verloop van tijd is uitgewerkt.141 Een systeem zal zich dan moeten vernieuwen. Ook de externe omgeving kan ook om veranderingen in het prestatiemeetsysteem vragen. Wanneer de onderzoeksorganisatie van buitenaf doelstellingen krijgt opgelegd, bijvoorbeeld meer promoties realiseren of meer aandacht voor valorisatie, zal het systeem hierop aangepast moeten worden. Proceskenmerken Adequate controlemechanismen De manier waarop prestatiemeting wordt toegepast kan bepalend zijn voor de effecten die het met zich meebrengt.142 Afspraken over controlemechanismen dragen bij aan het vertrouwen. Als prestaties zich vertalen in reputatie of geld, kan de verleiding ontstaan om een zo hoog mogelijke prestatie op te geven. Binnen elk systeem bestaan hiertoe mogelijkheden, omdat productdefinities nooit geheel sluitend zijn. Het is voor alle betrokkenen van belang dat de opgegeven output getoetst wordt, zodat oneigenlijke praktijken worden tegengegaan. Duidelijkheid over functies en fora bij professional en manager Prestatie-indicatoren leveren partiële informatie en prestatiecijfers geven in een complexe organisatie van professionals nooit een sluitend beeld van de werkelijkheid. Daarom is het belangrijk dat er afspraken worden gemaakt over de functies van prestatiecijfers en de plek waar deze worden besproken (de fora).143 Kunnen wetenschappelijke managers eenzijdig besluiten tot een verandering van de functies of fora, dan zal dat niet bijdragen aan het vertrouwen in het systeem. Stel dat een prestatiemeetsysteem wordt gebruikt om intern onderzoeksgeld te alloceren. Iedereen weet dat slechts op een paar prestaties wordt gemeten en er is een manier gevonden om buiten het systeem om ook recht te doen aan niet-gemeten prestaties. Het is dan ongepast wanneer plotseling naar buiten toe over de prestatiecijfers wordt gecommuniceerd. De buitenwereld ziet slechts een deel van de prestaties en onderzoekers voelen zich benadeeld. Het vooroordeel over het prestatiemeetsysteem wordt bevestigd. Afspraken over het gebruik van prestatiemeting en de plekken waar over cijfers gesproken wordt, voorkomen dat een van de partijen voor verrassingen komt te staan.144 Met name de eerlijkheid en geloofwaardigheid van de bestuurder in de omgang met prestatiecijfers heeft grote invloed op de houding van professionals ten aanzien van prestatiemeting.145 Ruimte voor dialoog bij betekenisgeving In het gesprek tussen manager en professional kunnen de causale relaties tussen inspanningen en prestaties bespreekbaar worden gemaakt.146 Op basis van de dialoog kunnen mogelijke aanpassingen van activiteiten en prestaties worden besproken. Een gesprek kan er voor zorgen dat de aandacht niet uitsluitend uitgaat naar cijfers die afwijken van de prestatienorm.147 Om een zinvolle dialoog mogelijk te maken is weder-

64


zijds vertrouwen nodig.148 Vertrouwen rond het instrument prestatiemeting kan worden bevorderd door duidelijke afspraken over de betekenis die cijfers hebben en wie de meaning making rights heeft.149 De erkenning dat prestatiemeting geen eenduidige antwoorden geeft, maar aanleiding is voor een dialoog en het stellen van de relevante vragen voorkomt dat ‘an instrumental value becomes a terminal value; the means become ends’.150 Prestatie-informatie dient dus niet uitsluitend te leiden tot een één-opéén-afrekening, maar kan een trigger zijn om kwalitatieve informatie te verkrijgen; prestatiemeting leidt niet tot dials (schalen waarop prestaties kunnen worden afgelezen), maar slechts tot tin-openers, die uitnodigen tot verder onderzoek.151 Spelregels kunnen duidelijkheid geven over de wijze waarop de betekenisgeving en oordeelsvorming zullen verlopen. Boundary spanning ter bescherming van de professional Managing professionals kunnen een belangrijke rol spelen bij de doorvertaling van een prestatiemeetsysteem richting de werkvloer.152 De managing professional kan bemiddelaar zijn tussen het bestuurlijke niveau en de werkvloer. In het proces van boundary spanning wordt de werkvloer afgeschermd voor de negatieve effecten van prestatiemeting (buffering). Er wordt ook wel gesproken van een ‘hitteschild’.153 De managing professional kan ook een intermediaire rol spelen tussen bestuurlijke waarden en professionele waarden (smoothing). Hij staat voldoende dicht bij het professionele proces om hierop invloed te kunnen uitoefenen en voldoende dichtbij het bestuurlijk echelon om haar belangen te kunnen begrijpen en hiermee rekening te houden. Als de managing professional de ruimte krijgt, kan hij een centrale prikkelstructuur (bijvoorbeeld een universitair allocatiemodel) converteren tot een structuur die past bij de kenmerken van de decentrale, professionele organisatie (zijn eigen onderzoeksafdeling). Het gedrag van managing professionals en de stijl van leidinggeven kunnen een belangrijke rol spelen bij het succes van prestatiemeetsystemen.154

3.7

En verder: aandacht voor de context of discovery

Prestatiemeting kan helpen bij het formuleren van doelen en doelen kunnen motiverend zijn. Maar doelen moeten ook haalbaar zijn. Het prestatiemeetsysteem gedijt in een omgeving waarin prestaties redelijkerwijs door professionals beïnvloed kunnen worden. Hierna worden vier typen randvoorwaarden onderscheiden die bepalen of de onderzoeksorganisatie in staat is gewenste prestaties te leveren.155 Faciliteiten en onderzoeksinfrastructuur werken ondersteunend Of wetenschappelijke prestaties haalbaar zijn, hangt niet alleen af van de kwaliteit van onderzoekers, maar ook van de faciliteiten en onderzoeksinfrastructuur die beschikbaar is. Uit onderzoek onder 155 medische onderzoeksteams bleek dat de minst productieve teams geen of weinig onderzoeksondersteuning hadden, de meest productieve teams


65

hadden tien of meer full-time analisten.156 Uit ander onderzoek blijkt dat ruimte en budget voor het onderhouden van veel internationale contacten, gemeten als bezoeken aan internationale conferenties, langer verblijf in een buitenlands instituut, gastlezingen in het buitenland, evaluatiewerk in het buitenland en onderzoekssamenwerking met buitenlandse onderzoekers, een positieve invloed hebben op prestaties.157 Een open cultuur werkt stimulerend Een omgeving met een open cultuur kan bevorderlijk zijn voor de productiviteit. In een open cultuur worden kennis en ervaring gedeeld. Door de heersende cultuur bespreekbaar te maken en een voorbeeldfunctie te vervullen, kan een manager invloed uitoefenen op de cultuur. Een onderzoeksomgeving waarin waardering zichtbaar wordt gemaakt door middel van eervolle vermeldingen en niet-financiële prijzen heeft positieve invloed op onderzoeksprestaties.158 De organisatiestructuur maakt prestaties mogelijk De organisatiestructuur kan een positieve invloed hebben als ongewenste scheidingen zijn weggenomen (ontkokering).159 Via een matrixstructuur, een dynamiek van tijdelijke (interdisciplinaire) projectgroepen en informele ontmoetingsmomenten kunnen veelvoudige communicatiepatronen worden gecreëerd. HRM-beleid gericht op ‘picking and keeping the winners’ HRM-instrumenten kunnen van belang zijn om talentvolle onderzoekers aan te trekken, te ontwikkelen of te behouden. Tot HRM-instrumenten worden onder meer gerekend doelgerichte selectieprocessen, loopbaanontwikkelingstrajecten, management development, coaching van begeleiding van jonge onderzoekers. De elementen van de context of discovery kunnen op verschillende momenten in het onderzoeksproces, al naar gelang de specifieke kenmerken van de organisatie en onderzoekers, meer of minder aandacht vereisen en bevorderlijk zijn voor onderzoeksprestaties.160

Referenties 1

Bruijn, J.A. de (2001), Prestatiemeting in de publieke sector. Tussen professie en verantwoording, Utrecht: Lemma, p. 17. Simon, H., H. Guetzkow, K. Kozmetsky & G. Tyndall (1954), Centralization vs. decentralization in organizing the controllers department, paper, Controllership Foundation.

66

2 3 4

5

6

7

8

9 10 11

12

13

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK Lohman, F. (1999), The effectiveness of management information, a design approach to contribute to organizational control, dissertatie, TU Delft. Pollit, C. & G. Bouckaert (2004), Public management reform. A comparative analysis. Oxford: Oxford University Press. McDavid, J.C. & L.R.L. Hawthorn (2006), Program evaluation and performance measurement: an introduction to practice, Thousand Oaks: Sage. Pollit, C. & G. Bouckaert (2004), ibid. Dooren, W. van (2006), Performance measurement in the Flemish public sector: a supply and demand approach, proefschrift, Katholieke Universiteit Leuven, pp. 28-31. Waal, A.A. de & L.A.F.M. Kerklaan (2003), Prestatiemanagement in de overheid: een overzicht, paper gepubliceerd t.b.v. het seminar New Public Management 2003, Vrije Universiteit Amsterdam. Jensen, M.C. & W.H. Mecking (1976), Theory of the firm: managerial behaviour agency costs and ownership structure, in: Journal of Financial Economics, nr. 3, pp. 305-360. Mills, P.K. & G.R. Ungson (2003), Reassessing the limits of structural empowerment: organizational constitution and trust as controls, in: Academy of Management Review, 28, pp. 143-153. Brandstätter, V., D. Heimbeck, J.T. Malzacher & M. Frese (2003), Goals need implementation intentions: the model of action phases tested in the applied setting of continuing education, in: European Journal of Work and Organizational Psychology, 12(1), pp. 37-59. Baumeister, R.F., T.F. Heatherton, & D.M. Tice (1994), Losing Control: How and Why People Fail at Self-Regulation, San Diego,CA: Academic Press. Bandura, A. (1989), Human agency in social cognitive theory, in: American psychologist, 44, pp. 1178-1184. Bandura, A. (1990), Perceived self-efficacy in the exercise of personal agency, in: Applied Sport Psychology, 2, pp. 128-163. Latham, G.P. & Wexley, K.N. (1994), Increasing productivity through performance appraisal, Reading, MA: Addison-Wesley. Gecas, V. (1989), The social psychology of self-efficacy, in: Annual Review of Sociology, 15, pp. 291-316. O’Reilly, C.A. & J. Chatman (1986), Organizational commitment and psychological attachment: the effects of compliance, identification and internalization on prosocial behavior, in: Journal of Applied Psychology, 71, pp. 492-499. Organ, D. & K. Ryan (1995), A meta-analytic review of attitudinal and dispositional predictors of organizational citizenship behaviour, in: Personnel Psychology, 48, pp. 775-802. Locke, E.A. (1968), Toward a theory of task motivation and incentives, in: Organizational Behavior & Human Performance, 3, pp. 157-189. Odiorne, G.S. (1978), MBO: a backward glance, in: Business Horizons, 10, pp. 14-24. Algera, J.A., L. Monhemius & C.J.D. Wijnen (1997), Quality improvement: combining ProMES and SPC to work smarter, in: European Journal of Work and Organizational Psychology, 3, pp. 261-278.

3. OVER DE WERKING VAN PRESTATIEMEETSYSTEMEN 14

15 16

17 18 19 20 21 22 23 24 25

26 27

28 29 30 31 32

67

Stajkovic, A.D. & F. Luthans (1997), A meta-analyses of the effects of organizational behaviour modification on task performance, 1975-95, in: Academy of Management Journal, 5, pp. 1122-1149. McClelland, D. (1987), Human motivation, Cambridge University Press. Kerr, S., M.A. von Glinow & J. Schriesheim (1977), Issues in the study of ‘professionals’ in organizations: the case of scientists and engineers, in: Organizational behaviour and human performance, 18, pp. 329-345. Timmerhuis, V. (1997), Wetenschapsorganisaties in verandering. Keuzen in organisatieontwikkeling en personeelsbeleid, proefschrift, Katholieke Universiteit Brabant, Tilburg University Press, pp. 42-43. Wanrooy, M.J. (2003), Leiding geven tussen professionals, Schiedam: Scriptum, pp. 2526. Baron, J.N. & D.M. Kreps (1999), Strategic human resources: frameworks for general managers, New York: John Wiley & Sons. Bruijn, J.A. de (2001), ibid., pp. 43-44. Timmerhuis, V. (1997), ibid., pp. 35-58. Shapero, A. (1985), Managing professional people, New York: The Free Press, p. xvi. Weggeman, M. (1992), Leiding geven aan professionals: het verzilveren van creativiteit, Deventer: Kluwer Bedrijfswetenschappen. Mintzberg, H. (1979), The structuring of organizations, Englewood Cliffs, NY: Prentice Hall, p. 352. Mey, M. de, Scoren en scorekeeping in de humane wetenschappen, lezing op een KNAW-symposium 21 juni 2005. Wanrooy, M.J. (2003), ibid., p. 9. Timmerhuis, V. (1997), ibid., pp. 45. Boer, H.F. de (2003), Institutionele verandering en professionele autonomie. Een empirisch-verklarende studie naar de doorwerking van de wet ‘Modernisering Universitaire Bestuursorganisatie (MUB)’, proefschrift, Universiteit Twente, pp. 213-227. Bailyn, L. (1985), Autonomy in the industrial R&D lab, in: Human Resource Management, 24(2), pp. 129-146. Mayntz, R. (1985), Forschungsmanagement: Steurerungsversuche zwischen Scylla und Charybdis. Probleme der Organisation und Leitung von hochschulfreien, offentlicht finanzierten Forschungsinstituten, Opladen: Westdeutscher Verlag, p. 20. Pelz, D.C. & F.M. Andrews (1976), Scientists in organizations. Productive climates for research and development, revised ed., Michigan: Ann Arbor. Raelin, R.A. (1985), The clash of cultures, managers and professionals, Boston: Harvard Business School Press. Lammers, C.J. (1983), Organisaties vergelijkenderwijs. Ontwikkeling en relevantie van het sociologisch denken over organisaties, Utrecht/Antwerpen: Het Spectrum, p. 77. Kornhauser, W. (1962), Scientists in industry. Conflict and accommodation, Berkeley/ Los Angeles: University of California Press, p. 197. Vught, F.A. van (1987), Plan- en marktcoördinatie in het hoger onderwijs, oratie, Universiteit Twente.

68

33 34 35 36

37 38 39 40 41

42

43 44 45

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK Raelin, J.A. (1984), The clash of cultures, managers and professionals, Boston: Harvard Business School Press. Weggeman, M. (1997), Kennismanagement: inrichting en besturing van kennisintensieve organisaties, Schiedam: Scriptum. Maister, D.H. (1997), Een echte professional, Schoonhoven: Academic Service. Donschot, H. van & M. Venus (1999), Behoud van jong talent in professionele organisaties, scriptie, GITP Management Opleidingen/Nijmegen Business School. Gouldner, A.W. (1958), Cosmopolitans and locals: towards an analysis of latent social roles II, in: Administrative Science Quarterly, 2, pp. 444-480. Bruijn, J.A. de (2008), Managers en professionals. Over management als probleem en als oplossing, Den Haag: Sdu Uitgevers, pp. 36-39. Bruijn, J.A. de (2008), ibid., p. 37. Jongbloed, B. & B. van der Meulen (2006), De follow-up van onderzoeksvisitaties, p. 8. Rapport van CHEPS, tevens deel 2 van de publicatie Investeren in dynamiek van de Commissie Dynamisering. Meta Evalatie Commissie (2007) Trust, but verify. Het eerste rapport van de Meta Evaluatie Commissie Kwaliteitszorg Wetenschappelijk Onderzoek, Amsterdam. NWO, brief aan de MEC, maart 2007. The British Academy (2007), Peer review: the challenges for the humanities and social sciences, London. Martin, B. (2000), Research grants: problems and options, in: Australian Universities’ Review, 43(2), pp. 17-22. Campbell, D.F.J. (2003), The evaluation of university research in the United Kingdom and the Netherlands, Germany and Austria, in: P. Shapira & S. Kuhlmann (eds.), Learning from science and technology policy evaluation. Experiences from the United States and Europe, Cheltenham: Edward Elgar, pp. 98-131. Merton, K. (1973), The sociology of science: theoretical and empirical investigations, Chicago: University of Chicago Press. Rothwell, P.M. & C.N. Martyn (2000), Reproducibility of peer review in clinical neuroscience: is agreement between reviewers any greater than would be expected by chance alone?, in: Brain, 123, pp. 1964-1969. Cicchetti, D.V. (1991), The reliability of peer review for manuscript and grant submission: a cross-disciplinary investigation, in: Behaviorial and Brain Sciences, 14(1), pp. 119-186. Wenneras, C. & A. Wold (1997), Nepotism and sexism in peer review, in: Nature, 387, pp. 341-343. Hoffman, J. (1998), Judge Not, Law Schools Demand Of a Magazine That Ranks Them, in: New York Times, February 19. Lazear, E.P. (1997), Incentives in basic research, in: Journal of Labor Economics, 15(1), S167-S197. Merton, R.K. (1968a), The Matthew effect in science. The reward and communication systems of science are considered, in: Science, 159(3810), pp. 56-63. Merton, R.K. (1988), The Matthew effect in science, II. Cumulative advantages and the symbolism of intellectual property, in: ISIS, 79, pp. 606-623.

3. OVER DE WERKING VAN PRESTATIEMEETSYSTEMEN 46 47 48

49 50

51 52 53 54 55 56

57

58 59

60

61

69

Rennie, D. (1999), Editorial peer review: its developments and rationale, London: BMJ Books. http://www.aaskolnick.com/naswmav.htm. Vinke, R.H.W. (1996), Motivatie en belonen: de mythe van intrinsieke motivatie, proefschrift, Tilburg: Katholieke Universiteit Brabant. Geen, R.G. (1995), Human motivation: a social psychological approach, Pacific Grove, CA: Brooks/Cole. Bruijn, J.A. de (2008), ibid., p. 36-39. Massy, W.F. & A. Wilger (2000), Why is research the rule? The impact of incentive systems on faculty behavior, in: The Landscape, March/April 2000, National Center for Postsecondary Improvement, Stanford University. Latham, G.P. & K.N. Wexley (1981), Increasing productivity through performance appraisal, Reading: Addison-Wesley. McKeachie, W. (1979), Perspectives from psychology, in: D. Lewis & W. Becker (eds.), Academic rewards in higher education, Massachusetts: Ballinger. OSTP Federal Policy on Research Misconduct (2005), www.ostp.gov/html/001207_3. html. Martinson, B.C., M.S. Anderson & R. de Vries (2005), Scientists behaving badly, in: Nature, 435, pp. 737-738. Martinson, B.C., M.S. Anderson & R. de Vries (2005), ibid., pp. 737-738. National Partnership for Reinventing Government (1999), Balancing measures: best practices in performance management, www.npr.gov/library/papers/bkgrd/balmeasure. html. United States General Accounting Office (1999), Managing for results, opportunities for continued improvements in agency’s performance plans, GAO/GGD/AIMD-99-215. Waal, A.A. de & L.A.F.M. Kerklaan (2004), De resultaatgerichte overheid, op weg naar de prestatiegedreven overheidsorganisatie, Den Haag: Sdu. Waal, A.A. de & L.A.F.M. Kerklaan (2003), Prestatiemanagement in de overheid: een overzicht, paper gepubliceerd op het seminar New Public Management 2003, Performance Measurement in the Public Sector, Amsterdam: Vrije Universiteit. Osborne, D. & T. Gaebler (1992), Reinventing government: how the entrepreneurial spirit is transforming the public sector, New York: Perseus Publishin, p. 146. Zairi, M. & Y. Jarrar (2000), Becoming world class through a culture of measurement’, in: A. Neely (ed.), Performance measurement – past, present and future, Centre for Business Performance, Cranfield University, Cranfield, pp. 688-694. Lazear, E.P. (2000), Performance pay and productivity, in: American Economic Review, 90(5), pp. 1346-1361. Prendergast, C. (1999), The provision of incentives in firms, in: Journal of Economic Literature, 37(1), pp. 7-63. Jenkins, G.D., N. Gupta, A. Mitra & J.D. Shaw (1998), Are financial incentives related to performance? A meta-analytic review of empirical research, in: Journal of Applied Psychology, 83(5), pp. 777-787.

70 62

63 64 65 66 67 68 69 70 71

72

73 74

75 76 77 78

79

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK Dooren, W. van (2006), Performance measurement in the Flemish public sector: a supply and demand approach, proefschrift, Katholieke Universiteit Leuven, pp. 191223. Bouckaert, G. & W. Balk (1991), Public productivity measurement: diseases and cures, in: Public Productivity & Management Review, 15(2), pp. 229-235. CPB (2003), Prikkel de prof. Een analyse van de bekostiging van universitair onderzoek, Den Haag, pp. 8-9. Canton, E. & R. Venniker (2001), Economics of education, in: Higher education reform. Getting the incentives right, Den Haag: Sdu, p. 50. Lazear, E.P. (2000), ibid. Bruijn, J.A. de & J. van Helden (2007), Effectief prestatiemanagement bij professionele organisaties in de publieke sector, in: Overheidsmanagement, 20(1), pp. 20-26. Bruijn, J.A. de (2001), ibid., p. 20. Broere, H. (2001), Symbol City, Den Haag: NSOB, p. 28. Genua, A. & B. Martin (2003), University research evaluation and funding: a international comparison, in: Minerva, 41, pp. 277-304. Neely, A. (1998), Measuring business performance, why, what and how, London: The Economist Books. Smith, P. (1995), Outcome-related performance indicators and organisational control in the public sector, in: J. Holloway, J. Lewis & G. Mallory (eds.), Performance Measurement and Evaluation, Thousand Oaks, CA: Sage Publications, p. 377. Merchant, K. (1998), Modern management control systems: text & cases, Upper Saddle River, NJ: Prentice Hall. Holmstrom, B. & P. Milgrom (1991), Multitask principal-agent analyse: incentive contracts, asset ownerships and job design, in: Journal of law, economics and organization, 7, special issue. Jensen, R. & M. Thursby (2003), The academic effects of patentable research, NBER Higher Education Meeting, May 12. Poyago-Theotoky, J., J. Beath & D.S. Siegel (2002), Universities and fundamental research: reflections on the growth of university-industry partnerships, in: Oxford Review of Economic Policy, 18(1), pp. 10-21. Moed, H.F. (2005), Citation analysis in research evaluation, Dordrecht: Springer, p. 267. Rip, A. (2003), Social challenges for R&D evaluation, in: P. Shapira & S. Kuhlmann (eds.), Learning from science and technology policy evaluation. Experiences from the United States and Europe, Cheltenham: Edward Elgar, pp. 32-52. Moed, H.F. (2005), ibid., pp. 261-263. Moed, H.F. (2005), ibid., p. 262. Koopman, P. (1996), Aansturings- en beheersingsmechanismen in groepen, in: Gedrag & Organisatie, 9, pp. 385-400. Frey, B.S. & R. Jegen (2000), Motivation Crowding Theory: A Survey of Empirical Evidence, Zurich IEER Working Paper No. 26. Koopman, P. (1996), ibid. Bruijn, J.A. de (2001), ibid., p. 48.

3. OVER DE WERKING VAN PRESTATIEMEETSYSTEMEN 80

81 82 83 84

85

86 87 88

89 90 91 92

93 94

95 96

71

Leeuw, F. (2001), Evaluatieonderzoek, auditing en controle in Nederland anno 2000, in: T.A. Abma & R.J. in ’t Veld, Handboek beleidswetenschap, Amsterdam: Uitgeverij Boom, p. 77. Bruijn, J.A. de (2001), ibid., p. 133. Bruijn, J.A. de (2001), ibid., pp. 48 (figuur overgenomen). Waal, A.A. de (2002), ibid., p. 41. Zairi, M. (1996), Benchmarking for best practice, continuous learning through sustainable innovation, Oxford: Butterworth Heinemann. Raan, A.F.J. van (1999), Bibliometrische methoden bij evaluatie en observatie van wetenschappelijke ontwikkelingen, in: G.M. van Trier, D.W.K. Jansen & H. Prins (eds.), Handboek informatiewetenschap, Alphen aan den Rijn: Samsom, pp. 1-36. Raan, A.F.J. van (1996), Advanced bibliometric methods as quantitative core of peer review based evaluation and foresight exercises, in: Scientometrics, 36, pp. 397-420. Moed, H.F. (2005), ibid. Leeuwen, T.N. van (2004), Second generation bibliometric indicators. The improvement of existing and development of new bibliometric indicators for research and journal performance assessment procedures, proefschrift, Universiteit Leiden. KNAW (2005), Judging research on its merits, uitgave van de Raad voor Geesteswetenschappen en Sociaal-Wetenschappelijke Raad, Amsterdam: KNAW, pp. 18-20. Moed, H.F. (2005), ibid., p. 126. De Mey, M. (2005), Scoren en scorekeeping in de humane wetenschappen, bijdrage aan KNAW-bijeenkomst naar aanleiding van het rapport Judging research on its merits, Amsterdam: KNAW. Moed, H.F. (2005), ibid., p. 40. Moed, H.F. (2005), ibid., p. 84. Lootsma, F.A. (2002), Evaluaties in Nederland. De beste stuurlui staan te tellen en te wegen, TU Delft, p. 5. Rinia, E.J., T.N. van Leeuwen, H.G. van Vuren & A.F.J. van Raan (1998), Comparative analysis of a set of bibliometric indicators and central peer review criteria. Evaluation of condensed matter physics in the Netherlands, in: Research Policy, 27, pp. 95-107. Aknes, D.W. & R.E. Taxt (2004), Peer review and bibliometric indicators: a comparative study at a Norwegian university, in: Research Evaluation, 13, pp. 3-17. Groot, T. & T. García-Valderrama (2006), Research quality and efficiency. An analysis of assessments and management issues in Dutch economics and business research programs, in: Research Policy, 35, pp. 1362-1376. Besselaar, P. van den & L. Leydesdorff, Research budget allocation and bibliometric indicators. An assessment. Den Haag: Rathenau Instituut. Melin, G. & R. Danell (2006), The top eight percent: development of approved and rejected applicants for a prestigious grant in Sweden, in: Science & Public Policy, 33, pp. 702-712. Bruijn, J.A. de & J. van Helden (2007), Effectief prestatiemanagement bij professionele organisaties in de publieke sector, in: Overheidsmanagement, 20(1), pp. 20-26. Bruijn, J.A. de (2001), ibid., p. 39.

72

97

99 100 101 102 103 104 105 106 107

108

109

110

111

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK Geuna, A. (2001), The changing rationale for European university research funding – are there negative unintended consequences?, in: Journal of economic issues, 53, pp. 607-632. Johnes, G. (1988), Research performance indicators in the university sector, in: Higher Education Quarterly, 42, pp. 54-71. Minogue, K. (1986), Political science and the gross intellectual product, in: Government and Opposition, 21, pp. 396-405. Osseweijer, P. (2006), A short history of talking biotech. Fifteen years of iterative action research in institutionalising scientists’ engagement in public communication, proefschrift, Amsterdam: Vrije Universiteit. AWT (2005b), De waarde van weten. De economische betekenis van universitair onderzoek, AWT-rapport nr. 62, Den Haag: AWT, pp. 19-23. Pavitt, K. (1991), What makes basic research economically useful? In: Research Policy, 20(2), pp. 109-119. Salter, A.J. & B.R. Martin (2001), The economic benefits of publicly funded basic research: a critical review, in: Research Policy, 30(3), pp. 509-532. CPB (2003), ibid., p. 23. Bureau Industrieel Eigendom (2001), Het octrooigedrag van de Nederlandse kennisinfrastructuur over de periode 1980-1999, Den Haag. Bureau Industrieel Eigendom (2001), ibid. AWT (2001), Handelen met kennis. Universitair octrooibeleid omwille van kennisbenutting, Den Haag. CPB (2002), ibid., pp. 123-168. Pomp, M. (2003), Meetbaar nut of onschatbare waarde? Wetenschappelijk onderzoek en het bedrijfsleven, SEO-rapport nr. 669. Een overzicht van een aantal studies is te vinden in: Venniker, R. & E. Canton (2004), De maatschappelijke opbrengsten van wetenschappelijk onderzoek: een literatuuroverzicht, CPB Memorandum. Rip, A. (2003), Societal challenges for R&D evaluation, in: P. Shapira & S. Kuhlmann (eds.), Learning from science and technology policy evaluation, Cheltenham: Edward Elgar, pp. 32-53. Georghiou, L. (1990), Evaluation of research and technology – some broader considerations, in: H. Krupp (ed.), Technikpolitik angesichts der Umweltkatastrophe, Heidelberg: Physica-Verlag, pp. 224-232. Rip, A. (2003), Social challenges for R&D evaluation, in: P. Shapira & S. Kuhlmann (eds.), Learning from science and technology policy evaluation. Experiences from the United States and Europe, UK/Cheltenham: Edward Elgar, pp. 32-52. Bruijn, J.A. de (2001), ibid., p. 34. Osborne, D. & T. Gaebler (1992), ibid. Osborne, D. & P. Plastrik (2000), The reinventors fieldbook. Tools for transforming your government, San Fransisco: Jossey-Bass Inc., p. 223. Grizzle, G. (2002), Performance measurement and dysfunction: the dark side of quantifying work, in: Public Performance and Management Review, 25, pp. 363-369.

3. OVER DE WERKING VAN PRESTATIEMEETSYSTEMEN 112 113 114 115 116 117 118 119 120

121 122 123 124 125 126 127

128

129 130

131

73

Behn, R.D. & P.A. Kant (1999), Strategies for avoiding the pittfalls of performance contracting, in: Public Productivity and Management Review, 4, pp. 470-489. Osborne, D. & P. Plastrik (1997), Banishing bureaucracy, Reading, MA: Addison Wesley, p. 145. Bruijn, J.A. de (2001), ibid., p. 54. Bouckaert, G. & T. Auwers (1999), ibid., p. 38. Bruijn, J.A. de (2001), ibid., p. 55. Bouckaert, G. & T. Auwers (1999), ibid., p. 75. Pfeffer, J. & R.I. Sutton (2000), The knowing-doing gap. How smart companies turn knowledge into action, Boston: Harvard Business School Press. Waal, A.A. de (2002), ibid., p. 41. Leeuw, F.L. (2000), Onbedoelde neveneffecten van outputsturing, controle en toezicht?, in: Raad voor Maatschappelijke Ontwikkeling, Aansprekend burgerschap, Den Haag, pp. 149-171. Smith, P. (1995), On the unintended consequences of publishing performance data in the public sector, in: International Journal of Public Administration, 18, pp. 277-310. Bruijn, J.A. de (2001), ibid., p. 35. Sol, H.G. (1985), Aggregating data for decision support, in: Decision support systems, pp. 111-121. Bruijn, J.A. de (2001), ibid., p. 34. Veld, R. in ’t, H. Fussel & G. Neave (eds.) (1996), Relations between the state and higher education, Den Haag/Boston: Kluwer. Bruijn, J.A. de (2001), ibid., p. 64. Overgenomen uit J.A. de Bruijn (2001, p. 64), die dit citaat heeft ontleend aan John F. Murray, (2000), Intensive care: a doctor’s journal, Los Angeles. Murray beschrijft de hiërarchische verhoudingen en het verloop van de besluitvormingsprocessen op de intensive care. De chirurgen aan de top van deze hiërarchie zijn vaak minder competent dan hun ondergeschikten, maar weten het hiërarchische systeem in stand te houden. Deze vanzelfsprekende positie leidt tot de ontwikkeling van zeer sterke ego’s en tot de in het citaat weergegeven houding (‘Often wrong, but never in doubt’). Osborne, D. & P. Plastrik (2000), The reinventors fieldbook. Tools for transforming your government, San Fransisco: Jossey-Bass, p. 223. Osborne, D. & P. Plastrik (1997), Banishing bureaucracy, Reading, MA: AddisonWesley, p. 145. Serban, A.M. & J.C. Burke (1998), Meeting the performance challenge. A nine-state comparative analysis, in: Public productivity and management review, 2, pp. 157-176. Smeenk, S.G.A., J.C. Teelken & J.A.C.M. Doorewaard (2004), Academici en managerialisme. Een onmogelijke combinatie?, in: Tijdschrift voor Hoger Onderwijs, 22, pp. 86-95. Smeenk, S.G.A. (2007), Professionalism versus managerialism. A study on HRM practices, antecedents, organisational commitment, and quality of job performances among university employees in Europe, proefschrift, Radboud Universiteit Nijmegen, p. 31. Bruijn, J.A. de (2001), ibid., pp. 41-42.

74

132

133 134 135

136 137

138

139 140 141 142

143

144 145

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK Meyer, M.W. & V. Gupta (1994), The performance paradox, in: Research in Organizational Behavior, 16, pp. 309-369. Thiel, S. van & F. Leeuw (2002), The performance paradox in the public sector, in: Public Performance & Management Review, 25, pp. 267-281. Waal, A.A. de (2002), The role of behavioral factors in the succesful implementation and use of performance management systems, proefschrift, Vrije Universiteit Amsterdam. Bouckaert, G. (1995), Measuring quality, in: C. Politt & G. Bouckaert (ed.), Quality improvement in European public services, London: Sage Publications, pp. 20-32. Gibbons, R. (1998), Incentives in organizations, in: Journal of Economic Perspectives, 12(4), pp. 115-132. Holstrom, B. & P. Milgrom (1991), Multi-task principal-agent analysis: incentive contracts, asset ownership and job design, in: Journal of Law, Economics and Organization, 7, pp. 24-52. Bouckaert, G. (1995), ibid. Bouckaert, G. & T. Auwers (1999), Prestaties meten in de overheid, in: Overheidsmanagement, 12(5), p. 75. Dooren, W. van (2006), Performance measurement in the Flemish public sector: a supply and demand approach, proefschrift, Katholieke Universiteit Leuven, pp. 191-223. Bouckaert, G. & W. Balk (1991), Public productivity measurement: diseases and cures, in Public Productivity & Management Review, 15(2), pp. 229-235. Bruijn, J.A. de (2001), ibid., p. 26. Scott, J.A. (1998), Seeing like a state. How certain schemes to improve the human condition have failed, New Haven: Yale University Press, pp. 313-329. Smith, R. & F.E. Fiedler (1971), The measurement of scholarly work: a critical review of the literature, in Educational record, 52, p. 232. Bruijn, J.A. de (2001), ibid., p. 112. Veld, R. in ’t, H. Fussel & G. Neave (eds.) (1996), Relations between state and higher education, Den Haag/Boston: Kluwer. Martins, R.A. (2000), Use of performance measurement systems: some thoughts towards a comprehensive approach, in: A. Neely (ed.), Performance measurement – past, present and future, Centre for Business Performance, Cranfield University, Cranfield, pp. 363-370. Vagneur, K. & M. Peiperl (2000), Reconsidering performance evaluative style, in: Accounting, Organizations and Society, 24, pp. 77-92. Petri, R. & G.J.A.M. van der Vossen (1994), Management control structuur, in: Handboek Management Accounting, Alphen aan den Rijn: Samsom, pp. 1-33. Waal, A.A. de (2002), ibid., pp. 17-22. Haselbekke, A.G.J., H.L. Klaassen, A.P. Ros & R.J. in ’t Veld (1990), Prestatie tellen. Kengetallen als instrument voor een bedrijfsmatig(er) bestuur en beheer van decentrale eenheden, Den Haag: VNG, pp. 131-132. Bruijn, J.A. de (2001), ibid., p. 82. Prendergast, C. (1999), The provision of incentives in firms, in: Journal of Economic Literature, 37(1), pp. 7-63.

3. OVER DE WERKING VAN PRESTATIEMEETSYSTEMEN 146 147 148 149 150

151

152 153 154

155

156

157 158

159

75

Kloot, L. (1997), Organizational learning and management control systems: responding to environmental change, in: Management Accounting Research, 8, pp. 47-73. Larsen, B. (2001), One measurement is better than 1,000 opinions: is it?, in: Managerial Auditing Journal, 2, pp. 63-68. Bruijn, J.A. de (2001), ibid., p. 68. Tolmach Lakoff, R. (2000), The language war, Berkeley: University of California Press, pp. 79-80. Peursem, K.A. van, M.J. Pratt & S.R. Lawrence (1995), Heath management performance. A review of measures and indicators, in: Accounting, Auditing and Accountability Journal, 5, pp. 34-70. Merton, R.K. (1968b), Social theory and social structure, expanded edition, Glencoe, IL: Free Press. Klein R. & N. Carter (1988), Performance measurement: a review of concepts and issues – performance measurement getting the concepts right, Public Finance Foundation, Communications (Publishing) Limited UK, Discussion Report. Algera, J.A. (2000), Performance management in organisaties, tien jaar ervaring met ProMES, in: Bedrijfskunde, 2, pp. 14-19. Weggeman, M. (2007), Leidinggeven aan professionals. Niet doen!, Schiedam: Scriptum, p. 158. Vosselman, E.G.J. (1999), Accounting en gedrag: zichtbare en onzichtbare effecten van management accounting, Deventer: Kluwer. Simons, R. (2000), Performance measurement and control systems for implementing strategy: text & cases, , Upper Saddle River, NJ: Prentice Hall. Allison, P.D. & J.S. Long (1990), Departmental effects on scientific productivity, in: American Sociological Review, 55(4), pp. 469-478. Long, J.S. & R. McGinnis (1981), Organizational context and scientific productivity, in: American Sociological Review, 46(4), pp. 422-442. Weijden, I. van der (2007), In search of performance. Research management within the Dutch public medical and health sector, proefschrift, Amsterdam: Vrije Universiteit. Pineau, C. & C. Levy-Leboyer (1983), Managerial and organizational determinants of efficiency in biomedical research teams, in : S.R. Epton, R.L. Payne & A.W. Pearson (eds.), Managing interdisciplinary research, New York: John Wiley and Sons, pp. 141163. Kyvik, S. & I. Marheim Larsen (1994), International contact and research performance, in: Scientometrics, 29(1), pp. 161-172. Weijden, I. van der (2007), ibid. Badawy, M.K. (2007), Managing human resources: technical professionals are not only an R&D organization’s greatest asset but its most expensive, in: Research Technology Management (July). Pelz, D. (1956), Some social factors related to the performance of a research organization, in: Administrative Science Quarterly, 1(2), pp. 310-325. Pelz, D. & F.M. Andrews (1966), Scientists in organizations: productive climates for research and development, New York: John Wiley and Sons.

76

160

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK Allen, T. (1970), Communication networks in R&D laboratories, in: R and D Management, 1(1), pp. 14-21. Visart, N. (1979), Communication between and within research units, in: F. Andrews (ed.), Scientific productivity: the effectiveness of research groups in six countries, Cambridge: Cambridge University Press, pp. 223-252. Chiesa, V., P. Coughlan & C.A. Voss (1996), Development of a technical innovation audit, in: Journal of Productive Innovation Management, 13, pp. 105-136. Hurley, J. (1997), Organisation and scientific discovery, New York: John Wiley & Sons. Kanter, R.M. (1988), When a thousand flowers bloom: structural, collective and social conditions for innovation in organizations, in: Research in Organizational Behavior, 10, pp. 169-211. Szakonyi, R. (1994), Measuring R&D effectiveness, in: Research Technology Management, 37(2), pp. 27-32. Udwadia, F.E. (1990), Creativity and innovation in organizations: two models and managerial implications, in: Technological Forecasting and Social Change, 38, pp. 6580.

77

4

Aanpak en analysekader voor case-onderzoek

Voorgaande hoofdstukken hebben inzicht gegeven in aspecten van prestatiemeting en prestatiemeetsystemen van wetenschappelijk onderzoek. In de hoofdstukken 5 tot en met 9 gaat de aandacht uit naar de opzet, doorwerking en effecten van prestatiemeetsystemen van enkele universitaire faculteiten. In dit hoofdstuk wordt de aanpak en het analysekader voor het case-onderzoek geschetst. Achtereenvolgens wordt aandacht besteed aan de voorwaarden voor case-onderzoek, de selectie van cases, de onderzoeksvragen, dataverzameling, de fasering van het veldwerk en het onderzoekskader.

4.1

Voorwaarden voor case-onderzoek

Case-onderzoek vormt een inductieve empirische onderzoeksstrategie, die is gericht op het bestuderen van een of meer cases op een of meer momenten in de tijd, op een vooraf gespecificeerd aggregatieniveau.1 Bij case-onderzoek staat de ontwikkeling van bestaande theorieën centraal. Met nieuwe gegevens uit de empirische praktijk worden de theoretische concepten getoetst en verder uitgebouwd. De methode van caseonderzoek kan leiden tot gefundeerde wetenschappelijke bevindingen, mits wordt voldaan aan vier criteria.2 -

Valide onderzoeksaanpak: Hiermee wordt bedoeld een juiste operationalisering van het theoretische concept dat in de praktijk wordt onderzocht. Bij caseonderzoek bestaat het gevaar dat theoretische inzichten onvoldoende helder worden geconcretiseerd, waardoor de onderzoeker subjectief te werk gaat in zijn informatieverzameling. In dit onderzoek vormen de theoretische inzichten uit deel I de basis voor het onderzoekskader voor de casestudie.

-

Interne validiteit: Hieronder wordt verstaan het op adequate wijze vaststellen van causale verbanden tussen verschijnselen in de onderzochte organisaties. Het risico doet zich voor dat de onderzoeker bepaalde causale relaties vermoedt, zonder dat hij hiervan absoluut zeker is. In dit onderzoek zijn de resultaten van de casestudies nader bestudeerd door groepen experts om misinterpretatie van causale relaties te voorkomen.

-

Externe validiteit: Hiermee wordt bedoeld het vaststellen van het domein waarvoor de onderzoeksuitkomsten kunnen worden gegeneraliseerd. Bij caseonderzoek wordt er vanuit gegaan dat de resultaten kunnen worden veralgemeniseerd naar vergelijkbare situaties en een algemeen theoretisch concept. Het risico bestaat dat unieke kenmerken van de casus onterecht worden gege-

78

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK neraliseerd voor een breder domein. In deze studie is aan de hand van het onderzoekskader in verschillende organisaties op dezelfde wijze onderzoek uitgevoerd (multiple case study). Door replication logic kunnen bevindingen meer robuust worden, bijvoorbeeld door wel of niet dezelfde elementen in de cases te vinden. -

4.2

Verifieerbaarheid: De methode, resultaten en interpretatie van onderzoeksresultaten moeten zodanig worden beschreven dat controleerbaarheid en bekritiseerbaarheid mogelijk zijn. In dit onderzoek heeft de dataverzameling op een consequente wijze plaatsgevonden. Informatie uit gesprekken en documenten is achteraf geverifieerd en geaccordeerd. De casestudierapportages zijn door sleutelpersonen in de organisaties nagekeken op feitelijke onjuistheden. Ook is er een bewijsketen opgezet in een zogenoemde case-study database, waarin alle onderzoeksactiviteiten, resultaten, interpretaties en conclusies per casus zijn vastgelegd op een dusdanige wijze dat het verloop van het praktijkonderzoek kan worden verantwoord.

Selectie van cases

Omdat geen overzicht van prestatiemeetsystemen van universiteiten, faculteiten en instituten voor handen was, is in de periode juni 2005 tot juni 2006 contact gezocht met beleids- en stafmedewerkers van Nederlandse universiteiten. Aan hen is gevraagd op welke plekken informatie over onderzoeksoutput op systematische wijze (volgens een transparante en navolgbare methodiek) wordt gebruikt om geld of onderzoekstijd te verdelen. Hoewel praktisch in alle universiteiten prestatie-informatie een rol speelt in beleid en besluitvorming, en rijksparameters (promoties, onderzoeksscholen, diploma’s) worden doorvertaald, bleek uit de gesprekken dat maar op weinig plekken in Nederland onderzoeksgeld uit de eerste geldstroom wordt verdeeld op basis van de primaire output (wetenschappelijke publicaties). Uit het beperkte aanbod van prestatiemeetsystemen waarin geld uit de eerste geldstroom wordt verdeeld op basis van aantallen wetenschappelijke publicaties is een keuze gemaakt van vier systemen, die qua inhoud (prestatie-indicatoren) en gebruik (proces) van elkaar verschillen en van toepassing zijn op uiteenlopende wetenschappelijke disciplines. Generieke voorwaarden waren: -

de omvang van wetenschappelijke output (o.a. publicaties) bepaalt de verdeling van eerste geldstroommiddelen; het systeem mag niet uitsluitend een administratief systeem zijn, maar moet merkbaar zijn voor onderzoeksmanagers en onderzoekers (via budgettoewijzing of voor verdeling van onderzoekstijd);

4. AANPAK EN ANALYSEKADER VOOR CASE-ONDERZOEK -

-

79

het systeem vigeert minimaal vijf jaar, zodat de effecten zichtbaar kunnen zijn; de faculteit moet minimaal vijf afdelingen of honderd medewerkers tellen, omdat verwacht mag worden dat bij die omvang enige verzakelijking in de centrale sturing optreedt en een objectieve grondslag voor de verdeling van middelen van belang is (i.e. het prestatiemeetsysteem); de faculteit moet bereid zijn medewerking te verlenen aan het onderzoek.

Na bestudering van het beperkte aanbod zijn de volgende vier cases geselecteerd: de Faculteit Technische Natuurwetenschappen van de Technische Universiteit Delft (hoofdstuk 5), het Erasmus Universitair Medisch Centrum Rotterdam (hoofdstuk 6), de Faculteit der Economische Wetenschappen en Bedrijfskunde van de Vrije Universiteit Amsterdam (hoofdstuk 7) en de Faculteit der Sociale Wetenschappen van de Vrije Universiteit Amsterdam (hoofdstuk 8).

4.3

Onderzoeksvragen en dataverzameling

Onderzoeksvragen Voor het case-onderzoek zijn de volgende onderzoeksvragen geformuleerd: -

Wat wordt met het prestatiemeetsysteem beoogd? In hoeverre is het systeem doeltreffend? Roept het systeem spanningen c.q. ongewenste effecten op? Zo ja, welke? Hoe kunnen de gewenste en ongewenste effecten worden verklaard? In hoeverre kunnen de bestaande inzichten over prestatiemeetsystemen en hun effectiviteit worden aangevuld c.q. specifiek worden gemaakt voor wetenschappelijke onderzoeksorganisaties?

De informatie voor de beantwoording van deze vragen is op twee manieren verkregen: door bestudering van facultaire documenten en interviews binnen de faculteit. Bestudering documenten Per faculteit zijn relevante documenten bestudeerd. Per case is informatie opgevraagd over de faculteit, het prestatiemeetsysteem, budgetwijzigingen en outputontwikkelingen. Interviews Daarnaast zijn semi-gestructureerde gesprekken gevoerd met de decaan, beleidsmedewerkers en afdelingshoofden uit de faculteiten om inzicht te krijgen in de doorwerking van het prestatiemeetsysteem. De afdelingshoofden hebben een dubbelrol. Enerzijds hebben zij managementtaken en zijn zij verantwoordelijk voor de aansturing van het

80


onderzoek (onderzoeksprogrammering, planning & control, budgetbewaking, personeelsbeleid). Het prestatiemeetsysteem is een instrument dat hen daarbij kan helpen, of tegenwerken. Anderzijds zijn zij hoogleraren en komen zij voort uit de wetenschappelijke professie. Zij kennen de drijfveren van onderzoekers, zij begrijpen de wetenschapsinhoudelijke belangen van onderzoekers, concurrentieverhoudingen met andere onderzoeksinstellingen, het nut van samenwerking met externe partijen, kansen voor interdisciplinair onderzoek, etcetera. Vanuit die professionele achtergrond weten zij hoe het prestatiemeetsysteem de onderzoekspraktijk kan stimuleren of frustreren. Op basis van die dichotomie vormt het afdelingshoofd een interessante gesprekspartner. Tot slot is verondersteld dat afdelingshoofden overzicht hebben over het onderzoek in hun afdeling en dat zij de doorwerking van het prestatiemeetsysteem kennen. Een risico van de focus op managing professionals is dat zij de onderzoeksuitkomsten in een bepaalde richting sturen. De managers maken deel uit van een organisatie waarin de systemen standhouden. Er is mogelijk sprake van een zekere bias in de antwoorden; als de managing professionals niet tevreden waren, waren zij wellicht reeds vertrokken. Bovendien is het oordeel van de managers niet per definitie waardevrij: zij kunnen ook belang hebben bij instandhouding van de systemen, met name wanneer de uitkomsten gunstig zijn voor de afdeling. De gesprekken met afdelingshoofden in de vier faculteiten zijn gevoerd aan de hand van een lijst met stellingen (bijlage 2). In die stellingen wordt ingegaan op onder meer de bekendheid van het prestatiemeetsysteem in de faculteit, oordeelsvorming over de functionaliteit en betrouwbaarheid van de prestatie-indicatoren, de betekenis van het prestatiemeetsysteem als sturingsinstrument, gewenste en ongewenste effecten. Hoewel semi-gestructureerde interviews gepaard gaan met een hoge tijdsinzet, is het een winstgevende aanpak, omdat de interviews diepgaande inzichten geven. Daarom zijn ze in dit geval verkozen boven schriftelijke enquêtes onder een grote groep onderzoekers. Informatie over de prestatie-effecten van het systeem kon worden afgelezen uit cijfermatige overzichten die in alle vier faculteiten beschikbaar waren. Geïnterviewden Tabel 4.1 geeft een overzicht van het aantal geïnterviewden in de vier faculteiten. In de cases 1, 2 en 3 zijn alle afdelingen in het onderzoek betrokken. In case 4 is vanwege de omvang van de organisatie een gestratificeerde steekproef getrokken uit het aanbod van ruim vijftig onderzoeksafdelingen, waarbij gestreefd is naar een evenredige vertegenwoordiging van de typen afdelingen (klinisch, niet-klinisch, gezondheidswetenschappen). De namen van geïnterviewden zijn weergegeven in de bijlagen 3 tot en met 6.

4. AANPAK EN ANALYSEKADER VOOR CASE-ONDERZOEK

Tabel 4.1 Case

Geïnterviewden case-onderzoek Geïnterviewden*

Faculteit Technische Natuurwetenschappen Decaan, afdelingsvoorzitters, afdelings(Technische Universiteit Delft) secretarissen, stafmedewerkers Erasmus Universitair Medisch Centrum Afdelingshoofden, leden wetenschappeRotterdam (Erasmus Universiteit Rotterlijke adviesraad, hoofd onderzoeksbeleid dam) Faculteit Economische Wetenschappen en Decaan, afdelingshoofden, programmaBedrijfskunde (Vrije Universiteit Amstercoördinatoren, portefeuillehouder onderdam) zoek, stafmedewerker Faculteit Sociale Wetenschappen Decaan, portefeuillehouder onderzoek, (Vrije Universiteit Amsterdam) stafmedewerker * Alle (hoofd)vakgebieden van de faculteit zijn in de gesprekken vertegenwoordigd

4.4

81

Aantal 14 18

11

10

Fasering van het veldwerk

Het veldwerk voor de casestudies is gebaseerd op een model bestaande uit tien stappen, verdeeld over een voorbereidings-, uitvoerings- en analysefase. Dit is schematisch weergegeven in figuur 4.1. De voorbereidingsfase is hiervoor reeds beschreven. In de uitvoeringfase zijn de documenten bestudeerd en de interviews gehouden. De gesprekken duurden gemiddeld een uur. Van de gesprekken zijn verslagen gemaakt die vertrouwelijk en anoniem zijn behandeld. De verslagen zijn steeds voor controle voorgelegd aan de respondenten die hierop correcties en aanvullingen hebben kunnen maken. De documentenstudie en geaggregeerde interviewresultaten zijn verwerkt tot een concept tekst over de faculteit, die is besproken met enkele vertegenwoordigers van de faculteit. In de meeste gevallen betrof het de decaan en stafleden. In een enkel geval is de tekst besproken in een wetenschappelijke adviescommissie. In de analysefase zijn de case-onderzoeken onderling vergeleken op hun volledigheid en consistentie. Aan de hand van deze analyse is bekeken of de vergaarde informatie volledig en evenwichtig was. Vervolgens zijn de caserapportages verder uitgewerkt en besproken met diverse deskundigen uit het wetenschapsveld. De gesprekken met deskundigen hadden tot doel inzichten uit het case-onderzoek te analyseren op generieke patronen. Hiervan is verslag gedaan in hoofdstuk 9. In hoofdstuk 10 wordt een antwoord gegeven op de vraag welke factoren bepalend zijn voor doeltreffende prestatiemeetsystemen.

82


Voorbereiding

Uitvoering

Analyse

Ontwerpaanpak case-onderzoek

Uitvoering veldwerk

Eerste analyse van onderzoeksresultaten

Identificatie van organisaties en contactpersonen

Feedback op resultaten veldwerk

Definitieve analyse

Voorbereiding veldwerk

Evaluatie: voldoende informatie?

Opstellen rapportage case-onderzoek

Feedback op rapportage case-onderzoek

Figuur 4.1

4.5

Fasering van het case-onderzoek3

Analysekader

In het case-onderzoek is gewerkt met een analysekader dat is gebaseerd op de kennis uit voorgaande hoofdstukken. Enerzijds wordt in het case-onderzoek bekeken welke effecten de prestatiemeetsystemen hebben. Anderzijds wordt bestudeerd hoe de prestatiemeetsystemen omgaan met de complexiteit en variëteit van onderzoeksoutput. De twee onderdelen worden hierna uitgewerkt. Mogelijke effecten van prestatiemeetsystemen en verklarende factoren In hoofdstuk 3 zijn op basis van literatuuronderzoek mogelijke effecten van prestatiemeetsystemen, verdeeld naar positieve en negatieve effecten, op een rij gezet. Deze zijn samengevat in tabel 4.2.

4. AANPAK EN ANALYSEKADER VOOR CASE-ONDERZOEK

83

Tabel 4.2 Mogelijke effecten van prestatiemeetsystemen Heilzame werking van prestatiemeetsysPrestaties worden transparant temen: Stimulans voor doelgericht handelen Prestatie-effect Wervings- of vervangingseffect Kwaliteit van beleid en besluitvorming Allocatie-effect Dreiging van perverse effecten:

Meetfixatie Manipulatief gedrag Deprofessionalisering Afname van creativiteit en innovatie Prestatiemeetsystemen kunnen verstarren Inflatieziekte Papieren werkelijkheid Ritualisme

Bovengenoemde effecten kunnen worden verklaard op basis van aspecten van de systeeminrichting, procesinrichting en systeeminbedding. De relevante aspecten zijn opgenomen in tabel 4.3. Tabel 4.3 Verklarende factoren Systeeminrichting:

Procesinrichting:

Legitimiteit van indicatoren Variëteit en verscheidenheid aan indicatoren Dynamiek en aanpassingsvermogen in het systeem Adequate controlemechanismen Duidelijkheid over functies en fora Dialoog bij betekenisgeving Boundary spanning

De vier prestatiemeetsystemen zullen op bovenstaande effecten en verklarende factoren worden onderzocht. Stellingen voor de interviews De inzichten uit voorgaande hoofdstukken, samengevat in het analysekader, hebben de basis gevormd voor een lijst met stellingen die zijn gebruikt in de interviews met managing professionals (afdelingshoofden, onderzoeksleiders) uit de faculteiten. De lijst stellingen is weergegeven in bijlage 2. In de stellingen komen de volgende onderwerpen aan bod:

84

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK -

-

bekendheid van het prestatiemeetsysteem in de faculteit (prestatie-indicatoren, wegingsfactoren, financiële consequenties); waardering en beoordeling van de systematiek van het prestatiemeetsysteem; invloed van het prestatiemeetsysteem op het publicatiegedrag van onderzoekers; oordeelsvorming over de relatieve beloning van onderzoeksprestaties via het prestatiemeetsysteem; betekenis van het prestatiemeetsysteem voor de onderzoeksproductiviteit, onderzoekskwaliteit en maatschappelijke/economische betekenis van onderzoeksprestaties; ruimte voor manipulatie van prestatiecijfers met als gevolg perverse effecten; verwaarlozing van niet-gemeten prestaties; invloed op de prestatiegerichtheid van de cultuur van de faculteit; efficiencywinst bij de verdeling van onderzoeksgeld (verhouding kosten/baten van het systeem); zichtbaarheid van sterke en minder sterke onderzoeksgroepen dankzij het prestatiemeetsysteem; toekomstbeeld van het prestatiemeetsysteem en prestatiefinanciering in de faculteit.

De reacties op deze stellingen geven inzicht in het draagvlak en de gepercipieerde impact van de prestatiemeetsystemen. De opvattingen van managing professionals bieden in combinatie met het feitenmateriaal uit de documentenanalyse een totaalinzicht in de doorwerking van prestatiemeetsystemen en randvoorwaarden voor doeltreffendheid.

Referenties 1 2

3

Jagersma, P.K. (1993), Methodologie van organisatie onderzoek: de gevalstudie, in: Maandblad voor Accountancy en Bedrijfseconomie, januari-februari, pp. 57-65. Biemans, W.G. & J. van der Meer-Kooistra (1994), Case study research voor bedrijfskundig onderzoek, in: Bedrijfskunde, 66, pp. 51-56. Swanborn, P.G. (1996), Case-study’s: wat, wanneer en hoe?, Amsterdam/Meppel: Boom, pp. 13-14. Wester, F. (1995), Strategieën voor kwalitatief onderzoek, Bussum: Coutinho, pp. 1213. Yin, R.K. (1993), Applications of case study research, London: Sage Publications. Yin, R.K. (1994), Case study research, design and methods, Thousand Oaks: Sage Publications. Biemans, W.G. & J. van der Meer-Kooistra (1994), ibid.

85

5

Case 1: Technische Natuurwetenschappen

5.1

De onderzoeksomgeving

De Faculteit der Technische Natuurwetenschappen (TNW) is de grootste van de acht faculteiten van de Technische Universiteit Delft. De faculteit telde in 2006 circa 960 fte personeel, waaronder circa 640 fte wetenschappelijk personeel. Aan de faculteit studeren ongeveer 1.400 studenten. De faculteit heeft zes afdelingen, die zijn verdeeld in secties. Elke afdeling staat onder leiding van een afdelingsvoorzitter-hoogleraar. De decaan geeft leiding aan de faculteit en voert daarvoor regelmatig overleg met de afdelingsvoorzitters. Het wetenschappelijk onderzoek vindt plaats in afdelingen, maar tegelijkertijd nemen onderzoekers c.q. secties deel aan interfacultaire en interuniversitaire onderzoeksscholen en instituten, waaronder de Delft Research Centers van de TU Delft. Dit leidt ertoe dat onderzoek vanuit verschillende kanten worden aangestuurd. De variëteit aan wetenschappelijke disciplines is aanzienlijk. In de faculteit wordt onderzoek gedaan op het gebied van chemische technologie, biotechnologie, imaging science & technology, multi-scale physics, stralingsonderzoek en nanotechnologie. De onderlinge verschillen in wetenschappelijke output en publicatieculturen zijn redelijk groot. Voor onderzoeks- en onderwijstaken ontving de faculteit in 2006 een eerste geldstroom van circa 55 miljoen euro. Daarnaast werd voor onderzoekstaken 9 miljoen euro uit publieke onderzoeksfondsen en 8 miljoen euro via de industrie en overige bronnen (bijvoorbeeld octrooien) geworven. De afhankelijkheid van de eerste geldstroom voor wetenschappelijk onderzoek varieert per afdeling van 55 procent tot 77 procent.

5.2

Het prestatiemeetsysteem

De faculteit heeft een prestatiemeetsysteem, intern ‘TNW-allocatie’ genoemd, waarmee een deel van de eerste geldstroom wordt verdeeld naar rato van de onderzoeksoutput van afdelingen. Het facultaire prestatiemeetsysteem is afgeleid van het BTA-model (vernoemd naar de commissie Begeleiding Toepassing Allocatiemodel) dat de TU Delft hanteert om eerste geldstroom te verdelen over de faculteiten. Dit universitaire allocatiemodel bestaat sinds 1998 en heeft een onderzoeks- en onderwijscomponent. Het BTA-model heeft tot doel de prestaties van faculteiten te bevorderen. Hoewel het

86


model dus een onderzoeks- en onderwijscomponent heeft, zal het hierna uitsluitend gaan over het onderzoeksdeel. In het onderzoeksdeel van het Delftse BTA-model zijn op alle faculteiten dezelfde prestatie-indicatoren van toepassing. Er wordt echter wel rekening gehouden met de verschillen tussen onderzoeks- en publicatieculturen van faculteiten. Faculteiten met een vergelijkbare publicatiecultuur zijn ingedeeld in ‘boxen’. Binnen die boxen wordt geconcurreerd om onderzoeksgeld. Het college van bestuur van de TU Delft heeft de faculteiten verzocht om het BTAmodel zoveel mogelijk door te vertalen binnen de faculteit. De facultaire allocatiemodellen mogen volgens een besluit van het college van bestuur (17 juni 2003, bijl. A, p. 8) niet strijdig zijn met de ‘BTA-prikkels’. De Faculteit TNW heeft conform het verzoek van het college van bestuur de prestatieindicatoren en wegingsfactoren uit het BTA-model overgenomen in het TNWallocatiemodel. De decaan heeft besloten de prikkels richting de afdelingen in hoge mate te dempen. De decaan beschouwt het TNW-allocatiemodel niet als prestatiebevorderend instrument, maar als een financieel instrument om op een zo objectief mogelijke manier een deel van de eerste geldstroom te verdelen. Dit wordt belangrijk gevonden, omdat het binnen een grote faculteit moeilijk is om in goede harmonie tot keuzes te komen over de verdeling van onderzoeksgeld. De decaan heeft de afdelingsvoorzitters dringend verzocht de prikkels uit het TNW-allocatiemodel niet voelbaar te laten zijn in de afdelingen. Ondanks dat een afdeling eerste geldstroom ‘verdient’ naar rato van de output, is het niet de bedoeling dat onderzoekers zich hiernaar gaan gedragen. Slechts een deel van het onderzoeksgeld wordt via het facultaire prestatiemeetsysteem (TNW-model) verdeeld. Van de eerste geldstroom worden door de decaan eerst kosten afgetrokken ten behoeve van gemeenschappelijke voorzieningen (huisvesting, faciliteiten, centrale staf). De decaan heeft na overleg met de afdelingsvoorzitters besloten dat voor de financiering van deze gemeenschappelijke voorzieningen niet wordt gekeken in hoeverre hier door de afdelingen gebruik van wordt gemaakt. Daarnaast is door de decaan een deel van de eerste geldstroom gereserveerd voor strategisch onderzoeks- en onderwijsbeleid. De decaan heeft dus een beleidsbudget om buiten het TNWallocatiemodel om op basis van strategische overwegingen geld toe te wijzen. Nadat van de circa 55 miljoen euro eerste geldstroom de kosten voor gemeenschappelijke voorzieningen en het beleidsbudget van de decaan zijn afgetrokken, blijft ongeveer 30 miljoen euro over die op basis van het TNW-allocatiemodel wordt toegekend.

5. CASE 1: TECHNISCHE NATUURWETENSCHAPPEN

87

Het TNW-allocatiemodel bevat drie onderdelen: 40 procent wordt toegewezen naar rato van de onderzoeksprestaties, 20 procent wordt verdeeld naar rato van onderwijsprestaties en 40 procent wordt volgens een vaste (historisch bepaalde) verhouding toegewezen aan de afdelingen. Van de totale eerste geldstroom wordt dus circa 12 miljoen euro verdeeld op basis van onderzoeksprestaties. Prestatie-indicatoren en berekeningsgrondslagen Het onderzoeksdeel van het TNW-allocatiemodel onderscheidt (analoog aan het universitaire BTA-model) vier soorten prestaties: publicaties, redacteurschappen, octrooien en promoties. Niet alle publicaties wegen even zwaar. Hoe hoger de wegingsfactor, hoe meer punten die krijgt (tabel 5.1). Tabel 5.1

Outputcategorieën en puntenwaardering TNW-model (toewijzingsjaar 2007 o.b.v. output in 2005)

Categorie

Wegingsfactor

Waarde uitgedrukt in euro‘s*

10,0 7,0 4,0 4,0 14,0 4,0 1,5 1,0

14.400 10.080 5.760 5.760 20.160 5.760 2.160 1.440

6,0 3,0 4,0 28,0

8.640 4.320 5.760 40.320

Wetenschappelijke publicaties Artikel in internat. wet. tijdschrift CWTS-lijst: JFIS >= 3,0 Artikel in internat. wet. tijdschrift CWTS-lijst: 1,0 <= JFIS < 3,0 Artikel in internat. wet. tijdschrift CWTS-lijst: JFIS < 1,0 Wetensch. publicatie peer-lijst Internationaal wetensch. boek > 80 pag. Internationaal wetensch. boekdeel <=80 pag. Bijdrage aan conference proceedings > 3 pag. Vakpublicaties, overige wetenschappelijke publicaties > 3 pag. Redacteurschappen Chief/full editorschip internat.wetensch. boek/CWTS-tijdschrift Chief/full editorschip internat. wetensch. conference proceedings Octrooi Dissertatie/promotie aan de TU Delft

* Situatie in 2005, berekend op basis van het toenmalige onderzoeksbudget

De eerste drie categorieën publicaties onder wetenschappelijke publicaties betreffen artikelen in tijdschriften die in de tijdschriftenlijst van het Centrum voor Wetenschapsen Technologie Studies (CWTS) uit Leiden voorkomen. Het CWTS deelt de tijdschriften uit de ISI-databases in naar vakgebieden, de journal fields, en berekent vervolgens de gemiddelde impact van de tijdschriften in een field over een periode van 4 jaar. Dit is de Journal to Field Impact Score (JFIS). Vervolgens kan gekeken worden of het journal waarin gepubliceerd is boven of onder het gemiddelde van de JFIS ligt (respectievelijk JFIS > 1 en JFIS < 1). Hoe hoger de JFIS, hoe hoger de waardering, met een maximum van 10 punten voor een artikel in een tijdschrift met een impactfactor groter dan of gelijk aan 3. Naast de tijdschriftenlijst van het CWTS is er een Delftse lijst met peer reviewed tijdschriften, die niet in de ISI/CWTS-lijst voorkomen. Deze lijst wordt op universitair

88


niveau vastgesteld. De lijst is opgesteld omdat de tijdschriften in de ISI/CWTS-lijst meer aandacht besteden aan fundamentele en gevestigde wetenschapsgebieden. Voor nieuwe of interdisciplinaire vakgebieden en toegepast onderzoek is het moeilijker om te publiceren in deze tijdschriften. De Delftse lijst bevat circa 700 tijdschriften. Dat geeft onderzoekers dus de ruimte om zich ook te richten op niet-ISI-tijdschriften. Onderzoekers kunnen een verzoek indienen om een peer reviewed tijdschrift aan de Delftse lijst toe te voegen. Voorwaarden zijn dat het tijdschrift een wetenschappelijke uitgever kent en een systeem van peer review. Een artikel in een peer reviewed journal wordt gewaardeerd met 4 punten. Als een artikel wordt gepubliceerd in een tijdschrift dat niet op de lijst voorkomt, zal deze worden geteld als vakpublicatie (1 punt). Boeken worden alleen beloond als deze een internationale wetenschappelijke doelgroep hebben. Het aantal pagina’s is bepalend voor de beloning; meer of minder dan 80 pagina’s maakt een verschil van 10 punten. Indien een wetenschappelijke publicatie door twee of meer afdelingen is gemaakt, telt deze volledig mee voor iedere afdeling. Dit gebeurt ook in het universitaire BTA-model waar het samenwerking betreft tussen faculteiten. Een uitzondering vormen dissertaties. Die worden verdeeld conform de afspraken tussen promotoren. Naast wetenschappelijke publicaties worden redacteurschappen, octrooien en promoties beloond. Een redacteurschap (editorship) van een ISI-tijdschrift en tijdschrift uit de Delftse lijst wordt dubbel zo zwaar gewogen als het redacteurschap van een internationale conference proceeding. Een octrooi levert 4 punten op, vergelijkbaar met een artikel in een ISI-tijdschrift met lage impactfactor of artikel in een peer-lijst tijdschrift. Een promotie van een eigen medewerker aan de TU Delft levert relatief veel op (28 punten). Dit heeft te maken met de promotiepremie die de universiteit ontvangt van het ministerie van OCW. Deze premie (circa 80.000 euro) is vertaald naar punten in het verdeelmodel. De verdeling van onderzoeksgeld voor jaar j is gebaseerd op de output van het jaar j-2. Hierdoor is sprake van een tijdsgat tussen prestatie en beloning. De combinatie van aantal eenheden output en de wegingsfactoren leidt tot een bepaald aantal punten. Dit aantal afgezet tegen het totaal aantal punten dat de faculteit heeft gegenereerd, leidt tot een zogenoemd marktaandeel per afdeling. De marktaandelen van de afdelingen worden gemiddeld via de formule Mj+1 = Mj/2 + Oj+1/2 (Mj = gemiddelde marktaandeel in jaar j; Oj+1 = marktaandeel in jaar j+1). Hierdoor worden grote fluctuaties in de onderzoeksoutput gedempt.


89

Verzameling en toetsing van prestatie-informatie De afdelingen voeren in de laatste maanden van een jaar de onderzoeksoutput in in onderzoeksinformatiesysteem METIS. Dit wordt door de centrale staf van de faculteit gecontroleerd op correctheid en volledigheid. De output wordt doorgegeven aan de universitaire BTA-commissie, die eveneens een controle uitvoert. In dit proces is ook gelegenheid om tijdschriften aan de Delftse lijst van peer reviewed tijdschriften toe te laten voegen, mits de BTA-commissie daarmee instemt. Na vaststelling van de definitieve onderzoeksoutput berekent de universiteit het budget dat aan de faculteiten wordt toegewezen. In de faculteit TNW wordt op basis van het verkregen budget en het aantal punten dat de afdelingen hebben gescoord berekend hoe het geld over de afdelingen voor het volgende jaar wordt verdeeld.

5.3

Managing professionals over het prestatiemeetsysteem

Om inzicht te krijgen in de doorwerking van het onderzoekscompartiment van het TNW-allocatiemodel zijn interviews gehouden met de afdelingsvoorzitters en secretarissen (zie bijlage 3). De afdelingsvoorzitters zijn hoogleraren die integrale managementbevoegdheden hebben ten aanzien van hun afdeling. De afdelingsvoorzitter bepaalt in overleg met de hoogleraren in zijn afdeling hoe financiële middelen en menskracht over de secties worden verdeeld. Hij voert ook regelmatig overleg met de directeuren van de interfacultaire onderzoeksinstituten en onderzoeksscholen. Verder bevordert hij de kwaliteit van uitvoering van onderzoekstaken door de medewerkers van zijn afdeling. Deze is volgens het faculteitsreglement verantwoordelijk voor de totstandkoming van een kwaliteitssysteem binnen de afdeling en betrouwbaarheid van kwaliteitsrapportages. Een afdelingsvoorzitter wordt bijgestaan door een afdelingssecretaris, die beleidsondersteunende taken heeft. De interviews zijn gevoerd op basis van een lijst stellingen waarbij geïnterviewden hebben aangegeven in hoeverre zij het hiermee eens zijn. Per stelling heeft elke geïnterviewde gereageerd op een vijfpuntsschaal uiteenlopend van ‘zeer mee eens’ (5 punten), ‘grotendeels mee eens’ (4 punten), ‘noch mee eens, noch mee oneens’ (3 punten), ‘grotendeels niet mee eens’ (2 punten), ‘zeer mee oneens’ (1 punt), ‘geen oordeel’ (0 punten). In deze paragraaf worden de resultaten besproken. De uitkomsten zijn weergegeven in een reeks tabellen waarin steeds de gemiddelde score op deze vijfpuntsschaal en de standaarddeviatie zijn weergegeven. Bekendheid van het prestatiemeetsysteem De geïnterviewden zijn goed op de hoogte van het TNW-allocatiemodel (tabel 5.2). Dat geldt zowel voor de prestatie-indicatoren als de wegingsfactoren. Hoeveel een publicatie precies waard is in euro’s, is over het algemeen niet bekend, omdat die

90


waarde van jaar tot jaar fluctueert (afhankelijk van het onderzoeksbudget van de faculteit). Tabel 5.2

Bekendheid van het prestatiemeetsysteem

Stelling

GEM

STDEV

Ik ben bekend met de systematiek van het TNW-allocatiemodel (prestatieindicatoren, wegingsfactoren, financiële consequenties).

4,8

0,4

Ik veronderstel dat de systematiek van het TNW-allocatiemodel bekend is bij de onderzoekers in mijn afdeling.

4,1

0,7

zeer mee eens = 5, grotendeels mee eens = 4, noch mee eens, noch mee oneens = 3, grotendeels niet mee eens = 2, zeer mee oneens = 1

Het TNW-allocatiemodel is over het algemeen ook bekend bij de onderzoekers in de afdelingen. Het gaat dan vooral om de senioronderzoekers met een vaste aanstelling. Tijdelijke onderzoekers, zoals postdocs en promovendi, zijn niet of nauwelijks bekend met het systeem. De onderzoeksprestaties (aantallen publicaties en punten) worden in de meeste afdelingen jaarlijks plenair besproken. Oordelen over het prestatiemeetsysteem De geïnterviewden oordelen over het algemeen positief over het TNW-allocatiemodel (tabel 5.3). De afdelingen beschouwen het TNW-allocatiemodel als een onvermijdelijk uitvloeisel van het universitaire BTA-model. Er is volgens de geïnterviewden feitelijk geen keuze voor het wel of niet gebruiken van het allocatiemodel. Tabel 5.3

Oordeel over het prestatiemeetsysteem

Stelling

GEM

STDEV

4,0

0,5

2,8

1,5

Ik vind dat het TNW-allocatiemodel bepaalde belangrijke prestaties onderwaardeert (of helemaal niet waardeert).

4,2

0,4

Het TNW-allocatiemodel is een efficiënte manier om binnen de faculteit schaarse onderzoeksmiddelen uit de eerste geldstroom te verdelen.

4,0

0,0

Ik heb een positieve waardering voor de systematiek van het TNWallocatiemodel. Ik vind dat het TNW-allocatiemodel uiteenlopende onderzoeksprestaties evenwichtig beloont.


Volgens de geïnterviewden worden de onderzoeksprestaties die door de afdelingen worden geleverd niet evenwichtig beloond (tabel 5.3). Bepaalde prestaties worden


91

ondergewaardeerd of helemaal niet gewaardeerd. Als reactie op de stelling zijn in de interviews de volgende kritiekpunten genoemd: -

-

Bij octrooien wordt geen onderscheid gemaakt tussen belangrijke en minder belangrijke octrooien. Herhaaldelijk is erop gewezen dat sommige patenten nauwelijks worden gebruikt. Veel gebruikte patenten zouden hoger moeten worden gewaardeerd. Daarnaast zou onderscheid moeten worden gemaakt tussen Nederlandse octrooien en octrooien op mondiaal niveau. Monografieën worden ondergewaardeerd, terwijl de tijdsinzet voor en het belang van boeken over het algemeen groot zijn. Artikelen in wetenschappelijke toptijdschriften (gekenmerkt door een zeer hoge impactfactor) worden ondergewaardeerd. Vakgebieden worden langs de uniforme meetlat van het prestatiemeetsysteem gelegd; er wordt geen rekening gehouden met publicatieen citatieculturen. Onderzoekers worden aangezet om te publiceren in toptijdschriften, ook als zij via die tijdschriften niet hun vakgenoten c.q. lezerspubliek bereiken.

In de interviews is gevraagd of er ook prestatie-indicatoren ontbreken. Dit resulteerde in de volgende punten: -

-

-

-

Internationale samenwerkingsverbanden worden niet weergegeven. De wervingskracht in de tweede en derde geldstroom blijft buiten beschouwing. Deelname aan belangrijke nationale en internationale wetenschappelijke commissies, bijvoorbeeld visitatie-/evaluatiecommissies wordt niet betrokken bij de prestatiemeting. Indicatoren op het gebied van wetenschapscommunicatie zijn niet in het systeem opgenomen. Hierbij is aangegeven dat het niet eenvoudig is succes op het terrein van wetenschapscommunicatie (bijvoorbeeld open dagen, publieksvoorlichting, educatieve projecten gericht op scholieren) in veelzeggende indicatoren uit te drukken. Samenwerkingsprojecten met het bedrijfsleven blijven buiten beschouwing, terwijl deze veelbetekenend zijn voor kennisoverdracht van wetenschap naar bedrijfsleven. Vaak mondt samenwerking niet uit in wetenschappelijke toppublicaties, maar in relatief minder gewaardeerde vakpublicaties of rapporten aan derden. Software die door onderzoekers is ontwikkeld (en soms veel gebruikt door bedrijfsleven) wordt buiten beschouwing gelaten. Scoringspercentages op externe subsidieaanvragen worden niet zichtbaar gemaakt. Penvoerderschap voor grote onderzoeksprojecten, die gepaard gaan met veel tijdsinzet en wetenschappelijke prestige worden niet weergegeven. Het schrijven van projectaanvragen kost erg veel tijd. Die tijdsinzet zie je nergens terug.

92 -

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK Tijdsbesteding aan facultaire management- en beheerstaken wordt niet meegewogen (hoewel die over het algemeen nog wel credits opleveren). Economische spin-off, technology transfer en start-ups, wordt niet geteld. Hiervan is hooguit iets zichtbaar in het aandeel derde geldstroom. Vakpublicaties en rapporten aan derden en publicaties in tijdschriften die niet op de CWTS/ISI-lijst of de Delftse lijst peer-tijdschriften voorkomen.

In veel gevallen werd opgemerkt dat er weliswaar indicatoren ontbreken, maar dat met een uitbreiding van het systeem ook de complexiteit en administratieve lasten zullen toenemen. Er zullen veel extra prestaties geld moeten worden, die nu niet worden gemeten. De afdelingen vinden dat het TNW-allocatiemodel een efficiënte manier is om onderzoeksgeld te verdelen. Volgens de afdelingsvoorzitters is het alternatief dat afdelingen een lump sum ontvangen, zonder dat gekeken wordt naar prestaties. Maar dat zou betekenen dat prestaties er eigenlijk niet toe doen. Dat wordt beschouwd als een verkeerd signaal. Welke prestaties maakt het prestatiemeetsysteem zichtbaar? Volgens de geïnterviewden maakt het TNW-allocatiemodel de onderzoeksproductiviteit van de afdelingen (kwantiteit van onderzoeksoutput) goed zichtbaar (tabel 5.4). De brede set aan indicatoren zorgt ervoor dat – behoudens de kanttekeningen die hiervoor zijn gemaakt – de meeste onderzoeksoutput wordt geteld. Tabel 5.4

Wat laat het prestatiemeetsysteem zien?

Stelling

GEM

STDEV

Het TNW-allocatiemodel maakt de onderzoeksproductiviteit (kwantiteit van onderzoeksoutput) van mijn afdeling goed zichtbaar.

4,6

0,5

Het TNW-allocatiemodel maakt de kwaliteit van de onderzoeksprestaties van mijn afdeling goed zichtbaar.

3,1

0,9

Het TNW-allocatiemodel maakt de maatschappelijke/economische betekenis van de onderzoeksprestaties van mijn afdeling goed zichtbaar (praktijktoepassingen, patenten, spin-off).

1,7

0,8

2,9

0,7

Dankzij het TNW-allocatiemodel is goed zichtbaar wat de sterke en minder sterke onderzoeksgroepen zijn. zeer mee eens = 5, grotendeels mee eens = 4, noch mee eens, noch mee oneens = 3, grotendeels niet mee eens = 2, zeer mee oneens = 1

De kwaliteit van onderzoeksprestaties wordt minder goed zichtbaar gemaakt. Weliswaar worden publicaties in tijdschriften met een hoge impactfactor beter beloond dan publicaties in tijdschriften met een lage impactfactor, maar niet alle onderzoek van


93

hoge kwaliteit kan in tijdschriften met een hoge impactfactor worden gepubliceerd. Als de uitkomsten van het systeem worden gevolgd, zouden bepaalde onderzoeksgebieden meer kwaliteit leveren dan andere disciplines, wat volgens geïnterviewden betwistbaar is. Enkele afdelingen hebben gewezen op de beperkte betekenis van impactcijfers van tijdschriften. Het zou beter zijn te kijken naar de citaties van publicaties. Het is dan van belang ook publicaties uit eerdere jaren te betrekken, omdat het vaak enige jaren duurt voordat de citaties op gang komen. Het TNW-allocatiemodel maakt de maatschappelijke en economische betekenis van de onderzoeksprestaties niet zichtbaar. Alleen octrooien worden geteld, maar dan is nog weinig bekend over het gebruik. Volgens de afdelingsvoorzitters is aan de hand van het TNW-allocatiemodel maar in beperkte mate zichtbaar wat de sterke en minder sterke onderzoeksgroepen zijn. Dit heeft te maken met de kanttekeningen die hiervoor zijn genoemd. Volgens de afdelingsvoorzitters kunnen alleen peers een goed oordeel geven over de kwaliteit van onderzoek. De prestatiecijfers kunnen in de oordeelsvorming worden betrokken, maar geven op zichzelf maar een beperkt beeld. Gewenste effecten De onderzoekers in de afdelingen worden over het algemeen aangezet tot prestaties die in het TNW-allocatiemodel positief gewaardeerd worden (tabel 5.5). Volgens veel geïnterviewden richten onderzoekers zich op de prestatie-indicatoren. Er wordt steeds strategischer gekeken hoe schaarse onderzoekstijd wordt ingezet. Tabel 5.5 Stelling

Gewenste effecten

De onderzoekers in mijn afdeling worden aangezet tot prestaties die in het TNW-allocatiemodel positief gewaardeerd worden. Ik vind dat de onderzoekers in mijn afdeling zich richten op prestaties die in het TNW-allocatiemodel positief gewaardeerd worden. Het TNW-allocatiemodel heeft in het algemeen bijgedragen aan een prestatiegerichte onderzoekscultuur in de faculteit. Het TNW-allocatiemodel heeft in de afgelopen paar jaar een positieve invloed gehad op de onderzoeksproductiviteit van mijn afdeling. Het TNW-allocatiemodel heeft in de afgelopen paar jaar een positieve invloed gehad op de kwaliteit van de onderzoeksprestaties van mijn afdeling. Het TNW-allocatiemodel heeft in de afgelopen paar jaar positief bijgedragen aan de maatschappelijke/economische betekenis van de onderzoeksprestaties van mijn afdeling. zeer mee eens = 5, grotendeels mee eens = 4, noch mee eens, noch mee oneens = 3, grotendeels niet mee eens = 2, zeer mee oneens = 1

GEM

STDEV

3,8

1,3

3,8

1,2

3,9

0,7

3,5

1,4

2,9

1,4

1,4

0,5

94


Andere afdelingsvoorzitters zijn van mening dat het TNW-allocatiemodel nauwelijks een sturende werking heeft. Volgens hen zijn de resultaat- en ontwikkelingsgesprekken (van invloed op het carrièreverloop) en de afhankelijkheid van de tweede en derde geldstroom grotere prikkels om goed te presteren. Onderzoekers richten zich volgens de geïnterviewden overwegend op prestaties die in het TNW-allocatiemodel positief gewaardeerd worden, omdat in het model de juiste prestatie-indicatoren zijn gebruikt. Prestaties die in de onderzoekswereld belangrijk worden gevonden, worden ook beloond in het model. Afdelingsvoorzitters schatten in dat het TNW-allocatiemodel op zichzelf geen grote invloed heeft op het gedrag van onderzoekers. De motivatie en ambitie van onderzoekers, in combinatie met een goed individueel beloningssysteem (via resultaat- en ontwikkelingsgesprekken) wordt belangrijker geacht dat het financiële verdeelmodel. Hoewel het allocatiemodel weinig invloed heeft op het gedrag van onderzoekers draagt het naar het oordeel van de geïnterviewden toch bij aan de prestatiegerichte cultuur in de faculteit. Zonder het model zou het belang van prestaties minder op de voorgrond staan. Het TNW-allocatiemodel heeft enigszins bijgedragen aan de onderzoeksproductiviteit van de faculteit. Voor de kwaliteit van het onderzoek is het model van iets minder grote betekenis geweest. Het model heeft volgens de geïnterviewden in zijn geheel geen bijdrage geleverd aan de maatschappelijke en economische betekenis van het facultaire onderzoek. Dat ligt voor de hand, omdat het systeem geen indicatoren bevat die aanzetten tot maatschappelijke of economische relevantie van onderzoek. Ongewenste effecten Volgens de afdelingsvoorzitters biedt het TNW-allocatiemodel weinig ruimte voor manipulatie met als doel meer geld binnen te halen (tabel 5.6). De manipulatieruimte die er in het verleden was, is inmiddels verdwenen door aanpassingen in het model. Enkele voorzitters noemden mogelijkheden voor manipulatie die nog steeds bestaan: onderzoeksresultaten opknippen en verspreiden over meerdere publicaties; artikelen uitsmeren over meer pagina’s; onderzoeksresultaten in Nederlandstalige én Engelstalige tijdschriften publiceren; boeken in eigen beheer uitgeven; zelf een tijdschrift oprichten.

5. CASE 1: TECHNISCHE NATUURWETENSCHAPPEN Tabel 5.6

95

Ongewenste effecten

Stelling

GEM

STDEV

Het TNW-allocatiemodel biedt ruimte voor manipulatie van prestatiecijfers (om meer facultair geld binnen te halen).

3,0

1,6

Het TNW-allocatiemodel heeft geleid tot een verwaarlozing van belangrijke prestaties/taken die niet financieel beloond worden.

2,7

1,2


Het TNW-allocatiemodel heeft volgens de geïnterviewden nauwelijks geleid tot een verwaarlozing van belangrijke prestaties of taken die niet financieel beloond worden. Er is een dreiging dat niet-gemeten prestaties in de verdrukking komen, maar daarom wordt het belangrijk gevonden dat prestaties regelmatig worden besproken (en op nietmateriële wijze worden gewaardeerd), bijvoorbeeld in de resultaat- en ontwikkelingsgesprekken en vergadering. Toekomstverwachtingen ten aanzien van prestatiefinanciering Volgens alle afdelingen zal prestatiefinanciering in de toekomst een belangrijke rol moeten blijven spelen bij de verdeling van onderzoeksmiddelen in de faculteit (tabel 5.7). Daarnaast zijn de meeste afdelingen van mening dat de decaan buiten het prestatiemeetsysteem om budget moet hebben om gewenste ontwikkelingen financieel te ondersteunen. Met andere woorden: de verdeling van middelen mag niet uitsluitend afhankelijk worden gemaakt van prestatiefinanciering. Ook is meermalen opgemerkt dat een goede wetenschappelijke visie en strategische keuzes een belangrijkere rol moet spelen dan de sturing via prestatiefinanciering. Tabel 5.7

Toekomstverwachting ten aanzien van prestatiefinanciering

Stelling Prestatiefinanciering zal in de toekomst een belangrijke rol moeten blijven spelen bij de verdeling van onderzoeksmiddelen in de faculteit.

GEM

STDEV

4,6

0,5


5.4

Kwantitatieve ontwikkelingen in output en budgetten

In de voorgaande paragraaf zijn de percepties van de managing professionals neergezet. Naast de opvattingen van de afdelingshoofden-hoogleraren die met het prestatiemeetsysteem moeten werken, is het interessant te kijken naar de kwantitatieve ontwikkelingen in wetenschappelijke output en budgetten. Op basis van informatie van de

96


Faculteit TNW wordt in deze paragraaf gezocht naar ontwikkelingen die kunnen worden toegeschreven aan het prestatiemeetsysteem. Outputontwikkeling De output van de Faculteit TNW vertaalt zich in de zogenoemde BTA-punten. Als het prestatiemeetsysteem effect heeft op het gedrag van onderzoekers zou bij gelijkblijvende inzet sprake moeten zijn van een toename van BTA-punten. Het aantal BTA-punten in de periode 1998-2005 is weergegeven in tabel 5.8. Tabel 5.8

Aantal behaalde BTA-punten per afdeling

1998*) 1999*) 2000*) abs. proc. abs. proc. abs. proc. BT 1280 23% 989 18% 1132 20% DCT 1401 25% 1678 30% 1336 23% IST 836 15% 812 15% 990 17% MSP 475 8% 478 9% 465 8% NS 596 11% 616 11% 710 12% R3 1078 19% 983 18% 1142 20% Tot. 5666 100% 5556 100% 5775 100% *) oude BTA-model Afd.

2001*) 2002 2003 abs. proc. abs. proc. abs. proc. 1196 20% 1252 24% 1245 19% 1950 32% 1961 37% 2030 30% 781 13% 861 16% 769 12% 384 6% 336 6% 416 6% 698 12% 827 16% 831 12% 1054 17% 0 0% 1396 21% 6063 100% 5237 100% 6687 100%

2004 abs. proc. 1305 19% 2115 30% 826 12% 423 6% 1108 16% 1229 18% 7006 100%

2005 abs. proc. 1378 18% 2322 30% 911 12% 416 5% 1865 24% 924 12% 7816 100%

Uit de tabel blijkt dat het aantal punten is toegenomen. Als gevolg van een vrij stabiel onderzoeksbudget is een punt uit het allocatiemodel minder waard geworden. In 2004 was een punt uit het allocatiemodel nog 1.680 euro waard, in 2006 was dit teruggelopen naar 1.536 euro. Hoewel het aantal punten in de loop der jaren is toegenomen, blijkt het niet mogelijk de onderzoeksinzet er naast te zetten om een indruk te krijgen van de ontwikkeling van de productiviteit. De onderzoeksinzet uitgedrukt in personeel (fte’s) is moeilijk identificeerbaar omdat de personele omvang van afdelingen in de loop der jaren erg verschillend was door reorganisaties, verschuivingen van onderzoeksgroepen tussen afdelingen en de aanstelling van tijdelijke onderzoekers (postdocs, promovendi). De onderzoeksinzet uitgedrukt in euro’s is eveneens moeilijk identificeerbaar, omdat er veel geld buiten het TNW-allocatiemodel om loopt (facultair beleidsgeld, interne investeringsgelden, externe onderzoekssubsidies uit tweede en derde geldstroom, opdrachtonderzoek, etc.). Budgetallocatie Het TNW-allocatiemodel heeft in de afgelopen jaren geleid tot een marginale verschuiving van onderzoeksbudgetten. Bovendien zijn de budgetmutaties niet goed herleidbaar tot effecten van meer of minder presteren. Buiten de prestaties om zijn budget-


97

ten regelmatig aangepast op basis van beleidsmatige overwegingen van de decaan (na consultatie van afdelingsvoorzitters). Zoals eerder in dit hoofdstuk genoemd, beschouwt de decaan het allocatiemodel ook niet als een instrument om goede onderzoeksprestaties te belonen. Het is een hulpmiddel om op een redelijk objectieve manier geld te verdelen voor toekomstig onderzoek.

5.5

Conclusies

De decaan en afdelingen zien het TNW-allocatiemodel niet als beloningsinstrument. Het model wordt gebruikt om ‘op een redelijke basis’ eerste geldstroom te verdelen. De decaan verzoekt afdelingsvoorzitters de prikkels uit het model niet door te geven aan onderzoekers, omdat dat ‘de harmonie op de werkvloer’ kan verstoren. Volgens de decaan mag het model geen negatieve invloed hebben op de solidariteit op de werkvloer. Het TNW-allocatiemodel kent een breed palet aan prestatie-indicatoren. Ondanks de algemene waardering van de afdelingen voor de indicatoren, wordt regelmatig kritiek geuit op de wegingsfactoren en het ontbreken van bepaalde prestatieparameters. Een belangrijk punt van kritiek is dat kwaliteit geen grote rol speelt bij de verdeling van geld. Onderzoek van hoge kwaliteit wordt volgens afdelingsvoorzitters ondergewaardeerd. Op basis van kritiek vanuit de afdelingen worden wegingsfactoren regelmatig heroverwogen, nieuwe indicatoren opgenomen of vervallen bestaande parameters. Deze dynamiek veroorzaakt de nodige flexibiliteit in het model. Het TNW-allocatiemodel staat op vrij grote afstand van onderzoekers. Alleen afdelingsvoorzitters merken de consequenties van het model in hun afdelingsbudgetten. Hoewel de relatie tussen prestaties, aantal punten en budget voor iedereen is na te rekenen, blijkt dat dat in de praktijk nauwelijks gebeurt. Effecten van het model zijn moeilijk aan te tonen, maar de afdelingsvoorzitters schatten die positief in. Het model werkt indirect door op de prestaties van de onderzoekers. De afdelingsvoorzitter bepaalt in welke mate onderzoekers worden aangezet tot prestaties die in het model positief gewaardeerd worden. Over het algemeen geven de afdelingsvoorzitters de prikkels uit het model door, omdat de prestatieparameters in lijn zijn met de ambities van de afdelingen. Het allocatiemodel heeft geen zichtbare ongewenste effecten, zoals een overmatige focus op gemeten waarden, risicomijdend gedrag of verwaarlozing van maatschappelijke activiteiten. Naast het allocatiemodel kent de faculteit diverse andere research management instrumenten om de prestaties van onderzoekers en onderzoeksgroepen positief te beïnvloeden. Zo heeft de decaan een beleidsbudget om strategische ontwik-

98


kelingen voor afdelingen mogelijk te maken buiten het allocatiemodel om. Op individueel niveau zijn er jaarlijkse functioneringsgesprekken, waarin ook niet-gemeten prestaties bespreekbaar worden gemaakt.

99

6

Case 2: Geneeskunde en Gezondheidswetenschappen

6.1


Het Erasmus Universitair Medisch Centrum Rotterdam (Erasmus MC) is een van de acht universitaire medische centra in Nederland. Het Erasmus MC is een samenwerkingsconstruct tussen de Erasmus Universiteit Rotterdam en het Academisch Ziekenhuis Rotterdam. Het Erasmus MC fungeert wat wetenschappelijk onderzoek en academisch onderwijs betreft als Faculteit Geneeskunde en Gezondheidswetenschappen van de Erasmus Universiteit Rotterdam. Het Erasmus MC had in 2004 een personeelscapaciteit van ruim 9.000 fte en een onderzoekscapaciteit van circa 930 fte. De organisatie telt 65 afdelingen, die de primaire organisatie-eenheden vormen. Een afdeling wordt geleid door een afdelingshoofd, die verantwoording aflegt aan de raad van bestuur. Van de 65 afdelingen hebben 51 een onderwijs- en onderzoekstaak. Het hoofd van die afdeling is tevens hoogleraar. Afdelingen met een onderzoekstaak kunnen worden ingedeeld in klinische onderzoeksafdelingen, niet-klinische onderzoeksafdelingen (bijvoorbeeld Genetica, Celbiologie, Farmacologie) en afdelingen voor gezondheidswetenschappen (bijvoorbeeld Epidemiologie en Biostatistiek, Maatschappelijke Gezondheidszorg, Medische Informatica). Vanwege beheersdoeleinden zijn de afdelingen gegroepeerd in 17 beheersclusters. Binnen een cluster worden ondersteunende diensten verzorgd. De 51 onderzoeksafdelingen coördineren onderzoeksprogramma’s die op basis van inhoudelijke samenhang en interactie zijn ondergebracht in vijf onderzoeksscholen en één onderzoeksinstituut. Een onderzoeksschool heeft een bestuur dat bestaat uit de hoofden van de deelnemende afdelingen. Een onderzoeksschool is in feite een federatie van afdelingen, waar in gezamenlijkheid beleid wordt gemaakt. De verbintenis van een afdeling aan een onderzoeksschool geldt steeds voor een periode van vijf jaar. Gedurende deze periode wordt een bijdrage geleverd in de vorm van onderzoekscapaciteit. Onderzoekszwaartepunten met een fundamenteel karakter zijn: moleculaire biologie, genetica & celbiologie; neurowetenschappen; gezondheidswetenschappen; medische technologie. Zwaartepunten met een ziektegebonden karakter zijn volgens het strategisch plan 2004-2008: oncologie; hart- & vaatziekten; infectieziekten & ontstekingsprocessen; endocriene ziekten. Gemiddeld genomen wordt 55 procent van het onderzoek (d.w.z. de onderzoeksformatie) extern gefinancierd.

100


Raad van Bestuur

Clusters

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Afd.

Clusters Onderzoeksschool

Onderzoeksschool Onderzoeksschool

Onderzoeksschool Onderzoeksschool

Figuur 6.1

Afdelingen, clusters en onderzoeksscholen in het Erasmus MC Onderzoeksschool

6.2


Prestatie-indicatoren en berekeningsgrondslagen Sinds 2000 is een deel van het onderzoeksbudget van het Erasmus MC ondergebracht in een prestatiefinancieringsfonds. De middelen worden verdeeld via een prestatiefinancieringsmodel, dat hierna ook prestatiemeetsysteem wordt genoemd. Aanvankelijk werd het geld verdeeld op basis van aantal fte’s gefinancierd via de tweede geldstroom (NWO, ZonMW, KNAW) en promoties. Afdelingen kregen extra financiering als zij op deze parameters succesvol waren. De werfkracht in de tweede geldstroom werd als parameter gebruikt, omdat daaruit blijkt of onderzoek aan een bepaalde kwaliteitsmaatstaf voldoet. Bovendien is de omvang van de tweede geldstroom ook een financieringsparameter voor het Erasmus MC als geheel. Het aantal promoties werd als parameter gebruikt omdat de instelling voor elke promotie extra eerste geldstroom krijgt van het rijk (circa 80.000 euro per promotie in de Medische Wetenschappen). In 2004 werd het prestatiemeetsysteem op een aantal punten gewijzigd: -

Toevoeging van een nieuwe parameter: wetenschappelijke toppublicaties. De beloning van werfkracht in de tweede geldstroom en promoties werd verhoogd. Naast werfkracht in de tweede geldstroom wordt werfkracht in de derde geldstroom nu ook beloond, mits sprake is van competitie om middelen en een stevige review procedure voor subsidievoorstellen. Het Erasmus MC heeft een limitatieve lijst met fondsen opgesteld.

6. CASE 2: GENEESKUNDE EN GEZONDHEIDSWETENSCHAPPEN -

101

Verplichte afdracht van afdelingen aan het prestatiefinancieringsfonds: 25 procent van het vaste onderzoeksbudget van een afdeling werd ingehouden voor de vulling van het prestatiefinancieringsfonds.

Het prestatiefinancieringsfonds is sindsdien verdeeld in drie compartimenten: (1) 50 procent van het fonds wordt verdeeld o.b.v. de parameter werfkracht in de tweede en derde geldstroom. Binnen het compartiment werfkracht wordt: a. b. c.

20%-punt gereserveerd voor tweede geldstroom (NWO, ZonMW en KNAW); 20%-punt voor werfkracht bij de geselecteerde collectebusfondsen; 10%-punt voor geld van de Europese Unie (EU) en de National Institutes of Health (NIH).

De werfkracht in de tweede geldstroom is uitgedrukt in fte’s, de werfkracht in de derde geldstroom is uitgedrukt in gedeclareerde omzet in het Erasmus MC (k€). (2) 35 procent van het fonds wordt verdeeld o.b.v. de parameter promoties. (3) 15 procent van het fonds wordt verdeeld o.b.v. de parameter wetenschappelijke toppublicaties. Een publicatie wordt erkend als toppublicatie als die is verschenen in een tijdschrift uit de SCI- of SSCI-lijst en de impactfactor van het tijdschrift in de rangschikking met andere tijdschriften uit hetzelfde wetenschapsgebied (ISI subject category) en gesorteerd op hoogte van impactfactor bij de top 25 procent staat (eerste kwartiel). De opbrengst van een publicatie wordt verdeeld over de auteurs: -

eerste auteur: 40 procent van de opbrengst van een artikel; tweede auteur: 20 procent van de opbrengst van artikel; laatste auteur: 10 procent van de opbrengst van een artikel; de overige 30 procent van de opbrengst wordt verdeeld over álle auteurs.

De opbrengst van niet-Erasmus MC auteurs valt terug naar het prestatiefinancieringsfonds en wordt weer verdeeld over de Erasmus MC auteurs. Gaandeweg is enige coulance toegepast: voor een van de afdelingen is een virtueel eerste kwartiel gemaakt, omdat het vakgebied niet als zelfstandig gebied voorkomt in de SCI-lijst. De voor het vakgebied relevante tijdschriften

102

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK zijn opgenomen in ISI-subject categories van aangrenzende vakgebieden, maar vallen vrijwel uitsluitend in de lagere kwartielen. Rekenvoorbeeld: Als een artikel één auteur heeft, krijgt die alle opbrengst. Bij twee Erasmus MC-auteurs krijgt de afdeling van de eerste auteur (40+(0,5*50) = 65 procent en de afdeling van de laatste auteur krijgt 10+(0,5*50) = 35 procent van de opbrengst. Voorbeeld: voor het begrotingsjaar 2005, waarin een toppublicatie in het prestatiemeetsysteem 1.653 euro ‘waard’ was, was de opbrengst van een artikel met 7 Erasmus MC-auteurs voor de afdeling van de eerste auteur 732 euro, tweede auteur 401 euro, laatste auteur 236 euro, en voor alle auteurs nog eens 71 euro per auteur. Sommige onderzoekers zijn bij verschillende afdelingen aangesteld. Voor de prestatiefinanciering wordt dit opgelost door een lijst van auteurs op te stellen, waarvan de ‘opbrengst’ moet worden gedeeld door afdelingen.

Voor de berekening van het aandeel dat een afdeling krijgt uit het prestatiefinancieringsfonds wordt gekeken naar de gemiddelde prestaties over de drie jaren voorafgaand aan het jaar waarin de begroting wordt opgesteld t.b.v. het volgende jaar (dus de gemiddelde prestaties in de jaren t–2, t–3 en t–4 bepalen het budget voor het jaar t). In 2004 is voor het eerst met het vernieuwde prestatiefinancieringssysteem gewerkt (t.b.v. de begroting van 2005). Uit berekeningen bleek dat de nieuwe systematiek kon leiden tot een sterke groei of daling van het onderzoeksbudget van afdelingen. Daarom werd de winst c.q. het verlies van een afdeling gemaximeerd. Daarnaast werd het prestatie-financieringssysteem niet van toepassing verklaard op enkele afdelingen; zij behielden hun oude onderzoeksbudget. Verzameling en toetsing van prestatie-informatie Promotie-aantallen worden verkregen via de pedel van de universiteit. Financiële gegevens over werfkracht in de tweede en derde geldstroom worden gehaald uit het financiële administratiesysteem. Publicatie-aantallen worden onttrokken aan het onderzoeksinformatiesysteem METIS, waarin bibliografische gegevens van publicaties worden ingevoerd. Elk najaar worden de publicaties van de afgelopen drie kalenderjaren in een spreadsheet geplaatst door de afdeling Onderzoeksbeleid. Afdelingshoofden en clustermanagers krijgen het verzoek deze informatie te controleren. Daarna wordt het onderzoeksbudget berekend. Vaak vinden nog enkele malen nacalculaties plaats op basis van nieuwe prestatie-informatie.

6. CASE 2: GENEESKUNDE EN GEZONDHEIDSWETENSCHAPPEN

6.3

103


Om inzicht te krijgen in de doorwerking en effecten van het prestatiemeetsysteem zijn gesprekken gevoerd met 15 afdelingshoofden en twee (ex-)leden van de Medische Research Adviescommissie (Mrace) (zie bijlage 4). De interviews zijn gevoerd op basis van een lijst stellingen waarbij geïnterviewden hebben aangegeven in hoeverre zij het hiermee eens zijn. Per stelling heeft elke geïnterviewde gereageerd op een vijfpuntsschaal uiteenlopend van ‘zeer mee eens’ (5 punten), ‘grotendeels mee eens’ (4 punten), ‘noch mee eens, noch mee oneens’ (3 punten), ‘grotendeels niet mee eens’ (2 punten), ‘zeer mee oneens’ (1 punt), ‘geen oordeel’ (0 punten). De uitkomsten zijn weergegeven in een reeks tabellen waarin steeds de gemiddelde score op deze vijfpuntsschaal en de standaarddeviatie zijn weergegeven. Bekendheid van het prestatiemeetsysteem De bekendheid van het prestatiefinancieringsmodel onder de geïnterviewden is groot (tabel 6.1). Een aantal van hen heeft aangegeven geen belangstelling te hebben voor de finesses van het prestatiemeetsysteem – zij laten het vanwege de administratieve component aan de clustermanager over. Enkele geïnterviewden hebben het model bewust ‘mentaal op afstand’ gezet, omdat zij niet willen dat het model een rol speelt in de wetenschappelijke keuzes die zij maken. Zij willen dat wetenschappelijke kwaliteit en integriteit in hun werk voorop staan. Een van de geïnterviewden gaf aan dat financieringsstructuur van afdelingen complex is, omdat er vaste en flexibele onderzoeks- en zorgbijdragen zijn. Het zou nauwelijks mogelijk zijn te berekenen welke invloed het prestatiefinancieringsmodel heeft op het budget van de afdeling. Een andere geïnterviewde heeft zich noodgedwongen moeten verdiepen in het model. Aanvankelijk was zijn afdeling niet in staat geld te verdienen via het model, maar dankzij een gewijzigde strategie lukt dat nu wel. De afdeling is minder toegeeflijk geworden richting andere afdelingen. Tabel 6.1


Stelling

GEM

STDEV

Ik ben bekend met de systematiek van het prestatiefinancieringsmodel (prestatie-indicatoren, wegingsfactoren, financiële consequenties).

4,5

0,6

Ik veronderstel dat de systematiek van het prestatiefinancieringsmodel bekend is bij de onderzoekers in mijn afdeling.

3,7

1,2


De geïnterviewden veronderstellen over het algemeen dat het prestatiefinancieringsmodel ook redelijk bekend is bij de onderzoekers in hun afdeling. Het model is vooral

104


bekend bij senior onderzoekers met een vaste aanstelling (hoogleraren, UHD’s, UD’s). In enkele afdelingen wordt de vaste wetenschappelijke staf jaarlijks voorgelicht over de financiële opbrengst van prestaties. Een van de afdelingshoofden heeft naar aanleiding van vragen uit de afdeling een notitie laten opstellen, waarin is uitgelegd hoe het prestatiefinancieringsmodel werkt. Dit gebeurde naar aanleiding van vragen van onderzoekers die wilden dat ook hun prestaties beloond werden conform de centrale richtlijnen. Het afdelingsmanagement heeft in de notitie uitgelegd dat de middelen die door onderzoekers zijn ‘verdiend’ worden verdisconteerd in het afdelingsbudget (voorbeeld: de opbrengst van een promotie is al in de begroting verwerkt voor de aanstelling van een nieuwe aio; er is dus geen geld ‘over’ dat naar de onderzoeksgroep waar de promotie is gerealiseerd). Het prestatiefinancieringsmodel wordt dus niet gebruikt om middelen ín de afdeling naar rato te verdelen. Oordelen over het prestatiemeetsysteem De geïnterviewden hebben gemiddeld genomen een matig positieve waardering voor de systematiek van het prestatiefinancieringsmodel (tabel 6.2). In het algemeen is opgemerkt dat het goed is dat er een prestatiefinancieringsmodel is; in een aantal gevallen werd zelfs gepleit voor meer flexibilisering ten koste van vaste budgetten. Volgens hen wordt er buiten het model om nog veel geld toegewezen op onduidelijke gronden. Het financieringssysteem kan daar een einde aan maken. Enkele geïnterviewden hebben waardering uitgesproken voor de samenhang tussen de prestatieparameters: extern geld maakt (promotie-) onderzoek mogelijk en (promotie-) onderzoek levert publicaties op. Enkele klinische onderzoeksafdelingen zijn kritisch over de interdependenties tussen de parameters. Een afdeling die deze onderzoekscyclus niet goed op gang kan brengen is een permanente financiële verliezer. De afdelingen die kritiek leveren zijn naar eigen zeggen nauwelijks in staat het geflexibiliseerde budget terug te verdienen via onderzoeksprestaties, omdat zij weinig onderzoekscapaciteit hebben. De klinische onderzoeksafdelingen wijzen erop dat een deel van hun zorgbijdrage, namelijk die voor de werkplaatsfunctie van academische ziekenhuizen, is onttrokken aan hun afdelingsbudget en toegevoegd aan het prestatiefinancieringsfonds. Dit deel moet nu worden terugverdiend via onderzoeksprestaties.

6. CASE 2: GENEESKUNDE EN GEZONDHEIDSWETENSCHAPPEN Tabel 6.2

105

Oordeel over het prestatiemeetsysteem

Stelling

GEM STDEV

Ik heb een positieve waardering voor de systematiek van het prestatiefinancieringsmodel. Ik vind dat het prestatiefinancieringsmodel uiteenlopende onderzoeksprestaties evenwichtig beloont.

3,6

1,1

2,4

1,0

Ik vind dat het prestatiefinancieringsmodel bepaalde belangrijke prestaties onderwaardeert (of helemaal niet waardeert).

4,1

1,1

Het prestatiefinancieringsmodel is een efficiënte manier om binnen de faculteit schaarse onderzoeksmiddelen uit de eerste geldstroom te verdelen.

3,4

1,3


Gemiddeld genomen vinden de geïnterviewden dat het prestatiefinancieringsmodel uiteenlopende onderzoeksprestaties niet evenwichtig beloont. De geïnterviewden vinden ook dat bepaalde prestaties worden ondergewaardeerd, of helemaal niet worden gewaardeerd. Er is veel kritiek geuit op de onderwaardering van toppublicaties en overige publicaties. Deze kritiek heeft een aantal dimensies: -

Onderwaardering van publicaties ten opzichte van werfkracht en promoties. De algemene opinie is dat publicaties de primaire wetenschappelijke output vormen, maar dat blijkt onvoldoende uit het prestatiefinancieringsmodel. Enkele geïnterviewden gaven aan dat de huidige weging te zeer een afspiegeling is van de belangen van de raad van bestuur: promoties leveren de instelling geld op in het landelijke bekostigingsmodel voor universiteiten en extern geld vergroot het budget van het Erasmus MC. Toppublicaties leveren het Erasmus MC geen extern geld op.

-

Onderwaardering van ‘absolute’ toppublicaties. Publicaties in tijdschriften die qua impactfactor behoren tot de top 1 procent, top 5 procent en top 10 procent worden even goed beloond als publicaties in de onderste regionen van het eerste kwartiel. Dit stuit op bezwaren bij enkele afdelingshoofden.

-

Geen beloning van publicaties in de onderste kwartielen. Een van de geïnterviewden betoogde dat als de grens wordt gelegd bij 50 procent het probleem van het negeren van publicaties verschuift, maar ook aanzienlijk kleiner wordt, omdat in de bovenste twee kwartielen meer dan de helft van de onderzoeksproductie zit. In het eerste kwartiel zit al circa 69 procent van alle productie; en dat percentage blijft door de jaren heen redelijk constant, ook met de toenemende publicatie-output. Dit komt onder meer doordat de tijdschriften met

106

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK de hoogste impactfactoren vaker per jaar verschijnen en meer artikelen tellen dan tijdschriften met een lage impactfactor. Als tijdschriften uit de top 50 procent worden meegeteld, wordt het overgrote deel van de wetenschappelijke productie in het prestatiemeetsysteem betrokken. Enkele geïnterviewden vinden het geen bezwaar dat ‘lagere’ output wordt genegeerd in het prestatiefinancieringsmodel. Zij zien het prestatiefinancieringsmodel vooral als een administratief instrument en vinden dat niet-gehonoreerde publicaties wel degelijk bijdragen aan de reputatie van onderzoekers. -

Geen beloning van citatiescores. Publicaties worden beloond naar het tijdschrift waarin zij zijn verschenen en niet naar het aantal malen dat zij geciteerd zijn. Verschillende malen werd aangegeven dat een publicatie in de onderste 75 procent van de lijst meer citaties kan opleveren dan een artikel in het eerste kwartiel.

-

Problemen met de ISI subject category. Diverse geïnterviewden hebben gemeld dat niet alle vakgebieden in staat zijn te publiceren in tijdschriften die behoren tot de bovenste 25 procent van hun journal field. Ook is diverse malen aangegeven dat het vaak niet wenselijk is te publiceren in gewaardeerde tijdschriften, omdat daarmee de vakgenoten niet altijd worden bereikt; met name kleine vakgebieden communiceren vaak via gespecialiseerde tijdschriften met een lagere impactfactor. Anderen betwisten dit omdat het steeds minder zou uitmaken waarin wordt gepubliceerd. Onderzoekers zouden op trefwoord zoeken in PubMed en zo bij de relevante artikelen uitkomen.

Ook zijn kritische opmerkingen geplaatst bij de beloning van werfkracht: -

Externe werfkracht is niet altijd een maat voor kwaliteit en zou daarom als prestatieparameter gerelativeerd moeten worden. De verdeling van onderzoeksmiddelen uit competitieve fondsen zou vaak niet op basis van kwaliteit plaatsvinden; in wetenschappelijke adviesraden spelen subjectiviteit en wetenschapspolitieke afwegingen een niet te onderschatten rol.

-

Kritiek op de logica van de scheiding tussen gehonoreerde en niet-gehonoreerde fondsen. Enkele geïnterviewden zijn van mening dat werfkracht in de private sector niet wordt beloond, maar evengoed kan leiden tot toppublicaties. Maar volgens anderen zou dit niet in alle gevallen zo zijn: vaak worden private middelen toegekend voor routinematig onderzoek zonder groot wetenschappelijk belang.


107

-

Overwaardering van grote en onderwaardering van kleine collectebusfondsen. De onderwaardering van kleine fondsen heeft te maken met de veronderstelling dat er minder sprake is van competitie en peer review. Maar afdelingen die juist afhankelijk zijn van kleine fondsen (en geen kans maken bij grote fondsen als KWF of de Hartstichting), zijn in het nadeel.

-

Geen oog voor algehele werfkracht. Enkele geïnterviewden vinden het onlogisch dat onderscheid wordt gemaakt naar typen geldbronnen. Zij hebben de visie ‘geld is geld en met geld kan onderzoek worden gedaan’. Zij pleiten voor een Amerikaans model waarin werfkracht de enige prestatie-indicator is. Een afdelingshoofd vindt dat de efficiency van afdelingen niet wordt beloond. Hoeveel extern gefinancierde onderzoeks-fte’s worden gegenereerd per eerste geldstroom fte? Dit laat zien welke afdeling in staat is de meeste middelen te genereren.

Tot slot is het prestatiefinancieringsmodel bekritiseerd vanwege het feit dat de relatieve prestaties van een afdeling ten opzichte van vergelijkbare afdelingen bij andere UMC’s niet wordt meegewogen. Een van de klinische onderzoeksafdelingen scoort slecht in het prestatiefinancieringsmodel, maar is ten opzichte van collega-afdelingen elders als beste in zijn soort beoordeeld. Echter, dat speelt bij de verdeling van eerste geldstroommiddelen geen rol, terwijl de continuïteit in de afdeling naar eigen zeggen onder druk staat. De geïnterviewden oordelen gemiddeld gematigd positief op de vraag of het prestatiefinancieringsmodel een efficiënte manier is om schaarse onderzoeksmiddelen uit de eerste geldstroom te verdelen. Volgens enkele afdelingshoofden zijn de administratieve lasten voor het tellen en wegen van publicaties groot: elk artikel heeft een aantal auteurs, die moeten in het model worden ingevoerd en gewogen. Als jaarlijks circa 2.500 artikelen worden voortgebracht met gemiddeld 5 auteurs, moeten de opbrengsten over circa 10.000 auteurs worden verdeeld. Daarnaast moeten de impactfactoren van tijdschriften worden afgewacht, waardoor een aanzienlijke vertraging ontstaat tussen het moment van de prestatie en de feitelijke beloning. Daardoor blijft een directe prikkel tot presteren uit. Het model wordt door veel hoofden daardoor meer als een administratief instrument ervaren. Volgens enkele hoofden is het de vraag of de kosten en baten tegen elkaar op wegen. Het effect van het prestatiefinancieringsmodel zou volgens enkele hoofden worden ondermijnd doordat buiten het model om grote budgetten worden verdeeld door de raad van bestuur. Volgens critici spelen bij de allocatie van ‘het grote geld’ veel andere krachten een rol dan alleen de prestaties op de drie parameters van het prestatiefinan-

108


cieringsmodel. Een ander punt van kritiek betreft de baten van het prestatiefinancieringsmodel voor een succesvolle afdeling. Een afdeling die goed presteert is nog niet in staat om in financieel opzicht snel te groeien. Bovengemiddelde prestaties zouden hooguit enkele procenten groei per jaar opleveren. Welke prestaties maakt het prestatiemeetsysteem zichtbaar? Volgens de geïnterviewden maakt het prestatiefinancieringsmodel de onderzoeksproductiviteit (kwantiteit van onderzoeksoutput) niet goed zichtbaar (tabel 6.3). Dit komt doordat veel wetenschappelijke output niet zichtbaar wordt gemaakt. De tellingen ten behoeve van het model staan los van de verslaglegging in het Annual Report (wetenschappelijk jaarverslag) van het Erasmus MC. Daarin wordt wel alle output vermeld. Tabel 6.3

Welke prestaties maakt het prestatiemeetsysteem zichtbaar?

Stelling

GEM STDEV

Het prestatiefinancieringsmodel maakt de onderzoeksproductiviteit (kwantiteit van onderzoeksoutput) van mijn afdeling goed zichtbaar.

3,0

1,0

Het prestatiefinancieringsmodel maakt de kwaliteit van de onderzoeksprestaties van mijn afdeling goed zichtbaar.

2,8

1,1

Het prestatiefinancieringsmodel maakt de maatschappelijke/economische betekenis van de onderzoeksprestaties van mijn afdeling goed zichtbaar (praktijktoepassingen, patenten, spin-off).

1,6

0,6

3,3

1,3

Dankzij het prestatiefinancieringsmodel is goed zichtbaar wat de sterke en minder sterke onderzoeksgroepen zijn. zeer mee eens = 5, grotendeels mee eens = 4, noch mee eens, noch mee oneens = 3, grotendeels niet mee eens = 2, zeer mee oneens = 1

Volgens de geïnterviewden maakt het prestatiefinancieringsmodel de kwaliteit van de onderzoeksprestaties van de afdeling ook niet goed zichtbaar. Dit houdt verband met de eerder genoemde punten van kritiek. Een van de respondenten merkte op dat kwaliteit van publicaties überhaupt nauwelijks te meten is. De best gewaardeerde maten voor kwaliteit zijn de citatiescore en het oordeel van peers. Uit informatie van de afdeling Onderzoeksbeleid blijkt dat bij aanvang van het prestatiefinancieringsmodel de citatiescores van afdelingen vergeleken zijn met de prestatiefinanciering van toppublicaties. De conclusie was dat de uitkomsten vergelijkbaar waren, echter met een grotere vertraging wanneer de feitelijke citatiescores worden gebruikt. Het prestatiefinancieringsmodel maakt de maatschappelijke/economische betekenis van de onderzoeksprestaties vrij slecht zichtbaar volgens de geïnterviewden. Een beperkt aantal respondenten vindt het bezwaarlijk dat indicatoren op het gebied van maatschappelijke impact en valorisatie niet het prestatiefinancieringsmodel zijn opgenomen. Voorbeelden van economische impact zijn octrooien en spin-outs. Voorbeelden van


109

maatschappelijke impact, of impact op de beroepspraktijk in de gezondheidszorg zijn standaarden voor diagnostiek, vragenlijstconstructen voor medisch-psychologisch onderzoek, handboeken, standaardrichtlijnen, aantal citaties in richtlijnen en standaarden voor de medische zorg. Het ontbreken van maatschappelijke indicatoren is volgens enkele geïnterviewden vreemd, omdat maatschappelijke en economische betekenis van onderzoek door de raad van bestuur erg belangrijk wordt gevonden, zoals blijkt uit beleidsplannen en jaarverslagen. Een van de geïnterviewden gaf aan dat in de jaarplancyclus 2007 een begin is gemaakt met de inventarisatie van indicatoren voor maatschappelijke impact, maar vooralsnog zonder daar financiële gevolgen aan te verbinden. Enkele respondenten wezen erop dat patenten buiten het prestatiefinancieringsmodel om worden beloond via een aparte regeling. Volgens de geïnterviewden is aan de hand van het prestatiefinancieringsmodel enigszins zichtbaar wat de sterke en minder sterke onderzoeksgroepen zijn. Enkele respondenten hebben toegelicht dat de rangorde van afdelingen tamelijk robuust is. Maar andere respondenten vroegen zich af of de rangorde gehandhaafd blijft als de prestatieindicatoren anders worden gewogen of als er nieuwe prestatie-indicatoren in het model worden opgenomen. Gewenste effecten De onderzoekers van afdelingen worden over het algemeen aangezet tot prestaties die in het prestatiefinancieringsmodel positief gewaardeerd worden (tabel 6.4). Met andere woorden: onderzoekers worden aangezet om toppublicaties te leveren, extern geld te werven in competitieve fondsen en promovendi te begeleiden. In hoeverre dit een gevolg is van het prestatiefinancieringsmodel is onduidelijk, omdat dit prestaties zijn die ook zonder het model centraal zouden staan. Afdelingshoofden hebben aangegeven dat ook andere prestaties belangrijk zijn: promovendi zijn niet altijd in staat om in toptijdschriften te publiceren, maatschappelijke impact is vaak belangrijk en middelen uit niet-gehonoreerde fondsen kunnen ook erg belangrijk zijn. De parameters uit het prestatiefinancieringsmodel zijn dus niet zaligmakend. In de dagelijkse werkpraktijk wordt niet voortdurend gekeken of prestaties geld opleveren in het prestatiefinancieringsmodel. Bijna alle respondenten hebben aangegeven dat het model niet moet worden gezien als een sturingsinstrument; het is slechts een administratief systeem, bedoeld om op enigszins rechtvaardige basis onderzoeksgeld te verdelen. Sturing op productiviteit en kwaliteit vindt vooral plaats binnen onderzoeksteams, in functioneringsgesprekken en bij de selectie van nieuwe onderzoekers. Overigens gaf een van de respondenten aan dat hij het model heeft gebruikt als argument om onderzoekers in tijdschriften met een hogere impactfactor te laten publiceren.

110 Tabel 6.4

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK Gewenste effecten

Stelling De onderzoekers in mijn afdeling worden aangezet tot prestaties die in het prestatiefinancieringsmodel positief gewaardeerd worden. Ik vind dat de onderzoekers in mijn afdeling zich richten op prestaties die in het prestatiefinancieringsmodel positief gewaardeerd worden. Het prestatiefinancieringsmodel heeft in het algemeen bijgedragen aan een prestatiegerichte onderzoekscultuur in de faculteit. Het prestatiefinancieringsmodel heeft in de afgelopen paar jaar een positieve invloed gehad op de onderzoeksproductiviteit van mijn afdeling. Het prestatiefinancieringsmodel heeft in de afgelopen paar jaar een positieve invloed gehad op de kwaliteit van de onderzoeksprestaties van mijn afdeling. Het prestatiefinancieringsmodel heeft in de afgelopen paar jaar positief bijgedragen aan de maatschappelijke/economische betekenis van de onderzoeksprestaties van mijn afdeling. zeer mee eens = 5, grotendeels mee eens = 4, noch mee eens, noch mee oneens = 3, grotendeels niet mee eens = 2, zeer mee oneens = 1

GEM STDEV 3,8

1,1

3,8

0,9

3,7

1,4

2,5

1,2

2,7

1,2

1,5

0,6

Volgens de geïnterviewden richten onderzoekers zich grotendeels op prestaties die in het prestatiefinancieringsmodel positief gewaardeerd worden. Maar ook niet-beloonde prestaties zijn van belang. Het prestatiefinancieringsmodel heeft volgens de geïnterviewden enigszins bijgedragen aan een prestatiegerichte cultuur in de faculteit. Volgens veel respondenten was er zonder het model een minder prestatiegerichte cultuur geweest. Een van de afdelingshoofden vroeg zich af of de prestatiegerichte cultuur een gevolg is van het model of omgekeerd. Het prestatiefinancieringsmodel heeft in de afgelopen paar jaar geen duidelijke invloed gehad op de onderzoeksproductiviteit; de meningen hierover lopen uiteen. Sommige geïnterviewden denken dat het model niet of nauwelijks invloed heeft gehad, omdat de relatie tussen prestatie en beloning onvoelbaar is voor onderzoekers. De prikkel is al bijna niet voelbaar op afdelingsniveau. Anderen zijn stellig van mening dat het model invloed heeft, misschien niet via een directe prikkel, maar wel doordat het systeem prioriteiten stelt. De geïnterviewden oordelen gemiddeld genomen neutraal tot licht negatief over de invloed van het prestatiefinancieringsmodel op de kwaliteit van onderzoek. Enkele respondenten gaven aan dat het onderzoek niet anders is geworden, maar dat onderzoeksresultaten op andere plekken worden gepubliceerd: onderzoekers zoeken de top 25 procent-tijdschriften op.


111

Volgens de afdelingen heeft het prestatiefinancieringsmodel in de afgelopen paar jaar niet bijgedragen aan de maatschappelijke of economische betekenis van de onderzoeksprestaties. Dit heeft te maken met het ontbreken van beloning voor maatschappelijke impact. Ongewenste effecten De geïnterviewden vinden dat het prestatiefinancieringsmodel weinig ruimte biedt voor manipulatie om van prestatiecijfers met als doel meer middelen uit het prestatiefinancieringsfonds binnen te halen (tabel 6.5). Een van de mogelijkheden is dat klinische onderzoeksafdelingen een deel van hun onderzoek kunnen financieren uit hun zorgbudget. Onderzoekers die vanuit het zorgbudget worden betaald kunnen wetenschappelijke output voorbrengen die bijdraagt aan de verdeling van het prestatiefinancieringsfonds. Tabel 6.5

Ongewenste effecten

Stelling

GEM

STDEV

Het prestatiefinancieringsmodel biedt ruimte voor manipulatie van prestatiecijfers (om meer facultair geld binnen te halen).

2,7

1,2

Het prestatiefinancieringsmodel heeft geleid tot een verwaarlozing van belangrijke prestaties/taken die niet financieel beloond worden.

2,0

1,0


In de gesprekken is een aantal ongewenste effecten van het prestatiefinancieringsmodel genoemd: -

Het model ontmoedigt risicovol onderzoek, omdat onderzoekers worden aangezet tot een zo hoog mogelijke productie. Nieuw onderzoek heeft een aanlooptijd nodig dat leidt tot een tijdelijke terugval van publicaties. Grotere afdelingen hebben minder problemen om deze terugval op te vangen dan kleinere afdelingen.

-

Een van de afdelingen werkt aan methodologische innovaties en was toeleverancier van deze innovaties voor andere afdelingen. Dit leidde voor de afdeling niet tot publicaties die in het prestatiefinancieringsmodel beloond werden. Inmiddels is de afdeling terughoudend geworden met het ‘weggeven’ van ideeën aan andere afdelingen en worden innovaties uitvoerig beschreven in eigen publicaties.

-

Tussen afdelingen wordt strijd gevoerd om de affiliaties van auteurs (ondanks de lage opbrengst per artikel).

112


-

Nederlandstalige publicaties tellen niet meer mee. Daardoor wordt de Nederlandse gezondheidszorgpraktijk minder goed bereikt (Engelse literatuur wordt in de beroepspraktijk minder gelezen).

-

Het model werkt nadelig voor startende onderzoekers die een afdeling beginnen en nog niet veel output hebben. Groepen moeten zich immers eerst bewijzen voor dat ze via het model geld kunnen binnenhalen. Daarom heeft het Erasmus MC naast het prestatiefinancieringsmodel een fonds voor talentvolle onderzoekers die een afdeling starten.

-

Volgens een groot aantal respondenten is de kwaliteit of omvang van proefschriften regelmatig onder de maat. Promovendi moeten snel worden klaargestoomd, omdat dat geld oplevert. Een van de respondenten nuanceerde de invloed van het prestatiefinancieringsmodel door te wijzen op de tijdelijkheid van financiering van promotie-trajecten. Na vier jaar is het geld op en moet er een proefschrift liggen. Uit cijfers van het Erasmus MC blijkt overigens dat het aantal eerste kwartiel publicaties parallel is toegenomen met het aantal promoties.

Tot slot heeft het prestatiefinancieringsmodel volgens de respondenten nauwelijks geleid tot een verwaarlozing van belangrijke prestaties of taken die niet financieel beloond worden. Onderzoekers zijn naast onderzoek en onderwijs nog altijd actief met andere zaken, zoals bestuurlijke taken, commissiewerk, reviews, maatschappelijke activiteiten, publieksvoorlichting, etc. Het zijn veelal taken die voor onderzoekers interessant voor hun persoonlijke ontwikkeling en curriculum vitae. Bovendien zijn het noodzakelijke taken die het wetenschapssysteem in stand houden. Toch hebben enkele respondenten ook gewaarschuwd voor het risico van verwaarlozing van nevenactiviteiten door de eenzijdige oriëntatie van het prestatiefinancieringsmodel. Toekomstverwachtingen ten aanzien van prestatiefinanciering Volgens alle afdelingen zal prestatiefinanciering in de toekomst een belangrijke rol moeten blijven spelen bij de verdeling van onderzoeksmiddelen in de faculteit (tabel 6.6). In het algemeen kan worden gesteld dat de afdelingen die hinder ondervinden van het prestatiefinancieringsmodel van mening zijn dat het moet worden aangepast. Tabel 6.6

Toekomstverwachtingen

Stelling Prestatiefinanciering zal in de toekomst een belangrijke rol moeten blijven spelen bij de verdeling van onderzoeksmiddelen in de faculteit. zeer mee eens = 5, grotendeels mee eens = 4, noch mee eens, noch mee oneens = 3, grotendeels niet mee eens = 2, zeer mee oneens = 1

GEM

STDEV

4,4

0,6


113

Een van de geïnterviewden noemde een alternatief voor het huidige model voor prestatiefinanciering. Hij stelde voor dat de raad van bestuur eens per vijf jaar productieafspraken maakt met elke afdeling en de afdeling daarop afrekent. Dit is vergelijkbaar met de procedure voor strategische leerstoelen: buiten het prestatiefinancieringsmodel om worden prestatie-afspraken gemaakt met nieuwe hoogleraren, die de kans krijgen zich in een aantal jaren te bewijzen. Als gekozen wordt voor prestatie-afspraken per afdeling, in plaats van een generiek model wordt prestatiefinanciering beleidsrijker: de productieafspraken worden betekenisvoller dan de uniforme meetlat waarlangs alle afdelingen nu worden gelegd, aldus de respondent.

6.4


Outputontwikkeling Om een beeld te krijgen van de feitelijke ontwikkeling van de prestaties op de drie parameters uit het prestatiefinancieringsmodel toont tabel 6.7 een overzicht van de gemeten waarden voor alle afdelingen samen, steeds gemiddeld over drie jaar. Tabel 6.7

Aantal/omzet op de prestatieparameters Prijs per eenheid

Aantal/ omzet

Prijs per eenheid

2003/2005

Aantal/ omzet

2002/2004 Prijs per eenheid

2001/2003 Aantal/ omzet

Prestatie-indicator

180 fte

€ 6721 /fte

196 fte

€ 6181 /fte

214 fte

€ 5738 /fte

Collectebusfondsen

k€ 9214

€ 126 / k€

k€ 8.826

€ 132 / k€

k€ 8.377

€144 / k€

EU, NIH

k€ 4176

€ 141 / k€

k€ 6.940

€ 85 / k€

k€ 9.882

€ 61 / k€

(2) Promoties

103

€ 23090

110

€ 23090

121

€ 23090

(3) Toppublicaties

616

€ 1653

682

€ 1321

684

€ 1319

(1) Werfkracht 2e geldstroom

N.B. Het prestatiemeetsysteem werkt met 3-jaarlijkse gemiddelden.

Uit tabel 6.7 blijkt dat de gemiddelde output uit de jaren 2003/2005 ten opzichte van 2001/2003 op de meeste parameters is verbeterd: -

-

het aantal fte’s betaald uit de tweede geldstroom is toegenomen met 19 procent; de omvang van middelen uit collectebusfondsen is afgenomen met 9 procent; de omvang uit EU- en NIH-fondsen is meer dan verdubbeld is (stijging 136 procent); het aantal promoties is gestegen met 17 procent. Als het aantal promoties in 2006 wordt vergeleken met het aantal in 2000 is zelfs een toename van 60 procent zichtbaar – van 111 in 2000 tot 179 in 2006 (zie figuur 6.2); het aantal toppublicaties is gestegen met 11 procent.

114


200 180 160 140 120 100 80 60 40 20 0 1999 2000 2001 2002 2003 2004 2005 2006

Figuur 6.2

Aantal promoties Erasmus MC, 1999-2006

Als gevolg van de toegenomen output is de prijs per eenheid gedaald; de totale omvang van het prestatiefinancieringsfonds is nauwelijks gestegen en de middelen moeten dus over een groter hoeveelheid output worden verdeeld. De waarde van een promotie is echter een fixed price, omdat promoties extern gefinancierd worden via rijksmiddelen. Naast een toename van eerste kwartiel publicaties is ook een stijging van het totaal aantal SCI- en SSCI-publicaties waargenomen in de periode 1998-2005. Het aantal publicaties nam toe van ruim 5.000 in 1998/2001 naar circa 6.500 in 2002/2005. Deze stijging is mogelijk het gevolg van de toename van het aantal dissertaties. De toename van onderzoeksoutput zal deels te danken zijn aan de groei van de onderzoeksinzet; het aantal fte’s gefinancierd via de tweede geldstroom is gestegen met bijna 20 procent, het aantal fte’s via de eerste en derde geldstroom is iets toegenomen en het aantal fte’s via de vierde geldstroom is iets gedaald. N.B. In het Erasmus MC wordt onder vierde geldstroom verstaan de middelen uit collectebusfondsen. Budgetallocatie Het prestatiefinancieringsmodel waarin toppublicaties meetellen is ingevoerd met ingang van de begroting 2005. Voor de begroting van 2005 heeft elke afdeling 25 procent van zijn onderzoeksbudget moeten afdragen aan het prestatiefinancieringsfonds. De totale omvang van het fonds bedroeg in dat jaar ongeveer 6,8 miljoen euro. Deze middelen zijn toegekend op basis van de scores op de drie parameters. Om drastische wijzigingen in de onderzoeksbudgetten te voorkomen heeft de raad van bestuur enkele beschermende maatregelen genomen: in het eerste jaar kon de winst c.q. het verlies niet meer dan 10 procent van het geflexibiliseerde onderzoeksbudget bedragen. Daarnaast werd een aantal afdelingen buiten het prestatiefinancieringsmodel gehouden. Inmiddels


115

heeft in drie navolgende jaren een budgetallocatie plaatsgevonden op basis van werfkracht, promoties en publicaties. In tabel 6.8 is voor 39 afdelingen die vanaf de begroting 2005 volledig hebben meegedraaid in het prestatiefinancieringsmodel aangegeven hoeveel zij jaarlijks afdragen aan het prestatiefinancieringsfonds (absoluut en in procenten van het totaal) en hoeveel zij hebben ontvangen in de jaren 2005-2007 (per jaar en gemiddeld over de jaren). De 12 afdelingen met onderzoekstaken die tijdelijk of voor alle jaren zijn beschermd tegen de werking van het prestatiefinancieringsmodel zijn buiten het overzicht gehouden. De laatste kolom toont de verandering van het totale onderzoeksbudget uit de eerste geldstroom in dezelfde periode. Het totale onderzoeksbudget wordt bepaald door de vaste bijdrage, de flexibele bijdrage uit het prestatiefinancieringsfonds en financiële toekenningen op basis van beleidsbeslissingen van de raad van bestuur.

Totale toe-/ afname van onderzoeksmiddelen ’05-’07 5)

Gem. ontv. uit PFF ’05-’07 (%) 4)

Ontv. uit PFF 2007 (%) 3)



Afdracht aan en ontvangst uit het prestatiefinancieringsfonds per afdeling, 2005-2007 Afdracht aan PFF (%) 2)

Tabel 6.8


Afdracht aan PFF 1)

116

Afdeling Cardiologie 424 885 7,1% 6,2% 5,9% 6,0% 6,0% 16,1% Interne II 369 732 6,2% 5,6% 5,6% 5,0% 5,4% 58,1% Kindergeneeskunde 308 507 5,1% 5,6% 5,1% 3,9% 4,9% 3,7% Epidemiologie & Biostat. 267 769 4,5% 6,5% 6,4% 6,1% 6,3% 47,9% Hematologie 265 682 4,4% 5,2% 6,0% 5,9% 5,7% 108,2% Immunologie 258 086 4,3% 4,1% 3,5% 3,1% 3,6% 2,0% Celbiologie 251 358 4,2% 6,0% 6,3% 6,1% 6,1% 56,9% Genetica 244 484 4,1% 5,5% 5,0% 6,1% 5,5% 72,8% iMGZ 236 817 3,9% 6,4% 7,7% 7,0% 7,1% 59,9% Pathologie 231 210 3,8% 3,4% 3,2% 3,7% 3,4% 191,2% Heelkunde 201 836 3,4% 4,3% 3,6% 3,8% 3,9% 143,3% Anatomie 184 229 3,1% 3,3% 3,9% 4,0% 3,7% 54,2% Fysiologie 162 973 2,7% 1,6% 1,1% 1,0% 1,2% -15,8% Farmacologie 153 938 2,6% 1,4% 1,1% 1,1% 1,2% -9,3% MDL 139 725 2,3% 1,0% 1,9% 2,3% 1,8% 46,4% Medische Informatica 138 629 2,3% 1,0% 1,0% 1,1% 1,0% 0,2% Thoraxchirurgie 130 880 2,2% 2,0% 1,7% 1,4% 1,7% -3,0% Gynaecologie/Obstetrie 127 706 2,1% 1,9% 1,2% 1,3% 1,5% -32,7% Neurologie 125 341 2,1% 2,8% 2,4% 2,4% 2,5% 17,7% Radiodiagnostiek 118 368 2,0% 0,9% 1,0% 2,0% 1,3% 51,4% Klinische genetica 114 358 1,9% 2,6% 2,5% 2,9% 2,7% 113,2% Virologie 113 958 1,9% 2,5% 2,5% 1,6% 2,2% 51,5% Kinder- en Jeugdpsych. 112 317 1,9% 1,7% 1,7% 1,9% 1,8% 57,4% Klin.Microbiologie 106 379 1,8% 1,1% 1,1% 1,0% 1,1% -15,5% Huisartsgeneeskunde 106 114 1,8% 1,2% 1,5% 1,9% 1,5% 38,1% Urologie 105 624 1,8% 2,6% 2,9% 2,5% 2,7% 4,7% Longziekten 101 522 1,7% 1,5% 1,4% 1,8% 1,6% 65,3% Anesthesiologie 97 611 1,6% 0,6% 1,0% 1,0% 0,9% -19,2% Oncologie 91 848 1,5% 3,4% 3,9% 3,3% 3,5% 399,6% Radiotherapie 91 523 1,5% 2,2% 2,0% 2,4% 2,2% 382,3% BNT 86 483 1,4% 0,4% 0,5% 0,7% 0,5% -11,2% Kinderheelkunde 81 913 1,4% 1,6% 1,5% 1,5% 1,5% 39,0% Medische psychologie 81 562 1,4% 0,9% 0,7% 0,8% 0,8% -15,1% Oogheelkunde 79 471 1,3% 0,3% 0,4% 0,5% 0,4% -11,6% Orthopedie 75 299 1,3% 0,6% 0,8% 1,0% 0,8% 17,9% Neurochirurgie 70 202 1,2% 0,4% 0,4% 0,2% 0,3% -68,3% Plastische Heelkunde 61 463 1,0% 0,3% 0,5% 0,4% 0,4% -13,3% Nucleaire Geneeskunde 50 477 0,8% 0,4% 0,3% 0,3% 0,3% -41,7% Revalidatie 38 191 0,6% 0,9% 0,9% 0,9% 0,9% 47,2% Totaal 6 008 470 100,0% 100,0% 100,0% 100,0% 100,0% gem 48,4% 1) In 2004 hebben afdelingen 25% van hun onderzoeksbudget verplicht afgedragen aan het prestatiefinancieringsfonds. Dit bedrag is gefixeerd voor alle volgende jaren, d.w.z. het bedrag dat in 2004 is bepaald wordt in alle volgende jaren in mindering gebracht op de interne onderzoeksbijdrage. 2) De afdracht aan het prestatiefinancieringsfonds uitgedrukt als percentage van het totale fonds. 3) Percentage middelen ontvangen uit het prestatiefinancieringsfonds in de jaren 2005, 2006 en 2007. 4) Gemiddelde bijdrage uit het prestatiefinancieringsfonds uitgedrukt als percentage van het totaal. 5) Toe- of afname van totale interne onderzoeksmiddelen in de periode 2005-2007.


117

Uit tabel 6.8 blijkt het volgende: -

-

-

-

-

6.5

Het totale onderzoeksbudget voor deze afdelingen gezamenlijk is in de periode 2005-2007 met 48,4 procent toegenomen. De toename van het totale onderzoeksbudget is zeer ongelijk verdeeld over de afdelingen. Vijftien afdelingen hebben procentueel meer uit het prestatiefinancieringsfonds ontvangen dan dat zij hebben bijgedragen. 24 afdelingen hebben procentueel meer verloren aan het prestatiefinancieringsfonds dan zij hebben ontvangen. De afdelingen met een groot onderzoeksbudget (meer dan 200.000 euro) zijn gemiddeld genomen iets beter in staat een positief saldo te behalen dan de afdelingen met een relatief klein onderzoeksbudget (minder dan 100.000 euro), hoewel er ook uitzonderingen zijn. De meeste afdelingen die geld verliezen via het prestatiefinancieringsfonds zien hun totale onderzoeksbudget uit de eerste geldstroom minder dan gemiddeld stijgen. Enkele afdelingen verliezen aan het prestatiefinancieringsfonds, maar zien hun onderzoeksbudget toch meer dan gemiddeld toenemen (bijvoorbeeld Interne II, Pathologie, MDL, Radiodiagnostiek, Kinder- en Jeugdpsychiatrie, Longziekten). Een enkele afdeling verdient aan het prestatiefinancieringsfonds, maar ziet zijn totale bijdrage uit de eerste geldstroom toch minder dan gemiddeld toenemen (Urologie). Het is geen wetmatigheid dat kleine afdelingen hun inleg in de prestatiefinanciering niet kunnen terugverdienen.

Conclusies

Afdelingshoofden en onderzoekers hebben veel kritiek op het prestatiefinancieringsmodel. De kritiek heeft betrekking op de onderwaardering van (sub)toppublicaties, de onderwaardering van een deel van de externe werfkracht en de overwaardering van promoties. Ook houdt het prestatiefinancieringsmodel volgens de afdelingshoofden maar in beperkte mate rekening met de variëteit in output; veel typen onderzoeksprestaties worden niet meegewogen bij de verdeling van onderzoeksbudget over de afdelingen. Opvallend is dat afdelingshoofden uiteindelijk positief oordelen over het feit dat er een prestatiefinancieringsmodel is. Het prestatiefinancieringsmodel zelf is maar in beperkte mate voelbaar voor onderzoekers. Het model verdeelt een deel van de eerste geldstroom over afdelingen en niet over

118


onderzoekers. Het afdelingshoofd bepaalt in welke mate hij de prikkel doorgeeft op de werkvloer. Uit de gesprekken met hoofden blijkt dat de prikkels uit het model zeker worden doorgegeven. Enerzijds omdat dan meer geld kan worden verdiend in het model, anderzijds omdat het model prestaties meet die het afdelingshoofd belangrijk vindt. Volgens afdelingshoofden heeft het prestatiefinancieringsmodel een positieve invloed gehad op de prestatiegerichte cultuur en de productiviteit. Dat beeld wordt ondersteund met cijfers waaruit blijkt dat de output op de gemeten waarden is toegenomen. Dat zou betekenen dat afdelingshoofden de prikkels uit het model vrij stelselmatig doorgegeven. Overigens zijn er ook veel afdelingshoofden die betwijfelen of het prestatiefinancieringsmodel invloed heeft op onderzoeksprestaties. Het prestatiefinancieringsmodel beloont maar een beperkt aantal typen prestaties. Prestaties die niet beloond worden, worden in feite ontmoedigd door het systeem. Voorbeelden zijn het publiceren in vaktijdschriften of deelname in maatschappelijke activiteiten (commissies e.d.). De afdelingshoofden dragen er zorg voor dat activiteiten die niet gemeten en beloond worden langs andere weg toch gestimuleerd (of in ieder geval niet ontmoedigd) worden. Een ongewenst effect van het systeem is de ontmoediging van interdisciplinair onderzoek. Volgens afdelingshoofden en onderzoekers hebben veel wetenschappelijke toptijdschriften geen voorkeur voor interdisciplinaire publicaties. Daardoor worden onderzoekers aangezet zich te richten op gespecialiseerd onderzoek dat relatief gemakkelijker te publiceren is in toptijdschriften. Prestatiemeting biedt een basis voor de verdeling van geld op basis van gemeten waarden. Maar buiten het prestatiefinancieringsmodel om zijn er voor de raad van bestuur veel mogelijkheden voor het toekennen van onderzoeksgeld op basis van beleidsmatige overwegingen (bijvoorbeeld voor specifieke leerstoelen, onderzoeksfaciliteiten of infrastructuur). Gebleken is dat enkele afdelingen geld ‘verliezen’ via het prestatiefinancieringsfonds, maar toch ‘rijker’ worden doordat zij ander geld krijgen uit de eerste geldstroom. Veelal vindt verdeling van beleidsmiddelen plaats op basis van andere criteria dan die uit het prestatiefinancieringsmodel. Het prestatiefinancieringsmodel is ingebed in een reeks van research management instrumenten, zoals functioneringsgesprekken, loopbaanbeleid, individuele bonussen, citatie-analyses, peer review van onderzoeksprojecten in afdelingen, interne subsidies en het faciliteren van patenten/spin-off door het Erasmus MC. Het prestatiefinancieringsmodel staat dus niet op zichzelf. De invloed van het prestatiefinancieringsmodel wordt weliswaar gedempt, maar er is daardoor ook ruimte om ongewenste effecten van het model te compenseren.

119

7

Case 3: Economische Wetenschappen en Bedrijfskunde

7.1


De Faculteit der Economische Wetenschappen en Bedrijfskunde (FEWEB) van de Vrije Universiteit Amsterdam telt circa 400 medewerkers en heeft een onderzoekscapaciteit van ongeveer 70 fte, waarvan ongeveer de helft wordt gefinancierd via de eerste geldstroom. De faculteit bestaat uit acht afdelingen. Een afdeling wordt geleid door een afdelingshoofd (tevens hoogleraar), die verantwoording aflegt aan de decaan. Vanuit de afdelingen zijn onderzoeksprogramma’s ontwikkeld. De faculteit telt in totaal 13 programma’s. Ongeveer 20 procent van het onderzoek wordt extern gefinancierd. Elk programma wordt gecoördineerd door een programmaleider. Daarnaast participeren onderzoekers in interuniversitaire onderzoeksscholen en instituten. Het aandeel externe onderzoeksmiddelen van de faculteit bedraagt circa 20 procent. De diversiteit van wetenschappelijke disciplines is redelijk groot. Aan de ene kant zijn er de economische disciplines, bijvoorbeeld algemene economie, ontwikkelingseconomie, ruimtelijke economie, econometrie en financiering. Daarnaast zijn er de meer bedrijfskundige en financiële vakgebieden, zoals accounting, management, organisatiekunde, informatiekunde, logistiek en marketing. Het onderzoek wordt gepubliceerd in uiteenlopende wetenschappelijke tijdschriften. 7.2


Prestatie-indicatoren en berekeningsgrondslagen Het prestatiemeetsysteem van de FEWEB is ingevoerd in 1995. Het doel van het systeem, dat hierna ook verdeelmodel wordt genoemd, was een verhoging van de kwaliteit van onderzoeksoutput. De faculteit heeft gekozen voor een prestatiemeetsysteem dat met een zo laag mogelijke inspanning onderzoeksprestaties verdeelt op basis van onderzoeksoutput. Een onderzoeker kan punten verdienen op basis van zijn vijf beste publicaties uit de afgelopen vijf jaar. Hoe meer punten, des te meer onderzoekstijd wordt verdiend. Het verdeelmodel kijkt naar vier typen publicaties: -

Artikelen in wetenschappelijke tijdschriften: tijdschriften zijn op basis van hun impactfactor en wetenschappelijke status ingedeeld in een A- en B-categorie. De top 20 procent van de tijdschriften is aangeduid als A-tijdschriften. Een publicatie kan een C-status krijgen als het tijdschrift niet op de lijst staat, maar wel een serieuze review procedure heeft. Een onderzoeker dient dan zelf een verzoek tot honorering in. Alleen in uitzonderlijke gevallen worden uitzonde-

120

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK ringen toegestaan. Een wetenschappelijke commissie adviseert het faculteitsbestuur hierover. Artikelen in niet-gerefereerde tijdschriften leveren geen punten op. De tijdschriftenlijst wordt elke drie jaar opnieuw vastgesteld. -

Monografieën: ook uitgeverijen van boeken en bundels zijn op basis van wetenschappelijke status ingedeeld in een A- of B-categorie. Uitgeverijen die niet op de lijst staan, kunnen worden geclassificeerd als C op een vergelijkbare wijze als tijdschriftartikelen.

-

Hoofdstukken in bundels of het redigeren van bundels: hiervoor geldt dezelfde lijst met A- en B-uitgeverijen.

-

Proefschriften: deze zijn altijd geclassificeerd als B.

Tabel 7.1 geeft een overzicht van het aantal punten dat wordt toegekend aan de verschillende typen publicaties. Als een publicatie meer dan één auteur heeft, wordt het aantal punten verlaagd. Toch stimuleert het verdeelmodel samenwerking, omdat auteurs samen meer punten kunnen halen dan alleen. Tabel 7.1 Aantal punten per publicatie Publicatie

Artikel in wetenschappelijk tijdschrift

Monografie

Hoofdstuk in bundel of redigeren van bundel

Proefschrift

Ranking

Eén auteur

Meer auteurs

Max. aantal punten per bundel

A

11

9

B

7

5

C

3

2

A

11

9

B

7

5

C

3

2

A

7

5

11

B

3

2

7

C

2

1

3

B

7

7

Als een onderzoeker verschillende bijdragen heeft geleverd aan één bundel kan het aantal punten toenemen, maar het aantal punten van een boek kan niet worden overschreden (zie laatste kolom). Per onderzoeker kan een maximum van 60 procent onderzoekstijd (0,6 fte) worden toegekend (tabel 7.2). De afdeling krijgt de middelen voor de onderzoekstijd en het

7. CASE 3: ECONOMISCHE WETENSCHAPPEN EN BEDRIJFSKUNDE

121

afdelingshoofd kan die in principe naar eigen inzicht inzetten. Maar in het algemeen krijgen onderzoekers de tijd die zij individueel hebben verdiend. Tabel 7.2 Punten

Aantal punten en toewijzing onderzoekstijd, 2005* Percentage Punten Percentage

Punten

Percentage

>33

60%

22

45%

11

24%

32

59%

21

44%

10

22%

31

57%

20

42%

9

19%

30

56%

19

40%

8

16%

29

55%

18

39%

7

12%

28

54%

17

37%

6

0%

27

52%

16

35%

5

0%

26

51%

15

33%

4

0%

25

50%

14

31%

3

0%

24

48%

13

29%

2

0%

23 47% 12 27% 1 0% * De verdeling verschilt van jaar tot jaar en is afhankelijk van de hoeveelheid onderzoeksgeld die te verdelen is.

Lange tijd werd de onderzoekstijd eens per vijf jaar berekend. In 2005 is afgesproken dit driejaarlijks te doen. Vanaf 2008 zal het jaarlijks plaatsvinden. Het faculteitsbestuur heeft hiertoe besloten om meer dynamiek in de budgetallocatie te creëren. Het prestatiemeetsysteem verdeelt ongeveer 35 fte aan onderzoekstijd. Het systeem heeft betrekking op medewerkers in dienst ten laste van de eerste geldstroom met een onderwijs- en onderzoekstaak (universitair docent, universitair hoofddocent en hoogleraar). Het systeem heeft geen betrekking op medewerkers in dienst met uitsluitend een onderwijstaak (docenten), medewerkers in dienst ten laste van de derde geldstroom, promovendi en postdocs. Het prestatiemeetsysteem speelt ook een rol bij de bevordering van medewerkers: universitair docenten dienen minimaal 40 procent onderzoekstijd te verwerven om te kunnen doorstromen naar de functie van universitair hoofddocent. Parttime onderzoekers mogen publicaties dubbel tellen, afhankelijk van de omvang van de aanstelling (tabel 7.3). Als zij ook een deeltijd onderzoeksaanstelling buiten de faculteit hebben, vallen zij buiten deze regeling. Tot slot kunnen onderzoekers die zwangerschapsverlof hebben gehad publicaties over de laatste zes jaar (in plaats van vijf jaar) opvoeren. Het prestatiemeetsysteem houdt dus rekening met bijzondere situaties van medewerkers.

122


Tabel 7.3

Regeling voor parttime onderzoekers 5 of meer Aanstelling in fte (gemiddeld over 5 jaar) publicaties

4 publicaties

3 publicaties

0,81-1,00

12345

1234

123

0,71-0,80

12344

1234

123

0,61-0,70

12334

12344

123

0,51-0,60

12234

12334

1233

12234

1223

<=0,5 11223 1 = beste publicatie, 2 = op-één-na-beste publicatie, etc.

Verzameling en toetsing van prestatie-informatie Jaarlijks vraagt een stafmedewerker Onderzoek de onderzoekers in de faculteit om de vijf beste publicaties aan te leveren. Daarvoor hebben zij ongeveer een maand de tijd. Onderzoekers kunnen eventueel een verzoek indienen om publicaties hoger te waarderen dan het prestatiemeetsysteem voorschrijft. Een ad hoc commissie beoordeelt de verzoeken om uitzondering. In deze commissie zijn de drie hoofdstromen vertegenwoordigd (economie, econometrie, bedrijfskunde). De commissie heeft in de praktijk een pacificerende werking. Meer dan 50 procent van de claims wordt toegewezen (op een totaal van circa 40 aanvragen per jaar). De aanvragen zijn vrij gelijkmatig verdeeld over de vakgebieden. De faculteit probeert de tijdschriftenlijst regelmatig te vernieuwen om ook ruimte te bieden aan goede tijdschriften van opkomende (vaak interdisciplinaire) vakgebieden. Als de lijst met publicaties die meetellen is vastgesteld, wordt het aantal punten per onderzoeker berekend. Tegelijkertijd wordt gekeken hoeveel budget er voor het volgende jaar beschikbaar is. Via een wiskundig model wordt berekend hoeveel budget naar de afdelingen gaat. In januari horen afdelingen en onderzoekers hoeveel onderzoekstijd zij krijgen toegewezen. 7.3


Op basis van interviews met afdelingshoofden, programmaleiders en de portefeuillehouder onderzoek (zie bijlage 5) is inzicht ontstaan in de doorwerking en effecten van het verdeelmodel van de FEWEB. De interviews zijn gevoerd op basis van een lijst stellingen (zie bijlage 2) waarbij geïnterviewden hebben aangegeven in hoeverre zij het hiermee eens zijn. Per stelling heeft de geïnterviewde gereageerd op een vijfpuntsschaal uiteenlopend van ‘zeer mee eens’ (5 punten), ‘grotendeels mee eens’ (4 punten), ‘noch mee eens, noch mee oneens’ (3 punten), ‘grotendeels niet mee eens’ (2 punten), ‘zeer mee oneens’ (1 punt), ‘geen oordeel’ (0 punten). De uitkomsten zijn in deze paragraaf weergegeven in een reeks tabellen waarin steeds de gemiddelde score op deze vijfpuntsschaal en de standaarddeviatie zijn weergegeven.


123

Bekendheid van het prestatiemeetsysteem De geïnterviewden zijn goed op de hoogte van de systematiek van het verdeelmodel (tabel 7.4). Zij veronderstellen dat de systematiek van het model ook goed bekend is bij de onderzoekers in de afdelingen. Vaste onderzoekers kennen het model naar verwachting goed, maar ook onderzoekers die niet onder het model vallen (promovendi, tenure track-onderzoekers) voor voorgelicht over het onderscheid van A- en B-tijdschriften. Tabel 7.4


Stelling

GEM STDEV

Ik ben bekend met de systematiek van het verdeelmodel (prestatieindicatoren, wegingsfactoren, financiële consequenties).

4,7

0,4

Ik veronderstel dat de systematiek van het verdeelmodel bekend is bij de onderzoekers in mijn afdeling.

4,5

0,7


Oordelen over het prestatiemeetsysteem Het oordeel van afdelingshoofden over het verdeelmodel is wisselend. Veel afdelingshoofden zijn positief over het model (tabel 7.5). Positieve aspecten van het model zijn: -

Het systeem biedt objectieve gronden voor de verdeling van onderzoekstijd. Het systeem is transparant naar de afdeling en het individu. Het systeem werkt efficiënter dan verdeling van onderzoeksgeld op basis van projectvoorstellen. Het systeem is gericht op kwaliteit en niet op kwantiteit. De prestatie-indicatoren zijn in lijn met datgene wat in het internationale wetenschappelijke veld van belang wordt geacht (publicaties in toptijdschriften). Het systeem beloont individuele onderzoekers traploos van 0 tot 60 procent. Het afdelingshoofd heeft ruimte om uitzonderingen te maken als dat nodig is, zodat onderzoekers geen slachtoffer worden van de starheid van het systeem.

124


Tabel 7.5

Oordelen over het prestatiemeetsysteem

Stelling

GEM STDEV

Ik heb een positieve waardering voor de systematiek van het verdeelmodel.

3,6

1,2

Ik vind dat het verdeelmodel uiteenlopende onderzoeksprestaties evenwichtig beloont. Ik vind dat het verdeelmodel bepaalde belangrijke prestaties onderwaardeert (of helemaal niet waardeert).

2,6

1,1

3,6

1,0

Het verdeelmodel is een efficiënte manier om binnen de faculteit schaarse onderzoeksmiddelen uit de eerste geldstroom te verdelen.

4,6

0,5


Maar de geïnterviewden hebben ook kritiek geuit op het verdeelmodel. In veel gevallen worden onderzoeksprestaties onevenwichtig beloond. Enkele hoofden hebben opgemerkt dat het verdeelmodel geen ‘level playing field’ biedt. De economische tijdschriften staan centraal in de A- en B-lijst. De bedrijfskundige disciplines zouden het relatief moeilijker hebben, omdat er voor hen verhoudingsgewijs minder toptijdschriften in de lijst zijn opgenomen. Ook in de lijst met uitgeverijen ontbreken volgens enkele geïnterviewden belangrijke uitgeverijen. Er is bij de toepassing van het verdeelmodel weliswaar ruimte voor uitzonderingen, maar dan zijn onderzoekers overgeleverd aan de goedertierenheid van de wetenschappelijke adviescommissie en het faculteitsbestuur. Een van de afdelingshoofden merkte op dat dat de transparantie van het verdeelmodel niet ten goede komt. Veel geïnterviewden vinden dat het verdeelmodel bepaalde prestaties onderwaardeert of helemaal niet waardeert. Het gaat dan om: -

-

het schrijven van semi-wetenschappelijke boeken en onderwijsboeken; maatschappelijke activiteiten, bijvoorbeeld deelname aan maatschappelijk debat, bedrijfsbezoeken, advisering, lidmaatschap van redactieraden, academische raden van ondernemingen. De faculteit dreigt daardoor zijn betekenis voor de samenleving te verliezen; wetenschappelijke impact (blijkend uit citatiescores) speelt geen rol.

Overigens zijn alle afdelingen zich bewust van het feit dat niet alle prestaties kunnen meetellen bij de verdeling van onderzoekstijd. Er moeten nu eenmaal keuzes worden gemaakt. In het algemeen wordt gevonden dat het verdeelmodel bedoeld is voor het bevorderen van kwalitatief hoogwaardige output. Naast het verdeelmodel staan andere instrumenten die andersoortige activiteiten of prestaties belonen. In functioneringsgesprekken komen deze zaken aan bod.


125

Het verdeelmodel is volgens de meeste geïnterviewden een efficiënte manier om schaarse onderzoeksmiddelen te verdelen. Hoewel de immateriële kosten van het verdeelmodel, dat wil zeggen de tijd die gemoeid is met de verzameling prestatieinformatie, discussies over de tijdschriftenlijst en het behandelen van verzoeken om uitzonderingen toe te staan, substantieel zijn, levert het model wel een objectieve basis voor de verdeling van onderzoekstijd. Welke prestaties maakt het prestatiemeetsysteem zichtbaar? Volgens de geïnterviewden maakt het verdeelmodel de onderzoeksproductiviteit en kwaliteit van onderzoeksoutput beperkt zichtbaar (tabel 7.6). A- en B-tijdschriften zijn weliswaar een maat voor kwaliteit, maar er is geen garantie dat een A-publicatie meer geciteerd wordt dan een B-publicatie. Een andere kwaliteitsmaatstaf geeft andere uitkomsten, aldus een van de geïnterviewden. Maatschappelijke/economische impact blijft in het prestatiemeetsysteem buiten beschouwing volgens de afdelingshoofden. Het systeem geeft alleen een beeld van publicaties in wetenschappelijke tijdschriften. Dankzij het verdeelmodel is volgens de geïnterviewden in beperkte mate zichtbaar wat sterke en minder sterke onderzoeksgroepen zijn. Tabel 7.6

Welke prestaties maakt het prestatiemeetsysteem zichtbaar?

Stelling

GEM STDEV

Het verdeelmodel maakt de onderzoeksproductiviteit (kwantiteit van onderzoeksoutput) van mijn afdeling goed zichtbaar.

3,3

1,1

Het verdeelmodel maakt de kwaliteit van de onderzoeksprestaties van mijn afdeling goed zichtbaar.

3,4

1,0

Het verdeelmodel maakt de maatschappelijke/economische betekenis van de onderzoeksprestaties van mijn afdeling goed zichtbaar (praktijktoepassingen, patenten, spin-off).

1,2

0,4

3,7

1,1

Dankzij het verdeelmodel is goed zichtbaar wat de sterke en minder sterke onderzoeksgroepen zijn. zeer mee eens = 5, grotendeels mee eens = 4, noch mee eens, noch mee oneens = 3, grotendeels niet mee eens = 2, zeer mee oneens = 1

Gewenste effecten De onderzoekers in de afdelingen worden aangezet tot prestaties die in het verdeelmodel positief gewaardeerd worden (tabel 7.8). Beginnende onderzoekers wordt vaak gevraagd zich te richten op B-publicaties. Als die binnen bereik zijn wordt de aandacht verlegd naar A-publicaties. Een van de afdelingshoofden gaf aan dat hij liever ziet dat

126


een onderzoeker drie A-publicaties dan vijf B-publicaties aflevert, maar dat staat haaks eigenlijk op zijn belang als afdelingshoofd om maximaal onderzoeksbudget te verwerven. Volgens bijna alle afdelingshoofden richten onderzoekers zich in de praktijk ook op prestaties die in het verdeelmodel positief gewaardeerd worden. Maar dat is slechts in beperkte mate een effect van het model. Het model beloont nu eenmaal prestaties die door onderzoekers vanuit carrièreoverwegingen belangrijk worden gevonden. Het verdeelmodel heeft volgens de afdelingshoofden bijgedragen aan een prestatiegerichte onderzoekscultuur in de faculteit. Toen het systeem in 1995 werd ingevoerd werd in de faculteit veel in het Nederlands gepubliceerd. Inmiddels wordt vooral in de Engelse taal gepubliceerd en is de internationale zichtbaarheid van het onderzoek toegenomen. Volgens de meeste geïnterviewden heeft het prestatiesysteem heeft hieraan bijgedragen. Tabel 7.7 Stelling

Gewenste effecten

De onderzoekers in mijn afdeling worden aangezet tot prestaties die in het verdeelmodel positief gewaardeerd worden. Ik vind dat de onderzoekers in mijn afdeling zich richten op prestaties die in het verdeelmodel positief gewaardeerd worden. Het verdeelmodel heeft in het algemeen bijgedragen aan een prestatiegerichte onderzoekscultuur in de faculteit. Het verdeelmodel heeft in de afgelopen paar jaar een positieve invloed gehad op de onderzoeksproductiviteit van mijn afdeling. Het verdeelmodel heeft in de afgelopen paar jaar een positieve invloed gehad op de kwaliteit van de onderzoeksprestaties van mijn afdeling. Het verdeelmodel heeft in de afgelopen paar jaar positief bijgedragen aan de maatschappelijke/economische betekenis van de onderzoeksprestaties van mijn afdeling. zeer mee eens = 5, grotendeels mee eens = 4, noch mee eens, noch mee oneens = 3, grotendeels niet mee eens = 2, zeer mee oneens = 1

GEM

STDEV

4,1

1,1

4,2

1,0

4,1

1,1

2,8

1,1

3,2

1,4

1,2

0,4

Toen het verdeelmodel medio jaren negentig is ingevoerd is daarmee een rigoureus einde gemaakt aan de vaste verdeling van onderzoekstijd over onderzoekers. Er vond een forse re-allocatie van onderzoeksgeld plaats. In het eerste jaar waren de financiële consequenties groot. Daarna werden de effecten marginaal. Tegenwoordig leidt het verdeelmodel nauwelijks tot schoksgewijze re-allocaties van onderzoeksgeld, maar het model geeft wel een voortdurende prikkel om te presteren. Onderzoekers houden voortdurend in de gaten of onderzoeksprogramma’s en publicaties iets kunnen opleveren in het verdeelmodel.


127

Naast het verdeelmodel zijn ook andere factoren van invloed op de prestatiegerichte cultuur, zoals de UFO-competentieprofielen, de bonusregeling voor het binnenhalen van tweede geldstroom, promotievergoedingen en de financiële bonus voor derde geldstroomonderzoek (om aan maatschappelijk georiënteerd onderzoek wetenschappelijke spin-off te verbinden). Maar ook externe factoren, bijvoorbeeld de prestatie-eisen van onderzoeksscholen en -instituten en de jaarlijkse ranking van economen zijn van invloed op de prestatiecultuur in de faculteit. Het verdeelmodel heeft volgens de geïnterviewden nauwelijks positieve invloed gehad op de onderzoeksproductiviteit van de afdelingen. Het model stuurt meer op kwaliteit (keuze van tijdschriften) dan op productiviteit (aantal artikelen). Onderzoekers worden gestimuleerd om hun publicatiestrategie af te stemmen op het verdeelmodel. Voor afdelingen levert het model een prikkel om alleen goede onderzoekers aan te trekken, die kunnen ‘scoren’ in het model. Het prestatiemeetsysteem heeft geen bijdrage geleverd aan de maatschappelijke/economische betekenis van onderzoeksprestaties. Het model levert daarvoor geen prikkels. Ongewenste effecten Het verdeelmodel biedt volgens de afdelingshoofden weinig mogelijkheden voor manipulatie van prestatie-informatie (tabel 7.8). Daarentegen is er wel veel ruimte voor strategisch gedrag: onderzoekers kunnen onderzoeksresultaten opknippen en verspreiden over verschillende publicaties, artikelen schrijven met andere onderzoekers of zich concentreren op B-tijdschriften met een snelle doorlooptijd. Ook wordt er veel gestreden om tijdschriften op de tijdschriftenlijst te krijgen. Volgens een van de afdelingshoofden roept het prestatiemeetsysteem het gebruikelijke systeemgedrag op: ‘you get what you pay for’. Een van de geïnterviewden vindt dat het verdeelmodel onderzoekers niet tot het uiterste aanspoort. Een onderzoeker kan genoegen nemen met minder onderzoekstijd dan maximaal haalbaar is. Iemand kan bijvoorbeeld 0,4 fte onderzoekstijd verdienen door elk jaar één artikel in een B-tijdschrift te publiceren. Er is geen prikkel om een zesde B-artikel in een vijfjaarsperiode te publiceren. De scores in het verdeelmodel zijn verweven met het loopbaanbeleid van de faculteit. Een van de afdelingshoofden merkte op dat een universitair docent alleen kan worden bevorderd tot universitair hoofddocent als die 40 procent onderzoekstijd heeft verdiend. Als de persoon 36 procent heeft verdiend, maar toch zeer gekwalificeerd is, is het niet mogelijk de persoon te bevorderen.

128


Volgens een aantal hoofden ontmoedigt het verdeelmodel interdisciplinair onderzoek. De toptijdschriften die hoog genoteerd staan in de publicatielijsten, zijn vaak zeer gespecialiseerd. Specialistisch onderzoek wordt daardoor bevorderd, ten koste van interdisciplinair onderzoek, waarover minder eenvoudig kan worden gepubliceerd in toptijdschriften. Het verdeelmodel is een stimulans voor mainstream onderzoek. Tabel 7.8

Ongewenste effecten

Stelling

GEM STDEV

Het verdeelmodel biedt ruimte voor manipulatie van prestatiecijfers (om meer facultair geld binnen te halen).

2,8

1,1

Het verdeelmodel heeft geleid tot een verwaarlozing van belangrijke prestaties/taken die niet financieel beloond worden.

2,9

1,4


Het verdeelmodel heeft volgens de meeste geïnterviewden nauwelijks geleid tot een verwaarlozing van prestaties die niet financieel beloond worden. Hoewel van echte verwaarlozing geen sprake is, vinden enkele afdelingshoofden wel dat de voorkeur van onderzoekers steeds meer uitgaat naar prestaties die in het verdeelmodel belangrijk zijn. Dit ten koste van belangrijke prestaties die niet beloond worden, bijvoorbeeld Nederlandstalige publicaties, handboeken, commissiewerk en maatschappelijke activiteiten. Toekomstverwachtingen ten aanzien van prestatiefinanciering Prestatiefinanciering zal volgens de geïnterviewden in de toekomst een belangrijke rol moeten blijven spelen bij de verdeling van onderzoeksmiddelen in de faculteit (tabel 7.9). Afdelingen die zich benadeeld voelen pleiten voor veranderingen om een level playing field te creëren voor alle disciplines. Daarnaast vinden enkele geïnterviewden het belangrijk dat interdisciplinair onderzoek meer wordt gestimuleerd. Tabel 7.9



GEM STDEV 4,6

0,5

7. CASE 3: ECONOMISCHE WETENSCHAPPEN EN BEDRIJFSKUNDE 7.4

129


Outputontwikkeling Over de afgelopen zes jaar vertoont het aantal A- en B-publicaties een stijgende lijn (van 91 in 2001 naar 119 in 2006). Het aantal A-publicaties is procentueel sterker toegenomen dan het aantal B-publicaties (resp. 83 procent en 23 procent stijging). Het aantal overige publicaties is afgenomen van 659 in 2001 naar 525 in 2006 (een daling van 20 procent). Overigens is een groot deel van de output gerealiseerd door tijdelijk personeel dat niet uit de eerste geldstroom wordt betaald en dus niet onder het verdeelmodel valt. Tabel 7.10

Onderzoeksoutput, 2001-2006 2001

Academische publicaties in A-tijdschriften in B-tijdschriften in overige tijdschriften hoofdstukken in A-boeken hoofdstukken in B-boeken overige hoofdstukken Monografieën A-boeken B-boeken overig Proefschriften Vakpublicaties en overige output Totaal aantal A-publicaties Totaal aantal B-publicaties Totaal aantal A- en B-publicaties Totaal aantal overige publicaties

2002

2003

2004

2005

2006

9 43 168 19 93

15 46 138 9 167

14 42 111 11 115

20 41 90 17 94

12 32 125 12 11 85

9 41 111 9 34 79

3 3 19 14 379

3 2 30 14 302

4 21 18 344

3 9 24 15 251

3 11 14 316

4 6 13 16 322

12 79 91 659

18 71 89 637

14 75 89 591

23 82 105 459

24 60 84 537

22 97 119 525

De outputcijfers dienen idealiter gecorrigeerd te worden voor de onderzoeksinzet, zodat een output/input-ratio zichtbaar wordt. Uit cijfers van de faculteit blijkt dat de onderzoekscapaciteit ongeveer gelijk is gebleven in de afgelopen zes jaar (tabel 7.11). Dat betekent dat de output/input ratio in de laatste jaren is verbeterd (meer A-/B-publicaties met gelijkblijvende inzet van middelen).

130 Tabel 7.11

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK Onderzoekcapaciteit in fte, 2001-2006 2001 2002 2003

2004

2005

2006

Vast WP

24,40

25,19

26,43

26,13

29,76

31,72

Tijdelijk WP

15,10

14,87

13,89

13,22

9,72

10,07

Promovendi

24,80

29,36

24,47

24,62

25,83

28,13

Totaal

64,30

69,42

64,79

63,97

65,31

69,92

Tabel 7.12 laat zien dat het aantal punten per onderzoeker en per fte inderdaad is toegenomen in de periode 1995-2005. Het aantal punten nam met 40 procent toe (van 15 punten per onderzoeker in 1995 naar 21 in 2005). Tegelijkertijd is ook een inflatie van aantal punten opgetreden. Tabel 7.12 Aantal punten gemiddeld per onderzoeker, 1995-2005 Afdeling 1995 2000 2005 Algemene en ontwikkelingseconomie 19 19 27 Ruimtelijke economie 23 30 24 Financiering/BFS 10 19 13 Accounting 11 15 15 Management en organisatiekunde 12 14 12 Informatiekunde, marketing en logistiek 7 8 19 Econometrie 16 23 24 Gemiddelde score per onderzoeker 15 18 21 Gemiddelde score per fte 39,5 47,7 66,6 N.B. De verdeling van onderzoekstijd (en toekenning van onderzoeksbudgetten) vond eerst vijfjaarlijks plaats. Sinds 2005 gebeurt dit driejaarlijks. Vanaf 2008 wordt de onderzoekstijd jaarlijks verdeeld.

Tabel 7.13 laat zien dat de gemiddelde onderzoekstijd per onderzoeker met ‘slechts’ 27 procent is toegenomen (van 30 procent onderzoekstijd in 1995 naar 38 procent in 2005). Tabel 7.13 Onderzoekstijdtoewijzing gemiddeld per onderzoeker in %, 1995-2005 Afdeling 1995 2000 Algemene en ontwikkelingseconomie 34 31 Ruimtelijke economie 45 47 Financiering/BFS 25 37 Accounting 28 26 Management en organisatiekunde 35 27 Informatiekunde, marketing en logistiek 21 13 Econometrie 28 35 Gemiddelde score per onderzoeker 30 30

2005 47 45 25 28 25 38 45 38


131

Budgetallocatie Het verdeelmodel van de FEWEB leidt nauwelijks tot een verschuiving van budgetten van minder goed presterende afdelingen naar beter presterende afdelingen. Een afdeling kan door het verdeelmodel niet meer verdienen dan het maximum onderzoeksbudget voor alle onderzoekers die onder het model vallen. Als een afdeling wil groeien, zal de groei moeten worden gehaald uit extern geld of via een toename van onderwijstaken.

7.5

Conclusies

Het verdeelmodel van de FEWEB houdt rekening met de variëteit aan wetenschappelijke disciplines in de faculteit. Dat blijkt uit het feit dat in de lijst A- en B-tijdschriften alle vakgebieden vertegenwoordigd zijn. Toch kan de lijst niet bij alle afdelingen op evenveel waardering rekenen. Er worden veel bezwaren geuit tegen het ontbreken van een level playing field. Volgens sommige afdelingen worden zij benadeeld, omdat zij vanwege de aard van het vak relatief moeilijker kunnen publiceren in A-tijdschriften. Vooral interdisciplinair onderzoek zou benadeeld worden. Een ander veel gehoord punt van kritiek is dat het model slechts een beperkt deel van de output zichtbaar maakt; alleen de vijf beste publicaties tellen mee. De output van onderzoekers heeft directe gevolgen voor de onderzoekstijd die zij krijgen, hoewel afdelingshoofden de uitkomsten van het verdeelmodel kunnen modereren. Onderzoekstijd wordt op individueel niveau berekend, maar op afdelingsniveau toegekend. De hoofden bepalen de finale toekenning van onderzoekstijd. Omdat onderzoekers belang hebben bij zoveel mogelijk onderzoekstijd, gaat er een grote prikkel uit van het model. Het verdeelmodel bestaat al lange tijd, waardoor het moeizaam is de effecten in beeld te krijgen. Volgens faculteitsbestuurders en afdelingshoofden heeft het verdeelmodel grote invloed gehad op de publicatiestrategie (meer artikelen in toptijdschriften). De verschuiving van onderzoekstijd c.q. budgetten over afdelingen is tegenwoordig minimaal zichtbaar. Inmiddels werken in de faculteit bijna uitsluitend onderzoekers die kunnen meedraaien in het verdeelmodel. Voor jonge onderzoekers die hun sporen nog niet verdiend hebben, is een uitzondering gemaakt (tenure track regeling). Als het verdeelmodel onrechtvaardig uitpakt voor onderzoekers kan een beroep worden gedaan op de hardheidsclausule. Een commissie buigt zich over het verzoek om een uitzondering. Daarbij kunnen afdelingshoofden een bemiddelende rol spelen. De faculteit baseert de allocatie van eerste geldstroom niet volledig op het verdeelmodel. Buiten het model om zijn er mogelijkheden voor het toedelen van onderzoeksgeld

132


aan onderzoekers en afdelingen. Daarnaast zijn er nog research management instrumenten, zoals functioneringsgesprekken en interne subsidies. Het faculteitsbestuur en afdelingshoofden zijn zich bewust van de onderwaardering van maatschappelijke activiteiten van onderzoekers en proberen hiervoor langs andere wegen, bijvoorbeeld in functioneringsgesprekken, aandacht voor te vragen.

133

8

Case 4: Sociale Wetenschappen

8.1


De Faculteit Sociale Wetenschappen van de Vrije Universiteit is een faculteit met een personeelscapaciteit van ruim 230 fte en een onderzoekscapaciteit van circa 85 fte. De faculteit bestaat uit zeven afdelingen, die de primaire organisatie-eenheden vormen in de faculteit. Een afdeling wordt geleid door een hoogleraar-afdelingshoofd, die verantwoording aflegt aan de decaan. Vanuit de afdelingen zijn disciplinaire onderzoeksprogramma’s ontwikkeld. Enkele afdelingen hebben meer dan één programma, waardoor er in totaal negen programma’s zijn. Ruim een kwart van het onderzoek wordt gefinancierd met externe middelen. De variëteit aan wetenschappelijke disciplines in de faculteit is redelijk groot. Er wordt onderzoek gedaan op de terreinen bestuur & organisatie, communicatiewetenschap, cultuur, organisatie & management, politicologie, sociologie en sociale & culturele antropologie. Sommige vakgebieden publiceren vooral in wetenschappelijke tijdschriften (bijvoorbeeld sociologie en politicologie), terwijl voor andere vakgebieden monografieën en bundels belangrijk zijn (bijvoorbeeld antropologie). Ook de talen waarin wordt gepubliceerd verschillen. Voor alle vakgebieden is de Engelse taal dominant, maar sommige vakgebieden publiceren ook in het Nederlands (bijvoorbeeld bestuurskunde) of Latijnse of niet-westerse talen (bijvoorbeeld antropologie).

8.2


De onderzoeksformatie die wordt betaald uit de eerste geldstroom wordt met ingang van de begroting 2005 toegewezen aan afdelingen via een prestatiemeetsysteem, hierna ook verdeelmodel genoemd. Het doel van het verdeelmodel (zoals vastgelegd in de notitie ‘Verdeelmodel Onderzoek’ d.d. 20 april 2004) is het vergroten van de kwantiteit en kwaliteit van wetenschappelijke output, in het model gemeten als het aantal Engelstalige gerefereerde publicaties (in tijdschriften of boeken).1 Prestatie-indicatoren en berekeningsgrondslagen De systematiek van het verdeelmodel, hierna ook prestatiemeetsysteem genoemd, is betrekkelijk eenvoudig. Van elke wetenschappelijk medewerker die wordt betaald uit de eerste geldstroom wordt verwacht dat hij de minimum publicatienorm behaald, die bestaat uit gemiddeld één gerefereerde Engelstalige publicatie per jaar gedurende drie opeenvolgende jaren. Een publicatie die meetelt voor het behalen van de prestatienorm moet minimaal door één anonieme peer zijn gerefereerd. Deze review moet zijn vastgelegd in een reviewrapport. Publicaties die op voorhand als gerefereerd worden be-

134


schouwd zijn artikelen in ISI-tijdschriften en boeken die zijn uitgegeven bij gerenommeerde uitgevers (bijvoorbeeld Oxford University Press, Cambridge University Press, Routledge). In het verdeelmodel wordt geen onderscheid gemaakt naar toptijdschriften en andere tijdschriften en er wordt niet gedifferentieerd naar eerste auteur of co-auteur. Een afdeling krijgt bovenop de basisonderzoekstijd van 0,2 fte per wetenschappelijk medewerker een extra toewijzing van 0,2 fte in het jaar t+1 voor elke wetenschappelijk medewerker, die in de drie voorafgaande jaren aan het jaar t waarin de begroting wordt opgesteld (dus t–3, t–2 en t–1) aan de prestatienorm heeft voldaan. De toekenning van 0,2 fte geldt voor medewerkers met een fulltime aanstelling, die op 1 september van het jaar t een onderzoeksaanstelling hebben. Voor onderzoekers met een parttime aanstelling wordt de norm naar rato aangepast en van medewerkers die in het jaar t–1 of eerder niet in dienst waren, worden ook de publicaties uit die jaren geteld. Wetenschappelijk medewerkers waarop de prestatienorm niet van toepassing is, zijn extern gefinancierde onderzoekers, promovendi, strategische hoogleraren en internationale fellows. Medewerkers die niet voldoen aan de prestatienorm kunnen niet in aanmerking komen voor een vaste aanstelling of een promotie maken van universitair docent naar universitair hoofddocent. Als de prestatienorm in de ogen van een afdelingshoofd onredelijk uitpakt kan deze het faculteitsbestuur vragen om ervan af te wijken. Onredelijkheid kan ontstaan door langdurige ziekte of verlof, vertraging in het verschijnen van enkele publicaties, of uitmuntende onderzoeksprestaties tot uiting komend in andere criteria zoals een groot aantal andere publicaties, editorships van internationale tijdschriften of gehonoreerde onderzoeksaanvragen. Voor een junior-onderzoeker die gepromoveerd is in jaar t of t–1 en daarvóór aangesteld als promovendus, kan een afdelingshoofd verzoeken een driejarige aspirant-status toe te kennen met gelijke rechten. Voor een onderzoeker die in jaar t–1 wel, maar in jaar t niet voldoet aan het criterium kan het afdelingshoofd verzoeken een tweejarige herstelperiode toe te kennen met gelijke rechten. Een verzoek om een individuele beslissing dient beargumenteerd en gedocumenteerd te zijn. Het faculteitsbestuur neemt een besluit. Onderzoekers die aan de prestatienorm voldoen, kunnen meedingen naar de extra faciliteiten die via het Centre for Comparative Social Studies (CCSS) worden ingezet. Dit facultaire instituut is in 2003 opgericht en heeft tot doel goed onderzoek te bevorderen en te belonen, buiten het verdeelmodel om. Faciliteiten van het CCSS zijn: (1) een persoonsgebonden subsidie voor de voorbereiding van een publicatie in een toptijdschrift of een subsidieaanvraag, (2) een facultaire onderzoeksprijs, (3) een NWO-A regeling (door NWO goed beoordeelde maar niet gehonoreerde projecten kunnen meedingen naar facultaire middelen), (4) facultaire fellowships (onderzoekers kunnen projecten indienen om in aanmerking te komen voor extra onderzoekstijd) en (5) over-

8. CASE 4: SOCIALE WETENSCHAPPEN

135

bruggingssubsidies voor het schrijven van VENI-subsidieaanvragen. Het budget van het CCSS bestaat uit additionele middelen van het college van bestuur van de VU (bijvoorbeeld voor strategische leerstoelen) en middelen die niet aan de afdelingen worden toegekend omdat onderzoekers de prestatienorm niet hebben gehaald. De middelen van het CCSS worden toegekend na advies door een interne wetenschappelijke commissie. Verzameling en toetsing van prestatie-informatie De onderzoeksmanagers leveren jaarlijks een lijst met alle publicaties aan bij de facultaire staf. Daar worden de gegevens verwerkt in onderzoeksinformatiesysteem METIS. Op basis van de kenmerken die aan een publicatie worden toegekend kan worden bepaald of die bijdraagt aan het behalen van de prestatienorm. De conceptlijst van publicaties die meetellen in het verdeelmodel wordt voor controle voorgelegd aan de onderzoeksmanagers van de afdelingen. Na vaststelling van de lijst bepaalt de portefeuillehouder Onderzoek van de FSW de gevolgen voor de afdelingsbudgetten.

8.3


Op basis van interviews met afdelingshoofden en de portefeuillehouder onderzoek (zie bijlage 6) is inzicht ontstaan in de doorwerking en effecten van het verdeelmodel van de FSW. De interviews zijn gevoerd op basis van een lijst stellingen (zie bijlage 2) waarbij geïnterviewden hebben aangegeven in hoeverre zij het hiermee eens zijn. Per stelling heeft de geïnterviewde gereageerd op een vijfpuntsschaal uiteenlopend van ‘zeer mee eens’ (5 punten), ‘grotendeels mee eens’ (4 punten), ‘noch mee eens, noch mee oneens’ (3 punten), ‘grotendeels niet mee eens’ (2 punten), ‘zeer mee oneens’ (1 punt), ‘geen oordeel’ (0 punten). De uitkomsten zijn weergegeven in tabellen, waarin steeds het gemiddelde en de standaarddeviatie van de scores is weergegeven. Bekendheid van het prestatiemeetsysteem De geïnterviewden geven aan zeer goed bekend te zijn met het verdeelmodel (tabel 8.1). Het model heeft directe gevolgen voor de verdeling van onderzoekstijd en budgetten. Kennis over de systematiek wordt daarom erg belangrijk gevonden. Tabel 8.1


Stelling

GEM STDEV

Ik ben bekend met de systematiek van het verdeelmodel (prestatie-indicatoren, wegingsfactoren, financiële consequenties).

4,9

0,4

Ik veronderstel dat de systematiek van het verdeelmodel bekend is bij de onderzoekers in mijn afdeling.

4,4

0,5


136


Ook de onderzoekers in de afdelingen zijn volgens de geïnterviewden goed tot zeer bekend met het verdeelmodel. De jaargesprekken, waarin de prestatienorm een terugkerend onderwerp is, hebben hieraan bijgedragen. Medewerkers merken aan de onderwijstaken die zij krijgen hun toe- of afname van onderzoekstijd. Bepaalde details van het verdeelmodel zijn minder breed bekend. Voorbeeld van zo’n detail: als na 1 september een nieuwe onderzoeker instroomt, en zijn voorganger die vertrokken is presteerde onder de norm, dan is het budget voor het volgende jaar gebaseerd op de prestaties van de persoon die tot 1 september in dienst was. Formeel krijgt de afdeling dus geen 0,4 fte onderzoeksbudget voor de vacature. Ook kan het gebeuren dat een onderzoeker die boven de norm presteerde na 1 september vertrekt, terwijl de vacature nog niet vervuld kan worden. Dan krijgt de afdeling toch de 0,4 fte onderzoekstijd voor de verdiensten van de vertrokken persoon. Het faculteitsbestuur zoekt naar een oplossing voor dergelijke aspecten van het verdeelmodel. Oordelen over het prestatiemeetsysteem De geïnterviewden hebben over het algemeen veel waardering voor de systematiek van het verdeelmodel. Genoemde positieve aspecten van het model zijn: -

-

-

De focus op Engelstalige gerefereerde publicaties is goed, want Engels is in het algemeen dé taal van de wetenschap en publicaties die gerefereerd zijn voldoen aan een kwaliteitsnorm. Het niet behalen van de prestatienorm heeft duidelijke consequenties die op individueel niveau (onderzoekstijd) en afdelingsniveau (budget) voelbaar zijn. Een afdelingshoofd kan desgewenst modereren, bijvoorbeeld als een onderzoeker pech heeft gehad, heeft geïnvesteerd in nieuw onderzoek met enige aanlooptijd of als sprake is van ziekte. De facultaire prestatienorm is een minimumnorm die niet te hoog ligt. Een afdeling kan desgewenst disciplinespecifieke aanvullende eisen stellen. Sommige afdelingen hebben reeds aanvullend op het facultaire prestatiesysteem een puntentelling voor de afdelingsoutput ontwikkeld.

8. CASE 4: SOCIALE WETENSCHAPPEN Tabel 8.2

137

Oordelen over het prestatiemeetsysteem

Stelling

GEM STDEV

Ik heb een positieve waardering voor de systematiek van het verdeelmodel. Ik vind dat het verdeelmodel uiteenlopende onderzoeksprestaties evenwichtig beloont. Ik vind dat het verdeelmodel bepaalde belangrijke prestaties onderwaardeert (of helemaal niet waardeert). Het verdeelmodel is een efficiënte manier om binnen de faculteit schaarse onderzoeksmiddelen uit de eerste geldstroom te verdelen.

4,5

0,5

2,1

1,1

4,5

0,5

3,5

1,4


Vanwege de eenzijdige focus op Engelstalige gerefereerde publicaties vinden de geïnterviewden dat uiteenlopende onderzoeksprestaties niet evenwichtig beloond worden. Bepaalde belangrijke prestaties worden ondergewaardeerd, of helemaal niet gewaardeerd, daarover zijn de meningen weinig verdeeld. De geïnterviewden hebben de volgende beperkingen van het verdeelmodel genoemd: -

-

-

-

Belangrijke prestaties blijven buiten beeld in de facultaire prestatienorm, zoals boeken, geredigeerde bundels, externe werfkracht en deelname aan maatschappelijk debat. Er wordt geen onderscheid gemaakt naar goede en zeer goede prestaties. Zeer goede prestaties worden niet automatisch extra beloond. Er moeten nog extra inspanningen worden verricht om in aanmerking te komen voor faciliteiten van het CCSS. Er is een bias naar Anglo-Amerikaanse tijdschriften. Dit is nadelig voor onderzoekers die zich richten op de niet-westerse wereld en in bijbehorende talen publiceren. Er is regelmatig discussie over wat gerefereerde tijdschriften zijn. Meestal wordt bij gerefereerde tijdschriften gewerkt met een ‘double blind systeem’, maar er zijn ook tijdschriften waar de review door de redactie plaatsvindt. Ook over hoofdstukken in geredigeerde bundels is regelmatig discussie: een voorstel is vaak gerefereerd, maar de uiteindelijke boekbijdrage wordt meestal niet meer door externe referenten becommentarieerd. Is er dan sprake van een gerefereerd hoofdstuk?

Ondanks deze tekortkomingen worden ze niet als groot probleem ervaren, omdat de prestatienorm een minimumnorm is. Naast het model bestaat nog voldoende ruimte om andere prestaties te waarderen (bijvoorbeeld boeken, bundels, publicaties in tijdschrif-

138


ten met een hoge impactfactor). De disciplinespecifieke prestatienormen die veel afdelingen hebben opgesteld, spelen een rol in de jaargesprekken met medewerkers. Volgens bijna alle geïnterviewden is het verdeelmodel een redelijk efficiënte manier om binnen de faculteit schaarse onderzoeksmiddelen uit de eerste geldstroom te verdelen. Het verdeelmodel wordt over het algemeen niet beschouwd als een instrument om schaarse middelen te verdelen, maar als een instrument om prestaties te bevorderen, zowel in kwantiteit als kwaliteit. Een afdeling kan via het verdeelmodel in financieel opzicht nauwelijks groeien. Als alle onderzoekers aan de norm voldoen is het maximum behaald. Extra prestaties leveren in het verdeelmodel niets extra’s op. Financiële groei is alleen mogelijk door substantieel meer onderwijs te leveren of extern geld binnen te halen. Welke prestaties maakt het prestatiemeetsysteem zichtbaar? Het verdeelmodel maakt de onderzoeksproductiviteit volgens de geïnterviewden redelijk goed zichtbaar (tabel 8.3). Via het model wordt op hoofdlijnen zichtbaar wie wel en niet voldoende presteert. Toch is het slechts een vrij grove benadering, omdat slechts een deel van de onderzoeksproductie zichtbaar wordt gemaakt. Het verdeelmodel maakt de kwaliteit van de onderzoeksprestaties in nog mindere mate zichtbaar volgens de geïnterviewden. Het model zorgt ervoor dat medewerkers zich op de norm richten, maar het model voorziet niet in een kwalitatief-inhoudelijke beoordeling van prestaties. Tabel 8.3

Wat maakt het prestatiemeetsysteem zichtbaar?

Stelling

GEM STDEV

Het verdeelmodel maakt de onderzoeksproductiviteit (kwantiteit van onderzoeksoutput) van mijn afdeling goed zichtbaar.

3,5

0,8

Het verdeelmodel maakt de kwaliteit van de onderzoeksprestaties van mijn afdeling goed zichtbaar.

1,8

1,0

Het verdeelmodel maakt de maatschappelijke/economische betekenis van de onderzoeksprestaties van mijn afdeling goed zichtbaar (praktijktoepassingen, patenten, spin-off).

3,1

0,8

3,1

0,8

Dankzij het verdeelmodel is goed zichtbaar wat de sterke en minder sterke onderzoeksgroepen zijn. zeer mee eens = 5, grotendeels mee eens = 4, noch mee eens, noch mee oneens = 3, grotendeels niet mee eens = 2, zeer mee oneens = 1

Ook maatschappelijke/economische betekenis van onderzoeksprestaties wordt via het verdeelmodel maar beperkt zichtbaar gemaakt volgens de geïnterviewden. Hoewel


139

indicatoren voor maatschappelijke/economische impact ontbreken, mag volgens enkele geïnterviewden verondersteld worden dat er een indirecte relatie is tussen publicaties en maatschappelijk nut. In het algemeen wordt gevonden dat indicatoren voor maatschappelijk nut niet in het verdeelmodel behoeven te worden opgenomen. Het verdeelmodel laat volgens de geïnterviewden niet goed zien wat sterke en minder sterke groepen zijn. Toch merkte een geïnterviewde op dat snel wel een globaal kwaliteitsbeeld ontstaat op individueel en groepsniveau. Maar voor een volledige beoordeling van groepen moet naar meer prestaties gekeken worden. Gewenste effecten De meeste geïnterviewden geven aan dat onderzoekers worden aangezet tot prestaties die in het verdeelmodel positief gewaardeerd worden (tabel 8.4). Afdelingshoofden dringen er bij hun onderzoekers op aan dat artikelen worden gepubliceerd in Engelstalige gerefereerde tijdschriften. Tabel 8.4 Stelling

Gewenste effecten

De onderzoekers in mijn afdeling worden aangezet tot prestaties die in het verdeelmodel positief gewaardeerd worden. Ik vind dat de onderzoekers in mijn afdeling zich richten op prestaties die in het verdeelmodel positief gewaardeerd worden. Het verdeelmodel heeft in het algemeen bijgedragen aan een prestatiegerichte onderzoekscultuur in de faculteit. Het verdeelmodel heeft in de afgelopen paar jaar een positieve invloed gehad op de onderzoeksproductiviteit van mijn afdeling. Het verdeelmodel heeft in de afgelopen paar jaar een positieve invloed gehad op de kwaliteit van de onderzoeksprestaties van mijn afdeling. Het verdeelmodel heeft in de afgelopen paar jaar positief bijgedragen aan de maatschappelijke/economische betekenis van de onderzoeksprestaties van mijn afdeling. zeer mee eens = 5, grotendeels mee eens = 4, noch mee eens, noch mee oneens = 3, grotendeels niet mee eens = 2, zeer mee oneens = 1

GEM STDEV 3,8

1,2

4,0

0,9

3,5

0,9

3,8

1,8

3,0

1,1

1,6

1,1

De onderzoekers richten zich volgens de geïnterviewden op prestaties die in het verdeelmodel positief gewaardeerd worden. Over de afgelopen jaren is volgens enkele afdelingshoofden meer wetenschappelijke output gerealiseerd. Deels komt dit doordat zittende medewerkers meer zijn gaan publiceren. Veel medewerkers die niet gewend waren te publiceren in Engelstalige gerefereerde tijdschriften moesten een manier vinden om routine op te bouwen. Maar de outputstijging zou nog meer het gevolg zijn van het wervings- en selectiebeleid van de faculteit. Bij de aanstelling van nieuwe onderzoekers wordt veel strenger dan voorheen gekeken naar hun track record.

140


Volgens verschillende geïnterviewden zijn onderzoekers over het algemeen druk in de weer met de prestatienorm, zowel inhoudelijk als in bureaucratisch opzicht. Volgens enkele afdelingshoofden is zelfs cijferwoede ontstaan als gevolg van de prestatienorm. Er wordt veel gerekend met tijdsinzet voor onderwijs om de onderzoekstijd te handhaven. Hoewel medewerkers zich richten op Engelstalige gerefereerde publicaties die meetellen voor de prestatienorm, vinden verschillende geïnterviewden het belangrijk dat er variatie is in de wetenschappelijke output. Er moet ook ruimte zijn voor boeken, bundels en publicaties in niet-Engelse talen, met name in vakgebieden waarvoor dat belangrijk is. De publicatienorm mag niet leiden tot verschraling van wetenschappelijke output; dat wil zeggen uitsluitend Engelstalige publicaties in tijdschriften. Andersoortige prestaties spelen weliswaar geen rol in het verdeelmodel, maar worden door veel afdelingshoofden wel belangrijk gevonden. Deze prestaties worden daarom buiten het verdeelmodel om aangemoedigd. Het verdeelmodel heeft in het algemeen bijgedragen aan een prestatiegerichte cultuur in de faculteit. De prestatienorm is een belangrijke minimumnorm geworden. Onderzoekers zijn meer geneigd zich te richten op gerefereerde tijdschriften. Ook wordt het hebben van onderzoekstijd inmiddels erg belangrijk gevonden door onderzoekers. Medewerkers bewaken hun onderzoekstijd veel feller dan vroeger. De prestatiegerichte cultuur die in de faculteit is ontstaan past volgens een van de geïnterviewden ook in de algehele cultuurverandering in universiteiten, waarin onderzoeksprestaties een steeds prominentere rol zijn gaan spelen. De meeste geïnterviewden zijn van oordeel dat de onderzoeksproductiviteit is toegenomen. Deze toename wordt in het algemeen toegeschreven aan het vervangingseffect: zittende medewerkers met zwakke onderzoeksprestaties zij in de loop der jaren vervangen door nieuwe medewerkers met goede onderzoeksprestaties. Dat er veel vervanging heeft plaatsgevonden blijkt uit de cijfers. In de FSW werken 18 nieuwe hoogleraren en 18 nieuwe bijzonder hoogleraren die in de afgelopen vijf jaar zijn aangesteld. Van het totale personeelsbestand is bijna tweederde in de laatste vijf jaar bij de faculteit aangetreden. Deze vernieuwing is voor een groot deel mogelijk gemaakt door financiële bijdragen van het college van bestuur van de VU. Volgens de geïnterviewden is het verdeelmodel niet het enige instrument dat van invloed is op de onderzoeksproductiviteit. Ook andere prestatiebevorderende maatregelen hebben invloed gehad, zoals de oprichting van het CCSS en bijbehorende (financiële) instrumenten. Voor de faciliteiten van het CCSS komt echter niet iedereen in aan-


141

merking. Daarom wordt door enkele geïnterviewden ingeschat dat de prestatienorm de grootste bijdrage aan de prestatieverbetering zal hebben geleverd. Het verdeelmodel heeft volgens de geïnterviewden minder invloed gehad op de kwaliteit van onderzoek dan op de productiviteit. Dit hangt vooral samen met de twijfel of Engelstalige gerefereerde publicaties per definitie kwalitatief beter zijn dan andersoortige publicaties. Sommige afdelingshoofden vinden van wel, maar velen betwijfelen of dit altijd opgaat. Het verdeelmodel heeft volgens de geïnterviewden niet bijgedragen aan de maatschappelijke/economische betekenis van onderzoeksprestaties. Volgens enkelen is de maatschappelijke betekenis van onderzoek eerder afgeremd dan toegenomen. Onderzoekers zijn zich meer gaan richten op internationale gerefereerde publicaties. Ongewenste effecten Het verdeelmodel biedt volgens de meeste geïnterviewden weinig ruimte voor manipulatie van prestatiecijfers (tabel 8.5). Toch zijn er enkele mogelijkheden genoemd: -

-

Medewerkers kunnen samenspannen en elkaar mede-auteur maken. Het is mogelijk om ‘snel even’ een reviewrapport te krijgen via een buitenlandse collega. Een afdeling kan een gerefereerde special issue uitbrengen met bijdragen van alle onderzoekers van de afdeling. Zo kan met één boekwerk iedereen voldoen aan de publicatienorm. Er kan onterecht aanspraak worden gemaakt op de billijkheidsregeling, bijvoorbeeld als de persoonlijke situatie die de oorzaak is voor slechte prestaties anders wordt voorgesteld dan die in werkelijkheid is. Inmiddels heeft de faculteit besloten dat voor elke medewerker die aanspraak wil maken op de billijkheidsregeling een publicatieplan moet worden gemaakt, waarin publicatieafspraken zijn vastgelegd. Een medewerker kan maar een keer aanspraak maken op de billijkheidsregeling.

Verder zijn er vormen van strategisch gedrag die niet direct tot manipulatie gerekend kunnen worden: -

Onderzoekers met dubbele aanstellingen kunnen output van elders opvoeren. Een onderzoeker kan een tijdschrift met een lage drempel (bijvoorbeeld beperkt review proces) kiezen. Een onderzoeker kan zich ook richten op hoofdstukken in edited volumes, omdat de succesratio over het algemeen groter is dan de kans om een artikel in een tijdschrift gepubliceerd te krijgen.

142 Tabel 8.5

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK Ongewenste effecten

Stelling

GEM STDEV

Het verdeelmodel biedt ruimte voor manipulatie van prestatiecijfers (om meer facultair geld binnen te halen).

2,9

1,6

Het verdeelmodel heeft geleid tot een verwaarlozing van belangrijke prestaties/taken die niet financieel beloond worden.

2,1

1,4


Het verdeelmodel heeft volgens de geïnterviewden niet geleid tot een verwaarlozing van belangrijke taken die niet bijdragen aan het halen van de prestatienorm. Veel belangrijke taken worden besproken in functioneringsgesprekken. Toch bestaat volgens enkele hoofden wel voortdurend spanning tussen onderzoek en andere taken, met name onderwijs en maatschappelijke taken. Onderzoek heeft in de universiteit al een hogere status dan onderwijs en dat wordt door de prestatienorm versterkt. Met name medewerkers die balanceren op de rand van de prestatienorm zullen dit spanningsveld voelen. Hoewel onderzoekers op individuele basis hun prestatienorm wel of niet halen, wordt het budget dat met de fte’s onderzoekstijd gepaard gaat toegewezen aan de afdeling. De afdelingshoofden zijn vrij om naar eigen inzicht met onderzoekstijd te schuiven tussen medewerkers, hoewel ze onderzoekers die hun norm hebben gehaald niet snel zullen korten. Onderzoekers die de prestatienorm niet hebben gehaald maar wel veel bestuurlijke taken hebben verricht, kunnen door de afdeling worden gecompenseerd, hoewel dat elders in het afdelingsbudget moet worden opgevangen. Een van de geïnterviewden gaf aan dat hij een senior onderzoeker met veel bestuurlijke taken onlangs 0,3 fte onderzoekstijd heeft gegeven, ondanks het niet behalen van de prestatienorm. Toekomstverwachtingen ten aanzien van prestatiefinanciering Volgens de geïnterviewden zal prestatiefinanciering in de toekomst een belangrijke rol moeten blijven spelen bij de verdeling van onderzoeksmiddelen in de faculteit (tabel 8.6). Tabel 8.6



GEM STDEV 4,1

0,8


143

Hoewel niet iedereen dit toejuicht, is in het algemeen de verwachting dat het verdeelmodel in de toekomst uitgebreid zal worden met indicatoren voor wetenschappelijke impact (impactfactoren en/of citatiescores) en werfkracht. Volgens critici mag prestatiefinanciering geen doel op zich worden. De doelstellingen en het nut van het instrument moeten voortdurend in ogenschouw worden gehouden. Bovendien mogen de effecten van een prestatiemeetsysteem volgens veel geïnterviewden niet overschat worden. Een ander punt van kritiek betreft de administratieve last. Het verdeelmodel is onderdeel van een veel bredere set aan verantwoordings- en sturingsinstrumenten, die tezamen veel tijd vragen, onder meer doordat de bureaucratie regelmatig van koers verandert. Meer in het algemeen zou volgens geïnterviewden een manier moeten worden gevonden om de groeiende administratieve last in te dammen.

8.4


Outputontwikkeling Over de afgelopen zes jaar is het aantal Engelstalige gerefereerde publicaties aanzienlijk toegenomen (van 71 in 2001 naar 219 in 2006; tabel 8.7). Dit is mede te danken aan de toename van onderzoekscapaciteit. Als wordt gekeken naar de output per fte, dan blijkt dat het aantal Engelstalige gerefereerde publicaties per vast WP-fte toenam van 3,26 naar 7,37 (een stijging van 126 procent). Wordt alle onderzoekscapaciteit in beschouwing genomen, dan blijkt dat de output/input ratio steeg van 1,87 naar 2,60 Engelstalige gerefereerde publicatie per fte. In alle gevallen is dus sprake van een productiviteitsstijging. Tabel 8.7

Onderzoeksoutput en -input (fte’s), 2001-2006 20012006 + 208%

2001

2002

2003

2004

2005

2006

Output Engelstalig gerefereerd

71

96

132

158

209

219

Onderzoeksinput tenured (fte)

21,8

25,12

25,98

28,47

31,32

29,7

+ 36%

Output/input ratio – tenured

3,26

3,82

5,08

5,55

6,67

7,37

+ 126%

Totale onderzoeksinput (fte)

37,88

52,29

54,45

72,26

81,43

84,35

+ 123%

Output/input ratio – totaal 1,87 1,84 2,42 2,19 2,57 Bron: Research assessment Social Sciences: self-evaluation report 2001-2006.

2,60

+ 39%

Bij bovenstaande cijfers moet worden opgemerkt dat in de output ook veel publicaties zijn betrokken van onderzoekers die niet uit de eerste geldstroom worden betaald (bijvoorbeeld bijzonder hoogleraren, onderzoekers betaald uit tweede en derde geldstroom) en onderzoekers met een deeltijdaanstelling (die ook elders onderzoeksoutput genereren). Voor zeer productieve onderzoekers met een deeltijdaanstelling geldt dat

144


zij aan de inputkant (fte) weinig bijdragen, en aan de outputkant (publicaties) wel zwaar meetellen. Ter illustratie: als een onderzoeker met 0,4 fte onderzoekstijd gemiddeld 1 Engelstalige gerefereerde publicatie aflevert, geeft dat circa 2,5 publicaties per onderzoeks-fte per jaar. Als een veel publicerende externe onderzoeker een deeltijdaanstelling (bijvoorbeeld 0,1 fte) krijgt en al zijn output (bijvoorbeeld 5 Engelstalige gerefereerde publicaties per jaar) wordt aan de onderzoeksgroep toegerekend, neemt de gemiddelde output van de groep flink toe. In dit voorbeeld stijgt de output van gemiddeld 2,5 publicaties per onderzoeks-fte per jaar naar ruim 7 publicaties per onderzoeks-fte per jaar. Vanwege de beperkingen van de outputoverzichten kan beter worden gekeken naar het aantal onderzoekers dat aan de publicatienorm voldoet. Uit cijfers van de FSW (in ‘Research assessment Social Sciences: self-evaluation report 2001-2006’) blijkt dat tussen 2002 en 2006 het aandeel onderzoekers dat voldoet aan de prestatienorm is gestegen van 38 procent naar 76 procent (2002: 38%, 2003: 46%, 2004: 57%, 2005: 65%, 2006: 76%). Dit laat zien dat de prestatienorm duidelijke effecten heeft gehad. Budgetallocatie Het verdeelmodel van de FSW leidt niet tot een verschuiving van budgetten van minder goed presterende afdelingen naar beter presterende afdelingen. Als een onderzoeker de 0,4 fte onderzoekstijd niet haalt, vallen de middelen terug naar centraal facultair niveau. Deze middelen worden toegevoegd aan het budget van het CCSS. Als alle onderzoekers die worden betaald uit de eerste geldstroom aan de prestatienorm voldoen, is voor een afdeling het maximum onderzoeksbudget uit de eerste geldstroom bereikt. Onderzoekers die aan de norm voldoen, kunnen wel aanspraak maken op CCSSfaciliteiten. Als een afdeling in financieel opzicht verder wil groeien, zal de groei moeten komen uit extern geld of via een toename van onderwijstaken.

8.5

Conclusies

Het verdeelmodel van de FSW is relatief eenvoudig. Om voor 0,4 fte onderzoekstijd in aanmerking te komen, moeten onderzoekers voldoen aan een minimum prestatienorm. Er is rekening gehouden met de diversiteit aan wetenschappelijke disciplines en publicatieculturen in de faculteit. Het maakt niet uit in welk tijdschrift wordt gepubliceerd, zolang dat maar Engelstalig is en een peer review procedure kent. Voor bijna alle vakgebieden is dit een werkbaar model. Enkele vakgebieden klagen over het feit dat andersoortige publicaties niet worden meegeteld. Anderen hebben kritiek op het feit dat alle gerefereerde artikelen even zwaar beloond worden en geen onderscheid wordt gemaakt tussen goede en zeer goede publicaties. Ook is naar voren gekomen dat het model een nadelige invloed kan hebben


145

op interdisciplinair onderzoek, omdat daarover vaak moeilijk te publiceren is in refereed journals. Om aan deze vormen van kritiek tegemoet te komen kunnen afdelingen bovenop de facultaire prestatienorm aanvullende vakspecifieke prestatiecriteria hanteren. Het verdeelmodel heeft sinds de invoering een grote betekenis gehad voor de prestatiegerichte cultuur in de faculteit. Dankzij de directe koppeling tussen output en onderzoekstijd heeft de prestatienorm geleid tot een stijging van Engelstalige gerefereerde publicaties. Onderzoekers zijn doelgerichter gaan publiceren. Op facultair niveau is prestatieverbetering opgetreden als gevolg van het vervangingseffect. Een aanzienlijk deel van het ‘oude’ personeel is sinds de invoering van de prestatienorm uitgestroomd. Bij de instroom van personeel is de prestatielat hoger gelegd, waardoor het aantal gerefereerde publicaties van de faculteit is toegenomen. Afdelingshoofden kunnen de uitkomsten (berekening onderzoekstijd) modereren Als het model onredelijk uitpakt voor een medewerker, kan het hoofd zoeken naar middelen om hem toch onderzoekstijd toe te kennen. Ook kunnen hoofden een bemiddelende rol spelen bij de toepassing van de hardheidsclausule door het faculteitsbestuur. Het verdeelmodel heeft niet direct geleid tot een verwaarlozing van prestaties die niet bijdragen aan het behalen van de prestatienorm, zoals onderwijs of maatschappelijke activiteiten. Onderzoekers leggen langs andere weg verantwoording af over deze taken. Daarnaast worden bepaalde activiteiten aangemoedigd buiten het verdeelmodel om, bijvoorbeeld via interne subsidies van het CCSS.

147

9

Analyse van het case-onderzoek

In hoofdstuk 3 van deze studie zijn twee perspectieven op prestatiemeetsystemen neergezet: het managerial perspectief en het perspectief van de professional. Vanuit het oogpunt van wetenschappelijke managers is prestatiemeting van nut bij het transparant krijgen van prestaties van onderzoekers en onderzoeksgroepen. De nadruk van prestatiemeetsystemen ligt op objectief meetbare indicatoren. De systemen hebben een sterk kwantitatieve insteek. Dit kan op gespannen voet staan met de visie van professionals die hechten aan oordeelsvorming over kwaliteit van onderzoek door peers. Kwantiteit is in hun ogen een oppervlakkige graadmeter. Veel belangrijker voor hen is het kijken naar de betekenis van onderzoek voor wetenschap en maatschappij. Objectieve prestatie-indicatoren kunnen door de professionals als star en te simpel worden ervaren. Prestatiemeting die geen recht doet aan de complexiteit en variëteit in het wetenschappelijke werk kan op den duur leiden tot negatieve effecten als verlies aan innovatief onderzoek, meer reproduceren van het bestaande en werken aan gemakkelijk publiceerbare artikelen. In het empirische case-onderzoek zijn vier faculteiten onderzocht waar onderzoeksgeld uit de eerste geldstroom al enige tijd wordt verdeeld via een prestatiemeetsysteem. Het case-onderzoek had tot doel inzicht te verschaffen in de doelen en effecten van dergelijke prestatiemeetsystemen en outputfinanciering. Daarnaast werd gezocht naar verklaringen voor de effecten. Het analysekader uit hoofdstuk 4 is gebruikt als referentiekader voor de analyse. De informatie uit de cases is hoofdzakelijk gebaseerd op facultaire beleidsdocumenten en een groot aantal interviews met decanen, managing professionals (afdelingshoofden, onderzoekscoördinatoren) en staffunctionarissen. Tegen de verwachtingen in ontstaat een overwegend positief beeld van de doorwerking van de prestatiemeetsystemen. Althans, schrikbeelden met perverse gevolgen van starre prestatiemeetsystemen die geen recht doen aan de wetenschappelijke professie, zijn er niet. Managing professionals oordelen over het algemeen mild over de systemen. Positieve effecten lijken te prevaleren. De vraag is welke factoren er voor zorgen dat de systemen redelijk gunstig worden ontvangen. In dit hoofdstuk worden de overeenkomsten en verschillen tussen de vier prestatiemeetsystemen, het oordeel van de managing professionals en de effecten systematisch onderzocht. Vervolgens wordt geanalyseerd welke verklarende factoren er zijn voor het optreden van positieve en overwegend ontbreken van negatieve effecten.

148 9.1

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK Achtergrond en kenmerken van de prestatiemeetsystemen

Het case-onderzoek heeft zich toegespitst op vier faculteiten die actief zijn op verschillende wetenschapsgebieden: natuurwetenschappen, medische wetenschappen, economische wetenschappen en sociale wetenschappen. De faculteiten variëren sterk in omvang. De behoefte aan outputfinanciering is blijkbaar niet gerelateerd aan de omvang van de onderzoeksorganisatie of het wetenschapsgebied. Genese en functies van de prestatiemeetsystemen In het case-onderzoek kan onderscheid worden gemaakt tussen relatief jonge en wat oudere prestatiemeetsystemen. De oudere systemen vinden hun ontstaansgeschiedenis in de jaren negentig van de vorige eeuw. De Faculteit Technische Natuurwetenschappen (TNW) van de TU Delft heeft een prestatiemeetsysteem ingevoerd in navolging – en op dringend verzoek – van het college van bestuur van de universiteit. Het facultaire systeem is vooral een financieel-administratief model geworden waarmee middelen worden verdeeld over de onderzoeksafdelingen. Het systeem kent – evenals het universitaire systeem – een relatief groot aantal prestatie-indicatoren waarmee wordt geprobeerd recht te doen aan de diverse onderzoeksoutput. Het systeem is in de loop van de jaren licht aangepast. Zo zijn de wegingsfactoren van de outputcategorieën gewijzigd. Er zijn enkele indicatoren verdwenen of nieuw verschenen. Het systeem biedt dus ruimte voor dynamiek, volgens de theorie een belangrijke voorwaarde voor prestatiemeetsystemen. De Faculteit Economische Wetenschappen en Bedrijfskunde (FEWEB) van de VU heeft in de jaren negentig op eigen initiatief een systeem ingevoerd om het faculteitspolitieke geharrewar rond de verdeling van onderzoeksgeld te stoppen. Middelen moesten volgens het wetenschappelijk management op grond van objectieve en navolgbare criteria worden verdeeld. Ook in dit systeem is ruimte voor verandering. De lijst met relevante tijdschriften wordt eens per paar jaar herzien in overleg met de professionals. De systemen van het Erasmus Universitair Medisch Centrum en de Faculteit Sociale Wetenschappen (FSW) van de VU zijn enkele jaren geleden gestart om de onderzoekskwaliteit te stimuleren. Deze systemen doen nu enkele jaren hun werk en staan op het punt geëvalueerd te worden. Ze zijn ontwikkeld in nauw overleg met de wetenschappelijke professionals in de faculteit. Wellicht heeft dat ertoe geleid dat er weinig weerstand is tegen de systemen.

9. ANALYSE VAN HET CASE-ONDERZOEK

149

Grote variëteit in onderzoeksoutput De variëteit in onderzoeksoutput tussen en binnen de onderzochte faculteiten is zeer groot. Het gaat om artikelen in een scala aan wetenschappelijke tijdschriften (elk met eigen impactscores), vaktijdschriften, (congres)bundels, monografieën, octrooien, ontwerpen en software. Deze diversiteit weerspiegelt de verschillende publicatieculturen van de vakgebieden. Waar voor het ene vakgebied uitsluitend Engelstalige artikelen in wetenschappelijke toptijdschriften (met een hoge notering in de ISI citation index) er toe doen, hebben andere vakgebieden een bredere focus. Voor hen kunnen ook boeken, bundels of niet-Engelstalige publicaties voorname output vormen. De output varieert niet alleen tussen wetenschapsgebieden, maar kan ook sterk variëren van subdiscipline tot subdiscipline en dus binnen faculteiten. Systemen houden nauwelijks rekening met variëteit Ondanks de grote variëteit in onderzoeksoutput kennen de prestatiemeetsystemen gemiddeld genomen maar een beperkt aantal prestatie-indicatoren. Het aantal prestatieindicatoren in de prestatiemeetsystemen varieert van zeer weinig (één indicator bij FSW, namelijk gerefereerde Engelstalige publicaties) tot veel (negen indicatoren met wegingsfactoren bij de TNW). De prestaties die het hoogst beloond worden, zijn publicaties in wetenschappelijke toptijdschriften. Toptijdschriften zijn Engelstalig, werken met referenten en hebben een zo hoog mogelijke impactfactor. Tijdschriften zijn in de meeste systemen geordend op basis van impactscores. Hoe lager de score, hoe lager de waardering van het tijdschrift. De rankings van tijdschriften, en dus de scores van output, levert in faculteiten de nodige discussies op. Publicaties die relatief minder goed (of niet) worden gewaardeerd zijn artikelen in vaktijdschriften, bundels en boeken. Sommige output telt niet mee in het systeem Alle systemen laten een deel van de onderzoeksoutput buiten beschouwing, hoewel dit bij TNW in geringe mate gebeurt. Onderzoeksoutput die buiten beschouwing wordt gelaten levert geen interne onderzoeksmiddelen op. De keuze om onderzoeksoutput niet te laten meetellen laat zien dat die niet of relatief minder belangrijk wordt gevonden. Toch is dit niet alleen de wetenschappelijke managers, die eindverantwoordelijk zijn voor de systemen, kwalijk te nemen. Een vertegenwoordiging van professionals was zelf betrokken bij de totstandkoming van de systemen en heeft ingestemd met deze opzet. Ook is het ontbreken van veel verschillende indicatoren niet desastreus, gegeven het feit dat er in de faculteiten geen grootschalig verzet is opgetreden. Voor de volledigheid moet vermeld worden dat sommige professionals wel een kruistocht voeren om bepaalde typen onderzoeksoutput beloond te krijgen. Twee typen sturingsmodellen: directe versus indirecte systeemprikkels De onderzochte cases laten twee typen prestatiemeetsystemen zien: het systeem dat wordt gebruikt voor het toekennen van onderzoeksgeld aan afdelingen (TNW, Erasmus

150


MC) versus het systeem dat wordt gebruikt voor belonen van individuele onderzoekers met onderzoekstijd (FSW, FEWEB). In het eerste sturingsmodel bepaalt de afdelingsmanager of de prikkel uit het systeem wordt doorgeven aan onderzoekers. Het systeem heeft geen directe betekenis voor onderzoekers. Onduidelijk is of en hoe de prikkels doorwerken op de werkvloer. In het tweede sturingsmodel worden onderzoekers rechtstreeks geprikkeld door het systeem. Onderzoekers krijgen onderzoekstijd toebedeeld op basis van hun individuele prestaties.

Type 1: Prikkel bereikt onderzoeker via managing professional (boundary spanner)

Bestuur

Bestuur

Prestatiemeetsysteem

Prestatiemeetsysteem

Managing professionals

Figuur 9.1

Type 2: Prikkel rechtstreeks naar onderzoeker, beperkte demping door managing professional

Managing professionals

Twee typen prestatiemeetsystemen Professionals

Professionals

Weinig ruimte voor interactie over prestatiecijfers De prestatiemeetsystemen en het proces van prestatiemeting zijn in alle faculteiten transparant. In de faculteiten waar op geaggregeerd niveau wordt gemeten en beloond zijn de systeemprotocollen (beschrijving van indicatoren, weging en procesinrichting) bekend bij afdelingshoofden en senior-onderzoekers. In de faculteiten waar op individueel niveau wordt beloond, zijn de protocollen beschikbaar bij alle onderzoekers voor wie het systeem relevant is. Alle systeemprotocollen zijn in de loop der jaren verfijnd en meer ‘waterdicht’ gemaakt om onduidelijkheden of opportunistisch gedrag tegen te gaan. Ook is er meer aandacht gekomen voor ‘bewijsmateriaal’ waarmee professionals moeten aantonen dat publicaties werkelijk bestaan (om ‘spookpublicaties’ tegen te gaan). Prestatiecijfers worden in de faculteiten aangeleverd door onderzoekers of secretariaten. Controle van cijfers geschiedt door een wetenschappelijke commissie of de centrale staf. Bij twijfel wordt overlegd met de betreffende onderzoeker c.q. onderzoeksafdeling. De systemen zijn duidelijk over wat wel en niet meetelt.


151

Weinig ruimte voor betekenisgeving aan prestatiecijfers Opvallend is dat betekenisgeving aan de prestatiecijfers niet overal centraal staat. De cijfers worden primair gebruikt om de financiële middelen uit de eerste geldstroom te verdelen. In de individueel gerichte systemen worden de prestatiecijfers nog wel besproken met de onderzoekers, waarbij in enkele gevallen ook bekeken wordt hoe het publicatiegedrag in lijn met het prestatiemeetsysteem kan worden verbeterd. Maar outputtellingen op afdelingsniveau vormen geen belangrijk gespreksonderwerp tussen afdelingsmanagement en faculteitsleiding. De outputcijfers over afgelopen jaren verdwijnen naar de financiële afdeling die de budgetten voor het volgende jaar berekent. Het gesprek tussen afdeling en faculteit gaat vaak over andere prestaties dan die in het systeem gemeten worden.

9.2

Eerste observatie: de systemen zijn schamel

De prestatiemeetsystemen voldoen niet aan de ideaaltypische kenmerken van prestatiemeetsystemen. Er wordt over het algemeen weinig rekening gehouden met de variëteit in onderzoeksoutput en er is weinig ruimte voor de dialoog over de betekenis van prestaties. Dat maakt de systemen in zekere zin armoedig. De systemen vormen starre rekenmodules met een beperkte aantal indicatoren voor de verdeling van onderzoeksgeld of -tijd. Dat de systemen schamel zijn, maakt de vraag intrigerend of zij betekenisvol kunnen zijn. Immers, op basis van bestaande inzichten uit de (management)literatuur mag aangenomen worden dat systemen, die slechts aangrijpen op een beperkt aantal kwantiteiten, strijdig zijn met de aard van de wetenschappelijke professie. In de wetenschappelijke professie zijn kwaliteit (beoordeeld door peers) en wetenschappelijke respectievelijk maatschappelijke betekenis van onderzoeksresultaten belangrijke waarden. Verwacht mag worden dat schamele systemen met een beperkt aantal kwantitatief georiënteerde indicatoren aanzetten tot strategisch gedrag en perversiteiten. Uit het case-onderzoek levert echter bevindingen waaruit blijkt dat het allemaal meevalt; positieve effecten voeren de boventoon en perverse effecten blijven hoofdzakelijk achterwege.

9.3

Betekenis van de prestatiemeetsystemen

Hierna wordt een overzicht gegeven van de belangrijkste bevindingen uit het caseonderzoek. Hierbij wordt onderscheid gemaakt tussen ‘gemeten’ effecten en de percepties van managing professionals.

152


’Gemeten’ effecten van prestatiemeetsystemen Prestatiemeting leidt tot stijging van gemeten output In hoeverre leiden de prestatiemeetsystemen tot een verbetering van prestaties op de gemeten waarden? Dit is onderzocht door te kijken naar de outputontwikkeling op de prestatie-indicatoren. Bezien over meerdere jaren (drie tot tien jaar) loopt de prestatieverbetering uiteen van circa tien tot veertig procent. In één case is prestatieverbetering niet traceerbaar (Faculteit TNW). Daar valt niet te achterhalen hoe de prestaties gedurende de looptijd van het systeem hebben ontwikkeld. Nauwelijks reallocatie van middelen naar best presterende eenheden Verschuiving van onderzoeksgeld naar productievere eenheden lijkt niet het hoogste doel van de onderzochte prestatiemeetsystemen. Vergaande reallocatie van middelen naar de best presterende onderdelen worden in sterke mate gedempt. In de Faculteit TNW en het Erasmus MC wordt de doorwerking van outputtellingen in budgetten gedempt, waardoor er geen grote verschuivingen plaatsvinden. Bij de financiële doorwerking van meetresultaten wordt zodanig gecorrigeerd dat afdelingen die goed presteren er eigenlijk maar weinig beter van worden in financieel opzicht. Voor afdelingen die binnen de kaders van het systeem slecht presteren geldt het omgekeerde; zij kunnen langs andere wegen toch facultair geld binnenhalen. De individueel gerichte systemen van de FSW en FEWEB leiden weliswaar tot meer onderzoekstijd bij goede prestaties, maar die onderzoekstijd is begrensd. Een afdeling kan in financieel opzicht niet verder groeien wanneer alle onderzoekers hun maximum onderzoekstijd hebben behaald. Gepercipieerde impact volgens de managing professionals Systemen zijn goed bekend bij vaste staf De bekendheid van de prestatiemeetsystemen bij professionals in de faculteiten is groot. Dat geldt vooral voor de individueel gerichte systemen waarbij onderzoekers zelf consequenties ondervinden van de onderzoeksoutput die zij hebben geleverd. In faculteiten waar op geaggregeerd niveau wordt gemeten is de bekendheid van de systemen beperkt tot afdelingsmanagers en senior-onderzoekers. Tijdelijke onderzoekers, zoals postdocs en aio’s, staan verder van het systeem af Prestatiefinanciering is op termijn niet meer weg te denken Ook de waardering voor de prestatiemeetsystemen is over het algemeen hoog. In de faculteiten wordt het belangrijk en aanvaardbaar gevonden dat onderzoeksgeld wordt verdeeld naar rato van onderzoeksprestaties. Ondanks dat er kritiek is op de prestatieindicatoren en wegingsfactoren valt prestatiefinanciering na verloop van tijd niet meer weg te denken voor onderzoekers. Hier kan ook sprake zijn van sociaal wenselijke


153

reacties en groupthink. Over de manier waarop prestaties moeten worden beoordeeld is wel de nodige kritiek. Twee voorname kritiekpunten: negeren en onderwaarderen van output De kritiek kan worden samengevat in twee punten. Ten eerste is er kritiek op het ontbreken van prestatie-indicatoren. Verschillende prestaties die in de ogen van de (managing) professionals belangrijk worden gevonden, worden genegeerd in het systeem. Voorbeelden zijn vakpublicaties, wetenschapscommunicatie, maatschappelijke activiteiten, het genereren van economische spin-off en deelname aan wetenschappelijke commissies. In drie van de vier onderzochte faculteiten wordt maar een zeer beperkt deel van de onderzoeksoutput zichtbaar gemaakt via het prestatiemeetsysteem. In de FSW wordt alleen gekeken of een onderzoeker twee gerefereerde artikelen heeft behaald in een periode van twee jaar, het systeem van het Erasmus MC laat alleen de artikelen in toptijdschriften zien en de FEWEB laat artikelen zien in tijdschriften die tot de tijdschriftenlijst behoren. In alle gevallen blijven boekpublicaties, publicaties in vaktijdschriften of bundels buiten beschouwen. TNW telt die publicaties wel, waardoor relatief veel onderzoeksoutput zichtbaar wordt. Ten tweede is er kritiek op de relatieve weging van prestatie-indicatoren en de begrenzing. Hierbij gaat het om bijvoorbeeld de ranking van wetenschappelijke tijdschriften, de onderwaardering van toppublicaties, de overwaardering van promoties en onderwaardering van niet-Engelstalige publicaties. Zoeken naar modus operandi Ondanks de kritiekpunten onderkennen de managing professionals het belang van het vinden van een modus operandi. Immers, niet alles kan gemeten worden en niet alles kan even belangrijk worden gevonden. In de FSW wordt het prestatieminimum van twee gerefereerde publicaties in twee jaar over het algemeen als een goede basis gezien. Afdelingen kunnen, rekening houdend met hun eigen publicatiecultuur, zelf aanvullende prestatiemaatstaven formuleren. In de andere faculteiten wordt geprobeerd de kritiek om te zetten in wijzigingen van het systeem. Regelmatig wordt de aanval geopend om bepaalde prestaties erkend of beter gewaardeerd te krijgen. Soms leidt dit tot successen, maar in veel gevallen rest slechts berusting in het vigerende systeem. Prestatiemeetsystemen zeggen bijna niets over onderzoekskwaliteit In de onderzochte prestatiemeetsystemen is gepoogd kwaliteitsverschillen van onderzoeksoutput zichtbaar te maken door te differentiëren naar hoog- en laaggekwalificeerde publicaties. Maar naar het oordeel van de managing professionals maken de systemen kwaliteitsverschillen nauwelijks zichtbaar. De keuzes die in de systemen zijn gemaakt zijn volgens hen op zijn minst arbitrair. Publicaties worden op basis van het tijdschrift of de vorm (hoofdstuk in boek, bundel, artikel in vaktijdschrift) waarin is gepubliceerd hoog of laag gewaardeerd, maar dat zegt nog weinig over de werkelijke kwaliteit van het onderzoek. De systemen maken dus slechts een ruw onderscheid tus-

154


sen output van hogere en lagere orde. Voor de meeste wetenschappelijke professionals is het onaanvaardbaar dat aan de hand van het prestatiemeetsysteem uitspraken worden gedaan over kwaliteit van onderzoek. De systemen geven weliswaar een overzicht van onderzoekskwantiteit (hoewel niet volledig omdat niet alle output wordt geteld), maar niet van kwaliteit. Voor een oordeel over onderzoekskwaliteit zal de onderzoeksoutput diepgaander beoordeeld moeten worden. Dit kan alleen door vakcollega’s die de wetenschappelijke werken op hun merites kunnen beoordelen. Prestatiemeetsystemen zetten aan tot doelgericht handelen De systemen dringen aan op het leveren van bepaalde typen onderzoeksoutput en zetten aan tot doelgericht handelen, dat wil zeggen: publiceren in de hooggewaardeerde outputcategorieën uit het systeem. Hierbij moet worden opgemerkt dat de hooggewaardeerde categorieën (gerefereerde tijdschriften met hoge impactfactor) sowieso wordt nagestreefd door ambitieuze professionals. De outputcategorieën die het zwaarst beloond worden, zijn ook de categorieën die het meeste aanzien genieten in de wetenschappelijke omgeving. Maar als iedereen zich uitsluitend zou richten op de prestatieindicatoren zou een erg eenzijdige output ontstaan. Dan was er in de meeste faculteiten geen ruimte meer voor (onderwijs)boeken, congresbundels, publicaties in beroeps- en vaktijdschriften, Nederlandstalige uitgaven, etcetera. Dat blijkt in de praktijk mee te vallen. Het ‘doelgericht’ handelen heeft dus zijn grenzen, wat in de ogen van veel onderzoekers, maar ook bestuurders misschien wel aangenaam is. Systemen dragen bij aan prestatiegerichtheid Managing professionals veronderstellen dat de prestatiemeetsystemen positieve invloed hebben op de prestatiegerichtheid van onderzoekers. Zonder prestatiemeetsysteem zou de onderzoekscultuur in de faculteit minder prestatiegedreven zijn, zo wordt in het algemeen verondersteld. Een interessante vraag is natuurlijk of faculteiten zonder prestatiemeetsysteem minder prestatiegericht zijn. Ook kan de vraag worden gesteld of er geen sprake is van een kip-ei-relatie: leidt prestatiemeting tot een prestatiecultuur of wordt prestatiemeting pas ingevoerd als er een prestatiecultuur is gevormd? Hogere productie is gevolg van vervangingseffect In de faculteiten waar prestatieverbetering zichtbaar is, lijkt dit vooral het gevolg van een vervangingseffect: door een strengere selectie van onderzoekers ‘aan de poort’ worden die onderzoekers geworven die goed kunnen scoren in de criteria van het systeem. Het prestatiemeetsysteem zet managing professionals dus aan selectief te zijn bij de aanstelling van onderzoekers. Na verloop van tijd zal het prestatiemeetsysteem een marginale meeropbrengst hebben voor de productiviteit c.q. verhoging van kwaliteit, omdat het vervangingseffect is voltooid. Het prestatiemeetsysteem is dan een instrument om het prestatieniveau te consolideren. Het systeem lijkt dus niet zozeer te leiden


155

tot prestatieverbetering bij individuele onderzoekers, maar wel tot een productievere onderzoekspopulatie. Prestatiemeetsystemen dragen niet bij aan onderzoekskwaliteit De prestatiemeetsystemen leiden nauwelijks of niet tot kwaliteitsverhoging van wetenschappelijk onderzoek. Eerder bleek al dat kwaliteit nauwelijks zichtbaar wordt gemaakt door de systemen. Daarbij komt dat kwaliteit ook niet door prestatiemeetsystemen wordt beïnvloed. Kwaliteit wordt in hoofdzaak bevorderd door andere aspecten, zoals selectiebeleid voor onderzoekers, interne peer review van onderzoeksvoorstellen en interne peer review van artikelen. Geen aantoonbaar manipulatief gedrag Is er sprake van manipulatief gedrag? De prestatiemeetsystemen bieden nauwelijks ruimte voor manipulatie van prestatiecijfers volgens de managing professionals. Mocht er ruimte voor zijn, dan maken de managing professionals zich er in ieder geval niet druk om. Harde aanwijzingen voor manipulatief gedrag zijn niet gevonden. Perverse effecten moeilijk aantoonbaar, maar ook niet uit te sluiten Prestatiemeetsystemen leiden tot strategisch gedrag, dat wil zeggen gedrag dat is gericht op het realiseren van output die in het systeem beloond wordt. Dat is vanuit de optiek van het systeem wenselijk, maar brengt soms ook perverse effecten met zich mee. Voorbeelden zijn de afname van bereidheid tot samenwerking (zelf scoren prevaleert boven samenwerken), bedreiging van interdisciplinair onderzoek (interdisciplinaire publicaties worden niet of slechter beloond dan monodisciplinaire publicaties), strategisch publiceren (niet publiceren in tijdschrift dat vanuit wetenschapsprofessioneel opzicht het meest voor de hand ligt, maar publiceren in tijdschrift dat beter scoort in het systeem) en strijd tussen afdelingen/onderzoekers om auteurschappen. Er zijn geen aanwijzingen dat perverse effecten zich op grote schaal voordoen. Niet-gemeten taken niet aantoonbaar verwaarloosd Worden niet-gemeten taken verwaarloosd? Ook hiervan lijkt geen sprake. Er zijn geen duidelijke aanwijzingen dat taken als onderwijs, commissiewerk of maatschappelijke taken systematisch verwaarloosd worden. Wel is vaak genoemd er een spanning bestaat tussen onderzoek en niet-beloonde werkzaamheden. Dat geldt vooral voor jonge onderzoekers. Ook zijn er veel geluiden over Nederlandstalige wetenschappelijke en vaktijdschriften die steeds minder kwalitatief hoogwaardige artikelen ontvangen, omdat die alleen worden aangeboden aan Engelstalige tijdschriften.

156

9.4


Tweede observatie: de schamele systemen hebben toch positieve effecten

Paradoxaal genoeg hebben de prestatiemeetsystemen weinig negatieve effecten. Weliswaar is in interviews regelmatig gesproken over een mogelijk verdringingseffect op niet-beloonde activiteiten, zoals kennisdisseminatie via maatschappelijke nevenfuncties, Nederlandstalige publicaties voor een niet-wetenschappelijk publiek of economische spin-off, maar dit leidt er niet toe dat prestatiemeetsystemen op grote schaal worden afgewezen. Hoewel breder in de Nederlandse wetenschapssector regelmatig geluiden klinken van wetenschappers over het verdringingseffect van de sterke oriëntatie op ‘toppublicaties’, wijzen andere wetenschappers erop dat juist wetenschappelijk toponderzoek onder druk staat vanwege de wens van externe financiers om praktijken nutsgericht onderzoek te doen. Om in aanmerking te komen voor tweede en met name derde geldstroom, die samen een aanzienlijk deel van de nationale onderzoeksfinanciering uitmaken, wordt van onderzoekers steeds vaker verwacht dat zij oplossingen aandragen voor maatschappij-georiënteerde vraagstukken. Hoewel in de interne allocatiemodellen dus weinig aandacht bestaat voor kennistoepassing en kennisvalorisatie, bestaat die in de voorwaarden voor externe financiering juist weer wel. De onderzochte prestatiemeetsystemen lijken over het algemeen een positieve invloed te hebben op gemeten prestaties. In een aantal faculteiten is de productiviteit duidelijk toegenomen. Over de onderzoekskwaliteit kan uit de systemen weinig worden afgeleid. De systemen meten vooral productiviteit en geen kwaliteit.

Schamele prestatiemeetsystemen

Figuur 9.2

Paradox van de schamele prestatiemeetsystemen

Gegeven de beschouwingen in hoofdstuk 3 van deze studie, waaruit bleek dat prestatiemeetsystemen contra-effectief kunnen werken in een omgeving van professionals, doemt de vraag op waarom niet op grote schaal weerstand wordt geboden aan een syseffecten teem dat geen recht doet aan de variëteit van onderzoek enPositieve publicatieculturen? Waarom wordt ingestemd met een systeem dat vooral productiviteit prevaleren en geen kwaliteit beloont?

Managing professionals tevreden


157

Waarom zijn er geen signalen dat de systemen leiden tot het reproduceren van bestaand onderzoek, het vermijden van risicovol onderzoek dat moeilijk publicabel is, afname van samenwerkingsbereidheid of verwaarlozing van niet-beloonde prestaties? Het caseonderzoek biedt hiervoor een aantal verklaringen.

9.5

Verklarende factoren: demping, boundary spanning en embeddedness

Drie typen verklarende factoren werpen licht op de paradoxale situatie waarin schamele en rigide prestatiemeetsystemen weinig negatieve effecten losmaken en over het algemeen op waardering kunnen rekenen.

I. Demping van prikkels

Figuur 9.3

I

II. Hitteschild van managing professionals

Schamele outputgeoriënteerde prestatiemeetsystemen

Drie typen verklarende factoren

Eerste groep factoren: dempende krachten

Prikkel gematigd door demping

Onderzoekers

Onderzoeksprestaties

III. Alternatieve zienswijzen en ‘meet-’ / beoordelingssystemen

De prestatiemeetsystemen hebben in financiële zin beperkte betekenis Het onderzoeksgeld dat intern wordt verdeeld op basis van onderzoeksoutput bedraagt bij TNW en Erasmus MC circa vijfentwintig procent van de totale eerste geldstroom voor onderzoek. In die faculteiten wordt ook onderzoeksgeld uit de eerste geldstroom buiten het systeem om verdeeld. De afdelingen krijgen een vaste basisbijdrage of kunnen intern geld verwerven op basis van andere criteria (bijvoorbeeld strategische investeringsbudgetten, beleidsgelden). In de twee andere faculteiten (FSW en FEWEB) beslaat de prestatiefinanciering een veel groter aandeel van de eerste geldstroommiddelen. De systemen hebben dus maar een beperkt bereik en zijn daardoor minder doordringend dan ze op het eerste gezicht lijken. Vaak worden onderzoekers beloond voor hun

158


goede prestaties, maar ook blijkt dat veel geld buiten het prestatiemeetsysteem om wordt verdeeld op basis van subjectieve en intern-politieke overwegingen; de strengheid van prestatiefinanciering heeft blijkbaar zijn grenzen. Het lijkt erop dat prestatiemeetsystemen feitelijk maar een beperkte betekenis hebben in een wetenschappelijke onderzoeksomgeving, ook als wordt gesuggereerd dat outputfinanciering een belangrijk doel is. Waar het systeem ‘schade’ toebrengt aan onderzoekers of onderzoeksgroepen, kunnen met beleidsgeld ‘reparaties’ worden uitgevoerd. Dit maakt het prestatiemeetsysteem voor de professional draaglijker. Als transparantie van de systemen beperkt is, verdwijnen de prikkels In twee van de onderzochte faculteiten (TNW, Erasmus MC) is weliswaar duidelijk welke onderzoeksoutput er toe doet in het systeem, maar het valt nauwelijks te berekenen hoeveel geld onderzoeksoutput precies oplevert. Daarvoor zijn de systemen in financieel-administratieve zin te complex. Alleen de financiële afdelingen kunnen uitrekenen wat onderzoeksoutput oplevert in een bepaald jaar. Voor de overige twee faculteiten (FEWEB en FSW) is geen sprake van een dergelijke transparancy cloud. Vanuit het perspectief van de professionals kan het gunstig zijn dat de prikkels in de complexe systemen gedempt worden. Immers, hoewel het systeem op papier aanzet tot presteren op een beperkt aantal parameters, blijkt dit in werkelijkheid minder voelbaar. Tijdsgat tussen prestatie en beloning In alle vier onderzochte prestatiemeetsystemen bestaat een tijdsgat tussen prestatie en beloning. Om begrotingstechnische redenen worden onderzoeksprestaties geleverd in jaar j pas beloond in jaar j + 2 (omdat in jaar j + 1 de begroting voor jaar j + 2 wordt opgesteld, en hierin gerekend wordt met de output van jaar j). Daarnaast worden onderzoeksprestaties over drie tot vijf jaren gemiddeld. In de begroting voor jaar j worden de prestaties van jaar j - 2, j - 3 en j - 4 (en in één van de faculteiten ook j - 5 en j - 6) gemiddeld. Door het middelen van onderzoeksprestaties worden grote fluctuaties in de toewijzing van middelen voorkomen. De relatie tussen prestatie en beloning wordt daardoor erg indirect. De voorspelbaarheid van het prestatiemeetsysteem neemt toe voor de professional. De reikwijdte van de prestatiemeetsystemen is beperkt en er zijn billijkheidsregelingen Hoewel prestatiemeetsystemen duidelijk en ‘hard’ zijn, wordt in alle cases ruimte geboden aan bijzondere gevallen. Sommige afdelingen (TNW, Erasmus MC) of onderzoekers (FSW, FEWEB) worden buiten het systeem gehouden, omdat zij redelijkerwijs niet in staat zijn te presteren naar de maatstaven van het systeem. In de faculteiten waar op individueel niveau wordt beloond kunnen onderzoekers een verzoek indienen om output die buiten het systeem valt toch te laten meetellen. De bewijslast ligt bij de onderzoeker. Een wetenschappelijke commissie besluit of er voldoende grond is om een


159

uitzondering toe te staan. In de faculteiten waar geaggregeerde prestaties worden geteld bestaat iets vergelijkbaars. II

Tweede groep factoren: managing professionals vormen ‘hitteschild’

Managing professionals zorgen voor boundary spanning Afdelingshoofden spelen een centrale rol bij de beperking van de perverse effecten van de systemen. Zij zijn de verbindende schakel tussen het bestuurlijk echelon dat het systeem heeft ingevoerd en de onderzoeksprofessionals van wie prestaties gemeten worden. Het is de (onuitgesproken) taak van de managing professionals om ervoor te zorgen dat de negatieve kanten van het prestatiemeetsysteem beperkt voelbaar zijn in de afdelingen. De managing professionals kunnen worden beschouwd als het ‘hitteschild’ tussen de bestuurlijke laag en de professionals.1 Zij kunnen de uitkomsten van het systeem langs drie wegen modereren. Ten eerste hebben afdelingshoofden de eindverantwoordelijkheid voor de toedeling van onderzoeksgeld binnen de afdeling. Zij bepalen in welke mate zij rekening houden met de uitkomsten van het systeem. Ten tweede heeft de managing professional de mogelijkheid om niet-gemeten prestaties onder de aandacht te brengen en te waarderen in bijvoorbeeld functioneringsgesprekken. Ten derde kunnen managing professionals een bemiddelende rol spelen bij de toepassing van billijkheidsregelingen en hardheidclausules door het faculteitsbestuur. Deze bevindingen sluiten aan bij ander onderzoek waaruit blijkt dat de rol van de manager, en met name zijn managementstijl, van belang is bij een succesvolle implementatie van prestatiemeting.2 ‘The manager indeeds makes difference!’3 Het hogere management is zelf afkomstig uit de professie De faculteitsbestuurders komen zelf voort uit de wetenschappelijke professie en hebben daardoor ook aandacht voor de mechanismen en wetenschappelijke processen die ten grondslag liggen aan prestaties. Hoewel de professional niet altijd zijn zin zal krijgen, is de faculteitsleiding een partij die vrij dichtbij de onderzoeker staat. Hij begrijpt de onderzoeker en kan zich inleven. Dit draagt bij aan het vertrouwen van professionals in de verzachtende omstandigheden rond het prestatiemeetsysteem. III

Derde groep factoren: ruimte voor andere zienswijze en systemen

Prestaties vanuit verschillende kanten gemeten Het succes of falen van een prestatiemeetsysteem is afhankelijk van de context waarin het systeem opereert.4 Andere systemen kunnen een andere kijk op de zaken geven. Naast de prestatiemeetsystemen voor de verdeling van onderzoeksgeld worden ook andere systemen worden gebruikt voor het meten van onderzoeksoutput. In het Erasmus MC wordt bijvoorbeeld uitgebreid verslag gedaan van alle wetenschappelijke output in het Annual Report. In de Faculteit TNW worden andere prestatie-indicatoren

160


dan die uit het prestatiemeetsysteem op een A4 samengebracht om het gesprek tussen faculteitsleiding en afdelingen te structureren. De FEWEB en FSW presenteerden andere typen outputcijfers dan in het prestatiemeetsysteem onlangs in hun zelfevaluatierapporten. Een omgeving van wetenschappelijke professionals zal over het algemeen behoefte hebben aan meervoudigheid en redundantie in de benadering van prestaties. Meervoudigheid impliceert dat de output op verschillende manieren kan worden gedefinieerd en dus ook op verschillende wijzen kan worden gemeten en beoordeeld. Redundantie is het verschijnsel dat verschillende productdefinities, prestatie-indicatoren en systemen van meten en oordelen elkaar overlappen en deels strijdig kunnen zijn.5 Prestatiemeetsystemen zijn ‘embedded systems’ De invoering van een prestatiemeetsysteem gaat vaak gepaard met de implementatie van andere prestatiegerichte research managementinstrumenten, die het prestatiemeetsysteem aanvullen of ongewenste effecten compenseren. De andere research management instrumenten kunnen worden onderscheiden in congruente en conflicterende instrumenten.6 Congruente instrumenten zijn in lijn met de waarden en criteria uit het prestatiemeetsysteem. Voorbeelden zijn: prestatiegerichte HRM-instrumenten: strenge selectieprocedures, prestatiegericht loopbaanbeleid, tenure track, individuele bonusregelingen voor goede prestaties; extra onderzoekssubsidies voor de versterking van goed presterende afdelingen; aanvullende budgetten vanwege een goede (externe) evaluaties of citatiescores. Conflicterende instrumenten staan haaks op het prestatiemeetsysteem. Voorbeelden zijn: inputfinanciering: interne projecten programmagelden die worden verdeeld op basis van onderzoeksplannen; facultaire budgetten voor kwetsbaar onderzoek, dakpanconstructies of overbruggingsgelden; inzetgaranties en matching van externe subsidies. De inbedding van de prestatiemeetsystemen in een breder stelsel van sturingsinstrumenten voorkomt dat een eenzijdige oriëntatie ontstaat op de door het systeem gemeten waarden. Onderzoeksmanagement vindt deels buiten de instelling plaats Onderzoeksmanagement gebeurt niet primair via het prestatiemeetsysteem, maar vindt grotendeels plaats buiten de instelling. Onderzoek vindt steeds vaker plaats in virtuele onderzoeksscholen en intra- of interuniversitaire onderzoeksinstituten. Onderzoekers hebben niet meer alleen een affiliatie met hun eigen faculteit, zij hebben ook een sturings- en verantwoordingsrelatie met externe partijen. Het prestatieregime dat de eigen faculteit oplegt is niet altijd maatgevend. Om mee te kunnen doen in een onderzoeksschool moeten onderzoekers vaak aan andere (of aanvullende) eisen voldoen. De invloed van het facultaire prestatiemeetsysteem wordt daardoor beperkt. Daarnaast ligt een deel van het management van onderzoeksprogramma’s buiten de eigen instelling vanwege de afhankelijkheid van tweede en derde geldstroom. Voor deze middelen


161

wordt verantwoording afgelegd aan externe organisaties. De criteria uit het interne prestatiemeetsysteem spelen geen rol van betekenis bij die externe verantwoording. Externe werfkracht kan meer opleveren dan het prestatiemeetsysteem Naast middelen uit de facultaire eerste geldstroom verwerven onderzoekers en afdelingen ook middelen uit de tweede en derde geldstroom. Onderzoeksgeld kan worden geworven bij externe fondsen in de tweede geldstroom (NWO, KNAW) en derde geldstroom (bijvoorbeeld stichtingen, bedrijven, Europese fondsen). De werfkracht in externe onderzoeksmiddelen varieert in de vier onderzochte faculteiten van circa twintig tot vijfenzestig procent. Dat relativeert het belang van het interne prestatiemeetsysteem. Het prestatiebudget als percentage van de totale onderzoeksmiddelen (eerste, tweede en derde geldstroom tezamen) varieert in de onderzochte faculteiten van negen circa tachtig procent. Met name in de Faculteit TNW en het Erasmus MC bedraagt het aandeel outputfinanciering in de totale onderzoeksfinanciering slechts respectievelijk negen en elf procent. Dit laat zien dat het prestatiemeetsysteem maar een beperkte invloed heeft op de onderzoeksbudgetten van onderzoeksafdelingen. Veel geld wordt buiten het prestatiemeetsysteem om verworven. Hierbij hoort de kanttekening dat de criteria voor de verdeling van extern fondsengeld meestal globaal overeenkomen met de criteria uit de prestatiemeetsystemen (bijvoorbeeld publicaties in wetenschappelijke toptijdschriften). In het Erasmus MC bestaat een relatie tussen de externe werfkracht en interne middelenverdeling. Hoge scores in door het systeem erkende fondsen leveren punten op in het prestatiemeetsysteem.

9.6

Derde observatie: prestatiemeting heeft ook een symbolische waarde

Hiervoor is gebleken dat de reikwijdte en impact van de prestatiemeetsystemen beperkt is door tal van dempende krachten. Deels is deze demping georganiseerd binnen de instelling: onderzoeksgroepen worden beschermd tegen negatieve consequenties, de prestatiebeloning wordt gebaseerd op meerjarige gemiddelden, een groot deel van de onderzoeksbijdrage ligt vast (lumpsum), er zijn aanpalende beloningsarrangementen en de faculteitsleiding heeft financiële beleidsruimte. Daarnaast liggen de dempende krachten buiten de instelling: werfkracht in de tweede en derde geldstroom kan meer opleveren dan het prestatiemeetsysteem. Als gevolg van de dempende maatregelen en de complexiteit van de systemen is het voor onderzoekers vaak moeilijk na te gaan hoeveel een eenheid output precies oplevert. Dit maakt dat de systemen niet alleen een beperkte reële, maar ook een symbolische waarde hebben. De systemen leiden tot een gestage en gedempte reactie. In de beperkte doorwerking ligt juist de kracht van de systemen. Het voordeel van de dempende maatregelen voor professionals is dat er enige zekerheid bestaat over onderzoeksfinanciering, ook als het even tegen zit of wanneer vanwege de aard van de wetenschappelijke discipline moeite bestaat om de kwantitatieve prestatiedoelen te realiseren.

162

9.7


Beperkingen van prestatiemeetsystemen als sturingsinstrument

Dat de prestatiemeetsystemen sec geen zaligmakend sturingsinstrument zijn en slechts een beperkte invloed kunnen hebben, is gebleken uit het voorgaande. Voorts geven de onderzochte systemen aanleiding tot enkele kritische kanttekeningen die kunnen worden geadresseerd aan het echelon van wetenschappelijke bestuurders en managers. Prestatiemeetsysteem in naam van de transparantie, maar die neemt vaak weinig toe Met name in de faculteiten waar geaggregeerde onderzoeksprestaties worden beloond hebben de systemen de neiging te verworden tot financieel-administratieve verdeelmodellen (TNW, Erasmus MC). De onderzoeksprestaties worden opgeteld en verrekend tot een bijdrage op afdelingsniveau zonder dat de cijfers die daarachter schuil gaan nog nader worden geanalyseerd en besproken. In de dialoog tussen wetenschappelijke bestuurders, managers en professionals spelen de cijfers geen zichtbare rol. Voor wetenschappelijke professionals is het gunstig dat over bredere zaken wordt gesproken dan alleen over outputcijfers, maar tegelijkertijd wordt bevestigd dat het systeem er in het interactieve proces van onderzoeksbeleid weinig toe doet. Beperkte toename van rationaliteit in beleid en besluitvorming De prestatiemeetsystemen bieden inzicht in onderzoeksprestaties, maar vormen niet de basis voor beleid en besluitvorming voor onderzoeksinvesteringen. Deze zijn gebaseerd op andere overwegingen dan de uitkomsten van het prestatiemeetsysteem, zoals bestuurlijke voorkeuren of onderzoeksinhoudelijke afwegingen. Onderzoeksgroepen die goed presteren kunnen niet per definitie rekenen op een toename van het onderzoeksbudget. Omgekeerd leiden zwakke prestaties niet tot een afname van onderzoeksinvesteringen. Ook hier geldt dat de wetenschappelijke professionals er baat bij hebben en dat de betekenis van het prestatiemeetsysteem blijkbaar beperkt is. Prestatiefinanciering is een ‘zero sum game’ De hoeveelheid eerste geldstroom neemt niet toe als alle afdelingen in een faculteit beter gaan presteren. Het onderzoeksbudget van de faculteit is in principe begrensd. Outputfinanciering zet afdelingen aan van jaar tot jaar meer te produceren, omdat andere afdelingen dat ook doen. Bij gelijkblijvend budget zal de beloning per prestatiepunt dalen. Het gevolg is een rat race en een inflatie van prestaties. Prestatiemeetsystemen hebben een beperkte houdbaarheidstermijn Als de systemen na verloop van tijd niet meer leiden tot een verdere productiviteitsstijging heeft het systeem uitsluitend nog betekenis om ‘de druk op de ketel’ te houden. Als de positieve effecten afvlakken kan de vraag worden gesteld: ‘what’s next?’


163

Referenties 1 2

3 4

5 6

Weggeman, M. (2007), Leidinggeven aan professionals. Niet doen!, Schiedam: Scriptum. Waal, A.A. de (2002) The role of behavioral factors in the succesful implementation and use of performance management systems, dissertatie, Amsterdam: Vrije Universiteit. Smet, Y. de, M. Gelderman & A.A. de Waal (2001), Control-stijl en het gebruik van de balanced scorecard, in: Tijdschrift voor BedrijfsAdministratie, 1(2), pp. 18-24. Mintzberg, H. (1979), The Structuring of Organizations: A Synthesis of the Research, Englewood Cliffs: Prentice Hall. Galbraith, J.R. (1988), Het ontwerpen van complexe organisaties, Alphen aan den Rijn: Samsom. Bruijn, J.A. de (2006), Prestatiemeting in de publieke sector. Tussen professie en verantwoording, Utrecht: Lemma. Meulen, B.J.R. van der & A. Rip (1994), Research institutes in transition, Centre for Studies of Science Technology and Society, Enschede: Universiteit Twente. Weijden, I. van der (2007), In search of performance. Research management within the Dutch public medical and health sector, proefschrift, Amsterdam: Vrije Universiteit. Balen, B. van & P. van den Besselaar (2007), Universitaire onderzoeksloopbanen, rapport van Science System Assesment, Den Haag: Rathenau Instituut, pp. 32-42. Fruijtier, B. & W. Brok (2007), Tenure track, een goed instrument voor talentmanagement? Inventarisatie van de risico’s en kansen van ‘tenure track’voor de werving, binding en loopbaanbegeleiding van wetenschappelijk talent op de Nederlandse universiteiten, Radboud Universiteit/VSNU.

165

10

Ontwerpprincipes voor prestatiemeetsystemen

Prestatiemeetsystemen voor wetenschappelijk onderzoek kunnen vaak meer kwaad dan goed doen. Dat was de veronderstelling op basis van de inzichten uit hoofdstuk 3. Uit de empirische studie blijkt dat, om ‘succesvol’ te kunnen zijn, dat wil zeggen zorgen dat positieve effecten de boventoon voeren over negatieve effecten, prestatiemeetsystemen op zijn minst aan een aantal voorwaarden moeten voldoen.

10.1 Basale voorwaarden Zinvolle prestatiemeting kent een aantal basale voorwaarden. Deze voorwaarden hebben betrekking op de legitimiteit van indicatoren, variëteit, systeemdynamiek, ruimte voor controle, duidelijkheid over de functies en gezamenlijke betekenisgeving. De basale systeem- en procesvoorwaarden zijn eerder besproken in hoofdstuk 3 en nog eens samengevat in tabel 10.1. Tabel 10.1 Systeem- en procesvoorwaarden voor prestatiemeetsystemen Systeemkenmerken: Proceskenmerken: Legitimiteit van indicatoren: herkenbaarheid en duidelijke relatie met het handelen.

Adequate controlemechanismen: cijfers zijn controleerbaar en gecontroleerd ten behoeve van de betrouwbaarheid en legitimiteit van prestatiebeloning.

Variëteit aan indicatoren: alle relevante activiteiten en resultaten zijn terug te vinden.

Transparantie van functies en fora: duidelijk is welke functies het prestatiemeetsysteem heeft en op welke plekken de resultaten worden besproken c.q. betekenis krijgen.

Dynamiek: indicatoren en systemen zijn niet statisch, maar kunnen worden aangepast aan een veranderende context.

Dialoog: er is ruimte voor interactie over prestatiecijfers, zodat de cijfers niet zonder meer als ‘waar’ en ‘hard’ worden bestempeld; er is plaats voor een verhaal achter de cijfers.

In het caseonderzoek bleek echter dat de onderzochte systemen maar in beperkte mate voldoen aan bovenstaande basale voorwaarden. In de cases kwam naar voren dat: -

veel soorten output helemaal niet of sterk ondergewaardeerd worden; beperkte ruimte bestaat voor aanpassing van prestatie-indicatoren aan de vakspecifieke context; prestatiecijfers geen onderwerp van gesprek vormen tussen beoordelaar en beoordeelde, maar slechts input zijn voor een financiële afrekening.

166


Ondanks het feit dat de onderzochte prestatiemeetsystemen op cruciale punten tekortkomingen laten zien, bleken zij te kunnen rekenen op draagvlak van managing professionals. Ook prevaleerden positieve effecten, zoals een prestatiegerichte cultuur, doelgericht publiceren en een verhoging van onderzoeksproductiviteit. Perverse effecten, die op basis van inzichten uit de literatuur verwacht werden, bleven grotendeels uit. Het case-onderzoek laat twee belangrijke groepen succesfactoren zien, die tevens als ontwerpprincipes voor prestatiemeting van wetenschappelijk onderzoek kunnen worden beschouwd: dempingsfactoren en contextfactoren. Organisaties hebben de natuurlijke neiging prestatiemeetsystemen te verfijnen, maar het blijkt vooral belangrijk de impact van prestatiemeting te beperken.

10.2 Ruimte voor dempingsfactoren Uit dit onderzoek blijkt dat prestatiemeetsystemen betekenisvol kunnen zijn onder de voorwaarde dat de systemen niet te veel impact hebben. De Wet van de Afnemende Effectiviteit (paragraaf 3.5) leidt ertoe dat systemen met een hoge impact, minder effect sorteren. Daarom kunnen rond armoedige systemen dempende krachten worden gecreëerd. Dempingsmaatregelen remmen de doorwerking, maar tegelijkertijd remmen zij ook de negatieve effecten. Verschillende vormen van demping zijn denkbaar. Welke dempende maatregelen precies worden genomen, is afhankelijk van de situatie. Belangrijk is het in gezamenlijkheid na te gaan waar de grens van redelijkheid ophoudt. Prestatiemeting is immers geen doel, maar een middel. En in bepaalde situaties kan het middel tekort schieten om het doel van prestatieverbetering te bereiken. Hierna worden vier voorkomende vormen van demping genoemd. Dempingsmaatregel 1: Niet iedereen draait mee Onderzoekers kunnen om redenen van fairness worden uitgesloten van deelname aan het prestatiemeetsysteem. Ook kan ervoor worden gekozen onderzoekers in beperkte mate te laten deelnemen. Dempingsmaatregel 2: Uitzonderingen zijn mogelijk Prestatiecijfers leiden niet in alle gevallen tot een harde afrekening; er is ruimte voor billijkheidsregelingen. Indien bepaalde typen prestaties ondergewaardeerd zijn, is er ruimte voor interventie door een wetenschappelijke arbitragecommissie. Bepaalde typen output kunnen binnen de categorieën worden geplaatst. Dempingsmaatregel 3: Tijdsgat tussen prestatie en beloning Het tijdsgat tussen prestatie en beloning is in universitaire prestatiemeetsystemen van nature vaak al vrij groot. De begrotingssystematiek in universiteiten zorgt ervoor dat in de begroting die in jaar j voor het jaar j + 1 wordt opgesteld de prestaties uit het jaar

10. ONTWERPPRINCIPES VOOR PRESTATIEMEETSYSTEMEN

167

j - 1, j - 2 of zelfs j - 3 een rol spelen. Dat betekent dat de financiering van onderzoek in bijvoorbeeld 2010 is gebaseerd op prestaties uit de jaren 2006-2008. Een tijdsgat dempt de prikkels en het hanteren van een gemiddelde voorkomt dat budgetten sterk van jaar tot jaar verschillen door fluctuaties in onderzoeksoutput. Dempingsmaatregel 4: Hitteschild draagt bij aan vertrouwen De managing professional (het afdelingshoofd of de onderzoeksleider) kan een centrale rol spelen bij het begeleiden van de prikkels uit een prestatiemeetsysteem. Een systeem heeft bijna per definitie een bepaalde mate van rigiditeit. De managing professional kan fungeren als een boundary spanner of hitteschild tussen de sterke prikkel van het systeem en de professional. De managing professional kent de achtergronden van het prestatiecijfer en kan richting het bestuur van de instelling een rol spelen bij de betekenisgeving en het toepassen van billijkheidsarrangementen.

10.3 Ruimte voor compenserende factoren Naast dempingsfactoren zijn er factoren die de negatieve effecten van prestatiemeting compenseren. Uit het onderzoek komen twee typen factoren naar voren: de sturende werking van andere geldbronnen en de sturende werking van alternatieve research management instrumenten. Compensatiefactor 1: Budget maar deels afhankelijk van onderzoeksoutput Slechts een deel van de interne onderzoeksmiddelen uit de eerste geldstroom wordt verdeeld langs de weg van het prestatiemeetsysteem. Naast outputfinanciering kan een bestuur alternatieve grondslagen voor budgetverdeling hanteren, bijvoorbeeld inzet van beleidsgelden (inputfinanciering), financiering op basis van kwaliteit (gebonden aan visitaties) of strategische inzet van gelden (startsubsidies voor nieuw onderzoek). In de praktijk blijkt ook dat de interne middelen uit de eerste geldstroom slechts een deel van het onderzoek financieren. Veel geld wordt via de tweede en derde geldstroom verworven, waardoor de invloed van het prestatiemeetsysteem beperkt wordt. Compensatiefactor 2: Andere research management instrumenten Een facultair of universitair prestatiemeetsysteem behoeft niet op zichzelf te staan. De professionele omgeving, het onderzoeksproces en de wetenschappelijke producten zijn te divers en complex om uitsluitend langs de lijn van een beperkt prestatiemeetsysteem te worden benaderd. Onderzoeksprestaties zullen op meervoudige wijze in beeld gebracht en beloond moeten worden. Alternatieve research management instrumenten zijn bijvoorbeeld: interne beleidsgelden, carrièrebeleid en financiële regelingen. Deze kunnen van dienst zijn om de tekortkomingen van het prestatiemeetsysteem te compenseren of ongewenste effecten van het systeem te compenseren. De instrumenten kunnen de waarden uit het prestatiemeetsysteem versterken, maar ook tegenspreken. Deze

168


meervoudigheid en redundantie past in een omgeving van wetenschappelijk onderzoek, waarin onderzoeksoutput niet altijd langs dezelfde meetlat gelegd kan worden.

10.4 Tot slot: agenda voor een dialoog over prestatiemeetsystemen Aan het eind van dit onderzoek passen enkele opmerkingen naar aanleiding van deze studie, die ruimte geven voor een debat over de toekomst van prestatiemeetsystemen. Allereerst is gebleken dat de systemen weinig inzicht geven in de wetenschappelijke kwaliteit van onderzoek. De systemen geven een kwantitatief beeld van voorname en minder voorname output, gebaseerd op de tijdschriften waarin wordt gepubliceerd. Welk spoor publicaties trekken in de wetenschappelijke literatuur wordt echter niet transparant. Ten tweede geven de systemen in het geheel geen beeld van de maatschappelijke impact van onderzoek. Daarvoor is een ander type onderzoeksevaluatie nodig, een evaluatiemethodiek met een analytisch karakter en enige diepgang. Om inzicht te krijgen in de maatschappelijke betekenis van onderzoek en de interactie met actoren die behoefte hebben aan bepaalde kennis, zijn prestatiemeetsystemen in hun huidige vorm van weinig waarde. Ten derde zetten de systemen de onderzoeksoutput niet in het perspectief van de missie van onderzoeksgroepen. Niet elke onderzoeksgroep heeft dezelfde typen onderzoek en doelen voor ogen (fundamenteel, toegepast, monodisciplinair, interdisciplinair, gericht op wetenschappelijk debat, gericht op beleid, professionals, samenleving). Andere accenten in onderzoeksdoelen leiden tot andere typen output. Prestatiemeetsystemen geven geen ruimte om daar zicht op te krijgen. Tot slot gaan prestatiemeetsystemen uit van ‘gesloten’ onderzoeksorganisaties. De interne output wordt geteld, zonder dat rekenschap wordt gegeven van de interactie met de onderzoeksomgeving. De wetenschapssector is in beweging: door technische mogelijkheden staan wetenschapsorganisaties steeds minder op zichzelf, maar maken deel uit van kennisintensieve netwerken met tal van interacties en interdependenties binnen de wetenschap en met publieke en private organisaties buiten de wetenschapssector. Gezien de simpelheid en starheid van veel prestatiemeetsystemen ligt een belangrijke uitdaging in het ontwikkelen van systemen voor onderzoeksbeoordeling en onderzoekssturing die meer recht doen aan de positie die wetenschap wil innemen in haar context.

169

Literatuur Aknes, D.W. & R.E. Taxt (2004), Peer review and bibliometric indicators: a comparative study at a Norwegian university, in: Research Evaluation, 13, pp. 3-17. Algera, J.A. (2000), Performance management in organisaties, tien jaar ervaring met ProMES, in: Bedrijfskunde, 2, pp. 14-19. Algera, J.A., L. Monhemius & C.J.D. Wijnen (1997), Quality improvement: combining ProMES and SPC to work smarter, in: European Journal of Work and Organizational Psychology, 3, pp. 261-278. Allen, T. (1970), Communication networks in R&D laboratories, in: R&D Management, 1(1), pp. 14-21. Allison, P.D. & J.S. Long (1990), Departmental effects on scientific productivity, in: American Sociological Review, 55(4), pp. 469-478. Altman, L.K. (1996), The Ingelfinger rule, embargoes and journal peer review – part 1 in: Lancet, 347: pp. 1382-1386, part 2 pp. 1459-1463. Anthony, R.N. (1965), Planning and control systems: a framework for analysis, Boston: Harvard Business School Press. Arriëns, T.E.H. (1970), Universitaire bestuursorganisatie, Alphen aan den Rijn: Samsom. AWT (2001a), Handelen met kennis. Universitair octrooibeleid omwille van kennisbenutting, Den Haag. AWT (2001b), Wijsheid achteraf. De verantwoording van universitair onderzoek, adviesnr. 51, Den Haag. AWT (2004), De prijs van succes. Over matching van onderzoekssubsidies in kennisinstellingen, adviesnr. 58, Den Haag. AWT (2005a), De waarde van weten. De economische betekenis van universitair onderzoek, adviesnr. 62, Den Haag. AWT (2005b), Een vermogen betalen. De financiering van universitair onderzoek, Den Haag. AWT (2007), Weloverwogen impulsen. Strategisch investeren in zwaartepunten, adviesnr. 72, Den Haag. Badawy, M.K. (2007), Managing human resources: technical professionals are not only an R&D organization's greatest asset but its most expensive, in: Research Technology Management (July). Baggen, P., J. Faber & E. Homburg (2003), Opkomst van en kennismaatschappij, in: J. Schot, H. Lintsen & A. Rip (red.), Techniek in Nederland in de twintigste eeuw. Deel VII, Zutphen: Walburg Pers, pp. 159-164. Bailyn, L. (1985), Autonomy in the industrial R&D lab, in: Human Resource Management, 24(2), pp. 129-146.

170


Balen, B. van & P. van den Besselaar (2007), Universitaire onderzoeksloopbanen, rapport van Science System Assesment, Den Haag: Rathenau Instituut. Bandura, A. (1989), Human agency in social cognitive theory, in: American psychologist, 44(9), pp. 1178-1184. Bandura, A. (1990), Perceived self-efficacy in the exercise of personal agency, in: Applied Sport Psychology, 2, pp. 128-163. Baron, J.N. & D.M. Kreps (1999), Strategic human resources: frameworks for general managers, New York: John Wiley & Sons. Baumeister, R.F., T.F. Heatherton, & D.M. Tice (1994), Losing Control: How and Why People Fail at Self-Regulation, San Diego, CA: Academic Press. Bazeley, P. (1998), Peer review and panel decisions in the assessment of Australian research council project grant applicants: what counts in a highly competitive context?, in: Higher Education, 35(4), pp. 435-452. Behn, R.D. & P.A. Kant (1999), Strategies for avoiding the pitfalls of performance contracting, in: Public Productivity and Management Review, 4, pp. 470-489. Besselaar, P. van den & L. Leydesdorff (2007), Research budget allocation and bibliometric indicators. An assessment, Den Haag: Rathenau Instituut. Biemans, W.G. & J. van der Meer-Kooistra (1994), Case study research voor bedrijfskundig onderzoek, in: Bedrijfskunde, 66, pp. 51-56. Blume, S.S., J.B. Spaapen & A.A.M. Prins (1985), De externe beoordeling van wetenschappelijk onderzoek aan Nederlandse universiteiten en hogescholen. Twee jaar Voorwaardelijke Financiering: een leerproces, Den Haag: Staatsdrukkerij. Boer, H.F. de (2003), Institutionele verandering en professionele autonomie. Een empirisch-verklarende studie naar de doorwerking van de wet ‘Modernisering Universitaire Bestuursorganisatie (MUB)’, proefschrift, Universiteit Twente. Bouckaert, G. (1995), Measuring quality, in: C. Politt & G. Bouckaert (ed.), Quality improvement in European public services, London: Sage Publications. Bouckaert, G. & W. Balk (1991), Public productivity measurement: diseases and cures, in: Public Productivity & Management Review, 15(2), pp. 229-235. Bouckaert, G. & J. Halligan (2008), Managing performance. International comparisons, London/New York: Routledge. Brandstätter, V., D. Heimbeck, J.T. Malzacher & M. Frese (2003), Goals need implementation intentions: the model of action phases tested in the applied setting of continuing education, in: European Journal of Work and Organizational Psychology, 12, pp. 37-59. Broere, H. (2001), Symbol City, Den Haag: NSOB. Bruijn, J.A. de (2006), Prestatiemeting in de publieke sector. Tussen professie en verantwoording, Utrecht: Lemma. Bruijn, J.A. de (2008), Managers en professionals. Over management als probleem en oplossing, Den Haag: Sdu Uitgevers, p. 36-39.

LITERATUUR

171

Bruijn, J.A. de & J. van Helden (2007), Effectief prestatiemanagement bij professionele organisaties in de publieke sector, in: Overheidsmanagement, 20(1), pp. 20-26. Bureau Industrieel Eigendom (2001), Het octrooigedrag van de Nederlandse kennisinfrastructuur over de periode 1980-1999, Den Haag. Butler, D. (1998), Interdiscplinary research being stifled, in: Nature, 396, p. 202. Campbell, D.F.J. (2003), The evaluation of university research in the United Kingdom and the Netherlands, Germany and Austria, in: P. Shapira & S. Kuhlmann (eds.), Learning from science and technology policy evaluation. Experiences from the United States and Europe, Cheltenham: Edward Elgar, pp. 98-131. Camps, T.W.A. (1995), Het besloten concilie der deskundigen. Een studie naar de praktijk van strategische besluitvorming en bestuurlijke informatievoorziening in Nederlandse universiteiten in de periode 1975-1990, proefschrift, Universiteit Twente. Canton, E. & R. Venniker (2001), Economics of education, in: Higher education reform. Getting the incentives right, Den Haag: Sdu. CBS (2003), Kennis en economie, Voorburg. CBS (2004), Kennis en Economie, Voorburg. Chiesa, V., P. Coughlan & C.A. Voss (1996), Development of a technical innovation audit, in: Journal of Productive Innovation Management, 13, pp. 105-136. Cicchetti, D.V. (1991), The reliability of peer review for manuscript and grant submission: a cross-disciplinary investigation, in: Behaviorial and Brain Sciences, 14(1), pp. 119-186. Clevers, H. (2005), Hoe maken we de Nederlandse wetenschap beter? Rede uitgesproken bij de aanvaarding van het ambt van hoogleraar in de Faculteit der Diergeneeskunde en in de Faculteit Geneeskunde aan de Universiteit Utrecht op het vakgebied van de Moleculaire Genetica. Commissie Dynamisering (2006), Investeren in dynamiek, deel 1, Den Haag. Coupe, T. (2003), Human, all to human… - on the behaviour of scientists and universities, Brussel: Vrije Universiteit Brussel. CPB (2002), De pijlers onder de kenniseconomie: opties voor institutionele vernieuwing, Den Haag. CPB (2003), Prikkel de prof. Een analyse van de bekostiging van universitair onderzoek, Den Haag. CPB (2004), Contra-expertise op AWT-advies ‘De prijs van succes’, documentnr. 62, Den Haag. De Mey, M. (2005), Scoren en scorekeeping in de humane wetenschappen, bijdrage aan KNAW-bijeenkomst naar aanleiding van het rapport Judging research on its merits, Amsterdam: KNAW. Debackere, K & W. Glänzel (2004), Using bibliometric approach to support research policy making: the case of the Flemish BOF-key, in: Scientometrics, 29(2), pp. 253276.

172


Deem, R. (1998), New managerialism and higher education: the management of performances and cultures in universities in the United Kingdom, in: International Studies in Sociology of Education, 8, pp. 47-70. Dehue, T. (2001), Pas op je tellen, in: Academische Boekengids, nr. 29. Donschot, H. van & M. Venus (1999), Behoud van jong talent in professionele organisaties, scriptie, GITP Management Opleidingen/Nijmegen Business School. Dooren, W. van (2006), Performance measurement in the Flemish public sector: a supply and demand approach, proefschrift, Katholieke Universiteit Leuven. Eckstein, H. (1975), Case study and theory in political science, in: F.I. Greenstein & N.W. Polsby (eds.), Strategies of inquiry, Reading, MA: Addison-Wesley. ECOS (2005), Positie van onderzoeksscholen, Amsterdam: KNAW. Elton, L. (2000), The UK Research Assessment Exercise: unintended consequences, in: Higher Education Quarterly, 54(3), pp. 274-283. Ernst & Young Accountants (2004), De omvang van matching. Onderzoek naar de effecten van matching van de tweede en derde geldstroomfinanciering op de beleidsruimte van Nederlandse, publieke kennisinstellingen. Fisscher, O.A.M. (1986), Wetenschap bedrijven. Onderzoek in drie researchinstellingen naar de sturing en motivatie in samenhang met de gerichtheid van het researchwerk, proefschrift Rijksuniversiteit Groningen, Groningen: Van der Kamp. Flinterman, J.F. & R. Teclemariam-Mesbah et al. (2001), Transdisciplinarity: the new challenge for biomedical research, in: Bulleting of Science, Technology & Society, 21(4), pp. 253-266. Frederickson, G.H. (2001), Getting ranked, in: Change, 33(1), pp. 49-55. Frey, B.S. & R. Jegen (2000), Motivation Crowding Theory: A Survey of Empirical Evidence, Zurich IEER Working Paper No. 26.

Fruijtier, B. & W. Brok (2007), Tenure track, een goed instrument voor talentmanagement? Inventarisatie van de risico’s en kansen van ‘tenure track’ voor de werving, binding en loopbaanbegeleiding van wetenschappelijk talent op de Nederlandse universiteiten, Radboud Universiteit/VSNU. Galbraith, J.R. (1988), Het ontwerpen van complexe organisaties, Alphen aan den Rijn: Samsom. Garfield, E. (1979), Citation indexing. Its theory and application in science, technology and humanities, New York: Wiley. Gecas, V. (1989), The social psychology of self-efficacy, in: Annual Review of Sociology, 15, pp. 291-316. Geen, R.G. (1995), Human motivation: a social psychological approach, Pacific Grove, CA: Brooks/Cole. Genua, A. (2001), The changing rationale for European university research funding – are there negative unintended consequences?, in: Journal of Economic Isues, 53, pp. 607-632.

LITERATUUR

173

Genua, A. & B. Martin (2003), University research evaluation and funding: an international comparison, in: Minerva, 41, pp. 277-304. Georghiou, L. (1990), Evaluation of research and technology – some broader considerations, in: H. Krupp (ed.), Technikpolitik angesichts der Umweltkatastrophe, Heidelberg: Physica-Verlag, pp. 224-232. Gibbons, M, C. Limoges, H. Nowotny, S. Schwartzman, P. Scott & M. Trow (1994), The new production of knowledge: the dynamics of science and research in contemporary societies, London: Sage. Gibbons, R. (1998), Incentives in organizations, in: Journal of Economic Perspectives, 12(4), pp. 115-132. Glänzel, W, B. Schlemmer & B. Thijs (2003), Better late than never? On the chance to become highly cited only beyond the standard bibliometric time horizon, in: Scientometrics, 58, pp. 415-428. Gouldner, A.W. (1958), Cosmopolitans and locals: towards an analysis of latent social roles II, in: Administrative Science Quarterly, 2, pp. 444-480. Grizzle, G. (2002), Performance measurement and dysfunction: the dark side of quantifying work, in: Public Performance and Management Review, 25(4), pp. 363-369. Groot, T. & T. García-Valderrama (2006), Research quality and efficiency. An analysis of assessments and management issues in Dutch economics and business research programs, in: Research Policy, 35, pp. 1362-1376. Guba, E.G. & Y.S. Lincoln (1989), Fourth generation evaluation, Newbury Park CA: Sage Publications. Hackman, H., P.J.D. Drenth & J.J.F. Schroots (2004), Evaluating for science: processes and protocols, Amsterdam: ALL European Academies. Haselbekke, A.G.J., H.L. Klaassen, A.P. Ros & R.J. in ’t Veld (1990), Prestatie tellen. Kengetallen als instrument voor een bedrijfsmatig(er) bestuur en beheer van decentrale eenheden, Den Haag: VNG. Hertog, P. den (1996), User involvement in RTD concepts, practices and policy lessons, Apeldoorn: TNO. Hicks, D. & D. Olivastro (1998), Are There Strong In-State Links Between Technology and Scientific Research, Issue Brief, Division of Science Resources Studies, Cherry Hill: CHI Research. Hoffman, J. (1998), Judge Not, Law Schools Demand Of a Magazine That Ranks Them, in: New York Times, February 19. Hofstede, G. (1981), Management control of public and not-for-profit activities, in: Accounting, Organizations and Society, 6(3), p. 193-211. Holmstrom, B. & P. Milgrom (1991), Multitask principal-agent analysis: incentive contracts, asset ownerships and job design, in: Journal of law, economics and organization, 7, special issue.

174


Horrobin, D.F. (1990), The philosophical basis of peer review and the suppression of innovation, in: Journal of the American Medical Association, 263(10), pp. 14381441. http://www.aaskolnick.com/naswmav.htm http://www.nature.com/nature/peerreview/debate/index.html Hurley, J. (1997), Organization and scientific discovery, New York: John Wiley & Sons. International Research Management Evaluation Committee (2005), Report on the research management of the university medical centers in the Netherlands. Jagersma, P.K. (1993), Methodologie van organisatie onderzoek: de gevalstudie, in: Maandblad voor Accountancy en Bedrijfseconomie, 2, pp. 57-65. Jansen, P.G.W. (2006), Performance management and control, Amsterdam: Vrije Universiteit. Jansen, P.G.W. & A.A. de Waal (2004), Prestatiemanagement van betrokkenheid in de publieke sector, in: Gedrag en Organisatie, 17(6), pp. 505-517. Jenkins, G.D., N. Gupta, A. Mitra & J.D. Shaw (1998), Are financial incentives related to performance? A meta-analytic review of empirical research. In: Journal of Applied Psychology, 83(5), pp. 777-787. Jensen, M.C. & W.H. Mecking (1976), Theory of the firm: managerial behavior agency costs and ownership structure, in: Journal of Financial Economics, nr. 3, pp. 305-360. Jensen, R. & M. Thursby (2003), The academic effects of patentable research, NBER Higher Education Meeting, May 12. Johnes, G. (1988), Research performance indicators in the university sector, in: Higher Education Quarterly, 42, pp. 54-71. Jongbloed, B. (2002), Bekostiging van universitair onderzoek: perspectieven op een nieuw sturingsarrangement, rapport van de werkgroep Financiering Master, Enschede: CHEPS. Jongbloed, B. & C. Salerno (2003), De bekostiging van het universitaire onderwijs en onderzoek in Nederland. Modellen, thema’s en trends, Enschede: CHEPS. Jongbloed, B., C. Salerno, J. Huisman & H. Vossensteyn (2005), Research prestatiemeting: een internationale vergelijking, CHEPS-rapport in opdracht van Ministerie van OCW, Universiteit Twente. Jongbloed, B. & B. van der Meulen (2006), De follow-up van onderzoeksvisitaties, rapport van CHEPS, tevens deel 2 van de publicatie Investeren in dynamiek van de Commissie Dynamisering, Enschede: CHEPS. Kanter, R.M. (1988), When a thousand flowers bloom: structural, collective and social conditions for innovation in organizations, in: Research in Organizational Behavior, 10, pp. 169-211.

LITERATUUR

175

Kerr, S., M.A. von Glinow & J. Schriesheim (1977), Issues in the study of ‘professionals’ in organizations: the case of scientists and engineers, in: Organizational Behaviour and Human Performance, vol. 18, pp. 329-345. Klein, R. & N. Carter (1988), Performance measurement: a review of concepts and issues, in: D. Beeton (ed.) Performance Measurement. Getting the concepts right, Londen. Kloot, L. (1997), Organizational learning and management control systems: responding to environmental change, in: Management Accounting Research, nr. 8, pp. 47-73. Knaap, P. van der (2000), Resultaatgerichte verantwoordelijkheid, in: Bestuurskunde, nr. 5, pp. 237-247. KNAW (2005) Judging research on its merits, rapport van de Raad voor de Geesteswetenschappen en Sociaal-Wetenschappelijke Raad, Amsterdam. Koelman, J. & R. Venniker (2001), Public funding of academic research: the Research Assessment Exercise of the UK, in: Higher education reform. Getting the incentives right, Den Haag: Sdu. Koopman, P. (1996), Aansturings- en beheersingsmechanismen in groepen, in: Gedrag en organisatie, 1996-9, nr. 6, pp. 385-400. Kornhauser, W. (1962), Scientists in industry. Conflict and accommodation, Berkeley/ Los Angeles: University of California Press, p. 197. Kyvik, S. & I. Marheim Larsen (1994), International contact and research performance, in: Scientometrics, 29(1), pp. 161-172. Lammers, C.J. (1983), Organisaties vergelijkenderwijs. Ontwikkeling en relevantie van het sociologisch denken over organisaties, Utrecht/Antwerpen: Het Spectrum. Larsen, B. (2001), One measurement is better than 1,000 opinions: is it? In: Managerial Auditing Journal, 2, pp. 63-68. Latham, G.P. & K.N. Wexley (1981), Increasing productivity through performance appraisal, Reading, MA: Addison-Wesley. Latham, G.P. & Wexley, K.N. (1994), Increasing productivity through performance appraisal, Reading, MA: Addison-Wesley. Laudel, G. (2004), Conclave in the Tower of Babel: how peers reiview interdisciplinairy research, in: Proceedings TASA 2004 conference, La Trobe University, Beechworth Campus. Lawrence, R.J. & C. Després (2004), Futures of transdisciplinarity, in: Futures, 36, pp. 397-405. Lazear, E.P. (1997), Incentives in basic research, in: Journal of Labor Economics, 15(1), S167-S197. Lazear, E.P. (2000), Performance pay and productivity, in: American Economic Review, 90(5), pp. 1346-1361. Leeuw, F.L. (2000), Onbedoelde neveneffecten van outputsturing, controle en toezicht?, in: Raad voor Maatschappelijke Ontwikkeling, Aansprekend burgerschap, Den Haag, pp. 149-171.

176


Leeuw, F.L. (2001), Evaluatieonderzoek, auditing en controle in Nederland anno 2000, in: T.A. Abma & R. in ’t Veld, Handboek beleidswetenschap, Amsterdam: Uitgeverij Boom. Leeuwen, T.N. van (2004), Second generation bibliometric indicators. The improvement of existing and development of new bibliometric indicators for research and journal performance assessment procedures, proefschrift, Universiteit Leiden. Lijphart, A. (1971), Comparative politics and the comparative method, in: American Political Science Review, 65, p. 691. Locke, E.A. (1968), Toward a theory of task motivation and incentives, in: Organizational Behavior & Human Performance, 3(2), pp. 157-189. Lohman, F. (1999), The effectiveness of management information, a design approach to contribute to organizational control, proefschrift, Technische Universiteit Delft. Long, J.S. & R. McGinnis (1981), Organizational context and scientific productivity, in: American Sociological Review, 46(4), pp. 422-442. Lootsma, F.A. (2002), Evaluaties in Nederland. De beste stuurlui staan te tellen en te wegen, Technische Universiteit Delft. Lyall, C., A. Bruce, J. Firn, M. Firn & J. Tait (2004), Assessing end-use relevance of public sector research organizations, in: Research Policy, 33, pp. 73-87. Mahoney, M.J. (1977), Publication prejudices: an experimental study of confirmatory bias in the peer review system, in: Cognitive Therapy and Research, 1, pp. 161-175. Maister, D.H. (1997), Een echte professional, Schoonhoven: Academic Service. Martin, B. (1996), The use of multiple indicators in the assessment of basic research, in: Scientometrics, 36(3), pp. 343-362. Martin, B. (2000), Research grants: problems and options, in: Australian Universities’ Re-view, 43(2), pp. 17-22. Martins, R.A. (2000), Use of performance measurement systems: some thoughts towards a comprehensive approach, in: A. Neely (ed.), Performance measurement – past, present and future, Centre for Business Performance, Cranfield University, Cranfield, pp. 363-370. Martinson, B.C., M.S. Anderson & R. de Vries (2005), Scientists behaving badly, in: Nature, 435, pp. 737-738. Massy, W.F. (1996), Resource allocation in higher education, Michigan: The University of Michigan Press. Massy, W.F. & A. Wilger (2000), Why is research the rule? The impact of incentive systems on faculty behavior, in: The Landscape, March/April 2000, National Center for Postsecondary Improvement, Stanford University. Mayntz, R. (1985), Forschungsmanagement: Steurerungsversuche zwischen Scylla und Charybdis. Probleme der Organisation und Leitung von hochschulfreien, offentlicht finanzierten Forschungsinstituten, Opladen: Westdeutscher Verlag.

LITERATUUR

177

Mayo, E. (1933), The human problems of industrial civilization, New York: Macmillan. McClelland, D. (1987), Human motivation, Cambridge: Cambridge University Press. McDavid, J.C. & L.R.L. Hawthorn (2006), Program evaluation and performance measurement: an introduction to practice, Thousand Oaks: Sage. McKeachie, W. (1979), Perspectives from psychology, in: D. Lewis & W. Becker (eds), Academic rewards in higher education, Massachusetts: Ballinger. MEC (2007) Trust, but verify, rapport van de Meta-Evaluatiecommissie, Amsterdam. Melin, G & R. Danell (2006), The top eight percent: development of approved and rejected applicants for a prestigious grant in Sweden. In: Science & Public Policy, 33, pp. 702-712. Merchant, K.A. (1998), Modern management control systems: text & cases, Prentice Hall, Upper Saddle River, NJ. Merton, R.K. (1968a), The Matthew effect in science. The reward and communication systems of science are considered, in: Science, 159(3810), pp. 56-63. Merton, R.K. (1968b), Social theory and social structure, expanded edition, Glencoe, IL: Free Press. Merton, R.K. (1973), The sociology of science: theoretical and empirical investigations, Chigago: University of Chigago Press. Merton, R.K. (1988), The Matthew effect in science, II. Cumulative advantages and the symbolism of intellectual property, in: ISIS, 79, pp. 606-623. Metzger, N. & R. Zare (1999), Interdisciplinary research: from belief to reality, in: Science, 283, pp. 642-643. Meulen, B.J.R. van der & A. Rip (1994), Research institutes in transition, Centre for Studies of Science Technology and Society, Enschede: Universiteit Twente. Meyer, M.W. & V. Gupta (1994), The performance paradox, in: Research in Organizational Behavior, 16, pp. 309-369. Mills, P.K. & G.R. Ungson (2003), Reassessing the limits of structural empowerment: organizational constitution and trust as controls, in: Academy of Management Review, 28(1), pp. 143-153. Ministerie van OCW (2007), Kerncijfers 2002-2006, Den Haag. Ministerie van OCW, OCW Courant, 19 september 2006. Ministerie van OCW, Wetenschapsbudget 2004. Focus op excellentie en meer waarde, Den Haag. Minogue, K. (1986), Political science and the gross intellectual product, in: Government and Opposition, 21, pp. 396-405. Mintzberg, H. (1979), The Structuring of Organizations: A Synthesis of the Research, New York: Prentice Hall. Mintzberg, H. (1989), Mintzberg on management: inside our strange world of organizations, New York: The Free Press. Moed, H.F. (2005), Citation analysis in research evaluation, Dordrecht: Springer.

178


Morris, N. (2002), The developing role of departments, in: Research Policy, 31(5), pp. 817-833. Mouwen, C.A.M. & S.C. van Bijsterveld (2000), De hybride universiteit: het onverenigbare verenigd? De integratie van taak en markt in de universiteit van de toekomst, Den Haag: Elsevier Bedrijfsinformatie. Moynihan, D.P. (2008), The dynamics of performance management. Constructing information and reform, Washington: Georgetown University Press. Mul, J. de (2005), Publish and perish!, in: Tijdschrift voor Filosofie, 68, pp. 417-434. National Partnership for Reinventing Government (1999), Balancing measures: best practices in performance management, http://www.npr.gov/library/papers/bkgrd/ balmeasure.html. Neely, A. (1998), Measuring business performance, why, what and how, London: The Economist Books. NOWT (2005), Wetenschaps- en technologie-indicatoren 2005, publicatie in opdracht van het Ministerie van Onderwijs, Cultuur en Wetenschap, Directie Onderzoek en Wetenschapsbeleid, Leiden/Maastricht: CWTS/MERIT. NWO (1995), Kennis Verrijkt, Den Haag. NWO, brief aan de MEC, maart 2007. Obbink, H. (2000) Bureaucratie rondom onderzoek smoort creativiteit, in: Ad Valvas, Vrije Universiteit Amsterdam. Odiorne, G.S. (1978), MBO: a backward glance, in: Business Horizons, 10, pp. 14-24. OECD (1998), University research in transition, Group on the Science System, Paris: OECD. Oostrom, F. van (2007), Markt en ziel, jaarrede voor de Verenigde Vergadering van de KNAW, Amsterdam. O’Reilly, C.A. & J. Chatman (1986), Organizational commitment and psychological attachment: the effects of compliance, identification and internalization on prosocial behavior, in: Journal of Applied Psychology, 71, pp. 492-499. Organ, D. & K. Ryan (1995), A meta-analytic review of attitudinal and dispositional predictors of organizational citizenship behaviour, in: Personnel Psychology, 48, pp. 775-802. Osborne, D. & T. Gaebler (1992), Reinventing government: how the entrepreneurial spirit is transforming the public sector, New York: Perseus Publishing. Osborne, D. & P. Plastrik (1997), Banishing bureaucracy, Reading, MA: Addison Wesley. Osborne, D. & P. Plastrik (2000), The reinventors fieldbook. Tools for transforming your government, San Fransisco: Jossey-Bass. Osseweijer, P. (2006), A short history of talking biotech. Fifteen years of iterative action research in institutionalising scientists’ engagement in public communication, proefschrift, Amsterdam: Vrije Universiteit.

LITERATUUR

179

OSTP (2005), Federal Policy on Research Misconduct, http://www.ostp.gov/html/ 001207_3.html. Ouchi, W.G. (1979), A conceptual framework for the design of organizational control mechanisms, in: Management Science, 25(9), pp. 833-848. Parker, M. & D. Jary (1995), The McUniversity: organization, management and academic subjectivity, in: Organization, 2, pp. 319-338. Paul, J.C.L., M.R. van Gils, L. Karsten, M.A.G. van Offenbeek & J. de Vries (1994), Organisatie en gedrag, Deventer: Kluwer. Pavitt, K. (1991), What makes basic research economically useful?, in: Research Policy, 20. Pelz, D. (1956), Some social factors related to the performance of a research organization, in: Administrative Science Quarterly, 1(2), pp. 310-325. Pelz, D. & F.M. Andrews (1966), Scientists in organizations: productive climates for research and development, New York: John Wiley and Sons. Pelz, D.C. & F.M. Andrews (1976), Scientists in organizations. Productive climates for research and development, revised ed., Michigan: Ann Arbor. Petri, R. & G.J.A.M. van der Vossen (1994), Management control structuur, in: Handboek Management Accounting, Alpen aan den Rijn: Samsom, pp. 1-33. Peursem, K.A. van, M.J. Pratt & S.R. Lawrence (1995), Heath management performance. A review of measures and indicators, in: Accounting, Auditing and Accountability Journal, 5, pp. 34-70. Pfeffer, J. & R.I. Sutton (2000), The knowing-doing gap. How smart companies turn knowledge into action, Boston: Harvard Business School Press. Phillimore, A.J. (1988), University research performance indicators in practice: the University Grants Committee’s evaluation of British universities, 1985-1986, in: Research Policy, 18, pp. 255-271. Pineau, C. & C. Levy-Leboyer (1983), Managerial and organizational determinants of efficiency in biomedical research teams, in : S.R. Epton, R.L. Payne & A.W. Pearson (eds.), Managing interdisciplinary research, New York: John Wiley and Sons, pp. 141-163. Pollit, C. & G. Bouckaert (2004), Public management reform. A comparative analysis, Oxford: Oxford University Press. Pomp, M. (2003), Meetbaar nut of onschatbare waarde? Wetenschappelijk onderzoek en het bedrijfsleven, SEO-rapport nr. 669. Porter, L. & E. Lawler III (1968), Managerial attitudes and performance. Poyago-Theotoky, J., J. Beath & D.S. Siegel (2002), Universities and fundamental research: reflections on the growth of university-industry partnerships, in: Oxford Review of Economic Policy, 18(1), pp. 10-21. Prendergast, C. (1999), The provision of incentives in firms, in: Journal of Economic Literature, 37(1), pp. 7-63.

180


Purchase, B. & R. Hirshhorn (1994), Searching for good governance, Kingston: Queen’s University School of Policy Studies. Raan, A.F.J. van (1996), Advanced bibliometric methods as quantitative core of peer review based evaluation and foresight exercises, in: Scientometrics, 36, pp. 397420. Raan, A.F.J. van (1999), Bibliometrische methoden bij evaluatie en observatie van wetenschappelijke ontwikkelingen, in: G.M. van Trier, D.W.K. Jansen & H. Prins (red.), Handboek informatiewetenschap, Alphen aan den Rijn: Samsom, pp. 1-36. Raan, A.F.J. van (2004), Sleeping beauties in science, in: Scientometrics, 59, pp. 461446. Raelin, J.A. (1986), The clash of cultures, managers and professionals, Boston: Harvard Business School Press. Rennie, D. (1999), Editorial peer review: its developments and rationale, London: BMJ Books. Ridgeway, V.F. (1956), Dysfunctional consequences of performance measures, in: Administrative Science Quarterly, 1(2), pp. 240-247. Rinia, E.J. (2001), Influence of interdisciplinarity on peer review and bibliometric evaluations in physics research, in: Research Policy, 30, pp. 357-361. Rinia, E.J., T.N. van Leeuwen, H.G. van Vuren & A.F.J. van Raan (1998), Comparative analysis of a set of bibliometric indicators and central peer review criteria. Evaluation of condensed matter physics in the Netherlands, in: Research Policy, 27, pp. 95-107. Rip, A. (1999), Research management from the top and from below, Enschede: Universiteit Twente. Rip, A. (2003), Social challenges for R&D evaluation, in: P. Shapira & S. Kuhlmann (eds.), Learning from science and technology policy evaluation. Experiences from the United States and Europe, Cheltenham: Edward Elgar, pp. 32-52. RMNO (2005), Interdisciplinariteit en beleidsrelevantie in onderzoeksprogramma’s. Een stellingname, Den Haag: RMNO. Rooijen, S. van, F. Godlee, S. Evans, N. Black & R. Smith (1999), Effects of open peer review on the quality of reviewers and on reviewers’ recommendations: a randomised trial, in: British Medical Journal, 318, pp. 23-27. Rothwell, P.M. & C.N. Martyn (2000), Reproducibility of peer review in clinical neuroscience: is agreement between reviewers any greater than would be expected by chance alone?, in: Brain, 123(9), pp. 1964-1969. Salter, A.J. & B.R. Martin (2001), The economic benefits of publicly funded basic research: a critical review, in: Research Policy, nr. 30. Scott, J.A. (1998), Seeing like a state. How certain schemes to improve the human condition have failed, New Haven: Yale University Press.

LITERATUUR

181

Sense about Science (2004), Peer review and the acceptance of new scientific ideas, discussion paper from a working party equipping the public with an understanding of peer review, http://www.senseaboutscience.org. Serban, A.M. & J.C. Burke (1998), Meeting the performance challenge. A nine-state comparative analysis, in: Public productivity and management review, 2, pp. 157176. Shapero, A. (1985), Managing professional people, New York: The Free Press. Simon, H., H. Guetzkow, K. Kozmetsky & G. Tyndall (1954), Centralization vs. decentralization in organizing the controllers department, paper, Controllership Foundation. Simons, R. (2000), Performance measurement and control systems for implementing strategy: text & cases, Upper Saddle River, NJ: Prentice Hall. Smeenk, S.G.A. (2007), Professionalism versus managerialism. A study on HRM practices, antecedents, organisational commitment, and quality of job performances among university employees in Europe, proefschrift, Radboud Universiteit Nijmegen. Smeenk, S.G.A., J.C. Teelken & J.A.C.M. Doorewaard (2004), Academici en managerialisme. Een onmogelijke combinatie? In: Tijdschrift voor Hoger Onderwijs, 22, pp. 86-95. Smet, Y. de, M. Gelderman & A.A. de Waal (2001), Control-stijl en het gebruik van de balanced scorecard, in: Tijdschrift voor BedrijfsAdministratie, 1(2), pp. 18-24. Smith, P. (1995a), On the unintended consequences of publishing performance data in the public sector, in: International Journal of Public Administration, 18, pp. 277310. Smith, P. (1995b), Outcome-related performance indicators and organizational control in the public sector, in: J. Holloway, J. Lewis & G. Mallory (eds.), Performance Measurement and Evaluation, London: Sage Publications. Smith, R. & F.E. Fiedler (1971), The measurement of scholarly work: a critical review of the literature, in: Educational Record, 52, pp. 225-232. Sonneveld, H. (1997), Promotoren, promovendi en de academische selectie. De collectivisering van het Nederlandse promotiestelsel 1984-1995, proefschrift, Universiteit van Amsterdam. Spaapen, J.B., C.A.M. van Suyt, A.A.M. Prins & S.S. Blume (1988), De moeizame relatie tussen beleid en onderzoek. Evaluatie van vijf jaar Voorwaardelijke Financiering, Den Haag: Staatsdrukkerij. Spaapen, J, H. Dijstelbloem & F. Wamelink (2007), Evaluating research in context. A method for comprehensive assessment, Den Haag: COS. Stajkovic, A.D. & F. Luthans (1997), A meta-analyses of the effects of organizational behaviour modification on task performance, 1975-95, in: Academy of Management Journal, 5, pp. 1122-1149.

182


Swanborn, P.G. (1996), Case-study’s: wat, wanneer en hoe?, Amsterdam/Meppel: Boom. Szakonyi, R. (1994), Measuring R&D effectiveness, in: Research Technology Management, 37(2), pp. 27-32. The British Academy (2007), Peer review: the challenges for the humanities and social sciences, London. Thiel, S. van (2000), Quangocratization: trends, causes and consequences, proefschrift, Universiteit Utrecht. Thiel, S. van & F. Leeuw (2002), The performance paradox in the public sector, in: Public Performance & Management Review, 25(3), pp. 267-281. Thierry, H. (1987), Payment by result systems: a review of research 1945-1985, in: Applied Psychology, 36(1), pp. 91-108. Timmerhuis, V.C.M. (1997), Wetenschapsorganisaties in verandering. Keuzen in organisatieontwikkeling en personeelsbeleid, proefschrift, Katholieke Universiteit Brabant, Tilburg University Press. Timmerhuis, V.C.M. (1999), Ruimte voor vernieuwing. Ervaringen binnen de technische natuurwetenschappen, Den Haag: AWT. Tolmach Lakoff, R. (2000), The language war, Berkeley: University of California Press. Tullock, G. (1993), Are scientists different?, in: Journal of Economic Studies, 20(4/5), pp. 90-106. Udwadia, F.E. (1990), Creativity and innovation in organizations: two models and managerial implications, in: Technological Forecasting and Social Change, 38, pp. 65-80. United States General Accounting Office (1999), Managing for results, opportunities for continued improvements in agency’s performance plans, GAO/GGD/AIMD-99215. Vagneur, K. & M. Peiperl (2000), Reconsidering performance evaluative style, in: Accounting, Organizations and Society, 24, pp. 77-92. Veld, R. in ’t, H. Fussel & G. Neave (eds.) (1996), Relations between the state and higher education, Den Haag/Boston: Kluwer.

Venniker, R. & E. Canton (2004), De maatschappelijke opbrengsten van wetenschappelijk onderzoek: een literatuuroverzicht, CPB Memorandum, Den Haag. Versleijen, A. (red.) (2006), Dertig jaar publieke onderzoeksfinanciering in Nederland 1975-2005, Den Haag: Rathenau Instituut. Vinke, R.H.W. (1996), Motivatie en belonen: de mythe van intrinsieke motivatie, proefschrift, Tilburg: Katholieke Universiteit Brabant. Visart, N. (1979), Communication between and within research units, in: F. Andrews (ed.), Scientific productivity: the effectiveness of research groups in six countries, Cambridge: Cambridge University Press, pp. 223-252

LITERATUUR

183

Vosselman, E.G.J. (1999), Accounting en gedrag: zichtbare en onzichtbare effecten van management accounting, Deventer: Kluwer. Vroom, V. (1964), Work and motivation, New York: Wiley & Sons. VSNU (1994), Definitie-afspraken Wetenschappelijk Onderzoek, Utrecht. VSNU (2004), De Nederlandse gedragscode wetenschapsbeoefening. Principes van goed wetenschappelijk onderwijs en onderzoek, Den Haag. VSNU, NWO, KNAW (2003), Standard Evaluation Protocol for Public Research Organisations 2003-2009, Amsterdam/Den Haag. Vught, F.A. van (1987), Plan- en marktcoördinatie in het hoger onderwijs, oratie, Universiteit Twente. Waal, A.A. de (2002), The role of behavioral factors in the succesful implementation and use of performance management systems, proefschrift, Amsterdam: Vrije Universiteit. Waal, A.A. de & L.A.F. M. Kerklaan (2003), Prestatiemanagement in de overheid: een overzicht, paper gepubliceerd t.b.v. het seminar New Public Management 2003, Vrije Universiteit Amsterdam. Waal, A.A. de & L.A.F.M. Kerklaan (2004), De resultaatgerichte overheid, op weg naar de prestatiegedreven overheidsorganisatie, Den Haag: Sdu. Wanrooy, M.J. (2003), Leiding geven tussen professionals, Schiedam: Scriptum. Weggeman, M. (1992), Leiding geven aan professionals: het verzilveren van creativiteit, Deventer: Kluwer Bedrijfswetenschappen. Weggeman, M. (1997), Kennismanagement: inrichting en besturing van kennisintensieve organisaties, Schiedam: Scriptum. Weggeman, M. (2007), Leidinggeven aan professionals. Niet doen!, Schiedam: Scriptum. Weijden, I. van der (2007), In search of performance. Research management within the Dutch public medical and health sector, proefschrift, Amsterdam: Vrije Universiteit. Weiss, C.H. (1998), Evaluation, Upper Saddle River: Prentice Hall. Wenneras, C. & A. Wold (1997), Nepotism and sexism in peer review, in: Nature, 387, pp. 341-343. Wester, F. (1995), Strategieën voor kwalitatief onderzoek, Bussum: Coutinho. Westerheijden, D.F. (1997), A solid basis for decisions, in: Higher Education, 33, pp. 397-413. Wouters, P. (1999), The citation culture, proefschrift, Universiteit van Amsterdam. Yin, R.K. (1993), Applications of case study research, London: Sage Publications. Yin, R.K. (1994), Case study research, design and methods, 2nd ed., Thousand Oaks: Sage Publications. Zairi, M. (1996), Benchmarking for best practice, continuous learning through sustainable innovation, Oxford: Butterworth-Heinemann.

184


Zairi, M. & Y. Jarrar (2000), Becoming world class through a culture of measurement, in: A. Neely (ed.), Performance measurement – past, present and future, Centre for Business Performance, Cranfield University, Cranfield, pp. 688-694. Zuckerman, H. (1965), Nobel laureates: sociological studies of scientific collaboration, Ph.D. thesis, Columbia University.

185

Bijlagen

187

Bijlage 1: Verkennende gesprekken

Geïnterviewden Mw. drs. Th.A. Ax - Erasmus Universiteit Rotterdam Mw. drs. M.M.G. Bedaf – Universitair Medisch Centrum St. Radboud Drs. P. Binsbergen – Universiteit Twente Dr. H. de Boer - Universiteit Twente Drs. ing. J.J. de Boer - Technische Universiteit Delft Dr. L. Burdorf – Erasmus Universitair Medisch Centrum Drs. R.J.P. Dekker – Nederlandse organisatie voor Wetenschappelijk Onderzoek Mw. drs. G. Egberink – Universitair Medisch Centrum St. Radboud Ir. H.W.J. Elbers – Vereniging van Nederlandse Universiteiten Drs. S. Ellenbroek - Leids Universitair Medisch Centrum Dr. R.D. van der Gaag - Vrije Universiteit Amsterdam Ir. E.W. Gerritsen MCM – Technische Universiteit Eindhoven Dr. L. Goedegebuure - Universiteit Twente Mw. M.T.A. van den Heuvel - Universiteit van Tilburg Drs. P.P. Hoetink - Universiteit Twente Prof. dr. E. Klasen - Leids Universitair Medisch Centrum Mw. drs. M. Kret - Erasmus Universiteit Rotterdam Dr. Th.N. van Leeuwen – Centrum voor Wetenschaps- en Technologie Studies Drs. O. Möller - Universiteit Utrecht Dr. J.M. van Rooij - Rijksuniversiteit Groningen Dr. J. Spaapen – Koninklijke Nederlandse Akademie van Wetenschappen Drs. J. van Steen – Ministerie van Onderwijs, Cultuur en Wetenschap Dr. ir. J. Stolk - Universiteit Twente Drs. R.A. Timmer - Radboud Universiteit Nijmegen Drs. V. Vendel - Universiteit van Amsterdam Prof. dr. J.H.M. Verheijden – Universiteit Utrecht Ir. E. Vermeulen – Universiteit Utrecht Mw. dr. I. van der Weijden – Rathenau Instituut Drs. R. Westenbrink – Vereniging van Nederlandse Universiteiten Mw. drs. T.H.M. Wolf MPA - Universiteit Leiden Drs. H. van Yperen - Ministerie van Onderwijs Cultuur en Wetenschap

189

Bijlage 2: Stellingenlijst voor case-onderzoek Onderzoek naar de effecten van prestatiefinanciering van wetenschappelijk onderzoek Inleiding In het Prestatiemeetsysteem van <> wordt een deel van de eerste geldstroommiddelen verdeeld op basis van onderzoeksprestaties. Onderstaande stellingen gaan over dit model. De stellingen worden in een persoonlijk gesprek met u doorgenomen. U wordt gevraagd aan te geven of u het met de stellingen (zeer) eens of (zeer) oneens bent. Daarnaast zal u om een toelichting worden gevraagd bij uw antwoord. Hierdoor ontstaat ruimte voor een verdiepend gesprek over de werking van het prestatiemeetsysteem. De inhoud van het gesprek blijft vertrouwelijk.

Bent u het met de volgende stellingen eens of oneens? 1 = Zeer mee eens 2 = Grotendeels mee eens 3 = Noch mee eens, noch mee oneens 4 = Grotendeels niet mee eens 5 = Zeer mee oneens 6 = Geen oordeel 1 1

2 3 4

Ik ben bekend met de systematiek van het prestatiemeetsysteem (prestatie-indicatoren, wegingsfactoren, financiële consequenties). Ik veronderstel dat de systematiek van het prestatiemeetsysteem bekend is bij de onderzoekers in mijn afdeling. Ik heb een positieve waardering voor de systematiek van het prestatiemeetsysteem. De onderzoekers in mijn afdeling worden aangezet tot prestaties die in het prestatiemeetsysteem positief gewaardeerd worden.

2

3

4

5

6

190

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK 1

5

Ik vind dat de onderzoekers in mijn afdeling zich richten op prestaties die in het prestatiemeetsysteem positief gewaardeerd worden.

6

Ik vind dat het prestatiemeetsysteem uiteenlopende onderzoeksprestaties evenwichtig beloont.

7

8

Ik vind dat het prestatiemeetsysteem bepaalde belangrijke prestaties onderwaardeert (of helemaal niet waardeert). Het prestatiemeetsysteem maakt de onderzoeksproductiviteit (kwantiteit van onderzoeksoutput) van mijn afdeling goed zichtbaar.

9

Het prestatiemeetsysteem heeft in de afgelopen paar jaar een positieve invloed gehad op de onderzoeksproductiviteit van mijn afdeling.

10

Het prestatiemeetsysteem maakt de kwaliteit van de onderzoeksprestaties van mijn afdeling goed zichtbaar.

11

12

13

14

15

Het prestatiemeetsysteem heeft in de afgelopen paar jaar een positieve invloed gehad op de kwaliteit van de onderzoeksprestaties van mijn afdeling. Het prestatiemeetsysteem maakt de maatschappelijke/economische betekenis van de onderzoeksprestaties van mijn afdeling goed zichtbaar (praktijktoepassingen, patenten, spin-off). Het prestatiemeetsysteem heeft in de afgelopen paar jaar positief bijgedragen aan de maatschappelijke/economische betekenis van de onderzoeksprestaties van mijn afdeling. Het prestatiemeetsysteem biedt ruimte voor manipulatie van prestatiecijfers (om meer facultair geld binnen te halen). Het prestatiemeetsysteem heeft geleid tot een verwaarlozing van belangrijke prestaties/taken die niet financieel beloond worden.

2

3

4

5

6

BIJLAGEN

191 1

16

17

18 19 20

Het prestatiemeetsysteem heeft in het algemeen bijgedragen aan een prestatiegerichte onderzoekscultuur in de faculteit. Het prestatiemeetsysteem is een efficiënte manier om binnen de faculteit schaarse onderzoeksmiddelen uit de eerste geldstroom te verdelen. Dankzij het prestatiemeetsysteem is goed zichtbaar wat de sterke en minder sterke onderzoeksgroepen zijn. De voordelen van het prestatiemeetsysteem wegen op tegen de administratieve lasten. Prestatiefinanciering zal in de toekomst een belangrijke rol moeten blijven spelen bij de verdeling van onderzoeksmiddelen in de faculteit.

2

3

4

5

6

192

193

Bijlage 3: Interviews en resultaten case 1 Geïnterviewden Prof. dr. ir. H.E.A. van den Akker - afdelingsvoorzitter Multi-Scale Physics Mw. ir. G. Coleman - secretaris Afdeling Delft Chem Tech Prof. dr. T.H.J.J. van der Hagen - afdelingsvoorzitter Radiation, Radionuclides and Reactors Drs. ing. R. Kamerling - afdelingssecretaris Kavli Institute of Nanoscience Delft Dr. E.M. Kelder - UHD afdeling Delft Chem Tech Drs. Th.H.A. Kooijman - hoofd Financiën Mw. drs. A.M. Kraal - afdelingssecretaris Radiation, Radionuclides and Reactors Drs. B.I.A. van Leijen - secretaris Faculteit TNW Prof. K.C.A.M. Luyben - decaan Faculteit TNW Mw. dr. P. Osseweijer (namens prof. dr. J.H. de Winde) - secretaris Afdeling Biotechnologie Drs. J.D. Schiereck - afdelingssecretaris Multi-Scale Physics Mw. M.E. Secker (namens prof. dr. I.T. Young) - secretaris Afdeling IST Prof. dr. H.W. Salemink - afdelingsvoorzitter Kavli Institute of Nanoscience Delft Mw. H.A. van Wissen - medewerker Faculteit TNW

194


Resultaten case 1 Afdelingen A Stelling 1 Stelling 2 Stelling 3 Stelling 4 Stelling 5 Stelling 6 Stelling 7 Stelling 8 Stelling 9 Stelling 10 Stelling 11 Stelling 12 Stelling 13 Stelling 14 Stelling 15 Stelling 16 Stelling 17 Stelling 18 Stelling 20

5 4,5 4 5 5 1 4 5 4 3,5 5 1 1 1 4 4 4 3 5

B

C

D

E

F

Totaal

4 3 4 2,5 2 3 4 4 3 4 2 3 2 4,5 3 3 4 4 4

5 5 5 4 4 4 4 4 4 4 3 2 2 1 2 4 4 3 5

5 4 3,5 5 4 2 4 4,5 4 2 4 1 0 4 2 5 4 3 5

5 4 3,5 2 3 2 5 5 1 2 1,5 2 1 3,5 1 3,5 4 2,5 4,5

5 4 4 4 5 5 0 5 5 3 2 1 1 4 4 4 4 2 4

29 24,5 24 22,5 23 17 21 27,5 21 18,5 17,5 10 7 18 16 23,5 24 17,5 27,5

zeer mee eens = 5 grotendeels mee eens = 4 noch mee eens, noch mee oneens = 3 grotendeels niet mee eens = 2 zeer mee oneens = 1 geen oordeel = 0 (niet betrokken in gemiddelde en standaarddeviatie)

Gemid- STDEV deld 4,8 0,4 4,1 0,7 4,0 0,5 3,8 1,3 3,8 1,2 2,8 1,5 4,2 0,4 4,6 0,5 3,5 1,4 3,1 0,9 2,9 1,4 1,7 0,8 1,4 0,5 3,0 1,6 2,7 1,2 3,9 0,7 4,0 0,0 2,9 0,7 4,6 0,5

195

Bijlage 4: Interviews en resultaten case 2 Geïnterviewden Prof. dr. R. Benner - Afdelingshoofd Immunologie Prof. dr. A.J.J.C. Bogers - Afdelingshoofd Thoraxchirurgie Dr. C. Festen - Hoofd onderzoeksbeleid Erasmus MC Prof. dr. J.A. Grootegoed - Afdelingshoofd Voortplanting en Ontwikkeling Prof. dr. J.H.J. Hoeijmakers - Afdelingshoofd Genetica Prof. dr. S.E.R. Hovius - Afdelingshoofd Plastische Chirurgie Mw. prof. dr. M.G.M. Hunink - ex-voorzitter Medische Research AdviesCommissie; onderzoeker bij de afdelingen Epidemiologie en Radiologie Prof. dr. E.J. Kuipers - Afdelingshoofd Maag-, Darm- en Leverziekten Prof. dr. J. van der Lei - Afdelingshoofd Medische Informatica Prof. dr. P.C. Levendag - Afdelingshoofd Radiotherapie Prof. dr. B. Löwenberg - Afdelingshoofd Hematologie Prof. dr. J.P. Mackenbach - Afdelingshoofd Maatschappelijke Gezondheidszorg Prof. dr. J.W. Oosterhuis - Afdelingshoofd Pathologie Prof. dr. J. Passchier - Afdelingshoofd Medische Psychologie en Psychotherapie Prof. dr. H.J. Stam - Afdelingshoofd Revalidatie Prof. dr. E.W. Steyerberg - lid Medische Research AdviesCommissie; onderzoeker bij de afdeling Maatschappelijke Gezondheidszorg Prof. dr. J.A.N. Verhaar - Afdelingshoofd Orthopaedie Prof. dr. C.I. de Zeeuw - Afdelingshoofd Neurowetenschappen

196


1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 20

A 5 1 1 1 1 1 5 1 1 1 1 1 1 2 1 1 1 1 3

B 5 4 2 4 4 1 5 2 2 2 2 2 2 4 3 5 3 2 4

C 5 5 5 5 4 4 5 3 4 2 4 3 2 2 2 4 4 4 5

D 4 3 4 3 4 2 4 3 2 4 2 2 2 2 1 4 4 4 4

E 4 4 5 4 4 4 1 2 1 4 1 1 1 0 1 0 5 5 5

F 5 5 4 4 4 3 4 5 5 4 5 1 1 1 3 5 5 5 5

G 5 5 4 4,5 5 2 4,5 2 2 2 2 1 1 1,5 1,5 0 0 1 5

H 5 4 4 3 3 2 2 3 3 3 2 2 3 1 2 2 4 2 4

I

J 5 5 4 2 4 1 5 2 1 2 4 1 1 4 1 5 1 4 5

5 4 4 3 4 2 4 3,5 1,5 2 2,5 2 2 4 2 4 4 4 5

K 3 3 2 4 3 2 4 3 2 3 2 0 1 2 2 3 2 2 4

L 4 4 4 5 4 3 4 4 4 4 4 2 2 5 4 5 4 4 5

M 5 4 3 5 4 2 5 2 2 1 0 1 1 2 2 1 0 3 4

P 5 2 4 4 4 2 5 4 3 3 2 2 0 4 1 4 5 5 5


N 4 4 4 4 4 4 4 4 3 3 3 2 2 3 2 3 4 4 4

O 4 4 4 5 5 2 4 4 4 5 4 1 1 0 2 5 3 4 4

Q 4 2 0 4 4 3 4 4 0 4 0 1 0 3 5 5 2 3 0

Gemiddeld Standaarddeviatie

Overig

Pre-klinisch Gezondhwetensch.

Gezondh.wet.

Klinisch

Pre-klinische afd.

Stelling

Klinische afdelingen

Totaal

Resultaten case 2

77 63 58 64 65 40 70 51 41 48 41 25 23 40 35 56 51 57 71

4,8 3,9 3,6 3,6 3,6 2,4 3,8 2,6 2,5 2,7 2,4 1,6 1,6 1,9 1,8 3,5 3,7 3,0 4,4

4,3 4,0 3,5 3,4 3,8 2,0 4,3 3,0 2,1 2,6 3,1 1,7 1,5 3,6 2,1 4,1 2,6 3,4 4,8

4,5 3,7 3,6 3,8 3,8 2,4 4,1 3,0 2,5 2,8 2,7 1,6 1,5 2,7 2,0 3,7 3,4 3,3 4,4

4,3 4,0 3,7 4,7 4,3 2,7 4,3 3,3 3,0 3,0 3,5 1,3 1,3 2,5 2,0 3,0 3,5 3,7 4,0

0,6 1,2 1,1 1,1 0,9 1,0 1,1 1,0 1,2 1,1 1,2 0,6 0,6 1,2 1,0 1,4 1,3 1,3 0,6

197

Bijlage 5: Interviews en resultaten case 3 Geïnterviewden Prof. dr. R.T. Frambach - afdelingshoofd Marketing Prof. dr. T.L.C.M. Groot - afdelingshoofd Accounting Prof. dr. J.W. Gunning - faculteitsbestuur, portefeuillehouder onderzoek Prof. dr. P.G.W. Jansen - afdelingshoofd Management en Organisatiekunde Prof. dr. ir. G. van der Laan - afdelingshoofd Econometrie en Operationele Research Prof. dr. M. Lindeboom – programmacoördinator afdeling Algemene en Ontwikkelingseconomie Prof. dr. A. Lucas - programmacoördinator afdeling Financiering en Bedrijfskunde voor de Financiële Sector Mevr. drs. K.A.M. Putter - stafmedewerker Onderzoek Prof. dr. P. Rietveld - afdelingshoofd Ruimtelijke Economie Prof. dr. Y.H. Tan - programmacoördinator afdeling Informatiekunde en Logistiek Prof. dr. H. Verbruggen - decaan Faculteit Economie en Bedrijfswetenschappen

198


A 5 5 1 2 2 1 5 2 3 2 1 1 1 5 5 3 5 1 5

B 5 5 5 5 5 3 4 2 2 2 4 1 1 2 3 4 4 4 5

C 5 5 4 4 4 2 4 2 3 5 5 1 1 2 1 4 5 4 4

D 4,5 4,5 4 4 4 3 4 3,5 2 4 2 1 1 2 3,5 5 5 5 4

E 4 3 4 5 5 4 2 4 4 4 5 2 2 3 4 5 4 3 4

F 5 5 4 5 5 2 4 4 4 4 4 2 2 2 3 5 4 4 5


G 5 4 2,5 3 4 1 4 3 1 3 3 1 1 2 4 2 5 4 4

H 5 5 4 4 4 4 2 5 2 4 2 1 1 4 1 4 5 4 5

I 4 4 4 5 5 3 3 4 4 3 3 1 1 3 2 5 4 4 5

STDEV

Stelling 1 Stelling 2 Stelling 3 Stelling 4 Stelling 5 Stelling 6 Stelling 7 Stelling 8 Stelling 9 Stelling 10 Stelling 11 Stelling 12 Stelling 13 Stelling 14 Stelling 15 Stelling 16 Stelling 17 Stelling 18 Stelling 20

Gemiddeld

Afdelingen

Totaal

Resultaten case 3

42,5 40,5 32,5 37 38 23 32 29,5 25 31 29 11 11 25 26,5 37 41 33 41

4,7 4,5 3,6 4,1 4,2 2,6 3,6 3,3 2,8 3,4 3,2 1,2 1,2 2,8 2,9 4,1 4,6 3,7 4,6

0,4 0,7 1,2 1,1 1,0 1,1 1,0 1,1 1,1 1,0 1,4 0,4 0,4 1,1 1,4 1,1 0,5 1,1 0,5

199

Bijlage 6: Interviews en resultaten case 4 Geïnterviewden Mw. prof. dr. H. Dahles - afdelingshoofd Cultuur, Organisatie en Management Dr. C.H. Elzinga - afdelingshoofd Methoden en Technieken Prof. dr. L.W.J.C. Huberts - afdelingshoofd Bestuur en Organisatie Prof. dr. C.J. van Kersbergen - afdelingshoofd Politicologie Prof. dr. P.G. Klandermans - decaan Faculteit der Sociale Wetenschappen Drs. R.A. Kloppenburg - beleidsmedewerker Onderzoek Dr. C.M. Koolstra - afdelingshoofd Communicatiewetenschap Dr. P.J.M. Pennings - facultair portefeuillehouder Onderzoek Prof. dr. O.J.H.M. Salemink - afdelingshoofd Sociale en Culturele Antropologie Prof. dr. T.G. van Tilburg - afdelingshoofd Sociologie

200


C 5 5 5 5 4 1 5 2 5 3 3 1 1 1 1 4 3 3 3

D 5 5 5 2 4 1 4 4 1 3 4 1 1 1 1 2 4 4 5

E 4 4 5 4 4 3 4 3 4 2 3 2 2 2 1 4 4 4 5


F 5 5 5 4 4 1 5 4 1 4 1 1 1 4 1 4 1 4 3

G 5 4 4 5 4 3 5 4 5 2 4 1 1 2 4 4 5 3 4

H 5 4 4 2 2 4 4 4 5 4 2 4 4 5 4 2 2 2 4

STDEV

B 5 4 4 4 5 2 4 4 4 4 3 2 2 4 2 4 4 3 5

Gemiddeld

Stelling 1 Stelling 2 Stelling 3 Stelling 4 Stelling 5 Stelling 6 Stelling 7 Stelling 8 Stelling 9 Stelling 10 Stelling 11 Stelling 12 Stelling 13 Stelling 14 Stelling 15 Stelling 16 Stelling 17 Stelling 18 Stelling 20

Afdelingen A 5 4 4 4 5 2 5 3 5 3 4 2 1 4 3 4 5 2 4

Totaal

Resultaten case 4

39 35 36 30 32 17 36 28 30 25 24 14 13 23 17 28 28 25 33

4,9 4,4 4,5 3,8 4,0 2,1 4,5 3,5 3,8 3,1 3,0 1,8 1,6 2,9 2,1 3,5 3,5 3,1 4,1

0,4 0,5 0,5 1,2 0,9 1,1 0,5 0,8 1,8 0,8 1,1 1,0 1,1 1,6 1,4 0,9 1,4 0,8 0,8

201

Bijlage 7: Vier prestatiemeetsystemen vergeleken Feiten op basis van documentenanalyse Faculteitskenmerken

Prestatiemeetsysteem (PMS)

TNW/TU Delft

Erasmus MC

FEWEB/VU

FSW/VU

Aantal onderzoeksafdelingen: Fte's wetensch. personeel: Aandeel externe financiering: PMS-budget als % van totale 1e geldstroom voor onderzoek:

6

51

8

7

ca. 640 fte

ca. 930 fte

ca. 200 fte

ca. 115 fte

ca. 65%

ca. 55%

ca. 20%

ca. 25%

ca. 25%

ca. 25%

Onderzoeksbudget uit eerste geldstroom minus centrale kosten en beleidsbudget.

PMS-budget als % van totale onderzoeksmiddelen (incl. extern geld):

ca. 9% (ca. 25% van 35% 1e geldstroom)

ca. 11% (ca. 25% van 45% 1e geldstroom)

Onderzoeksbudget uit eerste geldstroom minus algemene facultaire kosten en beleidsbudget decaan. ca. 80%

PMS-budget (absoluut):

k€ 12.000

ca. k€ 6.000 – de omvang van het prestatiefonds varieert van jaar tot jaar, afhankelijk van het aantal gerealiseerde promoties.

35 fte onderzoekstijd (vaste staf)

30 fte onderzoekstijd (vaste staf)

Doelstelling en functie van PMS:

Verdeling onderzoeksgeld o.b.v. objectieve maatstaven.

Prestatieverbetering en verdeling onderzoeksgeld o.b.v. output.

Verhoging kwaliteit van onderzoeksoutput en verdeling van onderzoekstijd o.b.v. prestaties.

Verhoging kwaliteit en kwantiteit van onderzoeksoutput en verdeling onderzoekstijd o.b.v. output.

Prestatie-indicatoren:

Publicaties, ISItijdschriften (3 subcateg.), gerefereerde non-ISI-tijdschriften, boeken en boekdelen, conference proceedings, vakpublicaties, redacteurschappen (2 subcateg.), octrooien, promoties. Prestaties gemiddeld over 2 jaar, onderzoeksbudget toegewezen aan afdelingen.

Werfkracht 2e en 3e geldstroom (3 subcateg.), promoties, ISIpublicaties (4 subcateg.).

Gerefereerde tijdschriftartikelen (2 subcateg.), boeken (2 subcateg.), hoofdstukken (2 subcateg.), promoties.

Gerefereerde tijdschriftartikelen – minimumnorm van 3 publicaties per 3 jaar.

Prestaties gemiddeld over 5 jaar, onderzoekstijd toegewezen aan onderzoekers.

Drie gerefereerde artikelen in 3 jaar levert 0,2 fte onderzoekstijd op voor onderzoekers.

Onderzoekers geven prestaties door.

Onderzoekers geven prestaties door.

Berekeningsmethode en toewijzing van PMSbudget:

Procesinrichting

ca. 75%

Verzameling en aanlevering van prestatiecijfers:

Onderzoekers/ afdelingen zijn verantwoordelijk voor invoering van cijfers.

Prestaties gemiddeld over 3 jaar. Onderzoeksbudget wordt toegewezen aan afdelingen. Onderzoekers/ afdelingen zijn verantwoordelijk voor invoering van cijfers.

Controle van prestatiecijfers:

Door centrale staf en universitaire BTAcommissie.

Cijfers worden gecontroleerd door centrale staf.

Centrale staf controleert.

Centrale staf controleert.

Systeemgebruikersprotocol

Handleiding voor invoer prestatiegegevens beschikbaar

Beschrijving van prestatiemeetsysteem is beschikbaar.

Protocol is beschikbaar.

Handleiding is beschikbaar.

Ruimte voor afwijkingen (billijkheid):

Uitzonderingsgevallen zijn bespreekbaar (maar spaarzaam toegestaan).

Uitzonderingsgevallen worden (spaarzaam) toegestaan. Centrale staf bepaalt.

Ad hoc commissie van wetenschappers beoordeelt.

Portefeuillehouder onderzoek oordeelt over uitzonderingen.

Interpretatie en betekenisgeving van prestatiecijfers:

Cijfers niet besproken tussen decaan en afdelingen.

Cijfers niet besproken tussen decaan en afdelingen.

Cijfers niet besproken tussen decaan en afdelingen. Individuele prestaties wel besproken in functioneringsgesprek tussen afdelingshoofd en onderzoeker.

Cijfers niet besproken tussen decaan en afdelingen, individuele prestaties wel besproken in functioneringsgesprek tussen afdelingshoofd en onderzoeker.

202

PRESTATIEMETING VAN WETENSCHAPPELIJK ONDERZOEK TNW/TU Delft

Erasmus MC

FEWEB/VU

FSW/VU

Afdelingshoofden kunnen zelf bepalen of prestatiecijfers intern besproken worden (plenair of individueel). Prestatiescores klinken niet automatisch ‘hard’ door op werkvloer.

Grote invloed van afdelingshoofden. Afdelingshoofden bepalen of prikkels voelbaar zijn in de afdelingen.

Systeem bepaalt de prikkel die onderzoekers ontvangen.

Kleine invloed van afdelingshoofden. Systeem prikkelt onderzoekers rechtstreeks.

Andere systemen dempen de invloed van het prestatiemeetsysteem (o.a. functioneringsgesprekken, financiële beleidskeuzes van decaan en afdelingshoofden).

Andere prestatieprikkelende systemen domineren het prestatiemeetsysteem, bijv. selectiemechanismen, functioneringsgesprekken, interne peer review, externe beloning.

Prestatiemeetsysteem heeft sterke invloed. Daarnaast functioneringsgesprekken en externe druk.

Prestatiemeetsysteem heeft sterke invloed. Daarnaast functioneringsgesprekken en externe druk.

Prestatieverbetering op gemeten waarden:

Niet traceerbaar.

10-20% (in 3 jaar tijd)

ca. 40% (in 10 jaar tijd)

39% (in 6 jaar tijd); aantal onderzoekers dat voldoet aan prestatienorm gestegen van 38% naar 76%

Verschuiving onderzoeksgeld naar productievere eenheden:

Beperkt. Marginale verschuivingen. Budgetmutaties niet goed herleidbaar tot effecten van meer of minder presteren.

Beperkt. Groei en verlies zijn gemaximeerd. Voorbeelden te zien van ‘sterke’ afdelingen die krimpen en ‘zwakke’ afdelingen die budgettair groeien.

Onderzoekstijd van productieve onderzoekers met 27% toegenomen (in 10 jaar tijd)

Beperkt. Afdelingen kunnen niet ‘rijker’ worden.

Ruimte voor boundary spanning

Relatie met andere systemen

‘Gemeten’ effecten van PMS

Percepties van afdelingshoofden (interviews) Kennis en draagvlak m.b.t. PMS

Betekenis van PMS

TNW/TU Delft

Erasmus MC

FEWEB/VU

FSW/VU

Bekendheid van PMS onder hoofden en onderzoekers:

Groot tot zeer groot, want PMS is bekend gemaakt binnen de faculteit (en TU Delft als geheel).

Groot tot zeer groot. Systeem is vooral op hoofdlijnen bekend, details zijn minder bekend.

Zeer groot. Systeem is algemeen bekend.

Zeer groot. Systeem is algemeen bekend.

Waardering voor PMS door hoofden:

Groot. PMS wordt gezien als onvermijdelijk uitvloeisel van universitaire BTAmodel.

Redelijk groot. Meningen lopen uiteen over hoe het systeem precies moet functioneren (prestatiecriteria).

Redelijk groot. Prestatiemeetsysteem wordt gezien als objectief verdeelinstrument met een redelijk rechtvaardige opbouw.

Groot tot zeer groot. Systeem voorkomt politieke verdeling van middelen.

Oordeel over evenwicht van beloning van prestaties in PMS:

Veel relevante prestaties ondergewaardeerd of niet gewaardeerd. Weliswaar ontbreken prestatieparameters, maar uitbreiding zal complexiteit en administratieve last doen toenemen. Groot tot zeer groot, want meeste output wordt geregistreerd.

Veel relevante prestaties ondergewaardeerd of niet gewaardeerd.

Sommige prestaties ondergewaardeerd of niet gewaardeerd.

Veel relevante prestaties ondergewaardeerd of niet gewaardeerd.

Matig, niet alle prestaties worden gemeten. Veel output blijft onzichtbaar.

Matig tot redelijk groot. Beperkt deel van de publicaties is zichtbaar (alleen beste 5 publicaties).

Matig tot redelijk groot. Veel onderzoeksoutput blijft onzichtbaar in systeem.

Matig, want outputcijfers representeren niet altijd kwaliteit

Matig, niet alle kwalitatief hoogwaardige prestaties worden zichtbaar gemaakt.

Matig tot redelijk groot. Systeem geeft kwaliteit beperkt weer.

Klein. Algemene minimumnorm voor onderzoeksoutput.

Transparantie onderzoeksproductiviteit:

Transparantie onderzoekskwaliteit:

BIJLAGEN

Gewenste effecten van PMS

Ongewenste effecten van PMS

203

TNW/TU Delft

Erasmus MC

FEWEB/VU

FSW/VU

Transparantie sterke en zwakke groepen:

Matig, want o.b.v. outputcijfers kan geen oordeel over kwaliteit worden gegeven.

Matig tot redelijk groot. Normen uit het systeem zijn niet zaligmakend.

Matig. Systeem geeft alleen aan of individu aan publicatienorm voldoet.

Stimulans voor doelgericht handelen:

Redelijk groot, want systeem zet aan tot productie op gemeten waarden.

Matig, ook nietgemeten prestaties zijn relevant voor vaststelling kwaliteit van een groep. Redelijk groot, systeem bevordert focus op gemeten eenheden.

Groot. Prestatiemeetsysteem dwingt onderzoekers tot publiceren in toptijdschriften.

Redelijk groot tot groot. Systeem dwingt tot publiceren in refereed journals.

Bijdrage aan prestatiegerichte cultuur:

Redelijk groot, want systeem benadrukt urgentie van wetenschappelijke output.

Redelijk groot, systeem bevordert bewustwording over publicaties in toptijdschriften.

Groot. Focus op toptijdschriften toegenomen.

Redelijk groot. Focus toegenomen.

Positieve invloed op onderzoeksproductiviteit:

Redelijk groot, want belang van output wordt benadrukt.

Matig tot klein. Alleen stimulans voor toppublicaties.

Groot. Norm moet gehaald worden.

Positieve invloed op onderzoekskwaliteit:

Matig, andere mechanismen bevorderen kwaliteit (bijv. selectie aan de poort).

Matig tot klein, systeem is beperkt voelbaar voor onderzoekers. Andere mechanismen bevorderen productiviteit. Matig tot klein. Andere mechanismen stimuleren kwaliteit.

Matig tot redelijk groot. Stimulans voor publiceren in toptijdschriften.

Matig. Alleen minimumnorm moet gehaald worden.

Manipulatie van prestatiecijfers:

Matig, geen concrete aanwijzingen. Genoemde voorbeelden van mogelijke manipulaties: onderzoeksresultaten opknippen, artikelen uitsmeren, dubbel publiceren, boeken en tijdschriften in eigen beheer uitgeven.

Matig tot klein. Systeem biedt nauwelijks ruimte voor manipulatie.

Matig tot klein. Systeem biedt nauwelijks manipulatieruimte.

Matig. Systeem biedt weinig ruimte voor manipulatie. Ruimte voor manipulatie: onderzoekers kunnen mede-auteurschap verlenen, referee rapport opvragen bij bevriende collega, gezamenlijk refereed bundel uitgeven.

Ongewenst/onbedoeld strategisch gedrag:

Afname van samenwerking, bedreiging interdisciplinair onderzoek, publiceren in andere tijdschriften, minder aandacht voor vermaatschappelijking.

Ontmoediging van risicovol onderzoek, vermindering van samenwerking tussen afdelingen, strijd tussen afdelingen om de affiliaties van auteurs.

Risico’s: ontmoediging van interdisciplinair onderzoek, strategisch gedrag om tijdschriften geaccepteerd te krijgen, onderzoekers kunnen met suboptimaal prestatieniveau genoegen nemen (gevolg: minder onderzoekstijd).

Risico’s: output van externe aanstelling opgeven, tijdschriften met lage drempel zoeken.

Verwaarlozing andere prestaties:

Matig tot klein. Nietgemeten prestaties worden op andere wijze beloond, intern (functioneringsgesprekken) of extern (waardering in vakgebied).

Klein. Enkele verschijnselen: Nederlandstalige publicaties tellen niet meer mee, afname van kwaliteit proefschriften, dreiging voor risicovol onderzoek dat niet direct tot publicaties leidt.

Matig, maar wel minder aandacht voor maatschappelijke publicaties en maatschappelijke spin-off.

Klein. Voorbeelden: spanning met onderwijs en maatschappelijke taken, m.n. voor onderzoekers die moeilijk aan de norm kunnen voldoen.

205

Summary Performance measurement of academic research Performance measurement of academic research has developed quickly and extensively in recent years. Performance measurement can be defined as the process of gathering, consolidating, digesting and distributing achievement information. Within universities, performance measurement can focus on the evaluation of the amount of research funding procured (for example, external financing), on academic output (scientific publications, monographs, professional publications, theses, designs or patents) or on the effects of research (for example, academic citations or in relevance to society). Performance measurement can also focus on measuring the processes relevant to research achievements, output and effects (the number of successful PhD’s, Post-Doctoral employment positions, the percentage of structural as opposed to incidental financing as procured). Universities often use measurement to qualify the productivity of staff; this information can also form the rudiments of strategic policy as well as function as a determinant in the allocation of internal finances. It would seem that output based performance financing has permeated more and more into the blood stream of academic research. This is the result of the recent ascension of business sense within the university, one in which the importance of research performance, of coordination for effectiveness and of accountability grow. Decision makers and research managers search for more possibilities to spend their money on the best performing groups (allocations) as well as to stimulate better performance through all their spending (rewards). Researchers are generally concerned with the quality of research. Academic tradition dictates that peers determine the quality. This occurs as funding is allocated, through the choices made relevant to the placements of articles in academic journals, through prizes, appointments, citations, etc. Augmenting the tradition of peer review, one which is deeply nestled into many aspects of professional academics, now, more often, there are systems of review available that do not evaluate the quality, but rather measure the quantity of research results. Many university researchers sigh as they set out to tackle the paper work and all the bureaucracy involved in quantifying their results. While doing so, they signal, for example, that despite these results being quantifiable, the meaning of these quantifications is subject to debate. How can these numbers be meaningfully interpreted? How can they be responsibly translated for use in the allocation of funding? Practically speaking, research results within any one university or faculty vary exceedingly making comparison between them difficult. Moreover, per-

206

PERFORMANCE MEASUREMENT OF ACADEMIC RESEARCH

formance measurement solely relevant to the quantity of output leads to perversities, in the duplication of results, for example, or in the avoidance of risky research that cannot inherently lead to publication, or to the division of results over numerous publications in an attempt to enhance numeric ratings. The central question to this thesis is: which effects do performance measurement systems have in academic practice; can these be of significance to both managers and academic professionals, and if so, under which conditions? To answer this question, existing empirical research as well as theoretical reasoning have been studied. Research has also been undertaken in four faculties (medicine, technical physics, economics and sociology) at several Dutch universities where research funds have for many years been allocated via a performance measurement system. To gain insight into the meaning of this system for output financing, faculty documents have been reviewed and a large number of interviews have taken place. The focus in these was on the managing professionals (department heads) involved. These individuals have, on the one hand, management tasks; they are responsible for leading research. On the other hand, they themselves are professors, ergo professional academics. They are familiar with researcher’s motivations: they understand the importance of research to academics, the competitive relationship between research institutions, the usefulness of cooperation with external parties, the chances inherent in interdisciplinary research, etc. From their professional point of view, they know too well how a performance measurement system can not only inspire but also frustrate academic research. This study makes clear that performance measurement systems are not sufficiently able to deal with the variety in academic research results. No one system can handle this variety. Many categories of results are left unmeasured. In general, there is no room to develop or find consensus on a collective interpretation of quantified performance; measurements are made, yet the professional involved is never afforded the chance to explain these. The numbers are translated directly into the allocation of research finances. These particular results as gained here have led to a first observation: the present systems of performance measurement are rigid. Subsequently, the effects of the measurement systems were studied. All systems seem to lead to a growth in quantifiable results (heightened evidence of performance indicators). Secondly, it became clear that no reallocation of research funding to the best performers was undertaken. This is due to the fact that merely a part of funding is allocated via the measurement system, and that there are sufficient alternatives for raising funds within a faculty’s own resources. This is interesting: performance rewards imply that more funds will be allocated to those scoring higher than to those less successful.

SUMMARY

207

At the same time, and this too is remarkable, it seems that managing professionals (heads of department, research leaders) are really rather satisfied with the present system, despite its rigidity. These systems are in general irreplaceable in the academic faculties within this study; they have contributed to a heightened sense of performance, despite their recognized shortcomings. The present system has clearly inspired actively seeking publication in respected scientific journals. Heightened research production has largely been attributed to an evolution in the replacement of researchers over a certain period of time; those not performing up to par are replaced with more successful colleagues. There is another point to make here. Existing literature predicts that any direct relationship between money and performance will lead to perversities, yet this is clearly not the case. Perverse effectiveness has failed to materialize (for example, ignoring those tasks which are not measured, a decline in innovation, a decline in cooperation, tunnel vision, etc.). The conclusions as presented above lead themselves to an overall conclusion that, despite their inability to do justice to the variety of the research undertaken, present measurement systems are welcomed, even supported by managing professionals. Three reasons can help us to understand this paradox. In the first place, certain forces moderate the system’s effects (for example, the real financial impact of these systems is limited, the considerable period of time occurring between performance and reward, and the limited breadth of these systems as well ). These moderating circumstances are the reason that the measurement systems are not in themselves experienced as stimulations, yet they do succeed in supporting a growing culture of performance awareness. Secondly, the relevant managing professionals themselves act as a sort of ‘heat shield’: a suppressive layer protecting the system from possible perversities. This form of boundary spanning contributes to the existing trust in present systems. Thirdly, academic faculties still maintain augmentative policies and additional evaluative systems for their own research results. Practically this means that specific research can be measured from differing perspectives. In other words, the performance measurement systems examined are themselves embedded into yet other systems and processes. Fourthly, a large portion of research financing is sought, and found, outside of a particular faculty, so research management (and a stimulus ) are initiated outside of a particular institution. External recruitment can often be of greater effect than the allurement of internal performance measurement systems. Performance measurement systems, despite their recognized worth, yet taking into account their limited effect, lead us to conclude that these systems are highly symbolic in value. And it is this symbolic value from which the system draws its effectiveness. The performance measurement systems are limited in their intrinsic power to manage. They do underline the fact though, that a faculty is conscious of performance and is

208

PERFORMANCE MEASUREMENT OF ACADEMIC RESEARCH

prepared to reward it. That there is, in all practicality, little effectiveness in the system’s implementation does not seem to matter. All in all, there are three principles of design relevant to performance measurement of academic research: -

Basic design principle: The basic conditions for performance measurement of academic research are related to the legitimacy of the indicators involved, the variety of these indicators, the dynamics or flexibility of the system, the accountability of the scores, the measure of clarity relevant to the functions within the system, and the possibility of performance scores being of joint significance to both the judge and he/she who is judged.

-

Allowances for moderating effects: In practice, present systems of performance measurement of academic research cannot cover all types of professional output. Paradoxically, an effective ratings system has only limited effect on professional processes. Circumstances limit effectiveness, yet at the same time also limit any negative effects. Moderating circumstances contribute to the fairness of the system. Performance rating is of course, a means, not an end. Moderation factors can include the exclusion of certain researchers, creating exceptions to the rule (the determination of some as irrelevant to the system), by creating a delay between research presentation and reward, and in creating a ‘heat shield’ between the system itself and any particular researcher involved. This also filters corrupting influences.

-

Allowances for compensating factors: The limitations of the breadth and impact of the system have prevented their effect from being overestimated. Merely a portion of research funds are allocated via performance ratings, thusly giving a research organization room to reward products and initiatives that are not directly measureable. Additionally, a faculty or university performance measurement system should never stand alone. Research performance should be evaluated in diverse manners. Other instruments of research management, policy budgets, internal subsidies and financial systems can assist in filling gaps in any performance measurement system, or in combating unwanted effects of these. These augmentative instruments can strengthen the outcome of any performance measurement system, but can refute it as well. This plurality and redundancy fits well into a professional environment where performance improvement, as opposed to performance measurement, remains central.

209

Dankwoord Een proefschrift schrijf je in je werkkamer, maar het ontstaat in de gesprekken met velen. Ik ben dan ook aan velen veel dank verschuldigd voor de tijd die zij voor mij hebben vrijgemaakt. In de eerste plaats uiteraard mijn promotor prof. mr. dr. Hans de Bruijn. Hij was zonder aarzeling bereid zich te ontfermen over mij als buitenpromovendus. Zijn enthousiasmerende en ordenende geest speelde een belangrijke rol in alle fasen van het onderzoek. Ik dank ook de besturen van de faculteiten voor hun medewerking aan het caseonderzoek. En dank aan alle geïnterviewde hoogleraren, onderzoekscoördinatoren en beleidsmedewerkers van de faculteiten voor de tijd die zij wilden vrijmaken om te spreken over hun ervaringen met het prestatiemeetsysteem van hun faculteit. Zonder hen had mijn onderzoek geen vlees op de botten gekregen. In de aanloop naar het caseonderzoek heb ik vele inspirerende gesprekken gevoerd met universitaire medewerkers, wetenschappers en bestuurders, waarvoor ook veel dank. Mijn directeuren bij de Koninklijke Nederlandse Akademie van Wetenschappen, eerst prof. dr. Wiel Hoekstra, en later prof. dr. Theo Mulder, ben ik veel dank verschuldigd voor het feit dat ik met enige regelmaat het Trippenhuis kon verlaten voor gesprekken in de academia. Mijn KNAW-collega’s, in het bijzonder Jack, Corrien, Ella, Godelieve, Dirk en Pien, dank ik voor hun belangstelling en de leuke tijd aan de Kloveniersburgwal. Tot slot, maar zeker niet in de laatste plaats, dank ik mijn lieve Jasja voor haar enthousiasme en aanmoediging in de afgelopen jaren. Mark Pen Amersfoort, oktober 2009

211

Curriculum vitae Mark Pen werd geboren op 7 november 1974 in Heerenveen. Hij studeerde van 1993 tot 1998 sociale geografie aan de Rijksuniversiteit Groningen. Daarnaast vervulde hij diverse student-assistentschappen en was hij actief als voorzitter van de faculteitsvereniging. Zijn afstudeeronderzoek handelde over de invloed van bestuurlijke, economische en maatschappelijke actoren op economische ontwikkeling in rurale gebieden. Na zijn doctoraal ging hij aan de slag als consultant bij Bureau Bartels, een economisch onderzoeks- en adviesbureau in Amersfoort. In 2001 stapte hij over naar adviesbureau Berenschot in Utrecht. Als senior consultant was hij betrokken bij evaluatieonderzoeken en organisatie-advies voor ministeries, decentrale overheden en non-profit organisaties. In 2004 werd hij stafmedewerker bij de Koninklijke Nederlandse Akademie van Wetenschappen (KNAW) in Amsterdam. Daar had hij een adviserende rol op het gebied van wetenschapsbeleid en research management. Momenteel werkt hij als senior onderzoeker/adviseur op het terrein van strategische vraagstukken over beleid, sturingsrelaties en prestatiemanagement in de publieke sector. Hij is onder meer verbonden aan de Nederlandse School voor Openbaar Bestuur (NSOB), het Rathenau Instituut en de Koninklijke Nederlandse Akademie van Wetenschappen. Tevens is hij lid van een gemeentelijke Rekenkamer. In de periode 2005-2009 was hij als buitenpromovendus gelieerd aan de Faculteit Techniek, Bestuur en Management (TBM) van de Technische Universiteit Delft, waar hij onder begeleiding van prof. mr. dr. Hans de Bruijn, hoogleraar Organisatie en Management, onderzoek deed naar de doorwerking van prestatiemeting in wetenschappelijke onderzoeksorganisaties.

E-mail [email protected]

Prestatiemeting van wetenschappelijk onderzoek

Recommend Documents