BIBLIOMETRIC REPORT Toponderzoek in Nederland; Een kwantitatieve en kwalitatieve zoektocht 11 april 2014
Toponderzoek in Nederland; Een kwantitatieve en kwalitatieve zoektocht
Voor: Ministerie van Onderwijs Cultuur en Wetenschappen Jan van Steen Senior adviseur Tel.
+31 70 412 2289
E-mail
[email protected]
Van: CWTS B.V. Ingeborg Meijer PhD Project leider P.O. Box 905 2300 AX Leiden, Nederland Tel.
+31 71 527 3909
Fax
+31 71 527 3911
E-mail
[email protected]
Inhoud Samenvatting .................................................................................................................................................................................. 3 1. Inleiding ....................................................................................................................................................................................... 5 1.1 De onderzoeksvragen ..................................................................................................................... 5 2. Bibliometrische analyse – eerste fase ............................................................................................................................. 8 2.1 De bibliometrische analyse ............................................................................................................. 8 2.2 Beperkingen ................................................................................................................................. 10 3. Nadere selectie en analyse van de onderzoeksgroep – tweede fase ............................................................. 12 3.1 Steekproef T100 - aanpak ............................................................................................................. 12 3.2 Nadere analyse van de T100 ......................................................................................................... 14 4. Interviews – derde fase ...................................................................................................................................................... 17 4.1 Interview voorbereiding ................................................................................................................ 17 4.2 Resultaten interviews.................................................................................................................... 17 5. Focusgroep bijeenkomsten – derde fase .................................................................................................................... 22 5.1 Focusgroep voorbereiding ............................................................................................................ 22 5.2 Resultaten focusgroepen .............................................................................................................. 23 6. Conclusies ................................................................................................................................................................................ 31 6.1 Slotbeschouwing .......................................................................................................................... 34 Bijlagen ........................................................................................................................................................................................... 35 Bijlage 1. Filters toegepast ter voorselectie van de steekproef. ........................................................... 35 Bijlage 2. WTI2-discipline naar rato ..................................................................................................... 36 Bijlage 3: Representatieve steekproef T100 ........................................................................................ 37 Bijlage 5: Interviews – gedetailleerde informatie ................................................................................. 40 Bijlage 6: Focusgroepbijeenkomsten – gedetailleerde informatie ....................................................... 41 Bijlage 7: Vragenlijst semi-gestructureerd interview ........................................................................... 42 Bijlage 8: Vier co-auteur netwerken .................................................................................................... 44 Bijlage 9: Draaiboek Focusgroep bijeenkomst ..................................................................................... 46
2
Samenvatting Hoe identificeert men nu precies een toponderzoeksgroep? Dat was de opdracht aan het CWTS door het Ministerie van Onderwijs, Cultuur en Wetenschap (OCW). De twee hoofdvragen die in dit rapport worden beantwoord zijn: 1) Het ontwikkelen van een methodologie, waarmee men meer systematisch in kaart kan brengen wáár zich in Nederland het toponderzoek bevindt, rekening houdend met de verschillen tussen wetenschapsgebieden. Dit is in twee fasen uitgevoerd: •
Analyse van publicatie- en citatiedata van individuele onderzoekers, om individuele oeuvres te identificeren.
•
Kwalitatieve analyse van de bibliometrische selectie op basis van een representatieve steekproef van 100 onderzoekers (T100) uit de 3.384 onderzoekers.
2) Identificeren welke omstandigheden, voorwaarden of factoren maken dat groepen een toponderzoeksgroep zijn geworden. Hiertoe zijn een beperkt aantal interviews en focusgroepen met de T100 selectie gedaan, waarbij tevens leden van De Jonge Akademie en universitaire bestuurders zijn uitgenodigd. De technische beperkingen en moeilijkheden van de bibliometrische analyse plus de gekozen oplossingen staan beschreven in een apart methodologisch rapport. Dit heeft geresulteerd in een groep van 3.384 toponderzoekers op bibliometrische gronden (ca.12% is van alle Nederlandse onderzoekers). De kwalitatieve analyse van de T100 leert dat een selectie is gemaakt die: •
Toponderzoekers in de geestes- en sociale wetenschappen deels mist;
•
Voor ca. de helft bestaat uit onderzoekers in de (bio)medische, levenswetenschappen en klinisch geneeskunde, die een cultuur kennen van veel publiceren.
•
Voor ca. één kwart bestaat uit oudere mannen (55 of ouder), die voor een deel al niet meer actief zijn in de wetenschap omdat ze bestuurlijke functies hebben opgenomen.
•
Een ondervertegenwoordiging kent van vrouwen: 93% van de T100 is man.
Er zijn interne en externe factoren die van belang zijn voor toponderzoekersgroepen. Interne factoren hebben te maken met persoonlijke kenmerken, leiderschap, organisatie, en resultaten. Externe factoren hebben te maken met infrastructuur, beleid en financiering. Duidelijk is dat de omschrijving van een toponderzoeksgroep breder is dan alleen de resultaten in de vorm van wetenschappelijke publicaties en citaties: •
Een toponderzoeksgroep huisvest tenminste één toponderzoeker.
•
Onderzoekers noemen hun lokale, fysieke plek met faciliteiten, ondersteuning en collega’s de groep, maar dat is niet af te meten aan hun resultaten: samenwerking in consortia, en veel publicaties met anderen in Nederland en daarbuiten.
•
De toegenomen onderlinge competitie is een factor die samenwerking belemmert.
3
•
Belangrijke persoonlijke en leiderschapskenmerken hebben te maken met intellectuele en sociale vaardigheden, keihard werken, en vooral het zien van kansen. Toponderzoek is geen gewone baan, en vereist een bepaalde mate van hardheid en ambitie.
•
Een toponderzoeksgroep heeft een consistente onderzoekslijn, diversiteit in functies, vaardigheden en rollen, constante verversing van onderaf door middel van promovendi en postdocs en een substantiële financiële werfkracht.
•
Infrastructuur (core facilities) is vooral top als de harde infrastructuur samengaat met de mensen die de hooggespecialiseerde kennis hebben om er onderzoek mee te doen.
•
Een toponderzoeker in een toponderzoekersgroep wordt gezien als een key opinion leader. Maar toponderzoekers zelf meten de resultaten vooral af aan publicatiegerelateerde criteria.
•
Universitaire bestuurders zijn zich veel meer dan (jonge) toponderzoekers bewust van de noodzaak aan een nieuwe proxy voor het evalueren van (top)onderzoek, die veel breder moet zijn dan de publicatie als enige maat der dingen.
Eindconclusie: Voor het identificeren van toponderzoek en toponderzoeksgroepen is een kwantitatieve bibliometrische benadering gebaseerd op tijdschrift publicaties in de WoS een goede eerste stap maar te beperkt; kwalitatieve aspecten zoals hiervoor benoemd zouden behulpzaam kunnen zijn bij verdere identificatie.
4
1. Inleiding “Een goed functionerend onderzoeksysteem vereist niet alleen getalenteerde onderzoekers, maar ook een omgeving waarin zij tot hun recht komen” Dit is de eerste zin van de inleiding van het rapport Management en prestaties van onderzoeksgroepen (Rathenau Instituut)1. Hierin staat ook het begrip onderzoeksgroep gedefinieerd: “een organisatorische eenheid binnen een onderzoeksinstelling met een aantal onderzoekers als groepsleden, een eigen programma en budget, en een onderzoeksleider”2. In het Nederlandse wetenschapsbestel komen verschillende soorten onderzoeksgroepen voor. Een onderzoeksgroep kan klein zijn en bestaan uit een hoogleraar met één of enkele promovendi, zoals vaak het geval in de alfa- en gammawetenschappen. In andere vakgebieden kan een groep uit enkele tientallen onderzoekers bestaan. De relatie tussen individuele en groepskenmerken, externe omgeving en prestaties van onderzoeksgroepen is complex. Er is steeds meer belangstelling vanuit het beleid voor het zogenoemde toponderzoek. Excellentie (ofwel ‘top’) kun je vinden bij individuen en bij groepen. De aanname is dat individuele topwetenschappers het onderzoek vaak doen in de context van een groep. Topgroepen onderscheiden zich van de overige (goed presterende) groepen doordat zij bovenmatig presteren op verschillende aspecten van academische onderzoeksresultaten. Dit wordt doorgaans gemeten in termen van wetenschappelijke output (publicaties) en wetenschappelijke impact (citaties).
1.1 De onderzoeksvragen Maar hoe identificeert men nu precies een toponderzoeksgroep? Beantwoording van deze vraag is het doel van de opdracht die in 2006 door het Ministerie van Onderwijs, Cultuur en Wetenschap (OCW) aan het CWTS is gegeven. Een commissie met vertegenwoordigers van OCW, VSNU, NWO en KNAW heeft het project begeleid3. Het onderzoek is destijds gestart omdat ieder die zich met onderzoek en wetenschap bezig houdt weet dat in Nederland toponderzoek wordt verricht, terwijl een systematisch beeld hiervan ontbreekt. Het gaat hierbij om de vraag of het mogelijk is vast te stellen waar het toponderzoek zich bevindt, en niet zozeer welke groepen top zijn. Er zijn twee hoofdvragen: 1) Het ontwikkelen van een methodologie, waarmee men meer systematisch in kaart kan brengen wáár zich in Nederland het toponderzoek bevindt, rekening houdend met de verschillen tussen wetenschapsgebieden.
Inge van der Weijden, Maaike Verbree, Robert Braam, Peter van den Besselaar (2009). Management en prestaties van onderzoeksgroepen. Rathenau Instituut, Science System Assessment, Den Haag. 2 Philippe Laredo & Philippe Mustar (2004). Public Sector Research: a Growing Role in Innovation Systems." Minerva 42(1): 11-27. 3 Jan van Steen, OCW; René Hageman, VSNU; Mariken Elsen, NWO; Jack Spaapen, KNAW. 1
5
2) Identificeren welke omstandigheden, voorwaarden of factoren maken dat groepen een toponderzoeksgroep zijn geworden. Deze twee hoofdvragen zijn in 3 opeenvolgende fasen uitgewerkt, die zijn weergegeven in figuur 1.
•
Identificatie van toponderzoeksgroepen startend vanuit de analyse van publicatie- en citatiedata van individuele onderzoekers, om daarna naar de toponderzoeksgroepen te gaan. In deze eerste fase is uitgezocht of een bibliometrische aanpak op basis van de Web of Science (WoS) voor het
identificeren van individuele oeuvres mogelijk is. De
technische beperkingen en moeilijkheden van een dergelijke bibliometrische analyse plus de gekozen oplossingen staan beschreven in een apart methodologisch rapport. Dit werk heeft geresulteerd in een groep van 3.384 toponderzoekers op bibliometrische gronden. Het methodologische rapport is onderdeel van deze eindrapportage en wordt kort samengevat in hoofdstuk 2. •
Kwalitatieve analyse van de WoS bibliometrische selectie. In deze fase is geanalyseerd wie (of liever: welke ‘soort’) als toponderzoekers
bibliometrisch geïdentificeerd zijn.
Hiervoor is een representatieve steekproef van 100 onderzoekers (T100) genomen uit de 3.384 individuen. De analyse van de T100 wordt beschreven in hoofdstuk 3. •
In de derde fase is gekeken in welke organisatorische context (= onderzoeksgroep) deze individuele
toponderzoekers
werken
om
te
identificeren
welke
factoren
en
omstandigheden een rol hebben gespeeld. Hiertoe zijn interviews en focusgroepen met de T100 selectie gedaan. De interviews zijn gehouden om gespreksthema’s die van belang zijn voor toponderzoek voor de focusgroepen te genereren. Een focusgroep is een semigestructureerde groepsdiscussie, waarin een groep mensen gevraagd wordt naar hun percepties, opvattingen en houding ten opzichte van een idee, in dit geval toponderzoekers en toponderzoeksgroepen. De opzet en uitkomsten hiervan worden in hoofdstuk 4 en 5 beschreven. Figuur 1: De drie fasen van het onderzoek
Bibliometrische analyse • Individuele oeuvres • Productie en impact - per veld
Kwalitatieve analyse individuen • T100 selectie • Inventarisatie velden en functies • Netwerkanalyse
Interviews en focusgroepen • Met T100 • De Jonge Akademi • Universitaire bestuurders
6
Onderstaande deelvragen vormen een leidraad bij de beantwoording van de tweede hoofdonderzoeksvraag. Zij hebben richting gegeven aan de invulling van de derde onderzoeksfase: •
Functioneren toponderzoekers in de context van een groep?
•
Hoe ziet een (top)onderzoeksgroep er uit? Bijvoorbeeld in termen van grootte, samenstelling, fysieke aanwezigheid en netwerk.
•
Wat maakt een onderzoeksgroep een goede onderzoeksgroep, of zelfs een top onderzoeksgroep? Is er eigenlijk verschil tussen goed en top?
•
Wat is de bijdrage van de
individuele kwaliteiten van de onderzoeker aan een
toponderzoeksgroep? •
Wat
is
de
bijdrage
van
contextvariabelen
aan
een
toponderzoeksgroep.
Contextvariabelen in termen van steun van de faculteit, universiteit, infrastructuur, financiële middelen, etc. Tenslotte wordt op basis van de resultaten uit de verschillende fasen een antwoord geformuleerd op de twee hoofdvragen (zie hoofdstuk 6), en worden de conclusies kort bediscussieerd. Het project als geheel is een exploratief onderzoek met verschillende facetten
dat
bedoeld
is
om
een
beter
inzicht
te
krijgen
in
het
Nederlandse
wetenschapssysteem. Dit rapport kan gebruikt worden als input voor de toekomstvisie van OCW.
7
2. Bibliometrische analyse – eerste fase Dit hoofdstuk is gebaseerd op het recent gefinaliseerde Research in progress report: Nederlands toponderzoek onder de loep; methodological developments for the detection of top research teams in the Netherlands (CWTS, februari 2014 definitieve versie). Deze rapportage is separaat als bijlage bij dit rapport gevoegd. Hierin staan de resultaten van de eerste stappen van een bibliometrische methode om actieve toponderzoeksgroepen in Nederland in alle wetenschapsgebieden te identificeren. De studie was een zoektocht naar een methodologie en oplossingen voor technische problemen, m.n. bij het identificeren en koppelen van auteursnamen aan individuen (=onderzoekers) in Nederland. Er komen daarbij vaak dubbelingen voor (2 verschillende auteurs die als 1 individu worden geclassificeerd, of 1 auteur die als 2 individuen wordt geclassificeerd). De stap om van individu naar groep te gaan is niet verder uitgewerkt. De eerste stappen betreffen de ontwikkeling van een praktische methode voor het detecteren van alle publicaties van individuele toponderzoekers die behoren tot de meest productieve en meest geciteerde onderzoekers van Nederland. Dat klinkt eenvoudiger dan het is: in de Web of Science (WoS) is er geen mogelijkheid toponderzoeksgroepen te identificeren; en de vraag is verder wat een toppublicatie, een topauteur en een Nederlandse publicatie precies is. Dit wordt in de studie nader afgebakend. Inmiddels zijn de algoritmes om auteurs aan individuen te koppelen nog verder verbeterd. Ook de afbakening van groepen bij CWTS-analyses van geaggregeerde gegevens van een onderzoeksorganisatie is verbeterd. Overigens is in deze studie alleen gekeken naar publicaties in een peer reviewed tijdschrift, en zijn alle andere soorten publicaties (boeken, nederlandstalige publicaties in vaktijdschriften, andere schriftelijke vormen van wetenschappelijke verslaglegging) niet meegenomen.
2.1 De bibliometrische analyse In de bibliometrische analyse is het uitgangspunt een publicatie in de Web of Science. De tijdsperiode die is toegepast in de analyse is van 1997 tot 2007. Alle 226 Journal Subject Categories zijn meegenomen, met een filter op alleen ‘articles’, ‘reviews’ en ‘afkomstig uit Nederland’.
Een totaal van 31.740 Nederlandse publicaties vormde het startpunt. Deze
31.740 publicaties vertegenwoordigen de top 10% meest geciteerde publicaties uit die periode. Hierna is gekeken of deze publicaties echt Nederlands waren (d.w.z. met overwegend Nederlandse auteurs en affiliaties), en vervolgens moesten de auteurs en de adressen gekoppeld worden. Dit is een ingewikkeld proces, vooral ook in combinatie met het koppelen aan een organisatie. Met statistische methodes en algoritmes zijn auteursnamen aan individuele personen gekoppeld. Met de nadruk op ‘individuele’ omdat in Web of Science niet altijd de voornaam
8
wordt gegeven. Daardoor komt het soms voor dat personen die met dezelfde initialen publiceerden in hetzelfde onderzoeksveld, als één individu worden gezien terwijl het om twee personen gaat, en omgekeerd. Tenslotte zijn de personen weer gekoppeld aan de publicaties en adressen, en geclassificeerd in wetenschapsvelden. Hieruit bleek dat veel onderzoekers in meerdere wetenschapsvelden actief zijn (zoals bepaald door de 226 WoS Journal Subject Categories). Uiteindelijk zijn de onderzoekers die tot de 25% meest productieve onderzoekers in hun categorie behoren overgebleven. Productief betekent hier in elke categorie het kwart onderzoekers met de meeste publicaties, waarbij 25% uiteraard een keuze is. Doordat de initiële selectie op basis van impact (citaties) is gedaan (nl. de 31.740 publicaties), en daarna pas is geselecteerd op individuen met veel publicaties, voorkom je een te sterke bias naar onderzoekers die alleen voor kwantiteit gaan. Overigens bleek dat van de 3.384 slechts 67 onderzoekers in zowel productie als impact aan de top te zitten. Wanneer gecorrigeerd wordt voor WoS categorie zijn dat er 81. Er zijn dus maar weinig onderzoekers in staat zowel heel veel als met grote impact te publiceren. Daarmee zijn de oeuvres van 3.384 individuele Nederlandse onderzoekers geïdentificeerd, die in de periode van 1997 tot 2007 tot de top 10% meest geciteerde en top 25% meest productieve onderzoekers van Nederland behoren. Let wel: deze 3.384 onderzoekers zijn alleen op basis van bibliometrische analyses gedetecteerd. En het is dus niet zo dat de 3.384 onderzoekers voor 31.740 publicaties hebben gezorgd. Tabel 1: Omvang Nederlandse publieke R&D populatie van 1999 - 2007 headcount R&D
1999
2000
2001
2002
2003
2004
2005
2006
2007
Onderzoekers in
18.149
18.774
19.115
19.399
20.144
20.778
20.754
20.852
21.023
HE - totaal
(4.979)
(5.373)
(5.628)
(5.968)
(6.327)
(6.730)
(6.917)
(7.124)
(7.292)
7.514
6.492
7.263
7.258
8.627
8.532
7.800
8.084
8.044
(2.138)
(2.490)
(2.299)
(2.363)
(2.425)
28.771
29.310
28.554
28.936
29.067
(8.465)
(9.220)
(9.216)
(9.487)
(9.717)
(vrouwen) Onderzoekers in overheidsinst
–
(1.448)
totaal (vrouwen) Totaal (vrouwen)
25.663
25.266
26.378 (7.076)
26.657
Bron: http://stats.oecd.org/Index.aspx?DataSetCode=PERS_OCCUP; bezocht 7 januari 2014
Is dat nu veel of weinig, 3.384? Dat hangt natuurlijk af van de omvang van de Nederlandse R&D populatie. Tabel 1 laat enkele gegevens zien van de OECD statistieken. In de periode 1999-2007 is het aantal onderzoekers in hoger onderwijsinstellingen en buitenuniversitaire onderzoeksinstellingen gegroeid van ca. 25.000 tot 29.000 individuen (‘head count’). Van alle onderzoekers is 32% vrouw. Met andere woorden, de 3.384 onderzoekers uit de CWTS analyse vertegenwoordigen 12% van de onderzoekers in publieke instellingen in Nederland in die periode.
9
2.2 Beperkingen De eerste fase van de studie heeft als uitkomst verbeteringen in de bibliometrische selectie en analyse methodologie van individuele onderzoekers en hun wetenschappelijke publicaties in WoS (‘oeuvre’). De verbeteringen hebben te maken met de definities van toppublicatie, topauteur en Nederlands, en met algoritmes voor het koppelen van auteurs aan individuen. De huidige selectie van 3.384 kent echter ook een aantal impliciete aannames en beperkingen.
Een
impliciete
aanname
is
dat
toponderzoekers
altijd
in
een
toponderzoeksgroep zitten, én dat de meest geciteerde auteurs ook toponderzoekers zijn. Door uit te gaan van citaties als top, creëer je een bias naar onderzoekers die publiceren in tijdschriften als core-business zien. Als je deze onderzoekers vraagt wat top is, zal het antwoord niet verrassend zijn. Dat is de reden dat in het verdere onderzoek de groep van 3.384 niet verder is onderverdeeld, maar dat de hele groep gebruikt is om een representatieve steekproef uit te nemen. Een beperking van de selectie van individuele onderzoekers met grote wetenschappelijke oeuvres is verder dat niet duidelijk is wat de individuele bijdrage is aan dat oeuvre en wat de bijdrage is van de mede auteurs, of dat nu technisch ondersteunende staf is of andere onderzoekers. Dat wordt nog ingewikkelder als onderzoekers van onderzoekplek wisselen, en die dynamiek ook nog in kaart moet worden gebracht. Een belangrijke beperking is ook dat een bibliometrische analyse per definitie minder geschikt is voor een belangrijk deel van de geestes- en sociale wetenschappen, maar ook voor sommige technische wetenschappen4. In sommige van deze wetenschappelijke domeinen is een tijdschriftpublicatie minder prominent en belangrijk. Het kan dus goed zijn dat een veel publicerende biomedische wetenschapper die niet de ‘topper’ is van zijn veld wel in de 3.384 selectie zit en de Nederlandse topper in een sociaal wetenschappelijke discipline daar niet in zit vanwege een ander patroon van communiceren met de wetenschappelijke peers. Uit analyse van de Spinoza prijswinnaars uit dezelfde periode (1997-2007) blijkt dat dit inderdaad het geval is: van de 41 Spinozaprijswinnaars worden er 8 niet gevonden in de 3.384 selectie. Dit zijn toppers in de taalwetenschap (2x), wiskunde (2x), economie (2x), archeologie en rechten. In deze gebieden ontbreken dus door het veld erkende toppers. In dit
onderzoek moet met de aannames en beperkingen steeds rekening worden
gehouden: de onderzoekers die meedoen aan dit onderzoek hebben mogelijk een bias over wat top is (namelijk: veel publicaties en citaties). Dan zijn de uitkomsten op de vraag wat top is te voorspellen. Een cirkelredenering zou dan kunnen ontstaan omdat deze onderzoekers Bibliometric analysis of output and impact based on CRIS data: A case study on the registered output of a Dutch university (2014). Thed N van Leeuwen, Erik van Wijk & Paul F Wouters. Forthcoming
4
10
goed gedijen in het huidige wetenschapssysteem. Een positief element daarentegen is dat de onderzoekers die meedoen aan dit onderzoek op basis van hun geleverde (gepubliceerde) werk naar voren zijn gekomen. Met de individuele oeuvres en de bibliometrische analyse zijn in de toekomst nog een aantal technische ontwikkelingen en verbeteringen te verwachten. Dat gaat om: •
verbetering van het auteur identificatie systeem om dubbelingen te voorkomen. Het CWTS werkt momenteel aan nieuwe algoritmes hiervoor.
•
team identificatie. Verdere dynamische netwerkanalyse kan behulpzaam zijn om de afbakening van onderzoeksgroepen zichtbaar te maken.
•
ontwikkeling van geavanceerde bibliometrische indicatoren en veldafbakeningen.
11
3. Nadere selectie en analyse van de onderzoeksgroep – tweede fase In dit hoofdstuk wordt geanalyseerd wat voor onderzoekers er nu in de groep van 3.384 onderzoekers voorkomen. Zijn het vooral professoren; zijn het vooral gearriveerde onderzoekers,
die
aan
de
top
of
het
eind
van
hun
carrière
zitten;
is
er
een
oververtegenwoordiging van biomedische onderzoekers? Dat kan allemaal verwacht worden wanneer een bibliometrisch selectiecriterium gebaseerd op de WoS gehanteerd wordt. Dit heeft vooral te maken met het publicatie productie criterium. Jongere onderzoekers hebben doorgaans nog niet zo’n groot oeuvre. Het is derhalve de vraag of je met deze selectie ook de opkomende talenten (rising stars) kunt identificeren. Meer inzicht in de aard van de groep van 3.384 wordt verkregen door hiervan 100 onderzoekers, via een representatieve steekproef verkregen (de T100), nader te analyseren. Met representatief wordt bedoeld dat het een goede weergave is van alle onderzoeksdisciplines in de groep van 3.384, maar dat die wel allemaal tenminste eenmaal vertegenwoordigd zijn. Verder is het de bedoeling zoveel mogelijk nog actieve onderzoekers in de steekproef te hebben om uit te nodigen voor interviews en focusgroepen.
Paragraaf 3.1 beschrijft de opzet van de steekproef;
paragraaf 3.2 geeft een nader beeld van de T100, en beschrijft nog iets meer details van de geïnterviewden en focusgroep deelnemers van de T100.
3.1 Steekproef T100 - aanpak De steekproef is getrokken uit in totaal 2.748 onderzoekers van de 3.384. De filters die zijn toegepast en hebben geleid tot de groep van 2.748 staan beschreven in bijlage 1. Dit is gedaan om: •
Zoveel mogelijk actieve onderzoekers in de steekproef te krijgen;
•
Onderzoekers die samenwerken in de steekproef te krijgen;
•
Onderzoekers met heel weinig publicaties in 10 jaar uit de steekproef te houden.
Om inzicht te krijgen in de disciplines waarin de 2.748 onderzoekers actief zijn is gebruikt gemaakt van de NOWT/WTI2-disciplines (de onderzoeksvelden die in de Wetenschap, Technologie-Indicatoren rapporten worden gebruikt)5. Dit zijn 35 verschillende disciplines. Onderzoekers beperken zich doorgaans niet tot een enkel WTI2- veld, maar zijn in meerdere disciplines actief. De 2.748 onderzoekers komen dan ook 7.375 keer voor in die disciplines. In Bijlage 2 staat dit in detail uitgewerkt. Het resultaat van de onderverdeling in wetenschappelijke disciplines wordt weergegeven in figuur 2. Hieruit blijkt dat de biomedische
(11%)
en
fundamentele
levenswetenschappen
(10%)
alsmede
klinische
De WTI-rapporten werden tot 2010 tweejaarlijks uitgebracht door het Nederlands Observatorium van Wetenschap en Technologie (NOWT) met financiële steun van het Ministerie van Onderwijs Cultuur en Wetenschap. Vanaf 2011 door het WTI2-consortium van Dialogic, het Noorse NIFU-instituut en het CWTS.
5
12
geneeskunde (15%) flink vertegenwoordigd zijn. Als daarbij ook nog gerelateerde disciplines worden opgeteld als fundamentele medische en biologische wetenschappen, gaat het om meer dan 40% van de onderzoekers uit de bibliometrische selectie die in die disciplines werkzaam zijn. Dat bevestigt de veronderstelling dat er bij het wetenschappelijk publiceren een oververtegenwoordiging is van de ‘medical sciences’. Tegelijkertijd betekent het dat veel disciplines minimaal vertegenwoordigd zijn. Het gaat hierbij vooral om de geestes- en sociale wetenschappen; ook dat is geen verrassing gezien het ontbreken van Spinozaprijswinnaars uit deze disciplines in de groep van 3.384. Om in de steekproef van de T100 ook deze disciplines te hebben, wordt uit elk ervan tenminste 1 vertegenwoordiger geselecteerd. Dit wordt naar rato aangevuld met onderzoekers uit de andere disciplines (zie tabel 2). Figuur 2: Procentuele verdeling van de onderzoekers over de NOWT/WTI2-velden
Tabel 2: Aantal onderzoekers naar rato voor een aantal NOWT/WTI2- velden Selectie Aardwetenschappen
2
Fysica en materiaalkunde
6
Biologische wetenschappen
4
Gezondheidswetenschappen
3
Biomedische wetenschappen
11
Klinische geneeskunde
15
Chemie en chemische technologie
6
Landbouw- en voedingswetenschapen
3
Computerwetenschappen
2
Milieuwetenschappen
3
Electrotechniek
2
Multidisciplinaire tijdschriften
2
Fundamentele levenswetenschappen
10
Psychologische wetenschappen
3
Fundamentele medische wetenschappen
2
Werktuigbouwkunde
2
Voor de volledige lijst van het aantal onderzoekers naar veld, zie bijlage 2 en 4.
13
Uiteindelijk kan het voorkomen dat er onderzoekers worden geselecteerd die in meerdere disciplines aanwezig zijn. Indien dit het geval is, wordt gekozen voor de discipline waar deze onderzoeker het meest actief in publiceert. Een aantal disciplines heeft weinig onderzoekers: !
Literatuurwetenschappen heeft 1 onderzoeker in deze discipline
!
Kunsten, cultuur en muziek heeft 2 onderzoekers in deze discipline
!
Rechten en criminologie heeft 2 onderzoekers in deze discipline
Via een representatieve steekproef zoals hierboven in grote lijnen is beschreven (details in bijlage 3 en 4) zijn 100 onderzoekers geselecteerd, de T100. Een aantal onderzoekers is daarop vervangen door een andere uit de lijst. Dit waren onderzoekers die overleden waren (2), waarvan alleen verouderde contactgegevens gevonden konden worden of waarbij niet duidelijk was of dit eenzelfde persoon was (4). Later in het proces bleek dat van nog eens drie personen niet ondubbelzinnig kon worden vastgesteld of het om één persoon ging. Deze zijn daarop verwijderd uit de lijst en niet meer vervangen. De 97 onderzoekers6 zijn als volgt verdeeld over de 4 hoofdcategorieën: A Medical & Life Sciences
- 49 onderzoekers
B Science Technology Engineering-Beta Wetenschappen
- 35 onderzoekers
C Sociale Wetenschappen – Gamma Wetenschappen
- 8 onderzoekers
D Humanities – Alfa Wetenschappen
- 5 onderzoekers
De representatieve groep van 97 geselecteerde onderzoekers uit een groep van 2.748 onderzoekers is benaderd voor interviews en of focusgroepen. Hiervan heeft iets meer dan de helft (50 personen) niet gereageerd. Van de 47 personen die wel een reactie hebben gestuurd gaven er 28 aan niet aanwezig te kunnen zijn. De reden waarom zij niet aanwezig konden zijn was veelal in verband met aanwezigheid in het buitenland. Een opmerkelijke reden tot twee keer toe gegeven, was dat de onderzoeker zich niet de juiste persoon voor het onderzoek achtte. Uiteindelijk bleken er 19 van de 97 (20%) bereid mee te werken aan het onderzoek; 6 voor de interviews en 13 voor de focusgroep bijeenkomsten.
3.2 Nadere analyse van de T100 Van de 97 onderzoekers in de T100 zijn er 7 vrouw (7%)7. Verondersteld kan worden dat in de groep van 3.384 eveneens minder dan 10% vrouw is. En dat is aanzienlijk minder dan de 32% vrouwen in de totale onderzoekspopulatie. Op basis van de getallen in Feiten en Cijfers (Rathenau Instituut)8 zou verwacht kunnen worden dat ca. 15% van de T100 vrouw is (15% van de professoren in Nederland is vrouw in 2011), maar dat percentage wordt niet gehaald. De lijst met naam en instelling is uit privacy-reden niet toegevoegd. Van twee personen was het geslacht niet vast te stellen. 8 Marije de Goede, Rosalie Belder en Jos de Jonge (2013). Facts and Figures: Academic Careers in the Netherlands. Rathenau Instituut, Den Haag. 6 7
14
Tenminste 8 van de 97 zijn inmiddels universitair bestuurder of directeur van een bedrijf. En dat waren ze ook al in 2007. Deze zijn niet meer actief in het onderzoek. Nog eens 11 onderzoekers zijn hoofd van een grote afdeling en hebben een meer coördinerende functie. En tenslotte waren er onder de mensen die wel gereageerd hebben tenminste 5 emeriti die zich niet meer over het huidige onderzoek wensten uit te spreken. In de uiteindelijke lijst van 97 zitten nog steeds 2 personen waarvan niet helemaal duidelijk is of het om 1 individu gaat. Het lijkt er dus op dat tenminste 25% van de T100 aan het eind van de academische carrière zit en dit aantal zou makkelijk hoger kunnen zijn als de leeftijden van de deelnemers indicatief is voor de selectie (zie onder). Nadere analyse van de deelnemers voor interview en focusgroep Zes onderzoekers waren bereid geïnterviewd te worden, allen man. Deze onderzoekers zijn tussen de 51 en 65 jaar oud. Drie onderzoekers zijn tussen de 61 en 65 jaar oud, twee zijn tussen de 51 en 55 jaar oud en één onderzoeker is tussen de 56 en 60 jaar oud. De leeftijd van de onderzoekers waarop zij promoveerden is vrijwel hetzelfde, namelijk tussen de 30 en 35 jaar, met uitzondering van één persoon die 40 jaar was bij zijn promoveren. Alle zes onderzoekers zijn werkzaam in meer dan twee onderzoeksvelden. In totaal gaat het om 18 verschillende
onderzoeksvelden.
Aardwetenschappen
&
Technologie
en
Biomedische
Wetenschappen zijn het meest voorkomend. Daarna volgen Fysica & Materiaalkunde, Biologische
Wetenschappen,
Psychologische
Wetenschappen,
Milieuwetenschappen
en
Klinische geneeskunde. Figuur 3 geeft een totaal overzicht van de velden waarin de zes actief zijn, en bijlage 5 geeft meer geanonimiseerde achtergrond informatie over deze onderzoekers. Daaruit blijkt dat de helft van de zes hoogleraar is. Per onderzoeker is in de Web
of
Science
het
aantal
publicaties
opgezocht.
Dit
aantal
(over
de
gehele
onderzoekcarrière bekeken) ligt tussen de 72 en 389 publicaties met een gemiddelde van 246 publicaties. Voor de focusgroep bijeenkomsten hebben zich 13 onderzoekers uit de T100 aangemeld. Hierbij zat één vrouw. Alle onderzoekers zijn werkzaam in twee of meer onderzoeksvelden. Biologische
wetenschappen en Klinische
geneeskunde
zijn de
meest voorkomende
onderzoeksvelden, gevolgd door Biomedische wetenschap. Figuur 4 geeft een totaal overzicht van de velden waarin de dertien actief zijn, en bijlage 6 geeft meer geanonimiseerde achtergrondinformatie over deze onderzoekers. In deze groep is ca. 80% van de deelnemers hoogleraar.
15
Figuur 3: Activiteit van de zes geïnterviewden in de onderzoeksvelden
Figuur 4: Activiteiten van de dertien focusgroep deelnemers in onderzoeksvelden
16
4. Interviews – derde fase 4.1 Interview voorbereiding De T100 onderzoekers zijn benaderd om deel te nemen aan een interview met als doel thema’s en onderwerpen voor de focusgroep bijeenkomsten te identificeren. In de interviews is aandacht besteed aan zowel toponderzoekers als aan toponderzoeksgroepen. De manier van het selecteren van de T100 is bekend gemaakt aan de deelnemers. Dat had tot gevolg dat in de vragenlijst de vragen zo open mogelijk zijn gesteld, om een te sterke focus op de publicaties als maat van academisch succes zoveel mogelijk te beperken. De interviews waren semi-gestructureerd, waarbij de mogelijkheid is gebruikt om dieper op antwoorden in te gaan. Alle interviews vonden plaats in oktober 2013. In bijlage 7 is de vragenlijst opgenomen. De geordende resultaten van de interviews staan in 4.2.
4.2 Resultaten interviews De interviewvragen hadden tot doel een zo breed mogelijke range aan kenmerken en aspecten van toponderzoekers en toponderzoeksgroepen naar voren te
laten komen. De
eerste twee open vragen geven een aardig inzicht in de eigen positie als toponderzoeker: Op de vraag of ze meestal alleen of juist in een groep werkten was het antwoord gemengd en nooit eenduidig. De meesten werken in een groep die ze omschrijven als primair de eigen afdeling ‘onder één dak’. Maar evenzo vaak verwijzen ze naar losse samenwerkingen rondom apparatuur of rondom gefinancierde projecten, die men eerder consortia noemt dan een groep. Tegelijkertijd zeggen de meesten dat ze ook alleen werken, en dat die tendens sterker wordt. Vooral rondom het publiceren liggen er daarbij gevoeligheden, zoals auteurschap en volgorde van auteurs op publicaties. En op de vraag of ze zelf in een toponderzoeksgroep hebben gewerkt zegt de helft volmondig ja, en geeft daarbij aan volgens welke externe criteria ze dan wel top zijn (visitatie – SEP; financiering van Europese projecten). De andere helft zegt nee of twijfelt omdat ze niet goed weten volgens welke definitie van top dat dan zou zijn. Deze helft definieert top als de reputatie van de leider van zo’n groep, en dat is een intern criterium. Onderstaand worden de kenmerken van een toponderzoeksgroep beschreven op basis van de gecombineerde antwoorden van de geïnterviewden. De kenmerken zijn geclusterd in de volgende zeven categorieën: 1. Persoonlijke kenmerken 2. Leiderschap 3. Organisatie 4. Resultaten 5. Infrastructuur 6. Financiering 7. Beleid
17
De eerste twee zijn interne criteria op individueel niveau, drie en vier zijn interne criteria op groepsniveau en de laatste drie zijn externe criteria met effecten op individu en groep. Voor elk is in de interviews een aantal aspecten genoemd, die hier geaggregeerd worden weergegeven. Alleen de aspecten die door tenminste twee personen zijn genoemd, zijn meegenomen. Wanneer meerdere personen hetzelfde vinden wordt gebruik gemaakt van de term ‘men’. Persoonlijke kenmerken Genoemde persoonlijke kenmerken zijn: Fanatisme, grondigheid, creativiteit, vernieuwend, gedurfd, uniciteit en bereidheid feedback te ontvangen. Voor de kwaliteit van het onderzoek is van belang dat een consistente onderzoekslijn wordt aangehouden. Uiteraard speelt ook de mate van vakkennis mee. Echter, men meldt dat zowel persoonskenmerken als de kwaliteit van de inhoud geleidelijk overschaduwd worden door de (interne) competitie tussen onderzoekers. Die competitie is zoveel harder geworden dat onderzoekers liever alleen succesvol zijn dan dat ze willen samenwerken. Leiderschap Genoemde aspecten van leiderschap zijn: Lijnen uitzetten, oorspronkelijke ideeën, sociaal vaardig, inspirerend, veelzijdig, een brede interesse. Verder zien ze inhoudelijke en management capaciteiten als twee vormen van leiderschap, waarbij wetenschappelijke (de inhoudelijke)
kwaliteit
bovenaan
moet
staat.
Men
is
het
er
over
eens
dat
een
hoogleraarschap niet per definitie gelijk is aan een toponderzoeker. Verder wordt leiderschap geassocieerd met veel reizen, baanbrekende voordrachten, bijdragen op veel congressen,
goed in fondsenwerving, en bovenal in staat om talent om zich heen te
verzamelen. Organisatie Genoemde organisatorische aspecten zijn: De groep kent een eigen (onderzoek)niche, is lokaal, is multidisciplinair, heeft kritische massa en is divers samengesteld, zowel wat betreft leeftijdsopbouw, kwaliteiten van de medewerkers en omvang. Een groep moet promovendi en postdocs hebben voor de vernieuwing en bij voorkeur succesvolle promovendi die in de academie blijven. Een toponderzoeksgroep heeft ook werkpaarden, schrijvers en afmakers nodig. Afhankelijk van het wetenschapsgebied wordt een vrij uiteenlopende omvang genoemd: van 3-6 tot van 15-40. De grote aantallen worden overigens alleen in de biomedische wetenschappen gevonden. Men vindt virtuele en internationale netwerken consortia, en niet een groep omdat de
persoonlijke interactie
ontbreekt en daarmee ook de mogelijkheid om te sparren. Verder wordt vaak genoemd dat de groepsgedachte niet past in individueel succes. Tegelijkertijd trekt reputatie goede kandidaten.
18
Resultaten De antwoorden op de vraag wat de resultaten van onderzoek zijn waren divers. Natuurlijk werd gemeld dat onderzoek kennis moet opleveren en dat productiviteit is op te vatten als de mate waarin de resultaten van onderzoek bijdragen aan de wetenschap. Maar vaker werd gerefereerd
aan
het
niveau
van
wetenschappelijke
publicaties
als
kenmerk
van
toponderzoek. Met niveau wordt gerefereerd aan de Journal Impact Factor, de H-Index, maar ook aan de universitaire rankings. Een enkele maal werd gesproken over wetenschap voor de maatschappij, maar de wetenschap voor de wetenschap stond centraal. Infrastructuur Genoemde infrastructurele aspecten betreffen: state-of-the-art apparatuur, technische en administratieve ondersteuning vanuit de instelling. Geen van de geïnterviewden liet na het belang van een of meerdere type van deze ondersteuning te benadrukken. Financiering Genoemde financieringsaspecten betreffen eerst en vooral de moeizame jacht op middelen om het eigen onderzoek te kunnen financieren, alsmede de geringe slagingskansen daarbij. Men memoreert dat goede groepen meer geld weten aan te trekken en daarom ook meer mensen hebben, en daaruit wordt geconcludeerd dat een topgroep doorgaans goed is in fondsenwerving. Meer specifiek wordt een individuele beurs of een Spinozaprijs als top gezien. Het krijgen van een prijs is vaak aanleiding voor het krijgen van nog meer prijzen9. Omgekeerd wordt door de geïnterviewden opgemerkt dat wanneer je zo vaak een afwijzing krijgt (van een beursaanvraag), dat impliciet het signaal afgeeft dat je niet goed genoeg bent. Beleid Genoemde aspecten van beleid zijn: Het Standaard Evaluatie Protocol (SEP) en de visitatie van onderzoeksgroepen. Er is een duidelijk idee dat een SEP-score van 5, oftewel een excellente score dus top is. Onderzoekers vinden ‘top’ een typische beleidsterm. Wat is het onderscheid tussen goed en top, en volgens welke indicatoren? Men vindt dat daar geen lijstje voor is. Verder is er veel kritiek op het topsectorenbeleid dat vooral de korte termijn bedient.
Het
topsectorenbeleid
wordt
als
nadelig
voor
het
lange
termijn
en
nieuwsgierigheidsgedreven onderzoek gezien. Op grond van de interviews kun je – voorzichtig – stellen dat men vindt dat een toponderzoeksgroep tenminste één toponderzoeker huisvest, en tegelijkertijd dat een toponderzoeker niet zonder een groep kan. De grenzen tussen een individu en een groep
Ook wel aangeduid met de term Matthew effect wat slaat op ‘accumulated advantage’. Dit effect werd al in 1986 beschreven door Robert Merton.
9
19
zijn diffuus, vandaar ook dat in de tekst van dit rapport de termen toponderzoek, toponderzoeker en toponderzoeksgroep door elkaar gebruikt worden. En ook de afbakening van toponderzoek en ‘gewoon’ onderzoek is diffuus, en afhankelijk van het interne of externe criterium dat wordt gehanteerd. Vanwege de sterke opinie van de geïnterviewde onderzoekers dat een toponderzoeksgroep primair een lokale inbedding heeft, is gekeken in hoeverre deze lokale focus ook zichtbaar is in hun publicatie samenwerkingsprofiel (oftewel hun co-authored network). In de copublicatie netwerkanalyses (zie figuur 5 en de rest in bijlage 8) staat de geïnterviewde centraal (in het rood) en is met kleur een onderscheid gemaakt tussen co-auteurschap met collega’s van de eigen afdeling (in het groen); met collega’s van een andere afdeling of instelling in Nederland (in het blauw); en met collega’s uit het buitenland (in het geel). Alle zes profielen laten duidelijk zien dat de groene bolletjes overwegend in de minderheid zijn ten opzichte van de blauwe en gele bolletjes. Dit geldt voor alle zes de wetenschapsvelden van de geïnterviewden. Met andere woorden, de lokale inbedding is van belang voor de context
van
toponderzoek,
maar
niet
noodzakelijkerwijs
voor
de
activiteiten
en
wetenschappelijke publicaties van toponderzoekers. Die activiteiten en publicaties omvatten in vijf van de zes gevallen ook een flinke internationale samenwerking. Figuur 5: Co-auteur netwerkanalyse van de geïnterviewden
20
Co-auteur netwerkanalyse met VOSViewer periode 1997-2007. Ieder bolletje is een (mede-)auteur. De grootte van de bolletjes representeert het totale aantal publicaties van die auteur, de lijnen tussen twee bolletjes laat de mate van samenwerking tussen die personen zien. De netwerken van de overige 4 staan in bijlage 8.
21
5. Focusgroep bijeenkomsten – derde fase 5.1 Focusgroep voorbereiding Bij het uitnodigen van personen voor de focusgroep bijeenkomsten, is gestreefd naar een gemengde samenstelling zowel naar onderzoeksveld als naar geslacht en functie. Daarnaast is tevens gekozen voor een aanvullend perspectief in de focusgroepen. Dit ter voorkoming van een te sterke naar binnen gerichte discussie omdat top in de T100 selectie alleen gebaseerd is op publicaties en citaties. Dat creëert mogelijk een bias in de antwoorden. Daarom zijn voor de focusgroep bijeenkomsten behalve onderzoekers uit de T100 tevens leden van De Jonge Akademie (DJA) van de KNAW (voor de eerste bijeenkomst) en Universitaire (onderzoeks-)bestuurders (voor de tweede bijeenkomst) uitgenodigd. •
De Jonge Akademie leden van de KNAW. Zij vormen een platform van jonge topwetenschappers met visie op wetenschap en wetenschapsbeleid. Zij zijn gevraagd mee te praten om een breder perspectief te krijgen op carrièreperspectieven, karakteristieken en belemmeringen van toponderzoeksgroepen.
•
Universitaire (onderzoeks-) beleidsgremia, zoals de VSNU, Colleges van Bestuur, decanen, NWO, en de Topsectoren. Zij zijn direct betrokken bij de organisatie
van
wetenschap, de inbedding en financiering van toponderzoek, en hebben meer afstand tot de dagelijkse praktijk van onderzoek. De focusgroep bijeenkomsten zijn op 21 en 26 november 2013 gehouden in Utrecht. Bij de bijeenkomst
met
de
T100/DJA
waren
7
deelnemers,
en
bij
de
bijeenkomst
T100/universitaire bestuurders waren 11 deelnemers aanwezig. De uitkomsten zijn vanwege de kleine aantallen eerder op te vatten als indicatie dan als breed gedragen bevinding. De T100 bestaat, zoals aangegeven, voor 93% uit mannen, en ook in de focusgroep bijeenkomsten waren vrouwen ondervertegenwoordigd: 14% bij de T100/DJA bijeenkomsten, en 25% bij de T100/universitaire bestuurders (UB) bijeenkomst. De genderbalance, oftewel de ondervertegenwoordiging van vrouwen in de top van de wetenschap werd bij beide bijeenkomsten gesignaleerd als een probleem. De focusgroep bijeenkomsten zijn gehouden aan de hand van een draaiboek (zie bijlage 9). In de tweede bijeenkomst zijn eerst individuele en daarna pas organisatie kenmerken aan de orde gesteld. Deze opzet werkte beter. De bijeenkomsten zijn geobserveerd en genotuleerd. Een focusgroep is een semigestructureerde discussie onder leiding van een moderator met als doel brede opvattingen te genereren. De gemengde samenstelling van de focusgroep heeft gewerkt in de zin dat bij beide bijeenkomsten een levendige discussie plaatsvond. De resultaten worden onderstaand zowel apart (per focusgroep) als gezamenlijk (voor beiden) besproken. Tussen de focusgroepen waren er namelijk wel verschillen. De onderstaande resultaten zijn de geaggregeerde bijdragen van de deelnemers, en ze vertegenwoordigen dus niet een individueel standpunt. Waar mogelijk zijn uitkomsten verder geprioriteerd om
22
karakteristieken nog scherper te identificeren. Hoewel een focusgroep discussie niet perse gericht is op consensus, waren er per focusgroep geen compleet tegengestelde opvattingen waarneembaar: wel nuanceverschillen en aanvullende opmerkingen.
5.2 Resultaten focusgroepen De discussie begon in beide gevallen met de vraag of de deelnemers ‘top’ en ‘goed’ als hetzelfde beschouwen. Op één na, vond iedereen dat top en goed iets anders is, maar de argumenten die daarvoor gebruikt worden waren verschillend. Het feit dat er een gradueel verschil is tussen top en goed, maakt het lastig af te bakenen waar top ophoudt en goed begint. En tegelijkertijd zegt men zelden te twijfelen over de top van de toponderzoekers; die haal je er altijd uit. Enkele argumenten om het verschil tussen top en goed te onderscheiden: door de vraagstelling waaraan zij/hij werkt, gericht op de moeilijke vragen; het adresseren van iets werkelijk nieuws en het openen van een nieuw perspectief; talent en organisatievermogen; of gewoon een flinke dosis tijdsgebonden geluk omdat je net actief bent op een thema waar de wetenschap zich ontwikkelt. Ook uit deze argumenten blijkt weer dat het om zowel intrinsieke capaciteiten van de toponderzoekers gaat, als om contextuele factoren. Deze worden onderstaand in meer detail uitgewerkt. Citaat deelnemer: “Een metafoor uit het schaatsen: de top zit in de kernploeg, en daarbuiten zijn nog een boel andere goede schaatsers”. 5.2.1 Individuele kenmerken In de sessie over de individuele kenmerken is eerst aan de deelnemers gevraagd op te schrijven welke persoonlijke kenmerken zij karakteristiek vinden voor een toponderzoeker. Daarna is over de verschillende bijdragen gediscussieerd, en tenslotte kon men deze prioriteren. In de focusgroep T100/DJA werd o.a. genoemd: Jong, erudiet, ideeën hebben, cum laude promoveren, maar uiteindelijk was er algemene instemming met de omschrijving dat een toponderzoeker een combinatie is van een briljant persoon (en briljant is slim én creatief) met uitstekende sociale vaardigheden die keihard werkt (en meer dan 60 uur per week maakt). In de focusgroep T100/UB kwam ook een scala aan karakteristieken aan bod: Intelligent, analytisch, in staat tot synthese, uitstekende beheersing van vakdiscipline/opinion leader, serendipiteit/geluk, contactueel, risico nemen, snelle vertaalslag naar publicatie. Echter na prioritering bleek dat in staat zijn originele kansen te zien als belangrijkste kenmerk van een toponderzoeker werd gezien, gevolgd door inzet en overtuiging. Samenvattend zijn de persoonlijke kenmerken van een toponderzoeker, die in principe gelden voor alle wetenschapsvelden, een combinatie van: 1. Briljant 2. Hard werkend
23
3. Zien van kansen 4. Sociaal vaardig Dat is natuurlijk geen verrassende uitkomst. Het is waarschijnlijk eerder omgekeerd: als je twee of drie van de vier kenmerken niet hebt, is het al een stuk moeilijker een toponderzoeker te zijn. Juist omdat de onderlinge verhouding tussen de kenmerken 1-4 bij toponderzoekers varieert, is er ook een heel divers scala aan toponderzoekers. Maar dat maakt het tegelijk ingewikkelder om te beoordelen. Daarbij komt dat er inflatie van het begrip excellentie is, wat de beoordeling nog moeilijker maakt. Opmerkelijk is dat de term ‘voorbeeldfunctie’ niet genoemd wordt. Echter een voorbeeldfunctie is eerder een perceptie van anderen dan een intrinsiek kenmerk van een persoon. Daarna is aan de deelnemers gevraagd op te schrijven welke leiderschapskenmerken zij karakteristiek vinden voor een toponderzoeker. Over de verschillende bijdragen is gediscussieerd, en tenslotte kon men ze prioriteren. In de focusgroep T100/DJA werd o.a genoemd: doortastendheid, het problemen toe-eigenen en oplossen, goed kunnen schrijven, en een goede balans tussen ambitie en collegialiteit. Maar na prioritering bleek dat het motiveren van anderen om het beste uit zichzelf te halen, en het trots zijn op andermans prestatie het belangrijkst gevonden wordt. In de focusgroep T100/UB kwam ook een scala aan leiderschapskarakteristieken aan bod: prioriteiten stellen en richting bepalen, snelheid van denken en besluiten, kunnen luisteren, overzicht en inzicht, ervaring, en alle persoonlijke kenmerken met daarbij de optelsom van alle mislukkingen. Maar na prioritering bleek dat het enthousiasmeren en motiveren van de groep, het gunnen van succes en het netwerken in een relevante omgeving het belangrijkst gevonden worden. Samenvattend zijn de kenmerken van leiderschap, die in principe gelden voor alle wetenschapsvelden, een combinatie van: 1. Motiveren 2. Trots op anderen 3. Netwerken 4. Overzicht Hieruit blijkt dat onderzoekers zich realiseren dat een leider (van een groep) niet meer alleen de eigen ambitie kan volgen, maar zich ook op anderen moet richten. Impliciet betekent dit dat ambitie blijkbaar een belangrijk persoonlijk kenmerk is dat niet hardop wordt uitgesproken. Ambitie past bij de individuele competitie die de wetenschap is. Die competitie vergt een keiharde attitude, zoals werd opgemerkt. Toponderzoekers kunnen niet te aardig zijn, en ambitie is een belangrijke drijfveer.
24
5.2.2 Groepskenmerken intern In de sessie over de groepskenmerken is eerst aan de deelnemers gevraagd op te schrijven welke organisatie kenmerken zij karakteristiek vinden voor een toponderzoeksgroep. Daarna is over de verschillende bijdragen gediscussieerd, en tenslotte kon men deze prioriteren. In de focusgroep T100/DJA werd o.a. genoemd: diversiteit in functies (behalve een aantal wp vast, zijn ook postdocs en promovendi nodig, plus technische staf), diversiteit in kwaliteiten (afmakers, ‘werkpaarden’, schrijvers), samen onder één dak, en samenwerkend ook interdisciplinair en virtueel. Maar na prioritering bleek dat het hebben van een doorlopende onderzoekslijn, en onderzoekers met werfkracht in de competitie het meest belangrijk werden gevonden. In de focusgroep T100/UB leverde de discussie een uitgebreide lijst van kenmerken op die niet verder geprioriteerd is, omdat men vond dat alle aspecten gezamenlijk van belang zijn voor alle wetenschapsvelden. De onverkorte lijst heeft de volgende aspecten: verversing met jong talent door onderwijs aan graduates/bachelors, internationale contacten, openheid, erkenning van wederzijdse kwaliteiten (gunfactor), onderlinge competitie, snelle onderlinge contacten, diversiteit, sociale eenheid, corporate identity. Samenvattend zijn de kenmerken van de organisatie van een toponderzoeksgroep, die in principe gelden voor alle wetenschapsvelden, een combinatie van: 1. Diversiteit in functies en kwaliteiten 2. Verversing met jong talent via onderwijs 3. Een doorlopende onderzoekslijn 4. Onderzoekers met werfkracht in competitie Diversiteit in alle opzichten wordt erkend als een belangrijk aspect. Het staat echter in deze tijden van teruglopende onderzoekfinanciering onder druk, omdat geselecteerd wordt op specifieke individuele factoren en leiderschap. Maar geen enkel team kan zonder verschillende kwaliteiten en een sociale eenheid. Daarna is aan de deelnemers gevraagd op te schrijven welke resultaten zij karakteristiek vinden voor een toponderzoeker/toponderzoeksgroep. Over de verschillende bijdragen is gediscussieerd,
en
die
discussie
wordt
onderstaand
weergegeven
zonder
verdere
prioritering. In de focusgroep T100/DJA werd als eerste genoemd: tenminste 80% publiceren in top-10 tijdschriften van het desbetreffende veld. Dit werd steevast tegengesproken door vertegenwoordigers
uit
de
geestes-
en
de
sociale
wetenschappen,
omdat
tijdschriftpublicaties daar veel minder prominent zijn. In die wetenschapsvelden legt onderwijs een groot beslag op de tijd, en neemt publiceren vele vormen aan. Vervolgens werd genoemd keynote lectures op belangrijke congressen, communiceren in sociale context en via vaktijdschriften, en andere valorisatie outputs. Bijdragen in conference
25
proceedings wordt als niet van belang gezien. Men is er daarbij van overtuigd dat een flinke dosis geluk zeker ook een rol speelt bij het ‘worden van top’. In de focusgroep T100/UB leverde de discussie een uitgebreide lijst van resultaten van toponderzoeksgroepen op die niet verder is geprioriteerd: nieuwe wetenschappelijke inzichten, op basis waarvan de groep bijdraagt aan de key opinion over de toekomstige richting van het betreffende veld; diverse domeinen van impact, waar door middel van internationale benchmarking vastgesteld kan worden hoe groot die impact dan wel is; een top 5 van eigen publicaties (breed) waarin het meest baanbrekende werk is beschreven en dat wordt uitgelegd met een beschrijving (een narrative); zuigkracht oftewel wie trek je aan en wie leidt je op. Samenvattend zijn er maar twee kenmerken die door iedereen als belangrijk resultaat van een
toponderzoeksgroep
wordt
gezien,
en
die
in
principe
gelden
voor
alle
wetenschapsvelden: 1. Key opinion leider van de toekomstige onderzoeksrichting 2. Een beperkt aantal sleutelpublicaties Het is duidelijk dat de T100/DJA een andere discussie had dan de T100/UB. De (jonge) onderzoekers worden vooral geleid door het huidige prestatiemodel, en zien overwegend een publicatie (in welke vorm dan ook) als belangrijkste resultaat van onderzoek. Dit gaat zo ver dat zij bijdragen aan wetenschappelijke inzichten niet noemen. Het middel, de publicatie om te communiceren over je bevindingen om bij te dragen aan de wetenschappelijke kennis – de body of knowledge op een bepaald terrein – is een doel in zichzelf geworden. De T100/UB discussie werd geleid door de idee dat de grenzen van het huidige systeem bereikt zijn, en dat er nieuwe proxies (indicatoren) nodig zijn om de resultaten van de wetenschap te kunnen beoordelen. De proxies zullen per wetenschappelijke discipline anders zijn. Dit is een discussie die vooral vanuit het beleid wordt gevoerd. Toponderzoekers komen daar nauwelijks aan toe: presteren door publiceren, en onderzoekfinanciering binnen halen staan voorop. 5.2.3 Kenmerken extern In de sessie over de externe kenmerken is eerst aan de deelnemers gevraagd op te schrijven welke infrastructurele kenmerken zij van belang vinden voor een toponderzoeksgroep. Daarna is over de verschillende bijdragen gediscussieerd, en tenslotte kon men deze prioriteren. In de focusgroep T100/DJA werd o.a. genoemd: het hebben van een unieke techniek, en het hebben van uitstekende (lab) faciliteiten die toptalent aantrekken. Geconstateerd werd dat juist de combinatie van uitstekende faciliteiten en know how van mensen die er maximaal gebruik van maken maakt dat er sprake is van ‘world class core facilities’. Zulk core facilities
26
hebben idealiter een grotere kritische massa dan de behoefte van één afdeling, en zouden door het bedienen van meerdere afdelingen multidisciplinariteit kunnen bevorderen. In de focusgroep T100/UB leverde de discussie over infrastructurele kenmerken op: support op maat en uitstekende faciliteiten. Deze algemene stellingen werden niet verder gespecificeerd. Samenvattend is het belangrijkste kenmerk van de infrastructuur voor toponderzoek, die in principe gelden voor alle wetenschapsvelden: 1. Uitstekende faciliteiten in combinatie met mensen die de kennis hebben om er maximaal gebruik van te maken Zowel T100/DJA als T100/UB realiseren zich dat de beschikbaarheid van infrastructurele faciliteiten cruciaal is voor de toekomst van het toponderzoek, maar een essentiële toevoeging uit de focusgroep is wel dat deze faciliteiten alleen met toponderzoekers erbij waarde hebben. Geconcludeerd kan worden dat alleen hoogstaande faciliteiten niet voldoende zijn. In Nederland zou
de financiering van grote faciliteiten en infrastructuur
sterker gekoppeld kunnen worden aan mensen. Daarna
is
met
de
T100/UB
focusgroep
specifiek
gesproken
over
universitair
onderzoeksbeleid, met het oog op het verder faciliteren van toponderzoek. In de focusgroep T100/UB werd o.a. genoemd: inhoud moet prevaleren; focus op kwaliteit; processen en regels moeten alleen gaan over m2, geld en juridische zaken, maar niet over het onderzoek; verdedigen van ongelijkheid bij de verdeling van faciliteiten;
waardering
uitspreken en dicht bij de onderzoekers staan. Maar het belangrijkst werd gevonden: 1. Het voeren van een duidelijk, voorspelbaar en consistent beleid Consistentie is zo belangrijk omdat er voor (top)onderzoekers niets vervelender is dan een zwalkend beleid waarbij nu eens het ene en dan weer het andere prioriteit is. Overigens werd geconstateerd dat in Nederland alle onderzoeksinstellingen een eigen ‘kleur’ hebben, die mede het beleidsproces bepaalt. Tenslotte is in de focusgroepen gesproken over kenmerken van de financiering van toponderzoek. In de focusgroep T100/DJA werd o.a. genoemd: de groepsgrootte hangt af van het wervend vermogen; er is steeds minder vrij geld waardoor onderzoek dat een langere adem vergt blijft liggen. Algemeen werd gevonden dat top-down geprioriteerde onderzoekfinanciering uiteindelijk de dood in de pot betekent van het toponderzoek. Een voorbeeld daarvan is het opslorpen van de NWO-vrije competitie door het topsectorenbeleid. In de focusgroep T100/UB werd een vergelijkbare discussie gevoerd, die vervolgens breder werd getrokken. Ook hier werd onderkend dat het topsectorenbeleid geld voor vernieuwend onderzoek
weghaalt
bij
NWO,
maar
dat
bovendien
het
expliciete
doel
van
het
27
topsectorenbeleid, namelijk het sterker investeren in onderzoek door het bedrijfsleven, nauwelijks gerealiseerd wordt. Dat leidt tot de algemene constatering dat om bij de internationale top aan te kunnen blijven sluiten meer investeringen in onderzoek noodzakelijk zijn. De rooskleurige publicatiecijfers verhullen dat het toponderzoek wordt uitgehold, dat andere landen Nederland inhalen en dat Nederland een grote kans heeft om zijn onderzoekpositie te verliezen. En wanneer Nederland ‘omlaagvalt’ zal het lang duren voordat het weer op peil is gekomen. Uit de discussie blijkt verder dat dit omlaag vallen niet denkbeeldig is omdat bijvoorbeeld Scandinavische landen en Duitsland landen wel meer investeren in onderzoek10. Om dit probleem op te lossen is het van belang een nieuwe balans te vinden tussen competitie en vernieuwing11. Samenvattend zijn de belangrijkste bedreigingen van de financiering van toponderzoek, die in principe gelden voor alle wetenschapsvelden: 1. Financiering
van
vrij
en
vernieuwend
onderzoek
wordt
beperkt
door
het
topsectorenbeleid 2. Om aansluiting bij de internationale top te houden zijn meer investeringen noodzakelijk waarbij er een balans bestaat tussen vernieuwing en competitie. In tabel 3 staan de resultaten van de interviews en focusgroep analyse samengevat. Tabel 3: Overzicht resultaten focusgroepen Hoofdcategorieën
Criteria
Intern individueel
Persoonlijke
•
Briljant
kenmerken
•
Hard werkend
•
Zien van kansen
•
Sociaal vaardig
•
Motiveren
•
Trots op anderen
•
Netwerken
•
Overzicht
•
Diversiteit in functies en kwaliteiten
•
Verversing met jong talent via onderwijs
•
Een doorlopende onderzoekslijn
•
Onderzoekers met werfkracht in competitie
•
Key
Leiderschap
Intern groep
Organisatie
Resultaten
Kenmerken
opinion
leider
van
de
toekomstige
onderzoeksrichting. Extern
Infrastructuur
•
Een beperkt aantal sleutelpublicaties
•
Uitstekende faciliteiten in combinatie met mensen die kennis hebben er maximaal gebruik van te maken.
Zie Innovation Union Scoreboard 2014 (http://ec.europa.eu/enterprise/policies/innovation/policy/innovation-scoreboard/index_en.htm) 11 Rapport 'Naar een lerende economie. Investeren in het verdienvermogen van Nederland' (2013). WRR, Den Haag. 10
28
Beleid
•
Het voeren van een duidelijk, voorspelbaar en consistent beleid.
Financiering
•
Financiering van vrij en vernieuwend onderzoek wordt beperkt door het topsectoren beleid.
•
Om aansluiting bij de internationale top te houden zijn meer investeringen noodzakelijk die op een consistente
manier
vernieuwing
en
competitie
balanceren.
5.2.4 Discussie over ACUMEN portfolio De focusgroepen werden afgesloten met een reactie van de deelnemers op de zogenaamde ACUMEN portfolio. ACUMEN staat voor Academic Careers Understood through MEasurement and Norms en is een Europees KP7 project dat wordt gecoördineerd door het CWTS. Dit project gaat in op de discrepantie tussen de huidige aard van evaluatiecriteria van wetenschap en de sociale en economische functie die wetenschap ook heeft maar die niet wordt meegenomen in de beoordeling12. Het gaat uit van individuele onderzoekers en kijkt of erkenning is te realiseren voor andere typen werk, en op een meer kwalitatieve manier. Eindproduct van dit project is de ACUMEN portfolio structuur (zie figuur 6). Naast output wordt er ook gekeken naar expertise en invloed, en de portfolio wordt gecomplementeerd met een beschrijving (narrative) om kort de essentie van het onderzoek van een individuele onderzoeker neer te zetten. Dit sluit aan bij de manier waarop in de UK met het Research Evaluation Framework 2014 (http://www.ref.ac.uk/) getracht wordt ook de maatschappelijke impact van onderzoek zichtbaar te maken, waarbij het in het geval van het REF2014 om de groep gaat. De reacties in de twee focusgroepen liepen hier sterk uiteen. De T100/DJA reageerde overwegend negatief en zag dit vooral als een manier om nóg meer werk te creëren. Met het kwantitatieve publicatie citatie model weten medische en beta onderzoekers (de STEM science, technology engineering and medicine) in elk geval precies hoe het systeem werkt en spelen daar op in. De onzekerheid over een nieuw systeem, gekoppeld aan de maatschappelijke impact van wetenschap discussie krijgt bij jongere onderzoekers en toponderzoekers op basis van bibliometrie niet echt de handen op elkaar voor de ACUMEN portfolio. Bij de T100/UB focusgroep was het andersom. Daar bood de ACUMEN portfolio precies het antwoord op de al gesignaleerde noodzaak van andere proxies om wetenschap te evalueren omdat het huidige systeem aan het eind van de houdbaarheid is gekomen. Hierbij moet wel opgemerkt dat dit vooral de opvatting van de universitair bestuurders en geesteswetenschappers was, waardoor je zou kunnen beargumenteren dat dit vooral een beleidsissue is. Enkele T100 vertegenwoordigers waren positiever over de huidige bibliometrische benadering en zagen de H-index als een belangrijke meetlat van top. De H12
Dahler-Larsen (2011) The Evaluation Society. Stanford University Press
29
index meet cumulatieve citatie-impact van oeuvres, en bevoordeelt oudere onderzoekers: zo heeft de huidige minister van Binnenlandse Zaken een nog steeds toenemende H-index ondanks dat hij sinds 2007 niet meer in de wetenschap actief is. Overigens komt deze zelfde minister ook voor in de bibliometrische selectie van 3.384. Figuur 6: ACUMEN portfolio en evaluatie richtlijnen
ACUMEN Portfolio Evaluation%Guidelines%
Career%Narrative
Links%expertise,%output,%and%influence%together%in%an% evidence9based%argument;%included%content%is%negotiated% with%evaluator%and%tailored%to%the%particular%evaluation
Expertise%
9%scientific/scholarly% 9%technological% 9%communication% 9%organizational% 9%knowledge%transfer% 9%educational
Output% !
9%publications% 9%public%media% 9%teaching% 9%web/social%media% 9%data%sets% 9%software/tools% 9%infrastructure% 9%grant%proposals
9 aimed%at%both%researchers%and%evaluators% 9 development%of%evidence%based%arguments% (what%counts%as%evidence?)%
Influence
9 expanded%list%of%research%output%
9%on%science% ! 9%on%society% ! 9%on%economy% ! 9%on%teaching
9 taxonomy%of%indicators:%bibliometric,% webometric,%altmetric%
9 establishing%provenance%
9 guidance%on%use%of%indicators% 9 contextual%considerations,%such%as:%stage%of% career,%discipline,%and%country%of%residence
Tatum & Wouters | 14 November 2013
30
6. Conclusies We komen hier terug op de hoofdvragen die in paragraaf 1.1 zijn gesteld. Welke antwoorden kunnen er gegeven worden op basis van de (geïntegreerde) resultaten van de drie onderzoeksfasen? Hoofdvraag 1 heeft betrekking op het ontwikkelen van een methodologie, waarmee men op systematische wijze in kaart kan brengen wáár zich in Nederland het toponderzoek bevindt, rekening houdend met de verschillen in wetenschapsgebied. De conclusie is dat een bibliometrische methode die alleen is gebaseerd op artikelen in tijdschriften opgenomen in de WoS, zoals uitgevoerd in de eerste fase van dit project, niet voldoende is om toponderzoeksgroepen in kaart te brengen. Bibliometrie gebaseerd op een breder palet aan wetenschappelijke verslaglegging doet meer recht aan de verschillende wetenschappelijke
disciplines.
Het
is
echter
mogelijk
om
individuele
oeuvres
van
onderzoekers te identificeren die goed scoren op citaties en op de productie van tijdschriftpublicaties. Er is daarbij een aantal technische beperkingen op het gebied van dubbelingen, maar daarvoor kunnen oplossingen worden gevonden, en zijn ook al deels gevonden. Maar belangrijker is dat er een aantal bevindingen voortkomen uit de andere twee fasen van het project, die bevestigen dat er een groep onderzoekers is geselecteerd die: •
…toponderzoekers in de geestes- en sociale wetenschappen grotendeels mist, op een enkele uitzondering na die wel veel publiceert. Een belangrijk argument hiervoor is dat in de selectie 8 van de 41 van de Spinoza prijswinnaars uit dezelfde periode (97-07) ontbreken die werkzaam zijn in o.a. taalwetenschap, economie, archeologie en rechten. Met andere woorden: erkende top wordt dus lang niet altijd door de WoS bibliometrie ‘gevangen’.
•
… voor een groot deel (ongeveer de helft) bestaat uit onderzoekers in de (bio)medische, levenswetenschappen en klinisch geneeskundige wetenschap. De biomedici en klinisch geneeskundige onderzoekers kennen een cultuur van veel publiceren zoals ook blijkt uit de co-auteur netwerken.
•
… voor een aanzienlijk deel (ca. één kwart) een bias heeft naar oudere mannen (55 of ouder). Dit zijn gearriveerde onderzoekers, veelal hoogleraar, die voor een deel al niet meer actief zijn in de wetenschap omdat ze bestuurlijke functies hebben opgenomen. De reden kan zijn dat de geanalyseerde tijdperiode tot 2007 gaat, en een deel van de toponderzoekers inmiddels met pensioen is, maar desalniettemin blijft er een grote bias naar oudere mannen.
•
… een ondervertegenwoordiging heeft van het aantal vrouwen: 93% van de T100 is man, en het is aannemelijk dat dit % bij de 3.384 niet veel anders zal zijn. Dit is nog de helft van het % vrouwelijke professoren in Nederland (15%). Ook in de focusgroepen werd de genderbalance problematiek gesignaleerd.
31
De top-producerende groep van onderzoekers (3.348) is ongeveer even groot als de groep van in totaal ca. 3.300 hoogleraren uit Nederland. Zoals uit de T100 steekproef blijkt is van de 3.348 groep 60-70% hoogleraar. Als men van de hoogleraren in die groep uit zou gaan, zou je de vraag kunnen stellen wie je dan mist uit het totale hooglerarencorps. Zijn die dan niet top, zijn ze om wat voor reden dan ook minder actief, publiceren ze minder artikelen en meer boeken, enz. Dat is een vraag die discipline specifiek beantwoord zou moeten worden, om
vast
te
stellen
of
het
volgen
van
hoogleraren
voldoende
kan
zijn
om
toponderzoeksgroepen te identificeren. Dat was in de scope van dit project niet mogelijk. Hoofdvraag 2 heeft betrekking op het identificeren van de omstandigheden, voorwaarden en factoren die maken dat groepen een toponderzoeksgroep zijn geworden. Zoals reeds genoemd zijn de aantallen deelnemers aan interviews en focusgroepen niet groot geweest. Daarom zijn onderstaande overwegingen eerder indicatief dan algemeen generaliseerbaar. De beperkingen van de 3.384 selectie (zie hierboven) zijn deels gecompenseerd door in de focusgroepen ook anderszins geselecteerde onderzoekers en universitair bestuurders deel te laten nemen aan de derde fase in het project. De onderliggende vraag hoe men een toponderzoeksgroep kan herkennen, kent een veelzijdiger antwoord dan het aantal publicaties dat men produceert. Het vaststellen en identificeren van toponderzoeksgroepen kan op veel verschillende manieren worden onderzocht en bekeken. Dat blijkt wel uit het feit dat de omschrijving van een toponderzoeker en van een toponderzoeksgroep veel breder is dan alleen de resultaten in de vorm van wetenschappelijke publicaties en citaties: •
Een toponderzoeksgroep huisvest tenminste één toponderzoeker, en tegelijkertijd kan een toponderzoeker niet zonder een groep. Een individu kan in de loop van zijn of haar carrière verschillende rollen vervullen; naarmate de tijd vordert wordt een coördinerende rol voor de groep ook belangrijk. Op zo’n moment gaan leiderschapskenmerken meespelen.
•
De afbakening van toponderzoek en goed onderzoek is diffuus, en afhankelijk volgens welk intern of extern criterium dat wordt bepaald. Toch is iedereen het er wel over eens dat top iets anders is dan goed. De ‘top 10’ is doorgaans voor ieder duidelijk, maar waar top ophoudt en goed begint is helemaal niet eenduidig.
•
Ook het begrip onderzoeksgroep diffuus. Waar onderzoekers het doorgaans over hun lokale, fysieke plek onder één dak hebben waar de faciliteiten zich bevinden, ondersteuning aanwezig is en er collega’s zijn om mee te sparren, is dat niet af te lezen aan hun resultaten: samenwerking in consortia, en veel publicaties met anderen in Nederland en daarbuiten. Onderzoekers noemen zelf de toegenomen onderlinge competitie als een factor die samenwerking belemmert. Zowel in interviews als in focusgroep-discussies wordt bevestigd dat er een sterke tendens is naar liever alleen succesvol dan samen de kennis vergroten.
32
•
Belangrijke persoonlijke en leiderschapskenmerken die breed gedragen worden in de focusgroepen en de interviews hebben te maken met intellectuele en sociale vaardigheden, keihard werken (door de jongere onderzoekers gespecificeerd als meer dan 60 uur per week), en vooral het zien van kansen. Als leider heb je meer oog voor het succes van de ander, ben je ook nog tot het motiveren van anderen in staat, en bewaar je het overzicht. Dat klinkt allemaal heel redelijk maar de bottom-line is dat toponderzoek geen gewone baan is, en één die een bepaalde mate van hardheid en ambitie vereist. Anders red je het niet.
•
Een toponderzoeksgroep heeft – vanuit het perspectief van de organisatie gezien – een consistente onderzoekslijn, diversiteit in functies, vaardigheden en rollen, constante verversing van onderaf door middel van promovendi en postdocs en een substantiële financiële werfkracht. Of dit beeld helemaal congruent is met de individuele belangen van onderzoekers in opkomst die competeren om een beperkt aantal posities in de wetenschap valt te betwijfelen.
•
Infrastructuur is een belangrijk criterium voor toponderzoek, dat wordt in het Nederlandse wetenschapsbeleid ook zeker erkend (wat blijkt uit de financiële ruimte voor Grote Infra projecten). Uit de discussies komt echter het beeld naar voren dat topfaciliteiten dat vooral zijn als de harde infrastructuur samengaat met de zachte infrastructuur, oftewel de mensen die de hooggespecialiseerde kennis hebben om er onderzoek mee te doen. Dan worden het pas echt core facilities, die breed ingezet kunnen worden.
•
Een toponderzoeker in een toponderzoekersgroep wordt eerst en vooral gezien als een key opinion leader die op zijn of haar terrein de richting bepaalt door middel van een (beperkt aantal) sleutelpublicaties. Toponderzoekers zelf, daarentegen, meten de resultaten van hun onderzoek vooral af aan publicatie-gerelateerde criteria. Dit gaat zo ver dat bijdragen aan wetenschappelijke inzichten niet genoemd worden. Het middel, de publicatie om te communiceren over je bevindingen om bij te dragen aan de wetenschappelijke kennis – de body of knowledge op een bepaald terrein –lijkt een doel in zichzelf geworden te zijn. Blijkbaar zijn doel (kennis) en middel (communicatie met wetenschappelijke peers) verwisseld. Van deze processen lijken onderzoekers zich niet of nauwelijks bewust. Overigens hangen deze onderzoekers nog steeds aan de journal impact factor en de H-index, beide bibliometrisch niet veld-genormaliseerde indicatoren.
•
Universitaire bestuurders zijn zich veel meer dan (jonge) toponderzoekers bewust van de noodzaak aan een nieuwe proxy voor het evalueren van (top)onderzoek, die veel breder moet zijn dan de publicatie als enige maat der dingen. Niet voor niets waren zij enthousiast over de ACUMEN portfolio, die goed past in de discussies over het nieuwe Standaard Evaluatie Protocol en de aandacht voor maatschappelijke relevantie van onderzoek in het algemeen. De (jonge) toponderzoekers zien niet zo veel in de ACUMEN portfolio (kost allemaal te veel tijd die ze afhoudt van publiceren).
33
•
Beleid en financiering van onderzoek is uiteraard van belang voor toponderzoek. Toponderzoekers zien niets in het Nederlandse Topsectoren beleid dat geld weghoudt van het nieuwsgierigheidsgedreven onderzoek, en zij zijn gebaat bij een consistent beleid.
Eindconclusie: Voor het identificeren van toponderzoek en toponderzoeksgroepen is een kwantitatieve bibliometrische benadering gebaseerd op tijdschrift publicaties in de WoS een goede eerste stap maar te beperkt; kwalitatieve aspecten zoals hiervoor benoemd zouden behulpzaam kunnen zijn bij verdere identificatie.
6.1 Slotbeschouwing Onderstaande vragen over de betekenis van de bevindingen bieden een iets breder perspectief in deze slotbeschouwing. Waarom heeft de bibliometrie een zo nauwe opvatting gekregen bij veel (top)onderzoekers? Het codificeren van wetenschappelijke kennis door het op te schrijven blijft een kerntaak van wetenschappers, en de wetenschap van die geregistreerde output (de bibliometrie) is derhalve veel diverser dan alleen maar tijdschrift publicaties in de WoS. De rol van bibliometrische indicatoren in het wetenschapssysteem en de dominante onderzoekscultuur, is van belang om inzicht te krijgen in de tegengestelde, belangen en motieven waarmee een (top)onderzoeker in een (top)onderzoeksgroep die zijn of haar weg moet vinden, om moet gaan. Hoe willen we als wetenschapssysteem dat – vooral jonge – onderzoekers die een carrière in de wetenschap ambiëren, omgaan met perverse prikkels, zoals het sturen (en afrekenen) op publicaties en impact scores. Dat is niet triviaal want ook de doorstroming in de academische rangen hangt hier in toenemende mate van af. Is het dan verbazingwekkend dat onderzoekers met het oog op hun carrière zich in eerste instantie op publicaties richten om in de concurrentie individueel succesvol te zijn? Maar hoe willen we dan dat deze (top)onderzoekers omgaan met kennisontwikkeling en – verspreiding ten behoeve van (maatschappelijke) problemen, en met samenwerken in een groep. Want het (Europese) wetenschapsbeleid, en de maatschappij in den brede, vragen steeds meer om een bijdrage van onderzoekers bij het oplossen van maatschappelijke problemen. Uitgangspunt daarbij is dat vindingrijkheid én samenwerking aan de bron staan van vernieuwing. Als de wetenschap die verantwoordelijkheid neemt voor de samenleving, is het dan niet zaak dat een ander soort resultaten van onderzoek en de benutting van kennis onderdeel gaat uitmaken van beloning in het wetenschapssysteem in de vorm van loopbaanperspectief en andere uitingen van waardering. En als we daar in de opleiding van onderzoekers ook aandacht aan besteden, wordt maatschappelijk verantwoorde wetenschap dan niet steeds meer vanzelfsprekend?
34
Bijlagen Bijlage 1. Filters toegepast ter voorselectie van de steekproef. Omdat de selectie van 3.384 onderzoekers een wat verouderde selectie is (data uit 19972007) zijn een aantal filters toegepast om het risico te verkleinen dat onderzoekers niet meer actief zijn in 2013. Een eerste filter is het verwijderen van onderzoekers die tussen 2005 en 2007 nul of één artikel publiceerden. Uiteindelijk zijn 228 onderzoekers met één publicatie en 401 onderzoekers met nul publicaties verwijderd. Een tweede filter betreft samenwerking. De onderzoeksvraag heeft betrekking op onderzoeksgroepen, en elke onderzoeker heeft ieder geval één keer moeten samenwerken in de periode van 1997 en 2007. Uiteindelijk hebben twee onderzoekers niet samengewerkt. Na deze filters houden we 2.754 onderzoekers over. Om te garanderen dat we echt alleen actieve onderzoekers in de steekproef meenemen, is ervoor gekozen om naast het verwijderen van één publicatie, ook onderzoekers met (enkel) twee publicaties te verwijderen. Hierbij moet wel worden gelet op eventuele verschuivingen in percentages per WTI-discipline (zie bijlage 2). Niet elke discipline heeft eenzelfde karakter. Er zijn disciplines waar onderzoekers met één publicatie evenveel werk verzetten als onderzoekers met tien publicaties in een andere discipline. Na het verwijderen van onderzoekers met (enkel) twee publicaties, komen we uit op een aantal van 2.748 onderzoekers die 7.375 keer voorkomen in de disciplines. Met andere woorden: Kijkend vanuit de disciplines zijn er 7.375 ‘personen’, maar omdat de meeste personen in meer dan 1 discipline actief zijn, gaat het in werkelijkheid om 2.748 unieke personen. Blijkbaar zijn er dus weinig mensen die tussen 2005 en 2007 (enkel) twee publicaties op hun naam hebben staan, maar komt het 1.275 keer voor dat onderzoekers in meerdere disciplines publiceren waarbij hij/zij twee artikelen heeft gepubliceerd. Zie bijlage 2 voor een volledig beeld. Drie onderzoeksvelden geven door deze verwijdering een verschuiving aan. De af-, of toename in percentage geeft het verschil aan tussen de onderzoekers met één of meer publicaties in het onderzoekersveld, in vergelijking met het aantal onderzoekers met drie of meer publicaties in hetzelfde veld. •
18. Klinische geneeskunde. Een verschil van + 5,8%. Onderzoekers in dit onderzoeksveld publiceren veelal drie of meer artikelen in dit veld. (van 1.663 naar 1.534)
•
24. Multidisciplinaire tijdschriften. Een verschil van - 3,1%. Blijkbaar zijn er ‘veel’ onderzoekers die maar één of twee artikelen in multidisciplinaire tijdschriften publiceerden. (van 545 naar 131)
Nu de verdeling van onderzoekers per discipline is vastgesteld, krijgt iedere discipline één zetel waarna de overige zetels naar rato worden berekend. In bijlage 2 staan de actuele percentages die in Figuur 2 in de hoofdtekst zijn afgerond op 1 ook als het 0.3 was.
35
Bijlage 2. WTI2-discipline naar rato #"
WTI-discipline
1 2 3 4 5 6 7 8 9 10 11
Aardwetenschappen en technologie Algemene en productie technologie Biologische wetenschappen Biomedische wetenschappen Chemie en chemische technologie Civiele techniek Computerwetenschappen Economische wetenschappen Electrotechniek Energiewetenschappen Fundamentele levenswetenschappen Fundamentele medische wetenschappen Fysica en materiaalkunde Geschiedenis, filosofie en religie Gezondheidswetenschappen Informatie en communicatiewetensch. Instrumenten en instrumentarium Klinische geneeskunde Kunsten, cultuur en muziek Landbouw- en voedingswetenschappen Literatuurwetenschappen Management en planning Milieuwetenschapen Multidisciplinaire tijdsschriften Onderwijswetenschappen Politieke wetenschappen Psychologische wetenschappen Rechten en criminologie Sociale en gedragswet. – interdisciplinair Sociologie en antropologie Statistiek Sterrenkunde Taal en linguïstiek Werktuigbouwkunde Wiskunde
12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 "
Totaal
% van totaal
Over na wissen personen met 1 publicatie
% van totaal
Over na wissen personen met 2 publicaties
% van totaal
208 83 641 1481 795 41 242 86 222 119 1418
1,9 0,7 5,8 13,3 7,1 0,4 2,2 0,8 2,0 1,1 12,8
155 33 404 1260 684 18 177 61 155 75 1211
1,8 0,4 4,7 14,6 7,9 0,2 2,0 0,7 1,8 0,9 14,0
121& 24& 297& 1108& 607& 14& 139& 52& 130& 51& 1057&
1,6& 0,3& 4,0& 15,0& 8,2& 0,2& 1,9& 0,7& 1,8& 0,7& 14,3&
337
3,0
197
2,3
141&
1,9&
699 31 406
6,3 0,3 3,7
631 23 309
7,3 0,3 3,6
583& 12& 239&
7,9& 0,2& 3,2&
28
0,3
17
0,2
14&
0,2&
181 1663 8
1,6 15,0 0,1
101 1583 4
1,2 18,3 0,0
64& 1534& 2&
0,9& 20,7& 0,0&
396
3,6
284
3,3
237&
3,2&
4 51 336 545 69 15 289 13
0,0 0,5 3,0 4,9 0,6 0,1 2,6 0,1
1 34 256 256 40 11 216 5
0,0 0,4 3,0 3,0 0,5 0,1 2,5 0,1
1& 29& 215& 131& 32& 8& 195& 2&
0,0& 0,4& 2,9& 1,8& 0,4& 0,1& 2,6& 0,0&
122
1,1
74
0,9
42&
0,6&
49 93 70 15 212 153
0,4 0,8 0,6 0,1 1,9 1,4
24 59 56 14 127 95
0,3 0,7 0,6 0,2 1,5 1,1
13& 47& 52& 13& 98& 71&
0,2& 0,6& 0,7& 0,2& 1,3& 1,0&
Personen met aantal publicaties
11.121
8.650
7.375"
36
Bijlage 3: Representatieve steekproef T100 Voor de representatieve steekproef, worden de onderzoekers voor de T100 per discipline random gekozen. Te beginnen met de disciplines waar heel weinig onderzoekers van zijn (zie hoofdtekst). Daarna zijn ze uit de dataset worden verwijderd zodat ze niet in andere disciplines meer voorkomen. Vervolgens
is
gestart
Aardwetenschappen
en
voor
de
verdere
Technologie.
Uit
random
deze
steekproef
discipline
worden
bij
de
discipline
bijvoorbeeld
twee
onderzoekers geselecteerd. Waarna we doorgaan naar Algemene en productie technologie waar r één onderzoeker wordt geselecteerd. Zo worden de disciplines alfabetisch afgewerkt. Random betekent dat er met behulp van een bepaalde strategie, een aantal namen worden uitgekozen. Een zestal onderzoekers komt in twee onderzoeksvelden naar voren. Deze zijn vervangen door de onderzoekers die via de formule, volgende in het overzicht waren. Het totale overzicht is te vinden in bijlage 4.
Bijlage 4: Totaal overzicht selectie van onderzoekers Naar rato zoals uitgewerkt in bijlage 3 en de veldidentificatie in de bijlagen 1 en 2; #nummer kolom geeft het unieke nummer van de onderzoekers weer in de dataset van 2.748. Vervolgens zijn van deze onderzoekers de naam en contactgegevens opgezocht.
37
#4
#5
#6
#7
#8
#9
# 10
# 11
492 1494 2792
1180
4 5 6
Biomedische wetenschappen Chemie en chemische technologie Civiele techniek
1142
1690
2225
1108 607 14
11 6 1
502 5235 86
1091 902
1760 1261
2275 3820
2917 2183
3522 2904
4054
4642
5117
5591
6161
7 8
Computerwetenschappen Economische wetenschappen
139 52
2 1
279 1211
1401
9 10 11 12 13 14 15
Electrotechniek Energiewetenschappen Fundamentele levenswetenschappen Fundamentele medische wetenschappen Fysica en materiaalkunde
130 51 1057
2 1 10
536 241 516
852 1453
2066
2572
3183
3873
4447
5040
5484
141
2
427
1042
583
6
481
860
1347
1875
2416
3015
12 239
1 3
106 931
3134
2853
14
1
3
64
2
808
648
1534
15
577
1192
1949
2550
3213
3739
4341
4875
5307
5905
978
17
Geschiedenis, filosofie en religie Gezondheidswetenschappen Informatie en communicatiewetenschappen Instrumenten en instrumentarium
18
Klinische geneeskunde
19 20
Kunsten, cultuur en muziek Landbouw- en voedingswetenschappen
2 237
1 3
718 579
1240
1793
21 22 23
Literatuurwetenschappen Management en planning Milieuwetenschapen
1 29 215
1 1 3
8535 339 511
919
1438
24 25
Multidisciplinaire tijdsschriften Onderwijswetenschappen
131 32
2 1
264 588
26 27 28
8 195 2
1 3 1
235 2667 5350
42
1
671
30
Politieke wetenschappen Psychologische wetenschappen Rechten en criminologie Sociale en gedragswet. – interdisciplinair Sociologie en antropologie
13
1
2485
31 32
Statistiek Sterrenkunde
47 52
1 1
804 836
16
29
830
1186
3445
6485
# 15
#3
2 1 4
# 14
#2
Aardwetenschappen en technologie Algemene en productie technologie Biologische wetenschappen
# 13
#1
1 2 3
# 12
Afgeron d naar rato
e, naar rato hoeveel er in de T100 worden opgeno men en het unieke nummer van de onderzo eker in de set van 2.748 onderzo ekers. Vervolge ns zijn van de onderzo ekers de naam en contactg egevens opgezoc Na ht. wissen 2 publica. 121 24 297
WTI-discipline
7116
7915
9039
1094 1
33
Taal en linguïstiek
13
1
148
34 35
Werktuigbouwkunde Wiskunde
98 71
2 2
432 459
800 1000
39
Bijlage 5: Interviews – gedetailleerde informatie Nummer: 588 Hoogleraar Onderwijspsychologie en Psychologie Geslacht: Man Leeftijdscategorie: 61-65 jaar Web of Science: 389 publicaties Onderzoeksvelden: Educational Sciences
Leeftijd bij promoveren: 30-35 jaar Tussen 1997 en 2007: 17 pub. Psychology
Nummer: 511 Wetenschappenlijk onderzoeker, tenured, Theoretische Biologie Geslacht: Man Leeftijdscategorie: 51-55 jaar Leeftijd bij promoveren: 30-35 jaar Web of Science: 241 publicaties Tussen 1997 en 2007: 12 pub. Onderzoeksvelden: Biomedical Sciences Environmental Sciences and Technology Nummer: 1186 Professor of Experimental Social Psychology Geslacht: Man Leeftijdscategorie: 61-65 jaar Web of Science: 72 publicaties Onderzoeksvelden: Agriculture and food science Clinical Medicine Law and Criminolgy Psychology
Leeftijd bij promoveren: 30-35 jaar Tussen 1997 en 2007: 30 pub. Biological science Economics and Business Management and Planning
Nummer: 4054 Professor Kinderlongarts, hoofd van de afdeling kinderlongziekten Geslacht: Man Leeftijdscategorie: 56-60 jaar Leeftijd bij promoveren: 30-35 jaar Web of Science: 306 publicaties Tussen 1997 en 2007: 40 pub. Onderzoeksvelden: Agriculture and Food science Biomedical Sciences Clinical Medicine Environmental sciences and Technology Nummer: 2792 Universitair hoofddocent fysische chemie Geslacht: Man Leeftijdscategorie: 60-65 jaar Leeftijd bij promoveren: 30-35 jaar Web of Science: 105 publicaties Tussen 1997 en 2007: 22 pub. Onderzoeksvelden: Agriculture and Food science Basic Life Science Biological Sciences Biomedical Sciences Chemistry & Chemical Engineering Physics and material science Nummer: 836 Honorary senior lecturer in UK/ Fysicus – fysica en fysische electronica/funding organisatie Geslacht: Man Leeftijdscategorie: 51-55 Leeftijd bij promoveren: / Web of Science: 365 publicaties Tussen 1997 en 2007: 26 pub. Onderzoeksvelden: Energy Science and Technology Instruments and Instrumentation Mechanical Engin. and Aerospace Physics and Materials Science Electrical Engineering and Telecommunication
Bijlage 6: Focusgroepbijeenkomsten – gedetailleerde informatie Nummer: Geslacht: Leeftijdscategorie: Tussen 1997 en 2007: Onderzoeksvelden:
6485 Man 55-60 53 publicaties Clinical Medicine Basic Life Sciences
Nummer: Geslacht: Leeftijdscategorie: Tussen 1997 en 2007: Onderzoeksvelden:
919 Man 60-65 17 publicaties Earth Sciences and Technology
Nummer: Geslacht: Tussen 1997 en 2007: Onderzoeksvelden:
6161 Man 159 publicaties Clinical Medicine Agriculture and Food Science Basic Life Sciences Aerospace
Nummer: Geslacht: Tussen 1997 en 2007: Onderzoeksvelden:
5484 Vrouw 152 publicaties Clinical Medicine Agriculture and Food Science Basic Life Sciences Educational Sciences
Nummer: Geslacht: Tussen 1997 en 2007: Onderzoeksvelden:
2485 Man 31 publicaties Earth Sciences and Technology Sociology and Anthropology History, Philosophy and Religion Biological Sciences
Nummer: Geslacht: Tussen 1997 en 2007: Onderzoeksvelden:
577 Man 44 publicaties Chemistry and Chemical Engineering Computer Sciences
Nummer: Geslacht: Tussen 1997 en 2007: Onderzoeksvelden:
1142 Man 12 publicaties Clinical Medicine Agriculture and Food Science Environmental Sciences and Technology Biological Sciences Multidisciplinary Journals Statistical Sciences Biomedical Sciences
Nummer: Geslacht: Tussen 1997 en 2007: Onderzoeksvelden:
3873 Man 301 publicaties Clinical Medicine History, Philosophy and Religion Psychology Social and Behavioral Sciences
Nummer: Geslacht: Tussen 1997 en 2007: Onderzoeksvelden:
1760 Man 141 publicaties Earth Sciences and Technology Sociology and Anthroplogy History, Philosophy and Relegion Biological Sciences
Biomedical Science
Biological Sciences
Biomedical Sciences Health Sciences Mechanical Engineering and
Biomedical Sciences Health Sciences Biological Sciences Multidisciplinary Journals
Clinical Medicine Physics and Materials Science
Sociology and Anthropology Biological Sciences Basic Life Sciences Health Sciences
41
Bijlage 7: Vragenlijst semi-gestructureerd interview Introductie: Op verzoek van het ministerie van Onderwijs, Cultuur en Wetenschap (OCW) is het Centre For Science and Technology Studies (CWTS, Universiteit Leiden) gevraagd om een karakterisering van toponderzoeksgroepen te maken. De eerste stap hierbij was een bibliometrische identificatie van ca. 3.000 actieve onderzoekers in de publieke kennisinstellingen in Nederland. Met een kleine selectie van deze
3.000
onderzoekers
willen
wij
de
vraag
beantwoorden;
wat
maakt
een
onderzoeksgroep, een top-onderzoeksgroep? En welke factoren en elementen hebben onderzoekers nodig om in een top-onderszoeksgroep te functioneren? Het gaat om onderzoekers in alle wetenschapsgebieden. De vraag is nu of daaruit ook de toponderzoeksgroepen geïdentificeerd kunnen worden. Daarbij rijst de impliciete vraag wat een toponderzoeksgroep dan precies is, en welke rol individuele onderzoekers in een toponderzoekersgroep hebben. Dat soort informatie komt natuurlijk niet uit bibliometrische gegevens, en daarom hebben we uit de ca. 3000 actieve onderzoekers in Nederland een random selectie gemaakt van 100 personen, die worden uitgenodigd mee te doen aan een interview of focusgroep. U doet mee aan dit interview en de informatie daaruit zal worden gebruikt als input voor de focusgroepen die later in november worden gehouden. Wij draaien zelf een beetje rondom het begrip toponderzoeksgroep. Vandaar onze eerste twee open vragen. 1. Werkt u meestal alleen, of werkt u mee in groepen? Indien beide: in welke verhouding? 2. Heeft
u
wel
eens
meegewerkt
in
een
toponderzoeksgroep?
Ja/nee
Wat is uw ervaring? 3. Wat maakt dat deze groep een toponderzoeksgroep was? 4. Wat zijn volgens u de karakteristieken van een toponderzoeksgroep? 5. Zijn
onderzoekers
in
een
toponderzoeksgroep
vanzelfsprekend
individuele
toponderzoekers? 6. Wat is volgens u een toponderzoeker, en wat heeft die nodig? 7. Kent u persoonlijk een goede onderzoeker? 8. Wat maakt het dat u deze onderzoeker een goede onderzoeker vindt? 9. Kan deze meneer/mevrouw als toponderzoeker worden bestempeld? Ja/nee, waarom? 10. Is er verschil tussen een goede en een top onderzoeker?
42
11. Kunt u reageren op de volgende steekwoorden !
Organisatorische eenheid – virtueel. thema/instelling.
!
Leiderschap rondom onderzoeksgroepen. Veel invloed op top of niet?
!
Optimale grootte
!
Financiering
!
Publicatie (druk)
!
Kwaliteitsmeting
!
Diversiteit / cultuur
!
Instelling
12. Toponderzoeksgroepen en/of toponderzoekers: kunt u aangeven wat dat betekend in relatie tot de nieuwste beleidsontwikkelingen: ‘smart specialisation’ en de integratie van onderzoek en innovatie in Horizon 2020 en de topsectoren? Hartelijk dank voor uw medewerking.
43
Bijlage 8: Vier co-auteur netwerken
44
45
Bijlage 9: Draaiboek Focusgroep bijeenkomst INLEIDING In dit draaiboek wordt de gang van zaken beschreven, zowel in praktische zin als inhoudelijk voor het uitvoeren van de twee focusgroepen, die wij organiseren in het kader van het toponderzoek project i.o.v. het ministerie van OCenW. Korte inleidende presentatie over het onderzoek en het doel van de focusgroep – 10-15 minuten 1.1 Inleiding over CWTS en eigen expertise (1 slide) Zodra alle deelnemers hebben plaatsgenomen, verwelkomt de gespreksleider iedereen. Hij of zij stelt zichzelf voor, ook de andere CWTS personen en kondigt aan dat in de volgende 10 minuten relevante achtergrondinformatie gepresenteerd zal worden. Vraag de deelnemers zichzelf kort te introduceren: naam, affiliatie, veld werkzaam. Meer niet. En benoem dat een focusgroep een gestructureerd groepsinterview is waar we zoveel mogelijk informatie uit willen halen. {Slide bevat tekst over CWTS – zie boekje met logo en tekst meaningful metrics} - Expertise op het terrein van kwantitatieve wetenschapsevaluatie – bibliometrie - Hoge kwaliteit data infrastructuur voor analyse - Gestandaardiseerde processen en procedures En daarmee levert CWTS o.a. diensten ten behoeve van - Monitoring en evaluatie - Geavanceerde analyses Maar ook vernieuwing in het onderzoek op het terrein van: - bibliometrische indicatoren, maatschappelijke impact, carrières, SSH, publicatiecultuur 1.2 De vragen van vanavond (1 slide) Algemeen doel is: Hoe kunnen we toponderzoek in Nederland identificeren/in kaart brengen? Nadrukkelijk voor OCW geen beleidscontext verbonden aan dit onderzoek. •
De onderliggende vragen zijn:
Vraag 1: Functioneren toponderzoekers in de context van een groep en zo ja hoe ziet die (toponderzoeks)groep er dan uit. (We mikken op het niveau van onderzoeksgroepen, vanuit het idee dat individuele wetenschappers het onderzoek vaak doen in de context van een groep, en vaak ook samen met anderen) Vraag 2: Welke omstandigheden / voorwaarden dragen bij aan top onderzoek? Individuele versus contextvariabelen? (Zijn het puur de kwaliteiten van de onderzoeker, of doen contextvariabelen er ook toe zoals de inbedding in de groep, steun van de faculteit, universiteit, de aanwezigheid van andere wetenschappers, geld, enz.) Vraag 3: Hoe kunnen jonge toponderzoekers zich verder ontwikkelen? (dit is een op de toekomst gerichte toevoeging, die in eerste instantie geen deel uitmaakte van de vraag) Dit is een van de twee focusgroepen die het CWTS organiseert: een met DJA leden (21), en een met universitaire bestuurders en funders (26), mn voor hun inbreng mbt de contextvariabelen, en de jonge onderzoekers 1.3 Inleiding over voorgeschiedenis (1 slide) • Doel van de opdracht aan CWTS was te helpen “een methodologie te ontwikkelen waarmee je meer systematisch in kaart brengt waar zich in Nederland top onderzoek bevindt, en dat voor alle wetenschapsgebieden (2008). • Eerste stap (rapport in 2011): het identificeren van oeuvres van individuele wetenschappers die tot de meest actief publicerende en meest geciteerde wetenschappers van Nederland behoren > resultaat 3385 individuele Nederlandse onderzoekers. • Deze 3385 auteurs vertegenwoordigen de Top 10% meest geciteerde papers in alle different ISI Subject categorieën en behoren tot de 25% meest productieve (top-related publications).
46
•
•
Hierbij zitten al een aantal aannames en dilemma’s: o Expliciet: over wat een top publicatie is, wat een topauteur is en wat Nederlands is > praktische afbakening (zoals bv auteur/organisatie combinaties, adressen) o Impliciet: dat toponderzoekers altijd in een toponderzoeksgroep zitten en de meest geciteerde auteurs ook toponderzoekers zijn o Probleem 1: waar houdt het individu op en begint de groep, dynamiek over tijd? o Probleem 2: publicatie en citatieanalyse is alleen relevant voor medische en natuurwetenschappen….. Vandaar ook dit kwalitatieve vervolg onderzoek
1.3 Selectie van gesprekspartners uit bibliometrische resultaat (1 slide). • Vertrekpunt was dus de 3385 unieke auteurs. • Doel was daar een selectie van 100 uit te maken voor interviews en focusgroepen • Eerste selectie was zo veel mogelijk actieve onderzoekers benaderen: diegene te nemen die nog gepubliceerd hebben tussen 2005 en 2007 • Tweede selectie was de auteurs te categoriseren volgens de 35 wetenschapsvelden zoals ze in het Nederlands Observatorium voor Wetenschap en technologie worden gebruikt (laat plaatje in prezi verschijnen van de pie chart) • Naar rato een selectie van 100 gemaakt met als resultaat. > plaatje van geselecteerde velden, aantallen per veld en grote indeling (van a-d) 50-25-10 en 5 • Hiervan 6 geïnterviewd, en de rest uitgenodigd voor focusgroepen. 1.5 Agenda voor de avond (1 slide) In een drietal sessies laten we een aantal variabelen aan de orde komen die tezamen de • sessie 1: Hoe ziet een (top)onderzoeksgroep er uit? (hier twee extreme voorbeelden fictief en schematisch; om denken te prikkelen) (17.45-18.10) • sessie 2: Welke contextvariabelen spelen nog meer een rol om een toponderzoeker/groep te identificeren? (twee netwerkanalyses van geïnterviewde) (18.10-18.35) • Korte pauze (18.35 – 18.45) • sessie 3: Welke individuele variabelen spelen een rol om een toponderzoeker te worden en te blijven ontwikkelen? (18.45 – 19.10) • sessie 4: Samenvatting sessie 1 t/m 3 & Reactie op ACUMEN portfolio (19.10 – 19.30) De facilitator stelt een eerste vraag die dienst doet als opwarmertje en waarop iedereen verzocht wordt een antwoord te geven met ja/nee. Is er een verschil tussen goed en top? Stemmen door opsteken van rode (nee) en groene (ja) kaart; Tellen van stemmen, en uitleg van een ja en een nee? Opschrijven op flipover. Sessie 1: Hoe ziet een (top)onderzoeksgroep er uit? (17.45 - 18.10 uur) Begin met het tonen van twee (extreme) voorbeelden: kleine groep goed geoutilleerd vs grote groep met phd/postdoc, deels verspreid, weinig steun In deze sessie willen we graag met u bespreken hoe een toponderzoeksgroep eruit ziet in uw ogen. Uit de twee getoonde voorbeelden, is al op te maken dat er vele variaties zijn. En het is nu zaak om die in kaart te brengen en te bepalen wat de meest bepalende factoren zijn voor alle wetenschapsgebieden. We hebben hiervoor 25 minuten gereserveerd. Mede vanwege de beperkte tijd die we hebben, nemen we de input vanuit de gehouden interviews als vertrekpunt. Uit die interviews komen twee clusters van antwoorden naar voren die je als externe context variabele kunt beschouwen. Dat zijn: ! Samenstelling - geel ! Infrastructuur - oranje Op uw tafel vindt u 2 kleuren post its en een stift. Elke kleur vertegenwoordigt een cluster. Wilt u voor elke cluster twee factoren opschrijven die u voor die cluster belangrijk vindt? Als u klaar bent kunt u de briefjes bij mij inleveren. Dan kunnen we aansluitend discussiëren over het waarom. Ik loop alle deelnemers af, en om de beurt kunnen we de kenmerken in de verschillende clusters in meer detail bespreken. Clusters: Op flipover 2 kolommen maken
47
Samenstelling – geel
Infrastructuur - oranje
Nu we dit zo met elkaar bepaald hebben wil ik graag nog een stap verder gaan. Ik wil u vragen 2 kenmerken te prioriteren. U heeft daartoe 2 kleine ronde stickertjes gekregen en aan u de vraag deze te plakken bij de twee kenmerken die voor u het zwaarste tellen. U mag zelfs twee stickers bij een kenmerk plakken als u die het zwaarst vindt wegen. Samenvattend kunnen we dus concluderen…. Sessie 2: Welke contextvariabelen spelen nog meer een rol om een toponderzoeker/groep te identificeren? (18.10 – 18.35) Begin met het tonen van twee (extreme) voorbeelden: netwerkanalyse van een paar geïnterviewden. Vertel daarna in wat voor soort groep ze werken. In deze sessie willen we graag met u bespreken wat bepaalt hoe een toponderzoeksgroep een toponderzoeksgroep is geworden. Daar zijn natuurlijk voor een deel de hierboven genoemde variabelen voor verantwoordelijk, maar er is meer. Dat wil ik graag in de komende 25 minuten met u bespreken. Opnieuw maken we gebruik van de informatie die we uit de interviews hebben gehaald. En we volgen dezelfde aanpak als bij de vraag hiervoor. De antwoord clusters zijn bepaald, u kunt input leveren voor alle twee, daarna bediscussiëren we de resultaten, en prioriteren we de uitkomsten. Uit die interviews komen de volgende clusters naar voren. Dat zijn: ! Output - geel ! Funding - oranje Op uw tafel vindt u 2 kleuren post its en een stift. Elke kleur vertegenwoordigt een cluster. Wilt u voor elke cluster twee factoren opschrijven die u voor die cluster belangrijk vindt? Als u klaar bent kunt u de briefjes bij mij inleveren. Dan kunnen we aansluitend discussiëren over het waarom. Ik loop alle deelnemers af, en om de beurt kunnen we de kenmerken in de verschillende clusters in meer detail bespreken. Clusters: Op flipover 2 kolommen maken Output – geel Funding - oranje Nu we dit zo met elkaar bepaald hebben wil ik graag nog een stap verder gaan. Ik wil u vragen 2 kenmerken te prioriteren. U heeft daartoe 2 kleine ronde stickertjes gekregen en aan u de vraag deze te plakken bij de twee kenmerken die voor u het zwaarste tellen. U mag zelfs twee stickers bij een kenmerk plakken als u die het zwaarst vindt wegen. Samenvattend kunnen we dus concluderen…. PAUZE 10 minuten/eten drinken pakken Sessie 3: Welke individuele variabelen spelen een rol om een toponderzoeker te worden? (18.45 – 19.10) Begin met het tonen van twee (extreme) voorbeelden: topspits en een toptrainer. Is heel wat anders, maar laat dan plaatje zien van Marco van Basten…. Kan beide zijn op een ander moment in je carrière…. In deze derde sessie gaan we steeds meer naar het individuele niveau. De aanname daarbij is dat zich in een toponderzoeksgroep in elk geval één maar mogelijk meer toponderzoekers bevinden. In de komende 25 minuten wil ik met u bespreken wat individuele kenmerken van toponderzoekers zijn om zich verder te ontwikkelen. Opnieuw maken we gebruik van de informatie die we uit de interviews hebben gehaald. En we volgen dezelfde aanpak als bij de vraag hiervoor. De antwoord clusters zijn bepaald, u kunt input leveren voor alle twee, daarna bediscussiëren we de resultaten, en prioriteren we de uitkomsten. Uit die interviews komen de volgende clusters naar voren. Dat zijn: ! Persoonlijke kenmerken - geel ! Leiderschap - oranje
48
Op uw tafel vindt u 2 kleuren post its en een stift. Elke kleur vertegenwoordigt een cluster. Wilt u voor elke cluster twee factoren opschrijven die u voor die cluster belangrijk vindt? Als u klaar bent kunt u de briefjes bij mij inleveren. Dan kunnen we aansluitend discussiëren over het waarom. Ik loop alle deelnemers af, en om de beurt kunnen we de kenmerken in de verschillende clusters in meer detail bespreken. Clusters: Op flipover 2 kolommen maken Persoonlijke kenmerken – geel Leiderschap - oranje Nu we dit zo met elkaar bepaald hebben wil ik graag nog een stap verder gaan. Ik wil u vragen 2 kenmerken te prioriteren. U heeft daartoe 2 kleine ronde stickertjes gekregen en aan u de vraag deze te plakken bij de twee kenmerken die voor u het zwaarste tellen. U mag zelfs twee stickers bij een kenmerk plakken als u die het zwaarst vindt wegen. Samenvattend kunnen we dus concluderen…. Sessie 4: Samenvatting sessie 1 t/m 3 & Reactie op ACUMEN portfolio (19.10 – 19.30) In de vorige sessies hebben we een 6-tal clusters van factoren aan de orde laten komen. Ik wil in deze laatste sessies twee dingen doen: Ten eerste alle clusters van factoren in een onderlinge vergelijking zetten, waarbij u uiteraard van harte bent uitgenodigd om de gevoerde discussie in uw overwegingen mee te nemen. Ten tweede een reactie te geven op een voorstel voor een individuele portfolio, en de consequenties die dat heeft voor het identificeren van toponderzoek en toponderzoeksgroepen. De antwoordclusters die aan de orde zijn geweest zijn: Samenstelling output persoonlijke kenmerken Infrastructuur funding Leiderschap Ik wil u vragen 2 kenmerken te prioriteren. U heeft daartoe 2 kleine ronde stickertjes gekregen en aan u de vraag deze te plakken bij de twee kenmerken die voor u het zwaarste tellen. U mag zelfs twee stickers bij een kenmerk plakken als u die het zwaarst vindt wegen. De uitkomst van deze prioritering is de cluster van antwoorden die volgens de deelnemers het zwaarst wegen om een onderzoeksgroep te identificeren. Als afsluiting wil ik van u graag een reactie op het portfolio voorstel dat het resultaat is van een Europees KP7 project genaamd ACUMEN (acedemic careers understood through measurement and norms) wat onder leiding van het CWTS nu plaatsvindt.
ACUMEN Portfolio Career%Narrative
Links%expertise,%output,%and%influence%together%in%an% evidence9based%argument;%included%content%is%negotiated% with%evaluator%and%tailored%to%the%particular%evaluation
Expertise%
9%scientific/scholarly% 9%technological% 9%communication% 9%organizational% 9%knowledge%transfer% 9%educational
Output% !
9%publications% 9%public%media% 9%teaching% 9%web/social%media% 9%data%sets% 9%software/tools% 9%infrastructure% 9%grant%proposals
Influence
9%on%science% ! 9%on%society% ! 9%on%economy% ! 9%on%teaching
Tatum & Wouters | 14 November 2013
49
REPORT
