Leonardo1, de kwaliteitsopgave voor HBO-publicaties. Een werkdocument geschreven in opdracht van SURF als vervolg op de presentatie en discussie op de workshop van de HBO-contactpersonen Onderzoeksbeleid op 29 november 2010. Auteur: Leo Waaijers.
Aanloop Sinds 2001 heeft het HBO een expliciete onderzoekstaak. Dragers van het onderzoek zijn de lectoren, thans ruim 450 in getal. Naar schatting schrijven die tussen de duizend en tweeduizend onderzoekspublicaties per jaar. De waarde van deze publicaties wordt bepaald door hun toegankelijkheid en kwaliteit. De afgelopen paar jaar hebben HBO-instellingen samen met SURF veel aandacht besteed aan de toegankelijkheid. Het resultaat is dat circa de helft van alle 45 HBOinstellingen, waaronder alle grote, thans beschikken over een repository voor de opslag van de publicaties van de eigen insteling. De inhoud van deze repositories, waarin ook HBO-bachelorscripties en andere publicaties worden opgeslagen, wordt, voor zover open toegankelijk, geoogst en aangeboden via de nationale HBOKennisbank. Daarnaast staan de onderzoekspublicaties ook op de Lectorensite en op sommige websites van de instellingen. Thans dient het kwaliteitsvraagstuk zich aan2. Het moment is optimaal. Enerzijds zijn er inmiddels zoveel publicaties beschikbaar dat lezers gebaat zijn bij kwaliteitsselectie. Anderzijds is het aantal nog zo beperkt dat het haalbaar is om een specifieke benadering voor het HBO te ontwikkelen.
WO-lessen Het voor de hand liggende referentiekader voor een beoordeling van de kwaliteit van HBO-publicaties is de kwaliteitsselectie bij WO-publicaties. Qua schaal, reikwijdte en intentie verschilt het WO-onderzoek echter sterk van dat bij het HBO. De VSNU meldt voor het WO 77.000 publicaties over het jaar 2008; voor het HBO zijn dat er nog geen tweeduizend3. De onderzoeksgemeenschappen in het WO zijn internationaal, zeker in de STM4 disciplines; de domeinen in het HBO zijn nationaal van aard. Onderzoek in het WO richt zich in het algemeen op theorievorming; het HBO-onderzoek is primair praktijkgericht. Deze verschillen 1
Naar Leonardo da Vinci (1452-1519), mogelijk de grootste praktijkgerichte onderzoeker ooit.
2
Voor een actueel overzicht van het kwaliteitsdenken in het HBO-onderzoek zie: Kwaliteit van onderzoek in het HBO en Open Access. Daan Andriessen, Annelies de Jeu, Hilleke van der Reijden. Studie in opdracht van SURFfoundation, februari 2010. http://wiki.surffoundation.nl/display/kwaliteitOnderzoekHBO/Kwaliteit+van+onderzoek+in+ het+HBO;jsessionid=F6BF9EE1A0ADFC747658E70525D41B53 3 Een schatting. De HBO-raad geeft geen cijfers. Wellicht is dat ook niet eenvoudig zolang het begrip ‘publicatie’ nog niet goed gedefinieerd is in het HBO. Zie ook blz. 4. 4 Science, Technology and Medicine.
1
vragen om een kritische benadering bij het toepassen van de WO-methodologie in het HBO. In essentie ondergaan onderzoekspublicaties bij het WO twee beoordelingen voor het vaststellen van hun kwaliteit: voorafgaand aan publicatie via peer review en na publicatie via het tellen van citaties en daarop gebaseerde metrieken. Deze metrieken leiden tot allerlei ranglijsten en waardeoordelen voor tijdschriften, maar tegenwoordig ook voor auteurs, projecten en instituten. Hoewel beide beoordelingen in principe algemeen aanvaard worden is er over de uitvoering de laatste jaren steeds meer discussie ontstaan en vinden er diverse experimenten plaats met alternatieve c.q. aanvullende wijzen van beoordeling. Het is evenwel niet eenvoudig om in het WO wijzigingen door te voeren, deels vanwege de schaalgrootte en deels omdat bij publiceren van resultaten van wetenschappelijk onderzoek enige internationale uitgeefconglomeraten, die grote belangen hebben bij handhaving van het bestaande publicatieparadigma, een dominante rol spelen. Dit paradigma wordt gekarakteriseerd door exclusieve overdracht van auteursrechten aan uitgevers, die daarmee een monopoliepositie verkrijgen met betrekking tot het toegang geven tot en vermenigvuldigen van de publicatie. Nu het HBO nog in staat is zijn eigen publicatieparadigma te ontwikkelen, kunnen de gebreken die in de loop der tijd in het WO-systeem ontstaan zijn, vermeden worden.
WO-systemen5 Peer review Het systeem van onafhankelijke peer review wordt gekoesterd in het WO. Dat neemt niet weg dat er enige serieuze punten van kritiek zijn. Allereerst is het systeem overbelast. De oorzaak is de toegenomen publicatiedruk. Het effect daarvan op het reviewsysteem is kwadratisch: meer artikelen moeten gereviewed worden in minder tijd, omdat de reviewers zelf ook schrijvers onder publicatiedruk zijn. Reviews blijven vaak maanden, soms meer dan een jaar, liggen. Ook de toename van het aantal na publicatie teruggetrokken artikelen6 zou er op kunnen duiden dat de kwaliteit van de peer review onder druk staat. Ten tweede is de peer review in het algemeen anoniem. Dit betekent dat er voor de reviewers niet veel eer te behalen valt aan een mooi review. Ook is er bij schrijvers de latente angst, gevoed door anecdotical evidence, dat reviewers hun voorkennis (in combinatie met de lange reviewperiode) benutten ten gunste van eigen onderzoek. Door de anonimeit blijven voorts verstrengelingen van belangen onzichtbaar (bijv. reviewers die ook voor de farmaceutische of voedingsindustrie werken).
5
De uitspraken in dit werkdocument over kwaliteitsbeoordeling in het WO zijn gebaseerd op: Quality and Impact of Scholarly Communication in an Open Access environment. Leo Waaijers. A working paper for Knowledge Exchange, January 2009. http://www.knowledge-exchange.info/Default.aspx?ID=409 6 http://nsaunders.wordpress.com/2010/11/30/analysis-of-retractions-in-pubmed/
2
Het lijdt geen twijfel dat ook in het HBO voor de beoordeling van de kwaliteit van onderzoekspublicaties een systeem van onafhankelijk en deskundig peer review onmisbaar is. Bij het opzetten van een dergelijk systeem zou aandacht besteed moeten worden aan genoemde kritiekpunten. Overwogen zou kunnen worden om de reviews openbaar te maken. Een complicatie is dat een review dan soms moet worden herschreven, met name als de schrijver de publicatie naar aanleiding van een initieel review gewijzigd heeft. Zo’n eindreview komt dan de facto dicht in de buurt van een recentie na publicatie (zie blz. 7). Het vermoeden is geuit dat open reviews een rem zouden zijn op een kritische beoordeling. Er zou een wereld ontstaan waarin iedereen lief voor elkaar is. Experimenten in het WO wijzen daar niet op. Wel wordt openbare kritiek beter onderbouwd en constructiever gebracht dan anonieme. De kwaliteit van de reviews neemt derhalve toe. Maar daarmee ook de bewerkelijkheid. Daar staat echter tegenover dat reviewers meer eer van hun werk hebben. Goede open reviews worden een zelfstandige bron van prestige. De bereidheid om goede reviews te schrijven kan nog verder toenemen door daarvoor een stelsel van betaling in te voeren. Reviewen wordt in die benadering een derde-geldstroom activiteit van een lectoraat. Zodoende blijft het geld dat aan reviews wordt besteed behouden voor het HBO-onderzoek. Bijvoorbeeld, een lectoraat dat per jaar zelf evenveel artikelen publiceert (en dus laat reviewen) als artikelen van anderen reviewt, speelt quitte. Uiteraard zijn er enige administratieve kosten verbonden aan een dergelijk stelsel, maar deze kunnen via een clearing house tot een minimum worden teruggebracht. Een dergelijke aanpak kan ook een andere bij het WO heersende kwaal voorkomen. Onder het motto ‘niet geschoten, altijd mis’ bieden schrijvers hun artikel vaak aan bij tijdschriften waarvan ze weten dat de kans op weigering tamelijk groot is. Lukt het evenwel, dan is dat mooi meegenomen. Lukt het niet dan dienen zij het artikel in bij een tijdschrift met een lagere status. Enzovoorts, net zo lang tot het raak is. De belasting op het peer review systeem van dit spel is aanzienlijk, maar zolang peer review gratis is, zit er geen natuurlijke rem op. Deze rem werkt uiteraard alleen als ook voor de peer review betaald moet worden indien de publicatie wordt afgewezen. Daarmee krijgt deze betaling het karakter van een submission fee, die op sommige plaatsten in het WO al wordt toegepast7. Na acceptatie van de publicatie wordt dan aanvullend een processing fee betaald. Met andere woorden: publication fee = submission fee + processing feee Een dergelijke opzet biedt een zeer transparant publicatiesysteem. Citaties Publicaties worden om zeer uiteenlopende redenen geciteerd. Ook is het aantal citaties redelijk eenvoudig te beïnvloeden. Toch blijft de perceptie in stand dat citaties een goede maat zijn voor de kwaliteit van een publicatie. Deels omdat er inderdaad een correlatie is aangetoond tussen kwaliteit (bijvoorbeeld van Nobelprijs winnaars of cum-laude doctoraten) en aantal citaties. Deels vanwege het 7
http://knowledge-exchange.info/Default.aspx?ID=413
3
simpele kwantitatieve karakter van citatie-indexen, waardoor deze voor managers, beleidsmakers en journalisten aantrekkelijk zijn. Tot eind 2004 had ISI met Web of Science een monopolie op de wetenschappelijke citatie-indexen. In dat jaar kwam Elsevier met een vergelijkbaar product, Scopus, op de markt. Beide producten beconcurreren elkaar vooral op het aantal tijdschriften dat hun indexen bestrijken, de zogenaamde referentiecollectie; Web of Science is in enige jaren gestegen van 7.500 naar 12.000 tijdschriften, Scopus zit nu op 17.000 tijdschriften (op een totaal van ca 25.000 courante wetenschappelijke tijdschriften). Op de hoge prijs van beide producten heeft deze concurrentie evenwel geen invloed gehad. Er worden tal van analyses gebaseerd op deze citatieindexen, soms aangevuld met andere instrumenten zoals enquetes, die leiden tot evenzovele ‘kwaliteitsranglijsten’; bijvoorbeeld van schrijvers (o.a. via de h-index8), van tijdschriften (via de Journal Impact Factor), van instituten (o.a. via de Shanghai en THES lijsten), enz. Het CWTS van de Universiteit Leiden biedt als commerciële service het maken van ranglijsten op maat, gebaseerd op de citatie-indexen van ISI en eventueel aangevuld met eigen metingen. Kortom, citatie-indexen zijn big business. Terzelfdertijd bracht Google het bestand Google Scholar in omloop. Dit bestand maakt gratis ‘alle’ wetenschappelijke publicaties afzoekbaar, zowel de open als tegen betaling toegankelijke. Bij iedere publicatie wordt vermeld door welke andere publicaties deze geciteerd is. Via een gratis downloadbare mini-applicatie9 is daarmee ook de h-index van iedere schrijver direct te bepalen. Los van alle kwaliteitshypes zijn aantallen citaties een maat voor de belangstelling voor een publicatie uit de onderzoekswereld. Als zodanig zijn deze gegevens zeker ook waardevol voor het HBO-onderzoek. Daartoe zou een HBO-repository opgezet kunnen worden met alle A-publicaties van het HBO (zie blz. 6/7). Door dit bestand Google Scholar oogstbaar te maken komen de aantallen citaties automatisch beschikbaar en kan ook de h-index per schrijver simpel worden bepaald. Gratis!
Publicaties? In het voorgaande is het begrip ‘publicatie’ zonder omhaal gehanteerd. Toch dient zich de vraag aan waar het om gaat. Zijn toespraken, ingezonden brieven, blogs of video’s op youtube allemaal publicaties in bovengenoemde zin? Of gaat het uitsluitend om gestruktureerde teksten? Hoe zit het dan met algoritmes, presentaties, dataverzamelingen, partituren, ontwerpen of modellen? Om een en ander operationeel te houden, ook in termen van terugvindbaarheid, dient een tekst de basis te vormen voor een publicatie. Daarmee zijn digitale artefacten zoals dataverzamelingen, algoritmes, modellen enz. niet uitgesloten, maar zij moeten wel van begeleidende documentatie voorzien zijn. Deze documentatie vormt dan de tekst van de publicatie waaraan het artefact 8
Een schrijver heeft de h-index (naar Hirsh) n, als n het hoogste aantal publicaties is dat tenminste n maal geciteerd is. Zie:http://en.wikipedia.org/wiki/H-index 9 http://www.harzing.com/pop.htm
4
onverbrekelijk verbonden is. Door deze tekstuele ‘verpakking’ kan het artefact via de normale kanalen worden gepubliceerd, gereviewd en geciteerd. In het WO zijn de eerste speciale tijdschriften verschenen die op deze wijze dataverzamelingen in omloop brengen. Blijkens een recente enquete onder hoogleraren en uhd’s voorzien zij in een behoefte10. Vervolgens dienen de metadata van de publicatie aan minimale standaardeisen te voldoen. Hoewel Dublin Core als metadataformat een hoge vlucht genomen heeft is het uiteindelijk te simpel gebleken11, met als gevolg discussie en misverstanden. Beter is het om nu meteen met het MODS format te beginnenn. Reeds bestaande Dublin Core metadata kunnen eenvoudig naar MODS worden overgezet. Ook over de invulling van MODS moeten afspraken worden gemaakt. Gekozen kan worden om daarin de simpele ‘DRIVER Guidelines’12 te volgen, temeer omdat daarvoor een validator is ontwikkeld die automatisch eventuele gebreken opspoort. Sterk aanbevolen wordt om vanaf het begin aan de publicaties een Digital Object Identifier toe te voegen en aan schrijvers een Digital Author Identifier. Voorts is het te overwegen om enkele specifieke HBO-velden toe te voegen, met name (1) een verwijzing naar het vigerende kwaliteitszorgsysteem voor het betreffende onderzoek, (2) de eventuele externe financiers van het onderzoek. Bij de opzet kan mogelijk vruchtbaar gebruik worden gemaakt van de ervaringen in het SURFproject “Herkenbaarheid en Vindbaarheid” van de Hanzehogeschool Groningen13.
Preferente publicatieplatformen Uitgevers zijn van oudsher degenen die onafhankelijke peer review organiseren. Nog tot eind vorige eeuw ging dat steevast gepaard met overdracht van auteursrechten aan de uitgever. Sindsdien is een nieuw businessmodel in opkomst onder de naam Open Access, waarbij de uitgever weliswaar betaald wordt voor de organisatie van de peer review en het verzorgen van de digitale uitgave, maar dat het auteursrecht ongemoeid laat. In het HBO betekent dit dat het auteursrecht bij de instelling blijft. De instelling kan daardoor probleemloos open internettoegang tot de publicatie bieden. Daarmee is in het HBO de combinatie van kwaliteitscontrole en open toegang relatief eenvoudig te realiseren. Publicatieplatformen die deze combinatie bieden moeten in het HBO een preferente status krijgen. Omdat het begrip ‘kwaliteit’ sterk domeinafhankelijk is, dient de selectie van deze platformen via de domeinen plaats te vinden. Gedacht kan worden aan de volgende aanpak. 1. De HBO-raad definieert de vakdomeinen voor het HBO, het equivalent van disciplines in het WO. (Thans lijken individuele hogecholen ieder een eigen indeling in domeinen te hanteren.) Per domein worden enige lectoren gevraagd om een 10
Quality of research data, an operational approach. Leo Waaijers en Maurits van de Graaf. Binnenkort in D-Lib Magazine. http://www.dlib.org/ 11 Vrij naar Einstein: Een metadataformat moet zo simpel mogelijk zijn, maar niet simpeler. 12 http://www.driver-support.eu/managers.html 13 http://www.surffoundation.nl/nl/publicaties/Documents/Jaarplan%202011%20stichting%2 0SURF.pdf, blz. 48.
5
lijstje op te stellen van de (10 à 15) meest gezaghebbende publicatieplatformen in hun domein. ‘Publicatieplatform’ is in dit verband een tamelijk ruim begrip. Alleerst moet gedacht worden aan tijdschriften, wetenschappelijke maar zeker ook professionele tijdschriften. Ook portals, wiki’s of blogs komen in aanmerking. Het gaat er in deze fase om de podia in kaart te brengen die binnen de kring van het domein voldoende status hebben. Aldus onstaat een lijst van (100-200) potentieel preferente publicatieplatformen voor het HBO. De in deze paragraaf genoemde cijfers zijn nominaal; de domeinen zijn hierin zelf bepalend. De in een domein heersende kwaliteitsopvatting is daarbij maatgevend. 2. De tweede fase is de meest bewerkelijke. Mogelijk is hiervoor een SURF-project de aangewezen aanpak. Bij ieder voorgeselecteerd platform wordt de uitgevende instantie opgespoord. Die wordt benaderd met de mededeling dat het platform genomineerd is voor de nationale lijst van preferente publicatieplatformen voor het HBO. De definitieve keuze zal echter plaatsvinden op basis van feitelijke gegevens over toegankelijkheid en kwaliteitsbeoordeling. Daarover wordt informatie opgevraagd. Bij de kwaliteitsbeoordeling gaat het bijvoorbeeld om de volgende vragen: heeft het platform een redactie? is er peer review? zo ja: o wie zijn de peer reviewers; alleen onderzoekers of ook praktijkmensen? o wie wijst de peer reviewers voor een publicatie aan; hoe? o is de peer review anoniem of open? o wordt er een format gebruikt voor de review? o hoe lang duurt de peer review? o wat is het afwijzijngspercentage? Bij de toegankelijkheid is Open Access de maatstaf. Staat de uitgever gebruik van Creative Commons14 licenties toe? Als het platform nog niet Open Access is, is er dan de bereidheid om dat binnen afzienbare tijd te bereiken? Wat is of wordt de publication fee voor een publicatie? Op basis van de ontvangen reacties wordt per domein een lijst opgemaakt van de beste platformen, voldoende lang om schrijvers de nodige publicatievrijheid te bieden. Zijn er onvoldiende platformen die aan de eisen voldoen, dan is dat uiteraard een prikkel om dergelijke platformen te starten. Dat kan door uitgevers, maar ook hogescholen of verenigingen kunnen dat (te vergelijk met uitgeverijen van universiteiten of societies). 3. De HBO-raad stelt de totale lijst voor het HBO vast, alsmede een schema voor het onderhoud er van. Jaarlijks kunnen er platformen van de lijst worden afgevoerd die niet langer aan de eisen voldoen en nieuwe aan de lijst worden toegevoegd. De domeinen dragen zorg voor het onderhoud van de lijst.
A-publicaties Publicaties via de preferente platformen krijgen de status ‘A-publicaties’. 14
http://creativecommons.org/about/licenses/
6
A-publicaties vormen de trotse onderzoeksproductie van het HBO en verantwoorden de investering van (publieke) onderzoeksmiddelen. A-publicaties: worden apart vermeld in de jaarverslagen en op de websites van de instellingen, worden duurzaam opgeslagen in het e-Depot van de KB, worden via een nationale web site Open Access in omloop gebracht, worden zichtbaar gemaakt via Google Scholar, krijgen de eventuele publication fee vergoed uit het onderzoeksbudget, wegen zwaarder bij rankings, carrieres en het toekennen van prijzen. Deze opzet stimuleert niet alleen auteurs om A-publicaties te produceren, maar ook uitgevers om daarvoor aantrekkelijke publicatieplatformen aan te bieden.
Nieuwe instrumenten Kritiek op de bestaande instrumenten voor kwaliteitsbeoordeling van publicaties heeft geleid tot een groeiend aantal experimenten met alternatieve of aanvullende instrumenten. Overwiogen kan worden om deze instrumenten ook te gaan toepassen op de A-publicaties van het HBO. Recenties en annotaties Het is tegenwoordig eenvoudig om een publicatie interactief aan te bieden, zodat daarop commentaar kan worden geleverd. Tal van dienstverleners maken daarvan al gebruik. Ook de HBO-Kennisbank biedt deze mogelijkheid. Dergelijk commentaar kan op verzoek worden geschreven, via een recentie, of spontaan door lezers, via annotaties of social tagging. Juist voor het praktijkgerichte onderzoek van het HBO lijkt het heel waardevol om op een systematische wijze dergelijk commentaar te verzamelen en te betrekken in waardeoordelen. Citeulike Citeulike15 is in korte tijd zeer populair geworden in het WO en lijkt ook voor het HBO een nuttig instrument. Onderzoekers geven in Citeulike aan welke artikelen zij gelezen hebben voor hun onderzoek, eventueel met vermelding van waardering. In Citeulike kunnen allerlei groepen worden gevormd, bijvoorbeeld de eigen instelling, het eigen lectoraat, domein of (internationaal) onderzoeksteam. Aldus ontstaat een wereldwijde catalogus van gelezen artikelen met onder meer de volgende opties: transporteer referenties van en naar mijn eigen referentielijst of bibliografie, maak de meest gelezen/gewaardeerde artikelen in mijn domein zichtbaar, toon collega’s, landelijk of wereldwijd, die hetzelfde lezen als ik, toon welke artikelen veel in combinatie voorkomen. Downloads Zijn citaties een maat voor het belang van een publicatie in de onderzoekswereld, downloads vertolken het maatschappelijke gebruik van een publicatie. Uiteraard zijn downloads even manipuleerbaar als citaties. Maar ook hier zijn maatregelen tegen 15
http://www.citeulike.org/faq/faq.adp
7
te nemen. Een persoonlijke aanmelding door de gebruiker, in combinatie met een over te typen niet machineleesbare code (Captcha), lijkt hier afdoende bescherming te bieden tegen manipulatief downloaden. De bijbehorende registratie van de gebruiker kan als mogelijk nadeel worden ervaren, maar binnen de HBO-community zijn hierover goede afspraken te maken. Met behulp van datamining kunnen analyses worden gemaakt van de downloads, met bijvoorbeeld als uitkomsten: deze publicaties worden veel gebruikt in het HBO-onderwijs of het bedrijfsleven, gebruikers die deze publicatie hebben gedownload, hebben ook die en die publicaties gedownload.
Ambities en prioriteiten Op zich kunnen de genoemde instrumenten onafhankelijk van elkaar worden ingezet. Omdat kwaliteit echter een relatieve maatstaf is, moet er wel een HBObrede, of minstens domein-brede, ijking worden toegepast. Het is daarom zaak tot een aantal gemeenschappelijke ambities en prioriteiten te komen. Temeer daar voor de benodigde infrastructurele aspecten ook economy of scale een rol speelt. Voorafgaand aan alles dient er uiteraard overeenstemming te bestaan over het begrip publicatie in het HBO. Vervolgens leveren metrieken slechts zinvolle informatie op indien ze worden toegepast op een verzameling publicaties van vergelijkbare status. Het ligt voor de hand om daarvoor de collectie van de Apublicaties te nemen, de HBO-referentiecollectie. Daarmee ontstaat min of meer het schema in onderstaande figuur, met de kanttekening dat toepassingen op het gebied van contextuele kwaliteitsbeoordelingen uiteraard ook op publicaties buiten de referentiecollectie kunnen worden toegepast.
Geadviseerd wordt om dit schema als stramien te gebruiken bij het opzetten van een kwaliteitssysteem voor HBO-publicaties. Januari 2011.
8
