Onbegrensd meten met alternative metrics
Peter Nieuwenhuizen
Introductie Peter Nieuwenhuizen, Sr. consultant information management • • • •
Erasmus Universiteit Rotterdam Utrecht Universiteit Yamanouchi Europe Rijkswaterstaat
Rijkswaterstaat 2
Onbegrensd impact meten op alternatieve manier 1. Waarom en hoe moet Rijkswaterstaat (RWS) impact meten ? 2. Over publicaties en Alternative Metrics 3. Case study Alternative Metrics bij RWS 4. Resultaten & conclusie
Rijkswaterstaat 3
Rijkswaterstaat in het kort • Opgericht in 1798 • 9.000 medewerkers • Jaarlijks budget: 5 miljard Euro • 7 regionale onderdelen, 16 districten, 6 landelijke onderdelen waaronder de faciliterende RWS Corporate Dienst
Rijkswaterstaat 4
Missie Rijkswaterstaat Rijkswaterstaat, uitvoeringsorganisatie van Ministerie Infrastructuur & Milieu (vroeger V&W). Doel: onderhouden en ontwikkelen van nationaal wegennet, vaarwegen, waterwegen en open water, ondersteunen van duurzame ontwikkeling; samenwerken aan veilig, leefbaar en bereikbaar Nederland. Ø Droge voeten & voldoende en schoon (drink)water Ø Vlot en veilig verkeer over weg en water Ø Betrouwbare en bruikbare informatie
Rijkswaterstaat 5
Rijkswaterstaat 6
Rijkswaterstaat 7
Rijnbrug Arnhem
Rijkswaterstaat 8
Velsertunnel 1957
Rijkswaterstaat 9
Rijkswaterstaat 10
Waarom publiceert Rijkswaterstaat ? • Verantwoording afleggen • Kennis deling • Besluitvorming (Tweede Kamer) • Informatie t.b.v. publieke opinie en meningsvorming
Rijkswaterstaat 11
Wat is de impact van de publicaties ? • Traditionele impact meting via de Journal Impact Factor (JIF, ISI) • Nadelen: – Meting van de impact van gehele tijdschrift i.p.v. artikel – Tijdsduur tot moment citatie – Effect van zelfcitatie (persoon, groep, afdeling) – Physical sciences (artikelen) vs. social sciences (boeken) – Academische publicaties vs. overheidspublicaties • Geen sociale impact !
Rijkswaterstaat 12
Meten van sociale impact via Alternative Metrics Altmetrics sinds oktober 2010 (http://altmetrics.org) • Alternative metrics/bibliometrics, article-level metrics (ALM) • Meten van usage (aanklikken, afspelen), captures (lezers, Mendeley), mentions (commentaar, blog), citations (scopus), social media (likes, tweets, shares) • Hergebruik van de resultaten van de sociale monitoring – visualisatie (website) – doelgroep: onderzoeker, staf, uitgever, fonds, bibliotheek
Rijkswaterstaat 13
Reguliere vereisten voor publicatie meting • Digital object identifier (DOI), de URL – http://congres.knvi.info/tracks/track9-wachtwoord/altmetrics.ppt protocol / host name / path / file name
• Auteur in Orcid database (http://orcid.org ) – een persistente digital author identifier (DAI) PROBLEEM • •
Overheidspublicaties hebben deze identifiers meestal niet Maar zijn wel ergens beschikbaar op het internet ……..
Rijkswaterstaat 14
15
DOI
Rijkswaterstaat
Rijkswaterstaat 16
Rijkswaterstaat 17
Voordelen van meting via Alternative Metrics Er zijn verschillende voordelen van Alternative metrics t.o.v. de JIF • Snelle feedback; publiceren artikel met citaties in wetenschappelijk tijdschrift kan lang duren: 0,5-3 years -> vertraging in citaties • Breder publiek: ook niet-specialisten kunnen aan discussie deelnemen en reageren • Artikelen met een lagere JIF kunnen toch als belangrijk naar voren komen Ø De impact hangt meer af van kwaliteit van artikel/auteur dan van reputatie van tijdschrift
Rijkswaterstaat 18
Altmetric data
Rijkswaterstaat 19
Meting op de sociale platforms • Academische impact versus sociale impact • JIF / citatiescore versus usage, captures, mentions, social media, citations • • • • •
Usage: views/plays (vimeo, youtube), downloads, clicks Captures: bookmarks, favorieten, lezers (mendeley) Mentions: wikipedia, commentaar (facebook, youtube, reddit), blogs Social media: facebook likes, shares, tweets, reddit, google+ Citations: scopus, patents, crossref
Rijkswaterstaat 20
Case study Alternative Metrics bij Rijkswaterstaat Gevarieerde uitvoeringsorganisatie: • Wetgeving: toezicht/controle, uitvoering, experimenteel onderzoek • Infrastructuur: milieu, water, wegen, vaarwegen, ecologie, veiligheid, duurzaamheid, transport, kwaliteit, informatie systemen • Publicatie types: artikelen, boeken, rapporten, brochures, presentaties, websites, nieuws, interviews, facebook, twitter, video youtube, prezi • Taal: Nederlands en Engels
Rijkswaterstaat 21
Doel case study Te onderzoeken of: • Overheidspublicatie genoemd worden in sociale gemeenschap / platforms • Alternative metrics gebruikt kunnen worden voor validatie van sociale impact • Een publicatie type geschikt is voor een specifiek type publiek
Rijkswaterstaat 22
Materiaal & Methode Diverse publicaties: • • • •
Verschillende soorten interesse- en onderzoeksgebied Openbaar, toonaangevend, media, type, nieuw/oud, publiek, auteur Interview auteurs Test set van 33 publicaties
• Gebruikte Altmetric methode:
(2012) van Ebsco
Rijkswaterstaat 23
Test set 33 artikelen Gevarieerde onderwerpen • Water: overstroming, risico, duinen, dijken, zandsuppletie • Infrastructuur: system engineering, hergebruik land • Verkeer: management, i-mobility • Technologie: duurzaamheid, reinforced concrete • Wetgeving: juridische dilemma’s, mandaat, besluivorming • Informatie: big data, bibliotheek wetenschappen, communicatie, media bereik, online strategie, mobile
Rijkswaterstaat 24
Rijkswaterstaat 25
Oriëntatie bij bestaande Alternative Metrics • Implementatie van Altmetrics bij Georgia Southern University (USA)
Rijkswaterstaat 26
Rijkswaterstaat 27
Rijkswaterstaat 28
Rijkswaterstaat 29
Uitvoering bij Rijkswaterstaat • Met Ebsco /PlumX werd een account opgezet (juni 2015) • 33 mogelijk geschikte publicaties geselecteerd • De (persistente) link op internet opgezocht
Rijkswaterstaat 30
Rijkswaterstaat 31
Rijkswaterstaat 32
Rijkswaterstaat 33
Rijkswaterstaat 34
Resultaten van de case study Rijkswaterstaat Na 3 maanden … Worden overheidspublicatie genoemd in sociale gemeenschappen? • Ja, maar afhankelijk van type (artifact), onderwerp, jaar, platform Zijn Alternative metrics geschikt voor validatie van sociale impact? • Grote verschillen tussen publicaties in counts, clicks, downloads, citaties, etc
Rijkswaterstaat 35
Rijkswaterstaat 36
Rijkswaterstaat 37
Resultaten/ Vraag Na 3 maanden … Is een publicatie type meer geschikt voor een specifiek type publiek • ‘Papier’: Artikel 11x, Boek/hoofdstuk 4x, Rappor 2x, Conference paper 1x, Nieuwsbrief 1x • ‘Digitaal’: Blog/posts 4x, Websites 7x, Video 2x
Rijkswaterstaat 38
Rijkswaterstaat 39
Rijkswaterstaat 40
Sunburst Rijkswaterstaat 41
Conclusie Alternative Metrics: een onbegrensde manier van meting voor een overheidsorganisatie ? • • • •
Bruikbaar voor socale impact meting Snelle implementatie, snelle resultaten Niet alle publicaties veroorzaken sociale impact Kies voor je boodschap de geschikte publicatievorm op het juiste platform
Rijkswaterstaat 42
Contact • Peter Nieuwenhuizen – Postbus 2232, 3500GE Utrecht –
[email protected] – Tel.+31-88-7971959 – @PNieuwenhuizen – https://uu.academia.edu/PeterNieuwenhuizen – www.linkedin.com/profile/view?id=22511301
Rijkswaterstaat 43
