Publicatiedruk & wetenschappelijk wangedrag
Joeri Tijdink (VUmc Amsterdam)
Auteurschappen
Stellingen Fraude in de wetenschap is zeldzaam
Stellingen Fraude wordt vooral veroorzaakt door enkele rotte appels
Stellingen Mensen die frauderen moeten uitgesloten worden uit de wetenschappelijke gemeenschap
Stellingen Als wordt gevraagd een hoogleraar toe te voegen aan de auteurslijst van mijn artikel, dan doe ik dat
Stellingen Een positieve bevinding is beter want dan heb ik meer kans op een Science of Nature publicatie
Stellingen
Wetenschapsfraude wordt sowieso ontmaskerd, want wetenschap corrigeert zichzelf
Inhoud • Publicatiecultuur • Van fraude tot QRP • Oorzaken • Publicatiedruk • Eos Enquête
• Dagelijkse praktijk • Wat kun je doen? • Discussie aan de hand van enkele casus (15 min.)
Publicatiecultuur
Publicatie tsunami
Publicatiebias
Ghost- and Guestwriting
Publicatiecultuur • Beoordeling: gebaseerd op aantallen publicaties en citaties • Centrale rol voor het aantal auteurschappen • Subsidies: wetenschappelijke output leidend • Nadruk ligt op publicaties, niet op maatschappelijke relevantie, onderwijs of management • Impact: druk
Publicatiedruk • De druk die je ervaart om wetenschappelijke artikelen te publiceren • Cultuur is vooral gestoeld op publicatierecord en minder op kwaliteit • Beurzen worden toegewezen op wetenschappelijke output • Minder nadruk op klinische relevantie, maatschappelijke impact of methodologie • Gevolg: stress
Waarom relevant? • Het kan wetenschappelijke resultaten beïnvloeden • Vertekening bij wetenschappers • Betrouwbaarheid van wetenschap staat op het spel • Wetenschap heeft directe invloed op behandeling van patiënten.
Publicatiedruk • 1e onderzoek: – 430 medische hoogleraren – Ervaren publicatiedruk (PPQ) gecorreleerd aan jonge leeftijd – 24% voldeed aan de definitie van burnout – Burnout gecorreleerd aan publicatiedruk
Tijdink et al. PLoS One 2013
Publicatiedruk • 2e onderzoek: – 315 Vlaamse medische wetenschappers – Publicatiedruk voornamelijk ervaren onder postdocs – Publicatiedruk gecorreleerd aan wetenschappelijk wangedrag.
Tijdink et al. Under review
Publicatiedruk onder hoogleraren PPQ
Mee eens (n=437, NL)
Mee eens Vlaanderen (n=99)
Ik vermoed dat publicatiedruk leidt tot (niet intentionele data manipulatie.
33.2%
57,6%
Wereldwijd leidt publicatiedruk tot Twijfel aan de validiteit van wetenschappelijke resultaten Ik denk dat de publicatiedruk te hoog is geworden.
37,7%
56,6%
53.9%
65,6%
22.2%
43,4%
25,4%
45,5%
Mijn collegae beoordelen mij vooral op mijn wetenschappelijke output. Publicatiedruk maakt de wetenschap ziek
Publicatiedruk in Vlaamse data
Continuüm
• Een continuüm van fraude, via bias en sloddervossigheid naar verantwoordelijk gedrag
Incidentie
Fanelli, PLoS One 2011
Incidentie Niet juiste toewijzing van auteurschappen (10%) Niet juist vermelden van methodologie in publicaties of beursaanvragen (13,5%) Vanuit het gevoel dat het niet klopt (intuïtie) observaties of eindpunten verwijderen (15,3%)
Martinson, Nature 2005
Fraude onder Vlaamse medische wetenschappers • Fraude (intentioneel): Data fabrication 1,3% Data massage (Data selectief verwijderen om hypothese te doen kloppen) 7,3%
• Questionable Research Practices Intuitief data verwijderen 26,3% Niet vermelden van data uit eerder onderzoek 19,7% Onterechte auteurschappens 69% Tijdink et al. Under review
Yes % (n) Questionable research practises questions. 3 years retrospectively (n=315). 1a Did you once or more than once fabricate data?
1.3% (4)
1b Did you hear or see from your colleagues of data fabrication once or more than once.
24.1% (76)
2a Did you ever manipulate data?
7.3% (23)
2b Did you hear or see from your colleagues of data manipulation?
43.8% (138)
3a Did you ever delete data or results in order to confirm your hypothesis (data cooking or data massage) 3b Did you hear of dropping observations or data points from analyses based on a gut feeling that they were inaccurate /deleted data or results in order to confirm your hypothesis from your colleagues 10a Did you ever hear about inappropriately assignment of authorships who didn’t contributed to the study? 10b Did you hear from colleagues about inappropriately assignment of authorships who didn’t contributed to the study? 11a Did they ever pressure you to conduct questionable research practices? 11b Did you hear from colleagues if they ever have been pressured to conduct questionable research practices?
26.3% (83)
42.9% (135)
69.2% (218) 85.1% (268) 4.8% (15) 40% (126)
Tijdink et al. Under review
Gevolgen van wetenschapsfraude Infecteert wetenschappelijke literatuur Medische wetenschap: proefpersonen Patiëntenzorg (medische wetenschap) Maatschappelijke verantwoordelijkheid Financiele consequenties Co-auteurs, onderzoeksgroep, universiteit Publieke opinie en vertrouwen in wetenschap
Wat zeggen wetenschappers zelf? • • • • • • •
Focus op kwantiteit, niet op kwaliteit Afrekencultuur, druk van bovenaf Druk vanuit zichzelf Geen subsidie, geen aanstelling (catch 22) Competitie Focus op auteurschappen Begrip voor twijfelachtige onderzoekspraktijken Manuscript in preparation
Questionable Research Practice
Wanneer kom je fraude tegen? Bij een mentor die het niet zo nauw neemt met de data Bij iemand die vanuit het niets datasets bij elkaar heeft Bij iemand die geheimzinnig doet over zijn data Bij weinig methodologische scholing
Wat kun je doen? Confronteren Naar de decaan stappen Bespreken met collegae Meldpunt van Commissie Wetenschappelijke Integriteit van de universiteit (anoniem of niet) Media? NB. Besef de gevolgen die het kan hebben. Zorgvuldigheid is een vereiste.
Casus 1. Afstuderend arts
Casus Je bent een net niet afgestudeerde dokter die zijn laatste wetenschappelijke stage doet bij de afdeling chirurgie. Je schrijft samen met een promovenda (die tevens je begeleider is), een getalenteerde postdoc en de hoogleraar een artikel nadat je onderzoek hebt gedaan naar een borstsparende operatie bij patiënten met een kwaadaardige borsttumor. Het onderzoek gaat over hoe een bepaalde incisie bij borstsparende operatie minder nabloedingen veroorzaakt dan de reguliere behandelingen. Als dit waar blijkt te zijn zit er een grote kans in dat dit kan worden gepubliceerd in Nature omdat het een nieuwe innovatieve techniek is en zo dit type operaties enorm kan verbeteren.
Casus De resultaten zijn net beschikbaar en bij jouw eerste analyse komt er geen verschil uit in de behandelgroep vs. de care-asusual-groep. Dit is enigszins teleurstellend omdat een grote subsidie vanuit de overheid veel geld heeft geïnvesteerd in dit project. De eerste geschreven resultaten bespreek je met je begeleider die ook teleurgesteld is. Dat gaat geen Naturepublicatie worden.
Casus Na één week bespreek je de resultaten nog eens met je begeleider en die heeft nieuwe inzichten. Zij heeft het besproken met de postdoc: die heeft er nog eens naar gekeken en met wat nieuwe statistische toetsen komt er een positief resultaat uit. De promovendus is helemaal in zijn nopjes want het is haar laatste artikel voor haar proefschrift en zo kan ze nog voor begin 2015 promoveren. En de postdoc maakt met die paper meer kans om een nieuwe Europese beurs binnen te halen voor vervolgonderzoek. Ze geven jou de opdracht het artikel verder de schrijven als onderdeel van je afstudeerscriptie. Wat doe je?
Casus Je begint toch aan het verder schrijven van het artikel. De andere statistische test levert inderdaad een klein significant verschil op. Daarnaast zie je dat er twee patiënten minder zijn geïncludeerd in de studie dan bij jouw resultaten omdat die volgens de postdoc ziek waren en niet geincludeerd mochten worden aan de studie. Toevallig waren het beide patiënten met een recidief tumor na 1 jaar. Wat doe je?
Casus Een vriendin van je is methodologisch goed opgeleid en weet veel van statistiek dus je bespreekt je voorlopige resultaten met haar. Zij geeft aan dat de statistische test die je hebt gedaan op zich wel kan maar dat dat niet gangbaar is en je daar statistische correcties (Bonferroni) voor moet uitvoeren. Met veel goede moed doe je opnieuw de analyses en wat blijkt? Net geen significant verschil.
Wat doe je?
Casus Uiteindelijk heeft de methodoloog van de afdeling chirurgie op jouw verzoek toch nog een keer naar de data gekeken. Uiteindelijk geeft hij wel zijn fiat over de gang van zaken en over de statistische test en jullie sturen het artikel op naar Nature. Op de laatste e-mail die voorbij is gekomen zie je dat de postdoc en de promovendus gezamenlijk de eerste auteur zijn van het artikel. Jij staat op de 7e plek van een lijst met 12 auteurs. Maar je dacht toch dat jij bijna alle patiënten hebt gezien en jij het belangrijkste deel van het artikel hebt geschreven. Okay, je hebt het idee niet bedacht maar je hebt de afgelopen 12 maanden hard gewerkt aan het onderzoek en het artikel. Bovendien heeft die postdoc alleen maar naar de resultaten gekeken en er een andere statistische test ingefietst. Wat doe je?
Casus Na een spoedoverleg met de hoogleraar komen jullie tot de conclusie dat de postdoc toch echt deze publicatie nodig heeft om een grote Europese beurs aan te vragen voor verder onderzoek naar borstsparende operaties. Daarom staat hij als eerste auteur. Jij zult je moeten schikken in een 4e auteursschap. Ook niet slecht voor een eerste publicatie. Maar het blijft wel knagen. Maar goed, je wilt graag in opleiding tot chirurg en wil geen problemen met deze professor die dan tevens je opleider wordt. Hij zal je met deze resultaten toch moeten aannemen voor de opleiding tot chirurg. Wat zou jij hier nog doen?
Casus De reviewers vroegen heel wat correcties, maar Nature gaat onze paper publiceren, zegt de postdoc. Champagne! Maar als je het papieren tijdschrift even later onder ogen krijgt zie je dat een cruciale afbeelding van een experiment toch nog is gewijzigd, en sterk. Die afbeelding zat niet in de finale versie die je ook gefiatteerd had voor publicatie. De resultaten staan nu veel significanter afgebeeld dan ze in werkelijkheid zijn. De postdoc was degene die de afbeeldingen beheerde. Wat doe je?
Casus De commissie voor wetenschappelijke integriteit komt op het lab om de postdoc te ondervragen. Hij kan niet meteen uitleggen waarom de afbeelding in de finale versie sterk verschilt van de versie in Nature. De commissie beslist om een onderzoek in te stellen, onderzoekt de computer van de postdoc, laat de afbeeldingen uit de paper onderzoeken met beeldmanipulatiesoftware. De postdoc moet toegeven. Hij dacht dat die afbeelding manipuleren nodig was om de paper door de peer review te krijgen. En zo zijn Europese beurs binnen te halen. Welke straf is hier gepast?
Vragen?
[email protected]
Questionable Research Practise
