In 1989 schreef Jan Vandenbroucke in het NTvG een

Stand van zaken methodologie van onderzoek KLINISCHE PR AKTIJK

Zelf onderzoek doen*

Een herzien recept voor een klinisch-wetenschappelijk leeronderzoek Bob Siegerink, Olaf M. Dekkers en Frits R. Rosendaal

Het leren goed onderzoek te doen vraagt een behoorlijke tijdsinspanning van de jonge onderzoeker, maar dit is soms moeilijk te bewerkstelligen naast de studie of opleiding. In 1989 stond er in het NTvG een ‘recept’ voor een klinisch-wetenschappelijk leeronderzoek. Hierin werden enkele aanbevelingen gedaan om een dergelijk onderzoek ook met beperkte tijd en middelen succesvol te voltooien. In dit artikel houden we deze 3 aanbevelingen tegen het licht en voegen er 2 nieuwe aan toe. De uiteindelijke aanbevelingen zijn: beperk de vraagstelling, voer een oriënterend onderzoek uit, schrijf het artikel voordat de gegevens verzameld zijn, stroomlijn het onderzoeksproces, en leg verantwoording af.

I

*Dit artikel is gebaseerd op het artikel ‘Een recept voor een klinischwetenschappelijk leeronderzoek’, dat eerder werd gepubliceerd in het NTvG (1989;133:34-8). Deze herziene versie is tot stand gekomen in het kader van het emeritaat van prof.dr. Jan Vandenbroucke, hoogleraar klinische epidemiologie, LUMC, Leiden, de auteur van het oorspronkelijke artikel. Leids Universitair Medisch Centrum, afd. Klinische epidemiologie, Leiden. Dr. B. Siegerink, epidemioloog (tevens: Charité Universitätsmedizin, Berlijn, Duitsland); dr. O.M. Dekkers, internist-epidemioloog; prof.dr. F.R. Rosendaal, klinisch epidemioloog. Contactpersoon: dr. B. Siegerink ([email protected]).

n 1989 schreef Jan Vandenbroucke in het NTvG een artikel getiteld ‘Een recept voor een klinisch-wetenschappelijk leeronderzoek’.1 Hierin gaf hij 3 aanbevelingen die jonge clinici helpen een dergelijk leeronderzoek ook met ‘beperkte tijd en middelen’ uit te voeren en zo het ‘ambacht van klinisch-wetenschappelijk onderzoeker aan te leren’. De inzet van deze leeronderzoeken was om de jonge specialist in opleiding in korte tijd een onderzoek te laten uitvoeren en daarmee het vak van klinisch-wetenschappelijk onderzoeker te leren. De oproep heeft gehoor gekregen. Zo is er in Leiden niet lang na de publicatie een onderzoeksstage binnen de opleiding Inwendige Geneeskunde in het leven geroepen. Sinds 1989 zijn een aantal zaken rond dit thema veranderd. Zo is er meer aandacht voor wetenschappelijk onderzoek tijdens de geneeskundestudie, zowel binnen als buiten het reguliere curriculum in de vorm van excellentietrajecten en MD-PhD-programma’s. Het resultaat hiervan is dat 14,5% van de Nederlandse geneeskundestudenten één of meerdere artikelen publiceert gedurende de studie.2 Daarnaast is er een sterke kwantitatieve groei in het aantal medische promoties, van 471 promoties in 1991 naar 1431 in 2013.3 Ongeacht deze kwantitatieve toename van medisch onderzoek moeten we blijven streven de kwaliteit en relevantie ervan hoog te houden.4 Daarom blijft één zaak in al die jaren ongewijzigd: het leren goed onderzoek te doen vraagt een behoorlijke tijdsinspanning van de jonge onderzoeker. In het huidige artikel houden we, ruim 25 jaar later, de aanbevelingen van Vandenbroucke kritisch tegen het licht en vullen deze aan daar waar nodig. Om jonge onderzoekers te helpen volgen 5 aanbevelingen, waarvan de eerste 3 teruggaan op het oorspronkelijke artikel uit

NED TIJDSCHR GENEESKD. 2015;159: A9117

1

KLINISCHE PR AKTIJK

1989. Deze aanbevelingen moeten het leereffect van onderzoek doen verbeteren en de kans van slagen verhogen. Aanbeveling I: beperk de vraagstelling

Klinische dilemma’s worden veelal herkend uit een klinische observatie die vragen oproept: is deze nieuwe test nuttig? Welke behandeling is het beste? Wat zijn risicofactoren voor deze ziekte? Vaak zijn dergelijke klinische dilemma’s te omvangrijk voor een enkel leeronderzoek. Klinische dilemma’s worden vaak pas opgelost na het beantwoorden van verschillende onderzoeksvragen. ‘Het geheim van een succes van onderzoek ligt in de eerste plaats in het beperken van de vraagstelling tot het haalbaar aspect van één interessant probleem.’1Een snelle controle van de al bestaande literatuur zal hierbij helpen om een lacune in de bestaande kennis te identificeren die met een duidelijke onderzoeksvraag gevuld kan worden. Een voorbeeld. Een arts ziet een patiënte met een opvallende combinatie: hyperthyreoïdie en een ischemisch herseninfarct op jonge leeftijd. Een snelle zoektocht in de literatuur laat zien dat niet alle vragen over deze relatie beantwoord zijn. Deze klinische observatie kan dus aanleiding geven tot verschillende onderzoeksvragen. Is deze relatie ook beschreven voor andere cardiovasculaire ziekten? Hoe groot is het risico op een herseninfarct bij patiënten met hyperthyreoïdie? Wordt het risico gemedieerd door atriumfibrillatie, een factor die duidelijk met hyperthyreoïdie geassocieerd is? De onderzoeker zal in eerste instantie één enkele onderzoeksvraag moeten selecteren en daarna de vraag uitwerken in termen van expositie (hyperthyreoïdie), uitkomst (herseninfarct) en het domein (patiënten < 55 jaar) van een onderzoeksvraag. Als hij of zij dit niet doet, is de kans groot dat het onderzoek te breed wordt opgezet en er mogelijk te veel of irrelevante gegevens van een te breed gedefinieerde patiëntengroep worden verzameld. Gaat het om klinische of subklinische hyperthyreoïdie, alleen om het herseninfarct of ook om andere cardiovasculaire uitkomsten, alleen om jonge vrouwen of om alle geslachten en leeftijden? Daarnaast moet de onderzoeker zich ook de vraag stellen wat de aard van het onderzoek zal zijn. Richt het onderzoek zich bijvoorbeeld op diagnose, therapie, etiologie of predictie. Het bepalen van het type onderzoek is belangrijk, omdat keuzes rond de verzameling en analyse van de gegevens hiermee verbonden zijn. Dit geldt in bijzondere mate voor het onderscheid tussen etiologie (is deze factor werkelijk een oorzaak van ziekte?) en predictie (kunnen we voorspellen welke hyperthyreote patiënten een herseninfarct ontwikkelen?). Bij etiologische vraagstukken is men geïnteresseerd in het effect van een specifieke factor en dient men de effecten van eventuele andere 2

oorzaken die samenhangen met de factor van interesse, de zogenaamde potentiële confounders, te minimaliseren. Bij predictie zoekt men vaak naar een combinatie van factoren die gezamenlijk voorspellende waarde hebben, los van de vraag of het echte oorzaken zijn. Deze combinatie van voorspellende factoren kan vervolgens helpen bij risicostratificatie, zoals bekend van de Framingham-risicoscore.5 Aanbeveling II: voer een oriënterend onderzoek uit

Een oriënterend onderzoek, ook bekend als een ‘pilot’- of haalbaarheidsonderzoek, is primair een onderzoek om te beoordelen ‘of de uiteindelijke uitvoering binnen de omstandigheden waarin men het onderzoek moet doen haalbaar is’.1,6 Zo kijkt men bijvoorbeeld of de benodigde gegevens voorhanden zijn, vragenlijsten niet te lang zijn en de instructies voor bloedafname voldoende duidelijk zijn. Een oriënterend onderzoek is dus bedoeld om eventuele problemen in de logistiek en haalbaarheid van het onderzoek op te sporen, en is dus geen wetenschappelijk onderzoek.7 Er is weinig reden om bevindingen van een pilotonderzoek te publiceren in een wetenschappelijk tijdschrift, ook niet wanneer de bevindingen – toevallig? – veelbelovend blijken. Aanbeveling III: schrijf artikel vóór gegevens verzameld zijn

‘Zodra men beslist heeft over de vraagstelling en een proefonderzoek heeft uitgevoerd, schrijve men onmiddellijk het artikel.’1 Deze suggestie lijkt tegenstrijdig met de bedoeling van een wetenschappelijke publicatie. Deze is immers bedoeld om te rapporteren over het verrichte onderzoek en zijn resultaten. Dat is juist, maar het daadwerkelijke onderzoek begint eigenlijk al op het moment dat het onderzoeksidee zich ontwikkelt. Vanaf dat moment worden er al keuzes gemaakt die richtinggevend zijn en gerapporteerd moeten worden in het uiteindelijke artikel. Maar wat kan men opschrijven, voordat het daadwerkelijke onderzoek is uitgevoerd? De inleiding en de vraagstelling kunnen worden geschreven zonder dat de resultaten bekend zijn. Hetzelfde geldt voor de methode. De methode gaat immers vooraf aan de gegevensverzameling, niet omgekeerd. Deze aanpak heeft als voordeel dat ook voor observationeel onderzoek goed nagedacht wordt over het ‘hoe’ voordat de gegevens bekend zijn. Natuurlijk zijn de resultaten nog niet duidelijk, maar het is van tevoren al wel duidelijk welke analyses kunnen worden gedaan (zie ook aanbeveling IV). De opmaak van de tabellen kan daarom bepaald worden en de resultatensectie kan al grotendeels geschreven worden. Daarnaast weet men voorafgaand aan het onderzoek ook al wat de sterke en zwakke punten van het onderzoek zullen zijn,

NED TIJDSCHR GENEESKD. 2015;159: A9117

naam

beschrijving

website

STROBE

rapportage van observationele onderzoeken, met checklijsten voor de verschillende studieopzetten, onder andere voor patiënt-controle-, cohort- en dwarsdoorsnedeonderzoek rapportage van klinische trials; naast de algemene richtlijn zijn er diverse varianten voor verschillende typen trials, zoals voor de ‘noninferiority’-trial en cluster-RCT rapportage van onderzoeken naar diagnostische accuratesse systematische reviews en meta-analyse richt zich niet op een bepaald type onderzoek, maar voornamelijk op het verbeteren van de rapportage van de methode- en resultatensectie; nadruk ligt op (a) voldoende detail voor replicatie, en (b) rapportage van alle details die nodig zijn voor additionele analyses zoals meta-analyses; SAMPL kan goed worden gezien als toevoeging op bovenstaande richtlijnen

www.strobe-statement.org

CONSORT

STARD PRISMA SAMPL

KLINISCHE PR AKTIJK

TABEL Overzicht van vaak gebruikte rapportagerichtlijnen*

www.consort-statement.org

www.stard-statement.org www.prisma-statement.org www.equator-network.org/sampl

* Een compleet overzicht van de verschillende richtlijnen en hun afgeleiden staat op de website van de EQUATOR Network (www.equator-network.org/ reporting-guidelines).

waardoor ook de beschouwing deels vooraf geschreven kan worden. Een goede hulp hierbij zijn de verschillende richtlijnen voor de rapportage van onderzoek,8 die de afgelopen jaren verschenen zijn (tabel). Een voorbeeld is het initiatief STROBE, dat is gericht op observationeel onderzoek (STROBE staat voor ‘Strengthening the reporting of observational studies in epidemiology’). Met deze checklist van 22 items kan de lezer zelf het onderzoek op waarde schatten. Een dergelijke checklist is natuurlijk geen garantie voor de kwaliteit van het onderzoek, maar de richtlijnen met bijbehorende uitleg zijn voor jonge onderzoekers een goede hulp bij het vroeg schrijven van het artikel. Aanbeveling IV: stroomlijn het onderzoeksproces

Goed onderzoek wordt verricht door een team van onderzoekers. Maar veel onderzoek wordt uitgevoerd in een beperkte tijdsperiode, soms naast de opleiding of studie. Het is daarom noodzakelijk om het onderzoeksproces vloeiend te laten verlopen, waarbij elk teamlid zijn of haar kennis en kunde kan inbrengen. Een goed beeld hebben van de verschillende stappen in het onderzoekproces, samen met duidelijke afspraken hierover met de rest van het onderzoeksteam, is een juiste manier om zowel vertraging als teleurstelling te voorkomen. Hoewel in realiteit verschillende stappen in het onderzoeksproces parallel kunnen lopen, geven wij hieronder en in de figuur een voorbeeld van hoe een onderzoeksproces stapsgewijs gestroomlijnd kan worden. Dit voorbeeld benadrukt tevens dat grote delen van het uiteindelijke artikel al vroeg opgeschreven kunnen worden.

Onderzoeksidee en -protocol De eerste stap is het onderzoeksidee, dat vervolgens omgezet moet worden in een onderzoeksprotocol. Dit document wordt besproken met alle leden van het onderzoeksteam, bij voorkeur in een ruimere groep in de vorm van bijvoorbeeld een afdelingsbrede wetenschapsbespreking. Toestemming De volgende stap is het verkrijgen van toestemming. Hierbij moet men denken aan toestemming van de medisch-ethische toetsingscommissie, als dit wettelijk vereist is, en van de wetenschapscommissie van de afdeling waar het onderzoek wordt uitgevoerd. Oriënterend onderzoek Daarna volgt het oriënterende onderzoek (zie aanbeveling II). Als het niet nodig is om patiënten te betrekken bij het oriënterende onderzoek, kan men ervoor kiezen om dit uit te voeren vóór het verkrijgen van toestemming. Analyseplan Het analyseplan is een uitgebreide beschrijving van de geplande statistische analyse. Het is goed gebruik om alvast de lege tabellen van het uiteindelijke artikel te maken, zodat de samenhang tussen de onderzoeksvraag, de gegevens die verzameld moeten worden en de analyse in één oogopslag duidelijk wordt. Patiënteninclusie en gegevensverzameling Alle onderzoeksgegevens moeten terug te leiden zijn naar de bron. Het is dus van belang om dit proces goed vast te leggen omdat afwijkingen van de standaardprocedure de kwaliteit van het onderzoek kunnen aantasten. Data-analyse De reden voor het scheiden van het analyseplan en het daadwerkelijk uitvoeren van de analyse is dat op deze manier de belangrijke beslissingen genomen worden voordat de resultaten bekend zijn. Resultaatge-

NED TIJDSCHR GENEESKD. 2015;159: A9117

3

KLINISCHE PR AKTIJK

Een onderzoeksvoorstel wordt bij voorkeur direct geschreven na het eerste onderzoeksidee en wordt gebruikt als discussie voor het onderzoeksteam. De mate van detail hangt sterk af van het onderzoeksidee.

Men heeft toestemming nodig om het onderzoek uit te voeren, van een METC, wetenschapscommissie of onderzoeksteam. Elk lid van het onderzoeksteam moet hierbij worden betrokken. Hierdoor is er duidelijkheid over de te nemen stappen, waardoor de kans op vertraging wordt verkleind.

onderzoeksvoorstel

toestemming

inleiding • lacune in kennis • onderzoeksvraag methode • methodologie en onderzoeksopzet • te verzamelen gegevens • in- en exclusiecriteria • methoden om bias tegen te gaan beschouwing • tekortkoming en gebruikte studieopzet overig • projectteam (auteurslijst) • financiering • conflicterende belangen

In het oriënterende onderzoek wordt alleen gekeken naar de logistieke haalbaarheid van het onderzoek.

oriënterend onderzoek

methode • gegevens voor eventuele steekproefgrootteberekening beschouwing • beschrijf eventuele bevindingen over de kwaliteit van de verzamelde gegevens

Het analyseplan beschrijft de (sub)analyses die nodig zijn om de onderzoeksvraag te beantwoorden. Het is goed gebruik de uiteindelijke tabellen uit het manuscript alvast ‘leeg’ weer te geven en deze te bespreken met het onderzoeksteam.

Problemen tijdens de gegevensverzameling moeten goed worden vastgelegd, omdat deze de kwaliteit van het onderzoek kunnen aantasten.

analyseplan

patënteninclusie en gegevensverzameling

methode • statistische methoden tabellen en figuren • ‘lege’ tabellen en figuren • stroomdiagram beschouwing • tekortkomingen van gebruikte analysetechnieken

resultaten • aantallen patiënten geïncludeerd en geëxcludeerd (stroomdiagram) • afwijkingen van gegevensverzameling, bijvoorbeeld ‘lost to follow-up’, ontbrekende gegevens beschouwing • impact van eventuele afwijkingen tijdens de gegevensverzameling

Het vooraf opgestelde plan is leidend tijdens de analysefase. Beperk de hoeveelheid onvoorziene en resultaatgedreven analyses, omdat deze de validiteit van de resultaten kunnen aantasten. Gebruik een syntax.

data-analyse

resultaten • vul lege tabellen en figuren • geef een overzicht van de resultaten in de tekst • geef aantal patiënten, puntschatters en betrouwbaarheidsintervallen waar mogelijk beschouwing • interpretatie en hoofdconclusie

FIGUUR Voorbeeld van een onderzoeksproces dat leidt van een onderzoeksidee tot een artikel. In realiteit kunnen bepaalde onderdelen, afhankelijk van de context van het onderzoek, van volgorde wisselen of zelfs parallel lopen. De groene vakken geven een korte beschrijving van de verschillende stappen die volgen op het onderzoeksidee. De blauwe vakken geven aan hoe deze stappen verbonden zijn aan bepaalde onderdelen van het manuscript. Zo is duidelijk dat het manuscript grotendeels al geschreven kan worden voordat de resultaten van het onderzoek bekend zijn. METC = medisch-ethische toetsingscommissie.

dreven analyses worden hierdoor beperkt. Niet alleen wordt zo voorkomen dat er bewust gezocht wordt naar ‘statistische significantie’, maar wordt ook de kans op onnodige extra analyses klein en wordt vertraging minimaal gehouden. Het idee achter het stroomlijnen van het onderzoeksproces is dat alle stappen in het onderzoeksproces zo veel mogelijk van tevoren als groep zijn doordacht. Daarnaast kan men enkele ‘go/no-go’-beslissingen inbouwen. Dit zijn momenten waarop het onderzoeksteam besluit of doorgaan met het onderzoeksproject zinvol is. Hiermee verzekert men zich van een eenduidig idee bij alle leden van de onderzoeksgroep over het project en voorkomt men onnodige handelingen, wat leidt tot een efficiënt gebruik van tijd en energie. Aanbeveling V: leg verantwoording af

De recente ontwikkelingen rond wetenschappelijke integriteitsvraagstukken hebben geleid tot een vijfde aanbeveling, namelijk dat elke onderzoeker verantwoording moet afleggen over zijn onderzoek. In klinisch-wetenschappelijk onderzoek zijn er 2 concepten die cruciaal zijn in het tegengaan van slordige wetenschap (‘sloppy science’) en het waarborgen van de kwaliteit van het onderzoek.9 4

Wetenschappelijke integriteit Ten eerste betreft het wetenschappelijke integriteit, een begrip met vele definities. In ieder geval betekent dit dat beslissingen rond onderzoek, methodologie, data-analyse en de beslissing tot publiceren niet afhankelijk zijn van de resultaten van het onderzoek. Het vooraf vastleggen van de verschillende stappen van het onderzoeksproces, is van belang om de wetenschappelijke integriteit zo veel mogelijk te waarborgen. Integriteit heeft ook te maken met zaken die wat verder afstaan van het daadwerkelijke onderzoek, zoals duidelijkheid over conflicterende belangen en auteurschappen. Het is onmogelijk om deze aspecten in zijn geheel te ondervangen door regels en formulieren, maar er zijn enkele momenten in het onderzoeksproces waarop sommige zaken besproken en vastgelegd kunnen worden. Zo kan men in het onderzoeksprotocol al duidelijk maken of er teamleden zijn met conflicterende belangen en of de voorziene rol van de teamleden hen zal kwalificeren voor een auteurschap volgens de vigerende 4 criteria van de International Committee of Medical Journal Editors.10 Data-integriteit Ten tweede betreft het data-integriteit, wat zoveel inhoudt als dat de analysedataset en gepresenteerde resultaten terug te leiden zijn tot de brongegevens. Tegenwoordig is het gewenst dat goed gearchiveerd

NED TIJDSCHR GENEESKD. 2015;159: A9117

Conclusie De 3 basisprincipes voor het verrichten van een klinischwetenschappelijk leeronderzoek, zoals beschreven door Jan Vandenbroucke in 1989, zijn nog steeds relevant. Daarnaast hebben wij het stroomlijnen van het onderzoeksproces en het afleggen van verantwoording als aanbeveling toegevoegd. Deze laatste 2 aanbevelingen dienen om vertraging en onnodig werk te beperken en de wetenschappelijke integriteit te bevorderen.

▼ Leerpunten ▼ • In 1989 stond een recept voor een klinischwetenschappelijk leeronderzoek in het NTvG, waarin 3 aanbevelingen werden gegeven die jonge clinici helpen een dergelijk leeronderzoek succesvol te voltooien. • De oorspronkelijke aanbevelingen voor een klinischwetenschappelijk leeronderzoek zijn: beperk de vraagstelling, voer een oriënterend onderzoek uit, en schrijf het artikel voordat de gegevens verzameld zijn. • De 3 oorspronkelijke aanbevelingen zijn nog steeds relevant. We voegden er 2 nieuwe aan toe: stroomlijn het onderzoeksproces door gebruik te maken van een onderzoeksprotocol en analyseplan, en leg verantwoording af op het gebied van zowel data-integriteit als wetenschappelijke integriteit zodat de kwaliteit van het onderzoek gewaarborgd is.

KLINISCHE PR AKTIJK

wordt hoe er tijdens de verschillende stappen in het onderzoek met de gegevens is omgegaan. Het onderzoeksprotocol, maar ook het analyseplan, biedt ruimte om goed te beschrijven hoe de gegevens en bijbehorende analysesyntax worden bewaard. Het is van belang dat men gebruikmaakt van specialistische software voor gegevensverzameling, controle, analyse en opslag. Een noodzakelijk eigenschap die dergelijke software moet bieden is dat de bewerkingen van de gegevens kunnen worden geprogrammeerd in een zogenaamde syntax. Deze syntax geeft niet alleen een beschrijving van de verschillende stappen in de gegevensverwerking, -controle en -analyse, maar schept ook de mogelijkheid bepaalde stappen opnieuw uit te voeren en de analyse te controleren. Het is dan ook aan te raden dat men uitgaat van 1 bronbestand, dat centraal wordt bewaard, met een kopie voor de uiteindelijke analyses. De uiteindelijke syntax, in combinatie met het bronbestand, kan dan altijd geraadpleegd worden als er vragen ontstaan over bepaalde stappen en keuzes.

wat een bepaalde methode behelst, zonder dat hier uitvoerige methodologische kennis voor nodig is. Zowel oude als nieuwe methodologische principes worden zo inzichtelijk gemaakt voor artsen die klinische onderzoeken goed willen interpreteren. Jenneke Hoekstra, BSc, student biomedische wetenschappen, hielp bij de totstandkoming van dit manuscript. Belangenconflict en financiële ondersteuning: geen gemeld. Aanvaard op 5 mei 2015 Citeer als: Ned Tijdschr Geneeskd. 2015;159:A9117

In de rubriek Stand van zaken verschijnen regelmatig bijdragen over methoden die gebruikt worden bij het opzetten van wetenschappelijk onderzoek. De artikelen in deze serie illustreren op begrijpelijke wijze

> Kijk ook op www.ntvg.nl/A9117 ●

Literatuur 1

Vandenbroucke JP. Een recept voor een klinisch-wetenschappelijk

6

2

Van Eyk HJ, Hooiveld MHW, Van Leeuwen TN, Van der Wurff BLJ, De

7

Med Res Methodol. 2010;10:67.

Education. Scientific output of Dutch medical students. Med Teach. 8

2010;32:231-5.

4

9

Clevers JC. Stop de promotiedwang voor arts-assistenten. Ned Tijdschr

Zorgvuldig en integer omgaan met wetenschappelijke onderzoeksgegevens. Amsterdam: Koninklijke Nederlandse Akademie van Wetenschappen; 2012.

Geneeskd. 2014;158:A7669. 5

Bossuyt PM. Ruim 200 richtlijnen voor rapportage van onderzoek. Ned Tijdschr Geneeskd. 2015;159:A8797.

Centraal Bureau voor de Statistiek. Statline. http://statline.cbs.nl/statweb, geraadpleegd op 16 maart 2015.

Arain M, Campbell MJ, Cooper CL, Lancaster GA. What is a pilot or feasibility study? A review of current practice and editorial policy. BMC

Craen AJM, Dekker FW; NVMO-Special Interest Group on Scientific

3

Beurskens A. Vet de HCW, Kant I. Dwalingen in de methodologie. VIII. Pilotonderzoeken, zin en onzin. Ned Tijdschr Geneeskd. 1998;142:2142-5.

leeronderzoek. Ned Tijdschr Geneeskd. 1989;133:34-8.

D’Agostino RB Sr, Vasan RS, Pencina MJ, et al. General cardiovascular

10 ICMJE. Defining the role of authors and contributors. www.icmje.org/

risk profile for use in primary care: the Framingham Heart Study.

recommendations/browse/roles-and-responsibilities/defining-the-role-

Circulation. 2008;117:743-53.

of-authors-and-contributors.html, geraadpleegd op 6 mei 2015.

NED TIJDSCHR GENEESKD. 2015;159: A9117

5