Onderzoeksartikelen lezen Yolanda van der Graaf en Joost Zaat
Op de hoogte blijven van de nieuwste ontwikkelingen is niet gemakkelijk, maar het lezen van artikelen over onderzoek is dat ook niet. Er zijn te veel medische tijdschriften met daarin ook nog eens veel informatie die voor de klinische praktijk irrelevant is. U moet uit dat woud aan artikelen beoordelen welke belangrijk zijn voor uw klinische praktijk en welke niet. De meeste artikelen vallen natuurlijk in de laatste categorie, want er zijn niet wekelijks spectaculaire bevindingen met grote consequenties voor de medische praktijk. Het belangrijkste in een onderzoeksartikel is de vraagstelling. Als u hierbij begint, kunt u al veel wetenschappelijke literatuur terzijde leggen. De methodologiesectie is essentieel, omdat u door deze te lezen veel tijd kunt besparen. In dit artikel nemen we u stap voor stap mee bij het lezen van onderzoeksartikelen. De artikelen in onze Methodologie-serie dienen hierbij als achtergrond. Deze artikelen zijn gebundeld in een tablet-app, die beschikbaar is via www.ntvg.nl/methodologie.
O
Nederlands Tijdschrift voor Geneeskunde, Amsterdam. Prof.dr. Y. van der Graaf, adjunct-hoofredacteur en klinisch epidemioloog (tevens: Julius Centrum voor Gezondheidswetenschappen en Eerstelijns Geneeskunde, UMC Utrecht); dr. J. Zaat, adjunct-hoofredacteur en huisarts. Contactpersoon: prof.dr. Y. van der Graaf (
[email protected]).
p de hoogte blijven van de nieuwste ontwikkelingen is niet gemakkelijk, maar het lezen van artikelen over onderzoek is dat ook niet. Er zijn te veel medische tijdschriften om bij te kunnen houden, met daarin ook nog eens veel informatie die voor de klinische praktijk irrelevant is.1 Daar moet de wetenschap een oplossing voor zoeken, maar intussen zit u wel met die overvloed en de vraag wat u wel en niet moet lezen. Hoe u efficiënt zoekt naar medische informatie is onder meer te vinden op de website van het NTvG (www.ntvg.nl/ academie/instructies). Maar dan, hoe beoordeelt u of een onderzoeksartikel relevant is en de kwaliteit ervan goed genoeg is? Ook patiënten komen artikelen tegen en willen weten of de inhoud voor hen van betekenis is.2 Om het kaf van het koren te scheiden hebt u helemaal geen gedegen opleiding tot wetenschappelijk onderzoeker nodig. In dit artikel schetsen we waar u vooral op moet letten bij het lezen van wetenschappelijke literatuur. Veel lezers hebben een hekel aan de methodologieblokjes in onderzoeksartikelen. Zet u over uw weerzin heen, want als u die blokjes wel leest, hoeft u de rest vaak niet meer te lezen en dat spaart tijd. We nemen u stap voor stap mee. Bij elke stap leert u te beoordelen of een onderzoeksartikel deugt of belangrijk genoeg is om verder te lezen. Vaak is dat niet het geval en kunt u het artikel terzijde leggen. De artikelen in onze
NED TIJDSCHR GENEESKD. 2015;159: A9004
1
Methodologie-serie dienen hierbij als achtergrond (www. ntvg.nl/artikelen/dossiers/methodologie-van-onderzoek). Die serie pretendeert niet compleet te zijn, maar geeft wel goed inzicht in een groot aantal problemen bij het doen van onderzoek vanuit het perspectief van de lezer. De artikelen uit de serie zijn gebundeld in een tablet-app, die beschikbaar is via www.ntvg.nl/methodologie.
dat nuttig om een probleem te definiëren, maar voor uw dagelijkse beleid hebt u er niet veel aan.
Als de vraagstelling ontbreekt, stop dan maar met lezen
VRAAGSTELLING Zoek eerst naar een heldere vraagstelling. Of het nu om een klinische trial of een observationeel onderzoek gaat, er moet een vraagstelling aan het einde van de inleiding staan. Als die ontbreekt, stop dan maar met lezen. Wees argwanend als onderzoekers iets ‘in kaart willen brengen’, want dan gaat het vaak om ‘knoopjes tellen’. Soms is
Om het kaf van het koren te scheiden is een gedegen opleiding tot wetenschappelijk onderzoeker niet nodig
Een vraagstelling eindigt altijd met een vraagteken en bestaat uit één of meerdere determinanten, een uitkomstmaat en een domein (figuur ), bijvoorbeeld: Wat is het effect van griepvaccinatie op de sterfte bij patiënten met een afweerstoornis? Hierin is ‘griepvaccinatie’ de determinant, ‘sterfte’ de uitkomstmaat en zijn ‘patiënten met een afweerstoornis’ de groep mensen waarover de studie iets wil zeggen (domein). Er zijn – grofweg – punten waar het bij de vraagstelling al mis kan gaan: de populatie is een nogal select gezelschap, de determinant is niet goed beschreven of de uitkomstmaat is niet relevant. Het moet helder zijn om welke patiënten of mensen de studie gaat. De conclusies van gerandomiseerd gecontroleerde trials (RCT’s) zijn over het algemeen wat vaker valide dan die van observationele onderzoeken (RCT: www.ntvg.nl/A). Daar staat wel tegenover dat de studiepopulatie in een RCT een beperkte selectie is. Het is aan u om de resultaten te vertalen naar de patiënten die qua inclusiecriteria niet voor de trial in aanmerking kwamen. Dat is nog niet zo gemakkelijk als u denkt. Ouderen vor-
FIGUUR 1 Screenshot van het filmpje ‘Wat is een goede onderzoeksvraag?’ in de tablet-app.
2
NED TIJDSCHR GENEESKD. 2015;159: A9004
men in de meeste specialismen een belangrijke groep, maar zijn in trials vaak niet of te weinig vertegenwoordigd. En zelfs als die ouderen wel in trials zitten, kan er nog een probleem zijn. Zo toonde een Nederlandse onderzoeksgroep aan dat de vrouwen van jaar en ouder met borstkanker die in trials geïncludeerd werden, gemiddeld jonger waren, minder comorbiditeit hadden en kleinere tumoren hadden dan vrouwen boven de jaar die in de kankerregistratie waren opgenomen.3 Over het algemeen hebben klinisch relevante uitkomstmaten die ook echt iets voor de patiënt betekenen de voorkeur, dus geen laboratoriumwaarden of diameters van vaten. Bekijk of de onderzoekers alle klinisch relevante uitkomstmaten hebben gekozen. Voor jonge vrouwen met borstkanker is sterfte aan die ziekte de belangrijkste uitkomstmaat, maar bij ouderen is het uitsluitend bestuderen van ziekte te simpel en is ziektespecifieke sterfte vaak niet de beste uitkomstmaat. Niet altijd is het mogelijk om harde uitkomstmaten te meten. Dan is het aan u om te beoordelen of titerstijgingen en het optreden van griep goede uitkomsten zijn om een nationaal vaccinatieprogramma op te tuigen. In veel onderzoek bepaalt de haalbaarheid ook de keuze van de uitkomstmaat. Een intermediaire uitkomstmaat vraagt een veel kleinere studiepopulatie dan een RCT met harde uitkomstmaten die voor de patiënt belangrijk zijn (intermediaire uitkomstmaten: www.ntvg.nl/A).
AARD EN ONDERZOEKSDESIGN AARD VAN HET ONDERZOEK
Na de beoordeling van de vraagstelling let u op de aard én de opzet van het onderzoek. In klinisch onderzoek onderscheiden we etiologisch, diagnostisch, therapeutisch en prognostisch onderzoek. De vraagstelling en de aard bepalen hoe de opzet van een studie moet zijn. Etiologische vragen leiden tot een andere opzet dan diagnostische of prognostische vragen. Voor elk type onderzoek is wel een checklist te vinden op internet, bijvoorbeeld bij het EQUATOR Network (www. equator-network.org). Eigenlijk zijn die lijstjes voor auteurs en redacties bedoeld, maar ook voor u als lezer vormen ze een belangrijk hulpmiddel om na te gaan of een onderzoek deugt. ONDERZOEKSDESIGN
Past de onderzoeksopzet (‘design’) van de studie bij de onderzoeksvraag? Welke groepen worden vergeleken en is er voldoende contrast tussen die groepen? Dat is een vraag die u ook zonder al te veel kennis van methodologie kunt beantwoorden. Met een conventionele dubbelblinde vergelijkende studie hebt u het gemakkelijk. U komt echter steeds vaker ‘nieuwere’ designs tegen met
vaak fraaie namen. Als onderzoekers aantonen dat de nieuwe behandeling even werkzaam is als de conventionele maar minder bijwerkingen heeft, moet u op andere aspecten letten dan bij de klassieke RCT (‘non-inferiority’-studies: www.ntvg.nl/A). Het randomiseren van complexe interventies op individueel niveau is vaak onmogelijk, bijvoorbeeld wel of geen telemonitoring op de IC. Dan is het ‘stepped wedge’-design, waarbij een interventie op groepsniveau getrapt wordt ingevoerd, een mooi alternatief (stepped-wedgedesign: www.ntvg.nl/ A). Soms wil men niet één maar meerdere nieuwe behandelingen vergelijken met de oude. Dan is een meerarmige trial een oplossing. Trials zijn duur en daarom zoeken onderzoekers naar valide efficiëntere designs. De ‘cohort multiple randomized controlled trial’ kan een oplossing zijn (cohort multiple randomized controlled trial: www. ntvg.nl/A). Als het effect van de behandeling tijdelijk is, biedt de cross-overstudie een alternatief (cross-overstudie: www.ntvg.nl/A). Hierbij is de patiënt zijn of haar eigen controlepersoon en krijgt hij of zij alle behandelingen. Bij het vaststellen of factoren tot ziekte leiden is een trial
Uitkomstmaten moeten voor de patiënt relevant zijn, dus geen laboratoriumwaarden vaak onethisch en biedt slim observeren en vergelijken een uitweg. Soms wil men weten waarom de patiënt op een bepaald moment ziek werd, om zo achter triggers voor die ziekte te komen (patiënt-cross-overstudie: www. ntvg.nl/A). De klassieke designs om de relatie tussen een determinant en het optreden van ziekte vast te stellen zijn het follow-up- en patiënt-controleonderzoek. Wat de onderzoeker dan in een artikel hoort te rapporteren, is te vinden op de website van Strengthening the Reporting of Observational studies in Epidemiology (STROBE, www. strobe-statement.org). Bij patiënten met een zeldzame ziekte of bijwerkingen van medicatie is patiënt-controleonderzoek vaak de enige mogelijkheid (patiënt-controleonderzoek: www.ntvg.nl/A). De achilleshiel van dit type onderzoek is de selectie van de controlepersonen. U
NED TIJDSCHR GENEESKD. 2015;159: A9004
3
FIGUUR 2 Screenshot van het filmpje ‘Wat is confounding?’ in de tablet-app.
moet als lezer dan beoordelen of de controles een betrouwbaar beeld geven van de expositie of determinant. Veel onderzoekers van observationele studies gaan te ver in hun claim dat er een causaal verband is. Als er in observationeel onderzoek een relatie is tussen een bepaalde factor, bijvoorbeeld vitamine D, en sterfte, betekent dat nog niet dat extra suppletie van vitamine D de sterfte reduceert. Als u zich dit realiseert, valt de bodem uit vele aanbevelingen (causaal redeneren: www. ntvg.nl/A).
In een enkel geval kan Mendeliaanse randomisatie een oplossing bieden (Mendeliaanse randomisatie: www. ntvg.nl/A). In genoombrede associatiestudies onderzoekt men verbanden tussen genetische variaties en ziekten. Deze studies vragen specifieke kennis. Wat wel en niet uit dit soort studies geconcludeerd kan worden, kunt u in het NTvG en op de tablet-app bekijken (genoombrede associatiestudies: www.ntvg.nl/A).
FIGUUR 3 Screenshot van het filmpje ‘Wat zijn missende waarden?’ in de tablet-app.
4
NED TIJDSCHR GENEESKD. 2015;159: A9004
IKEL S HET ARTIK IIS ST? RELEVANT EN JUIIS IS HET T AANTAL MISSENDE WAARDEN AANVAARDBA AANVAARDBAAR AAR R EN WORDT T ER ADEQUAAT MEE OMGEGAAN?? Ja
Nee Nee Uitval in i studies sttudi d es is di s vri v vr vrijwel jw l jwe altijd selectief. se elec lectie tie ie ef. f. Voo Voorde Vo rde de eel e van a Voordeel de twi wijfe wi fel d fe an a n maar? maar? ma r twijfel dan
elen oeksartik zo nderrz o n a v rs ze Veel leze aan de en hekel ze hebben e u deze sectie. Als rest hodologie e d meth u ft e eemt, ho rn o o d zen ze t st le is l li check meer te vaak niet l e ik rt a t d. van he tijjd rt ti paart en dat sp
ZIJN DE E STATISTISCHE E MET METHODEN E HODE EN BESCHREVEN BESC CHR REVEN EN DE JUISTE JUIIS ST TE EFFECTMATEN E EF FECTMA M TEN GE GEBRUIKT? EBR RUIKT?? Sla hett kopje j ‘Analyse’ ‘Analyse y ’ niet over, want het is s uw laa laatste aatstte h halte altte voor a oor de e re resultaten! esu sul u tatten!
Ja Ja
N e Ne Nee
ZET Z ZE T U OV OVER O ER U UW W WE WEERZIN EERZIIN HE HEEN... EEN EN...
Er is Er is een een ve ee v verkeerde errke eerd eerd e e effecte effe fff ct ffe c maatt gebr maa g gebruikt. ebr e bruik b uikt. t Um moet o zelf oet ze ellff be beo e ord orr e ele llen h oe o e erg erg da dat is. dat is. beoordelen hoe
Pa het arti Pak artikel ikel en start me m mett lezen. n
start! st tart!
Nee Ne ee ee
IS ER EE EEN E N ON ONDE ONDERZOEKSVRAAG D RZ R OEKS K VR RAAG EN WORD WO RDEN EN DET E ER RMI M NA N NT N , UI ITK T OM OMSTWORDEN DETERMINANT, UITKOMSTMAAT E MA EN N DO DOMEIN OMEIN NB BENOEMD? E OE EN OEMD D? J Ja Mooi. Moo M ooi. i U kunt kun untt verder verder ve rde der lezen, lez lle ezen, e en, ma m maar ar jui ar juich uiich nie u n ni niet iett tte e vroeg. grootste valkuilen volgen nog. vro v roeg. e D De eg gr roo o tste oot t va v alku kuile ku ile ilen le en v volg ollgen olg olgen nn nog og.
N e Nee
I HET IS HET D DOMEIN OMEI OM E N TE VERTALEN VER ERTALE LEN N NAAR R EEN EEN P POPULATIE OPUL OP ULAT ATIE IE W WAARIN AARI AA RIN NU GEÏNTERESSEERD GEÏN GE ÏNTE TERE RESS SSEE EERD RD BENT? BENT? EN NT? Ja Ja Ga G a ve verder ver e d der de er me m mett lezen: leze ez n: n Let Lett op Le p da d dat at h het et in n het h he artikel niet artike ar art rtiike ke el n iiet ett gaat gaat ga aa att om m ‘knoopjes ‘kn knoop kn oo opjes op j tellen’, te ellen’, lle len’, n’ want wa antt daar d r daa hebt voor dagelijkse he heb e tuv vo oor uw w da dageli dag age eli lijks j e beleid bele le eid d weinig weinig wei we ni aan. aa a an. n
5
NED TIJDSCHR GENEESKD. 2015;159: A9004
Nee ee ee
ZIJN CONFOUN CONFOUNDERS NDERS GEMETEN? GEMETEN E ? Ja
Nee ee e e off er er is s ee een en k kleine leine kan lei le k kans ans s op op s sy sys ys y tem e ati t sc sc e v sch ertteke ek ken ke niiing. nin g systematische vertekening.
A confounding een Als e rol spee speelt, p lt, is daarvoor o adequaat gecorrigeerd?
Nee Nee
IS ER SPRAKE VAN SEL SELECTIEBIAS? E ECTIEBIAS?
Ja J a
GEFELICITEERD! GEFELICIT TEER RD! KAF EN KOREN ZIJN GESCHEIDEN. G SC GE CHEIDEN E .
E wordt Er wo dtt gew wor gewerkt werk e tm met et ges gestan ge gestandaardiseerde tan andaa d ardi da rdi rd d see di ee erd rde de d meetinstrumenten. mee meetin etin ns stt ume str en nte te en..
Ne Nee ee In n de e bes beschouwing schouwi w ng g kom k komen e en deze dez zake zaken k n niet aan de o orde: rde: rde u moet uw eigen e conclusies c nclusies co trekke k n. trekken.
N Nee
WORDT HET ON WO ONDERZOEK ONDE ERZ ZOE O K VERTEKEND VERTEK KEN ND DOOR DO OOR R INFORMATIEBIAS? INFORMA MATI T EB E IA AS?
Ja
Ja a
WORDEN WORD WO RDEN EN N DE DE BELANGRIJKSTE BELA BE LANG NGRI GRIJK JKSTE RESULTATEN RESU RE SULT LTAT ATEN EN E EN N BE BEPERKINGEN N VA VAN N STU TUDIIE BESPROKEN? BESP BE S RO ROKE KEN? N? DE STUDIE Zijn Z Zij n de d resultaten generaliseerbaar? gene en ral ralise iseerb erbaar aar? ? Hebben be de e resul resultaten ltat taten en gevolgen gevolg gev olgen en voor voor uw uw kli klinisch l nis n ch h handelen? handel de en?
Let ett op e op: p: s soms oms m zi ms z zijn ijn jn mee meerde meerdere rdere rde re des d designs ig ign gns moge m mogelijk ogelijk ogelij oge lijjk en zit en zitten z itte te ten en n er e me meer er hak er h haken aken n en oge o ogen gen na aan an n een n tweedekeusopzet twe tw we w eede edekeu ed dekeusop ke s sop op opzet pzet et (g et (gevoeliger gevoeli evoeli evo el g ger er voor voor bias). bias). bia s)). s
Ja J a
IS DE ONDE ONDERZOEKSOPZET DERZOEKS SOPZET (‘DESIGN’ (‘DESIGN’) N) OMSCHREVEN HELDER OMSCH C RE R VEN N EN E PAST DEZE Z BIJ DE ONDERZO ONDERZOEKSVRAAG? OEKSVRAAG G?
Ja
Nee ee
IS DE DE DETERMINANT DETE DE TERM MIN I AN ANT T RE RELE RELEVANT? L VA VANT NT?? J Ja Lees v Lee vrolijk r ijk rol k verder v rde ve rderr en rd en bekijk bekijk beki eki kijk hoe oe de de determinant determ det erm erm mina ina n nt is i gemeten. ge ete gem eten. n n.
Ne Nee
IIS D DE E UITKOMSTMAAT UITK UI TKOMSTMAAT AT KLINISCH KLIN KL I IS SCH C R RELEVANT? ELEV EL E AN A T?? Als er e een e in intermediaire nter e med mediai iaire re uitkomstmaat at gebruikt gebrui geb ruikt kt wordt, wordt is dit d t ook di k een goede goede intermediaire uitkomstmaat? interm int ermedi diair aire u i oms itk mstma m at? t?
NED TIJDSCHR GENEESKD. 2015;159:A9004
Nee e
6
FIGUUR 4 Screenshot van het filmpje ‘Wat is een betrouwbaarheidsinterval?’ in de tablet-app.
BIAS EN ANALYSE BIAS
Is er een relevante onderzoeksvraag én een goed design? Dan is de volgende vraag: klopt het onderzoek of is er sprake van bias? Bias betekent dat de relatie tussen een behandeling of risicofactor en de klinische uitkomst systematisch vertekend is. Het artikel over de vormen van bias – dit zijn selectiebias, informatiebias en confounding – helpt u bij het identificeren daarvan ( vormen van bias: www.ntvg.nl/A). Voor confounding kunt u corrigeren, mits deze gemeten is en er in de analyse adequaat mee is omgegaan (confounding: www.ntvg.nl/ A) (figuur ). Zo niet, dan kan dat een reden zijn het artikel in de prullenbak te gooien.
Het schatten (imputeren) van missende waarden is geen truc maar noodzaak
ten uit observationeel onderzoek, omdat er altijd redenen zijn waarom dokters aan bepaalde patiënten juist die pillen voorschrijven. Met een ‘propensity score’ schat men de kans op een bepaalde behandeling en gebruikt men deze score vervolgens om te corrigeren voor confounding en om de relatie tussen therapie en uitkomst goed te schatten (propensity-scores: www.ntvg.nl/A). In RCT’s is confounding geen issue meer, omdat de verstorende variabelen mooi verdeeld zijn over de therapiearmen en alleen de therapie verschilt. In diagnostisch onderzoek speelt vooral informatiebias een rol, omdat vaak niet bij iedereen de referentietest gedaan wordt. Dit kan leiden tot aanzienlijke vertekening, waardoor de waarde van de test moeilijk te interpreteren is (referentiestandaarden: www.ntvg.nl/A). In diagnostisch en prognostisch onderzoek speelt confounding geen rol. Het gaat hier om het schatten van absolute kansen met een combinatie van factoren waarbij causaliteit helemaal geen rol hoeft te spelen (predictieregels: www.ntvg.nl/A). MISSENDE WAARDEN
Ook bij een vergelijking van de kwaliteit van ziekenhuizen is confounding een van de grootste struikelblokken (prestatie-indicatoren voor ziekenhuizen: www.ntvg.nl/ A). Effecten van geneesmiddelen zijn lastig te schat-
Veel onderzoekers laten de waarnemingen waarvan gegevens ontbreken buiten hun analyses (figuur ). Vrijwel altijd leidt dat tot vertekende resultaten. Het schatten (imputeren) van die missende waarden in onderzoek is geen truc maar eerder noodzaak. Het zegt iets over de kwaliteit van een studie, omdat optimaal gebruik wordt gemaakt van de verzamelde gegevens (ontbrekende gegevens: www.ntvg.nl/A).
NED TIJDSCHR GENEESKD. 2015;159: A9004
7
ANALYSE
Als de vraagstelling en het design goed beschreven en relevant zijn, komt u bij het kopje ‘Analyse’ in een onderzoeksartikel. Niet overslaan! Het is uw laatste halte voor de resultaten. De statistische analyse volgt direct uit de vraagstelling en het onderzoeksdesign. De eerste tabel beschrijft altijd de onderzoekspopulatie; deze tabel staat vaak onder het kopje ‘Resultaten’. De opmaak van deze tabel is afhankelijk van de aard van het onderzoek. In een RCT staat in de tabel met uitgangswaarden (‘baseline’variabelen) de verdeling van prognostische factoren over de beide armen van de trial. Op deze manier krijgt de lezer een indruk van de soort patiënten die is ingesloten en daarmee ook over de generaliseerbaarheid van de resultaten van de trial. In zo’n tabel horen geen p-waarden te staan, want ook als er behoorlijke verschillen zijn, zijn die het gevolg van toeval. In een etiologische studie staan in deze tabel de frequenties van relevante patiëntkenmerken die zijn opgesplitst naar categorieën van de determinant. In diagnostisch en prognostisch onderzoek horen de potentiële predictoren tegen de uitkomst uitgezet te zijn.
Sla het kopje ‘Analyse’ niet over In de analyseparagraaf moet duidelijk vermeld staan welke effectmaten gebruikt worden om de onderzoeksvraag te beantwoorden. Laat u niet van de wijs brengen door relatieve maten. Deze zeggen iets over de kracht van verbanden en interventies, maar voor patiënten is de afname in absolute kans natuurlijk het belangrijkst. Bedenk echter ook dat de gemiddelde absolute risicoreductie voor de gemiddelde patiënt geldt en dat die anders kan zijn voor het individu (individueel behandeleffect voorspellen: www.ntvg.nl/A). En wanneer relatieve maten worden gepresenteerd, bekijk of de juiste zijn gebruikt. Oddsratio’s zijn bedoeld voor patiënt-controleonderzoek. Misbruik ervan vindt veelvuldig plaats als onderzoekers willen corrigeren voor confounders. Dit leidt tot overschatting van de effecten, omdat de oddsratio ten onrechte als een risicoratio wordt geïnterpreteerd (weg met oddsratio’s: www.ntvg.nl/ A). Als men a priori al verwacht dat er subgroepen zijn die meer of minder baat hebben bij een behandeling, kijk dan of de onderzoekers naar effectmodificatie hebben gekeken (effectmodificatie en interactie: www.ntvg.nl/A). Wanneer het onderzoek over een biomarker gaat, dient u te kijken of de bijdrage van die factor in relatie tot andere
8
voorspellende factoren wordt geschat in bijvoorbeeld de toename van de ‘area under the curve’ (AUC) en de netto-reclassificatie-index – of liever nog: het netto-nut – waarbij rekening gehouden wordt met de klinische context (onderscheidend vermogen: www.ntvg.nl/ A). In veel klinisch onderzoek kijken onderzoekers naar bepaalde ziekte, maar dan moeten ze wel rekening houden met sterfte aan andere oorzaken. Dit speelt als de follow-up lang is of als de populatie ouder is (concurrerende risico’s in klinisch onderzoek: www.ntvg.nl/A). Een specifiek probleem ontstaat als een trial eerder wordt gestopt dan aanvankelijk de bedoeling was. U moet dan oordelen of dat terecht was en of er inderdaad al voldoende bewijs is (tussentijdse analyse: www.ntvg.nl/ A).
RESULTATEN Als u bij de resultatensectie bent gekomen zonder het artikel weg te hoeven gooien, zit het onderzoek behoorlijk goed in elkaar. Vrijwel altijd is dit een korte paragraaf waarin de tabellen met de resultaten van de analyse gepresenteerd worden. Maar let er op dat u in de resultatensectie de antwoorden op de vraagstelling krijgt in kwantitatieve zin, inclusief een -betrouwbaarheidsinterval (figuur ). Niet zelden worden er allerlei tabellen gepresenteerd en p-waarden opgevoerd die maar zijdelings met de vraagstelling te maken hebben. In een resultatensectie hoort geen interpretatie. Dat is voor de beschouwing.
BESCHOUWING De beschouwing begint met een korte samenvatting van de allerbelangrijkste resultaten. Vervolgens benoemen de auteurs de beperkingen van de studie. Wat vonden onderzoekers in vergelijkbare studies? Welk ander wetenschappelijk bewijs is er beschikbaar? Interpretatie van de studieresultaten is een belangrijk onderdeel van de beschouwing. Deze hangt sterk af van de voorafkennis van de onderzoekers en de waarde die daaraan gegeven wordt. Het is ongebruikelijk om te varen op de resultaten van maar studie. Vrijwel altijd wordt in klinisch onderzoek de zogenaamde frequentistische statistiek gebruikt. Hierbij wordt een strikt onderscheid gemaakt tussen de uitkomsten van het onderzoek en de externe kennis. Tegenover de frequentistische statistiek staat de Bayesiaanse statistiek. Hierin worden de externe kennis en de resultaten van het onderzoek door de onderzoekers samengebracht in een getal (Bayesiaanse statistiek: www.ntvg.nl/A). Tot slot horen in een beschouwing de implicaties van de
NED TIJDSCHR GENEESKD. 2015;159: A9004
studie maar ook de generaliseerbaarheid van de bevindingen aan de orde te komen. Daarvoor is biologische kennis belangrijk en dit is een belangrijke stap waarin de lezer een grote rol speelt. Iets is nu eenmaal niet te onderzoeken bij iedereen en het is aan u om te beoordelen in hoeverre u generalisatie naar anderen aannemelijk vindt. Aan het einde van een artikel moet u een afweging maken. Het is niet zo dat u een artikel wel of niet gelooft, maar een goed ontwikkeld ‘pluis-niet pluis’-gevoel helpt wel om te differentiëren. Als u een ‘niet pluis’-gevoel hebt, ga dan terug naar de methodesectie en probeer te schetsen hoe het onderzoek er eigenlijk uit had moeten zien. Als dat niet lukt, gooi het artikel dan alsnog weg. In de infographic zijn de stappen bij het lezen van een onderzoeksartikel nog eens summier samengevat.
TOT SLOT METAANALYSE
Veranderingen in de zorg vinden zelden plaats op basis van onderzoek. Veel onderzoeken zijn bovendien uitgevoerd bij een veel te kleine groep deelnemers. Een metaanalyse is dan een aanwinst. Als u op zoek bent naar literatuur, kijk dan altijd naar overzichtsartikelen op de website van het Dutch Cochrane Centre (http://dcc. cochrane.org); dat kan u veel tijd schelen. Maar ook een meta-analyse is afhankelijk van de kwaliteit van de daarin opgenomen onderzoeken (meta-analyse: www. ntvg.nl/A).
Neem niet klakkeloos de conclusies van de auteurs over Soms wordt een meta-analyse verricht op basis van individuele patiëntengegevens. De onderzoekers hebben dan de gegevens bij de verschillende onderzoekers opgevraagd en kunnen door nieuwe analyses vaak meer vragen beantwoorden, bijvoorbeeld naar effecten in subgroepen (meta-analyse op basis van individuele-patiëntengegevens: www.ntvg.nl/A).
Een groot probleem in de medische wetenschap is selectieve publicatie. De kans op publicatie hangt onder andere af van de uitkomst van de studie maar ook van de sponsor. Hierdoor leveren ook meta-analyses toch maar een beperkt overzicht van de kennis die er echt is (ongepubliceerde onderzoeksresultaten: www.ntvg.nl/A). KOSTENEFFECTIVITEITSANALYSE
Onderzoeken naar de kosteneffectiviteit zijn lastig te beoordelen en vragen veel kennis. Of een behandeling als kosteneffectief uit de bus komt hangt sterk af van de aannamen die de onderzoekers doen. Neem hierbij zeker niet klakkeloos de conclusies van de auteurs over (de prijs van een gewonnen levensjaar: www.ntvg.nl/A). ZELF ONDERZOEK DOEN
Veel artsen in opleiding maar ook medisch specialisten doen klinisch-wetenschappelijk onderzoek, naast hun gewone werk als dokter. Het ontwerpen en uitvoeren hiervan is een vak apart en moet ook geleerd worden. Hiervoor zijn op veel plaatsen in Nederland cursussen en masterprogramma’s beschikbaar. Een recent artikel in het NTvG geeft een goed overzicht hoe u met beperkte tijd en middelen toch onderzoek kunt doen (herzien recept: www.ntvg.nl/A).
TABLETAPP Het NTvG heeft dit artikel en artikelen uit onze Methodologie-serie gebundeld in een tablet-app, die beschikbaar is via www.ntvg.nl/methodologie. In deze app staan verwijzingen naar filmpjes op het NTvG Vimeo-kanaal. In ruim minuut worden diverse basale begrippen uit de methodologie, zoals p-waarde, generaliseerbaarheid en bias, op een eenvoudige manier inzichtelijk gemaakt (auteur: dr. Rolf Groenwold, arts-epidemioloog, UMC Utrecht, Julius Centrum voor Gezondheidswetenschappen en Eerstelijns Geneeskunde). Ook kunt u bij bepaalde begrippen in de artikelen direct doorklikken naar andere artikelen in de tablet-app. Belangenconflict en financiële ondersteuning: geen gemeld. Aanvaard op 25 maart 2015 Citeer als: Ned Tijdschr Geneeskd. 2015;159:A9004
> KIJK OOK OP WWW.NTVG.NL/A9004 ●
NED TIJDSCHR GENEESKD. 2015;159: A9004
LITERATUUR 1 2
Ioannidis JP. How to make more published research true. PLoS Med.
3
Van de Water W, Kiderlen M, Bastiaannet E, Siesling S, Westendorp RG,
2014;11:e1001747.
van de Velde CJ, et al. External validity of a trial comprised of elderly
Van den Bruele T, Vos HMM. Dokter, weet dat uw patiënt googelt.
patients with hormone receptor-positive breast cancer. J Natl Cancer
Internet en de medische hulpvraag. Ned Tijdschr Geneeskd.
Inst. 2014;106:dju051.
2014;158:A8093.
NED TIJDSCHR GENEESKD. 2015;159: A9004
