Left.gif (10785 bytes)
Midlle.gif (12243 bytes)
Right.gif (10788 bytes)
PUBLIKAČNÍ BIAS: LZE SE SPOLEHNOUT NA METAANALÝZY? PUBLICATION BIAS: ARE META-ANALYSES RELIABLE? Tomáš Hájek Univerzita Karlova, 3. lékařská fakulta, Psychiatrické centrum Praha a Centrum neuropsychiatrických studií, Praha
SOUHRN Publikační bias, neboli vyšší pravděpodobnost publikace pozitivních výsledků, může významně zkreslit závěry metaanalýz a systematických přehledů. Článek se na základě literárních údajů snaží nalézt odpověď na následující otázky: existuje vůbec publikační bias? Je publikační bias způsobený autory nebo editory odborných časopisů? Trvá publikace negativních výsledků déle než publikace výsledků pozitivních? Klíčová slova: publikační bias, metaanalýza, doba do publikace SUMMARY Publication bias, e.g. greater likelihood that studies with positive results will be published can breach the quality of meta-analyses and systematic reviews. The paper briefly reviews published evidence providing answers to following questions: Does publication bias exist? Is publication bias mainly caused by investigators or editors? Are negative results published more slowly than positive ones? Key words: publication bias, meta-analysis, time to publication Hájek T. Publikační bias: Lze se spolehnout na metaanalýzy? Psychiatrie 2002;6(4):252–254.
Věda je v Popperovském slova smyslu založena na falzifikaci hypotéz. Pozorování 1000 nebo 10 000 000 černých vran neznamená, že všechny vrány jsou černé. Nalezení jedné bílé vrány však hypotézu o tom, že všechny vrány jsou černé, vyvrátí. Každý vědec, který stráví měsíce a roky přípravou a prováděním experimentu, zákonitě doufá, že se mu podaří falzifikovat nulovou hypotézu, získat pozitivní výsledek. Jinými slovy ukázat, že testovaný lék léčí, určitá nemoc změní výsledky v testech předpokládaným směrem atd. Je však také možné, že výsledky vyjdou zcela opačně – testovaný lék bude signifikantně horší než placebo nebo komparátor, pacienti dosáhnou v použitém testu signifikantně lepší výsledky než kontroly, oblasti mozku, které by se měly zmenšit, se zvětší atd. V případě testování účinnosti léků je toto zjištění dosti nepříjemné. V ostatních případech naopak může předznamenávat zajímavé a nové hypotézy (lepší výsledky v sémantickém primingu u pacientů se schizofrenií), případně až posun paradigmatu. Neočekávaný signifikantní výsledek tedy může být mnohem lepší než výsledek očekávaný. Nejhorší variantou, noční můrou vědců, však je případ, kdy se nulovou hypotézu nepovede falzifikovat. Testovaná látka je stejně účinná jako placebo, pacienti a kontroly se neliší, oblasti mozku se nemění. Co s takovým výsledkem?
Dvě úrovně publikačního biasu Postižený vědec, který po letech intenzivní práce zjistí, že se vydal slepou uličkou a vynaložené úsilí bylo zcela marné, je těžce raněn. Jeho další chování se odvíjí od premorbidní osobnostní struktury a může zahrnovat např. zdemolování laboratoře, sebelítost, presumpci viny, aktivaci insuficietních postojů, autoakuzace, deprese, alkoholový nebo drogový exces, změnu zaměstnání atd. Takový jedinec není z řady důvodů příliš motivovaný šířit do světa negativní výsledek svého marného snažení. Vzniká publikační bias na úrovni výzkumníka. Pokud se frustrovaný vědec díky svému vysokému skóre na Cloningerově škále perzistence vzepře, vyhrabe z trosek laboratoře computer a napíše o svém neúspěchu článek, může narazit na druhý typ publikačního biasu, na publikační bias ze strany editorů odborných časopisů. Mezi vědci se traduje, že časopisy nechtějí publikovat negativní výsledky. Tento mýtus ještě přispívá k nechuti jedince negativní výsledek někam posílat a utržit tak další narcistické zranění. Existuje ale vůbec publikační bias? Pokud ano, je převážně způsobený výzkumníky nebo editory? Publikační bias ze strany výzkumníka Easterbrook et al. (1991) sledovali osud 487 výzkumných projektů předložených ke schválení Centrální etické komisi Oxfordské univerzity mezi lety 1984–1987. V květnu 1990 měli výzkumníci data z 285 studií, přičemž publikovány byly výsledky pouze z 52 % studií. Signifikantní výsledky byly publikovány častěji než výsledky negativní (odds ratio 2,32, 95% interval spolehlivosti 1,25–4,28). Studie s pozitivními výsledky také vedly k většímu počtu prezentací a publikací v časopisech s vyšším impakt faktorem. Pravděpodobnost publikace dat zvyšovalo subjektivní přesvědčení výzkumníků o významu studie. Pouze v 9 % případů nebyly studie publikovány pro odmítnutí ze strany časopisu. Dickersin et al. (1992) došli k velmi podobným výsledkům a potvrzují existenci publikačního biasu především na úrovni výzkumníků. Sledovali studie schválené 2 etickými komisemi lékařské fakulty Johns Hopkins. Pozitivní výsledky byly publikovány častěji než negativní (odds ratio 2,54, 95% interval spolehlivosti 1,63–3,94). Ze 124 nepublikovaných studií jich však pouze 6 nebylo publikováno vinou odmítnutí ze strany editorů odborného časopisu. V 95 % případů tedy pocházelo rozhodnutí studii nepublikovat ze strany výzkumníků. Objevují se již i první metaanalýzy zabývající se otázkou publikačního biasu. Dickersin a Min (1993) shrnují data ze 4 prospektivních studií sledujících 997 započatých výzkumů. Výsledky ukazují pozitivní asociaci mezi statisticky vyznamnými výsledky a publikací (odds ratio 2,88, 95% interval spolehlivosti 2,13–3,9). Ve všech případech připadalo rozhodnutí nepublikovat výsledky na výzkumníky, nikoliv na editory časopisů. Navzdory všeobecně rozšířené představě je publikační bias způsoben menší ochotou výzkumníků předkládat k publikaci negativní výsledky. Výsledky klinických studií by neměly být takto potlačovány. Publikační bias z pohledu editorů Velmi podrobně se publikačním biasem ze strany editorů zabývali Olson et al. (2002). V prospektivní studii vyhodnocovali úspěšnost rukopisů zaslaných do časopisu Americké lékařské asociace (JAMA). Na základě přísných vstupních kritérií autoři vybrali srovnatelně kvalitní studie. Výzkumníci, kteří extrahovali a analyzovali data, byli zaslepení k tomu, zda studie nakonec byla nebo nebyla publikována. Kritérium pro pozitivní výsledek bylo p < 0,05. Pokud bylo ve studii více výstupních proměnných, musela jich většina splňovat „pozitivní“ kritérium, aby celá studie mohla být označena za pozitivní. Od února 1996 do srpna 1999 bylo do JAMA zasláno 13 569 článků. 745 splnilo vstupní kritéria. 51,4 % z nich nalezlo pozitivní výsledek, 45,7 % výsledek negativní. Ve 2,8 % případů byly výsledky nejisté. Publikováno bylo 17,9 % článků, a to 20,4 % z pozitivních studií a 15 % z negativních studií. Poté, co autoři kontrolovali všechny charakteristiky studií a ukazatele jejich kvality, došli k závěru, že pozitivní studie nejsou publikovány signifikantně častěji než studie negativní (odds ratio 1,30, 95% interval spolehlivosti 0,87–1,96). Šanci rukopisu na přijetí významně zvyšovalo, pokud se jednalo o multicentrické studie probíhající v USA a obsahující power analýzu (výpočet odhadu potřebného počtu subjektů). Podle autorů nemá na
pravděpodobnost publikace studie vliv pozitivita výsledku, ale indikátory kvality studie. Publikační bias na úrovni editorů (alespoň v JAMA, pro dané editory a v daném období) se tedy zdá být malý. Trvá publikování nesignifikantních výsledků déle? Trochu jiná otázka je, zda pozitivní výsledky jsou publikovány rychleji než výsledky negativní. Zde je potřeba odlišit dobu mezi zahájením výzkumu a jeho publikací, dobu od ukončení studie k její publikaci a dobu od zaslání studie do odborného časopisu k jejímu otištění. Stern a Simes (1997) ukázali, že počítáno od okamžiku schválení etickou komisí, se klinické studie s negativními výsledky dočkaly publikace pomaleji než studie s pozitivními výsledky (medián 4,8 vs. 8 let). Z klinických studií, které byly předčasně ukončeny, jich 12 % bylo ukončeno pro negativní předběžné výsledky (opět subjektivní rozhodnutí výzkumníků, nikoliv časopisu!). Větší prodlevu v případě negativních studií, tentokrát mezi začátkem financování studie a jejím uveřejněním, potvrdili i Misakian a Bero (1998). Autoři kontaktovali 65 výzkumníků provádějících 61 studií zaměřených na pasivní kouření, financovaných 76 z 89 organizací poskytujících fondy na podobné výzkumy. Výsledky 14 studií nebyly publikovány. Medián doby do publikace byl 5 let pro nesignifikantní a 3 roky pro signifikantní studie (p = 0,004). Zde statistická významnost studie významně predikovala, zda bude studie uveřejněna. V případě 66 dokončených randomizovaných studií zaměřených na infekci HIV byla doba od dokončení studie k její publikaci v případě pozitivních výsledků významně kratší (medián 1,7 roku vs. 3,0 roku, p = 0,001). Studie s pozitivním výsledkem byly po skončení zaslány k publikaci rychleji než studie s negativním výsledkem (medián 1,0 vs. 1,6, p = 0,001) a následně byly o něco rychleji publikovány (medián 0,8 vs. 1,1 roku, p = 0,04) (Ioannidis et al., 1997). Dickersin et al. (2002) zjišťovali délku recenzního řízení u výše popsané databáze rukopisů zaslaných do JAMA. Medián časového intervalu mezi zasláním článku a jeho publikací byl 7,8 měsíců pro pozitivní a 7,6 měsíců pro negativní výsledky (p = 0,44). Mezi 133 články, které splnily vstupní kritéria, nebyla délka do publikace asociována se statistickou významností, metodologickými kvalitami, ani jinými charakteristikami studie. Opět je patrné, že výzkumníci jsou méně motivováni zpracovat negativní výsledky a trvá jim to déle. Ve chvíli, kdy však výsledky do časopisu zašlou, se již doba do publikace mezi negativními a pozitivními výsledky prakticky neliší. Lze se spolehnout na metaanalýzy? Základem medicíny postavené na důkazech jsou dvojitě slepé, randomizované studie. Kvantitativně vyšší úrovní důkazu účinnosti léčby jsou systematické přehledy nebo metaanalýzy, které shrnují data z více studií. Kvalitu metaanalýz však kompromituje řada zkreslení – zahrnutí pouze studií publikovaných v angličtině – jazykový bias, studií publikovaných pouze v prestižních časopisech – selekční bias, studií citovaných jinými autory – citační bias a v neposlední řadě i publikační bias. Ten může vést k petrifikaci chybných závěrů. Výsledky metaanalýz a souhrnných článků založených na převážně pozitivních výsledcích jsou nutně nepřesné. Na druhou stranu ale momentálně neexistuje nic lepšího. Spoléhat se na subjektivní dojmy je ještě horší. Co s tím? Z citovaných studií vyplývá, že za publikační bias jsou převážně zodpovědní sami výzkumníci. Tento psychologický blok je pochopitelný, ale není omluvou. Neochota publikovat negativní výsledek je vědeckým prohřeškem a je v rozporu s Helsinskou deklarací, momentálně nejpoužívanějším souhrnem etických principů pro lékařský výzkum prováděný na lidech. Poslední revize této deklarace klade v odstavci 27 důraz na publikaci nebo veřejné zpřístupnění jak pozitivních, tak negativnch výsledků. Jak je možné publikační bias ze strany výzkumníků odstranit? Už samo zjištění, že alespoň v některých kvalitních časopisech je publikační bias ze strany editorů malý, je povzbudivé a rozšíření této informace
by mohlo nešťastné výzkumníky s negativními výsledky kladně motivovat. Riziko publikačního biasu je však třeba snížit i jinými způsoby. Jednou z možností je vázat financování výzkumů na publikaci výsledků. Tento způsob nedokonale praktikují české grantové agentury. V případě, že do skončení financování studie nejsou výsledky publikovány nebo alespoň prezentovány na konferenci, je někdy (na základě závěrečného hodnocení) instituce čerpající prostředky povinna je vrátit (např. u IGA MZd ČR). Toto represivní opatření však v praxi nefunguje. Navíc v jedné věci dosti pokulhává. Z výše uvedených studií je patrné, že doba od zahájení studie do publikace i pro pozitivní studie je zhruba 5 let, doba od zaslání článku do jeho přijetí zhruba 0,8 let. Z vlastní zkušenosti víme, že například od zaslání článku o Lymeské borelióze do American Journal of Psychiatry k informaci o tom, že bude otištěn, uběhlo 10 měsíců a do samotného otištění ještě dalších 5 měsíců. Grantové agentury většinou financují tříleté výzkumné projekty. Výzkumník má tedy na faktické provádění studie pouze 2 roky a pokud chce stihnout její publikaci v zahraničním časopise s IF, měl by ji nejpozději počátkem 3. roku odeslat k recenznímu řízení. Přitom dva roky jsou na sběr dat žalostně málo! Nelogické navíc je, že celý 3. rok ještě grantová agentura poskytuje prostředky na výzkum. Logičtější by bylo nechat na provedení studie 3 roky. Čtvrtý rok by byl vyhrazený na publikací výsledků, byl by bez nároků na čerpání financí, ale i bez represivních opatření ze strany grantové agentury. Je dost možné, že „český“ model vede k tomu, že řada zajímavých výsledků je raději publikována v domácích časopisech s nulovým IF, kde je publikace rychlejší, ale dopad výsledků výzkumu nesrovnatelně menší. Toto jednoznačně není v zájmu grantových agentur a už vůbec ne české vědy. Ta se potom může jen obtížně vymanit z lokálních stojatých vod a dostat se na mezinárodní úroveň. Daleko inspirativnější je model finský, který váže příděl výzkumných prostředků na předchozí publikace žadatele v časopisech s IF. Tento postup funguje jako pozitivní zpětná vazba a vynesl Finsko během několika let mezi světové velmoci co do vědeckých výstupů lékařského výzkumu. Přitom obava, že by takový systém ostrakizoval začínající talenty, se ukázala jako lichá: výkonné týmy si je rychle najdou, kooptují a usnadní citační anamnézu, která následně i u začínajících vědců vede k vlastnímu přídělu peněz (J. Tiihonen a C. Höschl, osobní sdělení 2001). Další možností, jak minimalizovat riziko publikačního biasu, by byla prospektivní registrace studií. Jednalo by se vlastně o jakousi databázi shromažďující informace o všech zahajovaných studiích a jejich průběhu. Při provádění metaanalýz by statistici čerpali data z těchto databází. O něco podobného údajně od roku 1994 usiluje hlavní hráč na poli metaanalýz Cochrane Collaboration (Cochrane Library). Zkrácení publikační latence Prodlevy do publikace článků znamenají, že úroveň našich vědomostí podložených recenzovanými důkazy je zhruba o rok pozadu. Existuje řada tlaků ze strany výzkumníků, farmaceutických firem i vládních organizací tuto latenci zkrátit. Redakční rady časopisů se ke zkracování doby od zaslání k publikaci staví různě. Někde existují tzv. „fast track policies“, tedy jakési „přednosti v jízdě“. V JAMA by při použití této služby měli recenzenti vrátit článek do 24–48 hodin. Další možností by mohly být online vedené recenze, případně online časopisy s krátkou publikační latencí. Je otázkou, zda a do jaké míry by kvalita takto publikovaných prací poklesla. Díky možnosti reagovat na články snadno a prakticky v reálném čase, by kvalita publikací utrpět nemusela. Navíc by se diskuze nad aktuálními výzkumy přesunula z konferencí přístupných jen pro část vědecké komunity na Internet přístupný většině vědců. Závěr Jaké plyne ze zmíněných studií ponaučení? Negativním zjištěním je, že publikační bias existuje a výsledky metaanalýz je třeba brát s jistou rezervou. Z uvedeného přehledu vyplývá však spíše pozitivní pocit. Zdá se totiž, že pokud nás postihnou negativní výsledky, je rozumné zaslat je do kvalitního časopisu, kde jsou dbalí zásad Helsinské deklarace a nenechají se publikačním biasem tolik ovlivnit. Pokud by se ovšem uvedeným závěrem začala řídit většina autorů, mohlo by vzniknout něco jako negativní bias, kdy nejlepší časopisy by uveřejňovaly především nejméně zajímavé, negativní výsledky. Toto riziko však asi není zatím příliš velké. V případě pozitivních anebo dokonce zajímavých výsledků budou výzkumníci jistě i nadále hledat nejlepší odbytiště právě ve kvalitních časopisech.
Poděkování: Autor děkuje profesorům Richardu Balonovi a Cyrilu Höschlovi za podněty a podklady k sepsání tohoto článku. MUDr. Tomáš Hájek Psychiatrické centrum Praha Ústavní 91 181 03 Praha 8
[email protected] Do redakce došlo: 24. září 2002 K publikaci přijato: 2. října 2002 LITERATURA Dickersin K, Min YI. Publication bias: the problem that won’t go away. Ann NY Acad Sci 1993;703:135–146. Dickersin K, Min YI, Meinert CL. Factors influencing publication of research results. Follow-up of applications submitted to two institutional review boards. JAMA 1992;267:374–378. Dickersin K, Olson CM, Rennie D, Cook D, Flanagin A, Zhu Q, Reiling J, Pace B. Association between time interval to publication and statistical significance. JAMA 2002;287:2829–2831. Easterbrook PJ, Berlin JA, Gopalan R, Matthews DR. Publication bias in clinical research. Lancet 1991;337:867–872. Ioannidis JP, Cappelleri JC, Sacks HS, Lau J. The relationship between study design, results, and reporting of randomized clinical trials of HIV infection. Control Clin Trials 1997;18:431–444. Misakian AL, Bero LA. Publication bias and research on passive smoking: comparison of published and unpublished studies. JAMA 1998; 280:250–253. Olson CM, Rennie D, Cook D, Dickersin K, Flanagin A, Hogan JW, Zhu Q, Reiling J, Pace B. Publication bias in editorial decision making. JAMA 2002;287:2825–2828. Stern JM a Simes RJ. Publication bias: evidence of delayed publication in a cohort study of clinical research projects. Brit Med J 1997;315:640–645. Left.gif (10785 bytes)
Midlle.gif (12243 bytes)
Right.gif (10788 bytes)
