P-value Alˇzbˇeta Gardlo, Karel Hron
[email protected] Laboratoˇr metabolomiky ´ Ustav molekul´ arn´ı a translaˇ cn´ı medic´ıny, UPOL a FNOL Pˇr´ırodovˇ edeck´ a fakulta UPOL
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
Obsah ´ 1 Uvod 2 Testov´ an´ı statistick´ych hypot´ez 3 Praktick´ y pˇr´ıklad 4 Probl´ emy s p-value 5 Z´ avˇer
Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
Co je P-value? • Uˇz´ıv´a se pˇri testov´an´ı statistick´ych hypot´ez → souvis´ı s danou hypot´ezou.
• Velmi ˇcasto spojov´ana s t-testem. Lze vyˇc´ıslit pro jak´ykoliv test → z´avis´ı na pouˇzit´em testu.
• Velmi ˇcasto uˇz´ıvan´e bez dalˇs´ıch znalost´ı.
• Lze pouˇz´ıt pro parametrick´e i neparametrick´e testy.
Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
Testov´an´ı statistick´ych hypot´ez • Souvis´ı s tzv. distribuˇcn´ı funkc´ı n´ahodn´e veliˇciny: Rozdˇelen´ı pravdˇepodobnost´ı statistick´eho znaku z´avis´ı na nezn´am´em parametru, o kter´em v´ıme, ˇze patˇr´ı do nˇejak´eho parametrick´eho prostoru. • Na z´akladˇe n nez´avisl´ych pozorov´an´ı se m˚ uˇzeme domn´ıvat, ˇze dan´y parametr m´a urˇcit´e vlastnosti. • Formulujeme tzv. nulovou hypot´ezu H0 a alternativu H1 (nebo HA ). Ty se formuluj´ı na tzv. hladinˇe α ∈ (0, 1). Nejˇcastˇeji α = 0.05, 0.025, 0.01. • O hypot´eze m˚ uˇzeme rozhodnout dvˇema zp˚ usoby: • H0 se zam´ıt´a ve prospˇech alternativy, • H0 nelze zam´ıtnout.
Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
Testov´an´ı statistick´ych hypot´ez - chyby • Existuj´ı dva druhy chyb - tzv. chyba 1. a 2. druhu:
H0 zam´ıtneme H0 nezam´ıtneme
H0 je spr´avn´a H0 je chybn´a chyba 1. druhu spr´avn´e rozhodnut´ı spr´avn´e rozhodnut´ı chyba 2. druhu
• Chceme, aby byla chyba 1. druhu = α. • Chyba 2. druhu je minim´aln´ı.
Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
Testovac´ı statistiky • Hypot´ezy se poˇc´ıtaj´ı na z´akladˇe cel´e ˇrady statistik. • Jednov´ybˇerov´y t-test, dvouv´ybˇerov´y t-test, p´arov´y t-test - je zde pˇredpoklad norm´aln´ıho rozdˇelen´ı (velmi ˇcasto nen´ı splnˇeno, pˇr´ıpadnˇe m˚ uˇzeme pouˇz´ıt nˇejakou transformaci). • Neparametrick´e testy (pracuj´ı s poˇrad´ımi hodnot v jednotliv´ych v´ybˇerech) - napˇr. Wilcoxon˚ uv test.
Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
Testovac´ı statistiky • Normalita dat nen´ı ˇcasto splnˇena → je dobr´e na zaˇc´atku udˇelat test normality: • Srovn´an´ı histogramu s hustotou norm´aln´ıho rozdˇelen´ı. • Q-Q plot • Shapiro-Wilk test
4 2 −2 −6
Sample Quantiles
6
Normal Q−Q Plot
−3
−2
−1
0
1
2
3
Theoretical Quantiles
Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
Testovac´ı statistiky - probl´emy, kter´e mohou nastat • Napˇr. dvouv´ybˇerov´y t-test: r
¯n − Y¯m X
mn(m + n − 2) . T =p 2 2 n+m (n − 1)Sn + (m − 1)Sm ¯n (resp. Y¯m ) je aritmetick´y kde n a m jsou rozsahy v´ybˇer˚ u, X pr˚ umˇer 1. v´ybˇeru (resp. 2. v´ybˇeru), S 2 jsou pˇr´ısluˇsn´e rozptyly. • Aritmetick´y pr˚ umˇer nen´ı robustn´ı: • x1 = 1, 2, 3, 4, 5, 6, 7, 8, 9, 10; x¯1 = 5.5, • x2 = 1, 2, 3, 4, 5, 6, 7, 8, 9, 100; x¯2 = 14.5.
• Jiˇz jedna odlehl´a hodnota m˚ uˇze zkreslit celou statistiku. • Pokud je n nebo m velk´e, n´asob´ı se statistika velk´ym ˇc´ıslem → umˇel´e nav´yˇsen´ı. Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
Testovac´ı statistika - dvouv´ybˇerov´y t-test 2 = 1.7, n a m se mˇ ¯n = 34, Y¯m = 34.5, Sn2 = 1.8, Sm • X en´ı: T−test ●
●
Test statistics Quantile
3.5
●
3.0
●
2.5 2.0
Test statistics
●
● 1.5
● ● 1.0
●
●
●
● (10,10)
(25,10)
(20,15)
(25,25)
(100,10)
(25,100)
(50,50)
(100,100)
(150,150)
(200,200)
Quantities
Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
P-value • Pom´ah´a n´am pˇri rozhodov´an´ı o hypot´eze. • P-value: Nejmenˇs´ı hladina, pˇri kter´e bychom jeˇstˇe hypot´ezu zam´ıtli. • Pravdˇepodobnost spoˇc´ıtan´a za platnosti H0 , ˇze dostaneme pr´avˇe naˇsi hodnotu testov´e statistiky nebo hodnotu jeˇstˇe v´ıce odporuj´ıc´ı testovan´e hypot´eze. • Testov´a statistika m´a za platnosti H0 dan´e rozdˇelen´ı pravdˇepodobnosti. • Je-li p-value menˇs´ı nebo rovna α, zam´ıt´ame nulovou hypot´ezu na hladinˇe α.
Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
P-value
p-value > α Nulovou hypotézu nelze zamítnout.
p-value
α Alˇzbˇ eta Gardlo, Karel Hron
0 testová statistika
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
P-value
p-value < α Nulovou hypotézu zamítáme.
α p-value
0 testová statistika
Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
Praktick´y pˇr´ıklad Zad´ an´ı: M´ame d´any rozbory krve 10 pacient˚ u a 10 zdrav´ych kontrol. Ve vzorc´ıch mˇeˇr´ıme 50 metabolit˚ u. Chceme vˇedˇet, jestli se od sebe liˇs´ı hodnoty jednotliv´ych metabolit˚ u mezi pacienty a kontrolami (napˇr. chceme naj´ıt nˇejak´y marker nemoci). Vzorek/Met Pac1 Pac2 Pac3 .. . Kon8 Kon9 Kon10 Alˇzbˇ eta Gardlo, Karel Hron
Arg 39 800 35 300 88 000
Phe 1 907 000 2 010 500 1 920 300
C18 53 600 45 700 62 500
C4 6 090 000 7 430 000 7 160 000
... ··· ··· ···
··· 55 200 12 200 16 800
··· 200 000 210 400 230 900
··· 52 800 37 800 51 200
··· 8 280 000 8 060 000 7 360 000
··· ··· ··· ···
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
Praktick´y pˇr´ıklad ˇ sen´ı: Reˇ 1 Mus´ı se ˇreˇsit pro kaˇzd´y metabolit zvl´aˇst’. 2 Test normality: H0 : rozdˇelen´ı dan´eho metabolitu je norm´aln´ı. H1 : rozdˇelen´ı nen´ı norm´aln´ı. Napˇr. pro C4 vych´az´ı p = 0.078. Porovn´ame p s α = 0.05. Plat´ı tedy p > α → nelze zam´ıtnout H0 → nelze zam´ıtnout, ˇze rozdˇelen´ı C4 je norm´aln´ı. 3 Test normality vyˇsel pro vˇsechny metabolity → m˚ uˇzeme pouˇz´ıt parametrick´e testy.
Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
Praktick´y pˇr´ıklad ˇ sen´ı: Reˇ 4 Porovn´av´ame dva v´ybˇery, kter´e jsou na sobˇe nez´avisl´e → pouˇzijeme dvouv´ybˇerov´y t-test: 5 H0 : pr˚ umˇern´a hodnota pro dan´y metabolit pro pacienty je stejn´a jako pro kontroly. H1 : pr˚ umˇer kontrol a pacient˚ u se liˇs´ı. 6 Napˇr. pro phenylalanin (Phe) vyˇslo p = 0.03. Pˇri porovn´an´ı s α = 0.05 plat´ı p < α → zam´ıt´ame H0 → pr˚ umˇern´a hodnota phenylalaninu ve vzorc´ıch pacient˚ u se liˇs´ı od vzork˚ u kontrol → phenylalanin by mohl b´yt jeden z marker˚ u (je tˇreba jeˇstˇe porovnat s dalˇs´ımi metodami - napˇr. PCA, rozd´ıly v boxplotech).
Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
Probl´emy s p-value • P-value definoval Ronald Fisher roku 1920, ovˇsem nezam´yˇslel jeho pouˇzit´ı jako definitivn´ı test. • P-value m´a pouze ud´avat informaci o tom, zda je experiment dobˇre nastaven´y. • Probl´emy s opakovatelnost´ı experiment˚ u → bylo dok´az´ano, ˇze ˇrada dˇr´ıve publikovan´ych studi´ı (zaloˇzen´ych na p-value) je nepravdiv´a. • M´a to b´yt pouze jedna ˇc´ast v rozhodovac´ım procesu, postup, kter´y n´am d´av´a z´akladn´ı informaci o datech. P-value pouze sumarizuje data na z´akladˇe nulov´e hypot´ezy. Nem˚ uˇze rozhodovat o skuteˇcn´e realitˇe.
Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
Probl´emy s p-value • Dalˇs´ı vliv m´a napˇr´ıklad rozsah v´ybˇeru - ˇc´ım v´ıc pozorov´an´ı, t´ım menˇs´ı p-value (d´ıky tomu, jak je konstruov´ana testov´a statistika). • ”P-hacking”- zkouˇs´ıme tolik r˚ uzn´ych hypot´ez a kombinac´ı dat, aˇz n´am to vyjde, tak, jak chceme. Nˇekteˇr´ı lid´e ˇcasto pr˚ ubˇeˇznˇe kontroluj´ı data. • Nˇekter´a p-value vych´az´ı signifikantn´ı pouze d´ıky ˇsumu v datech. • Kdyˇz je p-value dostateˇcnˇe mal´e, napov´ıd´a to tomu, ˇze v´ybˇery poch´azej´ı z r˚ uzn´ych populac´ı. P-value pouze napov´ıd´a, nikoliv dokazuje. Uˇz nic neˇrekne o tom, jak velk´y rozd´ıl mezi tˇemito skupinami ve skuteˇcnosti je. Ani jestli statistick´a signifikance souvis´ı s biologickou signifikanc´ı. Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
Probl´emy s p-value • Je tˇreba vyˇsetˇrovat i mnohorozmˇernou strukturu dat.
Score 2
• Pˇri pouˇzit´ı p-value se nemus´ı uk´azat rozd´ıly, kter´e jsou v mnohorozmˇern´e struktuˇre:
x xx x x x x x x x x x x x x x x xx x x x x x x xx x x xx x x x x x x x x x xx x x x xxx x x x x x x x x xxx x x x x x x x x x x xx x x xx x x x x x x x x x x x x x x x xx x x x xx x x x xx x x x x x x
Score 1 Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
Probl´emy s p-value - moˇzn´a ˇreˇsen´ı • Bayes˚ uv vzorec: teorie spojen´a s v´ypoˇcty pravdˇepodobnosti. • Pouˇzit´ı nˇekolika metod na data a n´asledn´e porovn´an´ı v´ysledk˚ u (PCA, PLSDA, OPLSDA, boxploty, fold-change). • Zveˇrejˇ novat vˇsechny podrobnosti o datech - abychom se vyhnuli P-hackingu (Annesley and Boyd, 2014). • Dvoustupˇ nov´a anal´yza: M´ısto toho, abychom prov´adˇeli nˇekolik studi´ı v jednom a vˇsechny publikovali zar´az, je lepˇs´ı je vytv´aˇret a publikovat postupnˇe (Nuzzo, 2014). • Zveˇrejˇ novat data v datab´az´ıch.
Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
Probl´emy s p-value - moˇzn´a ˇreˇsen´ı • Oprostit se od poˇzadavku, ˇze mi jedno ”magick´e”ˇc´ıslo (p-value) odpov´ı na vˇsechny ot´azky. • Pouˇz´ıvat i explorativn´ı mnohorozmˇern´e metody (napˇr. PCA), kter´e n´aslednˇe vyhodnot´ı kvalifikovan´y odborn´ık. • Souˇcasn´y trend: upouˇstˇen´ı od standardn´ı statistick´e inference zaloˇzen´e na p-value. • ”Moˇzn´a je na ˇcase zkusit poslat do ˇcasopisu ˇcl´anek, ve kter´em nepouˇz´ıv´ame ˇz´adn´e p-value.”(K. Hron, 13.11.2015)
Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
N´avrhy na budouc´ı diskusi • Nedoporuˇcuje se pouˇz´ıvat za kaˇzdou cenu transformace a parametrick´e testy m´ısto neparametrick´ych. • Transformaci neprov´ad´ıme proto, abychom dostali normalitu, ale proto, abychom dostali data do mˇeˇr´ıtka, kter´e je podm´ınkou pro pouˇzit´ı urˇcit´ych statistick´ych metod. • Co je m˚ uj v´ybˇerov´y prostor? • Jak pˇredzpracovat data? • Jak´e pouˇz´ıt transformace?
Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
Z´avˇer • P-value je spojen´e s testov´an´ım statistick´ych hypot´ez. • Testy jsou parametrick´e a neparametrick´e - mus´ıme mezi nimi rozliˇsovat. • Je tˇreba pracovat s p-value s opatrnost´ı. • Je lepˇs´ı jej pouˇz´ıvat v kombinaci s jin´ymi metodami a v´ysledky n´aslednˇe porovnat.
Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
Literatura Otyepka M., Ban´aˇs P., Otyepkov´a E.: Z´aklady zpracov´an´ı dat. skripta kurzu Z´aklady zpracov´an´ı dat”PˇrF UPOL, 2007. ” Varmuza K., Filzmoser P.: Introduction to multivariate statistical analysis in chemometrics. Taylor & Francis, 2008. Bud´ıkov´a M., Kr´alov´a M., Maroˇs B.: Pr˚ uvodce z´akladn´ımi statistick´ymi metodami. Grada, 2010. Nuzzo R.: Statistical errors. Nature 506, 2014, 150 - 152. Annesley T. M., Boyd J. C.: The P-value: probable does not mean practical. Clinical Chemistry 60 (7), 2014, 1021 - 1023.
Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
´ Uvod
Testov´ an´ı hypot´ ez
Pˇr´ıklad
Probl´ emy
Z´ avˇ er
ˇ DEKUJI ZA POZORNOST.
Alˇzbˇ eta Gardlo, Karel Hron
P-value
18.11. 2015
