Testy pro porovn´an´ı vlastnost´ı dvou skupin Petr Poˇs´ık ˇ asti dokumentu jsou pˇrevzaty (i doslovnˇe) C´ z Mirko Navara: Pravdˇepodobnost a matematick´a statistika, https://cw.felk.cvut.cz/lib/exe/fetch.php/courses/a6m33ssl/pms_print.pdf s laskavym ´ svolen´ım autora.
Porovn´an´ı dvou norm´aln´ıch rozdˇelen´ı 3 E X vs E Y, σ2 zn. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 E X vs E Y, σ2 nezn. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Pˇr: E X vs E Y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 P´arovy´ pokus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 P´arovy´ t-test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 Pˇr: p´arovy´ t-test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 D X vs D Y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 F-rozdˇelen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 Pˇr: D X vs D Y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 q X vs qY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 Pˇr: q X vs qY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 ˚ paradox . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 Simpsonuv Alternativy MW U-test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ANOVA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Rozklad variability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Tabulka ANOVA. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Pˇr´ıklad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Pˇredpoklady . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
17 18 19 20 21 22 23
Porovn´an´ı dvou skupin
V´ıte, jak´y je rozd´ıl mezi socialismem a kapitalismem?
V socialismu jeden cˇ lovˇek vyuˇz´ıv´a druh´eho. V kapitalismu je to pˇresnˇe naopak. :-) c 2015 P. Poˇs´ık
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – 2 / 23
3 / 23
Porovn´an´ı dvou norm´aln´ıch rozdˇelen´ı Test stˇr. hodnot dvou norm´aln´ıch rozdˇelen´ı se zn´amym ´ rozptylem Pˇredpoklad: M´ame 2 nez´avisl´e vybˇ ´ ery
( X1 , . . . , Xm ) z rozdˇelen´ı N(E X, σ2 ) a (Y1 , . . . , Yn ) z rozdˇelen´ı N(E Y, σ2 ). Postup: Plat´ı, zˇ e σ2 , X m m´a rozdˇelen´ı N E X, m 2 σ Y n m´a rozdˇelen´ı N E Y, , takˇze n 1 1 . + X m − Y n m´a rozdˇelen´ı N E X − E Y, σ2 m n Za pˇredpokladu E X = E Y T :=
Xm − Yn q m´a rozdˇelen´ı N(0, 1). σ m1 + n1
Testujeme realizaci t na rozdˇelen´ı N(0, 1), jako jsme to dˇelali v testu stˇredn´ı hodnoty N(µ, σ2 ) pˇri zn´am´em σ2 . c 2015 P. Poˇs´ık
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – 4 / 23
2
Test stˇr. hodnot dvou norm´aln´ıch rozdˇelen´ı s nezn´amym ´ rozptylem Pˇredpoklad: D X = D Y = σ2 . ˚ ˚ M´ame-li duvod vˇerˇ it, zˇ e pˇredpoklad nen´ı splnˇen, mˇeli bychom pouˇz´ıt neparametricky´ test. (Duvod vˇerˇ it? Znalost procesu, ktery´ data generuje; zˇrejm´a odchylka od normality v grafech; statisticky´ test normality rozdˇelen´ı; . . . ) Postup: M´ame 2 odhady (S2X a SY2 ) t´ehoˇz parametru σ2 . Vytvoˇr´ıme z nich 1 sdruˇzeny´ odhad S2 parametru σ2 : pouˇzijeme jejich ˚ er v´azˇ eny´ rozsahy vybˇ ˚ vypoˇ ˚ eru): prumˇ ´ eru˚ (−1 kvuli ´ ctu vybˇ ´ erov´eho prumˇ S2 =
(m − 1)S2X + (n − 1)SY2 m+n−2
Pˇri vypoˇ ´ ctu testov´e statistiky pak m´ısto skuteˇcn´e smˇerodatn´e odchylky σ pouˇzijeme jej´ı odhad S. To ale vn´asˇ´ı do vypoˇ ´ ctu dalˇs´ı zdroj neurˇcitosti, je proto tˇreba pouˇz´ıt m´ısto norm´aln´ıho rozdˇelen´ı Studentovo. Za pˇredpokladu E X = E Y T :=
Xm − Yn q m´a rozdˇelen´ı t(m + n − 2). S m1 + n1
Testujeme realizaci t na rozdˇelen´ı t(m + n − 2), jako jsme to dˇelali v testu stˇredn´ı hodnoty N(µ, σ2 ) pˇri nezn´am´em σ2 . c 2015 P. Poˇs´ık
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – 5 / 23
Test stˇr. hodnot s nezn´amym ´ rozptylem: Odvozen´ı Ukaˇzme nejprve, zˇ e sdruˇzeny´ odhad rozptylu S2 je nestrannym ´ odhadem σ2 . V´ıme, zˇ e
(n − 1)SY2 (m − 1)S2X m´a rozdˇelen´ı χ2 (m − 1), m´a rozdˇelen´ı χ2 (n − 1), takˇze jejich souˇcet σ2 σ2 (m − 1)S2X + (n − 1)SY2 m´a rozdˇelen´ı χ2 (m + n − 2) se stˇredn´ı hodnotou m + n − 2. Proto σ2 (m − 1)S2X + (n − 1)SY2 S2 = 2 m´a stˇredn´ı hodnotu 1, takˇze 2 ( m + n − 2) σ σ S2 =
(m − 1)S2X + (n − 1)SY2 je nestranny´ odhad rozptylu σ2 . ( m + n − 2)
Nyn´ı ukaˇzme, zˇ e testov´a statistika T m´a rozdˇelen´ı t(m + n − 2). V´ıme, zˇ e Xm − Yn q m´a rozdˇelen´ı N(0, 1) a zˇ e 1 1 m + n
σ
(m − 1)S2X + (n − 1)SY2 ( m + n − 2) S2 = m´a rozdˇelen´ı χ2 (m + n − 2), takˇze σ2 σ2 Xm − Yn T := q = S m1 + n1
X qm −Y n 1 1 m+n
σ
q
S2 σ2
m´a rozdˇelen´ı t(m + n − 2).
c 2015 P. Poˇs´ık
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – note 1 of slide 5
3
Pˇrı´klad: test stˇredn´ıch hodnot pˇri nezn´am´em rozptylu Zad´an´ı: Vliv alkoholismu matky na inteligenci d´ıtˇete. Ovˇerˇ te hypot´ezu, zˇ e alkoholismus matek nijak nesniˇzuje IQ dˇet´ı. Skupina 1: matky chronick´e alkoholiˇcky, m = 6, x = 78, ∑im=1 ( xi − x)2 = 1805. Skupina 2: kontroln´ı, norm´aln´ı“ matky, n = 46, y = 99, ∑nj=1 (y j − y)2 = 11520. ” ˇ sen´ı: Jednostranny´ test stˇredn´ıch hodnot 2 norm. rozdˇelen´ı s nezn´amym Reˇ ´ rozptylem. Testujeme H0 : E X ≥ E Y proti H A : E X < E Y. Sdruˇzeny´ odhad rozptylu:
(m − 1)s2x + (n − 1)s2y ∑im=1 ( xi − x)2 + ∑nj=1 (y j − y)2 = = m+n−2 m+n−2 1805 + 11520 = 266.5 ⇒ s = 16.3248 = 6 + 46 − 2
s2 =
Realizace testov´e statistiky: x−y t= q s m1 +
1 n
=
78 − 99 q 16.3248 16 +
1 46
= −2.9636
Dosaˇzen´a hladina vyznamnosti: p = Ft(m+n−2) (t) = Ft(50) (−2.9636) = 0.0023. ´ ˚ zeme zam´ıtnout hypot´ezu, zˇ e alkoholismus matky nesniˇzuje IQ dˇet´ı. Z´avˇer: Pro α > 0.23 % muˇ c 2015 P. Poˇs´ık
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – 6 / 23
P´arovy´ pokus ˚ ernych Pˇr´ıklad: Porovn´an´ı prumˇ ´ teplot na dvou m´ıstech. Teploty mˇerˇ´ıme vˇzdy souˇcasnˇe na obou m´ıstech. ■ Rozptyl v obou skupin´ach m´a spoleˇcnou pˇr´ıcˇ inu, kter´a se projevuje v obou vybˇ ´ erech stejnˇe: v´ybˇery nejsou navz´ajem nez´avisl´e.
˚ ze byt ■ Rozd´ıl teplot (pokud nˇejaky ´ existuje) muˇ ´ maly´ v porovn´an´ı s promˇenlivost´ı teplot (v noci 0 st. Celsia, ve dne 20 st. Celsia), proto ˚ ze byt ˚ velk´emu rozptylu. ■ standardn´ı test stˇredn´ıch hodnot muˇ ´ slaby´ kvuli Pˇredpoklad: Prvky n´ahodnych ´ vybˇ ´ eru˚ X n a Y n , tj. n´ahodn´e veliˇciny X j , Yj , j = 1, . . . , n, maj´ı norm´aln´ı rozdˇelen´ı N(µ j , σ2 ) 2 s konstantn´ım rozptylem σ a promˇenn´ymi stˇredn´ımi hodnotami µ j = E X j = E Yj . ■ N´ahodn´e veliˇciny Uj := X j − µ j a Vj := Yj − µ j , j = 1, . . . , n, jsou nez´avisl´e a maj´ı rozdˇelen´ı N(0, σ2 ).
■ N´ahodn´e veliˇciny ∆ j := Uj − Vj = X j − Yj , j = 1, . . . , n, jsou nez´avisl´e a maj´ı rozdˇelen´ı N(0, σ∆2 ), kde σ∆2 = 2σ2 .
˚ er ∆ m´a rozdˇelen´ı N ■ Vybˇ ´ erovy´ prumˇ
0,
σ∆2 n
= N 0,
2σ2 n
.
c 2015 P. Poˇs´ık
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – 7 / 23
4
Testy stˇredn´ıch hodnot: p´arovy´ pokus 1. Pro zn´am´y rozptyl σ2 : ■ Nezn´am´e parametry sdruˇzen´eho rozdˇelen´ı jsou µ1 , . . . , µn , ale nepotˇrebujeme je. ■ Testujeme
T :=
∆√ X −Y n= σ∆ σ
r
n 2
na rozdˇelen´ı N(0, 1). 2. Pro nezn´am´y rozptyl: ■ Nezn´am´e parametry sdruˇzen´eho rozdˇelen´ı jsou σ2 , µ1 , . . . , µn , ale potˇrebujeme z nich pouze σ2 = D X.
˚ zeme pracovat pˇr´ımo s vybˇ ■ Muˇ ´ erem (∆1 , . . . , ∆n ) z norm´aln´ıho rozdˇelen´ı. ■ Testujeme
T :=
∆ √ n S∆
na rozdˇelen´ı t(n − 1). c 2015 P. Poˇs´ık
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – 8 / 23
Pˇrı´klad: Test stˇredn´ıch hodnot, p´arovy´ pokus Zad´an´ı: Vliv hydrochlorothiazidu na krevn´ı tlak. Skupinˇe 11 hypertoniku˚ byl nejprve zmˇerˇ en (systolicky) ´ tlak po pod´an´ı placeba a o mˇes´ıc pozdˇeji po pod´an´ı hydrochlorothiazidu (viz tabulka). Ovˇerˇ te, zˇ e hydrochlorothiazid sniˇzuje krevn´ı tlak. Placebo (X) Hydrochlorothiazid (Y) Rozd´ıl (∆)
211 181 30
210 172 38
210 196 14
203 191 12
196 167 29
190 161 29
191 178 13
177 160 17
173 149 24
170 119 51
163 156 7
ˇ sen´ı: Zavedli jsme n´ahodnou veliˇcinu ∆ = X − Y, z n´ızˇ m´ame k dispozici n´ahodny´ vybˇ Reˇ ´ er ∆n rozsahu n, ∆i = Xi − Yi , i = 1, . . . , n. Zkus´ıme vyvr´atit hypot´ezu H0 : E X ≤ E Y, tj. E ∆ ≤ 0. ■ n = 11, δ = 24, sδ = 13.092 ■ Realizace testov´e statistiky:
t=
24 √ δ√ n= 11 = 6.08 sδ 13.092
■ Dosaˇzen´a hladina vyznamnosti: ´
p = 1 − Ft(n−1) (t) = 1 − Ft(10) (6.08) = 5.94 × 10−5 . Z´avˇer: Zam´ıt´ame H0 a pˇrij´ım´ame H A , tj. hydrochlorothiazid sniˇzuje krevn´ı tlak. Pozn´amka: Byl tento experiment dobˇre navrˇzen? c 2015 P. Poˇs´ık
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – 9 / 23
5
Recept: Test rozptylu˚ dvou norm´aln´ıch rozdˇelen´ı Pˇredpoklad: M´ame 2 nez´avisl´e vybˇ ´ ery
( X1 , . . . , Xm ) z rozdˇelen´ı N(E X, D X ) a (Y1 , . . . , Yn ) z rozdˇelen´ı N(E Y, D Y ). . Je-li D X = D Y, pak tak´e S2X = SY2 . Realizaci testov´e statistiky t=
s2X sY2
porovn´ame s kvantily Fisherova rozdˇelen´ı F(m − 1, n − 1): H0
HA
H0 zam´ıt´ame, kdyˇz
dosaˇzen´a vyznamnost P ´
DX ≤ DY DX ≥ DY DX = DY
DX > DY DX < DY D X 6= D Y
t > qF(m−1,n−1) (1 − α) t < qF(m−1,n−1) (α) t > qF(m−1,n−1) (1 − α2 ) nebo t < qF(m−1,n−1) ( α2 )
1 − FF(m−1,n−1) (t) FF(m−1,n−1) (t) 2 min( FF(m−1,n−1) (t), 1 − FF(m−1,n−1) (t))
c 2015 P. Poˇs´ık
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – 10 / 23
F-rozdˇelen´ı Fisherovo-Snedecorovo rozdˇelen´ı F(ξ, η ) s ξ a η stupni volnosti je rozdˇelen´ı n´ahodn´e veliˇciny F=
U ξ V η
,
kde U a V jsou nez´avisl´e n´ahodn´e veliˇciny s rozdˇelen´ım χ2 (ξ ), resp. χ2 (η ). V naˇsem pˇr´ıpadˇe, je-li D X = D Y = σ2 , pak
(m − 1)S2X m´a rozdˇelen´ı χ2 (m − 1), σ2 (n − 1)SY2 m´a rozdˇelen´ı χ2 (n − 1), V := σ2 ξ := m − 1, η := n − 1,
U :=
F=
U ξ V η
=
(m−1)S2X ( m −1) σ 2 (n−1)SY2 ( n −1) σ 2
=
S2X = T, SY2
kde T je testov´a statistika testu z pˇredchoz´ıho slidu. c 2015 P. Poˇs´ık
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – 11 / 23
6
Test rozptylu: ˚ praktick´e pozn´amky Pro kaˇzdou hladinu vyznamnosti potˇrebujeme 2D tabulku kvantilu˚ indexovanou ξ a η. Obvykle je tabelov´ana jen polovina, druhou ´ je tˇreba dopoˇc´ıtat podle vzorce qF(ξ,η ) (α) =
1 . qF(η,ξ ) (1 − α)
˚ POZOR na opaˇcn´e poˇrad´ı indexu! V praxi se cˇ asto pouˇz´ıv´a alternativn´ı postup: 1. Pro s2x ≥ s2y testujeme t =
s2x s2y
≥ 1 na rozdˇelen´ı F(m − 1, n − 1): H0
HA
H0 zam´ıt´ame, kdyˇz
dosaˇzen´a vyznamnost P ´
DX ≤ DY DX ≥ DY DX = DY
DX > DY DX < DY D X 6= D Y
t > qF(m−1,n−1) (1 − α) nezam´ıt´ame t > qF(m−1,n−1) (1 − α2 )
1 − FF(m−1,n−1) (t) zˇ a´ dn´a 2(1 − FF(m−1,n−1) (t))
2. Pro s2x ≤ s2y testujeme t =
s2y s2x
≥ 1 na rozdˇelen´ı F(n − 1, m − 1): H0
HA
H0 zam´ıt´ame, kdyˇz
dosaˇzen´a vyznamnost P ´
DX ≤ DY DX ≥ DY DX = DY
DX > DY DX < DY D X 6= D Y
nezam´ıt´ame t > qF(n−1,m−1) (1 − α) t > qF(n−1,m−1) (1 − α2 )
zˇ a´ dn´a 1 − FF(n−1,m−1) (t) 2(1 − FF(n−1,m−1) (t))
c 2015 P. Poˇs´ık
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – 12 / 23
Pˇrı´klad: test rovnosti rozptylu˚ Zad´an´ı: Vliv alkoholismu matky na inteligenci d´ıtˇete. Otestujte hypot´ezu, zˇ e rozptyl v obou skupin´ach je shodny. ´ Skupina 1: matky chronick´e alkoholiˇcky, m = 6, x = 78, ∑im=1 ( xi − x)2 = 1805. Skupina 2: kontroln´ı, norm´aln´ı“ matky, n = 46, y = 99, ∑nj=1 (y j − y)2 = 11520. ” ˇ sen´ı: Otestujme H0 : D X = D Y. Realizace testov´e statistiky: Reˇ t=
s2x = s2y
m 1 2 m −1 ∑ i =1 ( x i − x ) n 1 2 n −1 ∑ j =1 ( y j − y )
=
1805 5 11520 45
= 1.41.
Dosaˇzen´a hladina vyznamnosti: ´ p = 2 min( FF(m−1,n−1) (t), 1 − FF(m−1,n−1) (t)) =
= 2 min( FF(5,45) (1.41), 1 − FF(5,45) (1.41)) = 2 min(0.76, 0.24) = 0.48.
˚ Rozd´ıl rozptylu˚ mezi skupinami nen´ı statisticky vyznamn y, ´ ´ nezam´ıt´ame H0 o rovnosti rozptylu. c 2015 P. Poˇs´ık
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – 13 / 23
7
Recept: Testy parametru˚ dvou alternativn´ıch rozdˇelen´ı Pˇredpoklad: M´ame 2 nez´avisl´e vybˇ ´ ery X m = ( X1 , . . . , Xm ) z rozdˇelen´ı Ber (q1 ) a Y n = (Y1 , . . . , Yn ) z rozdˇelen´ı Ber (q2 ). ˚ zeme pro parametr q pouˇz´ıt maxim´alnˇe vˇerohodny´ odhad pomoc´ı obou vybˇ ˚ Plat´ı-li q1 = q2 = q, muˇ ´ eru: R=
mX + nY . m+n
Pro dostateˇcnˇe velk´e rozsahy vybˇ ´ eru˚ (m > 100, n > 100) lze rozdˇelen´ı v´ybˇerov´ych relativn´ıch cˇ etnost´ı X a Y aproximovat norm´aln´ımi rozdˇelen´ımi: R (1 − R ) X m´a pˇribliˇznˇe rozdˇelen´ı N R, , m R (1 − R ) Y m´a pˇribliˇznˇe rozdˇelen´ı N R, , takˇze n R (1 − R ) R (1 − R ) X − Y m´a pˇribliˇznˇe rozdˇelen´ı N 0, . + m n Testovou statistiku T := q
X −Y
R (1− R ) m
+
R (1− R ) n
= r
X −Y R(1 − R) m1 + n1
testujeme na rozdˇelen´ı N(0, 1). c 2015 P. Poˇs´ık
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – 14 / 23
Pˇrı´klad: Test rovnosti populaˇcn´ıch pravdˇepodobnost´ı Zad´an´ı: Pˇrij´ımac´ı rˇ´ızen´ı na Berkeley v roce 1973. Z 8300 pˇrihl´asˇ enych ´ muˇzu˚ bylo pˇrijato 3700, z 4300 pˇrihl´asˇ enych ´ zˇ en bylo pˇrijato 1500. Ovˇerˇ te hypot´ezu, zˇ e pravdˇepodobnost pˇrijet´ı muˇzu˚ a zˇ en je stejn´a. ˇ sen´ı: Oboustranny´ test hypot´ezy o rovnosti pravdˇepodobnosti pˇrijet´ı pro muˇze qm a zˇ eny qz : Reˇ ■ Poˇcet pˇrihl´asˇ enych ´ muˇzu˚ je m = 8300 a zˇ en n = 4300. 1500 ´ esˇ nost) je pro muˇze x = 3700 = 0.3488. ■ Realizace relativn´ıch vybˇ ˇ eny y = 4300 ´ erovych ´ cˇ etnost´ı (uspˇ 8300 = 0.4458 a pro z mx+ny 3700+1500 ˚ zeme q odhadnout pomoc´ı r = m+n = 8300 ■ Plat´ı-li qm = qz = q, muˇ +4300 = 0.4127. ■ Realizace testov´e statistiky je
t= r
0.4458 − 0.3488 x−y = r 1 1 1 r (1 − r ) m + n 0.4127(1 − 0.4127) 8300 +
1 4300
= 10.4802
■ Dosaˇzen´a hladina vyznamnosti ´
. p = 2(1 − Φ(t)) = 0. Z´avˇer: Zam´ıt´ame H0 , na z´akladˇe tˇechto dat existuje jen miziv´a sˇ ance, zˇ e by pravdˇepodobnosti pˇrijet´ı muˇze a zˇ eny mohly byt ´ shodn´e. ˚ Je to dukaz pohlavn´ı diskriminace? c 2015 P. Poˇs´ık
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – 15 / 23
8
Pˇrı´klad: Test rovnosti populaˇcn´ıch pravdˇepodobnost´ı (pokr.) Zad´an´ı: Pˇrij´ımac´ı rˇ´ızen´ı na Berkeley v roce 1973. Tentokr´at zohlednˇeme i to, na jaky´ smˇer (umˇen´ı nebo vˇeda) se z´ajemci hl´asili. ˇ sen´ı: Kromˇe celkovych Reˇ u˚ z pˇredchoz´ıho slidu, n´ızˇ e uveden´a tabulka obsahuje stejn´e vysledky tak´e pro kaˇzdy´ smˇer zvl´asˇ t’. ´ vysledk ´ ´ Muˇzi Pˇrij.
Pomˇer x
Pˇrihl. n
ˇ Zeny Pˇrij.
Pomˇer y
Celkem Pomˇer r
Stat. t
Test Dos. vyzn. ´ p
Smˇer
Pˇrihl. m
Umˇen´ı Vˇeda
2300 6000
700 3000
0.3043 0.5000
3200 1100
900 600
0.2813 0.5455
0.2909 0.5070
1.8604 -2.7720
0.0628 0.0056
Celkem
8300
3700
0.4458
4300
1500
0.3488
0.4127
10.4802
0.0000
Z´avˇery: ■ V umˇeleckych ´ smˇerech nelze zam´ıtnout hypot´ezu o stejn´e pravdˇepodobnosti pˇrijet´ı muˇzu˚ a zˇ en. ■ Ve vˇedeckych je cca 0.5 %. ´ smˇerech tuto hypot´ezu zam´ıtnout lze, dosaˇzen´a hladina vyznamnosti ´ ■ Zaj´ımav´e ovˇsem je, zˇ e na umˇeleckych ´ smˇerech, kam se hl´as´ı v´ıce zˇ en, maj´ı vyˇssˇ´ı pravdˇepodobnost pˇrijet´ı muˇzi, zat´ımco na
˚ maj´ı vyˇssˇ´ı pravdˇepodobnost pˇrijet´ı zˇ eny. Doch´az´ı tedy sp´ısˇ e k pozitivn´ı diskriminaci. vˇedeckych ´ smˇerech, kam se hl´as´ı v´ıce muˇzu, Simpsonuv ˚ paradox: Co plat´ı pro cˇ a´ sti, nemus´ı platit pro celek. ˇ ■ Muˇzi a zˇ eny jsou pˇrij´ım´ani pˇribliˇznˇe shodnˇe. Zeny ovˇsem maj´ı tendenci hl´asit se na umˇeleck´e smˇery, kde je vybˇ ´ er pˇr´ısnˇejˇs´ı, coˇz ´ esˇ nost v pˇrij´ımaˇck´ach. vysvˇetluje jejich celkovˇe niˇzsˇ´ı uspˇ ˚ matouc´ımu faktoru (smˇer), ktery´ nebyl rˇ´ızen. Kdyˇz se ■ Z celkovych ´ cˇ ´ısel nelze spr´avnˇe pochopit efekt pohlav´ı na pˇrijet´ı kvuli zaˇradil do studie, dostali jsme mnohem pˇresnˇejˇs´ı obr´azek. c 2015 P. Poˇs´ık
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – 16 / 23
Alternativy
17 / 23
Porovn´an´ı polohy 2 rozdˇelen´ı: neparametricky´ test Co dˇelat, pokud pˇredpoklady 2vybˇ ´ erov´eho t-testu nejsou splnˇeny? Pouˇzijte neparametricky´ test, napˇr.: Mann-Whitneyuv ˚ U-test: ■ Jsou-li pozorov´an´ı ordin´aln´ı, testuje hypot´ezu H0 , zˇ e rozdˇelen´ı v obou skupin´ach jsou shodn´a, proti alternativn´ı hypot´eze H A , zˇ e
jedno z rozdˇelen´ı m´a sklon generovat vˇetˇs´ı hodnoty neˇz druh´e. ■ Pˇri pˇr´ısnˇejˇs´ıch pˇredpokladech (pozorov´an´ı spojit´a, rozdˇelen´ı se mohou liˇsit jen v poloze), jej lze interpretovat jako test rovnosti
˚ medi´anu. Testov´a statistika U: ■ Pˇr´ım´a metoda: porovnej kaˇzdy poˇc´ıtej jako 1, rem´ızu jako 0.5 ´ prvek skupiny 1 s kaˇzdym ´ prvkem skupiny 2; kaˇzdou vyhru ´
=⇒ U1 . ˚ ve skupinˇe ■ Nepˇr´ım´a metoda: Seˇrad’ prvky obou skupin dohromady, kaˇzd´emu prvku pˇriˇrad’ poˇrad´ı ri . R1 je souˇcet poˇrad´ı prvku 1. U1 = n1 n2 + n1 (n1 + 1)/2 − R1 .
■ Testujeme U = min(U1 , n1 n2 − U1 ). Pro mal´e vybˇ ´ ery spec. tabulky. Pro n1 > 20 a n2 > 20 lze pouˇz´ıt norm´aln´ı aproximaci a
testovat
T=
U − MU n n2 U + U2 , kde MU = 1 = 1 SU 2 2 r n1 n2 ( n1 + n2 + 1) , SU = 12
na N(0, 1). c 2015 P. Poˇs´ık
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – 18 / 23
9
Test rovnosti stˇredn´ıch hodnot ve v´ıce neˇz 2 skupin´ach Analyza ´ rozptylu (Analysis of Variance, ANOVA): ■ M´ame nˇekollik (a) skupin dat, maj´ı rozdˇelen´ı N (µi , σ2 )
˚ ■ Testujeme H0 : µ1 = µ2 = ... = µ a prostˇrednictv´ım testu rovnosti 2 rozptylu. ■ Pokud H0 plat´ı, m´ame 2 moˇznosti, jak odhadnout rozptyl σ2 :
˚ eru: ˚ pro skupiny o stejn´e velikosti n 1. Z rozdˇelen´ı vybˇ ´ erovych ´ prumˇ S2A = nS2X = n
1 a−1
1 = a−1
a
˚ ych ´ velikost´ı pˇrepsat jako ∑ (X j − X )2 , coˇz lze pro skupiny ruzn
j =1 a
∑ n j ( X j − X )2
j =1
2. Z rozptylu˚ v jednotlivych ´ skupin´ach (sdruˇzeny´ odhad σ2 jako u dvouvybˇ ´ erov´eho t-testu): n
S2E =
n
n ∑i=1 1 ( X1,i − X 1 )2 + ∑i=2 1 ( X2,i − X 2 )2 + . . . + ∑i=a 1 ( Xa,i − X a )2 ( n1 − 1) + ( n2 − 1) + . . . + ( n a − 1)
■ Pokud H0 plat´ı, odhaduj´ı obˇe n´ahodn´e veliˇciny tot´ezˇ , a proto pomˇer F =
S2A S2E
by mˇel byt ´ roven pˇribliˇznˇe 1.
˚ av´a pˇribliˇznˇe stejn´e. ■ Pokud H0 neplat´ı, S2A roste, S2E zust´ c 2015 P. Poˇs´ık
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – 19 / 23
Rozklad variability SS . . . sum of squares, souˇcet cˇ tvercu˚ nj
a
■ Celkov´a variabilita: SST
SST =
■ Vnitroskup. (rezidu´aln´ı) variabilita: SSE
∑ ∑ (Xj,i − X )2
j =1 i =1 x12
■ Meziskupinov´a variabilita: SS A
x33 x22
x11
x32 x23
SST = SS A + SSE x13
x21
nj
a
SSE =
x25
∑ n j ( X j − X )2
j =1
j =1 i =1 x12
x12
x33
x33 x22
x22 x11
x11
x32
x32 x23
x23
x31
x24
x21
x34
a
SS A =
∑ ∑ (Xj,i − X j )2
x13
x31
x24
x13
x34
x21
x25
c 2015 P. Poˇs´ık
x31
x24
x34
x25
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – 20 / 23
10
Tabulka ANOVA Typicky´ vystup statistick´eho softwaru: ´ ■ MS (Mean square): odhad rozptylu
Zdroj variability
Souˇcet cˇ tvercu˚ SS
Faktor A
SS A = ∑ aj=1 n j ( X j − X )2
Zbytek Celkem
nj ∑i=1 ( X j,i
SSE =
∑ aj=1
SST =
nj ∑ aj=1 ∑i=1 ( X j,i
− Xj
)2
− X )2
Stupnˇe volnosti d.f.
˚ erny´ cˇ tverec Prumˇ MS = d.SSf .
a−1
MS A =
∑ aj=1 (n j
− 1)
MSE =
Pomˇer F
SS A a −1 SSE ∑ ( n j −1)
F=
MS A MSE
∑ aj=1 n j − 1
■ MS A = S2A a MSE = S2E jsou odhady populaˇcn´ıho rozptylu. ˚ ery µi ve skupin´ach liˇs´ı, MS A roste, ale MSE st´ale odhaduje spoleˇcny´ rozptyl σ2 . ■ Pokud se prumˇ ■ Testov´a statistika F m´a tak´e vyznam ´
F=
S2 meziskupinovy´ rozptyl MS A vysvˇetleny´ rozptyl = A = = MSE nevysvˇetleny´ rozptyl vnitroskupinovy´ rozptyl S2E
a m´a Fisherovo rozdˇelen´ı s a − 1 s.v. pro cˇ itatel a s ∑(n j − 1) s.v. pro jmenovatel. c 2015 P. Poˇs´ık
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – 21 / 23
Pˇrı´klad ˚ e druhy fyz. z´atˇezˇ e v zamˇestn´an´ı Zjistˇete, zda se liˇs´ı BMI pacientu˚ pro ruzn´ (1: sed´ı, 2: stoj´ı, 3: chod´ı, 4: nos´ı tˇezˇ k´e pˇredmˇety).
45
40
Values
35
30
25
20
Source
SS
df
MS
F
Prob>F
1
2
3
4
Groups 90.4050 3 30.1350 3.0906 0.0262 Error 1.3329e+004 1367 9.7507 Total 1.3420e+004 1370 Dosaˇzen´a hladina vyznamnosti (posledn´ı sloupeˇcek) p = 2.62 %. ´ c 2015 P. Poˇs´ık
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – 22 / 23
11
Pˇredpoklady ■ Nez´avislost jednotlivych ´ pozorov´an´ı ■ Nez´avislost jednotlivych ´ skupin ■ Norm´aln´ı rozdˇelen´ı sledovan´e veliˇciny ve vˇsech skupin´ach
˚ test, Shapiro-Wilkuv ˚ test, χ2 test dobr´e shody) (Kolmogorov-Smirnovuv ˚ ve skupin´ach ■ Shoda rozptylu ˚ test, Levenuv ˚ test, Hartleyuv ˚ test) (Bartlettuv ˚ je moˇzn´e pouˇz´ıt neparametrickou, tzv. Kruskal-Wallisovu ANOVu. ■ Pˇri poruˇsen´ı posledn´ıch dvou pˇredpokladu c 2015 P. Poˇs´ık
A6M33SSL: Statistika a spolehlivost v l´ekaˇrstv´ı – 23 / 23
12
