ANOVA Analýza rozptylu při jednoduchém třídění Jana Vránová, 3.lékařská fakulta UK, Praha
Teorie • Máme k nezávislých výběrů, k > 2 – Mají rozsahy ni , které obecně nemusí být stejné 2 s x – V každém z nich známe průměr i a rozptyl i
• Tyto výběry vzniknou tak, že základní soubor rozdělíme podle určitého znaku Z do k skupin – Z může být faktor, jehož hladinu před pokusem určujeme – faktor kontrolovaný • Věk • Systolický nebo diastolický tlak • Hladina cholesterolu, …
Efekt • Jestliže Z má k úrovní, jeho efekt na znak X lze vyjádřit vztahem: μi = μ + α i
i = 1, 2, ..., k
μi − průměrná hodnota znaku X v i − té skupině μ − celkový populační průměr znaku X za platnosti H 0 α i − efekt i − tého ošetření
Nulová a alternativní hypotéza • Nulová hypotéza – H0 – „všechny výběry pocházejí ze stejné normálně rozložené základní populace, tedy H 0 : μ1 = μ2 = ... = μi = ... = μk = μ nebo H 0 : α1 = α 2 = ... = α i = ... = α k = 0
– Což znamená, že hodnota znaku Z neovlivňuje hodnoty znaku X
• Alternativní hypotéza – HA – „výběry nepocházejí ze stejné populace, tj. průměry se od sebe navzájem statistický významně liší
Výchozí tabulka jednoduché analýzy rozptylu Číslo výběru
Počet prvků
1 2 . . . i . . . k
n1 n2 . . . ni . . . nk
Celkem
n
Zjištěné hodnoty sledovaného znaku
Průměr x1
Rozptyl
x11 x12 … x1j … x1n1 x21 x22 … x2j … x2n2
x2
s12 s22
xi1 xi2 … xij … xini
xi
si2
xk1 xk2 … xkj … xknk
xk
sk2
x
s12
Legenda k tabulce • Prvek xij – první index i … číslo výběru (skupiny podle znaku Z ) – druhý index j … pořadové číslo uvnitř výběru
• Jiná symbolika jako při jiných metodách – Index, přes který jsme soubor sečetli, značíme tečkou místo indexu • Takže průměr i-tého výběru značíme xi. • Celkový průměr ze všech výběrů, kterým odhadujeme μ, značíme x..
1 xi. = ni
ni
∑x j =1
ij
1 k ni 1 k x.. = ∑∑ xij = ∑ ni xi n i =1 j =1 n i =1
k
n = ∑ ni i =1
Podmínky pro analýzu rozptylu • Celkovou variabilitu rozdělíme na variabilitu uvnitř jednotlivých výběrů a mezi výběry • Musí platit 1. Znak, jehož průměry chceme porovnávat, musí mít normální rozložení 2. Rozptyly jednotlivých výběrů se nesmí mezi sebou lišit statisticky významně, musí být homogenní
Hartleyův test pro testování homogenity k rozptylů • Testujeme hypotézu: H 0 : σ 12 = σ 22 = ... = σ k2 za předpokladu, že n1 = n2 = ... = nk = n kdybychom testovali shodu rozptylů po dvojicích, potřebovali bychom při k výběrech k(k-1)/2 hodnocení pomocí F-testů. Pokud však najdeme nejvyšší z pozorovaných rozptylů a nejnižší a zjistíme, že tato dvojice se liší statisticky nevýznamně, pak se ani žádná další dvojice rozptylů z uvažovaných k výběrů nemůže lišit statisticky významně
• Testovací charakteristika má tvar: Fmax
max si2 = min si2
s počtem stupňů volnosti k a n-1, kde k je počet výběrů a n je počet prvků v každém výběru
Hartleyův test pro testování homogenity k rozptylů …pokračování…
• Vzhledem k tomu, že Fmax netestuje náhodně zvolenou dvojic rozptylů, ale tu, která má maximální diferenci, nelze hodnoty Fmax hledat v běžně užívaných tabulkách kritických hodnot F-rozložení, ale ve speciálních tabulkách • Stejně jako u F-testu i zde platí: jestliže
Fmax > Fmax α
zamítáme hypotézu o homogenitě rozptylů, přijímáme hypotézu, že rozptyly se na hladině α statisticky významně liší a PRO HODNOCENÍ ROZDÍLŮ ROZPTYLŮ NESMÍME POUŽÍT ANLÝZU ROZPTYLU
Postup analýzy rozptylů • Za platnosti nulové hypotézy H 0 : μ1. = μ2. = ... = μk . = μ.. lze spojit všech k výběrů ve výběr jediný, který má průměr x.. a pro rozptyl platí
∑∑ ( x
ij
s2 =
i
j
− x.. )
2
n −1
pro čitatel, který představuje součet čtverců odchylek od celkového průměru, můžeme psát k
ni
k
ni
k
S.. = ∑∑ ( xij − x.. ) =∑∑ ( xij − xi. ) + ∑ ( xi. − x.. ) i =1 j =1
2
i =1 j =1
2
i =1
2
Postup analýzy rozptylu k
ni
k
ni
k
S.. = ∑∑ ( xij − x.. ) =∑∑ ( xij − xi. ) + ∑ ( xi. − x.. ) 2
i =1 j =1
2
i =1 j =1
…pokračování… 2
i =1
• Tuto rovnici můžeme číst: – celkový součet čtverců odchylek je roven součtu čtverců uvnitř výběru, který nazýváme reziduální a značíme SR , a součtu čtverců mezi výběry, který značíme SV .
• Můžeme tedy napsat
S.. = S R + SV
• Počet stupňů volnosti pro S.. : f = n – 1, pro SR : f = n – k, pro SV : f= k-1
Postup analýzy rozptylu
…pokračování…
• Mírou náhodného kolísání je reziduální součet čtverců SR, neboť je oproštěn od vlivu výběrů či skupin, je způsoben pouze náhodným kolísáním. Proto jako měřítka pro míru kolísání používáme reziduální rozptyl sR2 SR s = n−k 2 R
a jím měříme rozptyl mezi výběry sV2 pomocí F – testu sV2 S S F= 2 = V : R sR k − 1 n − k
počet stupňů volnosti: f1 = k – 1, f2 = n – k
Postup analýzy rozptylu
…pokračování…
• Zvolíme α, v tabulkách kritických hodnot F rozložení najdeme hodnotu Fα, kde počet stupňů volnosti pro čitatel, tedy k – 1, hledáme v hlavičce tabulky, počet stupňů volnosti pro jmenovatel, tedy n – k, v legendě. Je-li splněno F > Fα , zamítáme H0 a přijímáme hypotézu alternativní. TABULKA ANALÝZY ROZPTYLU Variabilita Mezi výběry
Součet čtverců k
SV = ∑ ni ( xi. − x.. )
Stupně volnosti
2
Rozptyl
k–1
sV2 =
SV k −1
n–k
sR2 =
SR n−k
n–1
s2 =
S.. n −1
i =1
Reziduální (uvnitř výběrů)
ni ⎡ ni 2 ⎤ S R = ∑ ⎢ ∑ xij − xi. ∑ xij ⎥ i =1 ⎣ j =1 j =1 ⎦ k
k
Celková
ni
k
ni
S.. = ∑∑ xij − x.. ∑∑ xij i =1 j =1
i =1 j =1
Simultánní testování • Současné testování hypotéz u k dvojic • Např. při postupném použití t-testů narůstá chyba I. druhu – Zvolíme-li hladinu významnosti α = 5%, bude při hodnocení první dvojice spolehlivost skutečně 95%, u druhé již jenom 87,8%, u třetí 79,9% atd.
• LSD (least significant difference) – nejmenší významná diference 1. Rozsahy výběrů jsou stejné 2. Rozsahy výběru jsou různé
LSD – rozsahy výběrů jsou stejné • Máme k nezávislých výběrů, kde platí n1 = n2 = ... = nk , takže celkový počet prvků je n = k ⋅ n1
• Spočteme jednotlivé průměry a uspořádáme je podle velikosti x1 ≥ x2 ≥ ... ≥ xk , kde indexy znamenají nyní pořadová čísla uspořádaných průměrů
• Nejmenší významnou diferenci vypočteme pomocí kritických hodnot t – rozložení z výrazu
LSD = tn − k ;α
2 2 sR n1
LSD – rozsahy výběrů jsou stejné …pokračování… • Nebo pomocí kritických hodnot F – rozložení 2 2 LSD = sR F1;n − k ;α n1 • Spočítáme diference průměrů, sousedících v uspořádání velikosti: d1 = x1 − x2 ,
di = xi − xi +1
• Všechny diference di, pro něž platí di > LSD, jsou statisticky významné při zvoleném α
LSD – rozsahy výběrů jsou různé • Máme k nezávislých výběrů, kde platí
k
n1 ≠ n2 ≠ ... ≠ nk , takže celkový počet prvků je n = ∑ ni i =1
• Spočteme jednotlivé průměry a uspořádáme je podle velikosti x1 ≥ x2 ≥ ... ≥ xk , kde indexy znamenají nyní pořadová čísla uspořádaných průměrů
• Pro každou dvojici je třeba spočítat LSD zvlášť, neboť jeho hodnota záleží na ni a ni+1, a je za použití t – rozložení
LSD = tn − k ;α s
2 R
ni + n j ni n j
LSD – rozsahy výběrů jsou různé …pokračování… • Nebo při použití F – testu
LSD = s
2 R
ni + n j ni n j
F1;n − k ;α
sR2 je reziduální součet, F1;n − k ;α kritická hodnota F při zvoleném α a stupních volnosti 1 a n – k jestliže
di > LSDi ,i +1 liší se průměry xi a xi +1 významně
V uspořádané řadě průměrů podtrhneme společnou čarou ty, které se neliší, aby bylo zřejmé do kolika homogenních skupin se soubor rozpadá.
Metoda Scheffeho • • • •
Máme k výběrů, k > 2 V každé i-té skupině je ni pozorování, které může být obecně různé Analýzou rozptylu jsme zjistili, že průměry nejsou homogenní Simultánní testování diferencí xi − x j při celkové hladině významnosti α metodou Scheffeho hodnotíme pomocí kritické hodnoty ⎛1 1⎞ K ij = F s ⎜ + ⎟ ( k − 1) ⎜n n ⎟ j ⎠ ⎝ i 2 α R
kde k je počet skupin, ni , nj četnosti v porovnávaných skupinách, SR2 reziduální rozptyl u analýzy rozptylu, Fα kritická hodnota F rozložení pro hladinu významnosti α a při stupních volnosti
f1 = k – 1 a f 2 = n – k •
Výhodou Scheffeho testu proti testu LSD je, že dovoluje sestrojit konfidenční intervaly pro hodnoty rozdílu průměrů se společnou konfidencí 1 – α. Všechny rozdíly budou ležet v intervalu (– Kij, + Kij)
Testování shody k průměrů při různých rozptylech χ2 – test • ANOVA testujeme hypotézu: H 0 : μ1 = μ2 = ... = μk = μ 2 2 2 σ = σ = ... = σ za předpokladu 1 k 2 • Tento předpoklad však není splněn • Pokud pro všechna ni platí ni ≥ 30 , H0 testujeme pomocí veličiny χ2 vztahem: ni 2 χ = ∑ 2 ( xi − x0 ) i si 2
která má k – 1 stupňů volnosti a kde x0 =
2 n x / s ∑ii i 2 / n s ∑i i
Testování shody k průměrů při různých rozptylech χ2 – test
…pokračování…
• Zvolíme α, najdeme kritickou hodnotu χα ;k −1 2 2 χ > χ jestliže α zamítáme H0 a přijímáme H1: „alespoň pro 2
jednu dvojici i,j platí že μi ≠ μ j
• Která dvojice to je zjistíme simultánním testováním xi − x j 2 2 ⎛ ⎞ • Pro dvojice pro něž s s j 2 i xi − x j > χα ;k −1 ⎜ + ⎟ ⎜n n ⎟ j ⎠ ⎝ i
platí: „Jejich průměry se statisticky významně liší“
Testování shody k průměrů při různých rozptylech F – test • Opět testujeme hypotézu H 0 : μ1 = μ2 = ... = μk = μ • Pokud pro všechna ni není splněn požadavek ni ≥ 30 , H0 musíme testovat pomocí komplikovanějšího vztahu pro
F – rozložení:
ni 1 2 − x x ∑ 0) 2 ( i k − 1 i si F= 2 ( k − 2) B 1+ 2 k −1 2 2 ⎛ ⎞ 2 n x / s ∑ ni / si ⎟ 1 ⎜ i i i x = B = 1 − kde 0 a pro B platí 2 ⎟ 2 ⎜ n 1 n / s − n s / i ⎜ ∑ i i ⎟ ∑i i ⎝
i
⎠
Testování shody k průměrů při různých rozptylech F – test
…pokračování…
k 2 −1 f1 = k − 1, f 2 = 3B
• Tento výraz má F- rozložení o st. volnosti: • Vyjde-li F > Fα, zamítáme H0 a přijímáme H1, že existuje aspoň jedna dvojice pro niž μi ≠ μ j • Které dvojice to jsou zjistíme simultánním testováním podle Tamhana: 2 2 xi − x j > Aij
si s j − ni n j
• Kde Aij je kritická hodnota dvoustranného t-testu na hladině g a při fij stupních volnosti
Testování shody k průměrů při různých rozptylech F – test
…pokračování…
• g lze spočítat pomocí zvoleného α z výrazu: g = 1 − (1 − α )
1 k ( k −1)
• Stupně volnosti fij spočteme ze vztahu: fij =
(s
2 i
ni + s n j ) 2 j
2
s s + 2 2 ni ( ni − 1) n j ( n j − 1) 4 i
4 j
ANOVA Neparametrické testy
Test Kruskal - Wallisův • Máme k nezávislých výběrů, k > 2, u kterých není splněna podmínka normality • Chceme se přesvědčit, že naměřené náhodné veličiny X se liší polohou • Vyslovíme hypotézu H0 , že se výběry polohou neliší, tedy že to je vlastně k nezávislých náhodných výběrů z téže základní populace • Za platnosti H0 , můžeme dát všechny výběry do jediného souboru a uspořádat naměřené hodnoty xi podle velikosti
Test Kruskal - Wallisův
…pokračování…
• Každé naměřené veličině pak přiřadíme pořadovou hodnotu od k 1 u nejnižší, až k hodnotě N = ∑ ni pro nejvyšší naměřenou i =1 hodnotu • Za platnosti H0 by se průměrné pořadí ve skupinách nemělo lišit • Testovací charakteristika má tvar:
χ
Ti 12 = − 3 ( N + 1) ∑ N ( N − 1) i =1 ni k
2 KW
2
Ti – součet pořadových hodnot prvků i – tého výběru, ni – počet prvků v i – tém výběru 2 χ KW – kritická hodnota χ2 rozložení při k – 1 stupních volnosti
Test Kruskal - Wallisův
…pokračování…
• χ má rozložení χ2 s k – 1 stupních volnosti, kritická hodnota tedy závisí pouze na počtu porovnávaných výběrů, nikoliv na počtu prvků 2 2 χ • Vypočtené KW porovnáme s tabelovanou hodnotou χα při zvoleném α 2 2 • jestliže χ KW > χ k −1;α zamítáme H0 a můžeme přijmout hypotézu alternativní, že se výběry polohou mezi sebou statisticky významně liší 2 KW
…děkuji za pozornost …
