13 JEDNOFAKTOROVÁ ANOVA
as ke studiu kapitoly: 60 minut
Cíl
Po prostudování tohoto odstavce budete um t • porozum t konstrukci F-pom ru • rozhodovat se pomocí testu zvaného analýza rozptylu • zkonstruovat tabulku ANOVA • provést post hoc analýzu
Výklad: V p edcházejících kapitolách jsme se v novali mimo jiné také jednovýb rovým a dvouvýb rovým test m st ední hodnoty. Rozší ením t chto test je analýza rozptylu neboli ANOVA, která nám umož uje srovnávat n kolik st edních hodnot nezávislých náhodných výb r . My se budeme zabývat tzv. jednofaktorovou ANOVOU (ANOVOU p i jednoduchém t íd ní). Na tomto míst je pak t eba zmínit požadavky parametrického testu, který budeme dále užívat. Analýza rozptylu (ANOVA, ANalysis Of VAriance) ve své parametrické podob p edpokládá normalitu rozd lní a tzv. homoskedasticitu (identické rozptyly). Pokud tyto podmínky nejsou spln ny, je t eba použít neparametrický Kruskal-Wallis v test, který je obdobou jednofaktorového t íd ní v analýze rozptylu. Na rozdíl od parametrického testu nep edpokládá normalitu rozd lení, jeho nevýhodou je pak menší citlivost. Analýza rozptylu tedy p edstavuje rozší ení možností procedury zvané testování hypotéz o st ední hodnot (jde o vícevýb rový test st ední hodnoty). Pro ilustraci si uve me motiva ní p íklad, jenž nás provede touto kapitolou. Naším úkolem je porovnat úsp šnost absolvent s maturitou (OU) u p ijímací zkoušky z matematiky.
gymnázii, SPŠ a odborných u iliš
Protože tyto typy škol reprezentují studenti r zných škol (není gymnázium jako gymnázium…), s r znými studijními výsledky a r zným nadáním na matematiku, a také vlivem dalších neodstranitelných znak , bodové hodnocení zástupc jednotlivých typ škol zna n kolísá. Dosažené výsledky náhodn vybraných patnácti student jsou uvedeny v následující tabulce. - 322 -
Gymnázium SPŠ OU 55 54 47 54 50 53 58 51 49 61 51 50 52 49 46 P íklad je specifický v tom, že po et pozorování v jednotlivých výb rech je totožný, což nemusí být spln no. V záv ru kapitoly proto provedeme zobecn ní výsledk pro p ípad s r zným po tem pozorování v jednotlivých výb rech (t ídách).
13.1 Jednofaktorová ANOVA pro stejný po et pozorování v jednotlivých výb rech 13.1.1 Rozptyl mezi t ídami Nejd íve se budeme zabývat otázkou, zda výsledky student se opravdu liší podle toho jaký typ st ední školy absolvovali. Neboli – jsou pr m ry jednotlivých výb r (t íd) rozdílné vlivem r zných st edních hodnot p íslušných populací, nebo lze rozdíly mezi pr m ry p i íst na vrub náhodnému kolísání? Je t eba testovat hypotézu H0: kde
µ1 = µ 2 = µ3 ,
je st ední bodové hodnocení p ijímacích zkoušek z matematiky absolvent gymnázia, 2 je st ední bodové hodnocení p ijímacích zkoušek z matematiky absolvent SPŠ, 3 je st ední bodové hodnocení p ijímacích zkoušek z matematiky absolvent OU.
1
v i alternativ :
HA:
H 0 (neplatí H0)
Test této hypotézy vyžaduje v první ad kvantifikaci rozdíl
výb rových pr m r
( ) 2 B
Vhodným kvantifikátorem je jejich rozptyl, tzv. rozptyl mezi t ídami S . S B2 =
1 ⋅ k −1
k i =1
(X
i
−X
), 2
kde k je po et t íd (v našem p ípad je k=3), n je po et pozorování v jednotlivých t ídách (v našem p ípad je n=5), N=
k
n je celkový po et pozorování
i =1
X i je pr m r i-tého náhodného výb ru (i-té t ídy), X je celkový pr m r (pr m r všech hodnot, což je také pr m r pr m r X i ) ni
Xi =
j =1
k
X ij n
X =
n
i =1 j =1 k i =1
- 323 -
k
X ij = n
n
i =1 j =1
N
k
X ij =
i =1
Xi
k
Xi .
V souvislosti s ANOVOU se mnohdy setkáváme s pojmem mezit ídní sou et (neboli mezit ídní variabilita) (SS B ) . SS B = n ⋅
V našem p ípad :
Xi
i
−X
i =1
Gymnázium 55 54 58 61 52 56 4
Xi − X
(X
k
(X
−X
i
SPŠ 54 50 51 51 49 51 -1
OU 47 53 49 50 46 49 -3
)
2
X = 52
3 i =1
)
16
2
1
9
3 i =1
S B2 =
1 ⋅ 3 −1
3 i =1 k
SS B = 5 ⋅
(X
i =1
i
(X
−X i
)
2
−X
2
(X (X
i
i
)
−X =0
−X
) = 26 2
26 = 13,0 2
=
)
tverc
= 130,0
13.1.2 Rozptyl uvnit t íd Rozptyl mezi t ídami (typy škol) však neposkytuje dostate nou informaci, nebo nepostihuje kolísání v jednotlivých výb rech. Pro ujasn ní si problému srovnejte údaje ve dvou následujících tabulkách – první z nich uvádí bodové hodnocení náhodn vybraných student , druhá taktéž, avšak výsledky ve druhé tabulce vykazují zna né kolísání v rámci jednotlivých typ škol. Rozptyly mezi t ídami jsou pro oba p ípady totožné !!!
Xi
Xi − X
(X
i
−X
)
2
Gymnázium 55 54 58 61 52 56 4
SPŠ 54 50 51 51 49 51 -1
OU 47 53 49 50 46 49 -3
16
1
9
X = 52
3 i =1 3 i =1
Xi
(X − X ) = 0
Xi − X
i
Xi − X
2
= 26
- 324 -
(X
i
−X
)
2
Gymnázium 48 57 65 59 51 56 4
SPŠ 57 59 48 46 45 51 -1
OU 50 42 53 45 55 49 -3
16
1
9
X = 52
3 i =1 3 i =1
(X − X ) = 0 i
Xi − X
2
= 26
Na výše uvedených obrázcích vidíme, že výsledky student uvedené ve druhé tabulce jsou natolik nestálé, že všechny t i výb ry lze získat z jedné populace. Jak m žeme m it kolísání uvnit t íd? Je z ejmé, že vhodným m ítkem bude rozptýlenost pozorovaných hodnot v rámci jednotlivých výb r . Mluvíme o rozptylu uvnit t íd SW2 .
( )
n
SW2 =
k
j =1
k
( X ij − X i ) 2 n −1
i =1
n
i =1 j =1
=
k
( X ij − X i ) 2 =
N −k
i =1
(n − 1) Si2 ,
N −k
(X
n
kde Si2 je výb rový rozptyl i-tého náhodného výb ru (i-té t ídy): S i2 =
i =1
ij
− Xi
)
2
n −1
Obdobn jako u mezit ídního srovnávání, používáme pojem vnit ní sou et tverc (neboli vnit ní variabilita) (SSW ) .
SSW =
k
n
i =1 j =1
( X ij − X i ) 2
Sou et mezit ídní a vnit ní variability ozna ujeme jako celkový sou et tverc 2 celková variabilita) SSTOTAL .
(
)
SSTOTAL = SSW + SS B
SSTOTAL =
k
n
i =1 j =1
(neboli
( X ij − X ) 2
V našem p ípad : n
SW2 =
=
k
j =1
k
( X ij − X i ) 2 n −1
i =1
=
n
i =1 j =1
(55 - 56)2 + (54 - 56)2 +
SSW =
k
n
i =1 j =1
( X ij − X i ) 2 =
N −k + (54 - 51) + 15 - 3 2
+ (47 - 49 ) + 2
+ (46 - 49 )
2
= 7,8
( X ij − X i ) 2 = 94,0
SSTOTAL = SSW + SS B = 130,0 + 94,0 = 224,0
13.1.3 Testovací kritérium F-pom r (F-ratio) Položme si nyní zásadní otázku. Je rozptyl mezi t ídami S B2 dostate n velký vzhledem
( )
k rozptylu uvnit t íd (SW2 ) ? Neboli je pom r
S B2 velký? SW2
B žn se zkoumá nepatrn modifikovaný pom r, který se nazývá F-pom r, na po est známého anglického statistika Ronalda Fishera (1890-1962):
- 325 -
F − ratio =
n ⋅ S B2 SW2
n je v itateli uvedeno proto, aby se hodnota F pohybovala kolem 1. Není-li H0 pravdivá (st ední hodnoty nejsou stejné), pak n ⋅ S B2 bude relativn velké v i SW2 a pom r F bude mnohem v tší než 1. ím v tší je F, tím mén je H0 pravd podobná. F-pom r má Fisher-Snedecorovo rozd lení s po tem stup
volnosti
pro itatele (k-1) a pro jmenovatele (N-k) Abychom test mohli dokon it, zbývá nám stanovit si zp sob výpo tu p-value pro ANOVU. Z definice p-value (viz. obrázek) je z ejmé, že: p − value = 1 − F (F − ratio ) Oblast platnosti H0
pozorovaná hodnota statistiky F-pom r
Dokon eme nyní ešení našeho p íkladu. Ur ili jsme, že: S B2 = 13,0 ,
SW2 = 7,8 ,
n=5
pak xOBS = F =
n ⋅ S B2 5 ⋅ 13,0 = = 8,3 SW2 7,8
F-pom r má Fisher-Snedecorovo rozd lení s 2 (=3-1) stupni volnosti pro itatele a 12 (=3.(51)) stupni volnosti pro jmenovatele. V tabulkách pro Fisher-Snedecorovo rozd lení (Tabulka 4) najdeme, že: 0,990 < F(8,3) < 0,999 a proto
0,001 < 1 − F(8,3) < 0,010
0,001 < p − value < 0,010
Na 5% -ní hladin významnosti tedy m žeme nulovou hypotézu zamítnout a tvrdit, že st ední hodnoty bodového hodnocení u p ijímacích zkoušek z matematiky nejsou pro absolventy uvedených t í typ SŠ stejné, tzn., že úsp ch u p ijímacích zkoušek z matematiky závisí na typu absolvované SŠ.
- 326 -
13.1.4 Tabulka ANOVA Výpo ty, které jsme dosud provád li ru n , lze mnohem snadn ji sledovat, uspo ádáme-li je do tabulky standardního tvaru. Tyto tabulky nazýváme tabulky ANOVA. Uvedeme si tabulku ANOVA obecn pro stejné rozsahy výb r a konkrétní tabulku vygenerovanou pro náš p íklad v software Statgraphics (doplnili jsme eské popisy). Zdroj prom nlivosti Mezit ídní (faktor)
Sou et tverc
SS B = n ⋅
Vnit ní (reziduální)
SSW =
Celkový
SS TOTAL =
k
k
(X i − X )2
i =1 j =1 k
k −1
i =1
n
( X ij − X i ) 2
n
i =1 j =1
Pr m rný tverec
Stupn volnosti
( X ij − X ) 2
N −k
MS B =
SS B k −1
MSW =
SSW N −k
Testová stat. F-pom r
F − ratio =
MS B MSW
P-value
1 − F (F − ratio )
N −1
V prvním sloupci uvádíme možné zdroje prom nlivosti jednotlivých pozorování. Vzhledem k tomu, že se zabýváme jednofaktorovou ANOVOU, je zde uveden jeden hlavní zdroj (faktor, což byl v našem p ípad typ SŠ) zp sobující rozdíly mezi jednotlivými t ídami a ostatní zdroje jsou zahrnuty do druhé skupiny ozna ené reziduální. Reziduální zdroje nebyly identifikovány a jsou tudíž p í inou náhodného kolísání uvnit t íd. Vyd líme-li každý sou et tverc p íslušným po tem stup volnosti, dostaneme pr m rný tverec, neformáln nazývaný rozptyl. Rozptyl mezi výb ry (školami) je vysv tlen faktem, že jednotlivé výb ry pocházejí z r zných populací (školy mají r znou úrove matematických dovedností u absolvent ). Reziduální rozptyl v jednotlivých výb rech není vysv tlen, nebo jde o rozptyl zp sobeny náhodnými vlivy. F-pom r je pak n kdy popisován jako pom r vysv tleného a nevysv tleného rozptylu:
Vysv tlený rozptyl (MSB): Nevysv tlený rozptyl (MSW):
F-pom r:
SS B , k −1 SSW MSW = , N −k MS B =
F − ratio =
MS B n ⋅ S B2 = 2 MSW SW
Z toho lze usuzovat na možnosti zesílení jednofaktorové ANOVY. P edpokládejme nap íklad, že nevysv tlený rozptyl byl z velké ásti zp soben rozdílnou úrovni SŠ v jednotlivých - 327 -
m stech. Pokud bychom dokázali odstranit rozdíly v úrovni škol v jednotlivých m stech, pak by se nevysv tlený rozptyl snížil a tím by se zvýšila hodnota F-pom ru. Tzn., m li bychom siln jší argument pro zamítnutí H0. Schopnost rozpoznat vliv jednoho znaku (školy) lze tudíž posílit zavedením dalšího znaku (m sta) pro vysv tlení ásti nevysv tleného rozptylu. Tímto problémem se zabývá dvoufaktorová ANOVA (ANOVA p i dvojném t íd ní). Dvoufaktorovou ANOVOU se zabýváme ve Statistice II.
13.2 Jednofaktorová ANOVA – obecn (pro nestejné rozsahy výb r ) Nech máme k-náhodných výb r (tj. výb ry z k populací), které jsou na sob nezávislé. Nech tyto náhodné výb ry pochází z normálních rozd lení se stejným rozptylem:
(X 11, X 12 , ..., X1n1 ) → N(µ1 , σ 2 ) (X 21, X 22 , ..., X 2 n2 ) → N(µ 2 , σ 2 ) ... (X k1, X k 2 , ..., X knk ) → N(µ k , σ 2 ) , nech ni = po et pozorování v i-tém náhodném výb ru ___________________________ k i =1
ni = N
13.2.1 Formulace problému: Je t eba testovat hypotézu v i alternativ :
H0: µ1 = µ2 = ... = µk = µ HA: neplatí H0
Chceme rozhodnout o H0 na základ jednoho testu. Proto se pokusíme nalézt takovou testovou statistiku, která nejen umožní implementaci H0 , ale je i citlivá na platnost H0.
13.2.2 Zobecn né defini ní vztahy Definujme totální sou et tverc (totální variabilitu) jako
SSTOTAL =
k
ni
i =1 j =1
( X ij − X ) 2 ,
kde X je výb rový pr m r ze všech pozorovaných hodnot. Tento totální sou et tverc m žeme snadno rozložit na 2 složky:
SSTOTAL =
k
ni
i =1 j =1
( X ij − X ) 2
SSTOTAL = SSW + SS B ,
kde SSW ... vnit ní variabilita:
SSW =
k
ni
i =1 j =1
( X ij − X i ) 2 =
- 328 -
k i =1
(ni − 1) Si2
n
p i emž Si2 je výb rový rozptyl i-tého náhodného výb ru (i-té t ídy): S i2 = ni
X i je pr m r i-tého náhodného výb ru (i-té t ídy): X i = k
SSB ... mezit ídní variabilita: SS B = k
X =
kde celkový pr m r X :
i =1
ni
i =1 j =1 k i =1
j =1
i =1
(X
ij
− Xi
ni − 1
)
2
,
X ij
ni
ni ⋅ ( X i − X ) 2 , k
X ij =
i =1
ni
ni ⋅ X i k i =1
ni
k
=
i =1
ni ⋅ X i N
(všimn te si že celkový pr m r již není prostým pr m rem X i , ale je váženou formou pr m ru s váhami ni) Zavedeme následující pr m rné sou ty tverc (neformáln rozptyly):
SSW N −k SS B MS B = k −1 MSW =
Vnit ní pr m rný sou et tverc (vnit ní výb rový rozptyl): Mezit ídní pr m rný sou et tverc (mezit ídní výb rový rozptyl): Vlastnosti t chto výb rových rozptyl : •
Vnit ní výb rový rozptyl je nestranným odhadem rozptylu, nezávisle na H0. E [MS W ] = =
•
1 E N −k
σ2 N −k
(N
k i =1
(ni − 1) S i2
=
1 N −k
k i =1
(ni − 1) E ( S i2 ) =
1 N −k
k i =1
(ni − 1) ⋅ σ 2
− k)= σ 2
Mezit ídní výb rový rozptyl je nestranným odhadem rozptylu práv když platí H0. E [MSW ] = σ 2 ⇔ když platí H0 1 k ni ( E X − E X i ) 2 , k − 1 i =1 z ehož bezprost edn vyplývá následující ekvivalence: ES B2 = σ 2 ⇔ když platí H0
Mohli bychom dokázat, že E [MS B ] = σ 2 +
Položíme F =
MS B MSW
Definice: Tuto statistiku F nazveme F-pom r .
- 329 -
Abychom mohli F-pom r v dalším pr b hu testu použít jako testovou statistiku (a tím i nulové rozd lení), musíme znát její statistické chování, tedy její rozd lení pravd podobnosti. F-pom r má Fisher-Snedecorovo rozd lení s po tem stup
volnosti
pro itatele (k-1) a pro jmenovatele (N-k)
Pr vodce studiem: Zájemc m nyní dokážeme, že F-pom r má Fisher-Snedecorovo rozd lení. Víme, že
MSW
σ
2
k
⋅ (N − k) =
(ni − 1) Si2 σ
i =1
2
→ χ N2 −k , protože
(ni − 1) S i2 σ
→ χ n2i −1 ,
2
dále je známo, že sou et náhodných veli in, které mají rozd lení χ n2i −1 , je op t náhodnou veli inou stejného typu, s po tem stup volnosti daným sou tem stup volnosti s ítaných veli in. Podobnou úvahou lze prokázat, že pokud platí H0, pak: 2
MS B
σ
2
⋅ (k − 1) =
1
σ
2
⋅
k i =1
(
ni ⋅ X i − X
)
2
=
k
Xi − X
σ
i =1
2
=
k −1 i =1
ni
Xi − X s ni
→ χ k2−1
Pokud tedy platí H0, potom víme (ze znalostí o Fisherov -Snedecorov rozd lení), že:
MS B
σ2
MSW
σ2
⋅ (k − 1)
k −1 ⋅ (N − k)
=
MS B → Fk −1, N − k MSW
N −k
Výklad: Pokud známe statistické chování F-pom ru, lze to využít pro ú ely posouzení a rozhodnutí výše uvedeného problému v podob H0. Následující obrázek ilustruje použití F-pom ru pro ú ely rozhodování o platnosti hypotézy H0. Z definice p-value (viz. obrázek) je z ejmé, že:
- 330 -
p − value = 1 − F (F − ratio ) Oblast platnosti H0
pozorovaná hodnota statistiky F-pom r
13.2.3 Tabulka ANOVA Jednotlivé mezivýsledky, provád né v pr b hu analýzy rozptylu, jsou pr b žn systematicky zaznamenávány v tabulce ANOVA: Zdroj prom nlivosti Mezit ídní (faktor) Vnit ní (reziduální) Celkový
Sou et tverc
SS B =
SSW =
k i =1
ni ⋅ ( X i − X ) 2
ni
k
i =1 j =1
SSTOTAL =
k
( X ij − X i ) 2
ni
i =1 j =1
( X ij − X ) 2
Stupn volnosti
k −1 N −k
Pr m rný tverec MS B =
SS B k −1
MSW =
SSW N −k
Testová stat. F-pom r
F − ratio =
MS B MSW
a
P-value
1 − F (F − ratio )
N −1
ešený p íklad: Pro ilustraci statistického chování F-pom ru uvažujme t i datové soubory. Ve všech jsou stejné výb rové pr m ry v rámci i-té populace, avšak rozptyly se liší. Pokud vnit ní výb rový rozptyl je malý, F-pom r je velký, pokud je naopak vnit ní výb rový výb rový rozptyl, normální a velký rozptyl velký, F-pom r je malý. Datové soubory tak ilustrují t i p ípady: malý vnit ní.
- 331 -
Datový soubor 1:
Malý vnit ní výb rový rozptyl
Pr m ry X i
8 37,0
Výb r II III 17,5 68,5 12 72 16 53 15 64 20,5 57 23 56 15 54,5 62,5 63,5 60 66 55 7 12 17,0 61,0
Výb rové rozptyly S i2
33,4
13,8
I 42 34,5 32,5 40 46,5 28 37 35,5
Rozsah výb ru ni
36,7
IV 38 44 52 50 43,5 41 42 46 37,5 36 10 43,0 27,7
H0: µ I = µ II = µ III = µ IV HA: neplatí H0
Rozhodnutí: Zamítáme nulovou hypotézu, tzn. dané 4 výb ry nepocházejí z jedné populace, jejich st ední hodnoty se statisticky významn liší. (Rozptyl mezi t ídami je podstatn v tší než rozptyl uvnit t íd.)
- 332 -
Datový soubor 2:
Normální vnit ní výb rový rozptyl
Pr m ry X i
8 37,0
Výb r II III 18 76 7 83 15 45 13 67 24 53 29 51 13 48 64 66 59 71 49 7 12 17,0 61,0
Výb rové rozptyly S i2
133,7
55,0
I 47 32 28 43 56 19 37 34
Rozsah výb ru ni
146,9
IV 33 45 61 57 44 39 41 49 32 29 10 43,0 110,9
Rozhodnutí: Zamítáme nulovou hypotézu, tzn. dané 4 výb ry nepocházejí z jedné populace, jejich st ední hodnoty se statisticky významn liší. (Rozptyl mezi t ídami je podstatn v tší než rozptyl uvnit t íd.)
- 333 -
Datový soubor 3:
Velký vnit ní výb rový rozptyl I 67 22 10 55 94 -17 37 28
Rozsah výb ru ni Pr m ry X i Výb rové rozptyly S i2
II 20 -13 11 5 38 53 5
Výb r
8 37,0
7 17,0
III 106 127 13 79 37 31 22 70 76 55 91 25 12 61,0
1203,4
495,0
1322,2
IV 13 49 97 85 46 31 37 61 10 1
998,0
10 43,0
Rozhodnutí: Nezamítáme nulovou hypotézu, tzn. dané 4 výb ry pocházejí z jedné populace, jejich st ední hodnoty se statisticky významn neliší. (Rozptyl mezi t ídami je srovnatelný s rozptylem uvnit t íd.)
- 334 -
Výklad: 13.3 Post Hoc analýza (vícenásobné porovnávání)
P edchozí p íklad poukázal na to, že velký F-pom r indikuje existenci významných zm n mezi popula ními výb rovými pr m ry. Naše analýza by ale byla nekompletní, pokud bychom neidentifikovali, které z populací signalizují významnou odchylku pr m ru. Tento další proces se nazývá post hoc analýza a spo ívá v porovnávání pr m r všech dvojic populací. Pro tato vícenásobná porovnávání existuje n kolik metod. V rámci tohoto výkladu se omezíme jen na tu nejjednodušší z nich, tzv. LSD-metodu (znamená zkratku výrazu Lest Significant Difference). Tato metoda spo ívá v aplikaci dvouvýb rového t-testu pro každý pár výb rových pr m r . Místo standardního dvouvýb rového Studentova t-testu však použijeme pon kud upravený t-test, založený na LSD statistice: Pro i-tý a j-tý výb r definujeme následující testovou statistiku (LSD)i,j:
( LSD )i , j =
Xi − X j → tN −k 1 1 + MSW ⋅ ni n j
Snadno lze zd vodnit, že tato statistika má Studentovo rozd lení s (N-k) stupni volnosti.
ešený p íklad: LSD metodu ilustrujeme pro t i p edchozí p íklady:
Datový soubor 1:
Malý vnit ní výb rový rozptyl
Zamítli jsme nulovou hypotézu, proto provedeme post hoc analýzu. Vypo teme statistiky (LSD)i,j pro všechny uvažované dvojice daných ty populací a hodnoty zaznamenáme do následující tabulky: I II III IV
I 0 7,128 -9.698 -2,333
II -7,128 0 -17,064 -9,731
III 9,698 17,064 0 7,7541
IV 2,333 9,731 -7,754 0
V tomto p ípad existuje velmi silná empirická výpov o rozdílech mezi všemi populacemi, pouze p i porovnání populací I a IV výpov není tak silná.
- 335 -
Statistický software v tšinou seskupí výb ry, které by mohly pocházet z jedné populace (mají stejné st ední hodnoty). Nap íklad Statgraphics provádí ozna ení pomocí k ížk . Jsou-li v textovém výstupu v ásti Homogenous Groups (Homogenní výb ry) k ížky pro p íslušné výb ry pod sebou, znamená to, že výb ry mohou pocházet ze stejné populace.
Datový soubor 2:
Normální vnit ní výb rový rozptyl I I II III IV
0 3,564 -4,849 -1,167
II -3,564 0 -8,532 -4,866
III 4,849 8,532 0 3,877
IV 1,167 4,8656 -3,877 0
o rozdílu mezi V tomto p ípad , a koliv jsou stejné, neexistuje empirická výpov výb rovými pr m ry populací I a IV. Takže m žeme v podstat existující 4 populace rozd lit na 3 skupiny: první sdružuje populace I a IV, druhou tvo í populace II a t etí populace III.
dv homogenní populace: I a IV
Výb rové pr m ry
- 336 -
Datový soubor 3:
Velký vnit ní výb rový rozptyl
Jelikož F-pom r je v tomto p íklad velmi malý, za normálních okolností bychom tento p íklad uzav eli tím, že nezamítáme nulovou hypotézu o rovnosti st edních hodnot populací, ímž by analýza skon ila, nebo všechny populace jsou homogenní, co do rovnosti st edních hodnot. Pokud p esto provedeme výpo et hodnot tabulky (LSD)i,j, dostaneme: I II III IV
I 0 1,188 -1,616 -0,389
II -1,188 0 -2,844 -1,622
III 1,616 2,844 0 1,292
IV 0,389 1,622 -1,292 0
V tomto hypotetickém p ípad vidíme významný rozdíl, který signalizuje malé P-value a tedy zamítnutí testu o rovnosti výb rových pr m r , mezi populacemi II a III. Jelikož však celkový F-pom r byl p íliš malý, tento rozdíl by byl za normálních okolností p ehlédnut a my bychom uzav eli test tím, že neexistují žádné významné rozdíly mezi danými ty mi populacemi. Za t chto okolností m žeme tento rozdíl považovat za falešn významný.
Výklad: Existují i jiné testy, nežli LSD metoda, které umož ují podobná vícenásobná porovnávání, ili post hoc analýzu. Byly vyvinuty i flexibiln jší metody, které jsou dostupné prost ednictvím vysp lého softwaru. Pat í sem nap íklad Duncan v test, Tukey v test pro významné rozdíly, Scheffé test a Bonferoni test. Detaily k nim zde nebudou probírány, ale všechny jsou založeny na podobné rozhodovací strategii, založené na stanovení kritického rozdílu požadovaného pro ur ení toho, zda dva pr m ry z n kolika populací se liší. V mnoha p ípadech jsou tyto testy mnohem efektivn jší, než LSD metoda, pro ú ely nalezení podskupin p vodních populací, které jsou homogenní co do rovnosti pr m r .
13.4 Kruskal-Wallis v test P edchozí postup ANOVA, využívající pro rozhodování popsaný F-pom r je velmi citlivý na p edpoklad o normalit rozd lení p vodních náhodných výb r . Pro p ípady, kdy tomuto p edpokladu nelze úpln vyhov t, existuje Kruskal-Wallis v po adový test.
- 337 -
Kruskal-Wallis v test je tedy neparametrickou obdobou jednofaktorové ANOVY. Na rozdíl od parametrického testu nep edpokládá normalitu rozd lení, jeho nevýhodou je menší citlivost. Tak jako je ANOVA vícevýb rovým testem st edních hodnot, Kruskal-Wallis v test je vícevýb rovým testem medián . Nech tyto náhodné výb ry pochází ze spojitých rozd lení stejného typu a stejných rozptyl (homoskedasticita): (X 11, X 12 , ..., X1n1 ) (X 21, X 22 , ..., X 2 n2 ) ... (X k1, X k 2 , ..., X knk ) kde ni je rozsah jednotlivých výb r . Testujeme hypotézu H0: x0,5 I = x0,5 II = Oproti alternativ HA: neplatí H0
= x0,5 IV k
Všechny veli iny Xij dohromady tvo í sdružený náhodný výb r o rozsahu N =
i =1
ni . Z tohoto
výb ru vytvo íme uspo ádaný výb r (rostoucí posloupnost) a ur í se po adí Rij každé veli iny Xij. Tato po adí uspo ádáme do tabulky a ur íme tzv. sou ty po adí pro jednotlivé výb ry (Ti ) . Ti = Výb r 1 2
ni j =1
Rij
Po adí veli in v uspo ádaném sdruženém náhodném výb ru R1n1 R11 R12 R21 R22 R2n2
k
Rk1
Rk2
Celkový sou et všech po adí:
Rknk
T=
k i =1
Ti =
Sou ty po adí T1 T2 Tk
N ⋅ ( N + 1) 2
k 12 Ti 2 ⋅ − 3 ⋅(N + 1) → χ k2−1 N ⋅ (N + 1) i =1 ni
Testová statistika:
Q=
P-value:
p − value = 1 − F (Q )
ešený p íklad: Prove te Kruskal-Wallis v test pro výše uvedený datový soubor 3.
- 338 -
ešení:
Výb r II III 20 106 -13 127 11 13 5 79 38 37 53 31 5 22 70 76 55 91 25
I 67 22 10 55 94 -17 37 28
Po adí ve sdruženém výb ru: I 28 12,5 6,5 25,5 34 1 19 15
Rozsah výb ru ni Sou ty po adí Ti
Ti 2 2
Ti ni Q=
=
Výb r III 36 37 9,5 31 19 16,5 12,5 29 30 25,5 33 14 12
II 11 2 8 4,5 21 24 4,5
8
IV 13 49 97 85 46 31 37 61 10 1
7
IV 9,5 23 35 32 22 16,5 19 27 6,5 3
10
141,5
75
293
193,5
20022,3
5625,0
85849,0
37442,3
2502,8
803,6
7154,1
3744,2
k 12 Ti 2 ⋅ − 3 ⋅( N + 1) = N ⋅ ( N + 1) i =1 ni
12 ⋅ (2502,8 + 803,6 + 7154,1 + 3744,2 ) − 3 ⋅ (37 + 1) = 7,24 37 ⋅ (37 + 1)
Q → χ 42−1 ,
p − value = 1 − F (Q ) = 0,0645
P-value pro tuto Q testovou statistiku je o n co v tší, než dává F-pom r (0,0549), ale záv ry jsou v obou p ípadech stejné. Nulová hypotéza není zamítnuta.
- 339 -
13.5 Postup jednofaktorové analýzy rozptylu (ANOVA) Na záv r si shrneme zjišt né poznatky. Vstupem pro analýzu rozptylu je tabulka obsahující pro jednotlivé sloupce (t ídy, resp. úrovn sledovaného faktoru) vždy ni pozorování Xij ((i=1, …, k), kde k je po et t íd; j=1, …, ni). Je t eba testovat hypotézu v i alternativ :
H0: µ1 = µ2 = ... = µk = µ HA: neplatí H0
Postup obsahuje následující kroky: 1. P íprava dat: Už p ípravou dat lze zajistit v tší v rohodnost dosažených výsledk . a) Velikost výb ru je po et plných ádk min{ni } . ANOVA byla p vodn navržena pro
(
i
)
stejnou etnost v jednotlivých výb rech. V praxi bývá tento p edpoklad málokdy spln n – platí však, že ím t sn ji je toto pravidlo spln no, tím v rohodn jší jsou výsledky. Lze analyzovat i malé výb ry (ni=4, 5). Máme-li však testovat všechny výb rové p edpoklady, je t eba mít alespo 30 hodnot ve výb ru (ni ≥ 30 ) . b) Chyb jící hodnoty mohou zp sobit vychýlení výsledk . c) Odlehlé hodnoty obecn zp sobují nefunk nost F-testu. Je t eba analyzovat data metodami exploratorní analýzy (EDA) – pro identifikaci odlehlých pozorování použít nap íklad krabicový graf. Pokud se odlehlá pozorování vyskytují v datech pouze jednou, je t eba je odstranit. Jestliže je v datech ponecháme, dáme p ednost neparametrickému testu (Kruskal-Wallis v test), F-test by mohl selhat. 2. Ov ení výb rových p edpoklad : Nesta í se soust edit na výsledky uvedené v tabulce ANOVA. Je t eba pe liv ov it spln ní základních p edpoklad o výb ru. Mnohdy data nemají ve všech výb rech normální rozd lení a je t eba použít vhodnou transformaci (mocninnou, logaritmickou). Po transformaci data vykazují normální rozd lení, což p inese v tší d v ryhodnost výsledk . a) Náhodnost: Metoda sb ru dat by m la zajistit, že porovnáváme prosté náhodné výb ry. b) Normalita: V kapitole Testování hypotéz jsme se seznámili s n kolika testy normality. Jejich síla roste s velikostí výb r . c) Homoskedasticita: Homoskedasticita (rovnost rozptyl ) je p edpokladem pro adu test . Numericky lze homoskedasticitu ov it nap . pomoci modifikovaného Levenova testu, pop . pomoci dalších test nabízených vysp lým statistickým softwarem. Pokud rovnost rozptyl není spln na, mluvíme o heteroskedasticit . 3. Volba statistických test významnosti sledovaného faktoru v tabulce ANOVA: Nau ili jsme se zpracovávat pouze výb ry u nichž je spln na: a) Normalita a homoskedasticita – užijeme F-test. b) Nenormalita a homoskedasticita – užijeme Kruskal-Wallis v test Pokud homoskedasticita spln na není, pokusíme se pomocí vhodné transformace o stabilizaci rozptylu. c) Normalita a heteroskedasticita – nelze použít ani F-test, ani Kruskal-Wallis v test, nebo homoskedasticita je p edpokladem pro oba tyto testy. Pokusíme se rozptyl stabilizovat pomocí vhodné transformace (mocninné, logaritmické). Pokud dojde ke stabilizaci rozptylu, použijeme F-test na transformovaná data. Pokud se nám rozptyl stabilizovat nepoda í, nelze analýzu rozptylu provést (výsledky nejsou d v ryhodné).
- 340 -
d) Nenormalita a heteroskedasticita – op t nelze použít ani F-test, ani Kruskal-Wallis v test, nebo homoskedasticita je p edpokladem pro oba tyto testy. Pokusíme se rozptyl stabilizovat pomocí vhodné transformace (mocninné, logaritmické). Pokud dojde ke stabilizaci rozptylu, došlo-li zárove k normalizaci dat, použijeme F-test na transformovaná data, nedošlo-li k normalizaci dat, použijeme Kruskal-Wallis v test na transformovaná data. Pokud se nám rozptyl stabilizovat nepoda í, nelze analýzu rozptylu provést (výsledky nejsou d v ryhodné). 4. Post hoc analýza (vícenásobné porovnávání): Pokud p i analýze rozptylu došlo k zamítnutí nulové hypotézy, pokoušíme se pomocí vícenásobného porovnávání nalézt homogenní (srovnatelné) populace. Vícenásobné porovnávání p edpokládá normalitu a homoskedasticitu výb r . Není-li spln n p edpoklad normality, je t eba užít KruskalWallis v test vícenásobného porovnávání.
Shrnutí: Rozší ením dvouvýb rových test pro st ední hodnoty je analýza rozptylu neboli ANOVA, která umož uje srovnávat n kolik st edních hodnot nezávislých náhodných výb r . Analýza rozptylu ve své parametrické podob p edpokládá normalitu rozd lní a tzv. homoskedasticitu (identické rozptyly). Testovou statistikou je p i analýze rozptylu F-pom r , který byl odvozen na základ analýzy variability vstupních datových soubor . Statistika F-pom r je citlivá na platnost hypotézy H0, která je formulována jako rovnost st edních hodnot zkoumaných náhodných výb r . Jednotlivé mezivýsledky, získané v pr b hu analýzy rozptylu, jsou pr b žn a systematicky zaznamenávány v tabulce ANOVA. Druhým krokem p i analýze rozptylu je post hoc analýza, která spo ívá v porovnávání výb rových pr m r všech dvojic populací s cílem vybrat homogenní (srovnatelné) populace. Kritériem pro za azení do homogenních skupin m že být nap íklad LSD-statistika. Post hoc analýza se provádí pouze v p ípad zamítnutí H0. Použijeme-li ji v p ípad , kdy H0 nezamítneme, m žeme dostat falešné výsledky. Popsaný postup ANOVA, využívající pro rozhodování F-pom r, je citlivý na p edpoklad o normalit rozd lení p vodních náhodných výb r . Pro p ípady, kdy tomuto p edpokladu nelze úpln vyhov t, se používá Kruskal - Wallis v po adový test.
- 341 -
Otázky 1. Co je to ANOVA? 2. Popište konstrukci a stochastické chování statistiky F-pom r. 3. Co je to vnit ní a mezit ídní výb rový rozptyl ? 4. Jaký je obvyklý výstup z analýzy rozptylu ? 5. Co je to post hoc analýza a LSD-statistika ? 6. Co je to Kruskal-Wallis v test, kdy se používá?
- 342 -
Úlohy k ešení 1. Byl proveden pr zkum závislosti p íjmu na vzd lání lidí. V tabulce jsou uvedeny p íjmy v tisících K u náhodn vybraných sedmi muž na každé úrovni vzd lání. (Z - základní, S - st edoškolské, V - vysokoškolské). Z 10,9 9,8 6,4 4,3 7,5 12,3 5,1
S 8,9 10,3 7,5 6,9 14,1 9,3 12,5
V 11,2 9,7 15,8 8,9 12,2 17,5 10,1
Rozhodn te, zda vzd lání má vliv na p íjem. 2. Z velkého souboru domácnosti bylo náhodn vybráno 5 jedno lenných domácnosti, 8 dvou lenných, 10 t í lenných, 10 ty lenných a 7 p ti lenných domácnosti, dohromady tedy 40 domácnosti a byly sledovány jejich m sí ní výdaje za potraviny a nápoje p ipadající na jednoho lena domácnosti (v K ). Ov te pomocí analýzy rozptylu, zda se m sí ní výdaje za potraviny (na osobu) liší podle po tu len domácnosti. {Použijte vhodný programový balík, nezapome te ov it p edpoklady testu} Po et len domácnosti
1 3,440 4,044 4,014 3,776 3,672
Výdaje na jednoho lena domácnosti (v K ) 2 3 4 2,350 3,031 2,143 2,236 2,800 2,901 2,656 2,878
2,529 2,325 2,731 2,313 2,303 2,565 2,777 2,899 2,755 3,254
2,137 2,201 2,786 2,132 2,223 2,433 2,224 2,763 2,232 2,661
5 2,062 2,239 2,448 2,137 2,032 2,101 2,121
3. P i rozboru efektivnosti bytové výstavby byly u náhodn vybraných dokon ených mimopražských byt t ech typ X,Y a Z zaznamenány náklady na 1m2 bytové plochy. Výsledky šet ení: Typ X (K ) Typ Y (K ) Typ Z (K )
6 825 6 405 7 050
7 100 6 570 7 355
7 555 6 325 6 810
6 890 6 895 6 910
7 175 6 905 6 700
7 300 6 550
6 905 6 750
Pokuste se prokázat existenci rozdíl v nákladech mezi jednotlivými typy byt . (Použijte vhodný programový balík, nezapome te ov it p edpoklady testu)
- 343 -
6 965
ešení: ad1) Ov ení p edpoklad : Homoskedasticita:
Normalita:
Normalita i homoskedasticita potvrzena, tzn. m žeme použít F-test.
H0: µZ = µS =µV HA: neplatí H0
Rozhodnutí: Nezamítáme H0, tzn. na základ p edložených dat musíme íci, že s 95% ní spolehlivosti vzd lání nemá vliv na výši platu. ad2) Ov ení p edpoklad : Homoskedasticita:
Normalita:
Pro 4. výb r byla normalita zamítnuta, homoskedasticita byla potvrzena, tzn. m žeme použít Kruskal-Wallis v test.
- 344 -
H0: x0,5 I = x0,5 II = x0,5 III = x0,5 IV = x0,5V HA: neplatí H0
Rozhodnutí: Zamítáme H0, tzn. na základ p edložených dat m žeme íci, že s 95% ní spolehlivosti má po et len domácnosti vliv na velikost pr m rných (na osobu) m sí ních výdaj domácnosti za potraviny. Zamítli jsme H0, proto provedeme post hoc analýzu (použili jsme Tukey HSD test):
Tukeyho test nám ukázal, že data m žeme považovat za výb skupiny m žeme za adit jedno lenné domácnosti, v nichž potraviny nejvyšší, do druhé skupiny za adíme nap . dvou až t etí skupinu budeme uvažovat p ti lenné domácnosti, jejichž potraviny jsou nejnižší. (viz. obr.)
- 345 -
ry ze t í populací. Do jedné jsou pr m rné náklady na ty lenné domácnosti a jako pr m rné m sí ní výdaje za
ad3) Ov ení p edpoklad : Homoskedasticita:
Normalita:
Normalita i homoskedasticita potvrzena, tzn. m žeme použít F-test.
H0: µX = µY =µZ HA: neplatí H0
Rozhodnutí: Zamítáme H0, tzn. na základ p edložených dat m žeme íci, že s 95% ní spolehlivosti má tyb byt vliv na náklady na 1m2. Zamítli jsme H0, proto provedeme post hoc analýzu:
Je z ejmé, že p í inou rozdíl jsou rozdíly mezi byty typu X a byty typu Y. Rozd lení m že vypadat nap íklad takto: Samostatnou skupinou jsou byty typu X, jejichž náklady na 1m2 jsou významn (správn ji statisticky významn ) vyšší než náklady na 1m2 bytu typu Y, resp. Z. Náklady na na 1m2 bytu typu Y a bytu typu Z m žeme považovat za totožné. (viz. obr.)
- 346 -
