7. -
Analýza rozptylu jednoduchého třídění
V této kapitole se budeme zabývat vztahem mezi znaky kvantitativními (kolik) a kvalitativními (kategoriálními, jaké jsou)
Doposud jsme schopni u nich hodnotit: - podmíněné charakteristiky polohy a variability - podmíněné krabicové diagramy (BOXPLOT) - Výsledky dvou-výběrových či párových testů Co však neumíme je hodnotit vztah ve více než dvou-složkovém výběru. Pro takové účely používáme Analýzu rozptylu je o něco omezenější po stránce konstrukce alternativních hypotéz o neobjevují se zde znaménka < nebo > ale pouze ≠ Trocha terminologie Ošetření („nálepka“) - je reprezentováno jako X - jde o kategoriální (kvalitativní) znak Odezva - je reprezentována jako Y - jde o kvantitativní znak Analýza rozptylu - vyšetřování závislosti mezi Y a X.
Ya, b
a je nahrazením písmene „ i “ b je nahrazením písmene „ j “ a vyjadřuje kolikátý řádek (jaký druh nálepky) b vyjadřuje kolikátý sloupec (jaký druh odezvy) Příklad o závislosti doby koksování v závislosti na šířce pece Šířka pece [cm] 10 20 30
Pozorované doby koksování 3.5 7.1 10.8
3,0 6.5 10.6
2.7 7.9 11.0
2.2 5.2 7.6
2.3 4.6 7.3
[min] 2.4 6.8 7.3
Například: Y1,2 = 3,0 Y1,6 = 2,4 Y3,6 = 7,3 Další důležité symboly: µ n = populační průměr libovolného řádku (skupiny odezev na konkrétní druh ošetření) N = celkový počet odezev (například pozorovaných dob koksování) I = celkový počet ošetření (například možnosti šířek koksovací pece) n i = počet odezev u libovolného řádku
Obecná formulace hypotéz: Slovně : H0: Kvantitativní proměnná nezávisí na kvalitativní. H1: Mezi kvantitativní a kvalitativní proměnnou je závislost. Obecně: H0: µ 1 =
µ1
H1:
≠
µ 2 = ……… = µ I µ 2 ∨ = µ 2 ≠ µ 3 a tak dále dokud se nevystřídají všechny µ n
vzájemně.
V našem případě (pro I = 3) : H0: µ 1 = µ 2 = µ 3
µ1
H1:
≠
µ2
∨
µ2
≠
µ3 ∨ µ 3
≠
µ1
Při analýze rozptylu rozlišujeme totiž 2 zdroje variability : - Mezi-skupinová variabilita (variabilita průměrů mezi jednotlivými ošetřeními) - Vnitro-skupinová variabilita (variabilita průměrů uvnitř každého ošetření) o Tzv. Reziduální variabilita Následně tyto dva zdroje vzájemně porovnáme a potřebná data nalezneme v tabulce ANOVA {Analysis of variance} Zdroj variability Ošetření (between) Reziduální (within) Celkem (total)
Stupně volnosti
Součet čtverců
Průměrný čtverec
F – statistika a P-hodnota
dfA = 2
SA = 123.143
MSA = 61.572
F2,15 = 35,202
dfR = 15
SR = 26.237
MSR = 1.749
dfT = 17
ST = 149.380
MST = 149.380
P < 0,001
Položky v tabulce ANOVA fsirka Residuals
Df 2 15
Sum Sq 123.143 26.237
Mean Sq 61.572 1.749
F value 35.202
Pr(>F) 2.161e-06 ***
Df -
z anglického „Degrees of freedom” jde tedy o stupně volnosti výpočet: o U mezi-skupinových ukazatelů = počet nálepek (I) snížený o 1 I – 1 = Df A o U vnitro-skupinových ukazatelů = počet pozorování snížený o I n – I = Df R
Sum Sq - z anglického „Sum of squares” nebo též SS - jde tedy o součet čtverců
Mean Sq - z anglického „Mean of squares” nebo též MS - jde tedy průměr čtverců - 4asto e též nazýván průměrným čtvercem ale v podstatě jde o rozptyl a podle koncovky už pouze rozlišujeme, zda jede o: o Mezi-skupinový rozptyl => MSA o Vnitro-skupinový rozptyl => MSR F value - testová statistika F jenž se řídí Fischerovým-Snedecorovým F-rozdělením - pro rozhodnutí vůči H0 ji porovnáme s kvantilem: o qf(pravděpodobnost , dfA , dfR ) o Například: qf(0.95,2,15)
Pr (>F) - jde o p-hodnotu - Pro rozhodnutí vůči H0 ji porovnáme s 5% hladinou významnosti Způsob propočtů s hodnotami z tabulky ANOVA
SS A = ∑ ni × ( yi − y ) 2 Trocha vysvětlivek k použitým symbolům: ni = počet položek na jednotlivých řádcích ( v našem případě vždy 6) yi s pruhem = průměr pro jednotlivé řádky y s pruhem = celkový průměr I = počet nálepek (v našem případě počet šířek pece – tedy 10 × 20 × 30 = 3 varianty) Šířka pece [cm]
Pozorované doby koksování
[min]
10 3.5 3,0 2.7 2.2 2.3 2.4 20 7.1 6.5 7.9 5.2 4.6 6.8 30 10.8 10.6 11.0 7.6 7.3 7.3 Výpočet: all = c(3.5, 3.0, 2.7, 2.2, 2.3, 2.4, 7.1, 6.5, 7.9, 5.2, 4.6, 6.8, 10.8, 10.6, 11.0, 7.6, 7.1, 7.3) col1=c(3.5,3.0,2.7,2.2,2.3,2.4) col2=c(7.1,6.5,7.9,5.2,4.6,6.8) col3=c(10.8,10.6,11.0,7.6,7.1,7.3) a=mean(col1) b=mean(col2) c=mean(col3)
ni = 6 y1 = (a) = 2.683333 y 2 = (b) = 6.35
y 3 = (c) = 9.066667 y = (x) = 6.033333
SS A = {6 × [(a − x) 2 ]} + {6 × [(b − x) 2 ]} + {6 × [(c − x) 2 ]} SSA = 123.143 MSA =
SS A 123.143 = Df A (3 − 1)
= 61.572
Obdobným způsobem bychom vypočítali ukazatele: SSR = 26.237 MSR = 1.749 F – statistika SS A Df A MS A = F= SS R MS R Df R
=
61.572 1.749
= 35.202 (podle R – to je přesnější)
Způsob interpretace tabulky ANOVA -
V první řade porovnáme p-hodnotu s hladinou významnosti Obecně řečeno, čím větší je f-statistika, tím spíš zamítneme H0. Přesněji řečeno lze F statistiku porovnat s příslušným kvantilem jež vypočteme následujícím příkazem: o Pokud vyjde F-statistika kladná qf(0.95,Df A,Df R) o Pokud vyjde F-statistika záporná qf(0.05,Df A,Df R)
Předpoklady použití této metody I.) rezidua (chyby) pocházejí z normálního rozdělení II.) rezidua (chyby) jsou nezávislá a stejně rozdělená - zejména požadavek HOMOSKEDASTICITY o shoda rozptylů III.) Aditivita střední hodnoty a reziduí (chyb) - tedy že platí vztah:
o YA, B = µA + εA, B A = 1………I B = 1………ni
Reziduum - hodnota pozorování YA,B snížená o průměr podle příslušného řádku
Důležitost jednotlivých předpokladů Nesplnění normálního rozdělení chyb - U dat vyššího rozsahu nevadí díky centrální limitní větě (dále jen CLV) - Možné metody, jak napravit ne-normalitu: o Transformace o Neparametrická ANOVA Heteroskedasticita - Mírná příliš nevadí - U vážnějších případů lze napravit: o transformací o Zobecněná ANOVA Porušená aditivita - Lze napravit transformacemi
Porušená nezávislost chyb Použití libovolné metody povede s velkou pravděpodobností k chybným závěrům
Praktický postup při volbě vhodné metody 1.) Zjištění, zda máme dostatek dat Pokud ano, lze použít ANOVU V případě malého počtu dat se zabýváme normalitou chyb o Normalita splněna => ANOVA o Normalita nesplněna => Neparametrická ANOVA tedy Kruskalův - Wallisův test (o shodě mediánů ) 2.) Zjištění, zda data vykazují HETEROSKEDASTICITU - mírná nevadí - pro přesnost používáme Leveneův test o shoda rozptylů = Klasická ANOVA o neshoda rozptylů = Welchova zobecněná ANOVA
Přehled jednotlivých možností I. Dvou-výběrový T-test (nezávislé výběry řídící se normálním rozdělením ) - hypotézy o středních hodnotách - zobecněním je ANOVA jednoduchého třídění pro více testů II. Dvou-výběrový Wilcoxonův test (nezávislé výběry neřídící se normalitou) - hypotézy o mediánech - zobecněním je Kruskal – Wallisův test III. Párový T- test (závislé výběry řídící se normálním rozdělením) - zobecněním je ANOVA dvojného třídění => ANOVA s bloky IV. Wilcoxonův test ( párový neparametrický test , data nejsou normální) - zobecněním je Friedmanův test
Blokové studie – analýza rozptylu dvojného třídění -
-
Podstatou blokových studií je zobecněný přístup, který již známe z párových problémů. Například: o Prospěch dvojčat od jedné matky o Opotřebení pravé a levé pneumatiky o Cena másla identického výrobku na dvou různých místech o Energetický příjem před a po menstruaci o Atd. V podstatě u blokových studií zjišťujeme vliv faktoru (ošetření) o I ≥ 2 úrovních na spojitou odezvu. Samozřejmě lze předpokládat i významný vliv dalšího rušivého faktoru Bloku (například charakteristika ženy) na odezvu. Pojem blok si lze představit jako : počet prodejen, počet žen, basketbalových hráčů a jiných potencionálních respondentů jež nám poskytnuli párová data. Například: Prodejna – tržby před a po reklamní kampani Žena – energetický příjem před a po menstruaci Basketbalový hráč – opotřebenost jeho podrážky u několika druhů bot Atd. „Block what you can and randomize what you can‘t“
☯ Blokováním eliminujeme rušivé faktory ( známe zdroje variability) ☯ Znáhodněním eliminujeme rušivé faktory (neznáme zdroje variability) -
V rámci více-výběrových problémů se setkáváme z další typem grafu a sice grafem špagetovým. Názorná ukázka – viz. 6MI221-tématický celek II.pdf - slide 106
V čem se liší ANOVA dvojného třídění od ANOVY založené na třídění jednoduchém ? - především nám zde přibývá řádek navíc Kromě ošetření a reziduí ve sloupci zdrojů variability figurují i bloky. Neřešíme jeden ale hned 2 problémy o Vliv ošetření na odezvu o Vliv bloku na odezvu
V souvislosti s ANOVOU s bloky (dále jen ASB) se setkáváme s pojmy:
Vyrovnaná hodnota (FV)
FV = yˆ b ,i = y+ i + yb + − y Tedy : FV = průměr í-tého sloupce + průměr b-tého řádku – celkový průměr
Residuum
RSD = eb ,i = y b, i − yˆb ,i Tedy: RSD = konkrétní hodnota – jí odpovídající vyrovnaná hodnota (FV)
Formulace hypotéz u jednotlivých problému: I. Jako hlavní problém považujeme vliv ošetření na odezvu – viz. hodnoty v prvním řádku ASB H0: Kvantitativní proměnná nezávisí na ošetření (faktoru) H1: Kvantitativní proměnná závisí na ošetření (faktoru) Takže například u problému s výnosností ovsa by hypotézy vypadaly následovně: H0: Výnos ovsa nezávisí na množství použitého hnojiva. H1: Výnos ovsa závisí na množství použitého hnojiva. II. Jako dodatečný problém považujeme vliv bloku na odezvu – viz. hodnoty v druhém řádku ASB. Tuto informaci bereme opravdu pouze jako dodatečnou, uvádíme ji tedy jen na požádání zadavatele. H0: Kvantitativní proměnná nezávisí na bloku H1: Kvantitativní proměnná závisí na bloku Takže například u problému s výnosností ovsa by hypotézy vypadaly následovně: H0: Výnos ovsa nezávisí na poli, kde oves roste. H1: Výnos ovsa závisí na poli, kde oves roste. podrobněji – viz. lexikon SPM
Jak se vlastně ASB generuje programem R? omodel <- aov(vynos~hnojivo + blok, data=oves) summary(omodel) Při rozhodování vůči H0 lze přihlížet i na průměry a to: - řádkové (nb+)
- sloupcové (n+i) Obecně řečeno, pokud se mezi sebou odlišují sloupcové průměry a podobný vztah je i mezi řádkovými průměry, nulovou hypotézu bychom měli zamítnout. Ovšem konečné rozhodnutí by mělo být podloženo: - p-hodnotou jež je třeba porovnat s hladinou významnosti - testovou statistikou jež je třeba porovnat s kvantilem příslušného rozdělení – viz. lexikon SPM zpravidla Fischerovo => qf (%spolehlivost,DfA, DfB)
Předpoklady použití metody ASB Aditivita střední hodnoty a chyb Aditivita vlivu bloku a ošetření na střední hodnotu odezvy Chyby jsou nezávislé a stejně rozdělené (i.i.d.) o Nezávislost chyb o Stejné rozdělení chyb => zejména homoskedasticita Normální rozdělení chyb
Jak postupovat při nesplnění některých předpokladů ? Porušená nezávislost chyb - nelze dále řešit ( v podstatě lze ale jde o práci pro odborníka) Porušení homoskedasticity => heteroskedasticita - buď lze vyřešit transformacemi - nebo použitím neparametrického testu Porušená normalita - a zároveň dostatek dat => díky CLV lze použít ANOVU s bloky (ASB) - lehce porušená normalita => nevadí, i tak lze použít ANOVU neboť není tak citlivá na normalitu - výrazná ne-normalita + malý počet dat => Friedmanův test (neparametrická ASB)
Ověřování předpokladů -
Je dobré si pamatovat, že o : „Grafické metody jsou mnohdy cennější než formální test! “
1.) Porušení nezávislosti chyb - především pomocí residuálního grafu proti času [e-time] 2.) Homoskedasticita - především pomocí residuálního grafu proti: o času [e – time] o ošetření [e-x] o vyrovnaným hodnotám [e - yhat] - a samozřejmě i testem homoskedasticity o Levenův test 3.) Aditivita - jak jsme byli upozorněni na přednášce, v písemce by se mohla objevit otázka na rozpoznání, zda je daný model aditivní s interakcí či bez interakce. V podstatě se dobře podíváme na špagetový graf a pozorujeme, zda se jednotlivé „špagety“ liší pouze posunutím, jsou téměř rovnoběžné (berme to s rezervo, stačí přibližná rovnoběžnost) pak je model aditivní bez interakce !!! Názorná ukázka, jak takový model vypadá viz. 6MI221-tématický celek II.pdf - slide 148 Jinak jde o model s interakcí, která může nabývat různých forem. Nejčastější je tzv. „Multiplikativní interakce“ jenž svým tvarem připomíná trychtýř nebo téměř symetrickou hvězdu - viz. 6MI221-tématický celek II.pdf - slide 153 Přičemž přítomnost multiplikativní interakce lze ověřit Tukeyovým testem aditivity.
4.) Nenormalita - Normalitu ověřujeme : o Graficky => QQ diagram o Testem => Shapiro – Wilkův test
Ovšem pozor !! U dat vyššího rozsahu nám většina běžných testů normality (Shapiro.test atd.) budou hlásit jako signifikantní i velice nízkou míru porušení normality.
