Plánování pokusů • Replikace (opakování) kvůli spolehlivosti (reliability) • Randomizace (znáhodnění) kvůli zabránění zkreslení výsledků (bias) • Princip parsimonie • Síla statistického testu • Kontroly • Efektivní experimentální uspořádání • Rozpoznání pseudoreplikací • Rozdíl mezi experimentálními a observačními daty (ortogonalita)
Princip parsimonie (Occamova břitva) • Máme-li několik alternativních vysvětlení, správné vysvětlení je to, které je nejjednodušší • Modely by měly mít co nejméně parametrů • Lineární modely mají přednost před nelineárními • Experimenty spoléhající na méně předpokladů jsou upřednostňovány před experimenty založenými na více předpokladech • Jednodušší vysvětlení jsou upřednostňována před složitějšími
Parsimonie a modelování v S-Plus • Při modelování je proměnná ponechána v modelu jen tehdy, jestliže způsobí statisticky průkazný vzrůst variability při odstranění z modelu • „Model by měl být tak jednoduchý jak je to možné. Ale nikoli jednodušší.“ (A. Einstein)
Pozorování, teorie a experiment • … navzájem promyšleně kombinované jsou nejlepší cestou k řešení vědeckých problémů
Opakování dělá n • Děláme-li stejnou věc s různými jedinci, dostaneme různé výsledky • Příčiny jsou různé: genotyp, věk, pohlaví, substrát, mikroklima … • Cílem je zvýšit spolehlivost odhadu parametrů a jejich rozptylu
Co je správné opakování • Měření musí být nezávislá: opakovaná měření stejného jedince nebo na stejném místě nejsou nezávislá • Nesmí tvořit časovou řadu: data sbíraná na stejném místě při různých příležitostech nejsou nezávislá • Nesmí se dávat dohromady z jednoho místa: nejsou pak prostorově nezávislá • Měření musí být prováděno ve správném prostorovém měřítku
Co je ideální opakování • Jedno opakování z každého typu ošetření je uspořádáno do bloku a tyto bloky jsou mnohokrát opakovány
Jak mnoho opakování • Tak mnoho jak si můžete dovolit • 30; menší vzorek je malý, větší je velký; není to ale vždycky pravda • Správnou minimální velikost vzorku lze spočítat; potřebujeme k tomu pilotní studii
Opakování nebo bloky? • Mnoho opakování v malém počtu bloků? • Mnoho bloků bez opakování uvnitř bloku? • Většinou lepší více bloků, protože variabilita je většinou veliká • Opakování uvnitř bloku ale umožňuje specifikovat interakci (blok) x (ošetření) a tak odhadnout podíl chyby měření
Znáhodnění (randomizace) • Náhodně vybraný objekt zájmu je takový objekt, který splňuje podmínku, že měl stejnou šanci být vybrán jako všechny ostatní objekty zájmu • „Dělejte to tak, jak říkám, nikoli tak, jak to dělám“
Znáhodnění (randomizace) • Toxikologický test na broucích potemnících • Kontaktní insekticidy: 4 typy + kontrola, pro každé ošetření a kontrolu 3 Petriho misky, na každou misku 10 brouků
Síla testu Nulová hypotéza
Skutečná situace Pravda
Nepravda
Přijata
Správné rozhodnutí
Chyba II. druhu
Odmítnuta
Chyba I. druhu
Správné rozhodnutí
• Pst zamítnutí nulové hypotézy když je nepravdivá • Souvisí s chybou II. druhu (beta) • Čím menší bude chyba II. druhu, tím větší bude chyba I. druhu (alfa) • Většinou pracujeme s alfa = 0,05 a beta = 0,2; síla testu (1 – beta) je pak rovna 0,8 • Tato síla testu se konvenčně používá k výpočtu velikosti vzorku, který je nutný k určení definované velikosti rozdílu mezi vzorky pro známou nebo odhadnutou standardní chybu (např. z pilotní studie)
Experimentální studie 1. Formulujte jasnou hypotézu –
Musí být jednoznačná, tj. nesmí být vysvětlitelná jinými jevy než navrhujete
2. Navrhněte, jak ji testovat –
•
Test musí jednoznačně říci, zda je či není hypotéza pravdivá
Spousta experimentů je dělána bez jasné hypotézy; jejich výsledky pak lze vysvětlit milióny příčin
Observační studie • Můžeme mezi ně zahrnout i tzv. přírodní experimenty (popis situace po výbuchu sopky, na výsypce apod.) • Při zisku informací z observačních studií, které zpravidla představují jediná dostupná data, musíme brát v úvahu všechny limitace těchto dat (neortogonalita, absence kontroly, chybějící opakování atd.) • Výsledky tak často mají spíše charakter hypotéz než jejich potvrzení či zamítnutí
Jak dlouho jev zkoumat • O délce bychom měli rozhodnout před počátkem experimentu • Většina ekologických experimentů patrně probíhá příliš krátkou dobu; krátkodobá dynamika např. po disturbanci (narušení) prostředí přitom může být úplně jiná než její dlouhodobé důsledky • (Podobně krátkozraké může být nedostatečně dlouhé sledování efektů např. v medicínském výzkumu)
Vedle ošetření vždy potřebujete kontrolu Bez kontrolních pokusů nemůžete dospět k žádným věrohodným závěrům
Rozptyl roste s průměrem (Taylorův mocninový zákon) • Základní statistické aplikace jako regrese a ANOVA ale předpokládají, že rozptyl vzorků je konstatní • Vysvětlovanou proměnnou je proto zpravidla potřeba logaritmovat abychom rozptyl stabilizovali • V S-Plusu můžeme místo logaritmování využít různých transformačních funkcí
Pseudoreplikace • Vznikají tehdy, když analyzujeme data jako by měly více stupňů volnosti než ve skutečnosti mají • Časové pseudoreplikace: opakovaná měření na jednom místě v čase • Opakovaná měření na stejném jedinci • Prostorové pseudoreplikace: např. několik měření v těsné blízkosti vedle sebe
Pseudoreplikace • Porušují jeden ze základních předpokladů řádné statistické analýzy: nezávislost chyb • Opakovaná měření v čase na stejném jedinci nebudou mít nezávislé chyby díky tomu, že zvláštnosti měřeného jedince se projeví ve všech měřeních tohoto jedince • Vzorky brané ze stejného kousku pole nebudou mít nezávislé chyby protože zvláštnosti tohoto kousku pole se projeví ve všech měřeních (budeme-li např. měřit výnos, může být tento kousek pole mimořádně úrodný či naopak mimořádně neúrodný)
Pseudoreplikace: příklad s použitím insekticidů • 20 ploch: 10 ošetřených a 10 neošetřených • Na každé ploše je 50 rostlin • Na každé rostlině je počítán hmyz 5 x za sezónu • Experiment má 20 x 50 x 5 = 5 000 čísel; kolik má stupňů volnosti pro měření chyby? • Proč nemá pokus 4 998 stupňů volnosti pro měření chyby, ale jen 18?
Jak analyzovat pseudoreplikovaná data • Analyzovat průměry s pseudoreplikací (předchozí příklad) • Analyzovat každý časový úsek zvlášť • Použít analýzu časových řad nebo smíšené modely (mixed models)
Měření počátečních podmínek • Na počátku pokusu by měly být všechny experimentální jednotky shodné; to je ale třeba dokázat • Nejsme-li schopni prokázat homogenitu jednotek na počátku experimentu, je vždy možné přisoudit konečný rozdíl v experimentu rozdílu v počátečních podmínkách • Nejjednodušší a zároveň zpravidla nejdůležitější bývá zjištění, zda jsou organismy na počátku experimentu stejně velké (např. v růstových experimentech)
Ortogonální vs. neortogonální uspořádání • Ortogonální data - zpravidla plánované experimenty: všechny kombinace ošetření jsou rovnocenně zastoupeny; s výjimkou nehod nejsou žádné chybějící hodnoty • Neortogonální uspořádání – observační data, ve kterých nemáme žádnou kontrolu nad množstvím individuí použitých pro analýzu; zastoupení kombinací pro ošetření není proto rovnocenné
Ortogonální vs. neortogonální data: rozdíly v analýze • Při ortogonálním uspořádání je odchylka příslušející vysvětlujícímu faktoru konstantní a nezávisí na pořadí, v jakém je faktor z modelu odstraňován • Při neortogonálním uspořádání je odchylka příslušející vysvětlujícímu faktoru závislá na pořadí, v jakém jsou faktory z modelu odstraňovány
Chybějící hodnoty • Mohou se objevit v každém typu analýzy • Vždy způsobují „naředění“ experimentu • S-Plus si sice umí s chybějícími hodnotami poradit, ale vždy to je na úkor dosažených výsledků: menší d.f., nafouknuté standardní chyby -> snížení psti, že dosáhneme průkazné výsledky
Fixní a náhodné efekty • Fixní efekty jsou takové, které vyvolává experimentátor (Model I ANOVA) • Náhodné efekty jsou zpravidla místa, kde pokus opakujeme (Model II ANOVA)
Fixní a náhodné efekty • Často jsou experimentálně kombinované • Například různá společenstva slouží jako statistické bloky (náhodný efekt), ve kterých aplikujeme ošetření (fixní efekt)
Fixní a náhodné efekty • V případě fixních efektů předpokládáme, že příčina odlišností je v působení efektů • V případě náhodných efektů buď pouze víme, že působení je odlišné, ale nevíme proč, a nebo to sice víme, ale zajímá nás, jak naše ošetření působí v různých případech (např. fixní efekt odrůdy na různě úrodných půdách, které představují statistický blok)
Experimentální uspořádání • Mějme faktor (kategorická proměnná) se 4 úrovněmi, s 8 opakováními každé úrovně (4 x 8 = 32 čísel) • Předpokládejme, že jde o polní experiment prováděný na 32 polích
Zcela znáhodnělé uspořádání (completely randomized design) • 32 papírků s opakováními (8 pro každou ze 4 úrovní faktoru), které představují jednotlivá pole, vytáhneme z klobouku • Tento postup nejlépe zabraňuje zkreslení výsledků (bias)
Zcela znáhodnělé uspořádání: slabiny • Aplikovat 4 typy ošetření na 32 ploch bude prakticky obtížné • Budou-li od sebe plochy vzdálené a v určité oblasti přitom budou plochy podobné, může se nám navíc stát, že ošetření v určité oblasti budou spleteny (confounded) s charakterem dané oblasti
Zcela znáhodnělé uspořádání: Příklad v S-Plus
Stratifikované náhodné uspořádání (stratified random sampling; stratum = vrstva) • Pole rozdělené do vrstev • V každé vrstvě je jedna plocha pro každé ošetření (v našem příkladu 4 plochy) • Počet vrstev je je tedy velikost experimentu (32) dělená počtem ošetření (32/4 = 8) • Ošetření je přiřazováno každé ploše v rámci vrstvy náhodně
Stratifikované náhodné uspořádání • Každé ošetření má stejnou pst objevit se na každé ploše • Existují-li systematické rozdíly v kvalitě ploch, stratifikované náhodné uspořádání je může vzít v úvahu
Jak byste uspořádali vrstvy? Rovnoběžně s gradientem vlhkosti (a) nebo kolmo na gradient (b)? V případě (a) mají všechny vrstvy stejnou průměrnou vlhkost, ale každá vrstva je vnitřně heterogenní; v případě (b) je každá vrstva vnitřně homogenní, ale má jinou průměrnou vlhkost
Vyberete-li případ (a), Vaše 4 plochy budou tvořeny plochou velmi vlhkou, vlhkou, suchou a velmi suchou. Když každé vrstvě náhodně přidělíte ošetření, předem víte, že efekt ošetření bude spleten (counfouded) s efektem plochy. Musíte věřit, že znáhodnění proběhne tak, že se efekty plochy vyruší (ale proč by se to mělo stát?)
Vyberete-li případ (b), Vaše 4 plochy budou mít stejnou vlhkost, takže efekt ošetření nebude spleten s efektem plochy. Průměrná odpověď nebude v každé vrstvě stejná, protože bude záviset na vlhkosti. Můžete ale věřit tomu, že v každé vrstvě odpovídající určité vlhkosti dostanete nespletený efekt ošetření.
V případě (b) se tedy průměrný výnos bude lišit mezi vrstvami, ale to je výhoda, nikoli nevýhoda. Efekt vrstvy lze totiž odstranit jako statistický blok v průběhu analýzy variance. Variabilita uvnitř vrstvy se tím značně zmenší, protože veškerá variabilita působená vlhkostí bude z modelu odstraněna. Zbylou variabilitu můžeme přisoudit rozdílům mezi ošetřeními.
Slabinou tohoto přístupu však zůstává možnost, že samotný efekt ošetření může na vlhkosti záviset. To je efekt interakce (ošetření) x (vlhkost). Abychom mohli zjišťovat jeho vliv, musí být ošetření opakováno v každé vrstvě. Chyba, která nám zbude, už je pak čistá chyba měření.
Stratifikované náhodné uspořádání Příklad v S-Plus
Latinské čtverce Gradient může být vícesměrný; může se např. týkat Zároveň vlhkosti a obsahu živin
Latinské čtverce Bude-li gradient takový, jak znázorňuje obr., pak se 4 ošetřeními můžeme vytvořit 4 x 4 = 16 ploch v jednom čtverci a opakovat celé uspořádání dvakrát; tím získáme naše n = 32.
Latinské čtverce: omezené znáhodnění D
A
C
B
C
D
B
A
B
C
A
D
A
B
D
C
Latinské čtverce: omezené znáhodnění Příklad v S-Plus
Faktoriální vs. hierarchické uspořádání (Factorial vs. nested desing)
Faktoriální uspořádání Zjišťování, zda úroveň jednoho faktoru závisí na úrovni jiného faktoru
Faktoriální uspořádání: pozor na počet vysvětlujících proměnných • Vysvětlovaná proměnná účinek léku • Vysvětlující proměnné pohlaví (2 úrovně), věk (3), rasa (3), zaměstnání (4), vzdělání (3), životní úroveň (3), kuřácký návyk (2) • Počet kombinací v pokusu = 2 x 3 x 3 x 4 x 3 x 3 x 2 = 1296 • Minimální počet pozorování = 1296 x 2 = 2 592
Faktoriální vs. hierarchické uspořádání • Uspořádání je faktoriální, jestliže: – Jestliže máme opakování pro každý interakční člen – Kombinace ošetření jsou navzájem nezávislé – Kombinace ošetření jsou náhodné
Faktoriální vs. hierarchické uspořádání: příklad na (ne)závislost ošetření • Vysvětlovaná proměnná je růst hmyzu • Vysvětlující proměnné typ potravy (5 typů, na každé potravě tři opakování) a teplota (4 teploty ve čtyřech různých klimatických komorách) • Kolik klimatických komor potřebujeme, aby šlo o faktoriální experiment?
Faktoriální vs. hierarchické uspořádání: příklad na (ne)závislost ošetření • 5 potrav s 3 opakováními = 15 komor pro každou teplotu • Teploty jsou 4 = 4 x 15 = 60 komor • Protože komory máme čtyři, nemůže jít o faktoriální uspořádání • (Jde o split – plot uspořádání)
Uspořádání dělením ploch: splitplot design Různé typy ošetření jsou aplikované na různě velké plochy
Split plot design – příklad
Split-plot design: analýza • Ošetření (= faktor) jsou aplikována na plochy různé velikosti • Každá plocha má proto jinou nevysvětlenou variabilitu (error term), přes kterou testujeme význam ošetření (faktoru), který byl na plochu aplikován
Split-plot design: analýza • Tři typy ošetření (=faktory): – Zavlažování (ano, ne = 2 úrovně faktoru) – Hustota porostu (nízká, stření vysoká = 3 úrovně faktoru) – Hnojení (slabé, střední, silné = 3 úrovně faktoru)
• Opakování ve 4 blocích (= pole) • Celkem 4 x 3 x 3 x 2 = 72 výnosů (= vysvětlovaná proměnná)
Split-plot design: analýza • Začínáme ošetřením (= faktorem) aplikovaným na největší ploše a pokračujeme v hierarchii ošetření směrem dolů, tj. na menší plochy • V každém stádiu analýzy je správná nevysvětlená variabilita, přes kterou testujeme efekt ošetření (tj. Error) interakce mezi blokem a všemi faktory v hierarchii výše
Závlaha Zdroj
SS
df
MS
F
Závlaha
8278.0
1
8278.0
17.6
Blok
194.4
3
64.8
0.1 (NS)
Chyba (Z)x(B)
1412.0
3
471.0
• pro závlahu máme jen 8 čísel (4 bloky x 2 úrovně závlahy), ne 72 • stupně volnosti jsou proto 7 celkem, 4-1=3 pro bloky, 2-1=1 pro závlahy a 7-3-1=3 pro chybu • ve faktoriálním experimentu by chyba měla 2x3x3x(4-1)=54 df
Porost Zdroj
SS
df
MS
F
Porost
1758.0
2
879.0
3.8
(Porost) x (Závlaha) 2747.0
2
1373.5
5.9
Chyba (P)x(Z) + (P)x(Z)x(B)
12
232.3
2788.0
Hnojení Zdroj
SS
Hnojivo
df
MS
F
1977.0 2
988.5
11.4
(Hnojivo) x (Závlaha)
953.4
2
476.7
5.5
(Hnojivo) x (Porost)
304.9
4
76.2
NS
(Hnojivo) x (Porost) x (Závlaha) Chyba (H)x(P)x(Z)x(B) + (H)x(Z)x(B) + (H)x(B)
234.7
4
58.7
NS
3108.8 36
86.4
Split plot analýza – testování pomocí nevysvětlené variability • Je to vždy interakce • Je vždy tvořena faktorem, který právě testujeme, plus všemi faktory v hierarchii výše • Stupně volnosti postupně stoupají s tím, jak jdeme v hierarchii níže
Efektivní uspořádání regresní analýzy Dva kontrastní případy pro zdroje omezené na 14 experimentálních opakování
(a) Nejednodušší je uspořádat všechna měření ve stejně vzdálených intervalech podél osy x. To je nejefektivnější pro nalezení prahové hodnoty efektu a nelinearity jeho působení. Je to ale nejméně efektivní uspořádání pro minimalizaci standardní chyby regresního sklonu. Standardní chyba regresního sklonu roste s rozptylem chyby a klesá s rostoucím rozsahem hodnot podél osy x SE y =
s2 SSX
(b) Výhodou tohoto uspořádání je, že má opakování pro každou hodnotu x, takže umožňuje odhad chyby vzorku nezávisle na regresním sklonu. Tím umožňuje v nejvyšší možné míře testy významnosti odchylek regresního sklonu od linearity
(c) Kompromisní uspořádání mající opakování pro měřené hodnoty x (takže umožňuje nezávislé testování chyby vzorku), ale s větším počtem opakování na obou koncích (takže se zmenšuje standardní chyba odhadu regresního sklonu, protože se zvětšuje hodnota SSX). SE y =
s2 SSX
(d) Podobný kompromis, s menší standardní chybou sklonu, ale také s menší schopností detekovat nelinearitu.
(e) Toto uspořádání by bylo rozumné, pokud bychom věděli, že závislost bude mocninová. Bylo by ale nerozumné pro sigmoidní závislost (neodhalilo by totiž nelinearitu). Mocninová závislost Sigmoidní závislost
(f) Jako (e), ale extrémnější. Dává dobrý odhad standardní chyby sklonu, pokud se ukáže, že vztah je lineární. 2 SE y =
s SSX
(g) Je-li vztah lineární, toto uspořádání vede k nejmenší standardní chybě. Neumožňuje však detekovat nelinearitu. s2 SE y =
SSX
