24.3.2010
Statistická a věcná významnost
Statistická významnost
Petr Soukup 5.11.2009
Historie hypotézy a testů
Hypotézy a statistické testy
• Fisher (1925)
• Nulová a alternativní hypotéza
• Null and alternative hypothesis (NHST) (Neyman&Pearson, 1937)
• Statistický test a testové kritérium • Rozhodnutí na základě statistických testů
• Dnes běžná praxe a součást výuky
• Běžné testy-t-testy, analýza rozptylu, regrese, korelace apod.
1
24.3.2010
Co je to statistická významnost? Rozhodnutí Platí
H0
H1
H0
OK (P=1- α)
Chyba prvního druhu (P= α)
H1
Chyba druhého druhu (P= β)
OK (P= 1-β) Síla testu
Definice: Statistická významnost je pravděpodobnost, že náš výběrový soubor pochází ze základního souboru, ve kterém platí nulová hypotéza. P(D/H0) ne P(H0/D)
Specifické situace (limity) • • • • •
úplná zjišťování, nenáhodné výběry, malé výběry, výběry z malých populací a velké výběry, agregace dat, mezinárodní datové soubory
Předpoklady použití stat. významnosti • Základní vymezení: Velký náhodný výběr z velkých základních souborů • Velký (nekonečný) základní soubor (min.100krát větší než výběr) • Výběr proveden pravděpodobnostně (všechny jednotky stejná P vybrání) • Výběr dostatečně velký (cca 30-50)
Základní „nedostatky“ stat. významnosti • a) nedostatečná výpověď o základním souboru, • b) nereálnost nulových hypotéz (viz r), • c) mechanická práce s klasickou 5% hladinou (hvězdičky, stepwise, nejlepší modely apod.), • d) statisticky významné neznamená důležité, • e) nepublikování statisticky nevýznamných výsledků
2
24.3.2010
Literatura o problémech • Harlow, L., L., S. A. Mulaik, M., L. Steiger. 1997. What if there were no significance tests? Mahwah (NJ): Erlbaum • Morisson, D. E., R., E. Henkel. 1970. The significance test controversy – a reader 1970 Chicago: Aldine
Statistické alternativy ke statistické významnosti
• a mnoho (cca stovky) článků
Možné alternativy stat. významnosti • Intervaly spolehlivosti (r), • Síla testu, • Odhad minimální velikosti výběrového souboru, what if strategie (Openstat), • Porovnání více modelů pomocí informačních kritérií (AIC, BIC), • Slovní řešení problémů (návrhy)
„Problémy“ alternativ stat. významnosti • aplikace – často chybí v SW • neučí se • nikdo to nevyžaduje (redakční rady) • … a tak to nikdo nepoužívá • JE NA NÁS TO ZMĚNIT!
3
24.3.2010
Terminologie
Věcná významnost
Pokusy měřit věcnou významnost
• • • • • • •
Česky neustálená Anglicky: Practical significance Substantive significance Logical significance Scientific significance a někdy též: result importance či result meaningfulness
Effect size - třídění
• Absolutní věcná významnost
• Dle toho co měří (rozdíl vs. rozptyl)
• Relativní věcná významnost • Příklad: Příjmy jedince u mužů a žen
• Dle vychýlenosti (zkreslenosti) • Dle situace pro níž slouží
• Dnes zejm. tzv. Effect size measures
4
24.3.2010
Effect size - známé
Effect size - známé
• R2 (i adj. R2 )
• regresní koeficienty i standardizované
• Eta2
• řádková či sloupcová procenta
• Korelace dle Pearsona • Kontingenční koeficient
Effect size – méně známé • Šance a poměry šancí či RR (loglineární modely, logistická regrese)
Effect size – téměř neznámé • Cohenovo d • Hedgesovo g
• Lambda, kanonická korelace (diskriminační analýza)
• Glassovo delta • Haysovo omega
5
24.3.2010
Effect size – ukázky výpočtů
Effect size – problémy
• Cohenovo d
• Jde o charakteristiky pro výběr
• Hedgesovo g
• Pro zobecnění vhodné intervaly spolehlivosti
• Glassovo delta
• Nemají běžně tabelovaná stat. rozdělení
• Haysovo omega
• nutno užít speciální SW
„Problémy“ effect size • neučí se • nikdo to nevyžaduje (redakční rady)
Nebezpečí effect size • Mechanická aplikace (hranice pro d,r, apod.) • Nucení do výpočtů jako striktní (příp. i nepsaný) požadavek
• … a tak to nikdo nepoužívá • JAK TO MŮŽE SKONČIT? • JE NA NÁS TO ZMĚNIT? • TO UŽ TUŠÍME NA HISTORII STAT. VÝZNAM.
6
24.3.2010
Kombinace věcné a stat. význam. • Doporučení • Nejdřív P, pak d • Nejdříve d, pak P
Další významnosti
• A CO SI VYBRAT? • HLAVNÍ JE NAD VÝSLEDKY PŘEMÝŠLET A NE JEN MECHANICKY POČÍTAT!
Další významnosti • Ekonomická • Klinická • A CO PŘIJDE DÁLE? • PLATÍ ŠALAMOUNOVO TVRZENÍ, ŽE VŠE JIŽ BYLO ŘEČENO! • DÁVÁME JEN NOVÉ NÁZVY STARÝM KONCEPCÍM?
DÍKY ZA POZORNOST I DOTAZY
7
