˝ B IOMATEMATIKA EL OADÁS
11. Hipotézisvizsgálat, statisztikai tesztek
Debreceni Egyetem, 2015 Dr. Bérczes Attila, Bertók Csanád
A diasor tartalma
1
Bevezetés Hipotézis, hibák
2
Statisztikai tesztek u-próba F-próba t-próba χ 2 -próba Normalitásvizsgálat Példa
Bevezetés
M IRE JÓK A STATISZTIKAI TESZTEK ? A korábbiakban tanultak bár a valószín˝uségszámítás és a statisztika igen fontos eszközei, közvetlenül mégsem alkalmazhatóak arra, hogy két adatsort összehasonlítsunk egymással, vagy egy adatsort vessünk össze egy el˝ore megadott értékkel. Természetesen alapszint˝u következtetéseket le tudunk vonni (az egyik populáció átlagos tömege lényegesen eltér a másikétól, a szórásuk azonos, stb.), ám ezen eredmények a tudományos életben nem állják meg a helyüket. Ahhoz, hogy igazán pontos összehasonlítást kapjunk a vizsgált tulajdonságunkra vonatkozólag elengedhetetlen az ún. statisztikai tesztek használata, melyek segítségével megmondható, hogy "a két adatsor pl. 99%-os pontossággal azonosnak/különböz˝onek tekinthet˝o".
Bevezetés Megjegyzés Mivel ezen alapszint˝u kurzus alatt sajnos az id˝o nem engedi, így a tanult teszteket pontosabb matematikai háttér nélkül, felsorolásszer˝uen ismertetjük, majd a kés˝obbiekben egy igen elterjedt számítógépes program segítségével, konkrét példákon keresztül mutatjuk be. Hipotézisek A statisztikai vizsgálatok során els˝o lépésben mindig ún. hipotéziseket állítunk fel, melyeket a vizsgálataink során vagy elvetünk, vagy megtartunk. A kiindulási hipotézisünket nullhipotézisnek nevezzük és H0 -val jelöljük. Ezt követ˝oen adott α értékhez meghatározunk egy olyan számhalmazt (kritikus tartományt), melybe a vizsgált statisztikai függvény értéke α valószín˝uséggel esik, feltéve, hogy a hipotézis igaz.
Bevezetés Ha α elég kicsi, úgy ezen esemény bekövetkezési esélye igen alacsony, így ilyenkor azt mondjuk, hogy a nullhipotézist elvetjük. Ellenkez˝o esetben, azaz ha nem a kritikus tartományba esik a megfigyelt érték, megtartjuk a hipotézist. Hibák Statisztikai vizsgálatok során két f˝o hibát követhetünk el: 1
Els˝ofajú hiba alatt azt értjük, hogy elvetjük a hipotézisünket, holott az mégis igaz.
2
Másodfajú hiba alatt pedig épp ennek fordítottját értjük, azaz azt, hogy elfogadjuk a hipotézist annak ellenére, hogy az nem igaz.
Bár mindkét hiba elkövetése igen szerencsétlen a vizsgálat szempontjából, azonban vannak olyan esetek, amikor az egyik elkövetése kisebb problémával jár, mint a másiké (pl. gyógyszer mellékhatásainak vizsgálatánál, ha az a nullhipotézisünk, hogy mellékhatásként rendkívül gyakran lép fel rosszullét).
Statisztikai tesztek Az alábbiakban fontos statisztikai tesztek kerülnek ismertetésre. A korábban említettek alapján a tárgyalásuk során igyekszünk az alábbi pontokra támaszkodni: Paraméteres, vagy nemparaméteres-e a teszt? Mi a nullhipotézis (H0 ) és ellenhipotézis (H1 )? Milyen adatsor esetén alkalmazható? Van-e az alkalmazásnak bármilyen el˝ofeltétele? Példa, hogy mire alkalmazzák (számolás nélkül). Szignifikancia szint Legyen α 0 és 1 közé es˝o szám. Ekkor az alkalmazott statisztikai tesztünk esetén a 100(1 − α)% számot szignifikancia szintnek nevezzük. Ez lényegében azt jelenti, hogy (100 · α)%-nyi kockázatot vállalunk arra, hogy els˝ofajú hibát követünk el. Tehát ha pl. α = 0, 01, úgy a tesztünkbe "belekalkuláltuk" azt, hogy 1% eséllyel elvetjük a nullhipotézisünket, holott az mégis igaz.
Statisztikai tesztek - u-próba Egymintás u-próba (z-próba) Paraméteres próba. H0 : E(ξ ) = m, azaz ha a valószín˝uségi változónk ξ , úgy a nullhipotézisünk az, hogy ξ várható értéke megegyezik egy el˝ore megadott m értékkel. Az ellenhipotézis Kétoldali próba esetén: H1 : E(ξ ) 6= m. Egyoldali próba esetén: H1 : E(ξ ) < m (baloldali ellenhipotézis), vagy H1 : E(ξ ) > m (jobboldali ellenhipotézis).
A használatához szükségesek: ξ eloszlása normális legyen (ezt vagy teszttel, vagy szakirodalom segítségével igazolhatjuk). A valószín˝uségi változó várható értéke ismeretlen legyen, szórása viszont ismert. ξ egy adott intervallumon minden értéket felvehessen.
Statisztikai tesztek - u-próba Kétmintás u-próba (z-próba) Paraméteres próba. H0 : E(ξ ) = E(η), azaz ha most két valószín˝uségi változónk van, akkor a nullhipotézisünk az, hogy ξ és η várható értékei megegyeznek. Az ellenhipotézis: H1 : E(ξ ) 6= E(η). A használatához szükségesek: A két valószín˝uségi változó független legyen, eloszlásuk pedig normális (ezeket ellen˝orizni kell). A várható értékek ismeretlenek legyenek, a szórások viszont ismertek (azaz ne becsüljük o˝ ket). ξ és η értékei egy adott intervallumon tetsz˝olegesek lehessenek.
Példa - egymintás esetben Normális eloszlást feltételezve, az alábbi X mért érték ismeretében igaz-e, hogy a magyarországi feln˝ott férfiak testmagasságának átlaga σ = 5 cm-es szórás mellett 178 cm?
Statisztikai tesztek - F-próba F-próba Paraméteres próba. H0 : D2 (ξ ) = D2 (η), azaz ha két valószín˝uségi változónk van, úgy a nullhipotézis az, hogy a varianciájuk (szórásnégyzetük) megegyezik-e. Az ellenhipotézis: H1 : D2 (ξ ) 6= D2 (η). A használatához szükségesek: A két valószín˝uségi változó független legyen, eloszlásuk pedig normális (ezeket ellen˝orizni kell). A valószín˝uségi változók várható értéke és szórása ismeretlen legyen. ξ és η értékei egy adott intervallumon tetsz˝olegesek lehessenek.
Felhasználás Leggyakrabban más statisztikai tesztek (pl. t-próba) "el˝ofutáraként" használják, azaz az adott teszt alkalmazhatóságának feltételét ellen˝orzik vele.
Statisztikai tesztek - t-próba Egymintás t-próba Paraméteres próba. H0 : E(ξ ) = m, azaz ugyanaz a nullhipotézis, mint az egymintás u-próba esetén. H1 : ld. u-próba, mind egyoldali, mind kétoldali esetben. A használatához szükségesek: ξ eloszlása normális legyen. A valószín˝uségi változó várható értéke és szórása is ismeretlen legyen. ξ értékei egy adott intervallumon tetsz˝olegesek lehessenek.
Példa Igaz-e, hogy normális eloszlás feltételezése mellett, az alábbi X mért érték ismeretében a magyarországi feln˝ott férfiak testmagasságának átlaga 178 cm? Itt sem a tényleges átlag, sem a szórás nem ismert, de a minta alapján becsülhet˝o.
Statisztikai tesztek - t-próba Kétmintás t-próba Paraméteres próba. H0 : E(ξ ) = E(η), azaz a nullhipotézis ugyanaz, mint a kétmintás u-próba esetén. H1 : szintén a kétmintás u-próba ellenhipotézise a mérvadó. A használatához szükségesek: A két valószín˝uségi változó független legyen, eloszlásuk pedig normális (ezeket ellen˝orizni kell). A valószín˝uségi változók várható értéke és szórása ismeretlen legyen. A valószín˝uségi változók szórása azonos legyen (F-próba). ξ és η értékei egy adott intervallumon tetsz˝olegesek lehessenek.
Példa Normális eloszlást feltételezve igaz-e, hogy az alábbi mért X és Y értékek ismeretében a magyarországi és angliai feln˝ott férfiak testmagassága megegyezik? A szórásokat nem ismerjük, így el˝oször F-próbát alkalmazunk.
Statisztikai tesztek - χ 2 -próba χ 2 -próba Nagyon sok vizsgálatra alkalmazható: Tiszta illeszkedésvizsgálat: H0 : Fξ = F0 , azaz ebben az esetben az a nullhipotézisünk, hogy az adott valószín˝uségi változó eloszlásfüggvénye megegyezik-e egy el˝ore megadott eloszlásfüggvénnyel. Tiszta illeszkedésvizsgálat esetén az eloszlás összes paramétere ismert. Becsléses illeszkedésvizsgálat: Szintén azt vizsgálja, hogy ξ eloszlása egy el˝ore megadott típusú-e, ám a paramétereket nem ismerjük, azokat csak becsülni tudjuk a mintából. Homogenitásvizsgálat: H0 : ξ és η azonos eloszlású. Ezzel két adatsor eloszlásának egyezését tudjuk vizsgálni. Tiszta függetlenségvizsgálat: Ha ismert ξ és η eloszlása, úgy azt vizsgálja, hogy a két valószín˝uségi változó független-e egymástól. Becsléses függetlenségvizsgálat: Szintén ξ és η függetlenségét vizsgálja, ám ebben az esetben nem ismerjük a két valószín˝uségi változó eloszlását.
Statisztikai tesztek - χ 2 -próba Megjegyzés A χ 2 -próba diszkrét eloszlások, adatsorok esetén alkalmazható, így normális eloszlást nem tudunk tesztelni vele. Így az u-, t-, F-próbák esetén más tesztet kell alkalmazni a normális eloszlás vizsgálatára. Példa A biológiában leggyakrabban függetlenségvizsgálatra szokták alkalmazni a próbát. Például igaz-e, hogy egy adott populációban a haj- és a szemszín összefügg egymással? Ekkor nyilván diszkrét adatsorról beszélünk, és pl. egy ilyen táblázat készíthet˝o el: PP PP Szem PP Haj P P Sz˝oke Vörös Barna Fekete
Kék
Zöld
Barna
Fekete
30 f˝o 27 f˝o 43 f˝o 20 f˝o
23 f˝o 39 f˝o 11 f˝o 15 f˝o
11 f˝o 12 f˝o 31 f˝o 26 f˝o
8 f˝o 4 f˝o 8 f˝o 37 f˝o
Statisztikai tesztek - normalitásvizsgálat Normalitásvizsgálat Ahhoz, hogy alkalmazni tudjuk az el˝oadás elején tanult teszteket, elengedhetetlen, hogy a mintánk normális eloszlású legyen. Ezt vagy a szakirodalom alapján döntjük el (pl. testtömeg, testmagasság eloszlása rendszerint normális eloszlást követ), vagy ún. normalitásvizsgálatot alkalmazunk. Ennek több módszere van: Az egyik legszemléletesebb a grafikai eljárás. Ekkor a kapott adatsorunkból hisztogramot készítünk, majd ezt vetjük össze a normális eloszlás görbéjével. Ha az eloszlás normális, akkor a két diagram alakja hasonló.
Statisztikai tesztek - normalitásvizsgálat A másik módszer a ferdeségi/csúcsossági együttható vizsgálata. Normális eloszlás esetén mindkét érték 0. Természetesen a vizsgálatok során sosem fogunk 0 értéket kapni, így ha "elég közel" kerül a 0 értékhez, akkor már elfogadjuk normális eloszlásként. Ferdeségi eh.:
1 n
∑ni=1 (xi − x)3 , Csúcsossági eh.: σ3
1 n
∑ni=1 (xi − x)4 − 3. σ4
Egy elterjedt teszt az ún. Jarque-Bera próba, mely során az alábbi értéket kell kiszámolni: n 2 K2 S + , 6 4 ahol S jelenti a ferdeséget, K pedig a csúcsosságot. Ezt követ˝oen a χ 2 táblázatból kikeressük a 2 szabadsági fokhoz tartozó χα2 értéket és a kiszámolt számot összevetjük ezzel. Ha a kapott számunk nagyobb, mint a táblázatban szerepl˝o érték, akkor az adatsor nem normális eloszlású.
Statisztikai tesztek - normalitásvizsgálat, példa 200, 1995-ben született csecsem˝o testtömegér˝ol az alábbi hisztogramot készíthetjük:
Döntsük el, hogy normális eloszlást követ-e az adatsorunk α = 0, 1 választás mellett!
Statisztikai tesztek - normalitásvizsgálat, példa Bár látszólag elég jól kiadja a hisztogram a kívánt haranggörbét, azonban az elején lév˝o néhány apró érték torzítja az adatsorunkat. Számoljuk ki a ferdeséget és csúcsosságot! x = 3250, 155, σ = 25, 27. A fentiek alapján számítógép segítségével számolva: Ferdeség = −1, 212, Csúcsosság = 3, 867. Kiszámolva a próbastatisztikát: n 2 K2 200 3, 8672 2 S + = (−1, 212) + = 173, 579. 6 4 6 4 2 = 4, 605, így az eloszlás nem normális. A táblázatból kikeresve: χ0,1
Statisztikai tesztek - normalitásvizsgálat, példa Megjegyzések A statisztikai programok (pl. az R) a "hagyományos" szórás helyett a korrigált empirikus szórást használja a képletben. Így a kapott értékek minimálisan eltérhetnek (minél nagyobb a mintaelemszám, annál kevésbé). A fenti teszt csak 2000, vagy annál nagyobb mintaszám esetén követi a χ 2 eloszlást. Így kisebb mintaszámnál szimulálni kell a szükséges kritikus értékeket. A kritikus értékek kiszámításához ún. Monte-Carlo szimulációt szokás használni. A szakirodalomban a próbastatisztika gyakran így szerepel: n 2 (K − 3)2 S + . 6 4 Ennek oka, hogy a csúcsosságnál nem mindig vonják ki el˝ore a 3-at a számolás során.
Példák Egymintás t-próba Egy felmérés során 10 feln˝ott férfi testmagasságát mérték meg cm-ben. Az alábbi értékeket kapták: h 168 172 187 191 179 155 164 170 173 175 Igaz-e, hogy a férfiak átlagos magassága 175 cm? Legyen a szignifikancia-szint 95%!
Példák
Példák
Kétmintás t-próba - párosított Egy diéta el˝ott és után megmérték 10 ember testtömegét és az alábbi értékeket kapták: B 73.2 78.4 71.6 79.7 83.5 69.8 72.1 65.2 71.7 77.4 A 71.3 76.2 72.6 80 81.4 69.2 70 66.1 70.9 72.3 Megjegyzés Vegyük észre, hogy a mintáink nem függetlenek, hiszen ugyanazokat az embereket néztük, csak kezelés el˝ott és után. Így ún. párosított t-próbát kell alkalmaznunk.
Példák
Példák Kétmintás t-próba Két gyógyszer hatását vizsgáltuk egy 12 és egy 8 emberb˝ol álló mintahalmazon. Az alábbi táblázat tartalmazza a hatóid˝oket percben: A : 13, 4, 12, 5, 17, 8, 20, 4, 19, 3, 18, 9, 16, 4, 15, 8, 14, 3, 14, 7, 13, 8, 12, 7 B : 20, 1, 22, 3, 25, 6, 21, 9, 20, 3, 21, 2, 22, 7, 21, 9 Igaz-e, hogy az A gyógyszer gyorsabban hat, mint a B? Megjegyzés Mivel a mintáink most függetlenek (a két embercsoport és a gyógyszerek között feltehet˝oen nincs semmi kapcsolat), így ún. kétmintás t-próbát használunk. Mivel arra vagyunk kíváncsiak, hogy az A gyógyszer hatóideje kisebb, mint a másiké, így egyoldali próba kell.
Példák
Példák
Mi történik, ha a szórások nem egyeznek meg? Nézzük ugyanazt a kísérletet, de most ezzel az adatsorral: A : 13, 4, 12, 5, 17, 8, 20, 4, 19, 3, 18, 9, 16, 4, 15, 8, 14, 3, 14, 7, 13, 8, 12, 7 B : 10, 1, 20, 2, 20, 3, 25, 6, 28, 7, 25, 2, 26, 4, 30, 9 Megjegyzés Ahogy látni fogjuk, a szórások nem egyeznek meg, így nem lehet a "hagyományos" t-próbát alkalmazni. Ilyenkor az ún. Welch-próbát kell használni.
Példák
