Kabos: Statisztika II.
ROC elemz´ esek 10.1
ROC elemz´ esek Szenzitivit´as ´es specificit´as a jelfeldolgoz´as sz´ohaszn´alat´aval A riaszt´oberendez´es ´erz´ekeli, ha t´amad´as j¨on, ´es ilyenkor riaszt. M´askor nem.
TruePositiveAlarm: riaszt ´es t´amad´as j¨on FalseNegativeAlarm: nem riaszt & t´amad´as FalsePositiveAlarm: riaszt & nincs t´amad´as TrueNegativeAlarm: nem riaszt & nincs t´amad´as
Riaszt´asi esem´eny val´osz´ın˝us´egek P11= P(riaszt ´es t´amad´as j¨on) P01= P(nem riaszt ´es t´amad´as j¨on) P10=P(riaszt ´es nincs t´amad´as) P00=P(nem riaszt ´es nincs t´amad´as)
Kabos: Statisztika II.
ROC elemz´ esek 10.2
K´etf´ele helyes m˝uk¨od´es van (TP ´es TN), ´es k´etf´ele hib´as (FN ´es FP). FalseNegative: a riaszt´as hib´as elmulaszt´asa, ez vesz´elyes hiba. FalsePositive: ok n´elk¨uli riaszt´as, ez nem annyira vesz´elyes, ´amb´ar kellemetlen hiba.
A statisztikai hipot´ ezisvizsg´ alat sz´ ohaszn´ alat´ aval: H0: t´amad´as j¨on. A jelfeldolgoz´o els˝ofaj´u hib´at akkor k¨ovet el, ha nem riaszt, mik¨ozben H0 bek¨ovetkezik, azaz t´amad´as j¨on.
Els˝ ofaj´ u hibaval´ osz´ın˝ us´ eg = = P(nem riaszt | t´amad´as j¨on) = 1- szenzitivit´as
P01 P01 + P11
Kabos: Statisztika II.
M´ asodfaj´ u hibaval´ osz. = = P(riaszt | nincs t´amad´as)
ROC elemz´ esek 10.3
P10 P10 + P00
= 1- specificit´as
Egyszer˝u eset, amikor mind a nullhipot´ezis, mind az ellenhipot´ezis egy´ertelm˝uen (de egym´ast´ol elt´er˝oen) hat´arozza meg a minta eloszl´as´at. Az ´altalunk vizsg´alt legt¨obb pr´ob´an´al a nullhipot´ezis ilyen egyszer˝u, de az ellenhipot´ezis ¨osszetett. Ilyenkor a matematikusok az ellenhipot´ezis ´altal le´ırt ¨osszes lehets´eges szitu´aci´ora igyekeznek kisz´am´ıtani a m´asodfaj´u hib´at. Ez sajnos nem mindig egyszer˝u.
Ellent´etben a fent ´ırt matematikusokkal, mi ¨onk´enyesen kiv´alasztunk egyet az ellenhipot´ezis ´altal le´ırt eloszl´asok k¨oz¨ul, ´es ebben a leegyszer˝us´ıtett szitu´aci´oban ROC g¨orb´evel szeml´eltetj¨uk az els˝o- ´es m´asodfaj´u hib´at.
Kabos: Statisztika II.
ROC elemz´ esek 10.4
Az ROC g¨orb´eink v´ızszintes tengelye a m´asodfaj´u hibaval´osz´ın˝us´eg (1-specificit´as), a f¨ugg˝oleges tengely az 1 - els˝ofaj´u hibaval´osz´ın˝us´eg (szenzitivit´as).
Az ´abr´ak u´gy k´esz¨ultek, hogy v´eletlensz´am gener´atorral 10000 ism´etl´esben szimul´altunk mintav´etelt. Az ´abr´ak elm´eleti v´altozat´at is k¨onny˝u elk´esz´ıteni: a piros eloszl´ason alkalmazott elfogad´asi tartom´anyt (mely a 0.05 szignifikancia szinthez tartozik) v´altoztatni kell, mik¨ozben a hozz´atartoz´o z¨old cs´ıkos tartom´any ter¨ulet´et kell n´ezni. Az ROC ´abr´an a f¨ugg˝oleges tengely az 1-szignif.szintet, a v´ızszintes tengely a z¨old cs´ıkos ter¨uletet jelenti. Az egymint´ as z-pr´ oba m´asodfaj´u hib´aj´at a Minta ZH feladataiban bemutatott elj´ar´assal lehet kisz´amolni. V´alaszoljunk erre a k´erd´esre: h´any SH a k¨ul¨onbs´eg a val´odi ´es a hipot´ezisben feltett v´arhat´o´ert´ek k¨oz¨ott? (a k´erd´esben a minta´atlag SH-ja szerepel) A v´alaszb´ol megtudjuk, mekkora (´es milyen ir´any´u) eltol´assal keletkezik a z¨old g¨orbe a pirosb´ol.
Kabos: Statisztika II.
ROC elemz´ esek 10.5
Tov´abbi ROC-elemz´eseket az´ert n´ez¨unk, hogy a statisztikai pr´ob´ak teljes´ıtm´eny´et ´ert´ekelj¨uk. A k´ıs´erletekben a pr´ob´ak olyan k´erd´est vizsg´alnak, amire (az alapeloszl´as ´altalunk be´all´ıtott param´eterei r´ev´en) mi tudjuk a helyes v´alaszt. Azt akarjuk kipr´ob´alni, hogy melyik statisztikai pr´oba milyen ar´anyban vezet helyes ´es hib´as d¨ont´eskre.
Medi´ an-pr´ oba Minta: N - elem˝u EVM X-re, M -elem˝u EVM Y -ra, a k´et mintav´etel egym´ast´ol f¨uggetlen Hipot´ezis: H0: M ed(X) = M ed(Y ) Pr´obastatisztika: legyen az N + M elem˝u minta medi´anja. Megsz´amoljuk, melyik mint´aban h´anyan vannak -n´el nagyobbak, h´anyan -n´el kisebbek.
N1 olyan X van, ami ≤ N2 olyan X van, ami >
M1 olyan Y van, ami ≤ M2 olyan Y van, ami >
t´abl´azatban ¨osszefoglalva: X
Y
≤ N1 M1 > N2 M2
Kabos: Statisztika II.
ROC elemz´ esek 10.6
A medi´an-pr´oba t´abl´azat´an´al az els˝o oszlop ¨osszege = N a m´asodik oszlop ¨osszege = M
N +M 2 Ha H0 igaz, akor a medi´an-pr´oba t´abl´azata A sor¨osszeg (mindk´et sorn´al) =
f¨uggetlen, de ennek statisztikai vizsg´alat´an´al figyelembe kell venni, hogy a sor¨osszegek ´es az oszlop¨osszegek r¨ogz´ıtettek. A k¨ovetend˝o elj´ar´ast egy k¨ovetkez˝o ´or´an fogjuk t´argyalni.
Megjegyezz¨uk, hogy a medi´an-pr´oba semmi felt´etelt nem k´ıv´an meg X ´es Y eloszl´as´ara. ´ Amde amikor a k´etmint´as t-pr´oba modell felt´etelei teljes¨ulnek, akkor a medi´an-pr´oba null-hipot´ezise ugyanazt jelenti, mint a k´etmint´as t-pr´oba null-hipot´ezise. Ez indokolja, hogy az eddig bemutatott p´eld´akban a t-pr´oba ´es a medi´an-pr´oba u´gy jelennek meg, mintha ugyanarra a hipot´ezisre vonatkozn´anak. A p´eld´ak azt mutatj´ak, hogy azonos els˝ofaj´u hibaval´osz´ın˝us´eg mellett mindig a medi´an-pr´oba m´asodfaj´u hibaval´osz´ın˝us´ege a nagyobb, mely tulajdons´agot ´ıgy is mondunk: a t-pr´oba az er˝ osebb.
Kabos: Statisztika II.
ROC elemz´ esek 10.7
t-K´ ´ eestmint´ medi´ aans pr´ oba osszehasonl´ ¨ asa oba t-pr´ oba ´ es medi´ aıt´ n-pr´ osszehasonl´ıt´ ¨ asa szimul´ aci´ oval ROC analysis N= 150 , M = 200 , dev= 0.1 1.0 0.8 0.6
ROC analysis N= 150 , M = 200 , dev= 0.1 0.60.00.80.21.00.4
0.60.00.80.21.00.4
0.6
0.8
1.0
K´ etmint´ as t-pr´ oba ´ es medi´ an-pr´ oba osszehasonl´ıt´ ¨ asa szimul´ aci´ oval
0.4
0.8
0.0
0.4
0.8
0.4
0.0
t-test Median-test test ROC analysis 55% accepted at level ** 89% accepted at level ** 0.8 01 .0 .0 0.2
0.8 01 .0 .0 0.2
0.4
K´ etmint´ as t-pr´ oba ´ es medi´ an-pr´ oba osszehasonl´ıt´ ¨ asa szimul´ aci´ oval N= 150 , M = 200 , dev= 0.1
0.6
0.6
A Welch t-pr´oba modell felt´etele az, hogy X ∼0.0 N(µX , 0.4 σX2 ) ´es Y0.8 ∼ N(µY , σY2 ) , ´es σ-kra semmi0.8 felt´etel. 0.0 nincs 0.4 A medi´an-pr´ot-test b´an´al az eloszl´asokra nincs semmi felt´ e tel. Median-test test
t- ´ es medi´ an pr´ oba ¨ osszehasonl´ıt´ asa 89% accepted at level **
0.4
0.4
55% accepted at level **
0.2 0.0
0.0
0.2
H (t-pr´ot-pr´ b´an´aol): X = µY A 0Welch ba µ modell felt´etele az, hogy 2 X ∼ N(µX , σX ) ´es Y ∼ N(µY , σY2 ) , ´es σ-kra nincs semmi felt´etel. H0 (medi´an-pr´ob´an´al): M ed(X) = M ed(Y ) A medi´an-pr´ob´an´al az eloszl´asokra nincs semmi felt´etel. 0.0
0.4
0.8
0.0
0.4
0.8
A k´et pr´ob´at szimul´aci´oval vizsg´aljuk olyan szitu´aci´oban, ahol t-test Median-test test H0 (t-pr´ob´an´ al): µX = µY at level ** at level 55% accepted 89% accepted H0 (mindk´ et pr´ob´ an´ al) k¨ ozel´ıt˝oleg teljes¨ ul, de pontosan nem.** H (medi´an-pr´ ob´amodell n´al): Mfelt´ ed(X) = Mhogy ed(Y ) A oba etele X0Welch v´altoz´ot-pr´ alapsokas´ agbeli ´ert´ ekeiaz, N(µX , σX2 ) 2 2 X ∼ N(µoX alapsokas´ , σX ) ´es Y a∼ N(µY , σ ) ,N(µ ´es σ-kra semmi felt´etel. Y Y v´ ekei , σY2 )nincs A k´aetltoz´ pr´ob´at szimul´ agbeli ci´oval´ert´ vizsg´ aljukY olyan szitu´aci´oban, ahol A medi´ a n-pr´ o b´ a n´ a l az eloszl´ a sokra nincs semmi felt´ ahol(mindk´ µX = e0.1 ´eosb´aµn´ −0.1 ´es teljes¨ σX =ul,σYde=pontosan 1 etel. nem. Y H t pr´ al)=k¨ ozel´ıt˝oleg 0 Minta: N =150 elem˝ u EVM X-re ´es M =200 elem˝ u EVM Y -ra, H0 (t-pr´ob´an´al): µX = µY X v´altoz´ alapsokas´ gbeli ´ert´ekei N(µX , σX2 ) egym´ ast´ool f¨ uggetlen ak´ et mintav´ etel. Y 0v´ altoz´oan-pr´ alapsokas´ gbeli ´ert´ekei=N(µ , σY2 ) H (medi´ ob´an´aal): M ed(X) M ed(Y Y Az a ´ bra a k´ e t pr´ o ba szimul´ a lt ROC-g¨ o rb´ j´et = mutatja. ahol µX = 0.1 ´es µY = −0.1 ´es σX =eσ 1 Y mintav´ e teleket 10000 10000 alkalommal ism´ etelt¨ uok. A k´ e t pr´ o b´ a t szimul´ a ci´ o val vizsg´ a ljuk olyan szitu´ ban,Y ahol Minta: N =150 elem˝ u EVM X-re ´es M =200 elem˝ uaci´ EVM -ra, level** =ol0.05 szignifikancia (= 0.95 as) nem. H ef¨ pr´ ob´an´ak´ l) ozel´szint ıt˝oeleg teljes¨ ul,szenzitivit´ de pontosan 0 (mindk´ egym´ ast´ ut ggetlen et k¨ mintav´ tel. Az v´ ´aabr´ ar´ leolvashat´ o, hogy szignifikanciaszint mellett a X ltoz´ o lalapsokas´ agbeli ´ert´e0.05 kei N(µ , σX2 ) X
´abra a k´et pr´oba szimul´alt ROC-g¨orb´ej´et mutatja. 2 mik¨ t-Az e medi´ a10000 pr´ oN(µ ¨ sszehasonl´ ıt´ asa m´ sodfaj´ hibaval´ onsz´ ın˝ u-s´eo g´eba (H a, σ sa, oezben nem igaz) Y a´ v´ asltoz´ oueteleket alapsokas´ agbeli rt´ ekei ) ism´ 0 elfogad´ A mintav´ 10000 alkalommal telt¨ uk. Y
Y
aahol t-pr´oµb´ a=n´ a0.1 l=0.55 an-pr´ n´ l=0.89 ´es µaY medi´ = −0.1 ´oesb´a(= σaX0.95 = σszenzitivit´ =1 X Y level** = 0.05 szignifikancia szint as) ´eMinta: s minden¨ utt a elem˝ t-pr´oubaEVM a kedvez˝ N =150 X-reobb. ´es M =200 elem˝ u EVM Y -ra, Az ´abr´ ar´ oet, mintav´ hogy 0.05 egym´ ast´ ool lf¨ uleolvashat´ ggetlen k´ etel.szignifikanciaszint mellett a m´asodfaj´ u hibaval´osz´ın˝ us´eg (H0 elfogad´asa, mik¨ozben nem igaz) Az ´abra et pr´obaa szimul´ lt ROC-g¨ rb´ej´et mutatja. a t-pr´ ob´aan´ak´ l=0.55 medi´aan-pr´ ob´an´aol=0.89 A mintav´ e teleket 10000 10000 alkalommal ism´etelt¨ uk. ´es minden¨ utt a t-pr´oba a kedvez˝obb. level** = 0.05 szignifikancia szint (= 0.95 szenzitivit´ as) 1 Az ´abr´ar´ol leolvashat´o, hogy 0.05 szignifikanciaszint mellett a m´asodfaj´ u hibaval´osz´ın˝ us´eg (H0 elfogad´asa, mik¨ozben nem igaz) a t-pr´ob´an´al=0.55 a medi´an-pr´ob´an´al=0.89 1 ´es minden¨ utt a t-pr´oba a kedvez˝obb.
1
Kabos: Statisztika II.
ROC elemz´ esek 10.8
t- ´ es medi´ an pr´ oba ¨ osszehasonl´ıt´ asa 1.0 0.8
0.8
1.0
ROC analysis N= 150 , M = 200 , dev= 0.15
0.0 0.2 0.4 0.6 0.6 0.8 1.0
0.4
0.8
0.4
0.0
0.0 0.4 0.8 ROC analysis N= 150 , M = 200 , dev= 0.15
t-test 20% accepted at level **
0.80.01.00.2
0.80.01.00.2
0.4
0.0 0.2 0.4 0.6 0.6 0.8 1.0
ROC analysis N= 150 , M = 200 , dev= 0.15
Median-test test 69% accepted at level **
0.4
0.8
0.0
0.4
0.8
Median-test test 69% accepted at level **
0.0
0.2
0.4 0.0
0.2
0.4
0.6
0.0
t-test 20% accepted at level **
0.6
Az eredeti dev=0.1-hez képest 50%-kal növeltük a két eloszlás átlagának eltérését, ezzel mindkét másodfajú hibavalószínűség jelentősen csökkent, és a t-próba előnye továbbra is megmarad. Az eredeti dev=0.1-hez képest 50%-kal növeltük a két eloszlás átlagának eltérését, ezzel mindkét másodfajú hibavalószínűség jelentősen csökkent, és a t-próba előnye továbbra is megmarad. 0.0
0.4
0.8
0.0
t-test 20% accepted at level **
0.4
0.8
Median-test test 69% accepted at level **
ROC50%-kal analysis Az eredeti dev=0.1-hez N= képest növeltük a két eloszlás 150 , M= 200 , dev= 0.2 1.0
1.0
t-átlagának ´ es medi´ anezzel pr´ oba ¨ o sszehasonl´ ıt´ asa eltérését, mindkét másodfajú hibavalószínűség 0.8
0.8
jelentősen csökkent, és a t-próba előnye továbbra is megmarad. ROC analysis 0.0 0.2 0.4 0.6 0.4 0.6 0.8 1.0
0.0
0.4
ROC analysis 0.0 0.4 N= 150 , M= 200 , dev= 0.2
0.8
t-test 4% accepted at level ** 0.0
0.4
0.8
0.8 0.01.00.2
0.8 0.01.00.2
0.0 0.2 0.4 0.6 0.4 0.6 0.8 1.0
N= 150 , M= 200 , dev= 0.2
0.8
Median-test test 42% accepted at level ** 0.0
0.4
0.8
0.6 0.4 0.2 0.0
0.0
0.2
0.4
0.6
Az eredeti dev=0.1-hez növeltük t-testképest 100%-kal Median-test testa két eloszlás 4% accepted at level ** 42% accepted at level ** átlagának eltérését, ezzel mindkét másodfajú hibavalószínűség tovább csökkent, és a t-próba biztosan elkülöníti Az eredeti dev=0.1-hez képestgyakorlatilag 100%-kal növeltük a két eloszlás aátlagának két eloszlást, a medián nem. A t-próbahibavalószínűség előnye megmarad. eltérését, ezzelpróba mindkét másodfajú 0.0 0.8 0.0 0.4 0.8 tovább csökkent, és0.4a t-próba gyakorlatilag biztosan elkülöníti t-test Median-test test a két eloszlást,4%a accepted medián próba nem. A42% t-próba előnye megmarad. accepted at at level ** level **
0.8
0.8
1.0
1.0
Az eredeti dev=0.1-hez képest 100%-kal növeltük a két eloszlás ROC analysis átlagának eltérését, ezzel mindkét másodfajú hibavalószínűség N= 500 , M= 300 , dev= 0.1 tovább csökkent, és a t-próba gyakorlatilag biztosan elkülöníti a két eloszlást, a medián próba A t-próba előnye megmarad. ROCnem. analysis N= 500 , M= 300 , dev= 0.1 0.0 0.2 0.4 0.6 0.4 0.6 0.8 1.0
0.8
0.0
t-test 23% accepted at level **
0.4
0.8
0.2
0.0 0.4 ROC analysis N= 500 , M= 300 , dev= 0.1 0 .0 1 .0
0.8
0.8
Median-test test 89% accepted at level **
0.8
0.4
0.0
0.6
0.0
t-test 23% accepted at level **
0.6
1 .0 0 .0
0.2
0.0 0.2 0.4 0.6 0.4 0.6 0.8 1.0
t- ´ es medi´ an pr´ oba ¨ osszehasonl´ıt´ asa
Median-test test 89% accepted at level **
0.4
0.8
0.0
0.0
0.2
0.2
0.4
0.4
Visszatértünk eredeti dev=0.1-hez, de a mintanagyságokat megnöveltük. A t-próba kedvezően reagált, de a medián-próba alig. AVisszatértünk két próba összehasonlításában a t-próba előnye jelentősenmegnőtt. eredeti dev=0.1-hez, de a mintanagyságokat növeltük. A t-próba kedvezően reagált, de a medián-próba alig. A két próba összehasonlításában a t-próba előnye jelentősen nőtt. 0.0
0.4
0.8
t-test 23% accepted at level **
0.0
0.4
0.8
Median-test test 89% accepted at level **
Visszatértünk eredeti dev=0.1-hez, de a mintanagyságokat megnöveltük. A t-próba kedvezően reagált, de a medián-próba alig. A két próba összehasonlításában a t-próba előnye jelentősen nőtt.
Kabos: Statisztika II.
ROC elemz´ esek 10.9
Kétmintás t-próba és medián-próba kiugró értékek esetén Norm´ a list´ ol t-próba elt´ er˝ o eloszl´ asok Kétmintás és medián-próba kiugró értékek esetén 0.6
0.6
0.8
0.8
1.0
1.0
ROC analysis N= 50 , M = 100 , dev= 0.35
0.0 0.2 0.4 0.6 0.8 1.0
0.6
0.4
0.4
0.0
0.8
0.4
0.0
0.8
0.2
1.0
0.4
ROC analysis N= 50 , M = 100 , dev= 0.35
0.2
0.0
0.4
0.8
Median-test test 56% accepted at level **
0.0
0.0
0.2
t-test 2% accepted at level **
Az előbbi példához hasonló esetből indulunk ki. Két standard normális eloszlást transzformálunk, az egyikhez hozzáadjuk a 0.35 értéket, a másikból kivonjuk. A választott két mintanagyság N=50 ill. M=100 AzAz ROC-görbén azt látjuk, a t-próba gyakorlatilag tökéletesen előbbi példához hasonlóhogy esetből indulunk ki. Két standard normális megkülönbözteti a két eloszlást, viszont ahozzáadjuk medián-próba korántsem. eloszlást transzformálunk, az egyikhez a 0.35 értéket, a másikból kivonjuk. A választott két mintanagyság N=50 ill. M=100 Az ROC-görbén azt látjuk, hogy a t-próba gyakorlatilag tökéletesen ROC analysis, manipulated by 5 megkülönbözteti a két eloszlást, viszont a medián-próba korántsem. N= 50 , M = 100 , dev= 0.35 0.0
0.4
0.8
0.0
0.4
0.8
Median-test test 56% accepted at level **
0.8
0.8
1.0
1.0
t-test 2% accepted at level **
0.4
0.8
0.0
0.2
0.0
0.2
0.4
0.0
0.6
0.2
0.8
0.4
1.0
0.6
0.0 0.2 0.4 0.6 0.4 0.6 0.8 1.0
ROC analysis, manipulated by 5 N= 50 , M = 100 , dev= 0.35
0.0
0.4
0.4
0.8
Median-test test 59% accepted at level **
0.8
0.0
0.4
0.8
ROC analysis, manipulated by 10 test 100 , dev= Median-test 0.35
0.8
0.8
59% accepted at level **
1.0
t-test N= 50 , M = 12% accepted at level **
1.0
0.0
0.0
t-test 12% accepted at level **
0.6 1.0 0.4 0.8 0.2 0.6 0.0 0.4
0.8
0.0
t-test 61% accepted at level ** 0.0
0.4
0.2
0.4
0.2
0.0
0.0
0.2
0.6
0.0
0.4
0.8
0.4
1.0
0.6
ROC analysis, manipulated by 10 N= 50 , M = 100 , dev= 0.35
0.0
0.4
0.8
Median-test test 61% accepted at level **
0.8
0.0
t-test 61% accepted at level **
0.4
0.8
Median-test test 61% accepted at level **
A kiugró értékek, amit az alapeloszlásba keverünk, az előbbi ábrán ± 5 az utóbbi ábrán ± 10. Az előbbi esetben a t-próba teljesítménye romlani A kiugró értékek, amit az alapeloszlásba keverünk, az előbbi ábrán ±5 kezdett, de továbbra is sokkal kedvezőbb, mint a medián-próba. Azonban azérték utóbbi ábrán ± 10. Az előbbi esetben t-próba teljesítménye romlani a 10 alkalmazásákor a t-próba és a amedián-próba különbsége eltűnik. kezdett, de továbbra is sokkal kedvezőbb, mint a medián-próba. Azonban a 10 érték alkalmazásákor a t-próba és a medián-próba különbsége eltűnik.
0.0
0.0
0.2
0.2
0.4
0.4
0.6
0.6
0.8
0.8
1.0
1.0
ROC analysis, manipulated by 15 N= 50 , M = 100 , dev= 0.35
0.0
0.4
0.8
t-test 97% accepted at level **
0.0
0.4
0.8
Median-test test 60% accepted at level **
Amikor az alapeloszlásba kevert kiugró értékek ± 15 akkor a medián-próba kedvezőbb tulajdonságú, mint a t-próba. Megfigyelhetjük, hogy a mediánpróba az alapeloszlásba kevert kiugró értékekre szinte teljesen érzéketlen.
.0 5.0 9.0
14.0
50 samples of normal vs 100 samples of normal shifted by 0.35, manipulated by 15
Kabos: Statisztika II.
ROC elemz´ esek 10.10
Norm´ alist´ ol elt´ er˝ o eloszl´ asok Az alapeloszl´ast megv´altoztatjuk u´gy, hogy a norm´alis eloszl´asba kever¨unk A. eset: a 5 ´ert´ekeket B. eset: a 10 ´ert´ekeket C. eset: a 15 ´ert´ekeket
Norm´ alist´ ol elt´ er˝ o eloszl´ asok A. eset: a t-pr´oba teljes´ıtm´enye romlani kezdett, de tov´abbra is sokkal kedvez˝obb, mint a medi´an-pr´oba. B. eset: a t-pr´oba ´es a medi´an-pr´oba k¨ul¨onbs´ege elt˝unik. C. eset: a medi´an-pr´oba kedvez˝obb tulajdons´ag´u, mint a t-pr´oba.
Megfigyelhetj¨uk, hogy a t-pr´oba teljes´ıtm´enye nagyon f¨ugg att´ol, mennyire van az alapsokas´agi eloszl´as k¨ozel a norm´alishoz. A medi´anpr´oba az alapeloszl´asba kevert kiugr´o ´ert´ekekre szinte teljesen ´erz´eketlen.
Kabos: Statisztika II.
ROC elemz´ esek 10.11
Dobozmodell konstrukci´o a kiugr´o ´ert´ekeket tartalmaz´o eloszl´asra: a doboz 95% ban egy norm´alis eloszl´asb´ol v´eletlenszer˝uen h´uzott ROC analysis, manipulated by 15 N= 50 , M = 100 , dev= 0.35
0.8
0.8
1.0
1.0
sz´amokb´ol, ezenk´ıv¨ul 2.5% ban a +15 ´es 0.6
0.6
2.5% ban -15 ´ert´ekekb˝ol ´all. Ha ebb˝ol a 0.2
0.2
0.4
0.4
dobozb´ol vesz¨unk mint´at, a k¨ovetkez˝o 0.0
0.0
hisztogramon l´athat´o kiugr´o ´ert´ekeket 0.0
kapunk:
0.4
0.8
0.0
t-test 97% accepted at level **
0.4
0.8
Median-test test 60% accepted at level **
Amikor az alapeloszlásba kevert kiugró értékek ± 15 akkor a medián-próba kedvezőbb tulajdonságú, mint a t-próba. Megfigyelhetjük, hogy a mediánpróba az alapeloszlásba kevert kiugró értékekre szinte teljesen érzéketlen.
Kiugr´ o´ ert´ ekek
-15.0
-9.0
-4.0
1.0 5.0 9.0
14.0
50 samples of normal vs 100 samples of normal shifted by 0.35, manipulated by 15
30
20
10
0
10
20
30
40
Dobozmodell konstrukció a kiugró értékeket tartalmazó eloszlásra: a doboz 95%ban egy normális eloszlásból véletlenszerűen húzott számokból, ezenkívül 2.5%ban a +15 és 2.5%ban -15 értékekből áll. Ha ebből a dobozból veszünk mintát, a fenti hisztogramhoz hasonló eloszlású értékeket kapunk.
