Matematikai statisztika. (hallgatói jegyzet) Készítette: Nagy Ádám Arató Miklós előadásai alapján

Matematikai statisztika. (hallgatói jegyzet)

Készítette: Nagy Ádám Arató Miklós előadásai alapján

Előszó Jelen jegyzet a 2008/2009–s tanév tavaszi félévében az ELTE–IK Programtervező Informatikus (A) szakos hallgatóinak Arató Miklós által tartott Matematikai statisztika című tanegység alapján készül(t). A jegyzet elkészítéséhez a LYX nevű programot hasznátam (http://www.lyx.org/), valamint a képleteket és formulákat az AMS-LATEX csomagok felhasználásával (http://www.ams.org/tex/amslatex.html) szerkesztettem. A grafikonok és ábrák elkészítése a Maple illetve GIMP programok segítségével történt. Hibák, észrevételek: [email protected] Készült: Budapest, 2009. tavaszi félév (2009. május 26-án)

FEJEZET 1

Bevezetés A matematikai statisztika tárgya következtetések levonása adatok alapján a kövezkező területeken: • • • • • •

Ipari termelés Mezőgazdaság Szociológia (közvéleménykutatások) Természettudományok Pénzügyi adatok Az élet szinte minden területén

A matematikai statisztika történetét tekintve fiatal tudományág (kb. 100 év), amely a számítógépenek köszönhetően az utobbi évtizedekben felgyorsult. A matematikai statisztika egy matematikai tudomány, ugyanakkor a mindennapi használatban nem kellően precíz (teljesülnek-e a feltételek). Ezért lényeges, hogy a feltételezéseinket és következtetéseinket pontosan fogalmazzuk meg. 1.1.

Példák

(1) Rendkívüli volt-e a januári Zala megyei időjárás? Vis maior-e az áramszolgáltató szempontjából? (2) Egy közvéleménykutatás során azt kaptuk, hogy 1000 emberből 400 választaná az adott pártot. Mások szerint a párt 50%-ot fog kapni. Előfordulhate ez? Mekkora a valószínűsége? (3) Van-e a rassznak, nemzetiségnek hatása a halandóságra?

(4) Mi lehet egy vezető áltatal okozott károk eloszlása? Kárszám Vetetők száma

0 1 2 3 4 5 129524 16267 1966 211 35 5 3

6 7 1 1

>7 0

Összesen 148006

1. STATISZTIKAI ADATOK

4

(5) Milyen valószínűséggel születik fiúgyermek? Például Svájcban 1871 és 1900 között 2.644.757 megszületett gyermekből 1.359.671 fiú és 1.285.086 lány volt. Fiúk relatív gyakorisága így 0,5141. Igaz-e, hogy a valószínűség 0,5? És 0,1? ½ 1 , i. gyermek fiú Xi = ⇒ 0 , i. gyermek lány n

P (Xi = 1) = p; Ã P

n = 2644757;

ξ=

1X Xi ⇒ n i=1

! n (ξ − p) < u ∼ 2Φ(u) − 1 −u< p(1 − p) r n (ξ − p) = 37 p = 0, 5 ⇒ p(1 − p) r

u = 4 ⇒ 2Φ(u) − 1 = 0, 999936 p(1 − p) ≤ Ã

1 ⇒ 4

! n 2Φ(u) − 1 ∼ P − u < (ξ − p) < u ≤ p(1 − p) ³ ´ √ ≤ P − u < 2 n(ξ − p) < u = Ã ! −u u √ < (ξ − p) < √ =P = 2 n 2 n µ ¶ u u =P ξ− √
r

Különbség statisztika és valószínűségszámítás között

Tekintsük a következő kísérletet: Négyszer feldobunk egy érmét és megszámoljuk a fejek számát. Valószínűségszámításban ismert a fejdobás valószínűsége, így meghatározhatjuk milyen valószínűséggel dobunk két fejet. Statisztikában a fejdobás valószínűsége nem ismert, a kapott eredmény alapján becsüljük meg a fejdobás valószínűségét. 1.3.

Statisztikai adatok

Alapadat: közvetlenül a sokaságból méréssel vagy leszámlálással kapott eredmény. Származtatott adat: az alapadatokból műveletek eredményeként kapjuk. 1.3.1. Adatok pontossága. Általában korlátozott az alapadatok pontossága, ezért bevezethetjük a következő fogalmakat: Abszolút hiba: ε = |V − M |, ahol V a valóságos adat és M a mért adat. (Gyakorlatban nem tudjuk a pontosan, csak becslést tudunk adni rá.) ε ). Relatív hiba: az abszolút és mért értékek hányadosa ( M

1. LEÍRÓ STATISZTIKA

5

1.3.2. Adatok. A mintavétel eredménye a (statisztikai) minta, azaz a x1 , x2 , . . . , xn (számsorozat). A mintavétel módja is lényeges (legegyszerűbb eset, ha bármelyik elem ugyanakkora valószínűséggel kerül a mintába). Ugyanakkor egy másik, hasonló mintavételnél más mintát kapnánk, azaz az adott minta véletlen kísérlet eredménye. Ha a minta véletlen jellegét vizsgáljuk, akkor X1 , X2 , . . . , Xn valószínűségi változósorozat, amelynek eloszlása nem (vagy csak részben) ismert. 1.4.

Statisztikai ismérvek

Sokaság: vizsgálatba vont csoportok. Egyedek: sokaság elemei. Ismérvek: egyedek jellemzői. Ismérvváltozat: lehetséges kimenet. Az ismérvek által adott információk alapján az ismérvek lehetnek időbeliek, területiek, mennyiségiek és minőségiek. A nem számmal kifejezhető, vagy számmal jelölt, de mégsem szám jellegű ismérveket minősítéses ismérv nek nevezzük. (pl.: főváros kerülete) A méréssel meghatározható, számmal jellemezhető ismérveket méréses ismérv nek nevezzük. (pl.: testmagasság) Az olyan minősítéses ismérvet, amelynek adatai rendezhetők rendezhető méréses ismérvnek nevezzük. 1.5. (1) (2) (3) (4) (5)

Statisztikai elemzés lépései

Tervezés: mit vizsgálunk és hogyan gyűjtjük az adatokat. Adatgyűjtés. Kódolás, ha szükésges. Ellenőrzés leíró statisztikákkal. Elemzés matematikai statisztika módszerével. 1.6.

Leíró statisztika

Nem a véletlen hatását vizsgálja, hanem a konkrét minta megjelenítése, jellemzőinek kiszámítása a feladata. Az adatok elrendezetők táblázatba (fontos a forrás feltüntetése), vagy ábrázolhatók grafikusan. 1.6.1. Táblázatok. Cél az adatok tömör, számszerű jellemzése. Ehhez szükség van csoportosításra, amely különböző ismérvek szerint lehetséges (sok ismérvváltozat esetén osztályozás kell). Az eredmény egy ismérv szerinti csoportosító táblázat, ami tartalmazhat gyakoriságot, illetve relatív gyakoriságot is. 1.6.2. Statisztikai táblák. Megfelelő fromával ellátott statisztikai sorok. Típusai: • egyszerű tábla: leíró sorokból áll. • csoportosító tábla: tartalmaznak összesítő rovatot, vagy összehasonlítást. • kombinációs- vagy kontingenciatábla: két ismérv szerinti kombinációs csoportosítás, azaz mindkét irányban tartalmaz csoportosítást.


6

1.6.3. Tapasztalati eloszlás. Valószínűségeloszlás, minden megfigyeléshez (x1 , x2 , . . . , xn ) n1 súlyt rendel. A minta átlag éppen ennek az eloszlásnak a várható értéke. A tapasztalati eloszlás eloszlásfüggvénye röviden a tapasztalati eloszlásfüggvény: n 1X χ{xk < z} Fn (z) = n k=1

k (n) (n) , ha xk < z ≤ xk+1 , n (n) (n) (n) (n) (n) ahol x1 ≤ x2 ≤ · · · ≤ xn az x1 , x2 , . . . xn rendezése, x0 = −∞ és xn+1 = +∞. Ha a minta X1 , X2 , . . . Xn valószínűségi változósorozat, akkor Fn (z) is valószínűségi változó. Fn (z) =

Példa. Normális eloszlás közelítése n = 10 és n = 100 esetben:

1.6.4.

Grafikus ábrázolás.

• Oszlopdiagramm: a gyakoriságokkal arányos az oszlopok magassága. • Gyakorisági poligon, hisztogramm: mennyiségi ismérvek esetén. • Kördiagramm: megoszlás szemléltetése. Hisztogramm Az adatainkat osztályokba soroljuk (mindegyiket pontosan egybe, pl. az i-edik osztály ai ≤ x < ai+1 ), a csoportok relatív gyakoriságai megegyeznek az osztály fölé rajzolt téglalap területével. Az összterület 1 (hasonlóan a sűrűségfüggvényhez). Pontszámok ábrázolása grafikusan túl sok, túl kevés és megfelelő számú osztály esetén:


1.6.5.

7

Középértékek.

n • Mintaátlag: x := x1 +x2 +···+x . n • Medián: sorba rendezett minta középső eleme (ha páros számú a minta, akkor a két középső elem átlaga).

1.6.6. Tapasztalati kvantilisek. −1 Az elméleti kvantilis abszolút ª folytonos, szigorúan monoton F esetén qz := F (z). © ¯ Általában inf x¯F (x) > 0 . A tapasztalati eloszlás kvantilisei a tapasztalati kvantilisek. Nevezetes kvantilisek: z = 12 a medián, z = 41 és z = 43 a kvartilisek. Az egyes dobozok az alsó kvartilitstól a felső kvartilisig tartanak. Középvonal a medián. A vonalak a teljes terjedelemet felölelik, ha ez nem nagyobb a kvartilisek közötti különbségek 1,5-szeresénél. Ha ezen kívül is vannak pontok, azokat különkülön jeleníti meg.

1.6.7.

Egyéb ábrázolások.

FEJEZET 2

Alapfogalmak Definíció. (Statisztikai mező) A (Ω, A, Pϑ ), ϑ ∈ Θ statisztikai mező, ha Θ paraméterhalmaz és (Ω, A, Pϑ ) valószínűségi mező minden ϑ ∈ Θ esetén. Példa. Egy érmedobás modellje: © ª ¡Ω =¢{F, I}; A¡ = ¢∅, {F }, {I}, {F, I} ; Pp {F } = p; Pp {I} = 1 − p; p ∈ [0, 1] = Θ. Definíció. (Minta) A

  ξ1  ..  ξ =  .  : Ω → X ⊆ Rn

ξn valószínűségi vektorváltozót mintának nevezzük, ahol n ∈ N a mintanagyság és ξi az i. mintaelem. Definíció. (Minta realizációja) Egy minta realizációja az 

 x1   x =  ...  ∈ Rn xn konkrét megfigyelt számsorozat. Példa. Megfigyeltük egy benzinkútnál tankolók számát öt napon keresztül. A megfigyelések: 78, 89, 167, 90, 85 – azaz a minta realizációja (78, 89, 167, 90, 85)T és a mintanagyság 5. Definíció. (Mintatér) Az X halmaz mintatér, a minta lehetséges értékeinek halmaza. Elemei a mintaértékek. Példák. • n elemű valós minta esetén X = Rn • n elemű pozitív egész értékű minta esetén X = Nn • Egy biztosítónál 10 napon keresztül figyelték a bejelentett károk számát, ekkor X = Z+n 0 A minta – aszerint hogy a mintaelemek milyen típusúak – lehet független, független azonos eloszlású, diszkrét és abszolút folytonos. Eloszláscsaládok. Fϑ (s) := Pϑ (ξ1 < s1 , ξ2 < s2 , . . . , ξn < sn ) ⇒ 8

2. ALAPFOGALMAK

Fϑ (s) =

n Y

9

Pϑ (ξi < si ), ha a mintaelemek függetlenek.

i=1

Fϑ (s) =

n Y

Fϑ (si ), ha a mintaelemek független azonos eloszlásúak.

i=1

Jelölések. Jelöljük ϑ ∈ Θ paraméter esetén a várható értéket Eϑ -val, a szórást Dϑ -val, abszolút folytonos eloszlású minta sűrűségfüggvényét fϑ -val és diszkrét mintánál pϑ (s) := Pϑ (ξ = s). Definíció. (Statisztika) A T : X → Rk függvényt statisztikának nevezzük. Definíció. (Statisztika) A T (ξ)-t (is) statisztikának nevezzük, ha T : X → Rk függvény. Példák. (X = Rn ) (1) Mintaközép (tapasztalati 1. momentum): n

T (x) = x =

n

1X 1X xi , T (ξ) = ξ = ξi n i=o n i=o

(2) Tapasztalati k. momentum: n

T (x) =

n

1X k 1X k xi , T (ξ) = ξ n i=o n i=o i

(3) Tapasztalati szórásnégyzet: n

T (x) =

1X (xi − x)2 , n i=o

n

T (ξ) = s2 =

1X (ξi − ξ)2 n i=o

Definíció. (Rendezett minta) A ξ1 , ξ2 , . . . , ξn minta elemeit nagyság szerint sorbarendezve, kapjuk a (n)

ξ1

(n)

≤ ξ2

≤ · · · ≤ ξn(n)

rendezett mintát. A sorbarendezés egy n dimenziós statisztika. Megjegyzés. Ha feltesszük, hogy a minta elemei független, azonos eloszlásúak és ez az eloszlás (n) abszolút folytonos, akkor felírható a rendezett minta k-adik elemének, ξk -nek a sűrűségfüggvénye. (Speciálisan a minimuma vagy a maximuma.) Definíció. (Minta terjedelme) (n) (n) A ξn − ξ1 értéket a minta terjedelmének nevezzük. Definíció. (Tapasztalati eloszlásfüggvény.) A tapasztalati eloszlás eloszlásfüggvénye a n 1X Fn (z) = χ{ξi < z} n i=1 amelyre Fn (z) =

k n

(n)

, ha ξk

(n)

(n)

< z ≤ ξk+1 , ξ0

(n)

= −∞ és ξn+1 = +∞.

Megjegyzés. A mintaátlag az előző definícióban szereplő eloszlásnak a várható értéke.

2. ALAPFOGALMAK

10

Tétel. (Glivenko-Cantelli tétel – statisztika alaptétele) Tegyük fel, hogy ξ1 , ξ2 , . . . , ξn független, azonos F eloszlásfüggvényű mintalemek. Ekkor ¯ ¯ n→+∞ sup ¯Fn (z) − F (z)¯ −−−−−→ 0 1 valószínűséggel. z

Bizonyítás. (Csak folytonos F eloszlásfüggvények esetében látjuk be.) Mivel F folytonos ∀N ∈ N-hez ∃z1 , z2 , . . . , zN −1 ∈ R, melyekre, ha z0 = −∞ és zN = +∞, akkor 1 i N −1 F (z0 ) = 0, F (z1 ) = , . . . , F (zi ) = , . . . , F (zN −1 ) = , F (zN ) = 1. N N £ ¢N Ekkor, ha z ∈ zk , zk+1 , akkor Fn (z) − F (z) ≤ Fn (zk+1 ) − F (zk ) = Fn (zk+1 ) − F (zk+1 ) + Fn (z) − F (z) ≥ Fn (zk ) − F (zk+1 ) = Fn (zk ) − F (zk ) −

1 és N

1 . N

Ebből kovetkezik, hogy ¯ ¯ ¯ ¯ 1 sup ¯Fn (z) − F (z)¯ ≤ max ¯Fn (zk ) − F (zk )¯ + . 0≤k≤N N z Tudjuk, hogy rögzített x-re n 1X Fn (x) = χ{ξi < x}, n i=1 ahol χ{ξi < x} független, azonos eloszlású indikátor valószínűségi változók, melyek várható értéke ¡ ¢ E χ{ξi < x} = P (ξi < x) = F (x). Így a nagy számok erős törvénye szerint n ¡ ¢ 1X n→+∞ Fn (x) = χ{ξi < x} −−−−−→ E χ{ξi < x} = F (x) 1 valószínűséggel. n i=1 Legyen Ak,N

½ ¯ X ¾ n n→+∞ ¯1 = ω¯ χ{ξi (ω) < zk } −−−−−→ F (zk ) , n i=1

ekkor P (Ak,N ) = 1 és ½ ¯ ¾ N\ −1 ¯ ¯ n→+∞ ¯ BN := ω ¯ max ¯F (zk ) − F (z)¯ −−−−−→ 0 = Ak,N . 0≤k≤N

BN -n

k=1

¯ ¯ 1 lim sup ¯Fn (z) − F (z)¯ ≤ . N n→+∞

Ebből következik, hogy +∞ \

Bn -n

N =1

¯ ¯ lim sup ¯Fn (z) − F (z)¯ = 0. n→+∞

Ugyanakkor 1 valószínűségű események metszete is 1 valószínűségű, így +∞ \ N =1

BN =

+∞ −1 \ N\ N =1 k=1

Ak,N is 1 valószínűségű.

FEJEZET 3

Becsléselmélet A minta ismeretlen paraméterét közelítjük a minta függvényével. Definíció. (Becslőfüggvény, becslés) b A ϑb : X → Θ függvényt becslőfüggvénynek és a ϑ(ξ) értéket becslésnek nevezzük. Megjegyzés. A becslőfüggvények maguk is statisztikák, szubjektíven olyan statisztikák, amik jól közelítik az ismeretlen paramétert. 3.1.

Becslések összehasonlítása

Definíció. (Torzítatlan becslés) A ϑ paraméter ϑb becslése torzítatlan, ha ¢ ¡ b = ϑ ∀ϑ ∈ Θ esetén. Eϑ ϑ(ξ) A ϑ paraméter h függvény által létesített képének T becslése torzítatlan, ha ¡ ¢ Eϑ T (ξ) = h(ϑ) ∀ϑ ∈ Θ esetén.

Definíció. (Konzisztens becslés) A ϑ paraméter ϑb becslése konzisztens, ha n→+∞ b − ϑ(ξ) −−−−→ ϑ sztochasztikusan ∀ϑ ∈ Θ esetén.

A ϑ paraméter h függvény által létesített képének T becslése konzisztens, ha n→+∞

T (ξ) −−−−−→ h(ϑ) sztochasztikusan ∀ϑ ∈ Θ esetén. Ha sztochasztikus konvergencia helyett 1 valószínűségű van, akkor erősen konzisztens becslésről beszélhetünk. Példák. (1) Valószínűség becslése relatív gyakorisággal egy torzítatlan és konzisztens becslés. (2) A várható érték becslése mintaátlaggal torzítatlan és konzisztens becslés. (3) Glivenko-Cantelli tétel következménye, hogy az elméleti eloszlásfüggvény torzítatlan, konzisztens becslése a tapasztalati eloszlásfüggvény. (4) A tapasztalati szórásnégyzet konzisztens, de nem torzítatlan becslése az elméleti szórásnégyzetnek, ui.: Legyen Dσ2 2 ξi = σ 2 , ekkor ¶ µ X n (n − 1)σ 2 1 2 2 (ξi − ξ) = . Eσ2 (s ) = Eσ2 n i=1 n 11

3. BECSLÉSEK ÖSSZEHASONLÍTÁSA

12

Viszont már torzítatlan becslés a n 1 X ns2 (ξi − ξ)2 = . n − 1 i=1 n−1 Tétel. (Elégséges feltétel konzisztenciára) Tegyük fel, hogy ϑb : X → Θ és ξ mintára igaz, hogy ¢ ¡ b (1) Eϑ ϑ(ξ) → ϑ (aszimptotikus torzítatlanság) és ¢ ¡ b → 0. (2) Dϑ2 ϑ(ξ) Ekkor ϑb konzisztens becslés. Bizonyítás. ´ ´ ³¯ ³¯ ¯ ¯ P ¯ϑbn − ϑ¯ ≥ ε = P ¯ϑbn − E ϑbn + E ϑbn − ϑ¯ ≥ ε ≤ µ ¶ µ ¶ ¯ ¯ ε ¯ ε Csebisev egy. Dϑ2 ϑbn ¯ b b b ¯ ¯ ¯ ¯ ≤ P ϑn − E ϑ n ≥ → 0. + P E ϑn − ϑ ≥ ≤ ε2 2 2 2 | {z } =0 elég nagy n-re

Példák. • Poisson paraméterére a mintaátlag torzítatlan és konzisztens becslés. • Exponenciális eloszlás paraméterére a I mintaátlag reciproka aszimptotikusan torzítatlan és konzisztens, I az n · min{x1 , x2 , . . . , xn } torzítatlan, de nem konzisztens. Definíció. (Becslések hatásossága) A T1 torzítatlan becslése h(ϑ)-nak hatásosabb a T2 torzítatlan becslésnél, ha ¡ ¢ ¢ ¡ Dϑ2 T1 (ξ) ≤ Dϑ2 T2 (ξ) ∀ϑ ∈ Θ esetén. Példa. P A mintaátlag hatásosabb becslés a várható értékre minden ci xi alakú becslésnél. Ui.:P A ci xi becslés, akkor és csak akkor torzítatlan, ha n X

ci = 1

i=1

Ugyanakkor felhasználva a számtani és négyzetes közép alapján kapott rP P 1 c2i ci ≥ = n n n egyenlőtlenséget ³X ´ X 1 D2 ci xi = D2 (xi ) c2i ≥ D2 (xi ) = D2 (x) n Definíció. (Hatásos becslés) A T torzítatlan becslés hatásos, ha minden más becslésnél hatásosabb. Megjegyzés. A hatásos becslést azért keressük a torzítatlan becslések között, mert pl. az ismeretlen paraméter becslése azonosan nullával hatásosabb lenne.

3. ELÉGSÉGES STATISZTIKA

13

Definíció. (Átlagos négyzetes eltérés) Ha T hatásos becslése ϑ-nak, akkor az átlagos négyzetes eltérés ¡ ¢2 Eϑ T (ξ) − ϑ .

Állítás. (Hatásos becslés egyértelműsége) Legyen T1 , T2 torzítatlan hatásos becslések h(ϑ)-ra. Ekkor Pϑ (T1 = T2 ) = 1

∀ϑ ∈ Θ esetén.

Bizonyítás. Mivel T1 és T2 hatásosak, így Eϑ T1 = Eϑ T2 = h(ϑ), továbbá Dϑ T1 = Dϑ T2 . Amiből ¶ µ D2 T1 + 2cov(T1 , T2 ) + Dϑ2 T2 D2 T1 + cov(T1 , T2 ) T1 + T2 2 2 = ϑ = ϑ ⇒ Dϑ T1 ≤ Dϑ 2 4 2 Dϑ2 T1 ≤ cov(T1 , T2 ) = Dϑ T1 · Dϑ T2 · corr(T1 , T2 ) ≤ Dϑ2 T1 ⇒ {z } | ≤1

Dϑ2 T1 4Dϑ2

¡

¢

=

T1 − T2 =

Dϑ2 T2

Dϑ2 T1

= cov(T1 , T2 ) ⇒

− 2cov(T1 , T2 ) + Dϑ2 T2 = 0

Tehát ¡ Pϑ T1 − T2 = c) = 1 c ∈ R. Ugyanakkor ¡ ¢ c = Eϑ T1 − T2 = h(ϑ) − h(ϑ) = 0 ⇒ ¡ ¢ Pϑ T1 = T2 = 1 ∀ϑ ∈ Θ esetén. 3.2.

Elégséges statisztika

Mennyi információt hordoz a statisztika? Például ξ1 , ξ2 , . . . , ξn ∼ N(m, 1) egymástól független mintaelemek esetén µ ¶ n 1X 1 ξ= ξi ∼ N m, √ függ m-től, n i=1 n miközben

n

s2 =

1X (ξi − ξ) nem függ m-től. n i=1

Definíció. (Elégséges statisztika diszkrét minta esetén) A diszkrét ξ mintából képzett T (ξ) statisztika elégséges a Θ paratméterhalmazra nézve, ha ¯ ¡ ¢ Pϑ ξ = x¯T (ξ) = t független ϑ-tól ∀x ∈ X és ∀t ∈ RT esetén.

Példa. Indikátor minta ½ 1 p valószínűséggel Xi = ⇒ Pp (Xi = x) = px (1 − p)1−x 0 1 − p valószínűséggel

¡

x ∈ {0, 1}

¢


14

Ã ! Pp ¯X ¯ n Xi = t = X = x¯¯

X1 = x1 , . . . , Xn = xn ,

Ã Pp

n X

! Xi = t

i=1

i=1

Pp

Ã n X

!

=

Xi = t

i=0

( n ) X Pp (X1 = x1 , . . . , Xn = xn ) Ã n ! ·χ = xi = t = X i=1 Pp Xi = t i=0

( n ) ( n ) X X 1 p xi (1 − p)n− xi µ ¶ ·χ xi = t = µ ¶ · χ xi = t n t n n−t i=1 i=1 p (1 − p) t t P

Azaz a

P

P

Xi elégséges statisztika.

Tétel. (Neyman-féle faktorizációs tétel) A diszkrét ξ mintából képzett T (ξ) statisztika pontosan akkor elégséges a Θ paraméterhalmazra nézve, ha ¡ ¢ ∃h(x) és gϑ (t) : Pϑ (ξ = x) = h(x)gϑ T (x) ∀ϑ ∈ Θ és ∀x ∈ X esetén. Bizonyítás. ⇒ Ha T (ξ) elégséges, akkor ¢ ¡ ¢ Pϑ ξ = x, T (ξ) = t(x) ¡ ¢ = Pϑ (ξ = x) = Pϑ T (ξ) = t(x) Pϑ T (ξ) = t(x) ¯ ¢ ¡ ¢ ¡ ¢ ¡ = Pϑ T (ξ) = t(x) Pϑ ξ = x¯T (ξ) = t(x) = gϑ T (x) h(x) ¡

⇐ ¯ ¡ ¢ Ha teljesül, hogy T (ξ) 6= t ⇒ Pϑ ξ = x¯T (ξ) = t = 0, akkor ¡ ¢ ¡ ¢ ¯ ¡ ¢ Pϑ ξ = x, T (ξ) = t Pϑ ξ = x ¡ ¢ Pϑ ξ = x¯T (ξ) = t = = X ¡ ¢= Pϑ T (ξ) = t Pϑ ξ = y y:T (y)=t

¡

=

¢ h(x)gϑ T (x) X ¡ ¢= h(y)gϑ T (y) y:T (y)=t

h(x)gϑ (t) X = h(y)gϑ (t) y:T (y)=t

h(x) X nem függ ϑ-tól. h(y) y:T (y)=t

Példa. Poisson minta Legyen η1 , . . . , ηn ∼ Poisson(λ). Ekkor Pλ (η1 = k1 , . . . , ηn = kn) =

n Y λki e−λ i=1

ki !

Ã

! n Y P 1 ki −nλ = λ e } | {zP k ! i i=1 =:g ( ki ) λ | {z } =:h(k)

Definíció. (Elégséges statisztika) A ξ mintából képzett T (ξ) statisztika elégséges a Θ paratméterhalmazra nézve, ha ¯ ¡ ¢ Pϑ ξ1 < x1 , . . . , ξn < xn ¯T (ξ) = t független ϑ-tól ∀x ∈ X és ∀t ∈ RT esetén.


15

Definíció. (Likelihood függvény) A ξ1 , . . . , ξn független, azonos eloszlású minta Likelihood függvénye  n Y  Pϑ (ξ = x) = Pϑ (ξi = xi ) diszkrét minta esetén.   L(x, ϑ) =

i=1

n Y    fϑ (xi ) fϑ (x) =

fϑ sűrűségfüggvényű abszolút folytonos minta esetén.

i=1

Az `(x, ϑ) = ln L(x, ϑ) függvényt loglikelihood függvénynek nevezzük. Az L(ξ, ϑ) likelihood függvény különböző ξ mintatípusokra MINTA

–

Diszkrét

Pϑ (ξ = x)

Abszolút folytonos

fϑ (x)

Független Független, azonos eloszlású n n Y Y Pϑ (ξi = xi ) Pϑ (ξ1 = xi ) i=0 n Y i=0

i=0

fϑ,i (xi )

n Y

fϑ (xi )

i=0

Definíció. (Elégséges statisztika abszolút folytonos esetben) A ξ abszolút folytonos mintából képzett T (ξ) statisztika elégséges a Θ paratméterhalmazra nézve, ha ¡ ¢ ∃h(x) és gϑ (t) : L(x, ϑ) = h(x)gϑ T (x) ∀ϑ ∈ Θ és ∀x ∈ X esetén. Példa. Normális eloszlás Tegyük fel, hogy ξ1 , . . . , ξn ∼ N(m, σ 2 ) független, azonos eloszlású minta. Ekkor ϑ = (m, σ 2 ) és µ ¶ n ¡ ¢ Y 1 (xi − m)2 2 √ L x, (m, σ ) = exp − = 2σ 2 2πσ 2 i=1 Ã ! n X n ¡ ¢ 1 − (x2 − 2xi m + m2 ) = = 2πσ 2 2 exp − 2 2σ i=1 i Ã Ã n !! X ¡ ¢ n 1 2 −2 2 2 = 2πσ exp − 2 xi − 2nmx + nm = 2σ i=1 Ã n Ã !! X ¡ ¢ n 1 2 −2 2 2 2 (xi − x) + nx − 2nmx + nm = 2πσ exp − 2 2σ i=1 Ebből következik, hogy a Ã n ! Ã n ! 1X 1X 2 2 x , x és a (xi − x) , x) elégséges statisztika. n i=1 i n i=1 Példa. Egyenletes eloszlás Tegyük fel, hogy ξ1 , ξ2 , . . . , ξn ∼ E(0, a) független, azonos eloszlású minta. Ekkor a sűrűségfüggvény ½1 ha 0 ≤ x ≤ a fa (x) = a 0 különben amiből n Y ª 1 1 © L(x, a) = χ{xi ≤ a} = n χ max {xi } ≤ a 0≤i≤n a a i=0 azaz a max{xi } elégséges statisztika. i

3. BECSLÉSI MÓDSZEREK

3.3.

16

Becslési módszerek

Példa. Egy tóban N hal van, számukat nem insmerjük. Első héten kihalásznak 1000 halat és megjelölik őket. A következő héten kihalásznak 5000-et és megszámolják a megjelölteket. 50-et találnak. Becsüljük meg N -et! Természetes eljárás: Jelölje ξ a másodjára kihúzott halak számát. Tudjuk, hogy ez hipergeometriai eloszlású, így µ ¶µ ¶ 1000 N − 1000 50 4950 µ ¶ L(50, N ) = PN (ξ = 50) = N 5000 b : L(50, N b ) = maxN L(50, N ) ⇒ N b = 100000. A becslés: N Definíció. (Maximum likelihood becslés) A ϑ paraméter maximum likelihood becslése a ϑb = T (ξ) ∈ Θ, ha b = max L(ξ, ϑ). L(ξ, ϑ) ϑ∈Θ

Heurisztikusan: azt a paraméterértéket keressük, amelyre az adott minta bekövetkezési valószínűsége maximális. Megjegyzés. (likelihood egyenlet) Gyakran a likelihood függvény maximumhelyének keresését a ∂`(x, ϑ) =0 ∂ϑ egyenlet (egyenletrendszer) megoldásával végezzük. Diszkrét minta esetén: n X ∂ ln Pϑ (ξi = xi ) = 0. ∂ϑ i=0 Abszolút folytonos minta esetén: n X ∂ ln fϑ (xi )

∂ϑ

i=0

=0

Példa. (Indikátor minta) P

P

L(x, p) = p xi (1 − p)n− xi Ã n ! Ã ! n X X `(x, p) = ln L(x, p) = xi ln p + n − xi ln(1 − p) i=0

i=0

A likelihood egyenlet ∂`(x, p) = ∂p

Ã n X i=0

! xi

1 − p

Ã n−

n X i=0

! xi

1 =0 1−p

Ennek megoldása, ami valóban maximumhely, így maximum likelihood becslés n X

pb =

i=0

n

ξi .


17

Példa. (Poisson) Tegyük fel, hogy η1 , η2 , . . . , ηn ∼ P oisson(λ). Ekkor n Y λki e−λ

Ã

n Y 1 k ! i=1 i !

! P

ki −nλ e ki ! ! Ã n Ã n X X µ 1 ¶ + ki ln λ − nλ `(k, λ) = ln L(k, λ) = ln ki ! i=1 i=1 P P ∂` ki ki = − n = 0 ⇐⇒ λ = ∂λ λ n így az ML becslés P ηi b= λ n Példa. Adottak sorszámozott gömbök (lottóhúzás) 1-től N -ig. Visszatevéses húzás esetén becsüljük meg N -t! (A ξ1 , ξ2 , . . . , ξn a minta.) 1 PN (ξi = k) = χ{k ≤ N } N 1 L(k, λ) = PN (ξ1 = k1 , . . . , ξn = kn ) = n χ{max ki ≤ N } i N így az ML becslés b = max ξi N i ¡ ¢ b ami nem torzítatlan becslés EN (N ) < N .

L(k, λ) = Pλ (η1 = k1 , . . . , ηn = kn ) =

i=1

=

λ

Példa. (Normális eloszlás) Tegyük fel, hogy ξ1 , ξ2 , . . . , ξn ∼ N (m, σ 2 ). Ekkor µ ¶ n Y 1 (xi − m)2 2 √ L(x, m, σ ) = = exp − 2σ 2 2πσ 2 i=1 Ã ! n X n ¡ ¢ 1 − (xi − m)2 = 2πσ 2 2 exp − 2 · 2σ i=1 n n 1 X ln(2πσ 2 ) − 2 (xi − m)2 2 2σ i=1 Ã n ! ∂` 1 X = 2 xi − nm = 0 ∂m σ i=1

`(x, m, σ 2 ) = −

n 1 X ∂` n + (xi − m)2 = 0 = − ∂σ 2 2σ2 2σ 4 i=1

így az ML becslés (ξi − ξ)2 n Definíció. (Momentum módszer) Legyen n, k ∈ N, ξ1 , ξ2 , . . . , ξn minta és   ϑ1  ..  ϑ =  .  ∈ Θ ⊂ Rk P

m b =ξ

c2 = és σ

ϑk Becsüljük a ϑ paramétert a momentumok segítségével felírt egyenletrendszer megoldásával: ξ i + · · · + ξni Mi (ϑ) = 1 = Eϑ (ξ1i ) (i = 1, 2, . . . , k) n


18

Példa. (Normális eloszlás) Az 1. momentum ξ = M1 (m, σ 2 ) = Em,σ2 (ξ1 ) = m a 2. momentum ¢2 ¡ M2 (m, σ 2 ) = Em,σ2 (ξ12 ) = D2m,σ2 (ξ1 ) + Em,σ2 (ξ1 ) = σ 2 + m2 P 2 µ ¶2 ξ12 + · · · + ξn2 ξ1 + · · · + ξn ξi 2 c 2 σ = − = −ξ = n n n ´ ³ P 2 ¢2 ¡ P P 2 2 2 ξi2 − 2ξξi + ξ ξi − ξ ξi 2nξ nξ = − + = = = s2 n n n n n Példa. Adottak sorszámozott gömbök (lottóhúzás) 1-től N -ig. Visszatevéses húzás esetén becsüljük meg N -t! (A ξ1 , ξ2 , . . . , ξn a minta.) N +1 N +1 b = 2ξ − 1 ⇒ =ξ⇒N 2 2 Azonban könnyen lehet, hogy a becslés eredményeként nem (pozitív) egész számot kapunk. (Ekkor ez nem megoldás.) M1 (N ) = EN (ξ1 ) =

Definíció. (Teljes statisztika) A T (ξ) statisztika teljes, ha ³ ¡ ¢´ Eϑ f T (ξ) = c (∀ϑ ∈ Θ)

⇒

´ ³ ¡ ¢ Pϑ f T (ξ) = 0 = 1

(∀ϑ ∈ Θ)

Példa. Legyen ξ1 , ξ2 , . . . , ξn ∈ {1, 2, . . . , N } egyforma valószínűséggel. (n) Ekkor ha ξn = max ξi , akkor PN (ξn(n) = k) = PN (ξn(n) ≤ k) − PN (ξn(n) ≤ k − 1) = kn (k − 1)n = n χ{k ≤ N } − χ{k − 1 ≤ N } Nn ³ ³ N ´´ (n) = 0 következik, hogy Amiből ha a EN f ξn N X k n − (k − 1)n k=1

Nn

f (k) = 0 és

N −1 X k=1

k n − (k − 1)n f (k) = 0 (N − 1)n

így (N n − (N − 1)n ) f (N ) = 0 (N ≥ 1) | {z }

⇒

f ≡0

6=0

azaz a max ξi teljes statisztika. Becslés javítása elégséges (jobb ha teljes is) statisztikával Tétel. (Rao–Blackwell–Kolmogorov tétel) Tegyük fel, hogy ξ minta, T (ξ) elégséges statisztika és S(ξ) torzítatlan becslés ψ(ϑ)ra. Ekkor van olyan U (ξ) becslése ψ(ϑ)-nak, ami T (ξ) függvénye és hatásosabb S(ξ)-nél, azaz ¡ ¢ ¡ ¢ ¢ ¢ ¡ ¡ ∃U (ξ) = f T (ξ) : Eϑ U (ξ) = ψ(ϑ) és D2ϑ S(ξ) ≥ D2ϑ U (ξ) Valamint ha T (ξ) teljes, akkor U (ξ) hatásos is.


19

Bizonyítás. Legyen ¡ ¢ U = Eϑ S|T Az U várható értéke a teljes várható érték tételt felhasználva Eϑ (Eϑ (S|T )) = Eϑ (S) = ψ(ϑ) így az U torzítatlan becslés. ³ ´2 ¡ ¢2 D2ϑ (S) = Eϑ S − ψ(ϑ) = Eϑ S − Eϑ (S|T ) + Eϑ (S|T ) − ψ(ϑ) = ³ ´2 ³ ´2 = Eϑ S − Eϑ (S|T ) + Eϑ Eϑ (S|T ) − ψ(ϑ) + | {z } | {z } ≥0

+ 2Eϑ

µ³

=D2ϑ (U )

´³ ´¶ S − Eϑ (S|T ) Eϑ (S|T ) − ψ(ϑ)

ugyanakkor µ³

´³ ´¶ S − Eϑ (S|T ) Eϑ (S|T ) − ψ(ϑ) =

2Eϑ Ã µ ! ³ ´³ ´¯ ¶ ¯ = 2Eϑ Eϑ S − Eϑ (S|T ) Eϑ (S|T ) − ψ(ϑ) ¯T = = 2Eϑ

Ã ³

´ µ³ ´¯ ¶ ¯ Eϑ (S|T ) − ψ(ϑ) Eϑ S − Eϑ (S|T ) ¯T

! =

és a szorzat második tagjára µ³ ´¯ ¶ ³ ¯ ´ ¯ Eϑ S − Eϑ (S|T ) ¯T = Eϑ (S|T ) − Eϑ Eϑ (S|T )¯T = 0 így U hatásosabb S-nél. Legyen ψb = ψ(ϑ), azaz ψb egy torzítatlan becslés. Ekkor a tétel eddig bizonyított b b ), akkor erre igaz, hogy részei alapján, ha ψb = Eϑ (ψ|T bb bb b és Eϑ (ψ) D2ϑ (ψ) ≤ D2ϑ (ψ) = ψ(ϑ) b Ha feltesszük, hogy Eϑ (ψb − U ) = 0 minden ϑ ∈ Θ paraméterre, akkor a T teljessége miatt b Pϑ (ψb − U = 0) = 1 ∀ϑ ∈ Θ estén b ami azt jelenti, hogy U és ψb megegyeznek, tehát bb b D2ϑ (U ) = D2ϑ (ψ) ≤ D2ϑ (ψ) ami azt jelenti, hogy U szórásnégyzete kisebb bármely más torzítatlan becslés szórásnégyzeténel, így U hatásos becslés. Példa. Legyen (Poisson) P b= Eλ (η1 ) = λ és λ

ηi n

Ekkor hatásos becslések például a következők ³ ¯X ´ Eλ η1 ¯ ηi µP ¯ X ¶ P ηi ¯ ηi Eλ ηi = ¯ n n

3. FISCHER-FÉLE INFORMÁCIÓMENNYISÉG

20

Példa. Egy telefonközpontban a bejövő hívások száma Poisson eloszlású. Határozzuk meg mennyi a valószínűsége 100 bejővő hívásnak! A feladat tehát, hogy a λ100 e−λ -ra 100! adjunk hatásos becslést. Torzítatlan becslés λ100 e−λ Eλ (χ{η1 = 100}) = 100! amiből a hatásos becslés Ã ! Ã ! n n ¯X ¯X ¯ ¯ Eλ χ{η1 = 100}¯ ηi = Pλ η1 = 100¯ ηi i=1

Ã

n ¯X ¯ η1 = 100¯ ηi = t

i=1

!

P

Pλ (η1 = 100, ηi = t) P = Pλ ( ηi = t) i=1 ¡ ¢t−100 (n−1)λ e−(n−1)λ P λ100 e−λ · Pλ (eta1 = 100) Pλ ( ηi = t − 100) 100! (t−100)! P = = = (nλ)t e−nλ Pλ ( ηi = t) t! ¶t−100 µ ¶µ ¶µ (n − 1)t−100 t! 1 1 t = · = 1− 100 nt 100!(t − 100) n n Azaz, ha 50 napig néztük és 48 alatt összeadva nem érte el a százat, akkor 0 a becslésünk, különben µP ¶ µ ¶ µ ¶P ηi −100 nX o 1 1 ηi ηi ≥ 100 1− χ 100 n n Pλ

3.4.

=

Fischer-féle információmennyiség

Definíció. (Fischer-féle információmennyiség) A ξ minta Fischer-féle információmennyisége Ãµ ¶2 ! ∂ ln L(ξ, ϑ) I(ϑ) = E ∂ϑ

ϑ ∈ Θ ⊂ R,

ha létezik a bal oldalon lévő várható érték. Megjegyzés. A következő jelölések használatosak még: • Iξ (ϑ), ha nem egyértelmű, hogy melyik mintáról van szó. • In (ϑ), ha lényeges a mintanagyság. Abszolút folytonos, független, azonos eloszlású minta esetén Ãµ ¶2 ! Z µ ¶2 ∂ ln L(ξ, ϑ) ∂ ln fϑ (x) I(ϑ) = E = fϑ (x)dx = ∂ϑ ∂ϑ Rn ¶2 µ ¶2 Z µ Z 1 ∂fϑ (x) ∂fϑ (x) 1 = · fϑ (x)dx = dx fϑ (x) ∂ϑ ∂ϑ fϑ (x) Rn fϑ (x)>0 Diszkrét, független, azonos eloszlású minta esetén X µ ∂Pϑ (ξ = x) ¶2 1 I(ϑ) = ∂ϑ P (ξ = x) ϑ x


21

Tétel. Legyen ξ1 , ξ2 , . . . , ξn független eloszlású, gϑ sűrűségfüggvényű minta, valamint tegyük fel, hogy Z +∞ ∂gϑ (x) ∃I1 (ϑ) és dx = 0 ∂ϑ −∞ Ekkor In (ϑ) = nI1 (ϑ) Bizonyítás. ¶ Z +∞ µ Z +∞ ∂ ln gϑ (x) ∂gϑ (x) ∂ ln gϑ (ξ1 ) = gϑ (x)dx = dx = 0 ⇒ Eϑ ∂ϑ ∂ϑ ∂ϑ −∞ −∞ ! Ã n µ ¶ X ∂ ln gϑ (ξ1 ) ∂ ln L(ξ, ϑ) Eϑ =0 = Eϑ ∂ϑ ∂ϑ i=0 Ã n ! Ãµ ¶2 ! µ ¶ X ∂ ln gϑ (ξi ) ∂ ln L(ξ, ϑ) ∂ ln L(ξ, ϑ) 2 2 In (ϑ) = Eϑ = Dϑ = Dϑ = ∂ϑ ∂ϑ ∂ϑ i=0 Ãµ µ ¶ ¶2 ! n X ∂ ln gϑ (ξi ) ∂ ln gϑ (ξ1 ) 2 = Dϑ = nEϑ = nI1 (ϑ) ∂ϑ ∂ϑ i=0 Példa. (Normális eloszlás) Legyen ξ1 , ξ2 , . . . , ξn ∼ N(m, σ 2 ), ahol σ ismert. Ekkor Ã µ ¶2 ! µ ¶ 1 1 x−m 1 (x − m)2 gm (x) = √ exp − ⇒ ln gm (x) = ln √ − , 2 σ 2σ 2 2πσ 2 2πσ 2 amiből

+∞

µ ¶ ∂ ln gm (ξ1 ) ∂gm (x) dx = Em = ∂m ∂m ¶ µ−∞ 1 1 = Em − 2 (−2)(ξ1 − m) = 2 Em (ξ1 − m) = 0. 2σ σ Z

Valamint µ

∂ ln gm (ξ1 ) I1 (m) = ∂m Tehát alkalmazható a tétel D2m

¶ =

D2m

µ

ξ1 − m σ2

In (m) = nI1 (m) = Példa. (Egyneletes eloszlás) Legyen ξ1 , ξ2 , . . . , ξn ∼ E(0, ϑ). Ekkor ½1 fϑ (x) = ϑ 0 amiből

=

1 2 1 D (ξ1 ) = 2 σ4 m σ

n σ2

ha 0 ≤ x ≤ ϑ különben

Z ϑ ∂gm (x) 1 1 dx = − 2 dx = − 6= 0. ∂m ϑ ϑ −∞ 0 Tehát nem alkalmazható a tétel, így ¶2 Z ϑµ Z ϑ ∂ ln ϑ1 1 1 1 I1 (ϑ) = dx = dx = 2 3 ∂ϑ ϑ ϑ ϑ 0 0 Z Z ϑµ Z Z ϑ 2 1 ¶2 ∂ ln ϑn 1 n n2 In (ϑ) = · · · dx . . . dx = · · · dx . . . dx = 1 n 1 n n+2 ∂ϑ ϑn ϑ2 0 0 ϑ Z

+∞

¶


22

Tétel. Legyen ξ1 , ξ2 , . . . , ξn független eloszlású, diszkrét minta, valamint tegyük fel, hogy X ∂Pϑ (ξ1 = x) ∃I1 (ϑ) és =0 ∂ϑ x Ekkor In (ϑ) = nI1 (ϑ) Példa. Indikátor minta Legyen ξ1 , ξ2 . . . ξn p paraméterű független indikátor minta, azaz Pp (ξi = 1) = p és Pp (ξi = 0) = 1 − p (i = 1, 2, . . . , n) Ekkor

X ∂Pp (ξ1 = x) ∂p ∂(1 − p) = + = 1 − 1 = 0, ∂p ∂p ∂p x

valamint, mivel ½ L(ξ1 , p) =

p 1−p

ha ξ1 = 1 ha ξ1 = 0

ezért Ãµ I1 (p) = Ep

∂ ln L(ξ1 , p) ∂p

¶2 !

µ =p

∂ ln p ∂p

¶2

µ + (1 − p)

∂ ln(1 − p) ∂p

¶2 =

1 1 1 1 1 + (1 − p) = + = 2 2 p (1 − p) p 1−p p(1 − p) Tehát alkalmazható az előző tétel, azaz n In (p) = nI1 (p) = p(1 − p) =p

Tétel. (Cramér-Rao egyenlőtlenség) Tegyük fel, hogy ξ1 , ξ2 , . . . , ξn gϑ sűrűségfüggvényű eloszlásból származó független minta, amelyre igazak a következők (1) ∃I1 (ϑ), Z +∞ ∂gϑ (x) (2) dx = 0, ∂ϑ −∞ (3) T (ξ) olyan torzítatlan becslése ψ(ϑ)-nak, amelyre ¡ ¢ (a) Dϑ2 T (ξ) < +∞ ∀ϑ ∈ Θ esetén Z Z ∂fϑ (x) ∂ ∂ (b) T (x) dx = T (x)fϑ (x)dx = ψ(ϑ) ∂ϑ ∂ϑ Rn ∂ϑ Rn Ekkor Dϑ2

¡

¡ 0 ¢2 ¢ ψ (ϑ) T (ξ) ≥ In (ϑ)


Bizonyítás. S := Ekkor

ψ 0 (ϑ) ∂ ln fϑ (ξ) · In (ϑ) ∂ϑ

Eϑ

∂ ln fϑ (ξ) ∂ϑ

2

D2ϑ (S)

µ

¶ = 0 ⇒ Eϑ (S) = 0 ⇒

¢2 ¡ 0 ¢2 ψ 0 (ϑ) ψ (ϑ) = ¡ . ¢2 · In (ϑ) = In (ϑ) In (ϑ) ¡

Eϑ (S ) =


23

Ugyanakkor D2ϑ (T − S) = D2ϑ (T ) − 2cov(T, S) + D2ϑ (S), ahol ¢¡ ¢´ T − Eϑ (T ) S − Eϑ (S) = ¡ ¢ = Eϑ (T S) − Eϑ SEϑ (T ) = Eϑ (T S) = ¡ 0 ¢2 µ ¶ Z ∂ ln fϑ (ξ) ψ (ϑ) ψ 0 (ϑ) ψ 0 (ϑ) ∂ ln fϑ (x) = · Eϑ T (ξ) = · dx = , (T (x) In (ϑ) ∂ϑ In (ϑ) Rn ∂ϑ In (ϑ) cov(T, S) = Eϑ

³¡

így ¢2 ψ 0 (ϑ) − . In (ϑ) ¡

0≤

D2ϑ (T

− S) =

D2ϑ (T )

Példa (Normális eloszlás) Legyen ξ1 , ξ2 , . . . , ξn ∼ N(m, σ 2 ), ahol σ ismert. Ekkor tudjuk, hogy n In (m) = 2 és Em (ξ) = m, σ amiből az előző tétel alapján (m0 )2 σ2 σ2 = D2m (ξ) ≥ = . n In (m) n Példa. (Indikátor minta) Legyen ξ1 , ξ2 . . . ξn p paraméterű független indikátor minta. Ekkor tudjuk, hogy n és Ep (ξ) = p, In (p) = p(1 − p) így p(1 − p) 1 p(1 − p) = D2p (ξ) ≥ = . n In (p) n Állítás. Legyen ξ1 , ξ2 , . . . , ξn és η1 , η2 , . . . , ηk független minták, amelyeknek értelmezhető a Fischer-féle információmennyiségük. Ekkor Iξ,η (ϑ) = Iξ (ϑ) + Iη (ϑ)


Állítás. Legyen ξ1 , ξ2 , . . . , ξn minta, amelyre ∃Iξ (ϑ) és a T (ξ) becslés elégséges. Ekkor Iξ (ϑ) = IT (ξ) (ϑ)

ϑ ∈ Θ esetén.

Bizonyítás. Diszkrét esetben ³ ´ ³ ´ ¯ L(x, ϑ) = Pϑ (ξ = x) = Pϑ ξ = x¯T (ξ) = T (x) · Pϑ T (ξ) = T (x) | {z } | {z } ¡ ¢ :=U (x) =L T (x),ϑ

¡ ¢ ¡ ¢´ ∂ ln L T (ξ), ϑ ∂ ln L(ξ, ϑ) ∂ ³ = ln U (ξ) + ln L T (ξ), ϑ = ∂ϑ ∂ϑ ∂ϑ Ã Ãµ ¡ ¢ !2  ¶2 ! ∂ ln L(ξ, ϑ) ∂ ln L T (ξ), ϑ  = IT (ξ) (ϑ) Iξ (ϑ) = Eϑ = Eϑ  ∂ϑ ∂ϑ

3. KONFIDENCIAINTERVALLUM

3.5.

24

Konfidenciaintervallum

Definíció. (Konfidenciaintevallum) Az 1 − α (α ∈ [0, 1]) konfidenciaintervallum egy olyan intervallum, amely legalább 1 − α valószínűséggel tartalmazza a keresett paramétert, azaz ξ minta esetén, olyan ¡ ¢ T1 (ξ), T2 (ξ) , amelyre ¡ ¢ Pϑ T1 (ξ) < ϑ < T2 (ξ) ≥ 1 − α ∀ϑ ∈ Θ esetén. . Példa. Konfidenciaintervallum készítése normális eloszlás esetén (ismert szórás) Legyen ξ1 , ξ2 , . . . , ξn ∼ N(m, σ 2 ), ahol σ ismert. Ekkor µ ¶ n 1X σ2 ξ= ξi ∼ N m, ⇒ n i=1 n       x − m x − m ξ − m ξ − m  = Φ q  , azaz P  q P(ξ < x) = P  q < q < y  = Φ(y) σ2 n

σ2 n

σ2 n

σ2 n

µ

¶ ¶ µ σ σ P ξ−m ξ − u1−α · √ = 1 − α, n ¶ µ σ = 1 − α, P m < ξ + u1−α · √ n µ ¶ σ σ ≥1−α P ξ − u1− α2 · √ < m < ξ + u1− α2 · √ n n azaz az ezek alapján készített jobb oldali, bal oldali és kétoldali konfidenciaintervallumok 1 − α megbízhatóságúak. Példa Konfidenciaintervallum várható értékre (ismert szórás) Legyen ξ n elemű minta, amelyre E(ξi ) = m és D2 (ξi ) = σ 2 , ahol a σ ismert. Ekkor a Ã ! r r 1 σ 1 σ P ξ− ·√ <m<ξ+ ·√ ≥1−α α α n n teljesül, ezért ez alapján is 1 − α megbízhatóságú konfidenciaintervallum készíthető. Néhány érték az előző konfidenciaintervallumok kiszámításához: q 1 α u1− α2 α 10% 1,64 3,16 5% 1.96 4,47 2,5% 2,24 6,32 1% 2,58 10,00 Feladat. A Gyorskenyér Kft. automata kenyérsütő készülékei egyszerre 100 kenyeret sütnek ki. Ezek tömegei grammban mérve N(n, 102 ) eloszlással közelíthetőek, ahol m a kezelő beállításától függ. Egy ellenőrzésnél megmérték mind a 100 kenyér tömegét. Az átlag 990 gramm volt. Készítsünk 95%-os megbízhatóságú konfidenciaintervallumot m-re!

3. KONFIDENCIAINTERVALLUM

25

Megoldás. Itt ξ = 990, σ = 10, n = 100, Φ(1, 64) = 0, 95 és Φ(1, 96) = 0, 975. Ekkor 95% valószínűséggel teljesül, hogy 10 m < 990 + 1, 64 · √ = 991, 64 100 10 m > 990 − 1, 64 · √ = 988, 36 100 990 − 1, 96 = 988, 04 < m < 990 + 1, 96 = 991, 96 így az (−∞, 991.64); (988.36, +∞); (988.04, 991.96) konfidenciaintervallumok 95% mebízhatóságúak. Konfidenciaintervallum sok megfigyelés esetén Legyen ξ n elemű minta, amelyre E(ξi ) = m ismeretlen és D2 (ξi ) = σ 2 ismert, valamint tegyük fel, hogy sok megfigyelésünk van. Ekkor alkalmazhatjuk a centrális határeloszlás tételt, azaz ¶ µ Pn i=1 ξi − nm √ < x → Φ(x) P σ n amiből ¶ µ ¶ µ σ σ = P ξ − x · √ < m ∼ Φ(x) P ξ−m<x· √ n n tehát µ ¶ σ σ α α √ √ P ξ − u1− 2 · < m < ξ + u1− 2 · ∼ 1 − α. n n Példa. Svájcban 1871 és 1900 között 2.644.757 megszületett gyermekből 1.359.671 fiú és 1.285.086 lány volt. A fiúk gyekorisága így 0, 5141. µ ¶ 1 u u p(1 − p) ≤ ⇒ P ξ − √ < p < ξ + √ ∼ 2Φ(u) − 1 4 2 n 2 n Esetünkben 0, 9973 valüszínűséggel 0, 5132 < p < 0, 5150. Tétel. Normális eloszlású minta esetén a mintaátlag és tapasztalati szórás független. Definíció. (t-eloszlás) Legyen X0 , X1 , X2 , . . . , Xn ∼ N(0, 1) függetlenek. Ekkor az n − 1 szabadságfokú t (Student) eloszlás X q 2 20 ∼ tn−1 2 X1 +X2 +···+Xn n−1

A Student-féle t-eloszlás különböző szabadságfokokkal:

3. A MAXIMUM LIKELIHOOD BECSLÉS TULAJDONSÁGAI

26

Konfidenciaintervallum normális eloszlás várható értékére ismeretlen szórás esetén Legyen ξ1 , ξ2 , . . . , ξn ∼ N(m, σ 2 ), ahol σ ismeretlen, ezért becsülnünk kell P √ (ξi − ξ)2 n(ξ − m) √ σ e2 := ∼ tn−1 ⇒ n−1 σ e2 így P(tn−1 < tn−1,y ) = y, amiből µ ¶ σ e σ e α α P ξ − tn−1,1− 2 √ < m < ξ + tn−1,1− 2 √ = 1 − α, n n ¶ µ σ e = 1 − α, P m > ξ − tn−1,1−α √ n µ ¶ σ e P m < ξ + tn−1,1−α √ = 1 − α. n Az u és t együtthatók összehasonlítása α = 5% esetén: u1−5% = 1, 64 n tn−1,1−5% 2 6, 31 3 2, 92 4 2, 35 5 2, 13 10 1, 83

n 20 50 100 1000

tn−1,1−5% 1, 73 1, 68 1, 66 1, 65

Példa. Előző feladat folytatása. Tegyük most fel, hogy nem ismerjük a Gyorskenyér Kft. kenyerinek szórását. Az átlag 990 gramm. Előzőleg 10 szórásnál 991, 64 gramm volt a 95%-os megbízhatóságú konfidencia határ. Amennyiben a korrigált tapasztalati szórás is 10, akkor ez a határ csak kis mértékben változik (991, 8 gramm). Azonban 50-es korrigált tapasztalati szórásnál ez az érték 999 grammra változik. 3.6.

A maximum likelihood becslés tulajdonságai

Ha egydimenziós a ϑ, az ML becslés aszimptotikája ϑb − ϑ q ∼ N(0, 1) I−1 (ϑ) n In közelítése bIn =

¶2 n µ X ∂ ln fϑb(Xi ) ∂ ϑb i=1

Konfidenciaintervallum az ML becslés alapján µ q q ¶ −1 b b b α α ϑ − u1− 2 In ; ϑ + u1− 2 bI−1 n amely aszimptotikus (kis n-re kérdéses a lefedési valószínűség) és szimmetrikus.

FEJEZET 4

Hipotézisvizsgálat 4.1.

Alapfogalmak

Definíció. (Nullhipotézis, ellenhipotézis) A H0 -t nullhipotézisnek (jelezni akarjuk, ha nem igaz), a H1 -t pedig ellenhipotézisnek nevezzük. Paraméterekkel H0 : ϑ ∈ Θ 0

és

H1 : ϑ ∈ Θ 1 ,

ahol

Θ0 ∪ Θ1 = Θ

és

Θ0 ∩ Θ1 = ∅.

Példák. (1) Igaz-e, hogy 0,5 valószínűséggel születik fiúgyermek? Ekkor a H0 nullhipotézis az, hogy 0, 5 valószínűséggel születik fiúgyermek, a H1 ellenhipotézis pedig az, hogy nem 0, 5 valószínűséggel. Azaz H0 : p = 0, 5 és H1 : p 6= 0, 5. (2) Mi lehet egy autóvezető által okozott károk számának eloszlása? Itt H0 az, hogy a kárszám Poisson eloszlású, a H1 pedig az, hogy nem Poisson eloszlású. Definíció. (Lehetséges hibák) Elsőfajú hiba: H0 igaz, de elutasítjuk. Másodfajú hiba: H0 hamis, de elfogadjuk.

Döntés

Elfogadjuk a nullhipotézist Elutasítjuk a nullhippotézist

Aktuális helyzet Nullhipotézis igaz Nullhipotézis hamis Helyes döntés Másodfajú hiba Elsőfajú hiba Helyes döntés

Definíció. (Statisztikai próba, véletlenített próba) A T : X → R korlátos függvényt statisztikai próbának nevezzük. A T : X → [0, 1] függvényt véletlenített próbának nevezzük, ahol T(x) a H0 bekövetkezésének valószínűsége Definíció. (Elfogadási illetve elutasítási tartomány) A mintateret két diszjunkt tartományra osztjuk, az Xe elfogadási és az Xk elutasítási vagy kritikus tartományra. X = Xe ∪ Xk

és

Xe ∩ Xk = ∅

A Pϑ (ξ ∈ Xk ) ϑ ∈ Θ0 az elsőfajú hiba valószínűsége. A Pϑ (ξ ∈ Xe ) ϑ ∈ Θ1 az másodfajú hiba valószínűsége. Gyakran statisztika (próbafüggvény) segítségével határozzuk meg: ½ 1 , x ∈ Xk T (x) = 0 ,x ∈ / Xk 27

4. ALAPFOGALMAK

28

Definció. (Próba szignifikaszintje) Az α ∈ (0, 1) a statisztikai próba terjedelme, ha ∀ϑ ∈ Θ0 -ra Pϑ (ξ ∈ Xk ) ≤ α Az α ∈ (0, 1) a statisztikai próba szignifikaszintje (pontos terjedelme), ha sup Pϑ (ξ ∈ Xk ) = α ϑ∈Θ0

Definíció. (Erőfüggvény) A β(ϑ) = Pϑ (ξ ∈ Xk ) = 1 − Pϑ (ξ ∈ Xe )

ϑ ∈ Θ1

függvényt a próba erőfüggvényének nevezzük. Példa. Egy érmét négyszer dobunk fel, ahol ξ legyen a fejdobások száma. Ekkor X = {0, 1, 2, 3, 4}. Legyen H0 : az érme szabályos, p = 21 ; H1 : az érme nem szabályos, p 6= 12 . Itt 2 Xk = {0, 4} ⇒ P 12 (ξ = 0 vagy ξ = 4) = = 0, 125 és 16 1 Xk = {0} ⇒ P 21 (ξ = 0) = = 0, 0625 16 Az erőfüggvény ¡ ¢ β(p) = 1 − P(1 ≤ ξ ≤ 3) = 1 − 1 − (1 − p)4 − p4 = (1 − p)4 + p4 . Példa. Egyetlen megfigyelés H0 : a megfigyelés N(4, 1) eloszlású, ekkor az elsőfajú hiba

H0 : a megfigyelés N(7, 1) eloszlású, ekkor a másodfajú hiba

4. ALAPFOGALMAK

29

Példa. 24 emberen kísérleteznek, hogy meg tudják-e különböztetni a különböző sörmárkákat. A kísérlet során mindenkinek három korsó sör közül kell kiválsztania, azt ami a másik kettőtől különbözik. H0 : p = 31 , azaz nem tudják megkülönböztetni. H1 : p 6= 13 , azaz meg tudják különböztetni a két sörmárkát. Az eloszlás H0 esetén:

Kritikus tartomány megválasztása µ ¶ 24 µ ¶ µ ¶x µ ¶24−x ¯ X 1 2 1 24 ¯ 1 P 3 (x ∈ Xk ) = P x ≥ xk ¯p = = x 3 3 3 x=x k

Ha xk = 12, akkor P 13 (x ∈ Xk ) = 0.0677 > 0.05 Ha xk = 13, akkor P 13 (x ∈ Xk ) = 0.0284 < 0.05 p = 0.5 esetén a másodfajú hiba valószínűsége:

p = 0.7 esetén a másodfajú hiba valószínűsége:

Az erőfüggvény:

4. PRÓBÁK ÖSSZEHASONLÍTÁSA

4.2.

30

Próbák összehasonlítása

Definíció. (Torzítatlan próba) A próba torzítatlan, ha a ∀ϑ ∈ Θ0 : Pϑ (ξ ∈ Xk ) ≤ α formulából következik, hogy ∀ϑ ∈ Θ1 : Pϑ (ξ ∈ Xk ) ≥ α, vagyis, ha H0 nem igaz, akkor nagyobb valószínűséggel utasítjuk el, mint amikor igaz. Definíció. (Konzisztencia) Egy próba konzisztens ha erőfüggvényére igaz, hogy n→+∞

βn (ϑ) −−−−−→ 1

∀ϑ ∈ Θ1 esetén.

Definíció. Az α terjedelmű T1 próba erősebb, mint az α terjedelmű T2 próba, ha ¢ ¡ ¢ ¡ Pϑ T1 (ξ) = 1 = β(ϑ, T1 ) ≥ β(ϑ, T2 ) = Pϑ T2 (ξ) = 1 ∀ϑ ∈ Θ1 esetén, ahol β(ϑ, Ti ) a Ti próba erőfüggvénye. Definíció. (Véletlenített próba) A T véletlenített próba, ha lehetséges értékei: 0, γ, 1; ahol 0 < γ < 1. Példa.

½ T(ξ) :=

Ekkor előfordulhat, hogy ¢ ¡ Pϑ h(ξ) > c < α

1 0

, ha h(ξ) ≥ c , ha h(ξ) < c

¡ ¢ és Pϑ h(ξ) ≥ c > α

valamely ϑ ∈ Θ0 -ra.

Ha |Θ0 | = 1, akkor ¡ ¢ ¡ ¢ ∃γ ∈ (0, 1) : Pϑ h(ξ) > c + γPϑ h(ξ) = c = α

ϑ ∈ Θ0 .

Tehát legyen  1 T(ξ) = γ  0

, ha h(ξ) > c , ha h(ξ) = c , ha h(ξ) < c

Definíció. (Legerősebb próba) A T próba a legerősebb (α terjedelmű) a H0 : ϑ = ϑ0 hipotézis ellenőrzésére a H1 : ϑ = ϑ1 ellenhipotézissel szemben, ha minden más (α terjedelmű) próbánál erősebb. Tétel. (Neyman–Pearson alaplemma) Legyen Θ = {ϑ0 , ϑ1 }. Tegyük fel, hogy H0 : ϑ = ϑ0 , H1 : ϑ = ϑ1 , H0 esetén a minta likelihood függvénye L0 és H1 esetén a minta likelihood függvénye L1 . Legyen T a valószínűséghányados próba, azaz   1 , ha L1 (x) > cL0 (x) 0 ≤ c <+∞ T(x) = γ , ha L1 (x) = cL0 (x) , ahol . 0≤γ≤ 1  0 , ha L1 (x) < cL0 (x) Ekkor (1) a T(ξ) valószínűséghányados próba a legerősebb próba az ő terjedelmében. (2) Ha 0 < α ≤ 1, akkor ∃cα és ∃γα , hogy T α terjedelmű. (3) Ha T0 egy α terjedelmű legerősebb próba, akkor az ilyen alakú.

4. PARAMÉTERES PRÓBÁK

31

Bizonyítás ¡ ¢ ¢ ¢ ¡ ¡ Pϑ0 T(ξ) = 1 + γPϑ0 T(ξ) = γ = Eϑ0 T(ξ) = α (1) Diszkrét esetben Legyen Pϑ0 (ξ = x) = p0 (x), Pϑ1 (ξ = x) = p1 (x) e olyan próba, amelyre és T ¢ ¡ e Eϑ0 T(ξ) ≤ α. Ekkor ¢ ¢ ¢ X¡ ¢ ¡ ¡ ¡ e e e Eϑ1 T(ξ) − Eϑ1 T(ξ) = Eϑ1 T(ξ) − T(ξ) = T(x) − T(x) p1 (x) = x

X

=

p (x)

x: p1 (x) >c

¡

e T(ξ) − T(ξ) p1 (x) + {z } | {z } | >cp0 (x)

≥0

0

X

+

p (x)

≥c·

p (x)

x: p1 (x) =c

¢ e T(ξ) − T(ξ) p1 (x) + | {z } =cp0 (x)

0

¢ e T(ξ) − T(ξ) p1 (x) ≥ | {z } | {z }
≤0

0

¡

¡

¡

x: p1 (x)
X

X

¢

¢

e T(ξ) − T(ξ) p1 (x) + c ·

p (x)

X

¡

¢ e T(ξ) − T(ξ) p0 (x)+

p (x)

x: p1 (x) >c

x: p1 (x) =c

0

0

X

+c ·

¡

¢ e T(ξ) − T(ξ) p0 (x) =

p (x)

x: p1 (x)
= Eϑ0

¡

¢ ¡ ¢ ¡ ¢ e e = Eϑ0 T(ξ) − Eϑ0 T(ξ) ≥0 T(ξ) − T(ξ)

(2) Be kell látni, hogy µ α = Pϑ0 Legyen U(ξ) =

¶ µ ¶ L1 (ξ) L1 (ξ) > c + γPϑ0 =c L0 (ξ) L0 (ξ)

L1 (ξ) L0 (ξ) .

¡ ¢ ¡ ¢ ¡ ¢ Pϑ0 U(ξ) > c = 1 − Pϑ0 U(ξ) < c − Pϑ0 U(ξ) = c = α ¢ ¡ ¢ ¡ Pϑ0 U(ξ) < c + Pϑ0 U(ξ) = c = 1 − α Ha van ilyen c szám, akkor készen vagyunk (γ = 0), különben legyen c olyan, hogy ¡ ¢ Pϑ0 U(ξ) < c < 1 − α és ¡ ¢ Pϑ0 U(ξ) ≤ c > 1 − α, de γ megválasztható tetszőlegesen, így megfelelő γ-ra teljesül a ¡ ¢ ¡ ¢ Pϑ0 U(ξ) < c + γPϑ0 U(ξ) = c = α (3) Bizonyítás nélkül. 4.3.

Paraméteres próbák

Definíció. (Egyoldali és kétoldali ellenhipotézis) Ha H0 : m = m0 , akkor a H1 : m 6= m0 kétoldali ellenhipotézis, a H01 : m < m0 és a H001 : m > m0 pedig egyoldali ellenhipotézisek.

4. PARAMÉTERES PRÓBÁK

4.3.1.

32

U-próba (ismert szórás, ismeretlen várható érték).

Legyen ξ1 , ξ2 , . . . , ξn ∼ N(m, σ 2 ), ahol m ismeretlen és σ ismert. √ 0 Ha U = ξ−m n, akkor σ H0 ⇒ U ∼ N(0, 1) és µ ¶ m − m0 √ H1 ⇒ U ∼ N n, 1 σ Bizonyítás. Kétoldali ellenhipotézis esetén. Legyen Φ(uy ) = y ¯ ½ ¯ ¾ ¯ x − m0 √ ¯ ¯ ¯ α Xk := x : ¯ n¯ ≥ u1− 2 ⇒ σ ¡ ¢ Pm0 (ξ ∈ Xk ) = Pm0 |U | ≥ u1− α2 = ³ ³ ¢ ¡ ¢ ¡ α´ α´ +1− 1− = α. = 1 − Φ u1− α2 + Φ −u1− α2 = 1 − 1 − 2 2 Ugyanakkor ¡ ¢ ¡ ¢ β(m) = Pm (ξ ∈ Xk ) = Pm |U | ≥ u1− α2 = 1 − Pm −u1− α2 < U < u1− α2 = ¶ µ ξ − m√ m − m0 √ = 1 − Pm −u1− α2 < n+ n < u1− α2 = σ σ ¶ µ ξ − m√ m − m0 √ m − m0 √ = 1 − Pm −u1− α2 − n< n < u1− α2 − n = σ σ σ µ ¶ µ ¶ m − m0 √ m − m0 √ n→+∞ = 1 − Φ u1− α2 − n + Φ u1− α2 − n −−−−−→ 1 (m 6= m0 ) σ σ 4.3.2.

t-próba (ismeretlen szórás és várható érték).

Legyen ξ1 , ξ2 , . . . , ξn ∼ N(m, σ 2 ), ahol m és σ ismeretlen. H0 : m = m 0 Ha v u n u 1 X ξ − m0 √ t= n, ahol σ b=t (ξ − ξi )2 σ b n − 1 i=1 akkor H0 ⇒ t ∼ tn−1 Kritukus tartomány kétoldali ellenhipotézis esetén H1 : m 6= m0 ¯ ½ ¯ ¾ ¯ x − m0 √ ¯ ¯ ¯ Xk = x : ¯ n¯ > t1− α2 ,n−1 σ b Kritikus tartományok egyoldali ellenhipotézisek esetén ½ ¾ x − m0 √ n > t1−α,n−1 H1 : m > m0 ⇒ Xk = x : σ b ½ ¾ x − m0 √ H1 : m < m0 ⇒ Xk = x : n < −t1−α,n−1 σ b Megjegyzések. • Az egyoldali t-próbák legerősebb próbák, viszont a kétoldali nem (nincs is ilyen). • Ha a minta elemszáma nagy, akkor a t-próba helyett u-próba is használható és ekkor még normális eloszlásúsgára sincs szükség a centrális határeloszlás tétel miatt.

4. NEM PARAMÉTERES PRÓBÁK

33

• Normális eloszlásnál a várható értékre vonatkozó α terjedelmű próbánál a H0 : m = m0 hipotézist a H1 : m 6= m0 hipotézissel szemben pontosan akkor fogadjuk el, ha m0 benne van az 1 − α megbízhatóságú konfidenciaintervallumban. 4.3.3.

Kétmintás eset.

Példa. Párosított megfigyelések. Van-e különbség Budapest és Cegléd napi átlaghőmérséklete között? H0 : m1 = m2 a nullhipotézis. Ha ugyanazokról a napokról van megfigyelésünk mindkét helyen (nem függetlenek a minták), akkor a párok tagjai közötti különbséget vizsgálva az előző egymintás esetre vezethető vissza a feladat, ahol H∗0 : m = 0 és H∗1 : m 6= 0 az új hipotézisek. Ha ismert a szórás (X n elemű σ1 szórású és Y m elemű σ2 szórású), akkor alkalmazható a kétmintás u-próba, ahol X −Y U=q 2 σ22 σ1 n + m Kritukus tartomány, megegyezik az egymintás esetben látottal. Ha ismeretlenek, de azonosak a szórások (X n elemű σ szórású és Y m elemű σ szórású), akkor alkalmazható a kétmintás t-próba, ahol r nm(n + m − 2) X −Y qP t= P n+m (Xi − X)2 + (Yi − Y )2 és n−1 szabdságfok helyett n+m−2 szabadságfokot alkalmazva a kritikus tartomány megegyezik az egymintásnál látottal. 4.3.4.

F- és Welch-próba (szórás vizsgálata kétmintás esetben).

Két független n és m elemű, σ1 és σ2 szórású normális eloszlású minta alapján a próbastatisztika H0 : σ1 = σ2 hipotézisre ½ 2 2¾ s1 s2 , , F = max s22 s21 azaz a korrigált tapasztalati szórásnégyzetek hányadosa, ahol a kritikus érték az n − 1, m − 1 szabadságfokú F eloszlás 1 − α2 kvantilise. (n a számlálóbeli, m pedig a nevezőbeli minta elemszáma) Ha nem alkalmazható az F-próba, akkor Welch-próba X −Y , t0 = q 2 s22 s1 + n m ahol H0 esetén t0 közelítőleg t eloszlású f szabadságfokkal és c2 (1 − c)2 f= + n−1 m−1

4.4.

c=

s21 n s21 n

+

s22 m

Nem paraméteres próbák

Illeszkedésvizsgálat: Adott eloszlású-e a minta?


4.4.1.

34

Kolmogorov-Szmirnov-próba (homogenitásvizsgálat).

A két tapasztalati eloszlásfüggvény eltérésének maximumán alapul. Dm,n = max |Fn (x) − Gm (x)| x

µr lim

m,n→+∞

4.4.2.

P

mn Dm,n < y m+n

¶ =

+∞ X

(−1)i e−2i

2 2

y

i=−∞

Wilcoxon-próba (rangstatisztika, előjelpróba).

Használata során a P(X > Y ) = 12 teszteljük. Azt számoljuk meg hány olyan pár van, amelyre Xi > Yi . A kapott statisztika aszimptotikusan normális eloszlású, nem érzékeny a kiugró értékekre. W =

n X

χ{Xi > Yi }

W ∼ Bin(n, 0.5)

i=1

W− √

n 2

n 2

4.4.3.

∼ N(0, 1)

χ2 -próba.

Ha Xi ∼ (0, 1)

(i = 1, 2, . . . , r), akkor X12 + X22 + · · · + Xr2 ∼ χ2r

r szabadságfokú χ-négyzet eloszlás.

Legyen a H0 hipotézis az, hogy az A1 , A2 , . . . , Ar teljes eseményrendszerre teljesül P(A1 ) = p1 , P(A2 ) = p2 , . . . , P(Ar ) = pr . Ekkor ha a H0 igaz, akkor χ2r−1 ∼

r X (νi − npi )2 i=1

npi

azaz ha a tesztstatisztika éréke nagyobb, mint az r − 1 szabadságfokú χ-négyzet eloszlás 1 − α kvantilise, elutasítjuk a H0 hipotézist. Tegyük fel, hogy r = 2, H0 : P(A) = p és ν az A gyakorisága n kísérletből. Ekkor ¡ ¢2 (n − ν) − n(1 − p) (ν − np)2 (ν − np)2 (ν − np)2 (ν − np)2 2 χ = + = + = np n(1 − p) np n(1 − p) np(1 − p)


35

Legyen ½ ξi =

1 0

, ha az i. kísérletnél A bekövetkezik , különben

Ekkor ν=

n X

ξi ,

(i = 1, 2, . . . , n)

D2 (ξi ) = p(1 − p)

E(ξi ) = p,

i=1

amiből χ2 =

µP

ξ − nE(ξ1 ) √i nD(ξ1 )

¶2

n→+∞

−−−−−→ χ21

Példa. (Kockadobás) 36 kockadobás eredménye Szám 1 2 3 4 5 6

Megfigyelt 8 5 9 2 7 5

npi 6 6 6 6 6 6

(ν−npi )2 npi

0, 667 0, 167 1, 500 2, 667 0, 167 0, 167

Itt n = 36 és r = 6, tehát 6 X (ν − npi )2 i=1

npi

= 5, 333 és P(χ25 > 5, 333) = 0, 377

Így nem tudjuk elutasítani a szabályosság hipotézisét! Példa. (Számítógépek népszerűsége) 100 amerikai diák Számítógép IBM Macintosh Egyéb

Megfigyelt 47 36 17

npi 33, 333 33, 333 33, 333

(ν−npi )2 npi

5, 604 0, 213 8, 003

Itt n = 100 és r = 3, tehát 3 X (ν − npi )2 i=1

npi

= 13, 820 és P(χ25 > 5, 99) = 0, 05

Így elutasítjuk az egyforma kedveltség hipotézisét! 4.4.4.

χ2 -próba illeszkedésvizsgálatra.

Legyen H0 : ξ1 , ξ2 , . . . , ξn F eloszlásfüggvényű. A próbléma visszavezethető az előző esetre: Ai = {ξ ∈ Ci } ⇒ P (ξ ∈ Ci ) = P (ai ≤ ξ < bi ) = F (bi ) − F (ai ) Ci = [ai , bi )

(i = 1, 2, . . . , r),

r [

Ci = R

i=1

vagy diszkrét esetben például Ai := {ξ = xi } Így már alkalmazható a χ2 -próba.

(i = 1, 2, . . . , r)


36

Példa. Egy vezető által okozott károk számának eloszlása Poisson eloszlású-e adott paraméter mellett? Kárszám Vetetők száma 4.4.5.

0 1 2 3 4 5 129524 16267 1966 211 31 5

6 1

7 >7 1 0

Összesen 148006

Becsléses χ2 -próba.

Legyen a H0 hipotézis az, hogy az A1 , A2 , . . . , Ar teljes eseményrendszerre teljesül P(Ai ) = pi (ϑ1 , ϑ2 , . . . , ϑs ) minden i = 1, 2, . . . , r-re, ahol ϑ1 , ϑ2 , . . . , ϑs ismeretlen paraméterek. Ekkor ha a H0 igaz, akkor χ2r−s−1 ∼

r X (νi − nb pi )2

nb pi

i=1

,

ahol pbi a pi (ϑ1 , ϑ2 , . . . , ϑs ) becslése

azaz ha tesztstatisztika éréke nagyobb, mint az r − s − 1 szabadságfokú χ-négyzet eloszlás 1 − α kvantilise, elutasítjuk a H0 hipotézist. Példa. Egy vezető által okozott károk száma Kárszám Vetetők száma Poisson: nb pi Neg. bin: nb pi

0 1 2 3 4 129524 16267 1966 211 31 128433 18218 1292 61 2,2 129541 16237 1962 234 28

5 6 7 >7 5 1 1 0 0,06 0,001 0,00003 5 · 10−7 3,3 0,39 0,05 0,006

Itt n = 148006, r = 5, s = 1, A1 = {= 1}, A2 = {= 2}, A3 = {= 3} és A4 = {≥ 4} b = 0, 709, amivel tehát Poisson(λ) esetben a paraméter ML becslése λ 4 X (ν − nb pi )2 i=1

nb pi

> 200 és P(χ23 > 17, 7) = 0, 05%

Így elutasítjuk a Poisson eloszlás hipotézisét! Megjegyzés. Folytonos eloszlások esetén az illeszkedésvizsgálatnál a teljes eseményrendszer a számegyenes felosztása révén jön létre, úgy hogy ügyelünk arra, hogy minden intervallum közel azonos valószínűségű legyen. Ha paraméterbecslés szükséges, akkor az ML becslés alkalmazható. 4.4.6.

χ2 -próba homogenitásvizsgálatra.

H0 : ξ1 , ξ2 , . . . , ξn és η1 , η2 , . . . , ηm ugyanolyan eloszlásúak. Legyen ¯ ¯ νi = ¯{j : ξj ∈ Ci }¯,

¯ ¯ µi = ¯{j : ηj ∈ Ci }¯

(i = 1, 2, . . . , r),

r [ i=1

Ekkor a tesztstatisztikára, ha H0 igaz ¢ r ¡ νi µi 2 X n,m→+∞ n − m −−−−−−→ χ2r−1 nm νi + µi i=1 Példa. (Ki tanul jobban?) 2009. január 5-ei vizsga eredményei

Ci = R

4. SZEKVENCIÁLIS HIPOTÉZISVIZSGÁLAT

Jegy 1 2 3 4 5 Összesen Átlag

Férfi 47 11 11 9 8 86 2,1

Nő 4 1 2 2 2 11 2,7

37

Összesen 51 12 13 11 2 97 2,1

Itt n = 86, m = 11, valamint legyen C1 = {1, 2} és C2 = {3, 4, 5}, így ν1 = 58, ν2 = 28, µ1 = 5, µ2 = 6. Ã¡ ¢ ¢ ! ¡ 28 5 2 6 2 58 − − 86 11 = 2, 071 86 · 11 · + 86 11 58 + 5 28 + 6 Viszont P (χ21 > 2, 71) = 10%, így nem tudjuk elutasítani az egyforma képesség hipotézisét. 4.4.7.

χ2 -próba függetlenségvizsgálatra.

H0 : az A1 , A2 , . . . , Ar és a B1 , B2 , . . . , Bs teljes eseményrendszerekre teljesül a függetlenség. Ha H0 igaz, akkor a X (νij − npi qj )2 χ2rs−1 ∼ , npi qj i,j ahol qi = P (Bi ) (i = 1, 2, . . . , s) és pi = P (Ai ) (i = 1, 2, . . . , r). Tehát, ha a statisztika értéke nagyobb, mint az rs − 1 szabadságfokú χ-négyzet eloszlás 1 − α kvantilise, elutasítjuk a nullhipotézist. Általában, ha az illesztendő eloszlást nem ismerjük – csak a családját –, akkor a paramétereit becsüljük. Ekkor a próbastatisztika szabadságfoka annyival csökken, ahány paramétert becsültünk. Függetlenségvizsgálatnál általában nem ismerjük a teljes eseményrendszer tagjainak valószínűségét, így r − 1 + s − 1 valószínűséget kell becsülnünk. A szabadságfok ekkor tehát rs − 1 − r − s + 2 = (r − 1)(s − 1). Legyen a νij az Ai Bj gyakorisága, a νi¦ az Ai gyakorisága és a ν¦j a Bj gyakorisága. Ekkor a tesztstatisztika ¡ ¢ X νij − νi¦ ν¦j 2 n→+∞ n n −−−−−→ χ3(r−1)(s−1) ν ν i¦ ¦j i,j speciálisan r = s = 1 esetben n

4.5.

(ν11 ν22 − ν12 ν21 )2 n→+∞ 2 −−−−−→ χ1 ν1¦ ν2¦ ν¦1 ν¦2

Szekvenciális hipotézisvizsgálat

Tegyük fel, hogy ξ1 , ξ2 , . . . függetlenek és abszolút folytonos azonos eloszlásuak. Legyen H0 az hogy a sűrűségfüggvény f0 , H1 pedig az, hogy a sűrűségfüggvény f1 . Ekkor ha a megfigyelések száma n, akkor a legerősebb próba Q  f (x )  1 Vn = Q f01 (xii ) > c T (x) = γ Vn = c  0 Vn < c


38

Ha n nem rögzített, akkor a következő eljárást használhatjuk: Vn ∈ [A, B] ⇒ folytatjuk a következő mintaelemmel (n := n + 1) ⇒ H0 Ha Vn < A Vn > B ⇒ H1 A Vn számolásához Q n n Y f1 (xi ) f1 (xi ) X f1 (xi ) = ln = ln Vn = ln Q ln f0 (xi ) f (x ) f0 (xi ) i=1 0 i i=1 Minőségellenőrézés. Kompromisszum a gyakorlatban–kétlépcsős tervek n1 elemű mintára • X1 ≥ c2 ⇒ elutasítjuk H0 -t. • X1 ≤ c1 ⇒ elfogadjuk H0 -t. • c1 < X1 < c2 ⇒ új n2 mintaelemet veszünk és akkor fogadjuk el a hipotézist, ha X1 + X2 ≤ c3 . Az eljárás hatékonyságát mérő szám a várható mintaelemszám (ASN). Tétel.(Stein-tétele) Tegyük fel, hogy Z1 , Z2 , . . . független, azonos eloszlású valószínűségi változók, amelyekre E(Zi ) = m < ∞ és P(Zi = 0) < 1 (i = 1, 2, . . . ) és legyen a < b, ( ) n X N := min n : Zi ∈ / (a, b) i=1

Ekkor P(N < ∞) = 1,

E(N ) < ∞

és

E(Z1 + Z2 + · · · + ZN ) = mE(N ).

Bizonyítás. Legyen (r)

Ui

=

ir X

Zj

(i = 1, 2, . . . ; z ∈ Z+ )

j=(i−1)r+1

és c=|a|+|b|. Ha l < N , akkor ¯ ¯ ¯ (r) ¯ ¯Ui ¯ < c

µ

· ¸¶ l i = 1, 2, . . . , r

és a <

j X

Zk < b (j = 1, 2, . . . , l)

k=1

amiből µ¯ · ¸¶ ¯ ¯ ³¯ ´[ rl ] l ¯ (r) ¯ ¯ (r) ¯ P (N > l) ≤ P ¯Ui ¯ < c : i = 1, 2, . . . , = P ¯U1 ¯ < c r és P (Z1 = 0) < 1 ⇒ ∃h > 0 : P (Z1 > h) > 0 vagy P (Z1 < −h) > 0 Legyen r > hc , ekkor ¯ ³¯ ´ ¯ (r) ¯ P ¯U1 ¯ ≥ c = P (|Z1 , Z2 , . . . , Zr | ≥ c) ≥ Ã r ! Ã r ! \n \n co co Zi ≥ +P Zi ≤ − ≥ ≥P r r i=1 i=1


Ã ≥P

r \

! {Zi > h}

Ã +P

i=1

r \

39

! {Zi < −h}

>0⇒

i=1

¯ ´ ³¯ ¯ (r) ¯ P ¯U1 ¯ < c =: % < 1

¯ ´[ rl ] ³¯ ³ 1 ´l l ¯ (r) ¯ P ¯U1 ¯ < c = %[ r ] ≤ % r

⇒

Így E(N ) =

+∞ X

+∞ X

kP(N = k) =

k=1

+∞ X

P(N ≥ k) =

k=1

≤

+∞ ³ X

1

%r

P(N > k − 1) ≤

k=1

´k−1

< +∞

k=1

Legyen ½ Yi =

1 0

, ha N ≥ i , különben

amire {Yi = 0} = {N < i} = {N ≤ i − 1} amiből következik, hogy az Yi csak a Z1 , Z2 , . . . , Zi−1 -től függ, Zi -től független. ¡ ¢ ¡ ¢ E(Zi Y i) = E(Zi )E(Yi ) ⇒ E |Zi | · |Yi | = E |Zi | E(Yi ) ⇒ +∞ X

E(Zi Yi ) =

i=1

+∞ +∞ X ¡ ¢ ¡ ¢X E |Z1 | E(Yi ) = E |Z1 | E(Yi ) ⇒ i=1

i=1

E(Z1 + Z2 + · · · + ZN ) = E

Ã+∞ X

! Zi Yi

=

i=1

=m

+∞ X

+∞ X

E(Zi )P(N ≥ i) =

i=1

P(N ≥ i) = mE(N )

i=1

Első- és másodfajú hiba f1 (ξi ) f0 (ξi ) Ekkor a H0 és a H1 esetén a Zi -k független eloszlásúak és ¶ Z +∞ µ ¶ µ f1 (ξi ) f1 (x) E0 ln = f0 (x)dx < ∞ ln f0 (ξi ) f0 (x) −∞ ¶ Z +∞ µ ¶ µ f1 (ξi ) f1 (x) E1 ln = f1 (x)dx < ∞ ln f0 (ξi ) f0 (x) −∞ így f0 6= f1 ⇒ µ ¶ µ ¶ f1 (ξ1 ) f1 (ξ1 ) P0 = 1 < 1 és P1 =1 <1 f0 (ξ1 ) f0 (ξ1 ) Zi := ln

Itt E

Ã n X i=1

E

Ã n X i=1

! ¯X ¯ N ¯ Zi ¯ Zi ≤ a ∼ a i=1

! ¯ N ¯X ¯ Zi ¯ Zi ≥ b ∼ b i=1

amiből mE(N ) ∼ aP

ÃN X i=1

! Zi ≤ a

+ bP

ÃN X i=1

! Zi ≥ b


40

Legyen α1 az első- és α2 a másodfajú hiba valószínűsége, ekkor m1 E0 (N ) ∼ a(1 − α1 ) + bα1 m2 E1 (N ) ∼ a(1 − α2 ) + bα2 Állítás.

α2 1 − α1

A≥

és B ≤

1 − α2 α1

Bizonyítás. n o Cn := x ∈ Rn : A < Vk (x) < B minden k = 1, 2, . . . , n − 1-re és Vn (x) ≥ B o n Dn := x ∈ Rn : A < Vk (x) < B minden k = 1, 2, . . . , n − 1-re és Vn (x) ≤ A ekkor α1 =

+∞ Z X Cn

n=1

α2 =

+∞ Z X n=1

f0 (x)dx =

Dn

+∞ Z X Cn

n=1

f1 (x)dx =

+∞ Z X n=1

Dn

n +∞ Z 1 X 1 − α2 1 Y f1 (xi )dx ≤ f1 (x)dx = Vn i=1 B n=1 Cn B

n +∞ Z X 1 Y f0 (x)dx = A(1 − α1 ) f0 (xi )dx ≤ A Vn i=1 n=1 Dn

Példa. Legyen ξi ∼ N (µ, σ 2 ), H0 : µ = µ0 és H1 : µ = µ1 , ekkor ´ ³ (ξi −µ1 )2 √1 exp − 2 2σ (ξ − µ1 )2 − (ξi − µ0 )2 2πσ ³ ´= i = Zi = ln 2 (ξi −µ1 ) 2σ 2 √1 exp − 2 2σ 2πσ µ1 − µ0 1 µ20 − µ21 ξ + · ⇒ i σ2 2 σ2 n µ1 − µ0 X n µ2 − µ2 ln Vn = ξi + · 0 2 1 2 σ 2 σ i=1 =

n n µ2 − µ2 µ1 − µ0 X ξi + · 0 2 1 < ln B 2 σ 2 σ i=1 P 2 µ1 + µ0 σ ln A ξi µ1 + µ0 σ 2 ln B + < < + 2 n(µ1 − µ0 ) n 2 n(µ1 − µ0 )

ln A <

FEJEZET 5

Lineáris regresszió, lineáris modell és szórásanalízis Gyakori eset, hogy nem ismerjük a számunkra érdekes mennyiség (Y ) pontos értékét (pl. holnapi részvényárfolyam, vízállás, időjárás). Van viszont információnk hozzá kapcsolódó mennyiségekről (X – mai értékek). Feladat olyan f0 megtalálása, amelyre f0 (X) a lehető legjobb közelítése Y -nak. Matematikailag f0 megoldása a következő szélsőérték–problémának (legkisebb négyzetes becslés). ¡ ¢2 min E Y − f (X) f

Valószínűségszámításbeli ismeretek alapján E(Y − a)2 minimumhelye E(Y ) ⇒ ¡ ¢2 ¡ ¯ ¢ E Y − f (X) minimumhelye f0 (x) = E Y ¯X = x Lináris f függvény esetén ( corr(X,Y )D(Y ) ) a = cov(X,Y 2 D2 (X) = D(X) E(Y − aX − b) minimumhelye b = E(Y ) − aE(X) 5.1.

Egyszerű lineáris modell

Yi = aXi + b + εi ahol Xi a magyarázó változó értéke, εi független, azonos eloszlású hiba. E(εi ) = 0 és általában feltesszük, hogy normális eloszlásúak. Az a és b együtthatók becslése. (X1 , Y1 ), (X2 , Y2 ), . . . , (Xn , Yn ) Yi = aXi + b + εi

(i = 1, 2, . . . , n)

Legyen g(a, b) =

n X

(Yi − aXi − b)2

i=1

amiből

n X ∂g =− 2(Yi − aXi − b) = 0 és ∂b i=1 n X ∂g =− 2Xi (Yi − aXi − b) = 0 ∂a i=1

Felhasználva, hogy P P P 2 P Xi Yi Xi Xi Yi X= , Y = , X2 = , XY = n n n n kapjuk b + aX = X és bX + aX 2 = XY 41

5. EGYSZERŰ LINEÁRIS MODELL

42

Tehát az együtthatók becslése b a=

XY − X · Y

=

X 2 − (X)2

P (Xi − X)(Yi − Y ) P (Xi − X)2

bb = Y − b aX Szórások Tegyük fel, hogy εi ∼ N (0, σ 2 ) függetlenek, ekkor Yi ∼ N (aXi + b, σ 2 ) függetlenek. A Likelihood függvény L(Y , a, b) =

n Y

√

i=1

µ ¶ (Yi − aXi − b)2 1 exp − 2σ 2 2πσ

és a loglikelihood n X 1 (Yi − aXi − b)2 √ − n ln σ − `(Y , a, b) = n ln = 2σ 2 2π i=1 n ∂` 1 X n 1 1 = − + (Yi − aXi − b)2 · · ∂σ 2 2 σ2 2 (σ 2 )2 i=1

Tehát a szórásnégyzet ML becslése σ b2 =

P (Yi − b aXi − bb)2 n

és a torzítatlan becslése σ b∗2

P (Yi − b aXi − bb)2 = n−2

Az b a várható értéke ´ ³P ´ ³P Yi Xi Yi P P − XE E n n Xi E(Yi ) − X E(Yi ) 1 · E(b a) = = = 2 2 n X2 − X X2 − X P P P Xi (Xi − X) (Xi − X) (Xi − X)(aXi + b) +a =a = = b 2 2 2 2 2 n(X − X ) n(X − X ) n(X 2 − X ) | {z } | {z } =0

=1

így az b a becslése torzítatlan. Az b a szorásnégyzete ÃP ! P (Xi − X)Yi (Xi − X)2 2 σ2 2 2 D (b a) = D = D (Y ) = i 2 2 2 n(X 2 − X ) n2 (X 2 − X )2 | {z2 } n(X 2 − X ) =σ

Tehát

Ã b a∼N

!

σ2

a,

2

n(X 2 − X )

A bb várható értéke E(bb) = E(Y − aX) = E(Y ) − E(a)X = aX + b − aX = b így a bb becslése torzítatlan. A bb szórásnégyzete D2 (bb) = D2 (Y − b aX) = D2

µP

Yi n

¶

2

2

+ X D2 (b a) =

σ2 X σ2 + 2 n n(X 2 − X )

5. EGYSZERŰ LINEÁRIS MODELL

43

Tehát 2

Ã bb ∼ N

X σ2 σ2 b, + 2 n n(X 2 − X )

!

Az X ∗ pontban előrejelzett érték b aX ∗ + bb és ennek szórásnégyzete µ ¶ (X ∗ − X)2 1 σ2 +P n (Xi − X)2 Hipotézisvizsgálat. H0 : a = 0 tesztelése t-próbával (konfidenciaintervallum is kapható a-ra) v u n X u u (n − 2) (Xi − X)2 u u i=1 tn−2 ∼ b au n u X t (Yi − b aXi − bb)2 i=1

H0 : b = 0 tesztelése t-próbával (konfidenciaintervallum is kapható b-re) v u n X u u n(n − 2) (Xi − X)2 u u i=1 tn−2 ∼ bbu n uX t X 2 (Yi − b aXi − bb)2 i

i=1

Szóródások Teljes ingadozás n X

(Yi − Y )2

i=1

Rezuduális négyzetösszeg n n X X 2 (Yi − aXi − b) = (Yi − Y )2 − i=1

i=1

¡P ¢2 (Xi − X)(Yi − Y ) P (Xi − X)2

A megmagyarázott variabilitás részaránya éppen a tapasztalati korrelációs együttható négyzete ¡P ¢2 (Xi − X)(Yi − Y ) corr(X, Y ) = P P (Xi − X)2 (Yi − Y )2 Lineáris modell vektoros reprezentációval     Y1 X1  ..   ..  Y =  . , X =  . , Yn

 ε1   ε =  ... 

Xn

Ekkor a modell Y = aX + b1 + ε = AX + ε a feladat kY − AXk22 → min



εn

5. EGYSZERŰ LINEÁRIS MODELL ÁLTALÁNOSÍTÁSA

5.2.

44

Egyszerű lineáris modell általánosítása

Yi = a1 Xi,1 + a2 Xi,2 + · · · + ak−1 Xi,k−1 + b + εi

(i = 1, 2, . . . , n)

ahol Xi,j -k a magyarázó változók értékei, εi független, azonos eloszlású hiba, amelyre E(εi ) = 0 és általában feltesszük, hogy normális eloszlásúak. Az aj -k és a b a becsülendő együtthatók. Legyen 

X1,1  X =  ... Xn,1

... .. . ...

X1,k−1 .. .

 1 ..  , .

Xn,k−1 

1 



 Y1   Y =  ...  , 



 ε1   ε =  ...  ,

Yn 

εn

β1 a1  ..   ..      β= . = .  ak−1  βk−1  βk b Ekkor az előző egyenletrendszer átírható mátrixos alakba Y = Xβ + ε Feladat a β becslése. Legkisebb négyzetes becslés.  2  2 n k n k X X X X b: Yi − Yi − bj Xi,j  βbj Xi,j  = min β i=1

b

j=1

i=1

j=1

Tétel. Ha a b0 az XT Y = XT Xb0 egyenlet megoldása, akkor ez legkisebb négyzetes becslés és rang(X) = k esetén ¡ ¢ b = b = XT X −1 XT Y . β 0 Bizonyítás. n X

 Yi −

i=1

k X

2 bj Xi,j  = (Y − Xb)T (Y − Xb) =

j=1

= (Y − Xb0 + Xb0 − Xb)T (Y − Xb0 + Xb0 − Xb) = = (Y − Xb0 )T (Y − Xb0 ) + (b0 − b)T XT X(b0 − b) + 2(b0 − b)T (XT Y − XT Xb0 ) = = (Y − Xb0 )T (Y − Xb0 ) + kX(b0 − bk22 + 2(b0 − b)T (0) ≥  2 n k X X Yi − βbj Xi,j  ≥ (Y − Xb0 )T (Y − Xb0 ) = i=1

j=1

Jelölések, várható értékek. Az Y becslése b Yb = Xβ Az ε becslése b = Y − Yb b ε = Y − Xβ A β várható értéke ¡ ¢ ¡ ¢ b = E (XT X)−1 XT Y = E (XT X)−1 XT (Xβ + ε) = E(β)


45

¡ ¢ ¡ ¢ = E (XT X)−1 XT Xβ + E (XT X)−1 XT ε = β Az Y várható értéke b = XE(β) b = Xβ = Y E(Yb ) = E(Xβ) Az ε várható értéke E(b ε) = E(Y − Yb ) = E(Y ) − E(Yb ) = 0 Példa. Megfigyelés száma y x1 x2     1 0 2 2 1 2 0 2 1 2 6  3     2 3 2 6 1 2 7  2     3 2 2 7 1 2 5  7     4 7 2 5 1 4 9  6     5 6 4 9 1 4 8  8     6 8 4 8 ⇒ Y =  , X =  1 4 7 10    7 10 4 7 1 6 10 7     8 7 6 10 1 6 11 8     9 8 6 11 1 6 9  12     10 12 6 9 1 8 15 11 11 11 8 15 1 8 13 14 12 14 8 13     12 52 102 90 XT X =  52 395 536  , XT Y = 482 102 536 1004 872     .97476 .24290 −.22871 90 ¡ T ¢−1 ¡ T ¢−1 T b= X X .16207 −.11120 , β X X =  .24290 X Y = 482 −.22871 −.11120 .08360 872 Az y becslése(i) yb = 1.86 + 1.3x1 yb = 0.86 + 0.78x2 yb = 5.37 + 3.01x1 − 1.29x2


Alkalmazás egyszerű lineáris modellre     X1 1 Y1  ..   . ..  , Y =  ...  X= . , Xn

1

Yn

 ε1   ε =  ...  ,

46



µ ¶ a β= b

εn

Tétel. (Becslés kovarianciája) Tegyük fel, hogy ∀i, j = 1, 2, . . . , n; i 6= j : Ekkor

E(εi ) = 0,

D2 (εi ) = σ 2 ,

cov(εi , εj ) = 0.

µ³ ´³ ´T ¶ ¡ ¢−1 b b b b b cov(β) = E β − E(β) β − E(β) = σ 2 XT X

Bizonyítás. Felhasználva, hogy ha ξ egy véletlenített és A tetszőleges konstans mátrix, melyekre szorzás elvégezhető, akkor µ³ ´³ ´T ¶ cov(Aξ) = E Aξ − E(Aξ) Aξ − E(Aξ) = µ ³ ¶ ´³ ´T = E A ξ − E(ξ) ξ − E(ξ) AT = Acov(ξ)AT kapjuk, hogy ¢−1 T ´ XT X X Y = ³¡ ¢−1 T ´T ¡ T ¢−1 T X = = X X X cov(Y ) XT X ³¡ ¡ ¢−1 T ¢−1 T ´T = XT X X cov(ε) XT X X = ³ ´ ¡ ¢−1 T 2 ¡ T ¢−1 T T X = = XT X X σ I X X ¡ ¢ ¡ ¢ ¡ ¢−1 −1 −1 = σ 2 XT X XT X XT X = σ 2 XT X b = cov cov(β)

³¡

Tétel. (Gauss–Markov tétel) Tegyük fel. hogy rang(X) = k, E(ε) = 0 és cov(ε) = σ 2 I. Ekkor a βbj -k (j = 1, 2, . . . , k) legkisebb négyzetes becslések a minimális szórásúak a βj -k összes lineárisan torzítatlan becslései közül. Bizonyítás. ¡ ¢ Ha az Y torzítatlan becslés Eβ (AY ) = β , akkor ¡ ¢ Eβ (AY ) = Eβ A(Xβ + ε) = AXβ + A Eβ (β) = β ⇐⇒ AX = I | {z } =0

így cov(AY ) = Acov(Y )AT = Acov(ε)AT = σ 2 AAT = ¡ ¢−1 T ¡ T ¢−1 T ´ ³ T ¡ T ¢−1 T ¡ T ¢−1 T ´ = σ 2 A − XT X X + X X X A − X X X + X X X = µ³ ¶ ´ ³ ´ ¡ ¢−1 T ¡ ¢−1 T T ¡ T ¢−1 b = σ2 A − XT X X A − XT X X + X X ≥ cov(β) | {z } ³

főátlóban ≥0

Tétel. (Szórás becslése) Legyen s2 =

n ³ ´ ´2 1 X³ b Yi − Xβ n − k i=1 i

5. SZÓRÁSELEMZÉS

47

Ekkor E(s2 ) = σ 2 Bizonyítás. (Vázlat) ³ s2 =

b Y − Xβ

´³ ´T b Y − Xβ =

n−k

¡ ¢−1 T YT X Y Y T Y − Y T X XT X = = n−k

b TY Y T Y − βX = n−k ³ ¡ ¢−1 T ´ X Y I − X XT X n−k

Következmény. ¡ ¢−1 b Az s2 XT X torzítatlan becslése cov(β)-nak. Példa. (Normális eloszlás) ¡ ¢ Legyen E(Y ) = Xβ, cov(Y ) = σ 2 I és Yi ∼ N (Xβ)i , σ 2 . Ekkor a β és σ 2 ML becslései ¡ ¢ b = XT X −1 XT Y e=β β ³ ´³ ´T b Y − Xβ b Y − Xβ f2 = σ n 5.3.

Szóráselemzés

Egyszempontú szoráselemzés Legyen Yi,j = µi + εi,j ,

εi,j ∼ N (0, σ 2 ) j = 1, 2, . . . , ni

i = 1, 2, . . . , k

és a nullhipotézis H0 : µ1 = µ2 = · · · = µk Vezessük be a következő jelöléseket n=

k X

ni ,

Yi¦ =

i=1

ni 1 X Yi,j , ni j=1

k

Y¦¦ =

n

k

i 1 XX 1X Yi,j = ni Yi¦ n i=1 j=1 n i=1

Tehát ni k X X

(Yi,j − Y¦¦ )2 =

i=1 j=1

|

ni k X k X X (Yi,j − Yi¦ )2 + ni (Yi¦ − Y¦¦ )2 i=1 j=1

{z Q

}

|

i=1

{z

Q2

}

|

{z

Q1

}

A fenti összefüggésben Q-t teljes négyzetösszegnek, Q1 -t csoportok közötti négyzetösszegnek és Q2 -t csoportokon belüli négyzetösszegnek nevezzük. Ha H0 igaz, akkor Q1 és Q2 független és (k − 1) illetve (n − k) szabadságfokú χ2 eloszlásúak (σ 2 -el beszorozva), azaz Q1 (n − k) ∼ F(k−1)(n−k) Q2 (k − 1) Példa. Egy vezető kiváncsi arra, hogy van-e különbség beosztottai gyorsasága között. Három csoportot vizsgál: kezdők, átlagos gyakorlattal rendelkezők és tapasztaltak. A megfigyelések az alábbiak:

5. SZÓRÁSELEMZÉS

Tapasztalt Átlagos Kezdő

48

Munkatársak száma Csopotátlag Korr. szórásnégyzet 10 24.2 21.54 10 27.1 18.64 10 30.2 17.76

Az adatok alapján Q1 = 180.06,

Q2 = 521.46

⇒

F =

27Q1 = 4.662 > 335 = F0.05,2,27 2Q2

tehát elutasítjuk az azonosság hipotézisét! Szóráselemzés és lineáris modell. Legyen    1 Y1,1  ..  ..  .  .     1  Y1,n1       ..  Y =  .  , X =  ...    0  Yk,1     .  .   ..  ..  0 Yk,nk

···

 0 ..  .  0  ..  , .  1  ..  . 1

Ekkor Y = Xβ + ε

 ε1,1  ..   .     ε1,n1      ε =  ...  ,    εk,1     .   ..  εk,nk 



 µ1   β =  ...  µk

Irodalomjegyzék [1] Baróti - Bognárné - Fejes Tóth - Mogyoródi: Matematikai statisztika jegyzet programozó szakos hallgatóknak, ELTE TTK jegyzet [2] Bolla Marianna - Krámli András : Statisztikai következtetések elmélete, Typotex, 2005 [3] Dévényi Dezső - Gulyás Ottó: Matematikai statisztikai módszerek a meteorológiában, Tankönyvkiadó, 1988 [4] Móri - Szeidl - Zempléni: Matematikai statisztika példatár, Eötvös Kiadó, 1997

49

Matematikai statisztika. (hallgatói jegyzet) Készítette: Nagy Ádám Arató Miklós előadásai alapján

Recommend Documents