8. Zákony velkých čísel

8. Zákony velkých čísel V této části budeme studovat velmi často užívaná tvrzení o součtech posloupnosti náhodných veličin . Nejdříve budeme vyšetřovat tvrzení nazývaná souhrnně jako slabé zákony velkých čísel. Veškeré úvahy jsou prakticky zaměřené, snažíme se najít odpověď na otázku po „četnosti „ součtu náhodných veličin , v matematické statistice má četnost výsledků velký význam, proto nás tyto teoretické četnosti tolik zajímají. Budeme je zkoumat z pohledu slabé a silné konvergence náhodných veličin.

8.1 Slabé zákony velkých čísel Definice 8.1 Nechť {X n } je posloupnost náhodných veličin , pro která existují střední hodnoty E X n . Řekneme, že pro posloupnost {X n } platí slabý zákon velkých čísel , jestliže P 1 n 1 n S n = .∑ X i − .∑ E X i → 0 (8.1) n i =1 n i =1 V další části budeme hledat postačující podmínky pro platnost (8.1). Mohutným aparátem je následující věta o jistém typu nerovnosti.

Věta 8.2 Čebyševova nerovnost Nechť X je náhodná veličina , ε > 0 a α ≥ 0. Nechť dále existuje E X

P( X ≥ ε ) ≤

( ). Potom

( )

E X

α

α

(8.2)

εα

Specielně pro hodnotu α = 2 a po úpravě je VAR( X ) P( X − E ( X ) ≥ ε ) ≤ 2

(8.3).

ε

Důkaz: Provedeme ho pro případ spojité náhodné veličiny , diskrétní případ ponechávám studentům. Předpokládejme tedy , že f je hustota náhodné veličiny X. Potom

( )= ∫

E X

α

+∞

α

∫

x . f ( x ) dx =

{x ; x ≥ ε }

−∞

( )≥

E X

α

α

∫ ε}

x . f ( x) dx ≥ ε α .

{x ; x ≥

α

x . f ( x ) dx +

∫ εf }( x)dx = ε

{x ; x ≥

α

∫

α

x . f ( x ) dx

{x ; x < ε }

.P ( X ≥ ε ) .

Vztah (8.3) získáme dosazením náhodné veličiny X – E(X) za náhodnou veličinu X a volbou α = 2 do vztahu (8.2). Q.E.D. Takto zformulovanou Čebyševovu nerovnost využijeme dále pro formulaci základních tvrzení o postačujících podmínkách platnosti slabého zákona velkých čísel.

⇒

Věta 8.3 Čebyševova Nechť {X n } je posloupnost nezávislých náhodných veličin, nechť existuje kladné reálné číslo k > 0 takové , že pro všechna n platí VAR( X n ) ≤ k , potom pro posloupnost

{X n } platí slabý zákon velkých čísel.

Důkaz: Použijeme označení z definice 8.1 a verze Čebyševovy nerovnosti (8.3) , potom je 1 n  VAR .∑ X i   n i =1  , (8.4) P( S n ≥ ε ) ≤ 2

ε

ale podle předpokladů jsou náhodné veličiny Xn nezávislé , tedy podle .. je 1 n  1 n VAR .∑ X i  = 2 .∑VAR( X i ) , (8.5)  n i =1  n i =1 podle předpokladů věty jsou všechny rozptyly omezené číslem k , dosadíme tedy do (8.4) a máme : 1 n  VAR .∑ X i   n i =1  ≤ n.k = k . 1 (8.6) P( S n ≥ ε ) ≤ ε2 n 2 .ε 2 ε 2 n použijeme – li nyní na (8.6) limitní přechod získáme požadované tvrzení . Q.E.D. Poznamenejme, že ve znění věty nemusíme požadovat nezávislost náhodných veličin, stačí , aby náhodné veličiny byly nekorelované viz , potom vztah (8.5) platí také. V další větě budeme vyšetřovat skupinu speciálního druhu diskrétní náhodné veličiny. Věta 8.4 Bernoulliova Nechť Bn je náhodná veličina , která se rovná počtu případů, v nichž při n nezávislých pokusech nastala jistá událost A , přičemž P(A) = p ( 0 < p < 1 ) v každém pokuse. Potom P Bn − p →0 (8.7) n Náhodná veličina uvedená v této větě není nic jiného než binomické rozdělení s parametry n , p . Důkaz: n

Náhodnou veličinu Bn mohu napsat jako Bn = ∑ X i , kde X i jsou nezávislé náhodné i =1

veličiny typu alternativní rozdělení viz . Víme podle , že E ( X i ) = p a podle VAR( X i ) = p.(1 − p) . Protože hodnota p ∈ (0;1) , platí podle Cauchyovy nerovnosti

VAR( X i ) = p.(1 − p) ≤

p 2 + (1 − p) 2 ≤ 1 ( tento odhad lze samozřejmě vylepšit , pro 2

naše účely ale postačuje ). Tedy tím jsou splněny předpoklady věty 8.3 a proto platí P B n. p Bn 1 1 n = − p →0 .Bn − .∑ p = n − n n i =1 n n n Q.E.D. Věta 8.5 Markovova Nechť posloupnost náhodných veličin {X n } splňuje následující tzv. Markovovu podmínku 1  n  lim 2 .VAR ∑ X i  = 0 , (8.8) n →∞ n  i =1  potom pro ni platí slabý zákon velkých čísel. Důkaz: Jestliže platí vztah (8.8) , potom po úpravě (8.4) a limitním přechodu získáme kladnou odpověď na naše tvrzení. Q.E.D.

Přirozeným zobecněním věty 8.4 je tvrzení , v němž nebudeme požadovat splnění stejných podmínek v jednotlivých náhodných pokusech . Věta 8.6 Nechť Bn je náhodná veličina , která se rovná počtu případů, v nichž při n nezávislých pokusech nastala událost A , přičemž v každém k – tém pokusu je P(A) = pk , kde 0 < pk < 1. Potom Bn n pi P − ∑ →0 (8.9) n i =1 n Důkaz: Probíhá stejně jako ve větě 8.4 , náhodná veličina Bn je součtem náhodných veličin , které mají omezené rozptyly např. konstantou 1. Tedy protože platí předpoklady věty 8.3 platí i slabý zákon velkých čísel na posloupnost náhodných veličin Bn , vyjádřením této platnosti je právě vztah (8.9). Q.E.D. Příklad 8.7 V tomto příkladě budeme ilustrovat výklad asymptotického chování binomického rozdělení . Zvolíme klasický případ hodu kostkou ( očíslovanou postupně čísly 1 , 2 , 3 , 4 , 5 , 6 ) . Jako Bn označíme počet padlých ok rovných 6 . 1 B a) Ukážeme , že jistě neplatí P n =  → 1. Nejdříve si připomeneme Stirlingovu  n 6 formuli pro aproximaci hodnoty n!: n!= e − n .n n . 2.π .n .(1 + u n ) , kde u n → 0 (8.10)

1 1 B B Pokud má platit P n =  → 1 musí platit i P 6 n =  → 1. Použijeme – li  6.n 6   n 6 Stirlingovu formuli dostaneme: n 5n  6n   1   5  (6n )! . 1  n . 5  5n = 1 B P 6 n =  = P(B6 n = n ) =  .  .  =     n!.(5n)!  6   6   6.n 6   n 6 6 55 n 3 e −6 n .(6n) 6 n . 2.π .6.n = −n n . 6 n .(1 + vn ) = .(1 + vn ) → 0 −5 n 5n 5.π .n e .n . 2.π .n .e .(5n) . 2.5.π .n 6 b) Pokusíme se nyní ověřit výpočtem platnost slabého zákona velkých čísel pro náš případ . Protože jde o binomické rozdělení je možno odhadnout hodnotu B 1  pravděpodobnosti náhodného jevu  n − < ε  pomocí Čebyševovy nerovnosti.  n 6   B 1  1 , zvolíme – li ε libovolné kladné , pevné , Tedy P  n − < ε   ≥ 1 − n 6 30 . n . ε     potom předchozí výraz samozřejmě konverguje k 1. Tedy tím je dokázána platnost slabého zákona velkých čísel pro tento případ.

8.2 Silný zákon velkých čísel V slabém zákonu velkých čísel nejde přímo o limitní chování náhodných veličin , ale o limitní chování pravděpodobností v okolí určitého bodu ( v našem případě náhodných B n veličin Bn v okolí bodu ). Ze zkušenosti je ale známo, že hodnota n se skoro jistě 6 n přibližuje nezávisle na počátečních hodnotách ke konstantní veličině ( v našem případě víme, 1 že je to hodnota ). 6 Věta 8.8 Kolmogorovova nerovnost Nechť X1 , …, Xn jsou nezávislé náhodné veličiny , pro které existuje rozptyl. Potom > 0 platí : pro libovolné kladné ε   1 n P max S j > ε   ≤ 2 .∑VAR(X j ) ,    ε j =1 j≤n 

(8.11)

kde je S j = ∑ (X j − E (X j )) . n

j =1

Důkaz: Zvolme ε > 0. Důkaz provedeme pomocí pomocných náhodných veličin j

Zřejmě E ( S j ) = 0 , pro j=1,…,n. Stejně tak je VAR( S j ) = ∑ VAR( X i ) . Pro i=1,…,n i =1

definujme pomocnou náhodnou veličinu  1, ( S1 < ε ) ∧ ... ∧ ( Si −1 < ε ) , ( Si ≥ ε ) pi =  0, v ostatních případech Zřejmě dále platí : n

∑ pi = 1 ⇔ max Si ≥ ε a i =1

1≤ i ≤ n

n

∑p i =1

i

(8.12)

= 0 ⇔ max Si < ε , protože hodnota pi je rovna 1≤ i ≤ n

jedné jen pro jeden index , pro ostatní musí být rovna nule. Budeme nyní počítat střední hodnotu výše uvedeného součtu náhodných veličin pi .  n        E  ∑ pi  = 1.P  max Si ≥ ε  + 0.P  max Si < ε  = P  max Si ≥ ε  (8.13)  1≤i ≤ n   1≤i ≤ n   1≤i ≤ n   i =1  Podle definice náhodné veličiny pi je zřejmé, že tato náhodná veličina závisí jen na prvních i členech { Si } a na ostatních n – i členech této posloupnosti. Pro j > i jsou náhodné veličiny Xj – E(Xj) nezávislé na pi . Si . Dále pro i=1,…,n-1 je   n  n   E ( pi .Si . ( S n − Si ) ) = E  pi .Si .  ∑ ( X k − E ( X k ) )   = E ( pi .Si ) .E   ∑ ( X k − E ( X k ) )   = 0 ,  k =i +1      k =i +1 Pro j = n získáme E ( pn .S n . ( S n − S n ) ) = 0 . Dále je pro j=1,…,n p j .S 2j ≥ ε 2 . p j . Tedy celkem můžeme vypočítat :

(

)

 n   n 2  E ( Sn2 ) ≥ E  ∑ pi .Sn2  = E  ∑ pi . Si2 + 2.Si . ( Sn − Si ) + ( Sn − Si )  ≥  i =1   i =1 

n  n  n ≥ E  ∑ pi . ( Si2 + 2.Si . ( Sn − Si ) )  = ∑ E ( pi .Si2 ) + 2.∑ E ( pi . ( Sn − Si ) .Si ) ≥ i =1  i =1  i =1 n

≥ ε 2 .∑ E ( pi ) . i =1

n

Ale E ( Sn2 ) = ∑ VAR( X i ) . Spojením poslední rovnosti a (8.13) získáme požadovanou i =1

nerovnost. Q.E.D. Věta 8.9 Nechť { an } a { bn } jsou dvě posloupnosti reálných čísel , přičemž +∞

∑a i =1

i

< ∞ ∧ 0 < b1 ≤ b2 ≤ ... ≤ bi → +∞ .

Potom 1 i .∑ a j .b j → 0 . bi j =1 Důkaz : Ponechávám čtenáři, pro nápovědu , jde o tzv. Kronekerovo lemma. Věta 8.10 +∞

Nechť Xn jsou nezávislé náhodné veličiny , takové , že

∑VAR( X ) < +∞ i =1

+∞

∑( X i =1

i

i

potom řada

− E ( X i ) ) konverguje skoro jistě . Důkaz:

Zavedeme opět označení S j = ∑ (X j − E (X j )) . Podle věty 8.8 je pro k ∈  n

j =1

 ∞  1 ∞ P  ∪  Sk − S j 〉ε   = lim P  max Si − Sk 〉ε  ≤ lim 2 .∑ VAR( X i ) , (8.14) n →∞  k ≤i ≤ n  n→∞ ε i = k  j =k  limitním přechodem v (8.14) dostáváme  ∞  P  ∪  Sk − S j 〉ε   = 0 , tedy posloupnost Sn je cauchyovská skoro jistě , odtud již  j =k  vyplývá tvrzení věty. Q.E.D. Věta 8.11 Kolmogorovovův silný zákon velkých čísel Nechť { Xn } je posloupnost nezávislých náhodných veličin , pro které existuje konečný rozptyl . Nechť dále 0 < bn ç+¶ taková , že ∞ VAR( X i ) < +∞ . ∑ bi2 i =1 Potom

s. j . 1 n .∑ ( X i − E ( X i ) ) → 0 . bn i =1 Důkaz:

(8.15)

Jestliže jsou Xi nezávislé náhodné veličiny , jsou také veličiny.Dále podle vlastnosti

rozptylu

Xi − E ( Xi ) nezávislé náhodné bi

 X i − E ( X i )  ∞ VAR( X i ) VAR < ∞ , podle  =∑ ∑ bi bi2 i =1   i =1 ∞

předchozí věty (8.10) je tedy řada ∞  Xi − E ( Xi )    , skoro jistě konvergentní . K dokončení důkazu použijeme nyní 8.9 ∑ bi i =1   , kde budeme volit za ai = Q.E.D.

Xi − E ( Xi ) a hodnota posloupnosti bi zůstane nezměněna. bi