9 Limitnı´ veˇty. V aplikacích teorie pravděpodobnosti (matematická statistika, metody Monte Carlo) se užívají tvrzení vět o konvergenci posloupností náhodných veličin. Podle povahy konvergence se limitní věty teorie pravděpodobnosti rozdělují na dva typy: zákony velkých čísel a tzv. klasické (centrální) limitní věty. Obsah zákona velkých čísel lze zhruba popsat takto: Nechť jsou náhodné veličiny X1 , . . . , Xn , . . . definované na stejném pravděpodobnostním prostoru P (Ω, A, P). Utvoříme-li posloupnost aritmetických průměrů {Yn = n1 ni=1 [Xi −E(Xi )]}, ztrácí prvky této posloupnosti s rostoucím n svůj náhodný charakter a blíží se nule v následujícím smyslu: lim P(|Yn | ≥ ε) = 0, ∀ε > 0. P Aritmetické průměry Yn = n1 ni=1 [Xi − E(Xi )] se pro velká n chovají jako konstanta – nula. n→∞
Obsahem centrálních limitních vět P je tvrzení, že distribuční funkce FYn součtů n náhodných veličin Yn = ni=1 Xi konvergují za určitých předpokladů pro n → ∞ k distribuční funkci normálního nebo Poissonova rozdělení. Vzhledem k rozsahu tohoto učebního textu se omezíme na jednodušší případy a některé věty uvedeme bez důkazů. 9.1. Slabý zákon velkých čísel V dalším textu budeme předpokládat, že všechny uvažované náhodné veličiny jsou definovány na stejném pravděpodobnostním prostoru (Ω, A, P). Definice 9.1 [konvergence podle pravděpodobnosti] Říkáme, že posloupnost náhodných veličin X1 , X2 , . . . konverguje podle pravděpodobnosti k náhodné veličině X, platí-li pro každé ε > 0 lim P(|Xn − X| ≥ ε) = 0,
n→∞
nebo ekvivalentně lim P(|Xn − X| < ε) = 1.
n→∞ P
Označujeme: Xn → X pro n → ∞. 83
Definice 9.2 Řekneme, že se posloupnost náhodných veličin P {Xn }∞ 1 řídí slabým zákonem velkých čísel, jestliže posloupnost {Yn = n1 n1 [Xj − E(Xj )]} konverguje podle pravděpodobnosti k nule, tj. jestliže n 1 X [Xj − E(Xj )] ≥ ε = 0, ∀ε > 0. (1) lim P n→∞ n 1 V dalších větách jsou uvedeny některé postačující podmínky pro to, aby se posloupnost {Xn }∞ 1 řídila slabým zákonem velkých čísel. IX.3 Věta. [Čebyševova] Nechť {Xn } je posloupnost po dvou nezávislých náhodných veličin, které mají stejnoměrně omezené rozptyly, tj. existuje číslo c ≥ 0 nezávislé na n takové, že var(Xn ) ≤ c,
∀n ∈ N.
Potom se posloupnost {Xn }∞ 1 řídí slabým zákonem velkých čísel, tj. n
1X P [Xi − E(Xi )] → 0 pro n → ∞. n i=1 P P Důkaz. Označme Yn = n1 n1 Xj , n ∈ N . Potom E(Yn ) = n1 n1 E(Xj ) a podle Čebyševovy nerovnosti n n 1 X 1X 0 ≤ P(|Yn − E(Yn )| ≥ ε) = P Xj − E(Xj ) ≥ ε ≤ n 1 n 1 P Pn var( n1 n1 Xj ) var(Xj ) var(Yn ) nc c ≤ = = 1 2 2 ≤ 2 2 = 2 → 0 pro n → ∞. 2 2 ε ε nε nε nε V praxi se užívají následující dva důsledky Čebyševovy věty. IX.4 Věta. [Bernoulliho] Nechť je náhodná veličina Yn rovna počtu úspěchů v posloupnosti n nezávislých alternativních náhodných pokusů takových, že v každém pokuse nastane úspěch s pravděpodobností p ∈ (0, 1). Pak pro posloupnost { Ynn }∞ 1 relativních četností úspěchů v n pokusech platí Yn P → p pro n → ∞. n IX.5 Věta. [o aritmetickém průměru] Nechť {Xn }∞ 1 je posloupnost po dvou nezávislých náhodných veličin, které mají stejné střední hodnoty a stejnoměrně omezené rozptyly, tj. E(Xn ) = a, Potom
var(Xn ) ≤ b,
∀n ∈ N, a ∈ R1 , 0 ≤ b < ∞.
n
1X P Xj → a pro n → ∞. n 1 Marek, J.: Pravděpodobnost a matematická statistika
84
IX.6 Věta. [Markovova] Nechť posloupnost náhodných veličin {Xn }∞ 1 splňuje podmínku " # n X 1 lim var Xj = 0. n→∞ n2 1 Pak pro libovolné ε > 0 platí n 1 X lim P [Xj − E(Xj )] ≥ ε = 0, n→∞ n 1 tj. posloupnost se řídí slabým zákonem velkých čísel. Důkaz. Užitím Čebyševovy nerovnosti obdobně jako v důkaze Čebyševovy věty n n n 1 X 1 X 1X [Xj −E(Xj )] ≥ ε = P Xj − E(Xj ) ≥ ε ≤ 0≤P n 1 n 1 n 1 " # P n X var( n1 n1 Xj ) 1 1 = var X → 0 pro n → ∞. j ε2 ε2 n 2 1 IX.7 Věta. [Chinčinova] Nechť {Xn }∞ 1 je posloupnost nezávislých náhodných veličin, které mají stejné rozdělení pravděpodobností s konečnou střední hodnotou E(Xn ) = µ, ∀n ∈ N . Potom pro libovolné ε > 0 platí n n 1 X 1X P lim P Xj − µ ≥ ε = 0, tj. Xj → µ pro n → ∞. n→∞ n 1 n 1 9.2. Klasické (centrální) limitní věty V úvodu kapitoly jsme popsali obsah centrálních limitních vět teorie pravděpodobnosti. Jsou to věty, které předpoklady nutné Pformulují n k tomu, aby distribuční funkce součtů 1 Xj náhodných veličin konvergovaly pro n → ∞ k distribuční funkci normálního nebo Poissonova rozdělení. Tyto věty se často užívají v matematické statistice a v různých aplikacích počtu pravděpodobnosti (např. ve stochastických metodách). IX.8 Věta. [centrální limitní] Nechť {Xn }∞ 1 je posloupnost nezávislých, stejně rozdělených náhodných veličin s konečnou střední hodnotou µ a s konečným nenulovým rozptylem σ 2 . Potom posloupnost distribučních funkcí normovaných součtů Pn Pk Pn (Xk − µ) 1 Xk − E( 1 Xk ) p Zn = = 1 √ , Pn σ n var( 1 Xk ) IX Limitní věty.
85
konverguje na R1 k distribuční funkci normovaného normálního rozdělení N(0, 1), tj. Pn Z x t2 1 1 (Xk − µ) √ ≤x = √ lim P e− 2 dt = Φ(x), ∀x ∈ R1 . n→∞ σ n 2π −∞ (2) Poznámka. Tvrzení věty formulujeme stručně takto: Náhodná veličina Zn konverguje pro n → ∞ k náhodné veličině X ∼ N(0, 1) „v distribuciÿ. Zapisujeme L (Zn ) → L (X). Rychlost konvergence ve vztahu (??) určuje tzv. Berry-Essénova nerovnost označíme-li symbolem Fn (x) distribuční funkci náhodné veličiny Zn z věty ??, platí 1 E|Xi − µ|3 |Fn (x) − Φ(x)| ≤ 0.7975 √ , ∀x ∈ R1 . σ3 n Řád přiblížení k distribuční funkci Φ(x) normovaného normálního roz1 dělení je O(n− 2 ). Při pevném n je aproximace tím lepší, čím menší je charakteristika σ −3 E|Xi − µ|3 společného rozdělení náhodných veličin X1 , X2 , . . .. IX.9 Věta. [integrální věta Moivreova–Laplaceova] Nechť náhodná veličina Yn má ∀n ∈ N binomické rozdělení Bi(n, p). Označme Fn (x) distribuční funkci náhodné veličiny Yn − np Zn = p . np(1 − p) Potom platí 1 lim Fn (x) = √ n→∞ 2π
Z
x
t2
e− 2 dt = Φ(x),
∀x ∈ R1 .
−∞
P Důkaz. Tvrzení plyne ihned z věty ??. Yn = nk=1 Xk , kde X1 , . . . , Xn jsou nezávislé náhodné veličiny se stejným alternativním rozdělením. µ = E(Xk ) = p, σ 2 = var(Xk ) = p(1 − p) ∈ (0, 14 i. Normované součty Zn odpovídají normovaným součtům v citované větě. Poznámka. Je-li Yn ∼ Bi(n, p), lze v praxi často užít toho, že pro dostatečně velká n má náhodná veličina Yn − np Zn = p , np(1 − p) přibližně normální rozdělení N(0, 1), nebo jinak formulováno, že pro velká n má binomická náhodná veličina Yn přibližně normální rozdělení N(np, np(1 − p)). Marek, J.: Pravděpodobnost a matematická statistika
86
Tato tvrzení o asymptotické normalitě binomického rozdělení se často užívají v aplikacích, např. pro výpočet pravděpodobností X n P(Yn ≤ y) = pk (1 − p)n−k k k≤y ! ! y − np y − np Yn − np . ≤p =Φ p , =P p np(1 − p) np(1 − p) np(1 − p) je-li n velké. Aproximace se považuje za vyhovující, je-li np(1−p) > 9, 1 n < p < n+1 , viz [?, str. 136]. n+1 Příklad 9.10 (viz [?, str. 90]) Mějme generátor, který vytváří náhodně a nezávisle číslice 1 a 0 se stejnou pravděpodobností 12 . Vytvořme posloupnost 104 těchto cifer. Jaká je pravděpodobnost (přibližně), že četnost jedniček bude v mezích 4900 až 5100? Označme Y četnost jedniček v uvedené posloupnosti, Y ∼ Bi(n = 104 , p = 21 ). Tedy E(Y ) = np = 5000, var(Y ) = np(1 − p) = 2500, p var(Y ) = 50. Nerovnost, která nás zajímá, 4900 ≤ Y ≤ 5100, je rovnocenná nerovnosti Y − 5000 ≤ 2. 50 Označme Z = Y −5000 normovanou náhodnou veličinu. Podle předchozí 50 poznámky dostaneme výsledek . P(4900 ≤ Y ≤ 5100) = P(|Z| ≤ 2) = 2Φ(2) − 1 = 0.9445 . Numerickou hodnotu posledního výrazu najdeme pomocí tabulek hodnot distribuční funkce Φ(x) rozdělení N(0, 1). Příklad 9.11 (viz [?, str. 90]) Bylo sečteno 300 čísel zaokrouhlených na jedno desetinné místo. Vyšetřujme chybu tohoto součtu, která vznikla zaokrouhlením sčítanců. Zaokrouhlovací chyba jednoho sčítance nepřesáhne 0.05 v absolutní hodnotě. Výpočetní zkušenost však ukazuje, že chyba součtu bude zpravidla mnohem menší, neboť chyby ze zaokrouhlení se mohou vzájemně kompenzovat. Předpokládejme, že zaokrouhlovací chyby Xk , k = 1, . . . , 300, jednotlivých sčítanců jsou nezávislé náhodné veličiny, které mají rovnoměrné rozdělení na intervalu (−0.05; 0.05). Tedy 1 µ = E(Xk ) = 0, σ 2 = var(Xk ) = . 1200 P Chyba součtu je pak Y300 = 300 1 Xk , normovaná chyba Y300 Z300 = q = 2Y300 300 1200
IX Limitní věty.
87
a tato veličina má (přibližně) normované normální rozdělení. Pravděpodobnost, že chyba součtu nepřekročí v absolutní hodnotě dané číslo ε > 0 je tedy . P(|Y300 | ≤ ε) = P(|Z300 | ≤ 2ε) = 2Φ(2ε) − 1. Aproximace binomického rozdělení rozdělením normálním je nejlepší pro p blízká 21 . Při malých hodnotách p nebo při hodnotách p blízkých 1 tato aproximace není dobrá (její zlepšení dosáhneme pouze zvyšováním n) a je třeba užít aproximace binomického rozdělení rozdělením Poissonovým. IX.12 Věta. [Poissonova] Uvažujme následující posloupnost nezávislých sérií pokusů: V n-té sérii je n nezávislých alternativních pokusů takových, že v každém pokuse nastane jev A (úspěch) s pravděpodobností pn ∈ (0, 1). Nechť náhodná veličina Xn je rovna počtu úspěchů, které nastaly v n-té sérii. Jestliže lim pn = 0,
n→∞
pak k −λn λn lim P (Xn = k) − e = 0, n→∞ k! pro k = 0, 1, . . ., kde λn = npn . Důkaz. n k P(Xn = k) = pn (1 − pn )n−k , k = 0, 1, . . . , n, n ∈ N. k Uvažujme pevné k a pevné ε > 0. Protože platí xk − x e 2 = 0, x→∞ k! lim
existuje A > 0 takové, že xk − x ε e 2 ≤ , pro x ≥ A. (3) k! 2 Označme B1 = {n : n ≥ 2k, npn ≥ A}. Protože 1 − x < e−x pro 0 ≤ x ≤ 1, platí pro n ∈ B1 n(n − 1) · · · (n − k + 1) k pn (1 − pn )n−k = k! 1 2 k − 1 (npn )k npn n−k = 1− 1− ··· 1 − · 1− ≤ n n n k! n
P(Xn = k) =
≤
(npn )k − npn (n−k) (npn )k − npn ε e n ≤ e 2 ≤ , k! k! 2
Marek, J.: Pravděpodobnost a matematická statistika
(4) 88
kde jsme použili vztah (??) a definici množiny B1 (odkud vyplývá implikace nk ≤ 12 ⇒ 1 − nk ≥ 12 .) Na druhé straně pro n ∈ B1 platí vzhledem k (??) (npn )k − npn (npn )k −npn < e e 2 ≤ k! k! Ze vztahů (??), (??) vyplývá, že pro n ∈ B1 je k P(Xn = k) − (npn ) e−npn ≤ ε + 2 k!
ε . 2
(5)
ε = ε. 2
Nechť B2 = {n : npn < A}. Platí (npn )k npn n (1 − n1 )(1 − n2 ) · · · (1 − P(Xn = k) = 1− k! n (1 − npnn )k
k−1 ) n
.
Protože pro n ∈ B2 poslední zlomek v tomto výrazu konverguje k 1 pro n → ∞ a protože pro tato n platí h i npn n −npn 1 − − e = 0, lim n→∞ n n∈B2 je tím dokázáno tvrzení věty. Na základě tvrzení Poissonovy věty se nahrazuje pravděpodobnostní funkce binomického rozdělení takto k n k n−k . (np) −np Yn ∼ Bi(n, p) ⇒ P(Yn = k) = p (1−p) = e , k = 0, 1, . . . , n. k k! Aproximace se považuje za vyhovující, je-li n > 30, p ≤ 0.1 (viz [?, str. 69]). Příklad 9.13 (viz [?, str. 145]) Dělnice v přádelně obsluhuje 800 vřeten. Pravděpodobnost toho, že se příze přetrhne během časového intervalu délky t, je pro každé vřeteno stejná a rovna 0.005. Určete nejpravděpodobnější počet přetržení příze během intervalu délky t. Je tedy n = 800, pn = 0.005, λn = 4. Podle Poissonovy aproximace (pn malé, n velké) jsou dva nejpravděpodobnější počty přetržení, a to 3 a 4 (víte proč?). 44 . 43 . P(X800 = 3) = e−4 = 0.1954 = e−4 = P(X800 = 4). 3! 4! Pravděpodobnost, že počet přetržení během intervalu délky t je nejvýše 10, je rovna ∞ X 4k −4 . P(X800 ≤ 10) = 1 − e . k! k=11 0.99716 ≤ P(X800 ≤ 10) ≤ 0.99724 . IX Limitní věty.
89
Příklad 9.14 Do opevněné oblasti protivníka se shodí 100 sérií bomb. Nechť je při jedné sérii střední hodnota zásahu rovna 2 a střední kvadratická odchylka je 1,5. Je třeba určit přibližně pravděpodobnost toho, že při shození 100 sérií do oblasti spadne 180 až 220 bomb. Celkový počet zásahů je X = X1 + X2 + · · · + X100 =
100 X
Xi ,
i=1
kde Xi je počet zásahů v i-té sérii. Podmínky centrální limitní věty jsou splněné, protože veličiny X1 ; X2 ; . . . X100 mají stejné rozdělení. Počet n = 100 budeme považovat za dostatečný pro použití centrální limitní věty. Pak 100 X mX = Xi = 200 , 100 X
Di =
i=1
1,52 = 225 ,
i=1
P (180 < X < 220) = Φ
i=1 100 X
220 − 200 √ 225
−Φ
180 − 200 √ 225
Marek, J.: Pravděpodobnost a matematická statistika
. = 0,82 .
90
