Zákony velkých čísel

Univerzita Karlova v Praze Matematicko-fyziká lní fakul t a

BAKALÁŘSKÁ PRÁCE

P řemysl

Bejda

Zákony velkých Katedra

Vedoucí

pravděpodobnosti a

bakalářské

čísel

matematické statistiky

práce: RN Dr. Dani el Hlubinka, Ph.D. Studijní program: obecná matematika

2006

Velmi

děkuji

b akal ářské

svému šoliteli R.NDr. Danielu Hlubinkovi Ph.D. za vedení té to práce, za cenné rady a připomínky.

Prohlašuji , ž jsem svou bakalářskou práci napsal samostatně a výhr adně s použitím citovanýc h pr am enů. Souhlasím se zapůjčováním práce a jejím zv ř j ňová n ím. V P raz d ne 25. 5. 2006

Přemys l

Bejda

Obsah 1 Slabý zákon velkých čísel 1.1 Úloha zákona velkých čísel . 1.2 Slabý zákon velkých čísel

5

5 6

2

Silný zákon velkých čísel 2.1 Nula jedničkové zákony 2.2 Etemadiho věta .

10 10 11

3

Dodatky 3.1 Jiný zákon velkých čsel . 3.2 Příkl ady . . . . . . . .. 3.3 Zákon iterovaného logaritmu 3.4 Bodové odhady . . . . ... .

18 18 21 23 23

Literatura

25

3

4

Název práce: Zákony velkých čísel Autor: Přemysl Bejda Katedra (ústav): Katedra pravděpodobnosti a matematické statistiky Vedoucí bakalářské práce: RNDr. Daniel Hlubinka, Ph.D. e-mail vedoucího:[email protected] Abstrakt: V předložené práci studujeme zákony velkých čísel. Toto je klasické téma teorie pravděpodobnosti, přesto se i zde objevují novější výsledky. Můžeme rozlišit dva zákony velkých čísel: slabý a silný. První z nich souvisí s konvergencí v pravděpodobnosti, zatímco druhý s konvergencí skoro jistě. Hlavní část této práce se týká Etemadiho věty, která patří k nejnovějším výsledkům z této oblasti. Také zmíníme další tvrzení související se zákony velkých čísel např. Kolmogorovova věta, Chinčinova věta aj. V závěru práce se zmíníme o zákonu iterovaného logaritmu a bodovém odhadu. Klíčová slova: slabý a silný zákon velkých čísel

Title: Laws of large numbers Author: Přemysl Bejda Department: Department of Probability and Mathematical Statistics Supervisor: RNDr. Daniel Hlubinka, Ph.D . Supervisor's e-mail address:[email protected] Abstract: In the present work we study laws of large numbers. This is a classical them from probability theory. But newer developments from recent years are also woven in. We differentiate two laws of large numbers: weak and strong. The first one connects with P-stochastic convergence and the second one with almost sure convergence. The main part of this work refers to Etemadi's theorem , which is one of the newest results in this area. We also mention other theorems connecting with laws of large numbers like Kolmogorov's theorem, Khnitchine 's theorem etc. In the end we mention law of iterated logarithm and point estimation. Keywords: weak and strong law of large numbers

Kapitola 1

Slabý zákon velkých 1.1

čísel

Úloha zákona velkých čísel

Podívejme se nejprve na ot ázku interpretace zákonů velkých čísel. Provedeme následuj ící pokus. Házíme šest ist ě nnou kostkou a zkoumáme v kolika případech padne např . 6. V té to sit uaci budeme předpokládat, že hody jsou vzájemně nezávislé a pr avděpodobnost toho, že padne nějaké číslo je st ejná pro všechna čís l a na kostce. Za této situace bychom asi předpokládali, že šestka padne zhruba v jedné šest i ně případů . Samozřejmě bychom asi také řekli, že čím více hod ů proved em e, tím více se bude podíl hodů vnichž padla šestka a všech hodů blížit jedné šes t i ně . Tato konkrétní úvaha nás vede ke zkoumání následujícího poj mu:

D e fin ice 1 .1 (slabý zákon velkých čísel ) Řekneme, že posloupnost náhodných ve ličin (X n ) splňuje slabý zákon velkých čísel, j estliže platí lim P (

n---+CX)

.!.n L~(Xi -

E (Xd ) >

é)

Vé > O.

= O.

(1.1)

i =l

Poznamenej me dále, že předchozí definice se někdy uvádí v obecnějším t var u . Řekneme , že posloupnost náhodných veličin (X n ) splňuje slabý zákon velkých čísel , jestliže ex ist uje po sloupnost reálných čísel (an ) takových , že platí lim P ( n-+ CX)

.!.n ~ x, L

ai

>

é)

= O.

Vé

> O.

i= l

ás ale pojem.

může

zajímat konvergence skoro

ji stě ,

proto definujme následující

Definice 1. 2 (silný zákon velkých čísel) Ř ekneme, že posloupnost náhodných ve ličin (X n ) splňuje silný zákon velkých čísel, jestliže ple ti 1 n

P( lim - L (Xi n -+ CX) n

-

E(Xi ) ) = O) = 1.

(1.2)

i= l

l1ůžem opět poznamenat, že se někdy uv ádí obecnější definice. Řekneme ,

ž posloupnost náhod ných veličin (X n ) sp lňuje silný zákon velkých existuj pos loupnost reálnýc h čísel (an ) takových, že platí 1

n

P( nlim - ' " X, - a; = O) = 1. -+ oo n L i= l

5

čísel,

jestliže

KAPITOLA 1. SLABÝ ZÁKON VELKÝCH ČíSEL

6

Připomeňme

následující tvrzení , kt eré popisuje rozdíl mezi konvergen cí v pr avděpodobnosti a konvergencí skoro jistě. Věta 1.3 Nechť X n a X j sou náhodné ve ličiny pak

';)

l'lm X n s.j. = X ===> l'lm X n

II

n -oo

n~oo

lim X n

ii)

n ~oo

Důkaz

t:: X ===>

p X =

existuje podposloup nost tak, že lim X n k k~oo

sJ' X .

viz. [4] st r. 34. Uveď me j eště příklad , který se právě vzt ahuj e k

předešlé vě tě.

Příklad 1.4 Měj me pravděpodobnostní prostor (O , A, P). Nechť O je interval [0,1], A je borelovská sigma algebra na tomto intervalu a P je Lebesgueova míra. Dále uv ažujme posloupnost (X n ) reálných náhodných veličin, kde náhodná veličina X 2 k + l nabývá na intervalu [~, hodnoty 1 a jinde O pro k E No a lE {O,'" , 2k - I}. Zřejmě tato posloupnost konverguje v pravděpodobnost i, ale nekonverguje skoro jistě. Zároveň je vidět , že když vybereme vhodnou podposloupnost této posloupnosti např. X 2k , pak tato podposloupnost již konverguj e skoro jistě.

W]

Výzku m zákona velkých čísel má dlouhou historii. Slabý zákon velkých ve velmi speciálním t varu, zn al již J acob Bernoulli(1654-1705). První práce , týkající se silné ho zákona velkých čísel, se objevila v roc e 1909 a publikoval ji É. Borel. Ta však byla též jen pro velmi speciální typ posloupností náhodných veličin. D alšími m atem atiky, kt eří se zabývali t ímto problémem , byli A. J. Chinčin(18 94- 1 95 9) a A. N. Kolmogorov (1903-1987).

čísel ,

1.2

Slabý zákon velkých

čísel

Zdůrazněme hned na začátku, že náhodné veličiny, které sp lň uj í předpoklady násl edujících vět , nemusí být stejně rozdělené. Tento př edpoklad však, jak později uvidíme, budeme potřebovat pro d ůkaz Etem adiho věty. Uveď me nyní m éně ob ecnou větu pro posloupnosti, jež sp lň uj í slabý zákon velkých čísel.

Věta 1.5 (Čebyšev) Nechť (X n ) je posloupnost reáln ých nezávi slýc h náhodných ve ličin,

kt erá

splňuje

1 n lim 2" " var(Xi) = O, nn 'Z:: i= l

pak tato posloupnost

sp lňuje

slabý zákon ve lkých

čís e l.

D ůkaz Zřejmě

j ou všechny veličiny X, dvakrát integrovatelné . Odtud a z J nsenovy nerovnosti plyne, že jsou též integovatelné . Položme: n

Yn

:=

L (X i

-

E(Xd),

i= l

Díky nezávislosti

můžem e

položit n

var (Yn ) =

L var(X i= l

i).

KAPITOLA 1. SLABÝ ZÁKON VELKÝCH ČíSEL Nyní stačí použít Čebyševovu nerovnost, která dává pro libovolné 1

=

7

E

> O:

1

n

P( IYnl 2: nE) < 22 v ar (Yn) = 22 " va r (X i ), n-e n -e Z:: 'i = l

což jsme

chtěli

o

dokázat.

Povšimneme si, že předpoklad nezávislosti je zbytečně silný. Proto uvedeme větu za slabších předpokladů, tak jak ji publikoval Chinčin. Vět a

1 .6 (Chi nčin) Jestliže posloupnost (X n ) , n E N je posloupnost reálných po dvou nekorelovaných náhodných ve ličin a sp lňuje: 1 n lim var(X i ) = O, n-too n Z::

-2 "

i= l

pak tato posloupnost Důkaz:

splňuje

sla bý zákon velkých

čísel.

Díky nekorelovanosti: n

var (Yn )

=

L var(X i ), i= l

v

důsledku

toho var

1 ) = 1~var (Xi ) ' (;Y n2

n

n

1,=1

pro každé n E N. yní stačí použít Čebyševovu nerovnost , kt erá dává pro libovolné E > O:

z

čehož

o

již tvrzení plyne.

J e z řejmé, že jedi né, co jsm e potřebovali navíc k důkazu 1.6 oproti 1.5 je p latnost následuj ících v zt ah ů pro po dvou nekorelované náhodné veličiny. n

var (Yn ) =

L var(X

i),

i =l

var

1 ) 1~ var(Xi ) ' (;Y = n2

n

n

1, =1

Díky j j ich platnosti by l d ůkaz naprosto iden ti cký s před chozím. yní s p okusme vě tu uvést pro jiné než druhé momenty, k tomu budeme potř bovat Kolmogorovovu nerovnost, která je obecnější verzí Čebyševovy nerovno t i. Věta 1.7 (Kolmogorovova nerovnost) Nechť X je nezáporná náhodná veličina

a n chi v(a) := E(XO:)

<

00 ,

kd e

Q

> O.

Pak platí pro libovolné A

>O

KAPITOLA 1. SLABÝ ZÁKON VELKÝCH ČíSEL

8

Důkaz: Důkaz

tohoto t vrzení je velm i jed nod uchý, proto jej zde také uvedeme. Nejprve si uvědomme, že pro O < A :s; 1 je t vrzení zřejmé, neboť pak je levá strana dokazované nerovnosti větší než 1. Tedy dokazujme tvrzení jen pro A > 1. Dále položme Jl. := Px . Protože X 2:: O máme

faCO xO
v(a) = z

čehož

dále dostáváme

( CO

v(a) 2':

.1. xO< dl'

2': 'xO
} Av(a) fr

právě

Což je

}

I'('xv(a) ~)). D

požadovaná nerovnost .

A nyní již přistupme k výše prostoru (O, A , P) . Vět a

'xO< v(a )(l -

=

Av(a) O"

zmíněnému tvrzení.

Pracujme na pravděpodobnostním

1 .8 Nechť (X n ) je posloupnost reálných náhodných veličin a nechť dále

platí

1 n lim - " EIXi - EXil = O, n -4 OO n L

(1.3)

i= l

pak tato posloupnost D ůkaz:

Náhodné

J ako v

předchozích

splňuje

slabý zákon velkých

čísel.

veličiny

jsou jistě integrovatelné, toto plyne z výrazu (1.3). větách položme n

Yn

:=

E (X i

-

E(Xi ) ) ,

i= l

Podle 1.7 dost ávám e

I~Sn - E(~Sn) I >

p (

é) =

P

(fYnl

2':

(E7;nl) (E!Ynl)) < ~~~)I.

P ou žijeme troj úhe lníkovou nerovnost, n

n

IYnl

=

E (X'i - EXi )

< E IXi -

i= l

Což je to , co jsme

chtě l i

EXi l·

i =l

D

uk áz at.

J e te dy vidět , že v předešlé větě sice nepotřebujeme nekorelovanost po dvou, ale p okud ji m ám e a m áme i konečnost druhých momentů, pak je Ch inči nova vě ta v jistém smys lu silnější. Povšímněme si, že důkazy slabého zákona velkých čísel, jsou vždy založeny na různých verzích Čebyševovy nerovnosti . Kolm ogor ovovu nerovnost můžeme samozřej mě použít pro obecně nějaký mo m nt , který je větší než nul a. V tomto případě však již není jednoduché výraz upravi t tak , aby v něm jednotlivé náhodné veličiny byly v příslušném mom ntu. To znamená, že pro nějaké a > O a posloupnost (X n ) , pro kterou platí lim

n --

~ EI Ynla na

= O,

spln n slabý záko n v lkých č ísel. Uveďme j š t ě jednoduchý příklad týkající se předchozích vět . v

KAPITOLA 1. SLABÝ ZÁKON VELKÝCH ČíSEL

9

1.9 Na pravděpodobnostním prostoru (n, A, P) mějme náhodnou veličinu X takovou, že hodnoty O nabývá s pravděpodobností jedna polovina, hodnoty 2 také s pravděpodobností jedna polovina. Snadno se spočítá, že střední hodnota je 1, rozptyl také 1. Vezměme posloupnost (X n ) náhodných veličin, které pro každé w E n nabívají stejné hodnoty jako X. Pak cov f.X, , Xj) = 1 pro každé i i= i, i, JEN. Také se snadno ověří jeden z předpokladů Příklad

Chinčinovy věty,

1 n lim 2" ~ var(Xd = O.

n-+oo ti

Jenže

p (

Z:: i =l

~ t(Xn -

E(Xn))

=

1)

=

l.

Pro každé n E N. Tedy slabý zákon velkých čísel splněn není. To je samozřejmě zp ůsobeno tím, že veličiny jsou všechny stejné. Ještě se přesvědčíme, že předpoklady minulé věty splněny nejsou, ale to je snadné, neboť 1 n lim - ~ EIXi - EXil = 1. n -+oo n Z:: i =l

Což by ale k důkazu neplatnosti slabého zákona velkých čísel nestačilo. Ještě zkoumejme stejnou posloupnost za předpokladu, že náhodné veličiny jsou nezávislé. Pak jsou splněny předpoklady Chinčinovy věty a tedy platí sla bý zákon velkých čísel. Jenže nejsou, jak již bylo ukázáno, splněny předpoklady věty předchozí.

Kapitola 2

Silný zákon velkých 2. 1

Nula

j edničkové

čísel

zákony

Význam ným nás trojem , jak později uvidíme, pro dokazování silných zákonu velkých čísel jsou nula j edničkové zákony. Uveďme Cantelliho 0-1 zákon a Borel ů v-C antelliho 0-1 zákon, které o určitých limitních jevech říkají, zda jejich pravděpodobnost je 1, či O. Mějme pravděpodobnostní prostor (O, A , P).

Lemma 2. 1 (Cantelliho 0- 1 zákon) Nechť F n E A , n E N jsou náhodné jevy a

f

P (Fn ) < +00, potom P (limsuPFn ) = O. n-+oo

n= l

D ůk az:

Pro každé no E N máme odhad

Řada v pos led ním Což jsm

chtě li

výr azu je však

sčítatelná,

proto P (lim sup Fn ) = O. n-+oo

O

dokázat.

Lemma 2.2 (Borelův-Cantelliho 0-1 zákon) Nechť A n E A , jsou náhodné j evy alespoň po dvou ne závislé, pak platí nás ledující implikace

LP(A n ) = 00 => p(lim su PA n ) = 1. D ůkaz:

(2.1)

n -oo

n= l

Po ložme n

A:= Iim sup A, , I n

:= lAn'

n-+oo

a

Sn := L Ij

(n E N)

j =l 00

Př dpoklad , ž j vy A n jsou po d vou nezávi slé, n ám říká, že náhodné veličiny l n j ou po dvou n korelované pro kaž dé n E N. P rot ože I~ = In pro každé

10

KAPITOLA 2. SILNÝ ZÁKON VELKÝCH ČíSEL

11

n E N, dostáváme následující vztahy

var(Sn) =

n

n

j=l

j=l

I: var(lj) = I: [E (IJ)

- (E( lj ))2]

n

= E(Sn) -

I: E(lj)2 S

j=l

E(Sn)'

(2.2)

00

Předp oklad

I:

z (2.1) nám říká následující

m ůžeme předchozí

vztah

ekvivalentně

E (Sn) / E (S)

= 00

E(ln)

00;

protože

n=l

s; / S

zapsat jako pokud

n

(2.3)

-+ 00.

w E n leží v A. To říká, že w E A n pro nekonečně mnoho znamená, že S(w) = 00. Chceme t edy dokázat , že echť

ti

E N, což

P(S =oo) =1. Z Čebyševovy nerovnost i dostaneme

pro každé TJ > O. Z (2.3) víme, že pro zbytek důkazu můžeme psát E(Sn) > O pro každ é ti E N. Z čehož pak dostávám e

t d y dík y (2.2) a (2.3) uláme

Z

předchozího

což platí až na

dostaneme pro každé c > O, že

konečně

mnoho n. A díky t omu, že Sn ::; S mám e

pl a tn é až na kon čně mnoho

ti

E N. Z čehož a ze vzt ahu (2.3)

P(S = (0) 2:: 1 - c, platné pro každ é c > O. To znamená, že P (S

= (0) = 1, což mělo být dokázáno . o

2.2

Etemadiho

dokázat slabý zákon velkých čísel pro po dvou nekor lovan é n áhodn é v ličiny mohli bychom chtít dokázat obdobnou větu i pro silný zákon v lkých čís 1. Takovou větu jako první publikoval Etemadi v roce 19 1.

J likož s n ám

podařilo

věta

KAPITOLA 2. SILNÝ ZÁKON VELKÝCH ČíSEL Věta

12

2.3 (Etemadi) Každá posloupnost (X n ) , n E N reálných itegrova-

t elných stejn ě rozdělených po dvou n ezávislých n áhodn ých ve ličin splňuje si ln ý zákon ve lkých čís el.

J estliž e zesílíme předp oklady a budeme požadovat dvak rát int egrovat elné náhod né veličiny, pak již víme z věty 1.6, že posloupnost sp lňuj e slabý zákon velkých čísel. Na druhou stranu ve větě 1.6 jsme vůb ec nepotřebovali předpoklad stej ného rozdělení náhodných veličin. Předp oklady věty jsou splňeny, jestliže náhodné veličiny jsou nezávislé. Ted y všechny náhodné veličiny dané posloupnosti jsou vzájemně nezávislé. V této p odobě vyslovil větu Kolmogorov v roce 1930. Věta

2.4 (Kolmogorov) Každá posloupnost (X n ) , n E N n ezávislých

rozdělených

velkých

stejně

reáln ých integrov ateln ých náhodných veličin splňuje silný zákon

čísel.

Nejprve, jako přípr avu k důkazu Etemadiho věty, udělejme několik poznámek. 1.P rot ože všechny veličiny X n mají st ej né rozdělení J-t .- Px n , střed ní hodnota 'T/ := E (Xn ) =

J

x JL (dx ) = E(XIl

nezávisí na n E N. Položme n

(2.4)

(n E N) .

Sn:= LXi i =l

Budem e se v

podstatě

zabývat vzorcem 1 n - L (X i n

-

i= l

1 E (X i ) ) = - Sn n

7]

a chceme dokázat , že .

1

hm -Sn = n-+ oo n

7]

s.j.

2. ejprve položme

gl (X) := ma x{O,x}

(x E IR),

a

pak X .;{ = gl (X n ) a X;; = g2(Xn ) , \:In E N. Z toho je vidět , že náhodné (x;t) a (X;;) jsou také po dvou nezávi slé, neboť příslu šná náhodná veličina je funkcí X n . Stejné roz děle ní náhodných veličin v posloupnosti (x;t) a (X;;) je zřejmé díky stejnému rozdělení náhod ných v ličin v po sloupnosti (X n ) . Integrovatelnost náhodných veličin v posloupnost ch (x;t ) a (X;;) také přímo plyne z integrovatelnosti veličin z p osloupnosti (X n ) . Tedy stej ně jako původní pos loupnost (X n ) i p osloup nost (x;t) a posloupnost (X;; ) sp lňuj í předpoklady Etemadiho věty. J elikož X n = x ;t - X;;, je silný zákon pro pos loupnost (X n ) splněn, jestli že je sp lněn pro (x;t ) a (X;; ), neboť platí vztah E (X n ) = E(X;t) - E(X;;) a stačí je n dosadi t do (1.2). Díky to mu m ů ž m b z újmy na obecnosti předpokládat , že X n jsou nezáp orné náh odné v ličiny. J ako důsledek nezápornosti p latí: IL( - 00, O) = O. 3. Násl dující technika je obvy klá pro všechny důkazy vět o silných zákonech velkých č ísel. áhodn é veličiny X n (nezáporné) budeme rest ringovat n ásl eduj ícím z pů ob m. Pro c lou po loupnost X n položme: veličiny v posloupnosti

(n E N).

(2.5)

KAPITOLA 2. SILNÝ ZÁKON VELKÝCH ČíSEL

13

Tyto náhodné veličiny již nejsou stejně rozdělené, ale co jsme restrikcí získali je dvojitá integrovatelnost, což bude patrné za chvíli. Položme dále

fn

x , jestliže O < x < n } O, jinak = x1[O,n)( x).

.= { .

Protože Yn = t« o X n , dostáváme:

E(Y;) =

E(f~ o X n ) =

Jf~dM = r

x 2 dM < n 2 <

(2.6)

00.

l[O ,n)

4. V důkazu Etemadiho věty budeme muset ukázat, že když posloupnost Yn sp lňuj e silný zákon velkých čísel , pak jej splňuje i posloupnost X n . K tomu slouží následující technika: v důkazu věty v odílu III. ukážeme, že 00

L P(X

n

# Yn ) < 00,

(2.7)

n= 1

z

čehož

aplikací Borelova-Cantelliho lemmatu dostaneme následující tvrzení P(Xn

# Yn

pro

nekonečně

(2.8)

mnoho n) = O.

Toto říká, že jev A sest ávající ze všech W E 0 , pro která platí, že Xn(w) # Yn (w) nejvíše pro konečně mnoho ti E N, má pravděpodobnost 1. Protože na tomto míst ě již můžeme předpokládat , že n -

n

2: }Ii

1

konverguje ke konstantě

i= 1

'rl skoro jistě . V d ůsledku toho označme jako jev B množinu všech

takových, že je pro ně sp lněn předchozí vztah. Tzn. n -1 ko ns t antě 1].

J ev B má díky že jev A n B nas t áv á také s

L

leží všechna w E 0 , pro kt er á platí n- 1

L

jedna. V

množině

Dále víme , A n B však

X i(W) konverguje ke konstantě

i= 1

Což přesně říká , že když dokáž i vztah ze z ačátku tohoto odstavce, pak do kázat silný zákon velkých čísel jen pro posloupnost (Yn ) . 5. chf a > 1 je reálné čís lo. Pro každé n E N položme

n

jv ět ší přirozené čís lo

menší než a " . Pro toto

číslo

°

}Ii (w) konverguje k

i=1 předchozímu pravděpodobnost jedna.

pravd ěpodobností n

E

W

n

7] .

stačí

platí kn E N a

(2.9) Z vztahu lim

n-too

plyn

xist ne čís la

C[X

E

an - 1

an

= 1,

(0, 1) takového, že pro každ é n E N.

(2.10)

apř . mohu volit libovolné číslo menší, než 1 - a -I .)

6. yní učiňme pos lední poz námku k d ůkazu. Připomeňme v ní tvrzení , kt r é bud ln potř bovat.

KAPITOLA 2. SILNÝ ZÁKON VELKÝCH ČíSEL

14

Věta 2.5 Každá reálná náhodn á ve ličina X splňuje 00

00

n= l

n =l

L P( IXI ? n ) < E(IXI) < 1 + L P (IX I ~ n); což znamená že X j e integrova.telná,

práv ě

(2.11)

řada

kdy ž

00

LP(I XI ~ n) n= l

konverguje. D ůkaz

viz. [4] st r . 25. Ny ní již přistupme k samot nému

důkazu.

D ůkaz

Etemadiho věty: Důkaz také rozdělme do několika částí. 1. J iž víme, že můžeme bez újmy na obecnosti předpokládat, že X n ~ O. Když posloupnost (X n ) up r avíme podle vzorce (2.5), pak dostaneme posloupnost dvakrát integrovatelných náhodných veličin Y n ~ O, které jsou také po dvou nezávislé. Dále definuj me Sn pomocí (2.4) . Definujme podobně n

S~

(n E N).

L (Yi - E (Yi) )

:=

i= l

Nechť jsou dána libovolně e

tomu , že náhodné

P

veličiny

(I~S~I é) < n

>

P

a > 1. Díky Čebyševově nerovnosti a díky Y n jsou po dvou nekorelované, můžeme položit

> Oa

12 var

E

( ~S~) = ~var(S~) = ~ tvar(y;) . n n n i= l E

é

(l ~s~ 1 > é) < ~ t E(Y/ ), i= l

é ti

ti

t dy toto sp ciálně platí pro kn = [an ]

pro každ é ti E N. S

čtěme

Pon ě vadž mám na pravé

tot o

přez

s traně

všechna

ti

samá klad ná

E N

čísla můžeme zaměnit

kd

(j E N)

sumy

KAPITOLA 2. SILNÝ ZÁKON VELKÝCH ČíSEL

15

a nj označuje nejmenší přirozené číslo n pro které k n ~ j. Následující odhad pro tj pochází z

(2.10)

t J·

00

L

< - .2 - ca

a-

- c'"- 2 a -

2n -

2n j

u.

n =nj

1

1 - a- 2

=

C",r\J -2nj, u. u.

kde nová konstanta je definována jako Ca := c~2(1- a - 2 ) pouze na a. Z čehož dostáváme následující vztah

1

> Oa

opět závisí

i. což plyne z toho jak bylo nj definováno. S použitím této majoranty a vzorce (2.6) pro E(Y/), jako integrálu vzhledem k míře II , dostaneme z naší původní nerovnosti poněvadž anj ~ knj ~

Protože všechny

L00 J~1Lj l j=l

k= l

členy

jsou nezáporné

x 2dI-L = [k - l ,k)

můžeme zaměnit sumy

L00 ( L00 J~1)1

k=l

j =k

x2dI-L

<

[k-l ,k)

tato nerovnost plyne z teleskopičnosti, neboť pro řadu

a tak dostaneme

L00 k21

00 2:= -h . kJ

x2dll ,

[k-l ,k)

k=l

platí

J=

L J~1 < k1 + L00 (.J -1 1)J. = k1 + L00 2

2

j=k

aš i řad u

j = k+l

j =k+l

pr avděpodobností můžeme

:::: 2E- 2 C"

f (

(1

-=-=1 J

1) -c

J

=

1 k2

1

2

+ k :::: k·

tedy majorizovat následujícím

způsobem

= 2E - 2 C" E (X J) < +00.

xdu.

k= l l[k - l ,k )

Z Bor lova-C an t elliho lemrnatu plyne následující (právě kvůli použití tohoto I mmtau p o třebuj eme nezávislost po dvou v předpokladech k Etemadiho větě) p

(li~-->~mp

(I:nSLl>E) )

= O

(pro každé E>O ).

To t dy znam n á, že exist uje jev A , jehož pravděpodobnost je 1 a pro který pla í: w E A pak lim kl

n-+oo

n

S~

(w) = n

o.

ht n j pravd vpodo b nostní prostor, na kterém pracujeme, pak je A defin váno vzt ah ln

KAPITOLA 2. SILNÝ ZÁKON VELKÝCH ČíSEL

16

Z předchozího a z defin ice konvergence skoro j istě dále dostaneme · - 1 S'k = O 1lm

n--oo

kn

P skoro

n

jistě.

(2.12)

II. Díky bodu 3. z přípravy k důkazu tohoto tvrzení můžeme položit

z

čehož

a z Leviho

věty

dostáváme

Což nás opravňuje k napsání následujícího (2.13)

Z definice součt u S~ dostáváme, že 1

-Sk k 'n

1

kn 1 kn ~ y:. E(Y:) k LJ t k ~ i t » LJ

= -

n

z

čehož

a

vz t ahů

n i= l

n i= l

(2.12) a (2.13) dos táváme

1 lim -k

n--oo

n

kn

L }Ii = E(X

P skoro

l )

j istě.

(2.14)

i= l

III. Bod 4, z přípr avy k d ůkazu tohoto tvrzení, nám nyní pomůže vrátit s zp ě t k n áhodn ým veličin ám X n . Musíme však nejprve ověřit předpoklady v něm uvedené. K tomu nám bude sloužit následující vztah 00

00

L P (X

n

n =l

-I Yn ) =

L P(X

n

~ n).

n= l

yn í po užijeme p ozorov ání, že P (X n ~ n ) = P(X l ~ n). Což je důsledek toho, ž ve ličiny X n mají stej né rozd ělení. V d ůsledku nerovností (2.11) dostáváme 00

L P(X

n

-I Yn ) < E(X l ) < +00.

n =l

- tvrtý bod přípravy nás pak informuj e o tom že posloupnost (Yn ) muže být v vzorc i (2.14) nahrazena posloupností (X n ) . Tedy, že platí následující vztah P skoro

jistě.

(2.15)

IV . ym jsm j iž té m ě ř ho tovi. Z př edchozího vím e, že Q > 1 a také máme p vně dánu pos loup nost (k n ) . Jistě (je likož (kn ) je neomezená a rostoucí posloupno t přirozených čísel) pro každé m > k l přirozené exist uje n E N tak, ž kn < m ~ kn + 1 . Z té to nerovnosti a nezápornosti všech náhodných veličin )(n pl II

KAPITOLA 2. SILNÝ ZÁKON VELKÝCH ČíSEL

17

a dále Sk n kn

.

k n < Sm < Sk n +1 m - m - kn + l

•

k n+ l m·

(2.16)

Definice kn dáv á následující nerovnosti

z nichž a také

(2.17)

Pro dostatečně velké n E N platí nn - 1 > n n - I. Nechť toto platí pro n 2: no. J e-li m větší než k n o ' pak pro kn , které vyhovuje předcházejícím požadavkům, je sp lněna nerovnost n 2: no. Tedy m ů žeme položit (2.18) Nyní z (2.15) dost ávám e pro každé Q > 1, že jev Oa nastává skoro jistě. Kde každý elementární jev w E Oa , jestliže pro něj platí

Kdyby fl = 80 ( 60 je Dir acova mír a v bodě O ), pak by X n = O skoro jistě pro každé n E N a posloupnost (X n ) by splňovala t vrzení věty. Díky tomu m ů žeme odteď předp okládat, že E (X l ) > o. Což je ekvivalentní tomu , že I L -I- 80 . Protože O' > 1, ner ovnosti

pro dostatečně velká n (velikost n závi sí na w). Tyto nerovnosti sp olečně se vzt ahy (2.16) , (2.17) a (2.18) říkaj í, že

jsou

sp lněny

Q - 3 E(X l )

1 m

< - Sm (w) < Q 2 E (Xl ) ,

odkud plyn e, že vztahy

jsou spln ~ ny pro každé w E Oa a každé dostatečně velké m E N, které je závislé na w a Q . J estli že položíme 01 := 0 1+ 1" pak P(O I) = 1

n

JEN

a z

př

J

dcház jí ího dostáváme pro každé w E 0 1,

což j srn

chtě li

dokázat.

o

Kapitola 3

Dodatky 3.1

Jiný zákon velkých

čsel

Poznamenejme nyní, že důkaz Kolmogorovovy věty sice pří1I10 plyne z Etem adiho věty, ale obvykle se dokazuje z jiného tvrzení. Zdůrazněme, že v něm nepotřebuj em e stejně rozdělené náhodné veličiny. Jeho nevýhodou je však nutnost nezávislosti všech náhodných veličin v posloupnosti X n . Toto tvrzení uvedem e, avšak ještě p ředtím uveďme pomocné věty, kt eré budeme potřebovat k jeho d ůkazu. Ty jsou z [4] a [5].

Lemma 3 .1 (Kroneker) Mějme dv ě posloupnosti reálných čísel (a n ) , (bn ) , 00

ti

E

L

N. Když

n=l

a n j e s čítatelná, O

< bl ::;

b2

::;

n E

No·

...

::;

bn ~

00 ,

pak

Diikaz: ejprve položme 00

L

r n :=

a; pro každé

i=n+l Spočteme

následující n

n

I: aib; = I: bi(ri- l -

i= l

i= l n-l

=

I: (bi+l -

n- l

ri)

n bi+lri - I: b.r, = i=O i= l

= I:

bi )ri

i= l

+ bl "o -

bnrn ,

z t oho snadno dostaneme , že

n- l L tub, ::; L (bi+l - bd lri l + bl lrol + bnlrnl · i=l i= l n

(3.1)

J likož vím , že když n ~ 00 , pak r n ~ o. Z toho dostaneme , že existuje k lib ov lnému e > O př irozené číslo N tak, že Iril ::; e pro i ~ N. Položíme

R := max Irnl. nENo

Z

př

d hozího pak dostan me

n- l

L

N-l

(bi+l - bi)lril ::;

i= l ::; R (bN - bl)

L

i=l + é (bn - bN )

18

n-l

I: (bi+l - bi ) ::; i=N pro každé n > N - 1.

(bi+l - bi) lr i l + e

KAPITOLA 3. DODATKY

19

Ze vztahu (3.1 ) dost aneme

o Lemma 3.2 (Skorochodova nerovnost) Nechť Xl ,'" ,Xn jsou n ezávisl é k

L: X j

reáln é náhodné veličiny a označme Sk := J estliž e pro e

> O a O<

<5

< 1 platí

P (ISn - Skl > é) :::; <5

pro každé k E {1 ,' " , n }.

i= l

k E {1,'"

pro každ é

, n - 1},

pak

P(

ISkl > 2c)

max

< P(ISnl > c) . 1 - <5

k E{ I ,... ,n }

D ůkaz :

Po ložme k,

min

T: = {

ISkl> 2c,kE { I ,··· ,n }

jestliže

max

kE{1,··· ,n }

00

ISkl > 2c,

jinak.

Spočtěme

n

P(ISnl > s ) 2:: P( ISnl > c, T < 00) =

L: P(ISnl > c, T

=

k) 2::

i= l

n

n

i= l

i =l

2:: L: P( ISil - ISn - Si l > c, T = k) = L: P (ISi l -

é

> ISn - Si l,T = k) 2::

n

2:: L: P (ISn - Skl :::; c, T

= k).

i= l

Poslední nerovnost plyne z definice T . ásleduj ící čás t pak plyne z nezávi slosti , T = k záv isí p ouze na prvních k veličin ách , zatímco ISn - Sk l závisí na posledních n - k veličinách . Můžeme nyní dopočít at neboť jev

n

P(ISnl > e) 2::

L: P(ISn -

Skl :::; c)P( T = k) 2::

i= l

2: (1 - Ó)P(T < (0) = (1 přesně

Což je Věta

to , co jsme

chtěli

Ó)P ( max kE{1,... ,n } ISkl

do kázat.

>

2é) .

o

3.3 Nechť (X n ) je posloupnost nezávislých reálných náhodných veličin, 00

pak řada

L: X n

konverguje skoro jistě, právě když tat o řada konverguje v

n= l

pravděpodobnosti .

n

Důkaz:

Op ě t označme Sn :=

L: X i . Implikace

z leva do prava přímo plyn e z

i= l v ě ty

1.3.

Proto dokažme pouze opačnou implikaci. Vyu žijem e t oho, že posloupnost j konv rgentní skoro jistě , právě když je Cauchyovská skoro jistě (viz. [4] st r . 37). T dy chcem ukázat , že posloupnost Sn je cauchyovská skoro ji stě. V zrn m libovolné c > O a O < <5 < 1 a nalezněme pro ně no E N tak, aby v

KAPITOLA 3. DODATKY

20

P (ISn - Snol > c) < ó pro každé n > no . V následujícím výp očtu využijeme Skorochodovu nerovnost (v předposlední nerovnosti).

n U n [I Sm 00

yní po ložme A :=

s, I < 4c]. Jistě

pro každé w E A je

é > O n =l m ,k ?n

pos loupnost Sn(w), ti E N cauchyovská. Díky předchozímu odhadu však vím e, že P (A ) = 1. Z toho te dy plyne, že posloupnost Sn, n E N je cauchyovská skoro jistě . D Věta

3.4 Pro (X n ) , n E N posloupnost n ezávislých reálných náhodných veličin 00

I: (Xn -

s konečným rozptylem platí: itula

EXn ) je sčítatelná v 1L 2 , ]Jávě když

n= l 00

L

var (X n ) <

00.

n= l

Důkaz: ejprve připomeňme definici konvergence v 1L 2 . Řekneme , že posloupnost (X n ) , n E N reálných náhodných veličin konverguje k reálné náhodné veličině X v 1L 2 , jestl iže X n , X E 1L 2 , ti E N a lim E (IX - X n 2 ) = O. 1

n -+oo

Důkaz

provedeme tak, že si uvědomím e platnost následujících ekvivalencí. Sn je konvergentní v 1L 2 , p rávě kd yž Sn je cauchyovská v 1L 2 (viz. [4] str. 37). Toto platí tehdy a jen tehdy, je-li lim sup E ((Sj - Sk)2) = O. Což n-+oo

j,k?:.n

n

platí, právě když lim lim

L

k -s-oo n -+ oo j =k+l

var (Xj

)

= O, kde jsme využili nezávislosti.

00

Poslední výraz je už však ekv ivalentní s

L

var (Xj ) <

D

00 .

j =l Věta

3.5 Když X n , n E N jsou reálné nezávislé náhodné

rozp tylem a

L

var (X n ) <

00 ,

potom itula

n= l

koro

veličiny

s

ko n e čným

00

L (Xn

-

E (X n ) ) j e sčítate lná

n =l

jis t ě .

D ůkaz: Stačí

použít věty 1.3, 3.3 a 3.4. K tomu je však třeba vědě t , že jestliže posloupnost náhodných veličin (X n ) konverguj e v 1L 2 , pak již konverguje v pravd ěpodobnosti (viz . [4] str. 35) . D A nyní již můžeme do kázat samotný silný zákon velký ch čísel. J eho důkaz už n bud příliš obtížný , je však třeba si uvěd omi t , že je k němu potřeb a mnoho přípravné prác (a to nav íc z růz ných ob lastí m at ematiky ). Vět a

3.6 Ka ždá posloupnost (X n )

veličin

,

n E N ne závislých reálných náhodných

konečnými rozptyly pro kt erou platí

00

L

n= l

va~2Xn < n

00 ,

kd e O < bl ~

KAPITOLA 3. DODATKY b2 ~

... ~

b.,

-+ 00 splňuje

21

následující vztah

1 n lim - " (X k n-+oo b.; L

-

E(Xk ) ) = O s.j.

k =l

Důkaz: Volme a n :=

f

Jelikož

n =l

X

n

va~fn < 00,

-~(Xn) jako posloupnost z Kronekerova lemmatu. dostávám z

věty

3.5, že

řada

n

f

Xn -:(X n)

n =l

je

n

sčítat elná

skoro jistě. Nyní již stačí jen požít Kronekerovo lemma a dostaneme

o Poznamenejme, že v důkazu Skorochodovy nerovnosti již nestačí nezávislost po dvou , ale potřebujeme, aby všechny veličiny byly vzájemně nezávislé. Tedy pro důkaz Etemadiho věty musíme použít jiné prostředky, než v případě této vě ty. Tato věta se také může dokazovat v t rochu méně obecné podobě pomocí Kolmogorovovy nerovnosti (viz . [2]). Ale i v tomto případě potřebujeme nezávislost všech náhodných veličin. Ve všech důkazech jsme potřebovali nerovnost , kter á by nám pomohla odhadnout výraz P( ~

n

2:= (Xn

-

E(Xn ) > é),

i= l

neb o něj aký podobný. V důkazu Etemadiho věty k tomu sloužil oddíl 1., zatírnc o v minulé větě Skorochodova nerovnost. V důkazu z [2] k tomuto účelu slouží Kolmogorovova nerovnost, které se využije a dále se upraví. Také se mu sí dok ázat konvergence skoro jistě, neboť z odhadu předešlého výrazu by by lo možno dokázat konvergenci jen v pravděpodobnosti. K tomu nám nyní poslouž ila vět a 3.3, zatímco v případě Etemadiho věty zvláště oddíl IV. z jejího důkazu.

3. 2 v

P říklady

ďme

Příklad

nyní

několik příkladů

týkajících se

vět

o zákonech velkých

čísel.

a začátku se vraťme k příkladu 1.9. Ten byl udělán tak aby neby l sp lně n p ředpokl ad nezávislosti. yní ověřme, že pro posloupnost náhodných v liči n z to hoto příkladu není sp lněn silný zákon velkých čísel , ale to je snadné, n bot

V tomto

L:

3.7

případě

va:;.í\n <

n= l

n záv islost j

00 ,

je však

sp lně n předpoklad věty

3.6, kt erý vypadá takto

neboť jak jsm e již řekli var (X n ) =

alespoň

v

1. To znamená, že

něj aké podobě potřeba.

Příklad

3.8 ásledující příklad je převzat z [6.]. Up ozorňuje na nu tnost stejného rozd ě l ní v Etemadiho větě. Měj me po sloupnost nezávislých reálných diskrétních náhodných veličin (X n ) t akových, že

P(X n = n) =

1

2n log n

,

1 P (X n = - n ) = 2 I

' n og n

P(Xn =O) =l -

1 , n logn

KAPITOLA 3. DODATKY

22

pro n = 2, 3, . " Tyto velčiny bychom mohli interpretovat jako posloupnost hodů mincí se vzrůstající výhrou v případě úspěchu. Je E(X n ) = O. Nyní se pokusme dokázat neplatnost silného zákona velkých čísel. Uvažujme jevy A n := {IXnl 2:: n}, n 2:: 2. Pak dostaneme

I

P (A n ) =

Divergence této

00

1

z čehož dostaneme

n ogn

řady a

nezávislost náhodných veličin nám za pomoci Borelova-

Cantelliho lemmatu dá P (lim sup A n )

=

čehož

1. Z

n ---+oo

však dostaneme, že

P( lim Sn i=- O) = 1. Poznamenejme, že v tomto případě limita vůbec nen---+oo

n

musí exist ovat . To je tedy důvod, proč posloupnost (X n ) nesplňuje silný zákon velkých čísel. Ukažme nyní, že posloupnost splňuje slabý zákon velkých čísel. Je var.Xj, = lo~ k' Protože funkce x nabývá lokálního minima v bodě x = e a pak je

10:

n

již rostoucí, můžeme výraz

L:

lok k

k =3

g

považovat za dolní odhad pro integrál

f3n +1 lo: xdx. Díky čemuž již snadno odvodíme

1L -logk-k <- -n1(2 -- + log 2

-2 ti

n

2

t

k =2

2 + _(n_-_2_)_(n_+_l_) x ) < --dx - n 2log2 n 2 log n log X

3

Poslední výraz konverguje k nule pro n

-t

00.

Tím jsme

ověřili předpoklady

Chinčinovy věty.

P řipomeňme, vě ty n apříklad

stejného rozdělení byl v důkazu Etemadiho potřeba v oddílu II a na začátku oddílu III. že

předpoklad

Příklad 3.9 Mějme O < e reálné číslo a posloupnost nezávislých reálných d iskrétních náhodných veličin (Xn) takových, že

P (X n = nE: ) = Z ř ejm ě je E X n

~, n

= O a var(Xn ) = n 2é . Protože L: i 2é se asymptoticky chová i= l

jako n 1+2é , snadno sp očteme 1 n n 1+2é lim 2" ' " var(Xi ) ~ lim --2- = O, n ---+oo ti L n ---+ oo ti i=l

pokud e < ~ . P ak jsou sp lněny předpoklady Chinčinovy věty. Dokonce ještě jednodušeji se ověří předoklady věty 3.6. Pokud platí é < ~ , pak

. Ln var(X·i ) = L hm oo

n ---+oo

což je al

n2

i= l

i= l

2é

n -2, n

sčítatelná řada.

Příklad

3.10 Minulý příkl ad n ás m ůže vést ke zkoumání posloupnosti (X n), n 2:: 2 nezávislých náhodných veliči , pro kt eré platí 1

2'

1 2

KAPITOLA 3. DODAT K Y

23

V tomto případě je totiž splněna Chinčinova věta , ale nejsou splněny předpoklady Kolmogorovovy věty. Jenže v tomto případě je splněn i silný zákon velkých čísel , jak je ukázáno v [6].

3.3

Zákon iterovaného logaritmu

Zákony velkých čísel nám pouze zodp op ověděly otázku, za jakých předpokladů mohou náhodné veličiny konvergovat ke své střední hodnotě . Avšak otázku rychlosti konvergence neřeší. Tou se zabývá zákon iterovaného logaritmu. Tento publikovali Hartman a Winter. Vět a

3. 11 (Hart m an a Winter) Jestliže (X n ) je posloupnost nezávislých dvakrát integrovatelných náhodných veličin, kde O < var Xl =

stejně rozdělených 0' 2

<

00 ,

pak n

L ix; · sup 1lm n -oo

n

l: ix, -

EXk)

k= l

J2O' 2 n log(log( n))

= 1

s.j. a

liminf n -oo

EXk)

k =l

J2O' 2 n log(log(n))

= -1

s.J.

Toto je samzřej mě velmi silný výs ledek, když jej sr ovnáme s větou (2.4). Etem adiho věta na druhou stranu nepotřebuje nezávislost všech náhodných veličin v posloupnosti (X n ) . Odtud také vidíme, že nemusíme vždy výraz n

L (X k

-

EX k ) dělit n , ale stačí jej dělit

ti";

kde ex

>

~ (pokud jsou splněny

k =l

předpoklady předchozí věty)

a pak již konverguje k nule. iter ovaného logari tmu publikoval v roce 1961 Strassen .

3. 4

Obecnější

zákon

Bodové odhady

Zákony velkých

č ís le

se

uplatňují

ve statistice pro bodové odhady.

Definice 3.1 2 (Bodový odhad) Bodový odhad parametrické funkce g(B) (kde B j e n zn ám ý param etr) j e jakákoli borelovská funkce cjJ( X ) náhodného výběru X j ejíž funkční předp is n ezávisí na e.

V po dstatě se silný zákon používá pro d ůkaz toho, že J konzistentní, proto připom eňme ještě tento pojem.

nějaký

bodový odhad

Definice 3.13 (konzistentní odhad) Nechť X j e náhodný výběr. Odhad cjJ( X) se nazývá konzistentním odhadem parametrick é f unkce g(B), j estliž e platí

P( lim
pro každou m ožnou hodn otu parametru

a

základ ě

námi vyslovených

e.

vět můžem e

nyní napsat následující lemma.

Lemma 3.14 Nechť X = (Xl ," . , xn)T je náh odn ý výběr z nějakého rozdělení. Nechť xistuje funkce f ta.ková, že E f (X I) = g (B), pak odhad ~

n

L i= l

cP( X ) j konzistentním odhadem parametrické f unkce g (B).

f (Xi)

=

KAPITOLA 3. DODATKY

24

Důkaz: Stačí

použít

větu

si uvědomit, že funkce f(X 1 ) je integrovatelná a pak už jen (2.4).

O

Uvědomme

si, že toto lemma například říká, že je-li (X n ) posloupnost nezávislých integtovatelných stejně rozdělených reálných náhodných veličin, pak odhad ~

n

I: X i je i= l

můžeme říci , že ~

konzistentním odhadem střední hodnoty Xl. Obdobně

n

I: (Xi -

EXi )2 je konzistentním odhadem rozptylu Xl (sa-

i =l

mozřejmě,

pokud je Xl dvakrát integrovatelná). Z toho je

zistence platí i pro odhad n~l

n

I: (Xi i= l

odhadnutí rozptylu.

zřejmé

že kon-

- EXi )2, který se užívá nejčastěji pro

Literatura [1] Heinz Bauer: Probability theory, Walter de Gruytar, New York , 1996. [2] Václav Dupač , Marie Hušková: Pravděpodobnost a matematická statistika, Karolinum , Praha, 2003. [3] N. Etemadi: An El ementary Proo] oj the Strong Law oj Large Numbers , Zeitschrift fíir Wahrscheinlichkeitstheorie und verwandte Gebiete, Springer- Verl ag, Berlin-Gótingen-Heidelberg (1981) , 119-122. [4] Petr Lachout: Teorie pravděpodobnosti, Karolinum, Praha, 2004. [5] J osef Štěpán : Teori e pravděpodobnosti, Academia, Praha, 1987. [6] Jordan M. Stoj anov: Counterexamples in probability, John Wiley & sons, Chichister, ew York , Bri sb an e, Toronto, Singapore, 1987.

pAIJATO KOBHAJOB~

29 -05- 2006

Ó

PŘEDSEDA KOMlS

STUDIJNf PROGRA

25