3
Bodov´ e odhady a jejich vlastnosti
3.1
Statistika
(Skripta str. 77)
V´ ybˇer poˇrizujeme proto, abychom se (v´ıce) dovˇedˇeli o souboru, ze kter´eho jsme v´ ybˇer poˇr´ıdili. Zde se soustˇred´ıme na situaci, kdy zn´ame rozdˇelen´ı souboru aˇz na jeden nebo v´ıce parametr˚ u. Napˇr. v´ıme, ˇze rozdˇelen´ı souboru je norm´aln´ı, ale nezn´ame jeho stˇredn´ı hodnotu, pˇr´ıpadnˇe i rozptyl. Z v´ ybˇeru se snaˇz´ıme hodnoty tˇechto nezn´am´ ych parametr˚ u odhadnout. Pˇredpis, pomoc´ı kter´eho z v´ ybˇeru vypoˇcteme hodnotu nezn´am´eho parametru se naz´ yv´a statistika. V souladu s t´ım je i n´asleduj´ıc´ı definice. D e f i n i c e 3.1 (Statistika) Statistika T = T (X ) je funkce v´ ybˇeru X . Koment´ aˇ r k definici
1. Statistika urˇcen´a pro odhadov´an´ı se naz´ yv´a odhadov´a statistika, pro testov´an´ı testov´a statistika. 2. Definice neˇr´ık´a nic o tom, jak statistiku volit vzhledem k jej´ımu c´ılov´emu vyuˇzit´ı (odhad, test). Jej´ı vhodnost ˇci nevhodnost budeme zkoumat pozdˇeji.
3.2
Bodov´ y odhad parametru rozdˇ elen´ı
(Skripta str. 77)
D e f i n i c e 3.2 (Bodov´ y odhad) Sledujeme rozdˇelen´ı s hustotou pravdˇepodobnosti f (x; θ) s nezn´am´ ym parametrem θ. Provedli jsme realizaci n´ahodn´eho v´ ybˇeru x = (x1 , x2 , . . . , xn ) z tohoto rozdˇelen´ı a definovali statistiku T (X ). Bodov´ y odhad θˆ parametru θ pro realizaci n´ahodn´eho v´ ybˇeru x je hodnota statistiky T s dosazenou realizac´ı n´ahodn´eho v´ ybˇeru x θˆ = T (x )
(15)
Koment´ aˇ r k definici
1. Pro kaˇzdou novou realizaci v´ ybˇeru obdrˇz´ıme jin´ y bodov´ y odhad. Odtud je zˇrejm´e, ˇze bodov´ y odhad nem˚ uˇze d´at u ´plnˇe pˇresnou hodnotu parametru. 2. Vlastn´ı volbu statistiky jsme zat´ım nechali stranou. Lze pro ni pouˇz´ıt metodu moment˚ u nebo maxim´aln´ı vˇerohodnosti, o kter´e se zm´ın´ıme. Statistiku je tak´e moˇzno volit heuristicky, potom je vˇsak tˇreba ovˇeˇrit jej´ı vlastnosti. ˇ ´ı k l a d: Odhadujeme parametr stˇredn´ı hodnotu µ. Provedli jsme v´ybˇer Pr x = {x1 , x2 , . . . , xn } = {3, 5, 2, 4, 5}. Protoˇze v´ıme, ˇze stˇredn´ı hodnotu si lze pˇribliˇznˇe pˇredstavit jako pr˚ umˇer vˇsech moˇzn´ych realizac´ı, 1 Pn usoud´ıme, ˇze jej´ım vhodn´ym odhadem bude aritmetick´y pr˚ umˇer x = n i=1 xi . Po dosazen´ı realizace v´ybˇeru dostaneme x = 19/5. Vlastnosti zvolen´e statistiky je vˇsak tˇreba ovˇeˇrit (viz d´ale).
7
3.3
Vlastnosti bodov´ ych odhad˚ u
(Skripta str. 78)
Vlastnosti bodov´eho odhadu θˆ vypov´ıdaj´ı o vhodnosti pouˇzit´e statistiky T k odhadu hodnoty parametru θ. Uvedeme tˇri vlastnosti: nestrannost, konzistenci a vydatnost. {{}}
Nestrannost1 D e f i n i c e 3.3 (Nestrannost) Statistika T poskytuje nestrann´ y bodov´ y odhad parametru θ, jestliˇze jej´ı stˇredn´ı hodnota se rovn´a tomuto parametru E[T ] = θ (16) Koment´ aˇ r k definici
1. Stˇredn´ı hodnotu E[T ] je tˇreba ch´apat jako ”pr˚ umˇerov´an´ı” pˇres vˇsechny moˇzn´e v´ ybˇery. Jestliˇze bychom chtˇeli naznaˇcit v´ ypoˇcet t´eto stˇredn´ı hodnoty, bylo by tˇreba postupovat takto: provedeme prvn´ı v´ ybˇer, spoˇcteme bodov´ y odhad, provedeme druh´ y v´ ybˇer a opˇet spoˇcteme bodov´ y odhad, atd. Po proveden´ı vˇsech moˇzn´ ych v´ ybˇer˚ u udˇel´ame pr˚ umˇer ze vˇsech jednotliv´ ych bodov´ ych odhad˚ u. To je hledan´a stˇredn´ı hodnota. 2. Nestrannost ˇr´ık´a, ˇze odhad je ”v pr˚ umˇeru” (rozum´ıme pˇres vˇsechny moˇzn´e v´ ybˇery) pˇresn´ y. ˇ ´ı k l a d: Ovˇeˇr´ıme nestrannost v´ybˇerov´eho pr˚ Pr umˇeru vzhledem ke stˇredn´ı hodnotˇe. M´ame dok´azat, ˇze plat´ı E[X ] = µ. Dosad´ıme definici v´ybˇerov´eho pr˚ umˇeru a manipulujeme s oper´atorem stˇredn´ı hodnoty "
#
n n n 1X 1X 1X E[X ] = E Xi = E[Xi ] = µ=µ n i=1 n i=1 n i=1
Vych´ ylen´ı bodov´ eho odhadu B(θ)2 je definov´ano jako rozd´ıl mezi stˇredn´ı hodnotou statistiky a odhadovan´ ym parametrem B(θ) = E(T ) − θ
(17)
´ m k a: Z definice nevych´ylenosti pˇr´ımo plyne, ˇze je-li statistika T pro odhad parametru Pozna θ nevych´ylen´ a, pak vych´ylen´ı B(θ) je nulov´e.
Konzistence3 D e f i n i c e 3.4 (Konzistence) 1
Skripta str. 78 Skripta str. 79 3 Skripta str. 79 2
8
Statistika T d´av´a konzistentn´ı bodov´ y odhad parametru θ, jestliˇze pro rostouc´ı rozsah v´ ybˇeru se hodnota statistiky (v pravdˇepodobnosti) neomezenˇe bl´ıˇz´ı skuteˇcn´emu parametru lim P (|T − θ| < ²) = 1,
n→∞
∀² > 0
(18)
Koment´ aˇ r k definici
Tato vlastnost je limitn´ı. Lze ji sledovat jen pˇri zvˇetˇsuj´ıc´ım se rozsahu v´ ybˇeru – napˇr. zmˇeˇr´ıme 10 hodnot, pak 100, atd. T v r z e n´ı 3.1 (Kriterium konzistence4 ) Odhad je konzistentn´ı, jestliˇze je – asymptoticky nestrann´ y, – jeho rozptyl jde k nule s rozsahem v´ ybˇeru jdouc´ım k nekoneˇcnu. ˇ sevovy nerovnosti pro obecn´y odhad. Ovˇeˇren´ı: Plyne z pouˇzit´ı Cebyˇ ˇ ´ı k l a d: Ovˇeˇr´ıme konzistenci v´ybˇerov´eho pr˚ Pr umˇeru vzhledem k odhadu stˇredn´ı hodnoty. Pro ˇ sevovu nerovnost (??), kterou zap´ıˇseme pro v´ybˇerov´a pr˚ d˚ ukaz vyuˇzijeme Cebyˇ umˇer a stˇredn´ı hodnotu P (|X − µ| < ²) > 1 −
σ2 n²2
σ2 = 0, je odhad konzistentn´ı. n→∞ n²2
Protoˇze lim
Vydatnost5 D e f i n i c e 3.5 (Vydatnost) Pro dvˇe nestrann´e statistiky T a U definujeme jako vydatnˇejˇs´ı tu z nich, kter´a m´a menˇs´ı rozptyl D[T ] < D[U ] =⇒ T je vydatnˇejˇs´ı neˇz U (19) ´ m k a: Pozna
Pro posouzen´ı dvou statistik, kter´e nejsou nestrann´e, je tˇreba zav´est stˇrednˇe kvadratickou chybu M SE 6 definovanou vztahem M SE = E[(T − θ)2 ] = D[T ] + (B(θ))2
(20)
Jako vydatnˇejˇs´ı definujeme statistiku s menˇs´ı M SE. (Pro nestrann´e statistiky M SE pˇrech´ az´ı na rozptyl a obˇe definice jsou shodn´e.) Ze vztahu pro M SE je patrn´e, ˇze v obecn´em pˇr´ıpadˇe tato charakteristika posuzuje jak rozptyl odhadov´e statistiky, tak i jej´ı vych´ylen´ı. M SE bude minim´ aln´ı, jestliˇze bude minim´ aln´ı rozptyl i vych´ylen´ı statistiky. 5 6
Skripta str. 80 Skripta str. 80
9
3.4
Konstrukce bodov´ ych odhad˚ u
(Skripta str. 82)
ˇ Rekli jsme co je bodov´ y odhad a jak´e u nˇeho sledujeme vlastnosti. Nyn´ı se budeme vˇenovat ot´azce, jak lze takov´ y odhad zkonstruovat. Uk´aˇzeme dvˇe z´akladn´ı metody pro konstrukci statistiky, vhodn´e pro odhad dan´eho parametru.
Metoda moment˚ u7 Tato metoda je velmi jednoduch´a, obecnˇe vˇsak ned´av´a pˇr´ıliˇs kvalitn´ı v´ ysledky. Spoˇc´ıv´a v porovn´an´ı obecn´ ych (nebo centr´aln´ıch) moment˚ u souboru a v´ ybˇeru. Podle toho, kolik parametr˚ u odhadujeme, tolik moment˚ u mus´ıme porovnat. Momenty souboru poˇc´ıt´ame s pomoc´ı hustoty pravdˇepodobnosti souboru f (x, θ). Budou tedy obsahovat nezn´am´ y parametr θ. V´ ybˇer je mnoˇzina zmˇeˇren´ ych hodnot. Moment v´ ybˇeru bude tedy ˇc´ıslo. Porovn´an´ım moment˚ u z´ısk´ame rovnice kde nezn´am´e budou odhadovan´e parametry. Z nich odhad vypoˇcteme. ˇ ´ı k l a d: Budeme odhadovat nezn´am´y parametr δ exponenci´aln´ıho rozdˇelen´ı s hustotou pravPr dˇepodobnosti f (x, δ) = δ exp{−δ x}, δ > 0, x ∈ (0, ∞) z v´ybˇeru x = [x1 , x2 , . . . , xn ]. Protoˇze odhadujeme jedin´y parametr, staˇc´ı porovnat prvn´ı momenty, tj. stˇredn´ı hodnotu souboru (exponenci´aln´ıho rozdˇelen´ı) a v´ybˇerov´y pr˚ umˇer zmˇeˇren´eho v´ybˇeru. Stˇredn´ı hodnota souboru je E[X] =
Z ∞ 0
x f (x, δ) dx =
V´ybˇerov´y pr˚ umˇer je x= Porovn´an´ım dostaneme
Z ∞ 0
x δ exp{−δx}dx = 1/δ.
n 1X xi = ˇc´ıslo. n i=1
1 1 = x ⇒ δˆ = , δ x
kde symbolem δˆ jsme oznaˇcili bodov´y odhad parametru δ.
´ ln´ı ve ˇrohodnosti8 Metoda maxima ´ rozde ˇlen´ı Odhad pro obecne Tato metoda d´av´a velmi kvalitn´ı v´ ysledky a je ˇcasto pouˇz´ıv´ana. Pro norm´aln´ı rozdˇelen´ı souboru je ekvivalentn´ı s metodou nejmenˇs´ıch ˇctverc˚ u, o kter´e budeme mluvit v regresn´ı anal´ yze. Metoda je zaloˇzena na minimalizaci tzv. vˇerohodnostn´ı funkce nebo jej´ım logaritmu (coˇz je tot´eˇz – proˇc?). 7 8
Skripta str. 82 Skripta str. 82
10
D e f i n i c e 3.6 (Vˇ erohodnostn´ı funkce) Pro rozdˇelen´ı s hustotou pravdˇepodobnosti f (x, θ) a realizaci n´ahodn´eho v´ ybˇeru x = [x1 , x2 , . . . , xn ] definujeme vˇerohodnostn´ı funkci Ln (θ) vztahem Ln (θ) =
n Y
f (xi , θ).
(21)
i=1
D e f i n i c e 3.7 (Maxim´ alnˇ e vˇ erohodn´ y odhad) Maxim´alnˇe vˇerohodn´ ym odhadem parametru θ rozdˇelen´ı f (x, θ) nazveme odhad θˆ ∈ θ∗ , kter´ y maximalizuje (logaritmus) vˇerohodnostn´ı funkce, tj. plat´ı ˆ ≥ log Ln (θ), ∀θ ∈ θ∗ log Ln (θ)
(22)
kde θ∗ oznaˇcuje mnoˇzinu vˇsech pˇr´ıpustn´ ych hodnot parametru θ. Obecn´ y postup pˇri urˇcen´ı maxim´alnˇe vˇerohodn´eho odhadu je n´asleduj´ıc´ı: 1. Sestav´ıme vˇerohodnostn´ı funkci tak, ˇze n´asob´ıme hustoty pravdˇepodobnosti souboru a do kaˇzd´e dosad´ıme za x jeden prvek v´ ybˇeru xi . 2. Je-li to v´ yhodn´e, vˇerohodnostn´ı funkci logaritmujeme. Protoˇze ˇrada rozdˇelen´ı m´a hustotu pravdˇepodobnosti ve tvaru exponenci´aly, b´ yv´a logaritmus uˇziteˇcn´ y pro zjednoduˇsen´ı souˇcinu. Nen´ı vˇsak nutn´ y. 3. Hled´ame maximum logaritmu vˇerohodnostn´ı funkce. V jednoduch´em pˇr´ıpadˇe napˇr. pomoc´ı derivace, ve sloˇzitˇejˇs´ım pˇr´ıpadˇe numericky. Bod, kde leˇz´ı maximum je maxim´alnˇe vˇerohodn´ y odhad.
´ln´ı tr ˇ´ıdu rozde ˇlen´ı Odhad pro exponencia D e f i n i c e 3.8 (Exponenci´ aln´ı tˇ r´ıda rozdˇ elen´ı) ˇ Rekneme, ˇze hustota pravdˇepodobnosti patˇr´ı do exponenci´aln´ı tˇr´ıdy, jestliˇze je moˇzno ji zapsat ve tvaru f (x, θ) = exp{Q(θ) U (x) + R(θ) + V (x)}, (23) kde Q, R jsou funkcemi jen θ (ne x) a U, V jsou funkcemi jen x (ne θ). ˇ ´ı k l a d: Alternativn´ı rozdˇelen´ı je z exponenci´aln´ı tˇr´ıdy, nebot’ plat´ı Pr f (x, π) = π x (1 − π)1−x = exp{log(π x (1 − π)1−x )} = = exp{x log(π) + (1 − x) log(1 − π)} = exp{[log(π) − log(1 − π)] x + log(1 − π)}. Zde plat´ı: Q = log(π) − log(1 − π), U = x, R = log(1 − π), V = 0.
Je-li rozdˇelen´ı z exponenci´aln´ı tˇr´ıdy, dost´av´ame n´asleduj´ıc´ı jednoduch´e ˇreˇsen´ı u ´lohy maxim´alnˇe vˇerohodn´eho odhadu. 11
T v r z e n´ı 3.2 (Max. vˇ er. odhad pro exponenci´ aln´ı tˇ r´ıdu) Pro rozdˇelen´ı s hustotou pravdˇepodobnosti f (x, θ) = exp{Q(θ) U (x)+R(θ)+V (x)} a realizaci v´ ybˇeru x = [x1 , x2 , . . . , xn ] je extr´em logaritmick´e vˇerohodnostn´ı funkce d´an ˇreˇsen´ım rovnice Q0 (θ) S(x) + n R0 (θ) = 0, kde Q0 , R0 jsou derivace podle θ a S(x) =
Pn
i=1
U (xi ).
Aby nalezen´ y extr´em byl maximum, mus´ı b´ yt jeˇstˇe splnˇena nerovnost Q00 (θ)S(x) + n R00 < 0. Ovˇeˇren´ı: Vˇerohodnostn´ı funkce je Ln (θ) =
n Y
exp{Q(θ) U (xi ) + R(θ) + V (xi )} = exp
i=1
( n X
)
(Q(θ) U (xi ) + R(θ) + V (xi )) =
i=1
(
= exp Q(θ)
n X
U (xi ) + nR(θ) +
i=1
n X
)
V (xi ) .
i=1
Tento v´yraz logaritmujeme a se zaveden´ym znaˇcen´ım dostaneme log Ln (θ) = Q(θ)S(x) + nR(θ) +
n X
V (xi ).
i=1
Po derivaci podle θ posledn´ı v´yraz zmiz´ı. Anulov´ an´ım derivace dost´av´ ame podm´ınku pro extr´em. Podm´ınka pro maximum je z´aporn´ a druh´a derivace. ˇ ´ı k l a d: Metodou maxim´aln´ı vˇerohodnosti urˇcete odhadovou statistiku pro parametr π alternaPr tivn´ıho rozdˇelen´ı. Uvaˇzujeme alternativn´ı rozdˇelen´ı, jehoˇz exponenci´aln´ı tvar jsme jiˇz odvodili (viz pˇr´ıklad k (23)) a zjistili jsme, ˇze plat´ı Q = log(π/(1 − π)), U = x, R = log(1 − π), V = 0. Abychom mohli pouˇz´ıt tvrzen´ı 3.2, potˇrebujeme jeˇstˇe spoˇc´ıtat funkci S pˇr´ısluˇsn´e derivace. S=
Pn
i=1 xi
= nx, Q0 =
1 π(1−π) ,
Podm´ınka extr´emu Q0 S + nR0 =
1 1 Q00 = − π22π−1 , R0 = − 1−π , R00 = − (1−π) 2 (1−π)2
1 1 nx − n =0 ⇒ π ˆ=x π(1 − π) 1−π
Podm´ınka maxima (s dosazen´ym odhadem x = π ˆ) −
2ˆ π−1 1 nˆ π−n <0 ⇒ π ˆ<1 2 −π ˆ) (1 − π ˆ )2
π ˆ 2 (1
coˇz je vˇzdy splnˇeno, nebot’ π = 1 je patologick´y pˇr´ıpad.
12
