Pravdˇ epodobnost a matematick´ a statistika Mirko Navara Centrum strojov´eho vn´ım´an´ı ˇ katedra kybernetiky FEL CVUT Karlovo n´amˇest´ı, budova G, m´ıstnost 104a http://cmp.felk.cvut.cz/˜navara/psi 13. 12. 2016
Obsah 1 Oˇ cem to je? 1.1 Teorie pravdˇ epodobnosti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2 Statistika . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3 3 3
2 Z´ akladn´ı pojmy teorie pravdˇ epodobnosti 2.1 Laplaceova (klasick´ a) definice pravdˇepodobnosti . . . . . 2.1.1 Z´ akladn´ı pojmy . . . . . . . . . . . . . . . . . . . 2.1.2 Pravdˇ epodobnost . . . . . . . . . . . . . . . . 2.1.3 N´ ahodn´ a veliˇ cina . . . . . . . . . . . . . . . . 2.2 Vlastnosti pravdˇepodobnosti . . . . . . . . . . . . . . . ´ 2.2.1 Upln´ y syst´em jev˚ u . . . . . . . . . . . . . . . . . 2.3 Probl´emy Laplaceovy definice pravdˇepodobnosti . . . . 2.3.1 Rozˇs´ıˇren´ı Laplaceova modelu pravdˇepodobnosti . 2.4 Kombinatorick´e pojmy a vzorce . . . . . . . . . . . . . . 2.5 Kolmogorovova definice pravdˇepodobnosti . . . . . . . . 2.5.1 Borelova σ-algebra . . . . . . . . . . . . . . . 2.5.2 Pravdˇ epodobnost (=pravdˇepodobnostn´ı m´ıra)
3 3 4 4 4 4 4 5 5 5 6 7 7
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
3 Nez´ avislost a podm´ınˇ en´ a pravdˇ epodobnost 7 3.1 Nez´ avisl´ e jevy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3.2 Podm´ınˇen´ a pravdˇepodobnost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 3.2.1 Podm´ınˇen´ a nez´ avislost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 4 Popis n´ ahodn´ ych veliˇ cin a vektor˚ u 4.1 N´ ahodn´ a veliˇ cina . . . . . . . . . . . . . . . . . . . . . . 4.2 n-rozmˇern´ y n´ ahodn´ y vektor (n-rozmˇern´a n´ahodn´a veliˇcina) 4.3 Nez´ avislost n´ ahodn´ ych veliˇcin . . . . . . . . . . . . . . . . . 4.4 Obecnˇejˇs´ı n´ ahodn´e veliˇciny . . . . . . . . . . . . . . . . . . 4.5 Smˇes n´ ahodn´ ych veliˇcin . . . . . . . . . . . . . . . . . . . . 4.6 Druhy n´ ahodn´ ych veliˇcin . . . . . . . . . . . . . . . . . . . . 4.6.1 Diskr´etn´ı n´ ahodn´e veliˇciny . . . . . . . . . . . . . . . 4.6.2 Spojit´e n´ ahodn´e veliˇciny . . . . . . . . . . . . . . . . 4.6.3 Sm´ıˇsen´e n´ ahodn´e veliˇciny . . . . . . . . . . . . . . . 4.7 Kvantilov´ a funkce n´ ahodn´e veliˇciny . . . . . . . . . . . . . . 4.8 Jak reprezentovat n´ ahodnou veliˇcinu v poˇc´ıtaˇci . . . . . . . 4.9 Operace s n´ ahodn´ ymi veliˇcinami . . . . . . . . . . . . . . . 4.10 Jak realizovat n´ ahodnou veliˇcinu na poˇc´ıtaˇci . . . . . . . . .
1
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
10 10 11 12 12 12 13 13 14 14 15 16 16 19
5 Charakteristiky n´ ahodn´ ych veliˇ cin 5.1 Stˇredn´ı hodnota . . . . . . . . . . . . . . 5.1.1 Vlastnosti stˇredn´ı hodnoty . . . 5.2 Rozptyl (disperze) . . . . . . . . . . . . 5.3 Smˇerodatn´ a odchylka . . . . . . . . . . . 5.4 Obecn´e a centr´ aln´ı momenty . . . . . . 5.5 Normovan´ a n´ ahodn´ a veliˇcina . . . . . 5.6 Z´ akladn´ı typy diskr´etn´ıch rozdˇelen´ı . . . 5.6.1 Diracovo . . . . . . . . . . . . . . 5.6.2 Rovnomˇern´e . . . . . . . . . . . 5.6.3 Alternativn´ı (Bernoulliovo) . . . 5.6.4 Binomick´e Bi(m, q) . . . . . . . . 5.6.5 Poissonovo Po(λ) . . . . . . . . . 5.6.6 Geometrick´e . . . . . . . . . . . 5.6.7 Hypergeometrick´e . . . . . . . . 5.7 Z´ akladn´ı typy spojit´ ych rozdˇelen´ı . . . . 5.7.1 Rovnomˇern´e R(a, b) . . . . . . . 5.7.2 Norm´ aln´ı (Gaussovo) N(µ, σ 2 ) . 5.7.3 Logaritmickonorm´ aln´ı LN(µ, σ 2 ) 5.7.4 Exponenci´ aln´ı Ex(τ ) . . . . . . . ˇ 5.8 Cebyˇ sevova nerovnost . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
19 19 20 21 21 22 22 22 22 22 22 23 23 23 23 24 24 24 24 25 25
6 Popis a charakteristiky n´ ahodn´ ych vektor˚ u 6.1 Diskr´ etn´ı n´ ahodn´ y vektor . . . . . . . . . . . . 6.2 Spojit´ y n´ ahodn´ y vektor . . . . . . . . . . . . . . ˇ ıseln´e charakteristiky n´ 6.3 C´ ahodn´eho vektoru . . . . 6.3.1 V´ıcerozmˇern´e norm´ aln´ı rozdˇelen´ı N(µ, Σ) 6.4 Reprezentace n´ ahodn´ ych vektor˚ u v poˇc´ıtaˇci . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
26 26 26 27 28 28
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
7 Line´ arn´ı prostor n´ ahodn´ ych veliˇ cin 28 7.1 Line´ arn´ı podprostor N n´ ahodn´ ych veliˇcin s nulov´ ymi stˇ redn´ımi hodnotami . . . . . . . . . . 29 7.2 Line´ arn´ı regrese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 8 Z´ akladn´ı pojmy statistiky 8.1 K ˇcemu potˇrebujeme statistiku . . . . . . . . . . . . . . . . . . . . . . 8.2 N´ ahodn´ y v´ ybˇer, odhad, empirick´e rozdˇelen´ı . . . . . . . . . . . . . . . 8.3 Odhad stˇredn´ı hodnoty . . . . . . . . . . . . . . . . . . . . . . . . . . 8.4 Odhad k-t´eho obecn´eho momentu . . . . . . . . . . . . . . . . . . . . . 8.5 Odhad rozptylu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.5.1 Rozdˇelen´ı χ2 s 1 stupnˇem volnosti . . . . . . . . . . . . . . . . 8.5.2 Rozdˇelen´ı χ2 s η stupni volnosti . . . . . . . . . . . . . . . . . 8.5.3 V´ ybˇerov´ y rozptyl z norm´ aln´ıho rozdˇelen´ı N(EX, DX) . . . . 8.5.4 Eficience odhad˚ u rozptylu pro norm´ aln´ı rozdˇelen´ı . . . . . . . 8.6 Odhad smˇerodatn´e odchylky . . . . . . . . . . . . . . . . . . . . . . . 8.7 Histogram a popis empirick´eho rozdˇelen´ı . . . . . . . . . . . . . . . . . 8.8 Odhad medi´ anu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.9 Intervalov´e odhady . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.10 Intervalov´e odhady parametr˚ u norm´ aln´ıho rozdˇelen´ı N(µ, σ 2 ) . . . . 8.10.1 Odhad stˇredn´ı hodnoty pˇri zn´ am´ em rozptylu σ 2 . . . . . . . . 8.10.2 Odhad stˇredn´ı hodnoty pˇri nezn´ am´ em rozptylu . . . . . . . . 8.10.3 Studentovo t-rozdˇelen´ı . . . . . . . . . . . . . . . . . . . . . . . 8.10.4 Odhad stˇredn´ı hodnoty pˇri nezn´ am´ em rozptylu 2 . . . . . . . 8.10.5 Odhad rozptylu . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.10.6 Intervalov´e odhady spojit´ ych rozdˇelen´ı, kter´a nejsou norm´aln´ı . 8.11 Obecn´e odhady parametr˚ u. . . . . . . . . . . . . . . . . . . . . . . . . 8.11.1 Metoda moment˚ u. . . . . . . . . . . . . . . . . . . . . . . . . . 8.11.2 Metoda maxim´ aln´ı vˇerohodnosti . . . . . . . . . . . . . . . . . 8.11.3 Pˇr´ıklady na odhady parametr˚ u . . . . . . . . . . . . . . . . . . 2
. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . .
30 30 30 31 32 33 34 34 35 36 36 37 37 37 38 38 38 38 39 40 40 40 40 41 42
9 Testov´ an´ı hypot´ ez 9.1 Z´ akladn´ı pojmy a principy testov´ an´ı hypot´ez . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.2 Testy stˇredn´ı hodnoty norm´ aln´ıho rozdˇelen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.2.1 Pˇri zn´ am´ em rozptylu σ 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.2.2 Pˇri nezn´ am´ em rozptylu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.3 Testy rozptylu norm´ aln´ıho rozdˇelen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.4 Porovn´ an´ı dvou norm´ aln´ıch rozdˇelen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.4.1 Testy rozptylu dvou norm´ aln´ıch rozdˇelen´ı [Fisher] . . . . . . . . . . . . . . . . . . . . . 9.4.2 Testy stˇredn´ıch hodnot dvou norm´aln´ıch rozdˇelen´ı se stejn´ ym zn´ am´ ym rozptylem σ 2 . 2 9.4.3 Testy stˇredn´ıch hodnot dvou norm´aln´ıch rozdˇelen´ı s r˚ uzn´ ymi zn´ am´ ymi rozptyly σX , σY2 9.4.4 Testy stˇredn´ıch hodnot dvou norm´aln´ıch rozdˇelen´ı se stejn´ ym nezn´ am´ ym rozptylem σ 2 9.5 Testy stˇredn´ıch hodnot dvou norm´ aln´ıch rozdˇelen´ı - p´ arov´ y test . . . . . . . . . . . . . . . . . 9.6 Korelace, jej´ı odhad a testov´ an´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.6.1 Test nekorelovanosti dvou norm´ aln´ıch rozdˇelen´ı . . . . . . . . . . . . . . . . . . . . . . 9.7 χ2 -test dobr´e shody . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.7.1 Modifikace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.7.2 χ2 -test nez´ avislosti dvou rozdˇelen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.7.3 χ2 -test dobr´e shody dvou rozdˇelen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.8 Neparametrick´e testy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.8.1 Znam´enkov´ y test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.8.2 Wilcoxon˚ uv test (jednov´ ybˇerov´ y) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
. . . . . . . . . . . . . . . . . . . .
47 47 50 50 50 50 50 51 52 52 53 53 54 55 55 56 56 57 57 57 58
Oˇ cem to je?
1A. Jak vysok´ a by mˇela b´ yt pojistka auta proti kr´adeˇzi (bez marˇze), je-li jeho cena 1 000 000 Kˇc a riziko ukraden´ı bˇehem pojistn´eho obdob´ı 0.001? 1 000 000 · 0.001 = 1 000 Kˇc 1B. Jak vysok´ a by mˇela b´ yt pojistka auta pro pˇr´ıpad hav´arie, pˇri n´ıˇz m˚ uˇze b´ yt ˇskoda r˚ uznˇe velk´a? ˇ ⇒ TEORIE PRAVDEPODOBNOSTI 2. Jak odhadnout pravdˇepodobnost kr´ adeˇze auta nebo stˇredn´ı ˇskodu pˇri hav´arii a jak pˇresn´ y bude odhad? ⇒ STATISTIKA 3. Jak oznaˇcovat auta a jejich d´ıly, abychom je jednoznaˇcnˇe urˇcili? ´ ´ ´ ⇒ TEORIE INFORMACE A KODOV AN I Urˇcitˇe ne jako v rozvrhu na FEL: Cviˇcen´ı AD0B01PSI bude v uˇcebnˇe KN:E-24.
1.1
Teorie pravdˇ epodobnosti
je n´ astroj pro u ´ˇceln´e rozhodov´ an´ı v syst´emech, kde budouc´ı pravdivost jev˚ u z´avis´ı na okolnostech, kter´e zcela nezn´ ame. Poskytuje model takov´ ych syst´em˚ u a kvantifikaci v´ ysledk˚ u. Pravdˇepodobnostn´ı popis ⇒ chov´ an´ı syst´emu
1.2
Statistika
je n´ astroj pro hled´ an´ı a ovˇeˇrov´ an´ı pravdˇepodobnostn´ıho popisu re´aln´ ych syst´em˚ u na z´akladˇe jejich pozorov´ an´ı. Chov´ an´ı syst´emu ⇒ pravdˇepodobnostn´ı popis Statistika poskytuje daleko v´ıc: n´ astroj pro zkoum´an´ı svˇeta, pro hled´an´ı a ovˇeˇrov´an´ı z´avislost´ı, kter´e nejsou zjevn´e.
2 2.1
Z´ akladn´ı pojmy teorie pravdˇ epodobnosti Laplaceova (klasick´ a) definice pravdˇ epodobnosti
Pˇ redpoklad: N´ ahodn´ y pokus s m ∈ N r˚ uzn´ ymi, po dvou nesluˇciteln´ ymi v´ ysledky, kter´e jsou stejnˇ e moˇ zn´ e. Pravdˇepodobnost jevu, kter´ y nast´ av´ a pr´ avˇe pˇri k z tˇechto v´ ysledk˚ u, je k/m. 1. probl´ em: “stejnˇe moˇzn´e”=“stejnˇe pravdˇepodobn´e,” ale co to znamen´a? (definice kruhem!)
3
Element´ arn´ı jevy jsou vˇsechny “stejnˇe moˇzn´e” v´ ysledky. Mnoˇzina vˇsech element´ arn´ıch jev˚ u: Ω Jev: A ⊆ Ω ´ Umluva. Jevy budeme ztotoˇzn ˇovat s pˇr´ısluˇsn´ ymi mnoˇzinami element´arn´ıch jev˚ u a pouˇz´ıvat pro nˇe mnoˇzinov´e operace (m´ısto v´ yrokov´ ych). 2.1.1
Z´ akladn´ı pojmy
Jev jist´ y: Ω, 1 Jev nemoˇ zn´ y: ∅, 0 Konjunkce jev˚ u (“and”): A ∩ B Disjunkce jev˚ u (“or”): A ∪ B Jev opaˇ cn´ y k A: A = Ω \ A A ⇒ B: A ⊆ B T Jevy nesluˇ citeln´ e: A1 , . . . , An : Ai = ∅ i≤n
Jevy po dvou nesluˇ citeln´ e: A1 , . . . , An : ∀i, j ∈ {1, . . . , n}, i 6= j : Ai ∩ Aj = ∅ Jevov´ e pole: vˇsechny jevy pozorovateln´e v n´ ahodn´em pokusu, zde exp Ω (=mnoˇzina vˇsech podmnoˇzin mnoˇziny Ω) 2.1.2
Pravdˇ epodobnost
jevu A: P (A) =
|A| , |Ω|
kde | . | znaˇc´ı poˇcet prvk˚ u mnoˇziny 2.1.3
N´ ahodn´ a veliˇ cina
je libovoln´ a funkce X : Ω → R Stˇ redn´ı hodnota: EX =
1 X X (ω) , m ω∈Ω
kde m = |Ω|. Pˇ r´ıklad: Element´ arn´ı jevy jsou moˇzn´e v´ ysledky hry, n´ahodn´a veliˇcina je v´ yˇse v´ yhry. Stˇredn´ı hodnota je spravedliv´ a cena za u ´ˇcast ve hˇre.
2.2
Vlastnosti pravdˇ epodobnosti
P (A) ∈ h0, 1i P (0) = 0, P (1) = 1 P (A) = 1 − P (A) A ⊆ B ⇒ P (A) ≤ P (B) A ⊆ B ⇒ P (B \ A) = P (B) − P (A) A ∩ B = ∅ ⇒ P (A ∪ B) = P (A) + P (B) P (A ∪ B) = P (A) + P (B) − P (A ∩ B) 2.2.1
(aditivita)
´ Upln´ y syst´ em jev˚ u S
tvoˇr´ı jevy Bi , i ∈ I, jestliˇze jsou po dvou nesluˇciteln´e a
Bi = 1.
i∈I
Speci´ aln´ı pˇr´ıpad pro 2 jevy: {C, C} Je-li {B1 , . . . , Bn } u ´ pln´ y syst´ em jev˚ u, pak n X
P (Bi ) = 1
i=1
a pro libovoln´ y jev A P (A) =
n X
P (A ∩ Bi ) .
i=1
4
Speci´ alnˇe: P (A) = P (A ∩ C) + P A ∩ C .
2.3
Probl´ emy Laplaceovy definice pravdˇ epodobnosti
2. probl´ em: Nedovoluje nekoneˇcn´e mnoˇziny jev˚ u, geometrickou pravdˇepodobnost... Nelze m´ıt nekoneˇcnˇe mnoho stejnˇe pravdˇepodobn´ ych v´ ysledk˚ u. Pˇ r´ıklad: Pod´ıl plochy pevniny k povrchu Zemˇe je pravdˇepodobnost, ˇze n´ahodnˇe vybran´ y bod na Zemi leˇz´ı na pevninˇe (je-li v´ ybˇer bod˚ u prov´ adˇen “rovnomˇernˇe”). Pˇ r´ıklad (Buffonova u ´ loha): Na linkovan´ y pap´ır hod´ıme jehlu, jej´ıˇz d´elka je rovna vzd´alenosti mezi linkami. Jak´ a je pravdˇepodobnost, ˇze jehla protne nˇejakou linku? 3. probl´ em: Nedovoluje iracion´ aln´ı hodnoty pravdˇepodobnosti. 2.3.1
Rozˇ s´ıˇ ren´ı Laplaceova modelu pravdˇ epodobnosti
Pˇ r´ıklad: M´ısto hrac´ı kostky h´ az´ıme krabiˇckou od z´apalek, jej´ıˇz strany jsou nestejnˇe dlouh´e. Jak´a je pravdˇepodobnost moˇzn´ ych v´ ysledk˚ u? Pˇripust´ıme, ˇze element´ arn´ı jevy nemus´ı b´ yt stejnˇ e pravdˇ epodobn´ e. Ztr´ ac´ıme n´ avod, jak pravdˇepodobnost stanovit. Je to funkce, kter´a jev˚ um pˇriˇrazuje ˇc´ısla z intervalu h0, 1i a splˇ nuje jist´e podm´ınky. Nem´ ame n´ avod, jak z nich vybrat tu pravou. Tato nev´ yhoda je neodstraniteln´ a a je d˚ uvodem pro vznik statistiky, kter´a k dan´emu opakovateln´emu pokusu hled´ a pravdˇepodobnostn´ı model.
2.4
Kombinatorick´ e pojmy a vzorce
ˇ ep´ (Dle [Zv´ ara, Stˇ an].) V urnˇe je n rozliˇsiteln´ ych objekt˚ u, postupnˇe vyt´ahneme k z nich. Permutace (poˇ rad´ı) bez opakov´ an´ı: Vyt´ahneme vˇsech n objekt˚ u bez vracen´ı, z´aleˇz´ı na poˇrad´ı. Poˇcet 1 . permutac´ı je n! = n · (n − 1) · (n − 2) · . . . · 1, kaˇzd´a m´a pravdˇepodobnost n! v´ ybˇer
s vracen´ım variace s opakov´ an´ım nk s pravdˇepodobnostmi
bez vracen´ı variace bez opakov´an´ı uspoˇr´ adan´ y 1 n! epodobnostmi (n−k)! (n−k)! s pravdˇ n! nk kombinace bez opakov´an´ı kombinace s opakov´ a n´ ım neuspoˇr´ adan´ y n n+k−1 n! epodobnostmi k! (n−k)! s r˚ uzn´ ymi pravdˇepodobnostmi k! (n−k)! = k s pravdˇ n! k Z t´eto tabulky pouze kombinace s opakov´ an´ım nejsou vˇ sechny stejnˇ e pravdˇ epodobn´ e (odpov´ıdaj´ı r˚ uzn´emu poˇctu variac´ı s opakov´ an´ım) a nedovoluj´ı proto pouˇzit´ı Laplaceova modelu pravdˇepodobnosti. Permutace (poˇrad´ı) bez opakov´ an´ı jsou speci´ aln´ı pˇr´ıpad variac´ı bez opakov´an´ı pro n = k. Permutace s opakov´ a n´ ım: Tvoˇ r ´ ıme posloupnost d´elky k z n hodnot, pˇriˇcemˇz j-t´a hodnota se opakuje kj -kr´ at, Pn cet r˚ uzn´ ych posloupnost´ı je j=1 kj = k. Poˇ k! . k1 ! · . . . · kn ! Speci´ alnˇe pro n = 2 dost´ av´ ame k! k! = = k1 ! · k2 ! k1 ! · (k − k1 )!
k , k1
coˇz je poˇcet kombinac´ı bez opakov´ an´ı (ovˇsem k1 -prvkov´ ych z k prvk˚ u).
5
n poˇcet 4-prvkov´ ych variac´ı z n prvk˚ u n! bez opakov´ an´ı, (n−4)! poˇcet 4-prvkov´ ych variac´ı z n prvk˚ u s opakov´ an´ım, n4 poˇcet 4-prvkov´ ych kombinac´ı z n prvk˚ u bez opakov´ an´ı, n4 poˇcet 4-prvkov´ ych kombinac´ı z n prvk˚ u s opakov´ an´ım, n+3 4
4
10
100
1 000
10 000
24
5 040
94 109 400
0.994 · 1012
0.9994 · 1016
256
10 000
108
1012
1016
1
210
3 921 225
41 417 124 750
4. 164 · 1014
35
715
4 421 275
41 917 125 250
4. 169 · 1014
Vˇ eta 2.1. Pro dan´e k ∈ N a pro n → ∞ se pomˇer poˇct˚ u variac´ı (resp. kombinac´ı) bez opakov´ an´ı a s opakov´ an´ım bl´ıˇz´ı jedn´e, tj. n n! k = 1, lim lim = 1. n→∞ n+k−1 n→∞ (n − k)! nk k D˚ ukaz. n! n (n − 1) · · · (n − (k − 1)) = = k (n − k)! n nk k−1 1 ··· 1 − → 1, =1 1− n n n n (n − 1) · · · (n − (k − 1)) k = = n+k−1 (n + (k − 1)) · · · (n + 1) n k 1 1 − n1 · · · 1 − k−1 n →1 = 1 + k−1 · · · 1 + n1 1 n (poˇcet ˇcinitel˚ u k je konstantn´ı). D˚ usledek 2.1. Pro n k je poˇcet variac´ı (resp. kombinac´ı) s opakov´ an´ım pˇribliˇznˇe n! n . nk . = = nk , . (n − k)! k k! Jednoduˇsˇs´ı b´ yv´ a neuspoˇ r´ adan´ y v´ ybˇ er bez vracen´ı nebo uspoˇ r´ adan´ y v´ ybˇ er s vracen´ım.
2.5
Kolmogorovova definice pravdˇ epodobnosti
Element´ arn´ıch jev˚ u (=prvk˚ u mnoˇziny Ω) m˚ uˇze b´ yt nekoneˇ cnˇ e mnoho, nemus´ı b´ yt stejnˇ e pravdˇ epodobn´ e. Jevy jsou podmnoˇziny mnoˇziny Ω, ale ne nutnˇ e vˇ sechny; tvoˇr´ı podmnoˇzinu A ⊆ exp Ω, kter´a splˇ nuje n´ asleduj´ıc´ı podm´ınky: (A1) ∅ ∈ A. (A2) A ∈ A ⇒ A ∈ A. (A3) (∀n ∈ N : An ∈ A) ⇒
S
An ∈ A.
n∈N
Syst´em A podmnoˇzin nˇejak´e mnoˇziny Ω, kter´ y splˇ nuje podm´ınky (A1-3), se naz´ yv´a σ-algebra. D˚ usledky: Ω = ∅ ∈ A, (∀n ∈ N : An ∈ A) ⇒
\
An =
n∈N
Pˇrirozen´ y n´ apad A = exp Ω vede k neˇz´ adouc´ım paradox˚ um. 6
[ n∈N
An ∈ A .
(A3) je uzavˇrenost na spoˇ cetn´ a sjednocen´ı. Uzavˇrenost na jak´ akoli sjednocen´ı se ukazuje jako pˇr´ıliˇs siln´ y poˇzadavek. Uzavˇrenost na koneˇ cn´ a sjednocen´ı se ukazuje jako pˇr´ıliˇs slab´ y poˇzadavek; nedovoluje napˇr. vyj´adˇrit kruh jako sjednocen´ı obd´eln´ık˚ u. A nemus´ı ani obsahovat vˇsechny jednobodov´e mnoˇziny, v tom pˇr´ıpadˇe element´ arn´ı jevy nemus´ı b´ yt jevy! 2.5.1
Borelova σ-algebra
je nejmenˇs´ı σ-algebra podmnoˇzin R, kter´ a obsahuje vˇsechny intervaly. Obsahuje vˇsechny intervaly otevˇren´e, uzavˇren´e i polouzavˇren´e, i jejich spoˇcetn´a sjednocen´ı, a nˇekter´e dalˇs´ı mnoˇziny, ale je menˇs´ı neˇz exp R. Jej´ı prvky naz´ yv´ame borelovsk´ e mnoˇ ziny. 2.5.2
Pravdˇ epodobnost (=pravdˇ epodobnostn´ı m´ıra)
je funkce P : A → h0, 1i, splˇ nuj´ıc´ı podm´ınky (P1) P (1) = 1, S P (P2) P An = P (An ), pokud jsou mnoˇziny (=jevy) An , n ∈ N, po dvou nesluˇciteln´e. n∈N
(spoˇ cetn´ a
n∈N
aditivita) Pravdˇ epodobnostn´ı prostor je trojice (Ω, A, P ), kde Ω je nepr´azdn´a mnoˇzina, A je σ-algebra podmnoˇzin mnoˇziny Ω a P : A → h0, 1i je pravdˇepodobnost. Dˇr´ıve uveden´e vlastnosti pravdˇepodobnosti jsou d˚ usledkem (P1), (P2). (Koneˇ cn´ a) aditivita by byla pˇr´ıliˇs slab´ a, nedovoluje napˇr. pˇrechod od obsahu obd´eln´ıka k obsahu kruhu. Pˇ r´ıklad (“nekoneˇ cn´ a ruleta”): V´ ysledkem m˚ uˇze b´ yt libovoln´e pˇrirozen´e ˇc´ıslo, kaˇzd´e m´a pravdˇepodobnost 0. ´ Upln´ a aditivita (pro jak´ekoli soubory po dvou nesluˇciteln´ ych jev˚ u) by byla pˇr´ıliˇs siln´ ym poˇzadavkem. Pak bychom nepˇripouˇstˇeli ani rovnomˇern´e rozdˇelen´ı na intervalu nebo na ploˇse. Pravdˇepodobnost zachov´ av´ a limity monot´ onn´ıch posloupnost´ı jev˚ u (mnoˇzin): Nechˇt (An )n∈N je posloupnost jev˚ u. [ An = lim P (An ) , A1 ⊆ A2 ⊆ . . . ⇒ P n→∞
n∈N
A1 ⊇ A2 ⊇ . . . ⇒ P
\ n∈N
Laplace˚ uv model koneˇ cnˇ e mnoho jev˚ u p-sti jen racion´ aln´ı P (A) = 0 ⇒ A = 0 p-sti urˇ ceny strukturou jev˚ u
3 3.1
An = lim P (An ) . n→∞
Kolmogorov˚ uv model i nekoneˇ cnˇ e mnoho jev˚ u p-sti i iracion´ aln´ı moˇ zn´ e jevy s nulovou p-st´ı p-sti neurˇ ceny strukturou jev˚ u
Nez´ avislost a podm´ınˇ en´ a pravdˇ epodobnost Nez´ avisl´ e jevy
Motivace: Dva jevy spolu “nesouvis´ı” Definice: P (A ∩ B) = P (A) · P (B). To je ovˇsem jen n´ ahraˇzka, kter´ a ˇr´ık´ a mnohem m´enˇe, neˇz jsme chtˇeli! (Podobnˇe jako P (A ∩ B) = 0 neznamen´ a, ˇze jevy A, B jsou nesluˇciteln´e.) Pro nez´ avisl´e jevy A, B P (A ∪ B) = P (A) + P (B) − P (A) · P (B) . D˚ ukaz: P (A ∪ B) = P (A) + P (B) − P (A) ∩ P (B) = P (A) + P (B) − P (A) · P (B) .
7
Jsou-li jevy A, B nez´ avisl´e, pak jsou nez´ avisl´e tak´e jevy A, B (a t´eˇz dvojice jev˚ u A, B a A, B). D˚ ukaz: P (A ∩ B) = P (A) − P (A ∩ B) = P (A) − P (A) · P (B) = = P (A) · (1 − P (B)) = P (A) · P (B) . Jevy A1 , . . . , An se naz´ yvaj´ı po dvou nez´ avisl´ e, jestliˇze kaˇzd´e dva z nich jsou nez´avisl´e. To je m´ alo: Mnoˇzina jev˚ u M se naz´ yv´ a nez´ avisl´ a, jestliˇze \ Y P A = P (A) A∈K
A∈K
pro vˇsechny koneˇ cn´ e podmnoˇziny K ⊆ M.
3.2
Podm´ınˇ en´ a pravdˇ epodobnost
Pˇ r´ıklad: Pravdˇepodobnosti v´ ysledk˚ u tenisov´eho z´apasu se podstatnˇe zmˇen´ı po odehr´an´ı prvn´ıho setu. M´ ame pravdˇepodobnostn´ı popis syst´emu. Dostaneme-li dodateˇcnou informaci, ˇze nastal jev B, m˚ uˇzeme aktualizovat naˇsi znalost o pravdˇepodobnosti libovoln´eho jevu A. Ten lze vyj´adˇrit jako disjunktn´ı sjednocen´ı (A ∩ B) ∪ (A ∩ B), takˇze P (A) = P (A ∩ B) + P (A ∩ B) . Je-li P (B) 6= 0 6= P (B), m˚ uˇzeme rozn´ asobit: P (A) = P (B)
P (A ∩ B) P (A ∩ B) . +P (B) P (B) P (B) | {z } | {z } P (A|B)
P (A|B)
Funkce P (.|B), P (.|B) : A → h0, 1i, P (A|B) =
P (A ∩ B) , P (B)
P (A|B) =
P (A ∩ B) , P (B)
jsou pravdˇepodobnosti na A, neboˇt splˇ nuj´ı (P1) P (1|B) =
P (1 ∩ B) P (B) = =1 P (B) P (B)
a pro An , n ∈ N, po dvou nesluˇciteln´e S S P An ∩ B P (An ∩ B) P (An ∩ B) P S n∈N n∈N n∈N (P2) P An B = = = = P (B) P (B) P (B) n∈N =
P
P (An |B) .
n∈N
(Obdobnˇe pro P (.|B).) Naz´ yvaj´ı se podm´ınˇ en´ e pravdˇ epodobnosti. Je-li P (A|B) definov´ ana, jsou jevy A, B nez´ avisl´ e, pr´avˇe kdyˇz P (A|B) = P (A). Podm´ınˇen´e pravdˇepodobnosti nav´ıc splˇ nuj´ı B ⊆ A ⇒ P (A|B) = 1 , P (A ∩ B) = 0 ⇒ P (A|B) = 0, speci´ alnˇe P (B|B) = 1 , P (B|B) = 0. (Obdobnˇe pro P (.|B).) P˚ uvodn´ı pravdˇepodobnost P jsme vyj´ adˇrili jako konvexn´ı kombinaci pravdˇepodobnost´ı P (.|B), P (.|B), odpov´ıdaj´ıc´ıch situac´ım, kdy jev B nastal, resp. nenastal : P (.) = P (B) P (.|B) + P (B) P (.|B) . Tato podm´ınka spolu s P (B|B) = 1 = P (B|B) urˇcuje pravdˇepodobnosti P (.|B), P (.|B) jednoznaˇcnˇe. Obecnˇeji:
8
Vˇ eta o u ´ pln´ e pravdˇ epodobnosti: Nechˇt Bi , i ∈ I, je (spoˇcetn´ y) u ´pln´ y syst´em jev˚ u a ∀i ∈ I : P (Bi ) 6= 0. Pak pro kaˇzd´ y jev A plat´ı X P (A) = P (Bi ) P (A|Bi ) . i∈I
D˚ ukaz: P (A) = P
[
[ Bj ∩ A = P (Bj ∩ A) =
j∈I
=
X
j∈I
P (Bi ∩ A) =
i∈I
X
P (Bi ) P (A|Bi ) .
i∈I
Pˇ r´ıklad: Test nemoci je u 1 % zdrav´ ych faleˇsnˇe pozitivn´ı a u 10 % nemocn´ ych faleˇsnˇe negativn´ı. Nemocn´ ych je v populaci 0.001. Jak´ a je pravdˇepodobnost, ˇze pacient s pozitivn´ım testem je nemocn´ y? Bayesova vˇ eta: Nechˇt Bi , i ∈ I, je (spoˇcetn´ y) u ´pln´ y syst´em jev˚ ua ∀i ∈ I : P (Bi ) 6= 0. Pak pro kaˇzd´ y jev A splˇ nuj´ıc´ı P (A) 6= 0 plat´ı P (Bi ) P (A|Bi ) . P (Bi |A) = P P (Bj ) P (A|Bj ) j∈I
D˚ ukaz (s vyuˇzit´ım vˇety o u ´pln´e pravdˇepodobnosti): P (Bi |A) =
P (Bi ∩ A) P (Bi ) P (A|Bi ) . = P P (Bj ) P (A|Bj ) P (A) j∈I
V´ yznam: Pravdˇepodobnosti P (A|Bi ) odhadneme z pokus˚ u nebo z modelu, pomoc´ı nich urˇc´ıme pravdˇepodobnosti P (Bi |A), kter´e slouˇz´ı k “optim´ aln´ımu” odhadu, kter´ y z jev˚ u Bi nastal. Probl´ em: Ke stanoven´ı aposteriorn´ı pravdˇ epodobnosti P (Bi |A) potˇrebujeme zn´at i apriorn´ı pravdˇ epodobnost P (Bi ). Pˇ r´ıklad: Na vstupu informaˇcn´ıho kan´ alu mohou b´ yt znaky 1, . . . , m, v´ yskyt znaku j oznaˇcujeme jako jev Bj . Na v´ ystupu mohou b´ yt znaky 1, . . . , k, v´ yskyt znaku i oznaˇcujeme jako jev Ai . (Obykle k = m, ale nen´ı to nutn´e.) Obvykle lze odhadnout podm´ınˇen´e pravdˇepodˇepodobnosti P (Ai |Bj ), ˇze znak j bude pˇrijat jako i. Pokud zn´ ame apriorn´ı pravdˇepodobnosti (vysl´an´ı znaku j) P (Bj ), m˚ uˇzeme pravdˇepodobnosti pˇr´ıjmu znak˚ u vypoˇc´ıtat maticov´ ym n´ asoben´ım: P (A1 ) P (A2 ) · · · P (Ak ) = P (A1 |B1 ) P (A2 |B1 ) · · · P (Ak |B1 ) P (A1 |B2 ) P (A2 |B2 ) · · · P (Ak |B2 ) = P (B1 ) P (B2 ) · · · P (Bm ) · . .. .. . .. .. . . . P (A1 |Bm ) P (A2 |Bm ) · · ·
P (Ak |Bm )
Vˇsechny matice v tomto vzorci maj´ı jednotkov´e souˇcty ˇr´adk˚ u (takov´e matice naz´ yv´ame stochastick´ e). Podm´ınˇen´e rozdˇelen´ı pravdˇepodobnosti, pokud byl pˇrijat znak i, je P (Bj |Ai ) =
P (Ai |Bj ) P (Bj ) . P (Ai )
Rozdˇelen´ı pravdˇepodobnost´ı vyslan´ ych znak˚ u je P (B1 ) P (B2 ) · · · P (Bm ) =
= P (A1 ) P (A2 ) · · ·
P (A1 |B1 ) P (A2 |B1 ) · · · P (A1 |B2 ) P (A2 |B2 ) · · · P (Ak ) · .. .. .. . . . P (A1 |Bm ) P (A2 |Bm ) · · ·
pokud k = m a pˇr´ısluˇsn´ a inverzn´ı matice existuje.
9
−1 P (Ak |B1 ) P (Ak |B2 ) , .. . P (Ak |Bm )
3.2.1
Podm´ınˇ en´ a nez´ avislost
N´ ahodn´e jevy A, B jsou podm´ınˇ enˇ e nez´ avisl´ e za podm´ınky C, jestliˇze P (A ∩ B|C) = P (A|C) P (B|C) . Podobnˇe definujeme podm´ınˇenou nez´ avislost v´ıce jev˚ u.
4
Popis n´ ahodn´ ych veliˇ cin a vektor˚ u
Pˇ r´ıklad: Auto v cenˇe 10 000 $ bude do roka ukradeno s pravdˇepodobnost´ı 1 : 1 000. Adekv´atn´ı cena roˇcn´ıho pojistn´eho (bez zisku pojiˇsˇtovny) je 10 000/1 000 = 10 $. Nˇekdy tento jednoduch´ y postup selh´ av´ a: Pˇ r´ıklad: Pro stanoven´ı havarijn´ıho pojiˇstˇen´ı potˇrebujeme zn´at nejen pravdˇepodobnost hav´arie (resp. poˇctu hav´ ari´ı za pojistn´e obdob´ı), ale i “pr˚ umˇernou” ˇskodu pˇri jedn´e hav´arii, l´epe pravdˇepodobnostn´ı rozdˇelen´ı v´ yˇse ˇskody. ⇒ Mus´ıme studovat i n´ ahodn´e pokusy, jejichˇz v´ ysledky nejsou jen dva (jev nastal/nenastal), ale v´ıce hodnot, vyj´ adˇren´ ych re´ aln´ ymi ˇc´ısly.
4.1
N´ ahodn´ a veliˇ cina
na pravdˇepodobnostn´ım prostoru (Ω, A, P ) je mˇ eˇ riteln´ a funkce X : Ω → R, tj. takov´a, ˇze pro kaˇzd´ y interval I plat´ı X −1 (I) = {ω ∈ Ω | X(ω) ∈ I} ∈ A Je popsan´ a pravdˇepodobnostmi PX (I) = P [X ∈ I] = P ({ω ∈ Ω | X (ω) ∈ I}) , definovan´ ymi pro libovoln´ y interval I (a tedy i pro libovoln´e sjednocen´ı spoˇcetnˇe mnoha interval˚ u a pro libovolnou borelovskou mnoˇzinu). PX je pravdˇ epodobnostn´ı m´ıra na Borelovˇe σ-algebˇre urˇcuj´ıc´ı rozdˇ elen´ı n´ ahodn´ e veliˇ ciny X. K tomu, aby staˇcila znalost PX na intervalech, se potˇrebujeme omezit na tzv. perfektn´ı m´ıry; s jin´ ymi se v praxi nesetk´ ame. Pravdˇepodobnostn´ı m´ıra PX splˇ nuje podm´ınky: PX (R) = 1, [ X PX In = PX (In ), pokud jsou mnoˇziny In , n ∈ N, po dvou disjunktn´ı. n∈N
n∈N
Z toho vypl´ yv´ a: PX (∅) = 0, PX (R \ I) = 1 − PX (I), jestliˇze I ⊆ J, pak PX (I) ≤ PX (J) a PX (J \ I) = PX (J)−PX (I). ´ Uspornˇ ejˇ s´ı reprezentace: omez´ıme se na intervaly tvaru I = (−∞, ti, t ∈ R, P [X ∈ (−∞, ti] = P [X ≤ t] = PX ((−∞, ti) = FX (t) . FX : R → h0, 1i je distribuˇ cn´ı funkce n´ ahodn´e veliˇciny X. Ta staˇc´ı, neboˇt (a, bi = (−∞, bi \ (−∞, ai , (a, ∞) = R \S (−∞, ai , (−∞, a) = (−∞, bi ,
PX ((a, bi) = P [a < X ≤ b] = FX (b) − FX (a) , PX ((a, ∞)) = 1 − FX (a) , PX ((−∞, a)) = P [X < a] = lim FX (b) = lim FX (b) , b→a−
b: b
b→a−
{a} = (−∞, ai \ (−∞, a) ,
PX ({a}) = P [X = a] = FX (a) − lim FX (b) ,
...
...
b→a−
Vlastnosti distribuˇcn´ı funkce: • neklesaj´ıc´ı, • zprava spojit´ a, 10
•
lim FX (t) = 0,
t→−∞
lim FX (t) = 1.
t→∞
Vˇ eta: Tyto podm´ınky jsou nejen nutn´ e, ale i postaˇ cuj´ıc´ı.
Pˇ r´ıklad: Re´ aln´emu ˇc´ıslu r odpov´ıd´ a n´ ahodn´ a veliˇcina (znaˇcen´a t´eˇz r) s Diracov´ ym rozdˇelen´ım v r: 0 pro r ∈ / I, 0 pro t < r , Pr (I) = Fr (t) = 1 pro r ∈ I , 1 pro t ≥ r . (Fr je posunut´ a Heavisideova funkce.) Tvrzen´ı: X ≤ Y ⇒ FX ≥ FY .
4.2
n-rozmˇ ern´ y n´ ahodn´ y vektor (n-rozmˇ ern´ a n´ ahodn´ a veliˇ cina)
na pravdˇepodobnostn´ım prostoru (Ω, A, P ) je mˇ eˇ riteln´ a funkce X : Ω → Rn , tj. takov´a, ˇze pro kaˇzd´ y nrozmˇern´ y interval I plat´ı X −1 (I) = {ω ∈ Ω | X(ω) ∈ I} ∈ A . Lze ps´ at X (ω) = (X1 (ω) , . . . , Xn (ω)) , kde zobrazen´ı Xk : Ω → R, k = 1, . . . , n, jsou n´ahodn´e veliˇciny. N´ ahodn´ y vektor lze povaˇzovat za vektor n´ ahodn´ ych veliˇcin X = (X1 , . . . , Xn ). Je popsan´ y pravdˇepodobnostmi PX (I1 × . . . × In ) = P [X1 ∈ I1 , . . . , Xn ∈ In ] = = P ({ω ∈ Ω | X1 (ω) ∈ I1 , . . . , Xn (ω) ∈ In }) , kde I1 , . . . , In jsou intervaly v R. Z tˇech vypl´ yvaj´ı pravdˇepodobnosti PX (I) = P [X ∈ I] = P ({ω ∈ Ω | X (ω) ∈ I}) , definovan´e pro libovolnou borelovskou mnoˇzinu I v Rn (speci´alnˇe pro libovoln´e sjednocen´ı spoˇcetnˇe mnoha n-rozmˇern´ ych interval˚ u) a urˇcuj´ıc´ı rozdˇ elen´ı n´ ahodn´ eho vektoru X. ´ Uspornˇ ejˇ s´ı reprezentace: Staˇc´ı intervaly tvaru Ik = (−∞, tk i, tk ∈ R, P [X1 ∈ (−∞, t1 i, . . . , Xn ∈ (−∞, tn i] = P [X1 ≤ t1 , . . . , Xn ≤ tn ] = = PX ((−∞, t1 i × . . . × (−∞, tn i) = = FX (t1 , . . . , tn ) . FX : Rn → h0, 1i je distribuˇ cn´ı funkce n´ ahodn´eho vektoru X. Je • neklesaj´ıc´ı (ve vˇsech promˇenn´ ych), • zprava spojit´ a (ve vˇsech promˇenn´ ych), •
lim
t1 →∞,...,tn →∞
FX (t1 , . . . , tn ) = 1,
• ∀k ∈ {1, . . . , n} ∀t1 , . . . , tk−1 , tk+1 , . . . , tn :
lim FX (t1 , . . . , tn ) = 0.
tk →−∞
Vˇ eta: Tyto podm´ınky jsou nutn´ e, nikoli postaˇ cuj´ıc´ı. Nestaˇc´ı zn´ at margin´ aln´ı rozdˇelen´ı n´ ahodn´ ych veliˇcin X1 , . . . , Xn , neboˇt ta neobsahuj´ı informace o z´avislosti. 11
4.3
Nez´ avislost n´ ahodn´ ych veliˇ cin
N´ ahodn´e veliˇciny X1 , X2 jsou nez´ avisl´ e, pokud pro vˇsechny intervaly I1 , I2 jsou jevy X1 ∈ I1 , X2 ∈ I2 nez´ avisl´e, tj. P [X1 ∈ I1 , X2 ∈ I2 ] = P [X1 ∈ I1 ] · P [X2 ∈ I2 ] . Staˇc´ı se omezit na intervaly tvaru (−∞, ti, tj. P [X1 ≤ t1 , X2 ≤ t2 ] = P [X1 ≤ t1 ] · P [X2 ≤ t2 ] , neboli FX1 ,X2 (t1 , t2 ) = FX1 (t1 ) · FX2 (t2 ) pro vˇsechna t1 , t2 ∈ R. N´ ahodn´e veliˇciny X1 , . . . , Xn jsou nez´ avisl´ e, pokud pro libovoln´e intevaly I1 , . . . , In plat´ı P [X1 ∈ I1 , . . . , Xn ∈ In ] = P [X1 ∈ I1 ] · . . . · P [Xn ∈ In ] =
n Y
P [Xi ∈ Ii ] .
i=1
Na rozd´ıl od definice nez´ avislosti v´ıce neˇz 2 jev˚ u, zde nen´ı tˇreba poˇzadovat nez´ avislost pro libovolnou podmnoˇzinu n´ ahodn´ych veliˇcin X1 , . . . , Xn . Ta vypl´yv´ a z toho, ˇze libovolnou n´ ahodnou veliˇcinu Xi lze “vynechat” tak, ˇze zvol´ıme pˇr´ısluˇsn´y interval Ii = R. Pak P [Xi ∈ Ii ] = 1 a v souˇcinu se tento ˇcinitel neprojev´ı. Ekvivalentnˇe staˇc´ı poˇzadovat n Y P [X1 ≤ t1 , . . . , Xn ≤ tn ] = P [Xi ≤ ti ] i=1
pro vˇsechna t1 , . . . , tn ∈ R, coˇz pro sdruˇzenou distribuˇcn´ı funkci nez´ avisl´ ych n´ahodn´ ych veliˇcin znamen´ a FX (t1 , . . . , tn ) =
n Y
FXk (tk ) .
k=1
N´ ahodn´e veliˇciny X1 , . . . , Xn jsou po dvou nez´ avisl´ e, pokud kaˇzd´e dvˇe (r˚ uzn´e) z nich jsou nez´avisl´e. To je slabˇs´ı podm´ınka neˇz nez´ avislost veliˇcin X1 , . . . , Xn .
4.4
Obecnˇ ejˇ s´ı n´ ahodn´ e veliˇ ciny
Komplexn´ı n´ ahodn´ a veliˇ cina je n´ ahodn´ y vektor se dvˇema sloˇzkami interpretovan´ ymi jako re´aln´a a imagin´ arn´ı ˇc´ ast. Nˇekdy pˇripouˇst´ıme i “n´ ahodn´e veliˇciny”, jejichˇz hodnoty jsou jin´e neˇz numerick´e. Mohou to b´ yt napˇr. n´ahodn´e mnoˇziny. Jindy nab´ yvaj´ı koneˇcnˇe mnoha hodnot, kter´ ym ponech´ame jejich pˇrirozen´e oznaˇcen´ı, napˇr. “rub”, “l´ıc”, “k´ amen”, “n˚ uˇzky”, “pap´ır” apod. Na tˇechto hodnot´ ach nemus´ı b´ yt definovan´ a ˇz´adn´a aritmetika ani uspoˇr´ad´an´ı. Mohli bychom vˇsechny hodnoty oˇc´ıslovat, ale nen´ı ˇz´adn´ y d˚ uvod, proˇc bychom to mˇeli udˇelat pr´avˇe urˇcit´ ym zp˚ usobem (kter´ y by ovlivnil n´ asledn´e numerick´e v´ ypoˇcty). ˇ ıslov´ (Pˇr´ıklad: C´ an´ı politick´ ych stran ve volb´ ach.)
4.5
Smˇ es n´ ahodn´ ych veliˇ cin
Pˇ r´ıklad: N´ ahodn´e veliˇciny U, V jsou v´ ysledky studenta pˇri odpovˇed´ıch na dvˇe zkouˇskov´e ot´azky. Uˇcitel n´ahodnˇe vybere s pravdˇepodobnost´ı c prvn´ı ot´ azku, s pravdˇepodobnost´ı 1−c druhou; podle odpovˇedi na vybranou ot´ azku udˇel´ı zn´ amku. Jak´e rozdˇelen´ı m´ a v´ ysledn´ a zn´amka X? Matematick´ y model vyˇzaduje vytvoˇren´ı odpov´ıdaj´ıc´ıho pravdˇepodobnostn´ıho prostoru pro tento pokus. Nechˇt U , resp. V je n´ ahodn´ a veliˇcina na pravdˇepodobnostn´ım prostoru (Ω1 , A1 , P1 ), resp. (Ω2 , A2 , P2 ), pˇriˇcemˇz Ω1 ∩ Ω2 = ∅. Nechˇt c ∈ h0, 1i. Definujeme nov´ y pravdˇepodobnostn´ı prostor (Ω, A, P ), kde Ω = Ω1 ∪ Ω2 , A = {A1 ∪ A2 | A1 ∈ A1 , A2 ∈ A2 }, P (A1 ∪ A2 ) = c P1 (A1 ) + (1 − c) P2 (A2 ) pro A1 ∈ A1 , A2 ∈ A2 .
12
Definujeme funkci X : Ω → R:
X (ω) =
U (ω) V (ω)
pro ω ∈ Ω1 , pro ω ∈ Ω2 .
X je n´ ahodn´ a veliˇcina na (Ω, A, P ). X naz´ yv´ ame smˇ es n´ ahodn´ ych veliˇ cin U, V s koeficientem c (angl. mixture), znaˇc´ıme Mixc (U, V ). M´ a pravdˇepodobnostn´ı m´ıru PX = c PU + (1 − c) PV a distribuˇcn´ı funkci FX = c FU + (1 − c) FV . Podobnˇe definujeme obecnˇeji smˇ es n´ ahodn´ ych veliˇ cin U1 , . . . , Un s koeficienty c1 , . . . , cn ∈ h0, 1i,
n P
ci = 1,
i=1
znaˇc´ıme Mix(c1 ,..., cn ) (U1 , . . . , Un ) = Mixc (U1 , . . . , Un ), kde c = (c1 , . . . , cn ). M´a pravdˇepodobnostn´ı m´ıru n n P P ci PUi a distribuˇcn´ı funkci ci FUi . (Lze zobecnit i na spoˇcetnˇe mnoho n´ahodn´ ych veliˇcin.) i=1
i=1
Pod´ıl jednotliv´ ych sloˇzek je urˇcen vektorem koeficient˚ u c = (c1 , . . . , cn ). Jejich poˇcet je stejn´ y jako poˇcet n−1 P n´ ahodn´ ych veliˇcin ve smˇesi. Jelikoˇz cn = 1 − ci , posledn´ı koeficient nˇekdy vynech´av´ame. i=1
Speci´ alnˇe pro dvˇe n´ ahodn´e veliˇciny Mix(c,1−c) (U, V ) = Mixc (U, V ) (kde c je ˇc´ıslo, nikoli vektor). Pˇ r´ıklad: Smˇes´ı re´ aln´ ych ˇc´ısel r1 , . . . , rn s koeficienty c1 , . . . , cn je n´ahodn´a veliˇcina X = Mix(c1 ,..., cn ) (r1 , . . . , rn ), X
PX (I) = P [X ∈ I] =
ci ,
FX (t) =
i:ri ∈I
Lze ji popsat t´eˇz pravdˇ epodobnostn´ı funkc´ı pX : R → h0, 1i, ci pX (t) = PX ({t}) = P [X = t] = 0
X
ci .
i:ri ≤t
pro t = ri , jinak
(pokud jsou r1 , . . . , rn navz´ ajem r˚ uzn´ a). Moˇzno zobecnit i na spoˇcetnˇe mnoho re´aln´ ych ˇc´ısel.
4.6 4.6.1
Druhy n´ ahodn´ ych veliˇ cin Diskr´ etn´ı n´ ahodn´ e veliˇ ciny
(z pˇredchoz´ıho pˇr´ıkladu) Existuje spoˇcetn´ a mnoˇzina OX , pro kterou PX (R \ OX ) = P [X ∈ / OX ] = 0. Nejmenˇs´ı takov´a mnoˇzina (pokud existuje) je ΩX = {t ∈ R : PX ({t}) 6= 0} = {t ∈ R : P [X = t] 6= 0}.
Diskr´etn´ı n´ ahodnou veliˇcinu popisuje pravdˇ epodobnostn´ı funkce pX (t) = PX ({t}) = P [X = t]. Splˇ nuje X pX (t) = 1 . t∈R
13
4.6.2
Spojit´ e n´ ahodn´ e veliˇ ciny
Maj´ı spojitou distribuˇcn´ı funkci.
N´ ahodn´ a veliˇcina X je absolutnˇ e spojit´ a, jestliˇze existuje nez´aporn´a funkce fX : R → h0, ∞) (hustota n´ ahodn´e veliˇciny X) takov´ a, ˇze Z t FX (t) = fX (u) du . −∞
Hustota splˇ nuje
R∞
fX (u) du = 1.
−∞
nuj´ı RNen´ı urˇcena jednoznaˇcnˇe, ale dvˇe hustoty fX , gX t´eˇze n´ahodn´e veliˇciny splˇ (f (x) − g (x)) dx = 0 pro vˇ s echny intervaly I. X X I X (t) , pokud derivace existuje. Lze volit fX (t) = dFdt PX ({t}) = 0 pro vˇsechna t. Nˇekter´e spojit´ e n´ ahodn´e veliˇciny nejsou absolutnˇ e spojit´ e; maj´ı spojitou distribuˇcn´ı funkci, kterou nelze vyj´ adˇrit jako integr´ al. Tyto pˇr´ıpady d´ ale neuvaˇzujeme. 4.6.3
Sm´ıˇ sen´ e n´ ahodn´ e veliˇ ciny
Smˇes pˇredchoz´ıch dvou pˇr´ıpad˚ u; ΩX 6= ∅, PX (R \ ΩX ) = P [X ∈ / ΩX ] 6= 0.
Nelze je popsat ani pravdˇepodobnostn´ı funkc´ı (existuje, ale neurˇcuje cel´e rozdˇelen´ı) ani hustotou (neexistuje, nevych´ az´ı koneˇcn´ a).
14
Kaˇzdou n´ ahodnou veliˇcinu se sm´ıˇsen´ ym rozdˇelen´ım lze jednoznaˇ cnˇ e vyj´adˇrit ve tvaru X = Mixc (U, V ), kde U je diskr´etn´ı, V je spojit´ a a c ∈ (0, 1): c = PX (ΩX ) = PX ({t ∈ R : PX ({t}) 6= 0}) , c PU ({t}) + (1 − c) PV ({t}) = c PU ({t}) = PX ({t}) , | {z } 0
pU (t) = PU ({t}) =
PX ({t}) , c
ΩU = ΩX , c PU (I) + (1 − c) PV (I) = PX (I) , PX (I) − c PU (I) , 1−c FX (t) − c FU (t) FV (t) = . 1−c
PV (I) =
Alternativa bez pouˇzit´ı pravdˇepodobnostn´ı m´ıry: pX (t) = P [X = t] = lim FX (t) − lim FX (t) , u→t+ u→t− X pX (t) , c= t∈R
c pU (t) = pX (t) , pX (t) , c c FU (t) + (1 − c) FV (t) = FX (t) , pU (t) =
FV (t) =
FX (t) − c FU (t) . 1−c
(Lze jeˇstˇe pokraˇcovat rozkladem diskr´etn´ı ˇc´ asti na smˇes Diracov´ ych rozdˇelen´ı.)
4.7
Kvantilov´ a funkce n´ ahodn´ e veliˇ ciny
Pˇ r´ıklad 4.1. Pokud absolvent ˇskoly ˇr´ık´ a, ˇze patˇr´ı mezi 5 % nejlepˇs´ıch, pak tvrd´ı, ˇze distribuˇcn´ı funkce prospˇechu (n´ ahodnˇe vybran´eho absolventa) m´ a u jeho prospˇechu hodnotu nejv´yˇse 0.05. (Pˇredpokl´ ad´ ame, ˇze lepˇs´ımu prospˇechu odpov´ıd´ a niˇzˇs´ı pr˚ umˇer zn´ amek.) Neostr´ a nerovnost v definici znamen´ a, ˇze hodnota distribuˇcn´ı funkce ud´ av´ a pod´ıl tˇech absolvent˚ u, kteˇr´ı mˇeli lepˇs´ı nebo stejn´y prospˇech. Obr´ acenˇe se lze pt´ at, jak´y prospˇech je potˇreba k tomu, aby se absolvent dostal mezi 5 % nejlepˇs´ıch. Pro α ∈ (0, 1) hled´ ame t ∈ R takov´e, ˇze FX (t) = α. M´ame vˇsak zaruˇceno pouze, ˇze ∃t ∈ R : P [X < t] ≤ α ≤ P [X ≤ t] = FX (t) . Vˇsechna takov´ a t tvoˇr´ı omezen´ y interval a vezmeme z nˇej (obvykle) stˇred, pˇresnˇeji tedy qX (α) =
1 (sup {t ∈ R | P [X < t] ≤ α} + inf {t ∈ R | P [X ≤ t] ≥ α}) . 2
15
ˇ ıslo qX (α) se naz´ C´ yv´ a α-kvantil n´ ahodn´e veliˇciny X a funkce qX : (0, 1) → R je kvantilov´ a funkce n´ahodn´e an, dalˇs´ı kvantily maj´ı tak´e sv´a jm´ena – tercil, kvartil (doln´ı qX ( 14 ), veliˇciny X. Speci´ alnˇe qX ( 12 ) je medi´ horn´ı qX ( 43 )) ... decil ... centil neboli percentil .... Vlastnosti kvantilov´e funkce: • neklesaj´ıc´ı, • qX (α) = 21 lim qX (β) + lim qX (β) . β→α−
β→α+
Vˇ eta: Tyto podm´ınky jsou nutn´ e i postaˇ cuj´ıc´ı. Obr´ acen´ y pˇrevod: FX (t) = inf{α ∈ (0, 1) | qX (α) > t} = sup{α ∈ (0, 1) | qX (α) ≤ t} . Funkce FX , qX jsou navz´ ajem inverzn´ı tam, kde jsou spojit´e a rostouc´ı (tyto podm´ınky staˇc´ı ovˇeˇrit pro jednu z nich).
4.8
Jak reprezentovat n´ ahodnou veliˇ cinu v poˇ c´ıtaˇ ci
1. Diskr´ etn´ı: Nab´ yv´ a-li pouze koneˇcn´eho poˇctu hodnot tk , k = 1, . . . , n, staˇc´ı k reprezentaci tyto hodnoty a jejich pravdˇepodobnosti pX (tk ) = PX ({tk }) = P [X = tk ], ˇc´ımˇz je plnˇe pops´ana pravdˇepodobnostn´ı funkce 2n ˇc´ısly (aˇz na nepˇresnost zobrazen´ı re´aln´ ych ˇc´ısel v poˇc´ıtaˇci). Pokud diskr´etn´ı n´ ahodn´ a veliˇcina nab´ yv´a (spoˇcetnˇe) nekoneˇcnˇe mnoha hodnot, mus´ıme nˇekter´e vynechat, zejm´ena ty, kter´e jsou m´ alo pravdˇepodobn´e. Pro kaˇzd´e ε > 0 lze vybrat koneˇcnˇe mnoho hodnot tk , k = 1, . . . , n, tak, ˇze PX (R{t1 , . . . , tn }) = P [X ∈ / {t1 , . . . , tn }] ≤ ε. Zb´ yv´a vˇsak probl´em, jakou hodnotu pˇriˇradit zb´ yvaj´ıc´ım (byˇt m´ alo pravdˇepodobn´ ym) pˇr´ıpad˚ um. 2. (Absolutnˇ e) spojit´ a: Hustotu m˚ uˇzeme pˇribliˇznˇe popsat hodnotami f (tk ) v “dostateˇcnˇe mnoha” bodech tk , k = 1, . . . , n, ale jen za pˇredpokladu, ˇze je “dostateˇcnˇe hladk´a”. Zaj´ımaj´ı n´as z n´ı sp´ıˇse integr´aly typu Z tk+1 FX (tk+1 ) − FX (tk ) = fX (u) du , tk
z nichˇz lze pˇribliˇznˇe zkonstruovat distribuˇcn´ı funkci. M˚ uˇzeme pro reprezentaci pouˇz´ıt pˇr´ımo hodnoty distribuˇcn´ı funkce FX (tk ). Tam, kde je hustota velk´a, potˇrebujeme volit body hustˇe. M˚ uˇzeme volit body tk , k = 1, . . . , n, tak, aby pˇr´ır˚ ustky FX (tk+1 )−FX (tk ) mˇely zvolenou velikost. Zvol´ıme tedy αk ∈ (0, 1), k = 1, . . . , n, a k nim najdeme ˇc´ısla tk = qX (αk ). Pamˇeˇtov´ a n´ aroˇcnost je velk´ a, z´ avis´ı na jemnosti ˇsk´aly hodnot n´ahodn´e veliˇciny, resp. jej´ı distribuˇcn´ı funkce. ˇ Casto je rozdˇelen´ı zn´ am´eho typu a staˇc´ı doplnit nˇekolik parametr˚ u, aby bylo plnˇe urˇceno. Mnoh´e obecnˇejˇs´ı pˇr´ıpady se snaˇz´ıme vyj´ adˇrit alespoˇ n jako smˇesi n´ahodn´ ych veliˇcin s rozdˇelen´ımi zn´am´eho typu, abychom vystaˇcili s koneˇcnˇe mnoha parametry. 3. Sm´ıˇ sen´ a: Jako u spojit´e n´ ahodn´e veliˇciny. Tento popis je vˇsak pro diskr´etn´ı ˇc´ast zbyteˇcnˇe nepˇresn´ y. M˚ uˇzeme pouˇz´ıt rozklad na diskr´etn´ı a spojitou ˇc´ast.
4.9
Operace s n´ ahodn´ ymi veliˇ cinami
Zde I, J ⊆ R jsou intervaly nebo spoˇcetn´ a sjednocen´ı interval˚ u. Pˇ riˇ cten´ı konstanty r odpov´ıd´ a posunut´ı ve smˇeru vodorovn´e osy: PX+r (I + r) = PX (I) ,
PX+r (J) = PX (J − r) ,
FX+r (t + r) = FX (t) ,
FX+r (u) = FX (u − r) ,
qX+r (α) = qX (α) + r .
16
Vyn´ asoben´ı nenulovou konstantou r odpov´ıd´a podobnost ve smˇeru vodorovn´e osy: PrX (rI) = PX (I), PrX (J) = PX Jr . Pro distribuˇcn´ı funkci mus´ıme rozliˇsit pˇr´ıpady: • r > 0:
FrX (rt) = FX (t),
FrX (u) = FX
u r
,
17
qrX (α) = r qX (α),
• r = −1: F−X (−t) = P−X ((−∞, −ti) = PX (ht, ∞)) = 1 − PX ((−∞, t)), v bodech spojitosti distribuˇcn´ı funkce F−X (−t) = 1 − PX ((−∞, t)) = 1 − P [X < t] = 1 − P [X ≤ t] = 1 − PX ((−∞, ti) = 1 − FX (t), F−X (u) = 1−FX (−u), v bodech nespojitosti limita zprava (stˇredov´a symetrie grafu podle bodu 0, 21 s opravou na spojitost zprava), q−X (α) = −qX (1 − α), 18
• r < 0:
kombinace pˇredchoz´ıch pˇr´ıpad˚ u.
Zobrazen´ı spojitou rostouc´ı funkc´ı h: Ph(X) (h(I)) = PX (I), Fh(X) (h(t)) = FX (t), Fh(X) (u) = FX (h−1 (u)), qh(X) (α) = h(qX (α)) v bodech spojitosti kvantilov´ e funkce. Zobrazen´ı neklesaj´ıc´ı funkc´ı h: Fh(X) (u) = sup{FX (t) | h(t) ≤ u}. Zobrazen´ı nerostouc´ı funkc´ı h lze ˇreˇsit jako zobrazen´ı n´ahodn´e veliˇciny −X neklesaj´ıc´ı funkc´ı g(t) = h(−t). Souˇ cet n´ ahodn´ ych veliˇ cin nen´ı jednoznaˇcnˇe urˇcen, jedinˇe za pˇredpokladu nez´ avislosti. Ani pak nen´ı vztah jednoduch´ y. Smˇ es n´ ahodn´ ych veliˇ cin viz v´ yˇse. Na rozd´ıl od souˇctu je plnˇe urˇcena (margin´ aln´ımi) rozdˇelen´ımi vstupn´ıch n´ ahodn´ych veliˇcin a koeficienty smˇesi. h(Mixc (U, V )) = Mixc (h(U ), h(V )) (je jedno, jestli jakoukoli funkci h aplikujeme pˇred, nebo po vytvoˇren´ı smˇesi)
4.10
Jak realizovat n´ ahodnou veliˇ cinu na poˇ c´ıtaˇ ci
1. Vytvoˇr´ıme n´ ahodn´ y (nebo pseudon´ ahodn´ y) gener´ator n´ahodn´e veliˇciny X s rovnomˇern´ ym rozdˇelen´ım na h0, 1i. 2. N´ ahodn´ a veliˇcina qY (X) m´ a stejn´e rozdˇelen´ı jako Y . (Staˇc´ı tedy na kaˇzdou realizaci n´ahodn´e veliˇciny X aplikovat funkci qY .) Vˇsechna rozdˇelen´ı spojit´ ych n´ ahodn´ ych veliˇcin jsou stejn´a aˇz na (neline´arn´ı) zmˇenu mˇeˇr´ıtka.
5 5.1
Charakteristiky n´ ahodn´ ych veliˇ cin Stˇ redn´ı hodnota
Znaˇcen´ı: E. nebo µ. Je definov´ ana zvl´ aˇsˇt pro
19
• diskr´ etn´ı n´ ahodnou veliˇcinu U : EU =
X
t · pU (t) =
X
t · pU (t) ,
t∈ΩU
t∈R
• spojitou n´ ahodnou veliˇcinu V :
Z∞ t · fV (t) dt ,
EV = −∞
• smˇ es n´ ahodn´ ych veliˇcin X = Mixc (U, V ), kde U je diskr´etn´ı, V je spojit´a: EX = c EU + (1 − c) EV . (To nen´ı linearita stˇredn´ı hodnoty!) Lze vyj´ıt z definice pro diskr´etn´ı n´ ahodnou veliˇcinu a ostatn´ı pˇr´ıpady dostat jako limitu pro aproximaci jin´ ych rozdˇelen´ı diskr´etn´ım (nebo naopak). Vˇsechny tˇri pˇr´ıpady pokr´ yv´ a univerz´ aln´ı vzorec s pouˇzit´ım kvantilov´e funkce Z1 qX (α) dα .
EX = 0
Ten lze nav´ıc jednoduˇse zobecnit na stˇredn´ı hodnotu jak´ekoli funkce n´ahodn´e veliˇciny: Z1 E (h(X)) =
h (qX (α)) dα . 0
Speci´ alnˇe pro diskr´ etn´ı n´ ahodnou veliˇcinu E (h(U )) =
X
h (t) · pU (t) ,
t∈ΩU
pro spojitou n´ ahodnou veliˇcinu by obdobn´ y vzorec platil jen za omezuj´ıc´ıch pˇredpoklad˚ u, protoˇze spojitost n´ ahodn´e veliˇciny se nemus´ı zachov´ avat. Stˇredn´ı hodnota je vodorovnou souˇradnic´ı tˇeˇziˇstˇe grafu distribuˇcn´ı funkce, jsou-li jeho elementy v´aˇzeny pˇr´ır˚ ustkem distribuˇcn´ı funkce:
Pokud pracujeme se stˇredn´ı hodnotou, automaticky pˇredpokl´ad´ame, ˇze existuje (coˇz nen´ı vˇzdy splnˇeno). 5.1.1
Vlastnosti stˇ redn´ı hodnoty Er = r ,
speci´alnˇe
E (X + Y ) = EX + EY ,
speci´alnˇe
E(EX) = EX , E (X + r) = EX + r ,
E (X − Y ) = EX − EY , E (r X) = r EX ,
obecnˇeji
E (r X + s Y ) = r EX + s EY .
(To je linearita stˇredn´ı hodnoty.) E (Mixc (U, V )) = c EU + (1 − c) EV . (To nen´ı linearita stˇredn´ı hodnoty.) Pouze pro nez´ avisl´ e n´ ahodn´e veliˇciny E (X · Y ) = EX · EY . 20
5.2
Rozptyl (disperze)
Znaˇcen´ı: σ.2 , D., var .
2 2 DX = E (X − EX) = E X 2 − (EX) , 2 E X 2 = (EX) + DX .
Vlastnosti:
Z1
(1)
2
(qX (α) − EX) dα .
DX = 0
DX ≥ 0 , Dr = 0 , D (X + r) = DX , D (r X) = r2 DX . 2 D (Mixc (U, V )) = E Mixc (U, V )2 − (E (Mixc (U, V ))) 2 = c E U 2 + (1 − c) E V 2 − (c EU + (1 − c) EV ) 2 2 = c DU + (EU ) + (1 − c) DV + (EV ) 2 2 − c2 (EU ) + 2 c (1 − c) EU EV + (1 − c)2 (EV ) = c DU + (1 − c) DV + c (1 − c) (EU ) − 2 c (1 − c) EU EV + c (1 − c) (EV )
2
2 2
= c DU + (1 − c) DV + c (1 − c) (EU − EV ) . Pouze pro nez´ avisl´ e n´ ahodn´e veliˇciny D (X − Y ) = DX + DY .
D (X + Y ) = DX + DY,
5.3
Smˇ erodatn´ a odchylka
Znaˇcen´ı: σ. M´ a stejn´ y fyzik´ aln´ı rozmˇ er jako p˚ uvodn´ı n´ahodn´a veliˇcina (rozptyl nikoli). √ σX = Vlastnosti: σX
DX =
r 2 E (X − EX)
v uZ1 u u 2 = t (qX (α) − EX) dα. 0
σX ≥ 0 , σr = 0 , σX+r = σX , σr X = |r| σX . Pouze pro nez´ avisl´ e n´ ahodn´e veliˇciny σX+Y = σX−Y =
√
DX + DY =
21
q
2 + σ2 . σX Y
5.4
Obecn´ e a centr´ aln´ı momenty
k∈N k-t´ y obecn´ y moment (znaˇcen´ı nezav´ ad´ıme): E X k , speci´alnˇe: pro k = 1 : EX, 2 pro k = 2 : E X 2 = (EX) + DX. 0 Alternativn´ı znaˇcen´ı: mk , µk . k k-t´ y centr´ aln´ı moment (znaˇcen´ı nezav´ ad´ıme): E (X − EX) , speci´alnˇe: pro k = 1 : 0, pro k = 2 : DX. Alternativn´ı znaˇcen´ı: µk . Pomoc´ı kvantilov´e funkce: E X
k
Z1 =
k
(qX (α)) dα . 0
k E (X − EX) =
Z1
k
(qX (α) − EX) dα . 0
5.5
Normovan´ a n´ ahodn´ a veliˇ cina
je takov´ a, kter´ a m´ a nulovou stˇredn´ı hodnotu a jednotkov´ y rozptyl: norm X =
X − EX σX
(pokud m´ a vzorec smysl). Zpˇetn´ a transformace je X = EX + σX norm X .
5.6 5.6.1
Z´ akladn´ı typy diskr´ etn´ıch rozdˇ elen´ı Diracovo
Je jedin´ y moˇzn´ y v´ ysledek r ∈ R. pX (r) = 1 ,
EX = r ,
DX = 0 .
Vˇsechna diskr´etn´ı rozdˇelen´ı jsou smˇesi Diracov´ ych rozdˇelen´ı. 5.6.2
Rovnomˇ ern´ e
Je m moˇzn´ ych v´ ysledk˚ u stejnˇe pravdˇepodobn´ ych. Speci´ alnˇe pro obor hodnot {1, 2, . . . , m} dost´ av´ame 1 , k ∈ {1, 2, . . . , m} , m m+1 1 EX = , DX = (m + 1) (m − 1) . 2 12
pX (k) =
5.6.3
Alternativn´ı (Bernoulliovo)
Jsou 2 moˇzn´e v´ ysledky. (Smˇes dvou Diracov´ ych rozdˇelen´ı.) Pokud v´ ysledky jsou 0, 1, kde 1 m´ a pravdˇepodobnost q ∈ (0, 1), dost´av´ame pX (1) = q , EX = q ,
pX (0) = 1 − q , DX = q (1 − q) . 22
(2)
5.6.4
Binomick´ e Bi(m, q)
Poˇcet u ´spˇech˚ u z m nez´ avisl´ ych pokus˚ u, je-li v kaˇzd´em stejn´a pravdˇepodobnost u ´spˇechu q ∈ h0, 1i. (Souˇcet m nez´ avisl´ ych alternativn´ıch rozdˇelen´ı.) pX (k) =
m k q (1 − q)m−k , k
k ∈ {0, 1, 2, . . . , m} ,
DX = m q (1 − q) .
EX = m q ,
V´ypoˇcetn´ı sloˇzitost v´ypoˇctu pX (k) je O(k), cel´eho rozdˇelen´ı O(m2 ). 5.6.5
Poissonovo Po(λ)
Limitn´ı pˇr´ıpad binomick´eho rozdˇelen´ı pro m → ∞ pˇri konstantn´ım m q = λ > 0 (tedy q → 0). λk −λ pX (k) = e , k ∈ {0, 1, 2, . . .} . k! hodnota 0 1 2 3 4 5 6 7 Bi(30, 0.1) 0.042 0.141 0.228 0.236 0.177 0.102 0.047 0.018 Bi(100, 0.03) 0.047 0.147 0.225 0.227 0.171 0.101 0.050 0.021 Po(3) 0.050 0.149 0.224 0.224 0.168 0.101 0.050 0.022 Pravdˇepodobnostn´ı funkce Poissonova rozdˇelen´ı a binomick´ ych rozdˇelen´ı se stejnou stˇredn´ı hodnotou 3 Jednotliv´e pravdˇepodobnosti se poˇc´ıtaj´ı sn´ aze neˇz u binomick´eho rozdˇelen´ı (ovˇsem vˇsechny nevypoˇc´ıt´ ame, protoˇze jich je nekoneˇcnˇe mnoho). EX = λ , DX = λ . “Stˇredn´ı hodnota se rovn´ a rozptylu;” jedn´ a se vˇ zdy o bezrozmˇ ern´ e celoˇ c´ıseln´ e n´ ahodn´e veliˇciny (poˇcet v´yskyt˚ u). Poissonovo rozdˇ elen´ı jako limitn´ı pˇ r´ıpad binomick´ eho Pro m → ∞ pˇri konstantn´ım m qm = λ, tj. λ qm = m : k m−k pX (k) = m = k qm (1 − qm ) k m−k m (m − 1) . . . (m − (k − 1)) λ λ = 1− = k! m m −k m 1 k−1 λ λ λk 1 1− ··· 1 − 1− 1− → = k! m m m m | {z }| {z }| {z } →1
→1
→e−λ
λk −λ → e . k! 5.6.6
Geometrick´ e
Poˇcet u ´spˇech˚ u do prvn´ıho ne´ uspˇechu, je-li v kaˇzd´em pokusu stejn´a pravdˇepodobnost u ´spˇechu q ∈ (0, 1). pX (k) = q k (1 − q) , k ∈ {0, 1, 2, . . .} , q q EX = , DX = 2 . 1−q (1 − q) 5.6.7
Hypergeometrick´ e
Poˇcet v´ yskyt˚ u v m vzorc´ıch, vybran´ ych z M objekt˚ u, v nichˇz je K v´ yskyt˚ u (1 ≤ m ≤ K ≤ M ). K M −K pX (k) = EX =
k
m−k M m
mK , M
k ∈ {0, 1, 2, . . . , m} ,
, DX =
m K (M − K) (M − m) . M 2 (M − 1)
23
V´ypoˇcetn´ı sloˇzitost v´ypoˇctu pX (k) je O(m), cel´eho rozdˇelen´ı O(m2 ). Pro M m je
Binomick´ e rozdˇ elen´ı jako limitn´ı pˇ r´ıpad hypergeometrick´ eho Hypergeometrick´e rozdˇelen´ı pro M → ∞ pˇri konstantn´ım
pX (k) = =
5.7 5.7.1
KM k
M −KM m−k M m
→
k KM k!
KM M
= q, tj.
M −KM M
(M −KM )m−k (m−k)! = Mm m! m−k k − KM ) = m q k m−k M
M m
. Mm = (Vˇeta 1). m!
=1−q :
·
m! K k (M · Mk · k! (m − k)! M
m−k
(1 − q)
.
Z´ akladn´ı typy spojit´ ych rozdˇ elen´ı Rovnomˇ ern´ e R(a, b) 1 b−a
fX (t) = FX (u) =
0
u−a b−a
0 1
pro t ∈ ha, bi, jinak, pro u ∈ ha, bi , pro u < a , pro u > b ,
qX (α) = a + (b − a) α , 1 a+b 2 , DX = (b − a) . EX = 2 12 5.7.2
Norm´ aln´ı (Gaussovo) N(µ, σ 2 )
A. Normovan´e N(0, 1): 1 ϕ(t) = fN(0,1) (t) = √ exp 2π
−t2 2
Distribuˇcn´ı funkce je transcendentn´ı (Gauss˚ uv integr´al) Φ, 2 Z u 1 −t √ Φ(u) = FN(0,1) (u) = exp dt , 2 2π −∞ kvantilov´ a funkce Φ−1 je inverzn´ı k Φ. B. Obecn´e N(µ, σ 2 ): fN(µ,σ2 ) (t) =
σ
1 √
2π
exp
−(t − µ)2 2 σ2
,
EX = µ ,
DX = σ 2 .
Souˇcet dvou nez´ avisl´ ych veliˇcin s norm´ aln´ım rozdˇelen´ım N(µ1 , σ12 ), N(µ2 , σ22 ) m´a norm´aln´ı rozdˇelen´ı N(µ1 + 2 2 µ2 , σ1 + σ2 ). 5.7.3
Logaritmickonorm´ aln´ı LN(µ, σ 2 )
je rozdˇelen´ı n´ ahodn´e veliˇciny X = exp(Y ), kde Y m´a N(µ, σ 2 ) ( f 2 (ln u) (ln u−µ)2 1 √ exp − = N(µ,σu) pro u > 0, 2 σ2 uσ 2π fX (u) = 0 jinak, FN(µ,σ2 ) (ln u) pro u > 0 , FX (u) = 0 jinak, 2 σ EX = exp µ + , DX = exp 2 µ + σ 2 exp σ 2 − 1 . 2
24
5.7.4
Exponenci´ aln´ı Ex(τ )
Napˇr. rozdˇelen´ı ˇcasu do prvn´ı poruchy, jestliˇze (podm´ınˇen´a) pravdˇepodobnost poruchy za ˇcasov´ y interval ht, t + δi z´ avis´ı jen na δ, nikoli na t: 1 t pro t > 0, τ exp − τ fX (t) = 0 jinak, u pro u > 0 , 1 − exp − τ FX (u) = 0 jinak, qX (α) = −τ ln (1 − α) , EX = τ ,
5.8
DX = τ 2 ,
σX = τ .
ˇ Cebyˇ sevova nerovnost
Vˇ eta: ∀δ > 0 : P [|norm X| ≥ δ] ≤
1 , δ2
kde norm X = X−EX (pokud m´ a v´ yraz smysl). σX D˚ ukaz pomoc´ı kvantilov´ e funkce: Z1 2 2 1 = D (norm X) = E (norm X) − (E (norm X)) = (qnorm X (α))2 dα | {z } 0 0 Z ≥ (qnorm X (α))2 dα , I
kde I = {α ∈ (0, 1) : |qnorm X (α)| ≥ δ} jsou 2 intervaly o celkov´e d´elce P [|norm X| ≥ δ], Z Z 1 ≥ (qnorm X (α))2 dα ≥ δ 2 dα = δ 2 P [|norm X| ≥ δ] . I
I
Ekvivalentn´ı tvary (ε = δ σX ): 1 ∀δ > 0 : P [|norm X| < δ] ≥ 1 − 2 , δ X − EX 1 ∀δ > 0 : P ≥δ ≤ , σX δ2 2 DX σX = 2 , ∀ε > 0 : P [|X − EX| ≥ ε] ≤ 2 ε ε 2 σX DX ∀ε > 0 : P [|X − EX| < ε] ≥ 1 − 2 = 1 − 2 . ε ε
25
6
Popis a charakteristiky n´ ahodn´ ych vektor˚ u
N´ ahodn´ y vektor X = (X1 , . . . , Xn ) je popsan´ y sdruˇzenou distribuˇcn´ı funkc´ı FX : Rn → h0, 1i FX (t1 , . . . , tn ) = P [X1 ≤ t1 , . . . , Xn ≤ tn ] .
6.1
Diskr´ etn´ı n´ ahodn´ y vektor
m´ a vˇsechny sloˇzky diskr´etn´ı. Lze jej popsat t´eˇz sdruˇ zenou pravdˇ epodobnostn´ı funkc´ı pX : Rn → h0, 1i pX (t1 , . . . , tn ) = P [X1 = t1 , . . . , Xn = tn ] , kter´ a je nenulov´ a jen ve spoˇcetnˇe mnoha bodech. Diskr´ etn´ı n´ ahodn´e veliˇciny X1 , . . . , Xn jsou nez´ avisl´ e, pr´avˇe kdyˇz P [X1 = t1 , . . . , Xn = tn ] =
n Y
P [Xi = ti ]
i=1
pro vˇsechna t1 , . . . , tn ∈ R. Ekvivalentn´ı formulace: pX (t1 , . . . , tn ) =
n Y
pXi (ti ) .
i=1
6.2
Spojit´ y n´ ahodn´ y vektor
m´ a vˇsechny sloˇzky spojit´e. Lze jej popsat t´eˇz sdruˇ zenou hustotou pravdˇ epodobnosti coˇz je (kaˇzd´ a) nez´ aporn´ a funkce fX : Rn → h0, ∞) takov´ a, ˇze Z
t1
FX (t1 , . . . , tn ) =
Z
tn
... −∞
fX (u1 , . . . , un ) du1 . . . dun , −∞
pro vˇsechna t1 , . . . , tn ∈ R. Pokud to jde, vol´ıme fX (t1 , . . . , tn ) =
∂ ∂ ∂ ... FX (t1 , . . . , tn ) = D1 D2 . . . Dn FX (t1 , . . . , tn ) . ∂t1 ∂t2 ∂tn
Speci´ alnˇe pro intervaly hai , bi i dost´ av´ ame P [X1 ∈ ha1 , b1 i, . . . , Xn ∈ han , bn i] = PX (ha1 , b1 i × . . . × han , bn i) Z b1 Z bn = ... fX (u1 , . . . , un ) du1 . . . dun a1
an
Spojit´ e n´ ahodn´e veliˇciny X1 , . . . , Xn jsou nez´ avisl´ e, pr´avˇe kdyˇz fX (t1 , . . . , tn ) =
n Y i=1
pro skoro vˇsechna t1 , . . . , tn ∈ R.
26
fXi (ti ) .
6.3
ˇ ıseln´ C´ e charakteristiky n´ ahodn´ eho vektoru
Stˇ redn´ı hodnota • n´ ahodn´eho vektoru X = (X1 , . . . , Xn ):
EX := (EX1 , . . . , EXn )
• komplexn´ı n´ ahodn´e veliˇciny: X = <(X) + i =(X):
EX := E<(X) + i E=(X)
• nenumerick´e n´ ahodn´e veliˇciny: nem´ a smysl Rozptyl n´ ahodn´eho vektoru X = (X1 , . . . , Xn ): DX := (DX1 , . . . , DXn ) Je-li U n´ ahodn´ a veliˇcina, a, b ∈ R, pak a U + b m´a charakteristiky D (a U + b) = a2 DU .
E (a U + b) = a EU + b ,
Na rozd´ıl od jednorozmˇern´e n´ ahodn´e veliˇciny, stˇredn´ı hodnota a rozptyl n´ahodn´eho vektoru ned´avaj´ı dostateˇcnou informaci pro v´ ypoˇcet rozptylu jeho line´ arn´ıch funkc´ı. Proto zav´ad´ıme dalˇs´ı charakteristiky. Napˇr. E (X + Y ) = EX + EY , 2 2 D (X + Y ) = E (X + Y ) − (E (X + Y )) 2 = E X 2 + Y 2 + 2 X Y − (EX + EY ) 2 2 = E X 2 + E Y 2 + 2 E (X Y ) − (EX) + (EY ) + 2 EX EY 2 2 = E X 2 − (EX) + E Y 2 − (EY ) +2 (E (X Y ) − EX EY ) | {z } | {z } | {z } DX
DY
cov(X,Y )
= DX + DY + 2 cov(X, Y ) , kde cov(X, Y ) := E (X Y ) − EX EY je kovariance n´ahodn´ ych veliˇcin X, Y , t´eˇz cov(X, Y ) = E ((X − EX) (Y − EY )) , neboˇt E ((X − EX) (Y − EY )) = E (X Y − X EY − Y EX + EX EY ) = E (X Y ) − EX EY −EX EY + EX EY . {z } | 0
Pro existenci kovariance je postaˇcuj´ıc´ı existence rozptyl˚ u DX, DY . Vlastnosti kovariance: cov(X, X) = DX, cov(Y, X) = cov(X, Y ), cov(a X + b, c Y + d) = a c cov(X, Y ) (a, b, c, d ∈ R) (srovnejte s vlastnostmi rozptylu jako speci´ aln´ıho pˇr´ıpadu), speci´ alnˇe cov(X, −X) = −DX. Pro nez´ avisl´ e n´ ahodn´e veliˇciny X, Y je cov(X, Y ) = 0. Pouˇzit´ım kovariance pro normovan´ e n´ ahodn´e veliˇciny vyjde korelace: %(X, Y ) = cov(norm X, norm Y ) =
cov(X, Y ) = E (norm X · norm Y ) σX σY
(pˇredpokl´ ad´ ame, ˇze smˇerodatn´e odchylky ve jmenovateli jsou nenulov´ e). Speci´ alnˇe %(X, X) = 1. Vlastnosti korelace: %(X, X) = 1, %(X, −X) = −1, %(X, Y ) ∈ h−1, 1i, %(Y, X) = %(X, Y ), %(aX + b, cY + d) = sign (ac) %(X, Y ) (a, b, c, d ∈ R, a 6= 0 6= c) (aˇz na znam´enko nez´ aleˇz´ı na prost´e line´ arn´ı transformaci). D˚ usledek: %(aX + b, X) = sign (a).
27
Jsou-li n´ ahodn´e veliˇciny X, Y nez´ avisl´ e, je %(X, Y ) = 0. Obr´acen´a implikace vˇsak neplat´ı(nen´ı to postaˇcuj´ıc´ı podm´ınka pro nez´ avislost). N´ ahodn´e veliˇciny X, Y splˇ nuj´ıc´ı %(X, Y ) = 0 naz´ yv´ame nekorelovan´ e. Pro n´ ahodn´ y vektor X = (X1 , . . . , Xn ) je definov´ana kovarianˇ cn´ı matice cov(X1 , X1 ) cov(X1 , X2 ) · · · cov(X1 , Xn ) cov(X2 , X1 ) cov(X2 , X2 ) · · · cov(X2 , Xn ) ΣX = .. .. .. .. . . . . cov(Xn , X1 ) DX1 cov(X1 , X2 ) = .. .
cov(Xn , X2 ) · · ·
cov(X1 , Xn )
cov(X2 , Xn ) · · ·
cov(X1 , X2 ) DX2 .. .
··· ··· .. .
Je symetrick´ a pozitivnˇe semidefinitn´ı, na diagon´ale m´a rozptyly. Podobnˇe je definov´ ana korelaˇ cn´ı matice 1 %(X1 , X2 ) · · · %(X1 , X2 ) 1 ··· %X = .. .. .. . . . %(X1 , Xn ) %(X2 , Xn ) · · ·
cov(Xn , Xn ) cov(X1 , Xn ) cov(X2 , Xn ) . .. . DXn
%(X1 , Xn ) %(X2 , Xn ) . .. . 1
Je symetrick´ a pozitivnˇe semidefinitn´ı. 6.3.1
V´ıcerozmˇ ern´ e norm´ aln´ı rozdˇ elen´ı N(µ, Σ)
popisuje speci´ aln´ı pˇr´ıpad n´ ahodn´eho vektoru, jehoˇz sloˇzky maj´ı norm´aln´ı rozdˇelen´ı a mohou b´ yt korelovan´e. M´ a hustotu 1 1 T fN(µ,Σ) (t) := q exp − (t − µ) T (t − µ) , 2 n −1 (2 π) det T kde t = (t1 , . . . , tn ) ∈ Rn , µ = (µ1 , . . . , µn ) ∈ Rn , ´ T ∈ Rn×n je matice, BUNO symetrick´ a. Parametry rozdˇelen´ı: µ = (µ1 , . . . , µn ) ∈ Rn je stˇredn´ı hodnota n´ ahodn´eho vektoru, Σ := T −1 je kovarianˇcn´ı matice, speci´ alnˇe jej´ı hlavn´ı diagon´ala (Σ11 , Σ22 , . . . , Σnn ) ∈ Rn je rozptyl n´ ahodn´eho vektoru, margin´ aln´ı rozdˇelen´ı i-t´e sloˇzky je N(µi , Σii ); pomoc´ı tˇechto parametr˚ u p´ıˇseme 1 1 T −1 fN(µ,Σ) (t) := p exp − (t − µ) Σ (t − µ) . n 2 (2 π) det Σ
6.4
Reprezentace n´ ahodn´ ych vektor˚ u v poˇ c´ıtaˇ ci
Obdobn´ a jako u n´ ahodn´ ych veliˇcin, avˇsak s rostouc´ı dimenz´ı rychle roste pamˇeˇtov´a n´aroˇcnost. To by se nestalo, kdyby n´ ahodn´e veliˇciny byly nez´avisl´e; pak by staˇcilo zn´at margin´aln´ı rozdˇelen´ı. Proto velkou u ´sporu m˚ uˇze pˇrin´est i podm´ınˇ en´ a nez´ avislost. Pokud najdeme u ´pln´ y syst´em jev˚ u, kter´e zajiˇsˇtuj´ı podm´ınˇenou nez´avislost dvou n´ahodn´ ych veliˇcin, pak m˚ uˇzeme jejich rozdˇelen´ı popsat jako smˇ es rozdˇelen´ı nez´avisl´ ych n´ahodn´ ych veliˇcin (a tedy u ´spornˇeji).
7
Line´ arn´ı prostor n´ ahodn´ ych veliˇ cin
(Ω, A, P ) pravdˇepodobnostn´ı prostor, L line´ arn´ı prostor vˇsech n´ ahodn´ ych veliˇcin na (Ω, A, P ), tj. A-mˇeˇriteln´ ych funkc´ı Ω → R, sˇc´ıt´ an´ı n´ ahodn´ ych veliˇcin a jejich n´ asoben´ı re´ aln´ ym ˇc´ıslem = operace s funkcemi (bod po bodu),
28
L2 line´ arn´ı podprostor vˇsech n´ ahodn´ ych veliˇcin z L, kter´e maj´ı rozptyl, • : L2 × L2 → R, X • Y := E (X Y ) , je biline´ arn´ı (=line´ arn´ı v obou argumentech) a komutativn´ı operace, skal´ arn´ı souˇ cin (pokud ztotoˇzn´ıme n´ ahodn´e veliˇciny X, Y , pro kter´e P [X 6= Y ] = 0; za prvky prostoru pak povaˇzujeme tˇr´ıdy ekvivalence m´ısto jednotliv´ych n´ ahodn´ych veliˇcin), p √ ||X|| := X • X = E (X 2 ) je norma, d(X, Y ) := ||X − Y || =
r 2 E (X − Y )
je metrika (vzd´ alenost) (bez pˇredchoz´ıho ztotoˇznˇen´ı pouze pseudometrika, mohla by b´yt nulov´ a i pro X 6= Y ). L2 lze rozloˇzit na 2 ortogon´ aln´ı podprostory: R = jednodimenzion´ aln´ı prostor vˇsech konstatn´ıch n´ahodn´ ych veliˇcin (tj. s Diracov´ ym rozdˇelen´ım), N = prostor vˇsech n´ ahodn´ ych veliˇcin s nulovou stˇredn´ı hodnotou. EX je kolm´ y pr˚ umˇet X do R(pokud ztotoˇzn ˇujeme toto re´ aln´e ˇc´ıslo s pˇr´ısluˇsnou konstantn´ı n´ ahodnou veliˇcinou, jinak souˇradnice ve smˇeru R), X − EX je kolm´ y pr˚ umˇet X do N , je jednotkov´ y vektor ve smˇeru kolm´eho pr˚ umˇetu X do N , norm X = X−EX σX σX = ||X − EX|| je vzd´ alenost X od R. Z kolmosti vektor˚ u X − EX ∈ N , EX ∈ R a Pythagorovy vˇety plyne (1) 2
2
2
X • X = ||X|| = ||X − EX|| + ||EX|| , 2 E X 2 = DX + (EX) .
7.1
Line´ arn´ı podprostor N n´ ahodn´ ych veliˇ cin s nulov´ ymi stˇ redn´ımi hodnotami
Speci´ alnˇe pro n´ ahodn´e veliˇciny z N : 2 σX =X •X,
σX = ||X|| , cov(X, Y ) = X • Y , %(X, Y ) =
X •Y cov(X, Y ) = cos ∠(X, Y ) . = σX σY ||X|| ||Y ||
D˚ usledek: N´ ahodn´e veliˇciny X, Y s nulov´ ymi stˇ redn´ımi hodnotami jsou ortogon´aln´ı, pr´avˇe kdyˇz jsou nekorelovan´e. Obecnˇe v L2 %(X, Y ) je kosinus u ´hlu pr˚ umˇet˚ u X, Y do N , cov(X, Y ) = X • Y − EX EY je skal´ arn´ı souˇcin pr˚ umˇet˚ u X, Y do N . POZOR! Nepleˇtte nez´ avislost n´ ahodn´ ych veliˇ cin s line´ arn´ı nez´ avislost´ı v line´arn´ım prostoru, kter´ y tvoˇr´ı!
7.2
Line´ arn´ı regrese
´ Uloha: Je d´ an n´ ahodn´ y vektor X = (X1 , . . . , Xn ) a n´ahodn´a veliˇcina Y . (Pˇredpokl´ ad´ a me, ˇ z e vˇ s echny n´ ahodn´e veliˇciny jsou z L2 ). M´ame naj´ıt takov´e koeficienty c1 , . . . , cn , aby line´ arn´ı P kombinace ci Xi byla co nejlepˇs´ı aproximac´ı n´ahodn´e veliˇciny Y ve smyslu krit´eria i
X ck Xk − Y . k
ˇ sen´ı: K vektoru Y hled´ Reˇ ame nejbliˇzˇs´ı bod v line´arn´ım podprostoru, kter´ yP je line´arn´ım obalem vektor˚ u X1 , . . . , Xn ; ˇreˇsen´ım je kolm´ y pr˚ umˇet. Ten je charakterizov´an t´ım, ˇze vektor ci Xi − Y je kolm´ y na Xj , i
j = 1, . . . , n, X
ck Xk − Y
k
29
• Xj = 0 ,
X
ci (Xi • Xj ) = Y • Xj .
i
To je soustava line´ arn´ıch rovnic pro nezn´ am´e koeficienty c1 , . . . , cn (soustava norm´ aln´ıch rovnic). Speci´ alnˇe pro n´ ahodn´e veliˇciny s nulov´ ymi stˇ redn´ımi hodnotami: X ci cov (Xi , Xj ) = cov (Y, Xj ) , i
takˇze matice soustavy je kovarianˇcn´ı matice ΣX .
8
Z´ akladn´ı pojmy statistiky
8.1
Kˇ cemu potˇ rebujeme statistiku
Zkoum´ an´ı spoleˇ cn´ ych vlastnost´ı velk´eho poˇctu obdobn´ ych jev˚ u. Pˇritom nezkoum´ ame vˇsechny, ale jen vybran´ y vzorek (kv˚ uli cenˇe test˚ u, jejich destruktivnosti apod.). • Odhady parametr˚ u pravdˇepodobnostn´ıho modelu • Testov´ an´ı hypot´ez Pot´ıˇze statistick´eho v´ yzkumu – viz [Rogalewicz].
8.2
N´ ahodn´ y v´ ybˇ er, odhad, empirick´ e rozdˇ elen´ı
Soubor • z´ akladn´ı (=populace) • v´ ybˇ erov´ y N´ ahodn´ y v´ ybˇer jednoho prvku z´ akladn´ıho souboru (s rovnomˇern´ ym rozdˇelen´ım) a zmˇeˇren´ı zkouman´e veliˇciny na tomto prvku urˇcuje rozdˇelen´ı n´ ahodn´e veliˇciny. Opakovan´ ym v´ ybˇerem dostaneme n´ ahodn´ y vektor, jehoˇz sloˇzky maj´ı stejn´e rozdˇelen´ı a jsou nez´avisl´e. Takto vytvoˇr´ıme v´ ybˇ erov´ y soubor rozsahu n, obvykle vˇsak vylouˇc´ıme v´ıcen´asobn´ y v´ ybˇer stejn´eho prvku (v´ybˇer bez vracen´ı). Jeho rozdˇelen´ı se m˚ uˇze ponˇekud liˇsit od p˚ uvodn´ıho. Tento rozd´ıl se obvykle zanedb´ av´ a, neboˇt 1. pro velk´ y rozsah z´ akladn´ıho souboru to nen´ı podstatn´e, 2. rozsah z´ akladn´ıho souboru nˇekdy nen´ı zn´am, 3. v´ ypoˇcty se znaˇcnˇe zjednoduˇs´ı. Pˇ resnost odhadu je d´ ana velikost´ı v´ ybˇ erov´ eho souboru, nikoli populace. N´ ahodn´ y v´ ybˇ er X := (X1 , . . . , Xn ) je vektor n´ahodn´ ych veliˇcin, kter´e jsou nez´ avisl´ e a maj´ı stejn´ e rozdˇ elen´ı. (Vynech´ av´ ame indexy, napˇr. FX m´ısto FXk .) Proveden´ım pokusu dostaneme realizaci n´ ahodn´ eho v´ ybˇ eru, x := (x1 , . . . , xn ) ∈ Rn , kde n je rozsah v´ ybˇ eru. funkˇcn´ı hodnota funkce f: D →R f (x) ∈ R, x∈R n´ ahodn´ a veliˇcina realizace n´ahodn´e veliˇciny x := X(ω) ∈ R, ω∈Ω X: Ω → R n´ ahodn´ y vektor/v´ ybˇer realizace n´ahodn´eho vektoru/v´ ybˇeru X = (X1 , . . . , Xn ) : Ω → Rn x = (x1 , . . . , xn ) := X(ω) ∈ Rn , ω∈Ω Realizace n´ ahodn´eho v´ ybˇeru m˚ uˇze m´ıt v´ yznam tr´ enovac´ı mnoˇ ziny; nezn´am´e parametry odhadujeme tak, aby na tr´enovac´ı mnoˇzinˇe byly optim´ aln´ı.
30
Popisuje ji empirick´ e rozdˇ elen´ı: Vybereme j ∈ {1, . . . , n} s rovnomˇern´ ym rozdˇelen´ım, v´ ysledkem je xj . Je to diskr´etn´ı rozdˇelen´ı, smˇes Diracov´ ych: Mix(1/n,...,1/n) (x1 , . . . , xn ). Statistika je (kaˇzd´ a) mˇeˇriteln´ a funkce G, definovan´a na n´ahodn´em v´ ybˇeru libovoln´eho (dostateˇcn´eho) rozsahu. (Poˇc´ıt´ a se z n´ ahodn´ ych veliˇcin v´ ybˇeru, nikoli z parametr˚ u rozdˇelen´ı.) “Mˇ eˇ riteln´ a” znamen´ a, ˇze pro kaˇzd´e t ∈ R je definov´ana pravdˇepodobnost P [G(X1 , . . . , Xn ) ≤ t] = FG(X1 ,...,Xn ) (t) . Statistika jako funkce n´ ahodn´ ych veliˇcin je rovnˇeˇz n´ahodn´a veliˇcina. Obvykle se pouˇz´ıv´ a jako odhad parametr˚ u rozdˇ elen´ı (kter´e n´am z˚ ust´avaj´ı skryt´e). Znaˇcen´ı: ϑ ... jak´ akoli hodnota parametru (re´ aln´e ˇc´ıslo), ϑ∗ ... skuteˇcn´ a (spr´ avn´ a) hodnota parametru (re´aln´e ˇc´ıslo), b Θ b n ... odhad parametru zaloˇzen´ Θ, y na n´ ahodn´em v´ ybˇeru rozsahu n (n´ahodn´a veliˇcina) b b ϑ, ϑn ... realizace odhadu (re´ aln´e ˇc´ıslo) ˇ adouc´ı vlastnosti odhad˚ Z´ u: b n = ϑ∗ , tj. E(Θ b n − ϑ∗ ) = 0 nestrann´ • EΘ y (opak: vych´ ylen´ y) b n = ϑ∗ , tj. lim E(Θ b n − ϑ∗ ) = 0 asymptoticky nestrann´ • lim EΘ y n→∞
n→∞
• eficientn´ı = s mal´ ym rozptylem, coˇz posuzujeme podle 2 ∗ 2 b b n + EΘ b n − ϑ∗ , pro nestrann´ bn E (Θn − ϑ ) = DΘ y odhad se redukuje na DΘ • nejlepˇ s´ı nestrann´ y odhad je ze vˇsech nestrann´ ych ten, kter´ y je nejv´ıce eficientn´ı (mohou vˇsak existovat v´ıce eficientn´ı vych´ ylen´e odhady) b n − ϑ∗ ) = 0, lim σ b = 0 konzistentn´ı • lim E(Θ Θn n→∞
n→∞
• robustn´ı, tj. odoln´ y v˚ uˇci ˇsumu (“i pˇri zaˇsumˇen´ ych datech dost´av´ame dobr´ y v´ ysledek”) – pˇresn´e krit´erium chyb´ı , ale je to velmi praktick´ a vlastnost
8.3
Odhad stˇ redn´ı hodnoty
pomoc´ı stˇredn´ı hodnoty empirick´eho rozdˇelen´ı (aritmetick´eho pr˚ umˇeru realizace n´ahodn´eho v´ ybˇeru): n 1 X x := E Emp(x) = xj . n j=1
Kdyˇz tot´eˇz provedeme s n´ ahodn´ ymi veliˇcinami v´ ybˇeru, dostaneme n´ahodnou veliˇcinu X=
n 1 X Xj . n j=1
X = v´ ybˇ erov´ y pr˚ umˇ er, x = realizace v´ ybˇ erov´ eho pr˚ umˇ eru. Alternativn´ı znaˇcen´ı: X n , xn (pokud potˇrebujeme zd˚ uraznit rozsah v´ybˇeru) Vˇ eta: EX n =
n 1 X EX = EX , n j=1
n 1 X 1 DX = DX , 2 n j=1 n r 1 1 = DX = √ σX , n n
DX n = σX n
31
pokud existuj´ı. (Zde EX = EXj atd.) V´ ybˇerov´ y pr˚ umˇer minimalizuje krit´erium n
`2 (c) = E(c − Emp(x))2 =
1X (c − xi )2 . n i=1
D˚ usledek: V´ ybˇerov´ y pr˚ umˇer je nestrann´ y konzistentn´ı odhad stˇredn´ı hodnoty. (Nez´ avisle na typu rozdˇelen´ı.) ˇ av´ a Cebyˇ sevova nerovnost pro X n d´ DX n DX P X n − EX ≥ ε ≤ = →0 ε2 n ε2
pro n → ∞ .
To plat´ı i za obecnˇejˇs´ıch pˇredpoklad˚ u (Xj nemus´ı m´ıt stejn´e rozdˇelen´ı) – slab´ y z´ akon velk´ ych ˇ c´ısel. P n Lidovˇe se hovoˇr´ı o “pˇresn´em souˇctu nepˇresn´ ych ˇc´ısel”, coˇz je chyba, neboˇt souˇcet j=1 Xj m´a rozptyl n DX → ∞. Relativn´ı chyba souˇctu kles´ a, absolutn´ı roste. Rozdˇelen´ı v´ ybˇerov´eho pr˚ umˇeru m˚ uˇze b´ yt podstatnˇe sloˇzitˇejˇs´ı neˇz p˚ uvodn´ı, jen ve speci´aln´ıch pˇr´ıpadech je ˇ jednoduch´ a odpovˇed. Vˇ eta: V´ ybˇerov´ y pr˚ umˇer z norm´ aln´ıho rozdˇelen´ı N(µ, σ 2 ) m´a norm´aln´ı rozdˇelen´ı N µ, n1 σ 2 a je nejlepˇs´ım nestrann´ ym odhadem stˇredn´ı hodnoty. Podobn´ a vˇeta plat´ı i pro jin´ a rozdˇelen´ı alespoˇ n asymptoticky: Centr´ aln´ı limitn´ı vˇ eta: Nechˇt Xj , j ∈ N, jsou nez´avisl´e stejnˇe rozdˇelen´e n´ahodn´e veliˇciny se stˇredn´ı hodnotou EX a smˇerodatnou odchylkou σX 6= 0. Pak normovan´e n´ahodn´e veliˇciny √ n (X n − EX) Yn = norm X n = σX konverguj´ı k normovan´emu norm´ aln´ımu rozdˇelen´ı v n´asleduj´ıc´ım smyslu: ∀t ∈ R : lim FYn (t) = lim Fnorm X n (t) = Φ(t) , n→∞
n→∞
neboli ∀t ∈ R : lim |FYn (t) − Φ(t)| = 0 , n→∞
Pokud m´ a p˚ uvodn´ı rozdˇelen´ı 3. centr´ aln´ı moment, je konvergence dokonce stejnomˇ ern´ a, tj. lim sup |FYn (t) − Φ(t)| = 0 ,
n→∞ t∈R
8.4
Odhad k-t´ eho obecn´ eho momentu
pomoc´ı k-t´eho obecn´eho momentu empirick´eho rozdˇelen´ı: mxk
n 1 X k := E Emp(x) = x n j=1 j k
Je realizac´ı odhadu MX k :=
(realizace v´ ybˇ erov´ eho k-t´ eho obecn´ eho momentu) .
n 1 X k X n j=1 j
(v´ ybˇ erov´ y k-t´ y obecn´ y moment) .
Alternativn´ı znaˇcen´ı: Mk , mk Vˇ eta: EMX k = EX k . V´ ybˇerov´ y k-t´ y obecn´ y moment je nestrann´ y konzistentn´ı odhad k-t´eho obecn´eho momentu (pokud X m´ a k-t´ y a 2 k-t´ y obecn´ y moment). D˚ ukaz: X n n 1 1 X Xjk = EXjk = EX k , EMX k = E n j=1 n j=1 DMX k =
1 1 1 n DX k = E(X k )2 − (EX k )2 = EX 2 k − (EX k )2 → 0 . 2 n n n 32
8.5
Odhad rozptylu
pomoc´ı rozptylu empirick´eho rozdˇelen´ı: n X c2 := D Emp(x) = 1 σ (xj − x)2 . x n j=1
Je realizac´ı odhadu
n n X 1 X 2 2 := 1 X) = 6 (X − (Xj − EX)2 . σc j X n j=1 n j=1
2 Vˇ eta: σc ylen´ y konzistentn´ı odhad rozptylu (pokud p˚ uvodn´ı rozdˇelen´ı m´a rozptyl a 4. centr´ aln´ı X je vych´ moment). D˚ ukaz (pouze prvn´ı ˇc´ asti): n n n n X X 1 X 1 X 2 2 2 c 2 X = EXj2 − EX = EσX = E Xj − 2 X Xj + n n j=1 j=1 j=1 j=1 | {z } | {z } nX
nX
2
1 2 = EX 2 − EX = EX 2 −(EX)2 − DX = EX 2 − (EX)2 − DX = | {z } | {z } n −EX
n−1 DX → DX = n
2
DX
pro n → ∞ .
Spr´ avnou hodnotu bychom dostali, kdybychom m´ısto X pouˇzili EX, coˇz nem´ame k dispozici. Nestrann´ y odhad: 2 SX :=
s2x :=
n 1 X n c (Xj − X n )2 = σ2 n − 1 j=1 n−1 X n 1 X n c2 (xj − xn )2 = σ n − 1 j=1 n−1 x
(v´ ybˇ erov´ y rozptyl) ,
(realizace v´ ybˇ erov´ eho rozptylu) .
Alternativn´ı znaˇcen´ı: S 2 , s2 (Dvojka v horn´ım indexu neznamen´ a kvadr´ at.) Jednopr˚ uchodov´ y vzorec – praktiˇctˇejˇs´ı, ale numericky horˇs´ı: 2 SX =
n n n X 2 n 1 1 X 2 1 X 2 2 Xj − Xj − Xj . Xn = n − 1 j=1 n−1 n − 1 j=1 n (n − 1) j=1
Vˇ eta: 2 ESX = DX.
V´ ybˇerov´ y rozptyl je nestrann´ y konzistentn´ı odhad rozptylu (pokud p˚ uvodn´ı rozdˇelen´ı m´a rozptyl a 4. centr´ aln´ı moment). 2 D˚ ukaz: Z jednopr˚ uchodov´eho vzorce pro SX dost´av´ame 2 n n n 2 2 2 ESX = EX 2 − EX n = DX + (EX) − DX n − EX n = n−1 n−1 n−1 1 n 2 2 DX + (EX) − DX − (EX) = DX . = n−1 n Rozdˇelen´ı v´ ybˇerov´eho rozptylu m˚ uˇze b´ yt podstatnˇe sloˇzitˇejˇs´ı. Speci´ alnˇe pro rozdˇelen´ı N(0, 1) a n = 2: X=
2 SX
kde U =
X1√ −X2 2
X1 − X2 m´a rozdˇelen´ı N 0, 12 , 2 2 2 X1 − X2 X1 − X2 2 2 √ = (X1 − X) + (X2 − X) = 2 = = U2 , 2 2
X1 + X2 , 2
X1 − X = −(X2 − X) =
m´ a rozdˇelen´ı N(0, 1). Tomu ˇr´ık´ame: 33
8.5.1
Rozdˇ elen´ı χ2 s 1 stupnˇ em volnosti
= rozdˇelen´ı n´ ahodn´e veliˇciny V = U 2 , kde U m´a normovan´ e norm´ aln´ı rozdˇelen´ı N(0, 1). 2 Znaˇcen´ı: χ (1). (Toto rozdˇelen´ı nen´ı zvykem normovat.) EV = EU 2 = |{z} DU +(|{z} EU )2 = 1 , 1
DV = 2 .
0
(bez d˚ ukazu)
Pro t > 0 vych´ az´ı distribuˇcn´ı funkce √ √ √ FV (t) = P [V ≤ t] = P [− t ≤ U ≤ t] = 2 P [0 ≤ U ≤ t] = Z √t √ u2 = 2 Φ( t) − Φ(0) = 2 e− 2 du , 0
hustota
√ √ √ √ 0 −t 1 1 fV (t) = FV0 (t) = 2 Φ( t) = 2 ( t)0 Φ0 ( t) = √ ϕ( t) = √ e2 . t 2πt
Zobecnˇen´ı: 8.5.2
Rozdˇ elen´ı χ2 s η stupni volnosti
= rozdˇelen´ı n´ ahodn´e veliˇciny Y =
η P
= rozdˇelen´ı n´ ahodn´e veliˇciny Y =
j=1 η P j=1
Vj , kde Vj jsou nez´ avisl´ e n´ahodn´e veliˇciny s rozdˇelen´ım χ2 (1) Uj2 , kde Uj jsou nez´ avisl´ e n´ahodn´e veliˇciny s normovan´ ym norm´ aln´ım
rozdˇelen´ım N(0, 1). Znaˇcen´ı: χ2 (η). EY = E
DY = D
η X
Vj =
η X
j=1
j=1
η X
η X
Vj =
j=1
EVj = η , |{z}
j=1
1
DVj = 2 η . |{z} 2
Vˇ eta: Nechˇt X, Y jsou nez´ avisl´ e n´ ahodn´e veliˇciny s rozdˇelen´ım χ2 (ξ), resp. χ2 (η). Pak X + Y m´a rozdˇelen´ı χ2 (ξ + η). Hustota
−y
η
c(η) y 2 −1 e 2 0 1 , c(η) = η 2 2 Γ η2 Z∞ Γ(z) = tz−1 e−t dt ,
fY (y) =
pro y > 0 , jinak ,
0
speci´ alnˇe Γ(m + 1) = m! pro vˇsechna m ∈ N. Speci´ alnˇe pro η = 2 je c(η) = 1/2 a dost´ av´ ame exponenci´aln´ı rozdˇelen´ı Ex(2). D˚ usledek: Souˇcet m nez´ avisl´ ych n´ ahodn´ ych veliˇcin s exponenci´aln´ım rozdˇelen´ım Ex(2) = χ2 (2) m´a rozdˇelen´ı 2 χ (2m).
34
Hustota rozdˇelen´ı χ2 s 1, 2, . . . , 10 stupni volnosti.
Hustota odmocniny z rozdˇelen´ı χ2 s 1, 2, . . . , 10 stupni volnosti (“vzd´alenosti od stˇredu terˇce”). 8.5.3
V´ ybˇ erov´ y rozptyl z norm´ aln´ıho rozdˇ elen´ı N(EX, DX)
splˇ nuje: 2 2 n σc (n − 1) SX X = m´a rozdˇelen´ı χ2 (n − 1) . DX DX
Z vlastnost´ı rozdˇelen´ı χ2 ⇒ E
2 (n − 1) SX =n−1 DX
2 v souladu s nestrannost´ı ESX = DX.
3 2 Rozdˇelen´ı odhadu rozptylu pomoc´ı vybˇerov´eho rozptylu SX pro rozsah v´ ybˇeru 2, 3, . . . , 10.
2 pro rozsah v´ ybˇeru Rozdˇelen´ı odhadu rozptylu pomoc´ı vybˇerov´eho rozptylu SX 1 2 7 3 = 2 + 1, 2 + 1, . . . , 2 + 1 = 129.
D˚ usledek: Rozptyl v´ ybˇerov´eho rozptylu z norm´aln´ıho rozdˇelen´ı N(EX, DX) je 2 DSX =
2 2 (DX) . n−1
D˚ ukaz: Z vlastnost´ı rozdˇelen´ı χ2 ⇒ D
2 (n − 1) SX = 2 (n − 1) , DX 2
2 DSX = 2 (n − 1)
(DX) 2 2 = (DX) . (n − 1)2 n−1
35
Vˇ eta: Pro n´ ahodn´ y v´ ybˇer X = (X1 , . . . , Xn ) z norm´ aln´ıho rozdˇelen´ı je X nejlepˇs´ı nestrann´ y odhad stˇredn´ı 2 2 hodnoty, SX je nejlepˇs´ı nestrann´ y odhad rozptylu a statistiky X, SX jsou konzistentn´ı a nez´ avisl´ e. 8.5.4
Eficience odhad˚ u rozptylu pro norm´ aln´ı rozdˇ elen´ı
2 1. eficience odhadu SX (z vlastnost´ı rozdˇelen´ı χ2 ): 2 2 E(SX − DX)2 = DSX =
2 2 (DX) . n−1
2 2. eficience odhadu σc X (DX je konstanta):
2 2 c c 2 2 2 E(σc = X − DX) = D σX − DX + E σX − DX 2 1 2 = D σc + = DX X n 2 2n − 1 n−1 2 1 2 2 2 = (DX) , (DX) + 2 (DX) = n n−1 n n2 a protoˇze
2 2n − 1 2 < < , 2 n n n−1
2 2 je odhad σc ıce eficientn´ı neˇz SX (kter´ y je nejlepˇs´ı nestrann´ y!). X v´
8.6
Odhad smˇ erodatn´ e odchylky
pomoc´ı smˇerodatn´e odchylky empirick´eho rozdˇelen´ı: σ cx := σEmp(x) Je realizac´ı odhadu
v u X u1 n (xj − x)2 . =t n j=1
v u X u1 n t σc (Xj − X)2 . X := n j=1
Je vych´ ylen´ y. Alternativa: SX
v u q u 2 = SX = t
v u u sx = t
n 1 X (Xj − X n )2 n − 1 j=1
n 1 X (xj − xn )2 n − 1 j=1
(v´ ybˇ erov´ a smˇ erodatn´ a odchylka) ,
(realizace v´ ybˇ erov´ e smˇ erodatn´ e odchylky) .
Alternativn´ı znaˇcen´ı: S, s Vˇ eta: ESX ≤ σX . Rovnost obecnˇe nenast´ av´ a, takˇze to nen´ı nestrann´ y odhad smˇerodatn´e odchylky! D˚ ukaz: 2
2
2 DX = ESX = (ESX ) + DSX ≥ (ESX ) , | {z } ≥0
σX ≥ ESX . Vˇ eta: V´ ybˇerov´ a smˇerodatn´ a odchylka je vych´ ylen´ y konzistentn´ı odhad smˇerodatn´e odchylky (pokud p˚ uvodn´ı rozdˇelen´ı m´ a rozptyl a 4. centr´ aln´ı moment). 36
8.7
Histogram a popis empirick´ eho rozdˇ elen´ı
V realizaci n´ ahodn´eho v´ ybˇeru x = (x1 , . . . , xn ) ∈ Rn nez´aleˇz´ı na poˇrad´ı sloˇzek (ale z´aleˇz´ı na jejich opakov´ an´ı). ´ Uspornˇ eji je pops´ an mnoˇzinou (nejv´ yˇse n) hodnot H := {x1 , . . . , xn } a jejich ˇ cetnostmi nt , t ∈ H. Data lze popsat tabulkou ˇ cetnost´ı nebo grafem zvan´ ym histogram. nt Normov´ an´ım dostaneme relativn´ı ˇ cetnosti rt := = pEmp(x) (t) (=hodnoty pravdˇepodobnostn´ı funkce emn P pirick´eho rozdˇelen´ı Emp(x)), t ∈ H, kde t∈H rt = 1. V´ ypoˇcet z ˇcetnost´ı je jednoduˇsˇs´ı (pokud se opakuj´ı stejn´e hodnoty): E Emp(x) =
X
t rt =
t∈H k
E (Emp(x)) =
X t∈H
D Emp(x) =
X
n 1 X 1 X xj = x , t nt = n n j=1 t∈H
n 1 X k 1 X k t rt = t nt = x = mxk . n n j=1 j k
t∈H
2
(t − x) rt =
t∈H
1 X 2 (t − x) nt = n t∈H
n 1 X 2 c2 = n − 1 s2 . = (xj − x) = σ x x n j=1 n
8.8
Odhad medi´ anu
ybˇ erov´ y medi´ an). Poskytuje jinou informaci neˇz pomoc´ı medi´ anu empirick´eho rozdˇelen´ı, qEmp(x) ( 21 ) (v´ v´ ybˇerov´ y pr˚ umˇer, mnohdy uˇziteˇcnˇejˇs´ı (mj. robustnˇ ejˇ s´ı – odolnˇejˇs´ı v˚ uˇci vlivu vych´ ylen´ ych hodnot, outliers). Minimalizuje krit´erium n 1X |c − xi | . `1 (c) = E|c − Emp(x)| = n i=1 Nav´ıc v´ıme, jak se zmˇen´ı monot´ onn´ı funkc´ı. Proˇc se pouˇz´ıv´ a m´enˇe neˇz v´ ybˇerov´ y pr˚ umˇer: • Vyˇsˇs´ı v´ ypoˇcetn´ı n´ aroˇcnost: seˇrazen´ı hodnot m´a pracnost u ´mˇernou n ln n, v´ ybˇerov´ y pr˚ umˇer n. • Vyˇsˇs´ı pamˇeˇtov´ a n´ aroˇcnost: u ´mˇern´ a n, u v´ ybˇerov´eho pr˚ umˇeru staˇc´ı 2 registry. • Obt´ıˇzn´ a decentralizace a paralelizace v´ ypoˇctu. Obecnˇeji lze odhadnout α-kvantil qX (α) pomoc´ı α-kvantilu empirick´eho rozdˇelen´ı, qEmp(x) (α). Nesm´ıme vˇsak volit α bl´ızk´e 0 nebo 1, nem˚ uˇzeme napˇr. na z´ akladˇe v´ ybˇeru rozsahu 1000 odhadovat kvantil qX (10−6 ).
8.9
Intervalov´ e odhady
b (coˇz je n´ahodn´a veliˇcina). Dosud jsme skuteˇcnou hodnotu parametru ϑ∗ nahrazovali bodov´ ym odhadem Θ Nyn´ı m´ısto toho hled´ ame intervalov´ y odhad, tzv. interval spolehlivosti I, coˇz je minim´aln´ı interval takov´ y, ˇze P [ϑ∗ ∈ I] ≥ 1 − α , kde α ∈ (0, 1) je pravdˇepodobnost, ˇze meze intervalu I budou pˇrekroˇceny; 1 − α je koeficient spolehlivosti. Obvykle hled´ ame horn´ı, resp. doln´ı jednostrann´ y odhad, kdy I = (−∞, qΘ b (1 − α)i, resp. I = hqΘ b (α), ∞) , nebo (symetrick´ y) oboustrann´ y odhad, D α α E I = qΘ , qΘ . b 1− b 2 2 b K tomu potˇrebujeme zn´ at rozdˇelen´ı odhadu Θ.
37
8.10
Intervalov´ e odhady parametr˚ u norm´ aln´ıho rozdˇ elen´ı N(µ, σ 2 )
Odhad stˇ redn´ı hodnoty pˇ ri zn´ am´ em rozptylu σ 2 2 µ odhadneme v´ ybˇerov´ ym pr˚ umˇerem X s rozdˇelen´ım N µ, σn . 8.10.1
√
Normovan´ a n´ ahodn´ a veliˇcina norm X = σn (X − µ), stejnˇe jako − norm X = √ n P (µ − X) ∈ (−∞, Φ−1 (1 − α)i = σ
√
n σ
(µ − X) m´a rozdˇelen´ı N(0, 1);
=1−α= √ n =P (µ − X) ≤ Φ−1 (1 − α) = σ σ = P µ ≤ X + √ Φ−1 (1 − α) = n σ = P µ ∈ −∞, X + √ Φ−1 (1 − α) . n Obdobnˇe dostaneme i dalˇs´ı intervalov´e odhady σ −1 −∞, X + √ Φ (1 − α) , n σ −1 √ X− Φ (1 − α), ∞ , n σ −1 α σ −1 α √ √ X− Φ 1− ,X + Φ 1− , 2 2 n n kde X − √σn Φ−1 (1 − α) = X + √σn Φ−1 (α) (Φ−1 (α) = −Φ−1 (1 − α) ovˇsem neb´ yv´ a v tabulk´ach). Pˇri v´ ypoˇctu nahrad´ıme v´ ybˇerov´ y pr˚ umˇer X jeho realizac´ı x. D´ıky centr´ aln´ı limitn´ı vˇetˇe je odhad pouˇziteln´ y i pro v´ ybˇer z jin´eho neˇz norm´aln´ıho rozdˇelen´ı, pokud m´a nenulov´ y rozptyl a rozsah v´ ybˇeru je velk´ y. 8.10.2
Odhad stˇ redn´ı hodnoty pˇ ri nezn´ am´ em rozptylu 2 µ odhadneme v´ ybˇerov´ ym pr˚ umˇerem X s rozdˇelen´ım N µ, σn , 2 (n − 1) SX m´a rozdˇelen´ı χ2 (n − 1). √ σ2 n Testujeme analogicky n´ ahodnou veliˇcinu (X − µ), jej´ı rozdˇelen´ı vˇsak nen´ı norm´aln´ı, aˇckoli X, SX jsou SX nez´ avisl´e. 2 σ 2 odhadneme v´ ybˇerov´ ym rozptylem SX ;
8.10.3
Studentovo t-rozdˇ elen´ı (autor: Gossett)
U s η stupni volnosti je rozdˇelen´ı n´ ahodn´e veliˇciny q , V η
kde U m´ a rozdˇelen´ı N(0, 1), V m´ a rozdˇelen´ı χ2 (η), U, V jsou nez´ avisl´e. Znaˇcen´ı: t(η). Hustota:
− 1+η 2 x2 ft(η) (x) = c (η) 1 + , η
Γ 1+η 2 . c (η) = √ η π Γ η2
Symetrie kolem nuly ⇒ qt(η) (1 − α) = −qt(η) (α). t(1) je Cauchyho rozdˇelen´ı, kter´e nem´ a stˇredn´ı hodnotu, ft(1) (x) =
1 1 . π 1 + x2
38
Pro velk´ y poˇcet stupˇ n˚ u volnosti se nahrazuje normovan´ ym norm´aln´ım rozdˇelen´ım.
Hustota normovan´eho norm´ aln´ıho rozdˇelen´ı a Studentova rozdˇelen´ı s 5 stupni volnosti.
Hustota normovan´eho norm´ aln´ıho rozdˇelen´ı a normovan´ eho Studentova rozdˇelen´ı s 5 stupni volnosti. 8.10.4
Odhad stˇ redn´ı hodnoty pˇ ri nezn´ am´ em rozptylu 2
V naˇsem pˇr´ıpadˇe: √
n (X − µ) m´a N(0, 1) , σ 2 (n − 1) SX V = m´a χ2 (n − 1) , η = n − 1 , 2 σ √ √ n (X − µ) n = σ q 2 = (X − µ) m´a t(n − 1) . SX SX U=
U q
V η
σ2
Z toho vypl´ yvaj´ı intervalov´e odhady SX −∞, X + √ qt(n−1) (1 − α) , n SX X − √ qt(n−1) (1 − α), ∞ , n SX SX α α X − √ qt(n−1) (1 − 2 ), X + √ qt(n−1) (1 − 2 ) . n n ybˇerovou smˇerodatnou odchylku SX jej´ı realizac´ı Pˇri v´ ypoˇctu nahrad´ıme v´ ybˇerov´ y pr˚ umˇer X jeho realizac´ı x a v´ sx . D´ıky centr´ aln´ı limitn´ı vˇetˇe je odhad pouˇziteln´ y i pro v´ ybˇer z jin´eho neˇz norm´aln´ıho rozdˇelen´ı, pokud m´a nenulov´ y rozptyl a rozsah v´ ybˇeru je velk´ y (pak m˚ uˇzeme m´ısto Studentova rozdˇelen´ı pouˇz´ıt norm´aln´ı).
39
8.10.5
Odhad rozptylu (n−1)S 2
2 X σ 2 odhadneme v´ ybˇerov´ ym rozptylem SX ; m´a rozdˇelen´ı χ2 (n − 1); σ2 2 (n − 1) SX 2 P ∈ (−∞, q (1 − α)i = χ (n−1) σ2
=1−α= 2 (n − 1) SX 2 =P ≤ q (1 − α) = χ (n−1) σ2 2 (n − 1) SX =P ≤ σ2 = qχ2 (n−1) (1 − α) 2 (n − 1) SX 2 =P σ ∈ ,∞ . qχ2 (n−1) (1 − α) Dostali jsme doln´ı odhad. Obdobnˇe dostaneme i dalˇs´ı intervalov´e odhady 2 (n − 1) SX −∞, , qχ2 (n−1) (α) 2 (n − 1) SX ,∞ , qχ2 (n−1) (1 − α) + * 2 2 (n − 1) SX (n − 1) SX , . qχ2 (n−1) 1 − α2 qχ2 (n−1) α2 2 Pˇri v´ ypoˇctu nahrad´ıme v´ ybˇerov´ y rozptyl SX jeho realizac´ı s2x . D´ıky centr´ aln´ı limitn´ı vˇetˇe je odhad pouˇziteln´ y i pro v´ ybˇer z jin´eho neˇz norm´aln´ıho rozdˇelen´ı, pokud m´a nenulov´ y rozptyl a rozsah v´ ybˇeru je velk´ y (pak m˚ uˇzeme m´ısto χ2 -rozdˇelen´ı pouˇz´ıt norm´aln´ı).
8.10.6
Intervalov´ e odhady spojit´ ych rozdˇ elen´ı, kter´ a nejsou norm´ aln´ı
pˇrev´ ad´ıme obvykle na norm´ aln´ı rozdˇelen´ı neline´arn´ı transformac´ı h(t) = Φ−1 (FX (t)) (FX (X) m´ a rovnomˇern´e rozdˇelen´ı na h0, 1i). Pouˇzijeme intervalov´ y odhad pro norm´ aln´ı rozdˇelen´ı a transformujeme jej zpˇet podle vzorce −1 h−1 (u) = qX (Φ(u)) .
Pozn´ amka: Intervalov´e odhady jsou moˇzn´e, i kdyˇz neexistuje stˇredn´ı hodnota nebo rozptyl.
8.11
Obecn´ e odhady parametr˚ u
Rozdˇelen´ı n´ ahodn´e veliˇciny X z´ avis´ı na vektoru parametr˚ u ϑ= (ϑ1 , . . . , ϑi ) ∈ Π, kde Π ⊆ Ri je parametrick´ y prostor, tj. mnoˇzina vˇsech pˇr´ıpustn´ ych hodnot parametr˚ u; pravdˇepodobnostn´ı funkci znaˇc´ıme pX (t; ϑ) = pX (t; ϑ1 , . . . , ϑi ) atd. b = (ϑb1 , . . . , ϑbi ) pomoc´ı realizace x = (x1 , . . . , xn ). b = (Θ b 1, . . . , Θ b i ), resp. realizaci odhadu ϑ Hled´ ame odhad Θ 8.11.1
Metoda moment˚ u
Pro k = 1, 2, . . . je k-t´ y obecn´ y moment funkc´ı ϑ, EX k (ϑ) = EX k (ϑ1 , . . . , ϑi ) (z´ avislost na parametrech lze stanovit dle pravdˇepodobnostn´ıho modelu). Lze jej t´eˇz odhadnout pomoc´ı v´ ybˇerov´eho k-t´eho obecn´eho momentu mxk . b = (ϑb1 , . . . , ϑbi ) takovou, ˇze Metoda moment˚ u doporuˇcuje realizaci odhadu ϑ EX k (ϑb1 , . . . , ϑbi ) = mxk =
n 1 X k x , n j=1 j
40
k = 1, 2, . . . .
K jednoznaˇcn´emu urˇcen´ı i promˇenn´ ych obvykle potˇrebujeme (prvn´ıch) i rovnic pro k = 1, 2, . . . , i. Pouˇ zitelnost metody moment˚ u Moˇ zn´ e probl´ emy: ˇ sen´ı neexistuje ⇒ zkusme ubrat rovnice. 1. Reˇ 2. Je nekoneˇcnˇe mnoho ˇreˇsen´ı ⇒ zkusme pˇribrat dalˇs´ı rovnice. 3. Je v´ıce neˇz jedno ˇreˇsen´ı (napˇr. soustavy kvadratick´ ych rovnic). 4. Je jedin´e ˇreˇsen´ı, ale je obt´ıˇzn´e je nal´ezt. 5. Soustava je ˇspatnˇe podm´ınˇen´ a (typicky pro velk´ y poˇcet parametr˚ u). b∈ 6. Naˇsli jsme jedin´e ˇreˇsen´ı, kter´e vˇsak nesplˇ nuje pˇ redpoklady, ϑ / Π (napˇr. parametry nemohou b´ yt libovoln´ a ˇc´ısla) ⇒ NELZE! Vˇ zdy kontrolujte ˇ reˇ sen´ı! 7. Vˇsem rovnic´ım je pˇrikl´ ad´ ana stejn´ a d˚ uleˇzitost, coˇz b´ yv´a neˇz´adouc´ı (typicky pro velk´ y poˇcet parametr˚ u). 8. Potˇrebn´e momenty nemus´ı existovat (pˇresto je lze “odhadnout”). 9. Nelze pouˇz´ıt pro nenumerick´ a data (pokud je nelze smysluplnˇe oˇc´ıslovat). V´ yhoda: 1. Lze pouˇz´ıt pro diskr´etn´ı, spojit´e i sm´ıˇ sen´ e rozdˇelen´ı beze zmˇen. 8.11.2
Metoda maxim´ aln´ı vˇ erohodnosti (likelihood)
Pro diskr´ etn´ı rozdˇ elen´ı Pravdˇepodobnost realizace je funkce L : Π → h0, 1i, Π ⊆ Ri , parametr˚ u ϑ = (ϑ1 , . . . , ϑi ), zvan´a vˇ erohodnost realizace diskr´ etn´ıho rozdˇ elen´ı, L(ϑ) := pX (x; ϑ) = P [X1 = x1 ∧ . . . ∧ Xn = xn ; ϑ] = n n Y Y = P [Xj = xj ; ϑ] = pX (xj ; ϑ) . j=1
j=1
b = (ϑb1 , . . . , ϑbi ), kter´e maximalizuj´ı vˇerohodnost, resp. jej´ı logaritmus (log-likelihood ), Hled´ ame takov´e hodnoty ϑ `(ϑ) := ln L(ϑ) =
n X
ln pX (xj ; ϑ) .
j=1
(Nutno vylouˇcit pˇr´ıpad pX (xj ; ϑ) = 0, kter´ y vˇsak nevede na maximum.) Pozn´ amka: Odhad na z´ akladˇe maxima vˇerohodnosti odpov´ıd´a Bayesovsk´emu odhadu ve speci´aln´ım pˇr´ıpadˇe, kdy vˇsechny hodnoty parametr˚ u maj´ı stejnou apriorn´ı pravdˇepodobnost (resp. hustotu pravdˇepodobnosti). Pouˇz´ıv´ a se, pokud apriorn´ı pravdˇepodobnosti parametr˚ u nezn´ame. ˇ Pozn´ amka: Casto urˇcujeme vˇerohodnost aˇz na n´asobek konstantou, kterou by bylo obt´ıˇzn´e urˇcit. Na v´ ysledek optimalizace to nem´ a vliv.
41
Pro spojit´ e rozdˇ elen´ı Kaˇzd´ a realizace m´ a nulovou pravdˇepodobnost, proto m´ısto n´ı pouˇzijeme hustotu pravdˇepodobnosti, coˇz ale vede na zcela jin´ y pojem n Y Λ(ϑ) := fX (x; ϑ) = fX (xj ; ϑ) . j=1
Nicm´enˇe i tato funkce Λ : Π → h0, ∞), Π ⊆ Ri , se naz´ yv´a vˇ erohodnost realizace spojit´ eho rozdˇ elen´ı. Pro korektn´ı definici potˇrebujeme spojitou hustotu (alespoˇ n na oboru hodnot, jichˇz n´ahodn´a veliˇcina nab´ yv´ a); takov´ a hustota je nejv´ yˇse jedna. n X λ(ϑ) := ln Λ(ϑ) = ln fX (xj ; ϑ) . j=1
(Nutno vylouˇcit pˇr´ıpad fX (xj ; ϑ) = 0, kter´ y vˇsak nevede na maximum .) Pro sm´ıˇ sen´ e rozdˇ elen´ı nen´ı vˇ erohodnost definov´ ana! Pouˇ zitelnost metody maxim´ aln´ı vˇ erohodnosti Moˇ zn´ e probl´ emy: 1. Je v´ıce neˇz jedno ˇreˇsen´ı. (M˚ uˇze se st´ at, ˇze r˚ uzn´e hodnoty parametr˚ u popisuj´ı tot´eˇz rozdˇelen´ı – vad´ı to?) ˇ sen´ı neexistuje (to se m˚ 2. Reˇ uˇze st´ at jedinˇe kdyˇz vˇerohodnostn´ı funkce je nespojit´a nebo parametrick´ y prostor neuzavˇren´ y). 3. Je jedin´e ˇreˇsen´ı, ale je obt´ıˇzn´e je nal´ezt. (Lok´aln´ı extr´emy nemus´ı b´ yt glob´aln´ı, parametrick´ y prostor nemus´ı b´ yt spojit´ y.) 4. Hodnoty vˇerohodnosti mohou b´ yt velmi mal´e. 5. Nelze pouˇ z´ıt pro sm´ıˇ sen´ e rozdˇ elen´ı! V´ yhody: 1. Hled´ an´ı optima je o nˇeco snazˇs´ı neˇz ˇreˇsen´ı soustavy rovnic – vˇzdy nˇeco podobn´eho najdeme. 2. R˚ uzn´ ym dat˚ um je d´ an spoleˇcn´ y (srovnateln´ y) v´ yznam. 3. Lze pouˇz´ıt i na nenumerick´ a data. 4. Nˇekdy vyb´ır´ ame jen z koneˇcn´eho poˇctu model˚ u, pak metoda maxim´aln´ı vˇerohodnosti je pouˇziteln´ a, zat´ımco postupy zaloˇzen´e na ˇreˇsen´ı rovnic nikoli. 8.11.3
Pˇ r´ıklady na odhady parametr˚ u
Cviˇ cen´ı 8.1. Odhadnˇete diskr´etn´ı rozdˇelen´ı z ˇcetnost´ı hodnot v realizaci: P v´ysledek s 1 2 3 pravdˇepodobnost a b c 1 ˇcetnost ns 10 12 10 32 ˇ sen´ı. Metoda moment˚ Reˇ u: a + b + c = 1, 1 X 10 + 2 · 12 + 3 · 10 EX = s ps = a + 2 b + 3 c = s ns = = 2, n 32 s s X 1 X 2 10 + 4 · 12 + 9 · 10 37 EX 2 = s2 ps = a + 4 b + 9 c = s ns = = , n s 32 8 s X
a=c=
5 , 16 42
b=
6 . 16
Metoda maxim´ aln´ı vˇ erohodnosti: L(a, b) = a10 · b12 · (1 − a − b) 10 , | {z } c
`(b) = ln `(a, b) = 10 ln a + 12 ln b + 10 ln (1 − a − b) , 10 10 10 10 ∂ `(a, b) = − = − , 0= ∂a a 1−a−b a c ∂ 12 10 12 10 0= `(a, b) = − = − , ∂b b 1−a−b b c a=c=
5 b, 6
a z jednotkov´eho souˇctu pravdˇepodobnost´ı opˇet a=c=
5 , 16
b=
6 . 16
Obˇe metody vedly na empirick´e rozdˇelen´ı. Tento v´ ysledek nen´ı n´ahodn´ y: Vˇ eta 8.1. Pokud na diskr´ etn´ı rozdˇelen´ı nejsou kladeny ˇ z´ adn´ e omezuj´ıc´ı podm´ınky, pak empirick´e rozdˇelen´ı je jeho odhadem podle metody moment˚ u i maxim´ alnˇe vˇerohodn´ym odhadem. D˚ ukaz. Oznaˇcme u1 , . . . , ui (i ≤ n) vˇsechny r˚ uzn´ e hodnoty, kter´e se vyskytly v realizaci x, ns ˇcetnost a rs = ns /n relativn´ı ˇcetnost hodnoty us . M´ ame odhadnout pravdˇepodobnosti qs = pX (us ) ,
s = 1, . . . , i ,
i X
qs = 1 .
s=1
Pˇripomeˇ nme, ˇze empirick´e rozdˇelen´ı Emp(x) nab´ yv´a hodnot u1 , . . . , ui s pravdˇepodobnostmi po ˇradˇe r1 , . . . , ri . Metoda maxim´ aln´ı vˇ erohodnosti:
L (q1 , . . . , qi ) =
n Y
pX (xj ) =
i Y
ns
(pX (us ))
=
` (q1 , . . . , qi ) = ln L (q1 , . . . , qi ) =
qsns ,
s=1
s=1
j=1
i Y
i X
ns ln qs .
s=1
Pouˇzijeme metodu Lagrangeov´ ych multiplik´ ator˚ u, tj. pˇriˇcteme c-n´asobek podm´ınky jednotkov´eho souˇctu nezn´ am´ ych a hled´ ame glob´ aln´ı maximum funkce h (c, q1 , . . . , qi ) =
i X
i X ns ln qs + c 1 − qs ,
s=1
s=1
∂ ns 0= h (c, q1 , . . . , qi ) = − c. ∂qs qs Hodnota
i P ns = c je nez´ avisl´ a na s ∈ {1, . . . , i}. Urˇc´ıme ji z podm´ınky 1 = qs = qs s=1
1 c
ns = c = n, qs ns qs = = rs n (empirick´e rozdˇelen´ı). Metoda moment˚ u: EX k =
i X k=1
qs uks =
n i i X 1 X k 1 X xj = ns uks = rs uks . n j=1 n s=1 s=1
43
i P s=1
ns =
n c
ˇ sen´ım je qs = rs (empirick´e rozdˇelen´ı). Je to jedin´e ˇreˇsen´ı, neboˇt matice soustavy Reˇ 1 u1 u12 · · · u1i u21 u22 · · · u2i .. .. .. .. . . . . ui1
ui2
uii
···
(tzv. Vandermondova matice) je regul´ arn´ı, pr´avˇe kdyˇz ˇc´ısla u1 , . . . , ui jsou navz´ajem r˚ uzn´a. Cviˇ cen´ı 8.2. Odhadnˇete meze a, b spojit´eho rovnomˇern´eho rozdˇelen´ı z realizace 1. (3, 7, 5, 8, 1), 2. (0, 0, 0, 0, 5), ˇ sen´ı. Metoda moment˚ Reˇ u: n
EX = EX 2 = (EX)2 + DX =
a+b 2
a+b 1X xs , = 2 n s=1 n
2 +
a2 + a b + b2 (b − a)2 1X 2 = = x . 3 n s=1 s | 12 {z } DX
1. Soustava 24 a+b = , 2 5 2 2 a + ab + b 148 EX 2 = = , 3 5 EX =
m´ a 2 ˇreˇsen´ı . a = 0.36 , . a = 9.24 ,
. b = 9.24 , . b = 0.36
Prvn´ı ˇreˇsen´ı je jedin´e spr´ avn´e. 2. Soustava a+b = 1, 2 2 2 a + ab + b EX 2 = = 5, 3 EX =
m´ a 2 ˇreˇsen´ı . a = −2.5 , . a = 4.5 ,
. b = 4.5 , . b = −2.5 .
ˇadn´e nen´ı spr´ Z´ avn´e, neboˇt 5 ∈ / ha, bi. Metoda maxim´ aln´ı vˇ erohodnosti: Spojit´ a hustota je konstantn´ı n Y
1 = L(a, b) = b − a j=1
1 b−a
1 b−a
na intervalu ha, bi.
n ,
pokud xj ∈ ha, bi pro vˇsechna j; jinak je nulov´ a. Vˇerohodnost je maxim´ aln´ı, pokud b − a je minim´ aln´ı, tj. a = min xj ,
b = max xj .
j
1. 2.
a = 1, a = 0,
j
b = 8. b = 5. 44
Pˇ r´ıklad 8.1. Z realizace n´ ahodn´eho v´ybˇeru x = (x1 , . . . , xn ) z norm´ aln´ıho rozdˇelen´ı N µ, σ 2 2 parametry µ a r = σ .
odhadnˇete
ˇ sen´ı: Metoda moment˚ Reˇ u: Pouˇzijeme prvn´ı dva obecn´e momenty, 2
EX 2 = (EX) + DX = µ2 + σ 2 = µ2 + r .
EX = µ , Pro odhady µ b, rb m´ ame soustavu rovnic
µ b=
n 1 X xj , n j=1
µ b2 + rb =
n 1 X 2 x . n j=1 j
µ b = x, rb =
n n 1 X 2 1 X 2 2 xj − µ x − x2 = σc b2 = X = D Emp(x) . n j=1 n j=1 j
To je alternativn´ı (vych´ ylen´ y konzistentn´ı) odhad rozptylu n n n n X 1 X 2 2 X 1 X 2 2 2 = 1 (x − x) = x − x x + x = σc j j X n j=1 n j=1 j n j=1 n j=1 n n 1X 2 1 X 2 2 2 = x − 2x + x = x − x2 = rb . n j=1 j n j=1 j
Metoda maxim´ aln´ı vˇ erohodnosti: Λ (µ, r) =
Y
fN(µ,r) (xj ) =
j
λ (µ, r) = ln Λ (µ, r) =
n Y j=1
√
1 exp 2πr
−(xj − µ)2 2r
,
n −1 X n n (xj − µ)2 − ln r − ln 2 π , 2 r j=1 2 2
n n n ∂ 1 X 1 X λ (µ, r) = (xj − µ) = xj − n µ = (x − µ) , ∂µ r j=1 r j=1 r n n ∂ 1 X n n 1 X 2 2 λ (µ, r) = (x − µ) − = (x − µ) − r . j j ∂r 2 r2 j=1 2r 2 r2 n j=1
Maximum opˇet nast´ av´ a pro µ b = x, rb =
n n 1 X 1 X 2 2 (xj − µ)2 = (xj − x) = σc X = D Emp(x) . n j=1 n j=1
Odhad parametr˚ u smˇ esi norm´ aln´ıch rozdˇ elen´ı ´ Uloha: Z realizace n´ ahodn´eho v´ ybˇeru (x1 , ..., xn ) urˇcete maxim´alnˇe vˇerohodn´ y odhad smˇesi norm´aln´ıch rozdˇelen´ı se stˇredn´ımi hodnotami µk , k = 1, ..., K, stejn´ ym zn´ am´ ym rozptylem σ 2 a koeficienty smˇesi (v´ahami) ck , k = 1, ..., K.
45
Pokus o ˇ reˇ sen´ı: fX (t) =
X
X
ck fN(µk ,σ2 ) (t) =
k
Λ(µ, c) =
Y
ck √
k
fX (xj ) =
YX
j
j
1 exp 2πσ
−(t − µk )2 2 σ2
,
ck fN(µk ,σ2 ) (xj ) =
k
! X −(xj − µk )2 1 √ = ck exp = 2 σ2 2πσ k j n Y X 1 −(xj − µk )2 = √ , ck exp 2 σ2 2πσ j k X X λ(µ, c) = ln ck fN(µk ,σ2 ) (xj ) = Y
j
k
= −n ln
√
X X −(xj − µk )2 2πσ + ln ck exp . 2 σ2 j k
Vˇerohodnost se tˇeˇzko maximalizuje pˇr´ımo, pouˇz´ıv´a se iteraˇcn´ı metoda: EM algoritmus EM (Expectation-Maximization) [Dempster, Laird, and Rubin 1977, M.I. Schlesinger 1968, US Army ˜1950]. Stupeˇ n pˇ r´ısluˇ snosti xj ke k-t´e sloˇzce smˇesi pop´ıˇseme koeficientem αj,k ∈ h0, 1i, pˇriˇcemˇz K X
n X
αj,k = 1 ,
αj,k > 0 .
j=1
k=1
1. P Zvol´ıme n´ ahodnˇe r˚ uzn´e stˇredn´ı hodnoty sloˇzek smˇesi µk a nenulov´e koeficienty ck , k = 1, ..., K, splˇ nuj´ıc´ı c = 1. k k E. Stanov´ıme stupnˇe pˇr´ısluˇsnosti
αj,k
−(xj −µk )2 ck exp ck fN(µk ,σ2 ) (xj ) 2 σ2 := K = K P P −(xj −µk0 )2 ck0 fN(µk0 ,σ2 ) (xj ) ck0 exp 2 2σ k0 =1
k0 =1
(jmenovatel je normalizaˇcn´ı faktor). M. Aktualizujeme koeficienty sloˇzek smˇesi n P
ck :=
αj,k
j=1 K P n P
= αj,k0
n 1 X αj,k n j=1
k0 =1 j=1
a stˇredn´ı hodnoty sloˇzek jako tˇeˇziˇstˇe hodnot realizace v´aˇzen´ ych stupni pˇr´ısluˇsnosti, n P
µk :=
n P
αj,k xj
j=1 n P
= αj,k
αj,k xj
j=1
n ck
.
j=1
2. Opakujeme EM, dokud to pˇrin´ aˇs´ı podstatnou zmˇenu v´ ysledk˚ u. Podobnˇe lze postupovat i pro nezn´ am´e rozptyly jednotliv´ ych sloˇzek smˇesi. Vˇ eta: V pr˚ ubˇehu EM algoritmu vˇ erohodnost nekles´ a.
46
Toto je jen velmi speci´ aln´ı uk´ azka EM algoritmu; lze jej snadno rozˇs´ıˇrit na v´ıce dimenz´ı a jin´e typy smˇes´ı. Pouˇzit´ı pro parametry smˇes´ı rozdˇelen´ı je typick´e, ne vˇsak jedin´e moˇzn´e. Probl´ em: Uv´ıznut´ı v lok´ aln´ım extr´emu. EM algoritmus rozˇsiˇruje moˇznosti pouˇzit´ı metody maxim´aln´ı vˇerohodnosti. Pouˇzit´ı empirick´eho rozdˇelen´ı Emp(x) v odhadech veliˇcina realizace odhadu nestrann´ y 1 P EX E Emp(x) = + xi = x n i 1 P k x = mk EX k E Emp(x)k = + n i i 1 P DX D Emp(x) = − (xi − x)2 n i n 1 P (xi − x)2 = s2x D Emp(x) = + n−1 n − 1 i r 1 P (xi − x)2 σX σEmp(x) = − n i r r n 1 P (xi − x)2 = sx σEmp(x) = − n−1 n−1 i qX ( 12 ) qEmp(x) ( 12 ) ? qX (α) qEmp(x) (α) ? pX bez omezen´ı pEmp(x) + pX s omezen´ım ? ? fX ?? ? ? = z´ aleˇz´ı na okolnostech
9 9.1
Testov´ an´ı hypot´ ez Z´ akladn´ı pojmy a principy testov´ an´ı hypot´ ez
(doporuˇcen´ a literatura: [Jaroˇs a kol.]) M´ ame posoudit hypot´ezu o hodnotˇe nˇejak´eho parametru rozdˇelen´ı ϑ (pomoc´ı krit´ eria ˇcili testovac´ı statistiky T , resp. jej´ı realizace t). Pˇ redpoklad: Parametr ϑ nab´ yv´ a pouze 2 hodnot, 0 pro “norm´aln´ı” populaci, 1 pro “anom´aln´ı” prvky. O prvku m´ ame rozhodnout, ke kter´e skupinˇe patˇr´ı (tj. odhadnout ϑ). K tomu pouˇzijeme testovac´ı statistiku T (resp. jej´ı realizaci t). Ta z´ avis´ı na ϑ. Pˇredpokl´ adejme, ˇze obˇe skupiny maj´ı zn´am´a rozdˇelen´ı statistiky T , kter´ a pro anom´ aln´ı skupinu nab´ yv´ a “vˇetˇs´ıch” hodnot. (Nˇekter´e hodnoty statistiky T se mohou vyskytnout v obou skupin´ ach, takˇze klasifikace nem˚ uˇze b´ yt bezchybn´a.) Zvol´ıme pr´ah κ ∈ R a prvek klasifikujeme n´asledovnˇe: pro T ≤ κ norm´aln´ı, pro T > κ
anom´aln´ı.
Pˇ r´ıklad: M´ ame zastavit pouˇz´ıv´ an´ı l´eku pro podezˇren´ı z neˇz´adouc´ıch u ´ˇcink˚ u? Nulov´ a hypot´ eza H0 : V´ yrobce je nevinen, riziko se nezvyˇsuje. Alternativn´ı hypot´ eza H1 : V´ yrobce je vinen, riziko se zvyˇsuje. Chyba 1. druhu (obvin´ıme nevinn´eho): Zam´ıtneme nulovou hypot´ezu, kter´a plat´ı. Norm´aln´ı je klasifikov´ an jako anom´ aln´ı s pravdˇepodobnost´ı α(κ) (nerostouc´ı funkce κ). Chyba 2. druhu (osvobod´ıme vinn´eho): Nezam´ıtneme nulovou hypot´ezu, kter´a neplat´ı. Anom´aln´ı je klasifikov´ an jako norm´ aln´ı s pravdˇepodobnost´ı β(κ) (neklesaj´ıc´ı funkce κ). f
f
T0
T1
β
α κ
47
ROC kˇ rivka (angl. ROC curve, receiver operating characteristic) vyjadˇruje z´avislost pravdˇepodobnosti chyby prvn´ıho druhu α (vodorovnˇe) a s´ıly testu 1 − β (svisle), parametrem kˇrivky je kritick´a hodnota κ. Volbou kritick´e hodnoty se chceme co nejv´ıce pˇribl´ıˇzit bodu (0, 1), tj. bezchybn´e klasifikaci. Nicm´enˇe vybereme bod, v nˇemˇz se pravdˇepodobnost chyby prvn´ıho druhu rovn´a zvolen´emu ˇc´ıslu α (tj. s danou vodorovnou souˇradnic´ı).
Typick´ y pr˚ ubˇeh ROC kˇrivky Moˇzn´ a krit´eria pro volbu prahu κ: • α(κ) = β(κ), • min(α(κ) + β(κ)), κ
• min e(α(κ), β(κ)), napˇr. min(a α(κ) + b β(κ)), tj. minimalizace v´ yplatn´ı funkce, κ
κ
• α(κ) = pˇredem zvolen´ a mal´ a hodnota. Vˇetˇsinou se pouˇz´ıv´ a posledn´ı moˇznost, a to z d˚ uvod˚ u • technick´ ych (snazˇs´ı u ´loha), • nepotˇrebujeme zn´ at rozdˇelen´ı anom´ aln´ı skupiny, • obvykle m´ ame v´ıce neˇz dvˇe moˇzn´e hodnoty parametru, coˇz situaci komplikuje. Volbou pˇr´ısnosti krit´eria sniˇzujeme riziko jedn´e chyby na u ´kor zv´ yˇsen´ı rizika druh´e chyby. Dohodnut´e v´ ychodisko: Kritickou hodnotu testu κ stanov´ıme tak, aby chyba 1. druhu nast´avala s danou pravdˇepodobnost´ı α zvanou hladina v´ yznamnosti (nebo s menˇs´ı pravdˇepodobnost´ı, nelze-li dos´ahnout rovnost). Podle tradice v oboru se nejˇcastˇeji uˇz´ıvaj´ı hodnoty 1 % nebo 5 % (vˇzdy α 21 ). Hodnoty krit´eria, kter´ a pˇresahuj´ı kritickou hodnotu (odpov´ıdaj´ı v´ ysledk˚ um m´alo pravdˇepodobn´ ym pˇri platnosti nulov´e hypot´ezy) povaˇzujeme za statisticky v´ yznamn´ e a nulovou hypot´ ezu zam´ıt´ ame. V opaˇcn´em pˇr´ıpadˇe nulovou hypot´ ezu nezam´ıt´ ame, ale ani nepotvrzujeme, neboˇt t´ım bychom se mohli dopustit chyby 2. druhu s bl´ıˇze neurˇcenou pravdˇepodobnost´ı β. Slovn´ıˇ cek pojm˚ u (pro porozumˇen´ı jin´ ym text˚ um, zde se t´emˇeˇr nepouˇzij´ı) skuteˇcnost test pozitivn´ı negativn´ı celkem
anom´aln´ı
norm´aln´ı
celkem
TP FN P
FP TN N
P0 N0
(Poloˇzky v tabulce mohou b´yt pravdˇepodobnosti empirick´eho nebo skuteˇcn´eho rozdˇelen´ı nebo empirick´e ˇcetnosti.) T P skuteˇcnˇe pozitivn´ı (true positive) F P faleˇsnˇe pozitivn´ı, chyba 1. druhu (false positive, type I error ) T N skuteˇcnˇe negativn´ı (true negative) F N faleˇsnˇe negativn´ı, chyba 2. druhu (false negative, type II error ) FP FP α= = = pravdˇepodobnost chyby 1. druhu N TN + FP FN FN β= = = pravdˇepodobnost chyby 2. druhu P TP + FN
48
TP TP = =1−β TP + FN P
senzitivita, s´ıla, m´ıra skuteˇcnˇe pozitivn´ıch sensitivity, recall, true positive rate
TN TN = =1−α TN + FP N
specificita, m´ıra skuteˇcnˇe negativn´ıch specificity, true negative rate
FP FP = =α TN + FP N
m´ıra faleˇsnˇe pozitivn´ıch false positive rate
TP + TN TP + TN = TP + TN + FP + FN P +N
nespr´avnˇe pˇresnost accuracy
TP + FN P = TP + TN + FP + FN P +N
prevalence
TP TP = 0 TP + FP P
pˇresnost, prediktivn´ı hodnota pozitivn´ıho testu precision, positive predictive value
TN TN prediktivn´ı hodnota negativn´ıho testu = negative predictive value TN + FN N0 Jednoduch´ a hypot´ eza: nulov´e hypot´eze odpov´ıd´a jedin´a hodnota parametru. Sloˇ zen´ a hypot´ eza: nulov´e hypot´eze odpov´ıd´a v´ıce hodnot parametru. Jednoduch´ a alternativa: alternativn´ı hypot´eze odpov´ıd´a jedin´a hodnota parametru. Sloˇ zen´ a alternativa: alternativn´ı hypot´eze odpov´ıd´a v´ıce hodnot parametru. ˇ Casto se formuluje nulov´ a a alternativn´ı hypot´eza tak, ˇze nejsou navz´ajem sv´ ymi negacemi a nepokr´ yvaj´ı prostor vˇsech moˇzn´ ych hodnot parametru. Vznik´ a t´ım jen chaos (viz vˇetˇsina ostatn´ı literatury). Snadno se mu vyhneme, kdyˇz budeme formulovat nulovou hypot´ezu jako negaci alternativn´ı hypot´ezy. Je-li napˇr. H1 : ϑ > c, pak nevol´ıme H0 : ϑ = c, ale H0 : ϑ ≤ c. (Nejvˇetˇs´ı riziko chyby 1. druhu obykle odpov´ıd´ a pˇr´ıpadu ϑ = c, takˇze postup je stejn´ y.) U sloˇzen´e hypot´ezy poˇzadujeme, aby pravdˇepodobnost chyby 1. druhu byla nejv´ yˇse α pro vˇ sechny hodnoty parametru vyhovuj´ıc´ı nulov´e hypot´eze. (Statistick´ a v´yznamnost neznamen´ a v´yznamnost praktickou.) ˇ sen´ı: Nulovou hypot´ezu zam´ıtneme, pr´ Reˇ avˇe kdyˇz hodnota krit´eria z´ıskan´a z realizace nepadne do intervalu spolehlivosti pro koeficient spolehlivosti 1 − α, tj. kritick´a hodnota je mez´ı intervalov´eho odhadu. Obr´ acen´ y probl´ em: Pˇri jak´e mezn´ı hladinˇe v´ yznamnosti by pozorovan´a hodnota byla kritick´a; tomu ˇr´ık´ ame ˇ ım niˇ dosaˇ zen´ a v´ yznamnost; staˇc´ı ji porovnat s pˇredem zvolenou hladinou v´ yznamnosti testu. (C´ zˇ s´ı ˇ c´ıslo, t´ım v´ yznamnˇ ejˇ s´ı v´ ysledek.) Programy obvykle d´avaj´ı za v´ ysledek dosaˇzenou v´ yznamnost (obvykle se znaˇc´ı P a ˇr´ık´ a se j´ı pouze significance). V´ yhody: hladinu v´ yznamnosti nen´ı tˇreba pˇredem zadat, a nav´ıc se dov´ıme, jak daleko od n´ı jsme byli. Typick´ y tvar testu: Pro mezn´ı pˇr´ıpad nulov´e hypot´ezy, ϑ = c, odvod´ıme rozdˇelen´ı testovac´ı statistiky T , kter´ a s ϑ roste. Kvantily tohoto rozdˇelen´ı urˇcuj´ı intervalov´ y odhad s koeficientem spolehlivosti 1 − α. Nulovou hypot´ezu zam´ıtneme, pokud realizace t statistiky T padne mimo tento interval: H0 ϑ≤c ϑ≥c ϑ=c
H1 ϑ>c ϑ
zam´ıt´ame pro t > qT (1 − α) t < qT (α) t > qT (1 − α2 ) nebo t < qT ( α2 )
dosaˇzen´a v´ yznamnost 1 − FT (t) FT (t) 2 min (FT (t), 1 − FT (t))
V literatuˇre se setk´ ame i s n´ asleduj´ıc´ımi pˇr´ıpady hypot´ez, kter´e se vˇsak ˇreˇs´ı stejnˇe: H0 ϑ=c ϑ=c
H1 ϑ>c ϑ
nahrad´ıme
49
H0 ϑ≤c ϑ≥c
H1 ϑ>c ϑ
9.2 9.2.1
Testy stˇ redn´ı hodnoty norm´ aln´ıho rozdˇ elen´ı Pˇ ri zn´ am´ em rozptylu σ 2
x−c√ n σ porovn´ av´ ame s kvantily normovan´ eho norm´ aln´ıho rozdˇ elen´ı: t=
H0 µ≤c µ≥c µ=c
zam´ıt´ame pro t > Φ−1 (1 − α) t < −Φ−1 (1 − α) = Φ−1 (α) |t| > Φ−1 (1 − α2 )
dosaˇzen´a v´ yznamnost 1 − Φ(t) Φ(t) 2 (1 − Φ(|t|))
D´ıky centr´ aln´ı limitn´ı vˇetˇe je odhad pouˇziteln´ y i pro v´ ybˇer z jin´eho neˇz norm´aln´ıho rozdˇelen´ı, pokud m´a nenulov´ y rozptyl a rozsah v´ ybˇeru je velk´ y. 9.2.2
Pˇ ri nezn´ am´ em rozptylu t=
x−c√ n sx
porovn´ av´ ame s kvantily Studentova rozdˇ elen´ı s n − 1 stupni volnosti: H0 µ≤c µ≥c µ=c
zam´ıt´ame pro t > qt(n−1) (1 − α) t < −qt(n−1) (1 − α) |t| > qt(n−1) (1 − α2 )
dosaˇzen´a v´ yznamnost 1 − Ft(n−1) (t) Ft(n−1) (t) 2 1 − Ft(n−1) (|t|)
D´ıky centr´ aln´ı limitn´ı vˇetˇe je odhad pouˇziteln´ y i pro v´ ybˇer z jin´eho neˇz norm´aln´ıho rozdˇelen´ı, pokud m´a nenulov´ y rozptyl a rozsah v´ ybˇeru je velk´ y (pak m˚ uˇzeme m´ısto Studentova rozdˇelen´ı pouˇz´ıt norm´aln´ı).
9.3
Testy rozptylu norm´ aln´ıho rozdˇ elen´ı t=
(n − 1) s2x c
porovn´ av´ ame s kvantily χ2 -rozdˇ elen´ı s n − 1 stupni volnosti: H0 σ ≤c σ2 ≥ c σ2 = c 2
zam´ıt´ ame pro t > qχ2 (n−1) (1 − α) t < qχ2 (n−1) (α) t < qχ2 (n−1) ( α2 ) nebo t > qχ2 (n−1) (1 − α2 )
dosaˇzen´a v´ yznamnost 1 − Fχ2 (n−1) (t) Fχ2 (n−1) (t) 2 min Fχ2 (n−1) (t), 1 − Fχ2 (n−1) (t)
D´ıky centr´ aln´ı limitn´ı vˇetˇe je odhad pouˇziteln´ y i pro v´ ybˇer z jin´eho neˇz norm´aln´ıho rozdˇelen´ı, pokud m´a nenulov´ y rozptyl a rozsah v´ ybˇeru je velk´ y (pak m˚ uˇzeme m´ısto χ2 -rozdˇelen´ı pouˇz´ıt norm´aln´ı).
9.4
Porovn´ an´ı dvou norm´ aln´ıch rozdˇ elen´ı
Pˇ redpoklad: Nez´ avisl´ e v´ ybˇery (X1 , . . . , Xm ) z rozdˇelen´ı N(EX, DX), (Y1 , . . . , Yn ) z rozdˇelen´ı N(EY, DY ).
50
9.4.1
Testy rozptylu dvou norm´ aln´ıch rozdˇ elen´ı [Fisher] 2 . 2 Je-li DX = DY , pak SX = SY . Testovac´ı statistikou je 2 SX . SY2
T =
F-rozdˇ elen´ı (Fisherovo-Snedecorovo rozdˇ elen´ı) s ξ a η stupni volnosti je rozdˇelen´ı n´ahodn´e veliˇciny U ξ V η
F =
,
kde U, V jsou nez´ avisl´ e n´ ahodn´e veliˇciny s rozdˇelen´ım χ2 (ξ), resp. χ2 (η). Znaˇcen´ı: F(ξ, η) Hustota pro x > 0: − ξ+η 2 ξ ξ −1 , fF(ξ,η) (x) = c (ξ, η) x 2 1+ x η ξ2 Γ ξ+η 2 ξ c (ξ, η) = η η ξ Γ Γ 2
2
Je-li DX = DY = σ 2 , pak dosad´ıme 2 (m − 1) SX m´a χ2 (m − 1) , 2 σ (n − 1) SY2 m´a χ2 (n − 1) , V := σ2 ξ := m − 1, η := n − 1 ,
U :=
F =
U ξ V η
=
2 (m−1) SX (m−1) σ 2 2 (n−1) SY (n−1) σ 2
=
2 SX =T. SY2
Testujeme realizaci t=
s2x s2y
na rozdˇelen´ı F(m − 1, n − 1): H0 DX ≤ DY DX ≥ DY DX = DY
zam´ıt´ame pro t > qF(m−1,n−1) (1 − α) t < qF(m−1,n−1) (α) t < qF(m−1,n−1) ( α2 ) nebo t > qF(m−1,n−1) (1 − α2 )
dosaˇzen´a v´ yznamnost 1 − FF(m−1,n−1) (t) FF(m−1,n−1) (t) 2 min(FF(m−1,n−1) (t), 1 − FF(m−1,n−1) (t))
Pro kaˇzdou hladinu v´ yznamnosti potˇrebujeme dvoudimenzion´aln´ı tabulku kvantil˚ u indexovanou ξ, η; obvykle je tabelov´ ana jen polovina, druhou je tˇreba dopoˇc´ıtat podle vzorce qF(ξ,η) (β) =
1 . qF(η,ξ) (1 − β)
(Pozor na opaˇcn´e poˇrad´ı index˚ u!) 2 2 SY SX L´epe je uvaˇzovat S 2 m´ısto S 2 , takˇze rozliˇs´ıme 2 pˇr´ıpady: X
1. Pro s2x ≥ s2y testujeme
Y
t=
s2x ≥1 s2y
na rozdˇelen´ı F(m − 1, n − 1): 51
H0 DX ≤ DY DX ≥ DY DX = DY
zam´ıt´ame pro t > qF(m−1,n−1) (1 − α) nezam´ıt´ame t > qF(m−1,n−1) (1 − α2 )
dosaˇzen´a v´ yznamnost 1 − FF(m−1,n−1) (t) ˇz´adn´a 2 1 − FF(m−1,n−1) (t)
1. Pro s2x ≤ s2y testujeme t0 =
s2y 1 = 2 ≥1 t sx
na rozdˇelen´ı F(n − 1, m − 1) (pozor na poˇrad´ı poˇct˚ u stupˇ n˚ u volnosti!): H0 DX ≤ DY DX ≥ DY DX = DY
zam´ıt´ame pro nezam´ıt´ame t0 > qF(n−1,m−1) (1 − α) t0 > qF(n−1,m−1) (1 − α2 )
dosaˇzen´a v´ yznamnost ˇz´adn´a 1 − FF(n−1,m−1) (t0 ) 2 1 − FF(n−1,m−1) (t0 )
D´ıky centr´ aln´ı limitn´ı vˇetˇe je odhad pouˇziteln´ y i pro v´ ybˇer z jin´eho neˇz norm´aln´ıho rozdˇelen´ı, pokud m´a nenulov´ y rozptyl a rozsah v´ ybˇeru je velk´ y. 9.4.2
Testy stˇ redn´ıch hodnot dvou norm´ aln´ıch rozdˇ elen´ı se stejn´ ym zn´ am´ ym rozptylem σ 2 σ2 m´ a N EX, , m σ2 m´ a N EY, , n 1 1 2 m´ a N EX − EY, σ + . m n
Xm Yn Xm − Y n Za pˇredpokladu EX = EY :
T :=
Xm − Y n q m´a N (0, 1) . 1 σ m + n1
Testujeme realizaci t na N(0, 1) (viz kapitola 9.2.1). 9.4.3
2 , σY2 Testy stˇ redn´ıch hodnot dvou norm´ aln´ıch rozdˇ elen´ı s r˚ uzn´ ymi zn´ am´ ymi rozptyly σX
σ2 X m m´ a N EX, X , m σ2 Y n m´ a N EY, Y , n 2 σX σY2 + . X m − Y n m´ a N EX − EY, m n Za pˇredpokladu EX = EY : Xm − Y n m´a N(0, 1) . T := q 2 2 σX σY + m n Testujeme realizaci t na N(0, 1) (viz kapitola 9.2.1). D´ıky centr´ aln´ı limitn´ı vˇetˇe je odhad pouˇziteln´ y i pro v´ ybˇer z jin´eho neˇz norm´aln´ıho rozdˇelen´ı, pokud m´a nenulov´ y rozptyl a rozsah v´ ybˇeru je velk´ y.
52
9.4.4
Testy stˇ redn´ıch hodnot dvou norm´ aln´ıch rozdˇ elen´ı se stejn´ ym nezn´ am´ ym rozptylem σ 2
Nejprve ovˇeˇr´ıme pˇredpoklad DX = DY = σ 2 (viz kapitola 9.4.1). (Ve skuteˇcnosti nem˚ uˇzeme pˇredpoklad ovˇeˇrit, jedinˇe vyvr´ atit; pokus´ıme se o to, a pokud se to nepodaˇr´ı, pokraˇcujeme. Bez tohoto pˇredpokladu by byl dalˇs´ı postup sloˇzitˇejˇs´ı, viz napˇr. [Mood a kol.].) σ2 , m´ a N EX, m σ2 m´ a N EY, , n 1 1 2 + . m´ a N EX − EY, σ m n
Xm Yn Xm − Y n Za pˇredpokladu EX = EY :
Xm − Y n q m´a N(0, 1) . 1 σ m + n1 2 Pro mˇeˇren´ı v´ yznamnosti potˇrebujeme odhad rozptylu. M´ame dva odhady SX , SY2 t´eˇze hodnoty σ 2 ; pouˇzijeme jejich v´ aˇzen´ y pr˚ umˇer takov´ y, abychom znali i jeho rozdˇelen´ı. 2 (m − 1) SX m´a χ2 (m − 1) , 2 σ (n − 1) SY2 m´a χ2 (n − 1) , σ2 2 (m − 1) SX + (n − 1) SY2 m´a χ2 (m + n − 2) σ2
se stˇredn´ı hodnotou m + n − 2, 2 (m − 1) SX S2 + (n − 1) SY2 = (m + n − 2) σ 2 σ2
m´ a stˇredn´ı hodnotu 1 a S 2 :=
2 (m − 1) SX + (n − 1) SY2 m+n−2
je nestrann´ y odhad σ 2 , vedouc´ı na odhad smˇerodatn´e odchylky s 2 + (n − 1) S 2 (m − 1) SX Y S := . m+n−2 Ten pouˇzijeme m´ısto nezn´ am´e smˇerodatn´e odchylky σ a v´ ysledn´e krit´erium Xm − Y n T := q = 1 + n1 S m
X√ m −Y n 1 1 σ m +n
q
m´a t(m + n − 2) .
S2 σ2
Testujeme realizaci t na rozdˇelen´ı t(m + n − 2) (viz kapitola 9.2.2). D´ıky centr´ aln´ı limitn´ı vˇetˇe je odhad pouˇziteln´ y i pro v´ ybˇer z jin´eho neˇz norm´aln´ıho rozdˇelen´ı, pokud m´a nenulov´ y rozptyl a rozsah v´ ybˇeru je velk´ y (pak m˚ uˇzeme m´ısto Studentova rozdˇelen´ı pouˇz´ıt norm´aln´ı).
9.5
Testy stˇ redn´ıch hodnot dvou norm´ aln´ıch rozdˇ elen´ı - p´ arov´ y test
(inspirov´ ano [SH10], volnˇe upraveno) Pˇ r´ıklad: M´ ame porovnat pr˚ umˇernou teplotu na dvou m´ıstech. Standardn´ı test stˇredn´ıch hodnot dvou norm´aln´ıch rozdˇelen´ı je slab´ y kv˚ uli velk´emu rozptylu, kter´ y vˇsak m´ a spoleˇcnou pˇr´ıˇcinu (vyj´ adˇrenou n´ ahodn´ ymi veliˇcinami Zj ) a projevuje se synchronnˇe v obou v´ ybˇerech; proto v´ ybˇery nelze popsat jako stejnˇ e rozloˇ zen´ e a navz´ ajem nez´ avisl´ e.
53
Situaci m˚ uˇzeme popsat n´ asleduj´ıc´ım modelem: Xj = Zj + Uj , Yj = Zj + Vj − c , 2 kde n´ ahodn´e veliˇciny U1 . . . , Un , V1 . . . , Vn jsou nez´avisl´e, U1 . . . , Un maj´ı rozdˇelen´ı N(0, σU ), V1 . . . , Vn maj´ı 2 rozdˇelen´ı N(0, σV ) a c ∈ R. Testujeme hypot´ezu o hodnotˇe c (nejˇcastˇeji testujeme pˇredpoklad c = 0). 2 2 2 N´ ahodn´e veliˇciny ∆j := Xj − Yj = Uj − Vj + c (j = 1, . . . , n) s rozdˇelen´ım N(c, σ∆ ) (σ∆ = σU + σV2 ) jsou nez´ avisl´e. Obecnˇeji n´ am staˇc´ı: 2 Pˇ redpoklad: N´ ahodn´e veliˇciny ∆j := Xj − Yj jsou nez´avisl´e a maj´ı rozdˇelen´ı N(c, σ∆ ). 2 Pokud rozptyl σ∆ zn´ ame, testujeme
T :=
∆ − c√ X − Y − c√ n= n σ∆ σ∆
na rozdˇelen´ı N(0, 1) dle kapitoly 9.2.1. Pokud rozptyl nezn´ ame, testujeme T :=
∆ − c√ n S∆
na rozdˇelen´ı t(n − 1) dle kapitoly 9.2.2. D´ıky centr´ aln´ı limitn´ı vˇetˇe je odhad pouˇziteln´ y i pro v´ ybˇer z jin´eho neˇz norm´aln´ıho rozdˇelen´ı, pokud m´a nenulov´ y rozptyl a rozsah v´ ybˇeru je velk´ y (pak m˚ uˇzeme m´ısto Studentova rozdˇelen´ı pouˇz´ıt norm´aln´ı).
9.6
Korelace, jej´ı odhad a testov´ an´ı
(dle [Likeˇs, Machek]) Na z´ akladˇe realizace dvojrozmˇern´eho n´ ahodn´eho v´ ybˇeru ((x1 , y1 ), . . . , (xn , yn )) m˚ uˇzeme korelaci %(X, Y ) =
E ((X − EX) (Y − EY )) ∈ h−1, 1i σX σY
odhadnout pomoc´ı korelace empirick´eho rozdˇelen´ı neboli realizace v´ ybˇ erov´ eho koeficientu korelace n P
(xj − x) (yj − y) j=1 rx,y = %(Emp(x, y)) = v ! ! ∈ h−1, 1i , u n n u P P t (yj − y)2 (xj − x)2 j=1
j=1
coˇz je kosinus u ´hlu vektor˚ u (x1 − x, . . . , xn − x) , (y1 − y, . . . , yn − y) ∈ Rn . Jednopr˚ uchodov´ y vzorec: n
n P
xj yj −
j=1
rx,y = v u u n u P x2j − t n j=1
n P
!
n P
xj
j=1 n P
xj
yj
j=1
!2 n
j=1
!
n P j=1
yj2 −
. n P
!2 yj
j=1
V´ ybˇ erov´ y koeficient korelace je odpov´ıdaj´ıc´ı odhad n P
(Xj − X) (Yj − Y )
j=1
RX,Y = v ! u n u P t 2 (Xj − X) j=1
n P
!. (Yj − Y )2
j=1
54
9.6.1
Test nekorelovanosti dvou norm´ aln´ıch rozdˇ elen´ı
Pˇ redpoklad: Dvojrozmˇern´ a n´ ahodn´ a veliˇcina (X, Y ) m´a (dvojrozmˇern´e) norm´aln´ı rozdˇelen´ı, n ≥ 3. Testovac´ı statistikou je √ RX,Y n − 2 T = q , 2 1 − RX,Y za pˇredpokladu nekorelovanosti m´ a rozdˇelen´ı t(n − 2), d´ale postupujeme dle kapitoly 9.2.2 (pro oboustrann´ y test i jednostrann´e testy). D´ıky centr´ aln´ı limitn´ı vˇetˇe je odhad pouˇziteln´ y i pro v´ ybˇer z jin´eho neˇz norm´aln´ıho rozdˇelen´ı, pokud m´a nenulov´ y rozptyl a rozsah v´ ybˇeru je velk´ y (pak m˚ uˇzeme m´ısto Studentova rozdˇelen´ı pouˇz´ıt norm´aln´ı).
9.7
χ2 -test dobr´ e shody
Slouˇz´ı k testov´ an´ı hypot´ezy, ˇze n´ ahodn´ a veliˇcina m´a pˇredpokl´adan´e rozdˇelen´ı. Protoˇze um´ıme hypot´ezy jen zam´ıtat, nikdy nepotvrd´ıme, ˇze takov´e rozdˇelen´ı opravdu m´a. Testujeme diskr´ etn´ı rozdˇ elen´ı (mohlo vzniknout diskretizac´ı spojit´eho). H0 : N´ ahodn´ a veliˇcina m´ a diskr´etn´ı rozdˇelen´ı do k tˇr´ıd s nenulov´ ymi pravdˇepodobnostmi p1 , . . . , pk . Testujeme pomoc´ı realizace n´ ahodn´eho v´ ybˇeru rozsahu n. Nen´ı d˚ uleˇzit´e poˇrad´ı v´ ysledk˚ u, pouze jejich ˇ cetnosti Ni , resp. realizace ˇ cetnost´ı ni nebo realizace relativn´ıch ˇ cetnost´ı nni (i = 1, . . . , k). Porovn´av´ame je s teoretick´ ymi ˇ cetnostmi n pi . Speci´ aln´ı pˇ r´ıpad: Pro k = 2 maj´ı N1 , N2 binomick´a rozdˇelen´ı Bi(n, p1 ), Bi(n, p2 ), kter´a lze pro velk´ a n pˇribliˇznˇe nahradit norm´ aln´ımi, N(n p1 , n p1 (1 − p1 )) = N(n p1 , n p1 p2 ) , N(n p2 , n p2 (1 − p2 )) = N(n p2 , n p1 p2 ) . Kvadr´ aty normovan´ ych veliˇcin (norm N1 )2 =
(N1 − n p1 )2 , n p1 p2
(norm N2 )2 =
(N2 − n p2 )2 n p1 p2
maj´ı pˇribliˇznˇe rozdˇelen´ı χ2 (1). Jsou to tyt´eˇz n´ahodn´e veliˇciny, neboˇt (norm N2 )2 =
(N2 − n p2 )2 (n − N1 − n (1 − p1 ))2 (N1 − n p1 )2 = = = (norm N1 )2 , n p1 p2 n p1 p2 n p1 p2
takˇze rozdˇelen´ı pˇribliˇznˇe χ2 (1) m´ a i jejich konvexn´ı kombinace 2
p2 (norm N1 )2 + p1 (norm N2 )2 =
X (Ni − n pi )2 (N1 − n p1 )2 (N2 − n p2 )2 + = . n p1 n p2 n pi i=1
Obecnˇe pro libovoln´e k je testovac´ı statistikou T :=
k X (Ni − n pi )2
,
n pi
i=1
jej´ıˇz rozdˇelen´ı se pro n → ∞ bl´ıˇz´ı χ2 (k − 1). Jej´ı realizace t :=
k X (ni − n pi )2
n pi
i=1
.
Dosaˇzen´ a v´ yznamnost: 1−Fχ2 (k−1) (t). Nulovou hypot´ezu zam´ıt´ame pro t > qχ2 (k−1) (1−α), tj. 1−Fχ2 (k−1) (t) < α. Modifikace: Pokud chceme naopak odhalit pˇrekvapivˇe dobrou shodu s modelem, pouˇzijeme doln´ı intervalov´ y odhad a nulovou hypot´ezu zam´ıt´ ame pro t < qχ2 (k−1) (α). Dosaˇzen´a v´ yznamnost: Fχ2 (k−1) (t).
55
Cviˇ cen´ı 9.1. Tabulka ud´ av´ a rozdˇelen´ı (podm´ınˇen´e) pravdˇepodobnosti, ˇze voliˇc strany zastoupen´e v parlamentu ˇ na 5% hladinˇe v´yznamnosti hypot´ezu, ˇze stejn´e rozdˇelen´ı maj´ı i poslanci. volil danou stranu. Posudte relativn´ı preference poˇcet poslanc˚ u
0.376 81
0.344 74
0.136 26
0.077 13
0.067 6
ˇ sen´ı. Dopln´ıme tabulku (posledn´ı sloupec uv´ Reˇ ad´ı celkov´y u ´daj): relativn´ı preference poˇcet poslanc˚ u teor. ˇcetnost pˇr´ıspˇevek k χ2
0.136 0.077 0.067 1 26 13 6 200 27.2 15.4 13.4 200 0.052 0.374 4.086 5 .353 . Hodnotu krit´eria 5.353 porovn´ ame s kvantilem qχ2 (4) (0.95) = 9.4877 a hypot´ezu nezam´ıt´ ame (ponˇekud pˇrekvapiv´y z´ avˇer vzhledem k tomu, ˇze posledn´ı dvˇe strany maj´ı t´emˇeˇr stejnou podporu voliˇc˚ u, ale posledn´ı m´ a v´ıce neˇz 2× m´enˇe poslanc˚ u). 9.7.1
0.376 81 75.2 0.447
0.344 74 68.8 0.393
Modifikace
Probl´ em: Testujeme na rozdˇelen´ı, kter´emu se skuteˇcn´e jen limitnˇe bl´ıˇz´ı. T´ım se dopouˇst´ıme bl´ıˇze neurˇcen´e dodateˇcn´e chyby. Teoretick´e ˇcetnosti tˇr´ıd nesm´ı b´ yt pˇr´ıliˇs mal´e (aspoˇ n 5), aby n´aˇs pˇredpoklad byl opr´avnˇen´ y. Modifikace: Vych´ az´ı-li teoretick´ a ˇcetnost nˇekter´ ych tˇr´ıd pˇr´ıliˇs mal´a, slouˇc´ıme je s jin´ ymi tˇr´ıdami (pokud moˇzno “bl´ızk´ ymi”). Pozn´ amka: Pokud data pˇredpokl´ adan´e rozdˇelen´ı nemaj´ı a rozsah v´ ybˇeru zvˇetˇs´ıme m×, systematick´ y pˇr´ıspˇevek m2 ym hodnot´am krit´eria (velk´e s´ıle testu) pro rozs´ ahl´e ke krit´eriu se rovnˇeˇz zv´ yˇs´ı m = m×. Proto se nedivme velk´ v´ ybˇery. Probl´ em: Zkouman´e rozdˇelen´ı m˚ uˇze z´ aviset na nezn´am´ ych parametrech. Modifikace 1: Parametry odhadneme na z´ akladˇe jin´ eho n´ahodn´eho v´ ybˇeru. Modifikace 2: Parametry odhadneme na z´ akladˇe stejn´ eho n´ahodn´eho v´ ybˇeru, kter´ y pouˇz´ıv´ame k testu dobr´e shody. T´ım jsme vˇsak sn´ıˇzili poˇcet stupˇ n˚ u volnosti, takˇze mus´ıme testovat na rozdˇelen´ı χ2 (k − 1 − q), kde q je poˇcet odhadnut´ ych parametr˚ u. Probl´ em: Chceme testovat shodu se spojit´ ym nebo sm´ıˇ sen´ ym rozdˇelen´ım. Modifikace: Rozdˇelen´ı napˇred diskretizujeme, tj. vˇsechny moˇzn´e v´ ysledky rozdˇel´ıme do k disjunktn´ıch tˇr´ıd. Prvky v jedn´e tˇr´ıdˇe si maj´ı b´ yt “bl´ızk´e”, jinak sniˇzujeme s´ılu testu. Vˇsechny teoretick´e ˇcetnosti mus´ı b´ yt dostateˇcnˇe velk´e a nejl´epe zhruba stejn´e. Pozn´ amka: Z´ asadnˇe mus´ıme pracovat s jednotkami (objekty), z nichˇz kaˇzd´a zvl´aˇsˇt (a nez´avisle) je zaˇrazena do nˇejak´e tˇr´ıdy. Nelze poˇc´ıtat s tis´ıci, procenty, spojit´ ym mnoˇzstv´ım atd. 9.7.2
χ2 -test nez´ avislosti dvou rozdˇ elen´ı
(dle [Likeˇs, Machek]) H0 : Dvˇe diskr´etn´ı n´ ahodn´e veliˇciny (jejichˇz rozdˇelen´ı nezn´ame) jsou nez´avisl´e. X nab´ yv´ a k hodnot s pravdˇepodobnostmi p1 , . . . , pk , Y nab´ yv´ a m hodnot s pravdˇepodobnostmi q1 , . . . , qm . Realizace dvojrozmˇern´eho n´ ahodn´eho v´ ybˇeru ((x1 , y1 ), . . . , (xn , yn )) obsahuje dvojice realizac´ı n´ahodn´ ych veliˇcin X, Y ; potˇrebujeme pouze ˇcetnosti Nij , resp. jejich realizace nij (i = 1, . . . , k; j = 1, . . . , m). Ty b´ yvaj´ı uspoˇr´ ad´ any do tzv. kontingenˇ cn´ı tabulky. Poˇcet tˇr´ıd je k m. Za pˇredpokladu nez´ avislosti jsou pravdˇepodobnosti v´ ysledk˚ u pi qj (i = 1, . . . , k; j = 1, . . . , m), T :=
k X m X (Nij − n pi qj )2 se bl´ıˇz´ı χ2 (k m − 1) . n p q i j i=1 j=1
Pouˇzijeme realizaci odhadu t :=
k X m X (nij − n pi qj )2 , n pi qj i=1 j=1
56
kde nezn´ am´e parametry pi , qj odhadneme pomoc´ı maxima vˇerohodnosti neboli parametry empirick´eho rozdˇelen´ı, m 1 X pi = nij , n j=1
Z nich je jen (k − 1) + (m − 1) nez´ avisl´ ych (neboˇt
k P
k 1 X qj = nij . n i=1
pi = 1,
i=1
m P
qj = 1), takˇze v´ ysledn´ y poˇcet stupˇ n˚ u volnosti je
j=1
k m − 1 − (k − 1) − (m − 1) = (k − 1) (m − 1) a testujeme t na χ2 ((k − 1) (m − 1)). Nulovou hypot´ezu zam´ıt´ ame pro t > qχ2 ((k−1) (m−1)) (1 − α). Dosaˇzen´ a v´ yznamnost: 1 − Fχ2 ((k−1) (m−1)) (t). 9.7.3
χ2 -test dobr´ e shody dvou rozdˇ elen´ı
H0 : Dva n´ ahodn´e v´ ybˇery poch´ azej´ı ze stejn´eho diskr´etn´ıho rozdˇelen´ı. Rozsahy v´ ybˇer˚ u jsou m, n, ˇcetnosti v´ ysledk˚ u mi , ni (i = 1, . . . , k). Sjednocen´ı obou v´ ybˇer˚ u povaˇzujeme za m + n realizac´ı n´ahodn´e veliˇciny X s nezn´am´ ymi pravdˇepodobnostmi pi (i = 1, . . . , k), jejichˇz maxim´ alnˇe vˇerohodn´ y odhad je pi =
m i + ni . m+n
Zavedeme druhou n´ ahodnou veliˇcinu Y se dvˇema hodnotami (napˇr. 1, 2), kter´e oznaˇcuj´ı pˇr´ısluˇsnost k prvn´ımu, resp. druh´emu z p˚ uvodn´ıch v´ ybˇer˚ u. Napˇr. z v´ ybˇer˚ u (4, 5, 6, 4, 5, 6) , (6, 6, 6, 5, 5, 4) vytvoˇr´ıme dvojrozmˇern´ y v´ ybˇer (4, 1), (5, 1), (6, 1), (4, 1), (5, 1), (6, 1), (6, 2), (6, 2), (6, 2), (5, 2), (5, 2), (4, 2) . Za pˇredpokladu platnosti nulov´e hypot´ezy je X nez´avisl´e na Y , coˇz m˚ uˇzeme testovat stejnˇe jako v pˇredchoz´ı metodˇe (na rozdˇelen´ı χ2 (k − 1)). Nulovou hypot´ezu zam´ıt´ ame pro t > qχ2 (k−1) (1 − α). Dosaˇzen´ a v´ yznamnost: 1 − Fχ2 (k−1) (t). Praktiˇctˇejˇs´ı (ekvivalentn´ı) vzorec [Mood a kol.]: t=
9.8
1 1 + m n
X k (mi − m pi )2 . pi i=1
Neparametrick´ e testy
Jsou pouˇziteln´e bez ohledu na typ rozdˇelen´ı, jsou vˇsak slabˇs´ı. 9.8.1
Znam´ enkov´ y test
Rozliˇsujeme pouze znam´enko odchylky od zvolen´e hodnoty c. T´ım ztr´ac´ıme kvantativn´ı informaci a tedy i moˇznost testovat napˇr. stˇredn´ı hodnotu. M´ısto n´ı testujeme medi´an qX ( 21 ). H0 : qX ( 12 ) = c Pˇri platnosti nulov´e hypot´ezy by kladn´e i z´ aporn´e odchylky mˇely b´ yt stejnˇe pravdˇepodobn´e. Nulov´e odchylky z v´ ybˇeru pˇredem vylouˇ c ´ ıme. Testovac´ ı statistikou T je poˇcet kladn´ ych odchylek, kter´ y testu jeme na binomick´e rozdˇelen´ı Bin n, 12 . Nulovou hypot´ezu zam´ıt´ame pro α α t < qBin(n, 1 ) nebo t > qBin(n, 1 ) 1 − . 2 2 2 2 (Podobnˇe pro jednostrann´e testy.) V´ ypoˇcet kvantil˚ u je pracn´ y, ale kritick´e hodnoty jsou tabelov´any (v z´avislosti na n a hladinˇe v´ yznamnosti). Dosaˇzen´ a v´ yznamnost se poˇc´ıt´ a o trochu sn´ aze.
57
Pro velk´ a n pouˇz´ıv´ ame centr´ aln´ı limitn´ı vˇetu a testujeme T0 :=
2T − n √ n
na N(0, 1). Lze pouˇz´ıt i k porovn´ an´ı dvou medi´ an˚ u u p´ arov´eho testu. Pˇ r´ıklad pouˇ zit´ı: Odhad smrteln´e d´ avky l´ atky. Na rozd´ıl od stˇredn´ı hodnoty medi´ an vˇzdy existuje (je vˇsak probl´em, jak ho definovat, aby byl jednoznaˇcn´y). Jeho v´ypoˇcetn´ı sloˇzitost je vˇetˇs´ı, ˇr´ adu n ln n. 9.8.2
Wilcoxon˚ uv test (jednov´ ybˇ erov´ y)
H0 : X m´ a rozdˇelen´ı symetrick´e kolem hodnoty c (V tom pˇr´ıpadˇe je c medi´ anem i stˇredn´ı hodnotou.) Z realizace (x1 , . . . , xn ) vypoˇcteme posloupnost (z1 , . . . , zn ), kde zj = xj − c. Seˇrad´ıme ji vzestupnˇe podle absolutn´ıch hodnot |zj | = |xj − c|, ˇc´ımˇz j-t´emu prvku pˇriˇrad´ıme poˇrad´ı rj . Je-li v´ıce stejn´ ych rozd´ıl˚ u, pˇriˇrad´ıme jim stejn´e poˇrad´ı rovn´e aritmetick´emu pr˚ umˇeru. Testovac´ı statistikou je X T1 := rj j:zj >0
nebo
T2 := min
X
j:zj >0
porovn´ ame s tabulkou kritick´ ych hodnot pro tento test.
58
rj ,
X j:zj <0
rj ,
Literatura
ˇ [Navara: PMS] Navara, M.: Pravdˇepodobnost a matematick´ a statistika. Skriptum CVUT, Praha, 2007. [Rogalewicz] Rogalewicz, V.: Pravdˇepodobnost a statistika pro inˇzen´yry. 2. pˇrepracovan´e vyd´an´ı, Skriptum ˇ FBMI CVUT, Praha, 2007. ˇ ep´ ˇ ep´ [Zv´ ara, Stˇ an] Zv´ ara, K., Stˇ an, J.: Pravdˇepodobnost a matematick´ a statistika (2. vyd´an´ı). Matfyzpress, MFF UK, Praha, 2002. [Kalina, Bacig´ al, Schiesslov´ a] Kalina, M., Bacig´al, T., Schiesslov´a, A.: Z´aklady pravdepodobnosti a matematickej ˇstatistiky. STU Bratislava, 2010. [Kalina, Minarechov´ a] Kalina, M., Minarechov´a, Z.: Applied Mathematics For Civil Engineers. STU Bratislava, 2015. [Andˇel: Statistick´e metody] Andˇel, J.: Statistick´e metody. 2. vyd., Matfyzpress, Praha, 1998. [Andˇel: Matematick´ a statistika] Andˇel, J.: Matematick´ a statistika. SNTL/Alfa, Praha, 1978. [Disman]
Disman, M.: Jak se vyr´ ab´ı sociologick´ a znalost. Karolinum, UK, Praha, 2005.
ˇ [Jaroˇs a kol.] Jaroˇs, F. a kol.: Pravdˇepodobnost a statistika. Skriptum VSCHT, 2. vyd´an´ı, Praha, 1998. [Likeˇs, Machek] Likeˇs, J., Machek, J.: Matematick´ a statistika. 2. vyd´an´ı, SNTL, Praha, 1988. [Nagy]
ˇ Nagy, I.: Pravdˇepodobnost a matematick´ a statistika. Cviˇcen´ı. Skriptum FD CVUT, Praha, 2002.
ˇ [Nˇeniˇckov´ a] Nˇeniˇckov´ a, A.: Matematick´ a statistika — cviˇcen´ı. Skriptum CVUT, Praha, 1990. [Rieˇcanov´ a a kol.] Rieˇcanov´ a, Z. a kol.: Numerick´e met´ ody a matematick´ a ˇstatistika. Alfa/SNTL, Bratislava, 1987. [Rieˇcan a kol.] Rieˇcan, B., Lamoˇs, F., Len´ art, C.: Pravdepodobnosˇt a matematick´ a ˇstatistika. Alfa/SNTL, Bratislava, 1984. [SH10]
Schlesinger, M.I., Hlav´ aˇc, V.: Deset pˇredn´ aˇsek z teorie statistick´eho a strukturn´ıho rozpozn´ av´ an´ı. ˇ CVUT, Praha, 1999.
[Swoboda]
Swoboda, H.: Modern´ı statistika. Svoboda, Praha, 1977.
[Chatfield] Chatfield, C.: Statistics for Technology. 3rd ed., Chapman & Hall, London, 1992. [Hsu]
Hsu, H.P.: Probability, Random Variables, and Random Processes. McGraw-Hill, 1996.
[Mood a kol.] Mood, A.M., Graybill, F.A., Boes, D.C.: Introduction to the Theory of Statistics. 3rd ed., McGraw-Hill, 1974. [Papoulis]
Papoulis, A.: Probability and Statistics. Prentice-Hall, 1990.
[Papoulis, Pillai] Papoulis, A., Pillai, S.U.: Probability, Random Variables, and Stochastic Processes. 4th ed., McGraw-Hill, Boston, USA, 2002. [Spiegel et al. 2000] Spiegel, M.R., Schiller, J.J., Srinivasan, R.A.: Probability and Statistics. McGraw-Hill, 2000. [Wasserman] Wasserman, L.: All of Statistics. A Concise Course in Statistical Inference. Springer, 2004.
59