Pravdˇ epodobnost a matematick´ a statistika Mirko Navara Centrum strojov´eho vn´ım´an´ı ˇ katedra kybernetiky FEL CVUT Karlovo n´amˇest´ı, budova G, m´ıstnost 104a http://cmp.felk.cvut.cz/˜navara/MVT http://cmp.felk.cvut.cz/˜navara/psi 6. ˇr´ıjna 2010
Obsah 1 Oˇ cem to je a o ˇ cem ne? epodobnosti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1 Teorie pravdˇ 1.2 Statistika . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3 4 4
2 Z´ akladn´ı pojmy teorie pravdˇ epodobnosti 2.1 Laplaceova (klasick´ a) definice pravdˇepodobnosti . . . . . . . 2.1.1 Z´ akladn´ı pojmy . . . . . . . . . . . . . . . . . . . . . 2.1.2 Pravdˇ epodobnost . . . . . . . . . . . . . . . . . . 2.1.3 N´ ahodn´ a veliˇ cina . . . . . . . . . . . . . . . . . . 2.2 Vlastnosti pravdˇepodobnosti . . . . . . . . . . . . . . . . . ´ 2.2.1 Upln´ y syst´ em jev˚ u . . . . . . . . . . . . . . . . . 2.3 Probl´emy Laplaceovy definice pravdˇepodobnosti . . . . . . 2.3.1 Rozˇs´ıˇren´ı Laplaceova modelu pravdˇepodobnosti . . . 2.4 Kombinatorick´e pojmy a vzorce . . . . . . . . . . . . . . . . 2.5 Kolmogorovova definice pravdˇepodobnosti . . . . . . . . . . 2.5.1 Borelova σ-algebra . . . . . . . . . . . . . . . . . 2.5.2 Pravdˇ epodobnost (=pravdˇ epodobnostn´ı m´ıra)
. . . . . . . . . . . .
4 4 4 4 4 5 5 5 5 5 6 7 7
3 Nez´ avislost a podm´ınˇ en´ a pravdˇ epodobnost 3.1 Nez´ avisl´ e jevy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2 Podm´ınˇen´ a pravdˇepodobnost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2.1 Podm´ınˇen´ a nez´ avislost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7 7 8 9
4 N´ ahodn´ e veliˇ ciny a vektory 4.1 N´ ahodn´ a veliˇ cina . . . . . . . . . . . . . . . . . . . . . . 4.2 n-rozmˇern´ y n´ ahodn´ y vektor (n-rozmˇern´a n´ahodn´a veliˇcina) 4.3 Nez´avislost n´ ahodn´ ych veliˇcin . . . . . . . . . . . . . . . . . 4.4 Obecnˇejˇs´ı n´ ahodn´e veliˇciny . . . . . . . . . . . . . . . . . . 4.5 Smˇes n´ahodn´ ych veliˇcin . . . . . . . . . . . . . . . . . . . . 4.6 Druhy n´ ahodn´ ych veliˇcin . . . . . . . . . . . . . . . . . . . . 4.7 Popis sm´ıˇsen´e n´ ahodn´e veliˇciny . . . . . . . . . . . . . . . . 4.8 Kvantilov´ a funkce n´ ahodn´e veliˇciny . . . . . . . . . . . . . . 4.9 Jak reprezentovat n´ ahodnou veliˇcinu v poˇc´ıtaˇci . . . . . . . 4.10 Operace s n´ ahodn´ ymi veliˇ cinami . . . . . . . . . . . . . 4.11 Jak realizovat n´ ahodnou veliˇcinu na poˇc´ıtaˇci . . . . . . . . . 4.12 Stˇredn´ı hodnota . . . . . . . . . . . . . . . . . . . . . . . . . 4.12.1 Vlastnosti stˇredn´ı hodnoty . . . . . . . . . . . . . . 4.13 Rozptyl (disperze) . . . . . . . . . . . . . . . . . . . . . . .
1
. . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . . . .
9 9 10 11 12 12 13 13 14 14 15 16 16 17 17
4.14 4.15 4.16 4.17
4.18
4.19
4.20 4.21
4.22 4.23
Smˇerodatn´ a odchylka . . . . . . . . . . . . . . . . . . . . . . . . . . . . Obecn´e momenty . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Normovan´ a n´ ahodn´ a veliˇcina . . . . . . . . . . . . . . . . . . . . . . Z´akladn´ı typy diskr´etn´ıch rozdˇelen´ı . . . . . . . . . . . . . . . . . . . . 4.17.1 Diracovo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.17.2 Rovnomˇern´e . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.17.3 Alternativn´ı (Bernoulliovo) . . . . . . . . . . . . . . . . . . . . 4.17.4 Binomick´e Bi(m, p) . . . . . . . . . . . . . . . . . . . . . . . . . 4.17.5 Poissonovo Po(λ) . . . . . . . . . . . . . . . . . . . . . . . . . . 4.17.6 Geometrick´e . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.17.7 Hypergeometrick´e . . . . . . . . . . . . . . . . . . . . . . . . . Z´akladn´ı typy spojit´ ych rozdˇelen´ı . . . . . . . . . . . . . . . . . . . . . 4.18.1 Rovnomˇern´e R(a, b) . . . . . . . . . . . . . . . . . . . . . . . . 4.18.2 Norm´ aln´ı (Gaussovo) N(µ, σ 2 ) . . . . . . . . . . . . . . . . . . 4.18.3 Logaritmickonorm´ aln´ı LN(µ, σ 2 ) . . . . . . . . . . . . . . . . . 4.18.4 Exponenci´ aln´ı Ex(τ ) . . . . . . . . . . . . . . . . . . . . . . . . N´ahodn´e vektory 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.19.1 Diskr´ etn´ı n´ ahodn´ y vektor . . . . . . . . . . . . . . . . . . . . 4.19.2 Spojit´ y n´ ahodn´ y vektor . . . . . . . . . . . . . . . . . . . . . . ˇ ıseln´e charakteristiky n´ C´ ahodn´eho vektoru . . . . . . . . . . . . . . . . 4.20.1 V´ıcerozmˇern´e norm´ aln´ı rozdˇelen´ı N(~ µ, Σ) . . . . . . . . . . . . Line´arn´ı prostor n´ ahodn´ ych veliˇcin . . . . . . . . . . . . . . . . . . . . 4.21.1 Line´ arn´ı podprostor n´ ahodn´ ych veliˇcin s nulov´ ymi stˇ redn´ımi 4.21.2 Line´ arn´ı regrese . . . . . . . . . . . . . . . . . . . . . . . . . . . Reprezentace n´ ahodn´ ych vektor˚ u v poˇc´ıtaˇci . . . . . . . . . . . . . . . ˇ Cebyˇ sevova nerovnost . . . . . . . . . . . . . . . . . . . . . . . . . . .
5 Z´ akladn´ı pojmy statistiky 5.1 K ˇcemu potˇrebujeme statistiku . . . . . . . . . . . . . . . . . . . . . . 5.2 Pojem n´ ahodn´eho v´ ybˇeru, odhady . . . . . . . . . . . . . . . . . . . . 5.3 V´ ybˇerov´ y pr˚ umˇer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.4 V´ ybˇerov´ y rozptyl . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.4.1 Rozdˇelen´ı χ2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.4.2 V´ ybˇerov´ y rozptyl . . . . . . . . . . . . . . . . . . . . . . . . . . 5.4.3 Alternativn´ı odhad rozptylu . . . . . . . . . . . . . . . . . . . . 5.5 V´ ybˇerov´ a smˇerodatn´ a odchylka . . . . . . . . . . . . . . . . . . . . . . 5.6 V´ ybˇerov´ y k-t´ y obecn´ y moment . . . . . . . . . . . . . . . . . . . . . . 5.7 Histogram a empirick´e rozdˇelen´ı . . . . . . . . . . . . . . . . . . . . . 5.7.1 Vlastnosti empirick´eho rozdˇelen´ı . . . . . . . . . . . . . . . . . 5.8 V´ ybˇerov´ y medi´ an . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.9 Intervalov´e odhady . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.10 Intervalov´e odhady parametr˚ u norm´ aln´ıho rozdˇelen´ı N(µ, σ 2 ) . . . . 5.10.1 Odhad stˇredn´ı hodnoty pˇri zn´ am´ em rozptylu σ 2 . . . . . . . . 5.10.2 Odhad stˇredn´ı hodnoty pˇri nezn´ am´ em rozptylu . . . . . . . . 5.10.3 Studentovo t-rozdˇelen´ı (autor: Gossett) . . . . . . . . . . . . . 5.10.4 Odhad stˇredn´ı hodnoty pˇri nezn´ am´ em rozptylu II . . . . . . . 5.10.5 Odhad rozptylu . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.10.6 Intervalov´e odhady spojit´ ych rozdˇelen´ı, kter´a nejsou norm´aln´ı . 5.11 Obecn´e odhady parametr˚ u. . . . . . . . . . . . . . . . . . . . . . . . . 5.11.1 Metoda moment˚ u. . . . . . . . . . . . . . . . . . . . . . . . . . 5.11.2 Metoda maxim´ aln´ı vˇerohodnosti (likelihood) . . . . . . . . . .
2
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . hodnotami . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . .
17 18 18 18 18 19 19 19 19 20 20 20 20 20 21 21 21 21 21 22 23 23 24 25 25 25
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
26 26 26 27 28 29 29 30 30 31 31 31 32 32 32 32 33 33 33 34 34 34 34 35
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
6 Testov´ an´ı hypot´ ez 6.1 Z´akladn´ı pojmy a principy testov´ an´ı hypot´ez . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2 Testy stˇredn´ı hodnoty norm´ aln´ıho rozdˇelen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2.1 Pˇri zn´ am´ em rozptylu σ 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2.2 Pˇri nezn´ am´ em rozptylu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.3 Testy rozptylu norm´ aln´ıho rozdˇelen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.4 Porovn´an´ı dvou norm´ aln´ıch rozdˇelen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.4.1 Testy rozptylu dvou norm´ aln´ıch rozdˇelen´ı [Fisher] . . . . . . . . . . . . . . . . . . . . . 6.4.2 Testy stˇredn´ıch hodnost dvou norm´aln´ıch rozdˇelen´ı se zn´ am´ ym rozptylem σ 2 . . . . . . 6.4.3 Testy stˇredn´ıch hodnost dvou norm´aln´ıch rozdˇelen´ı se (stejn´ ym) nezn´ am´ ym rozptylem 6.5 Testy stˇredn´ıch hodnost dvou norm´ aln´ıch rozdˇelen´ı - p´ arov´ y pokus . . . . . . . . . . . . . . . 6.5.1 Pro zn´ am´ y rozptyl σ 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.5.2 Pro nezn´ am´ y rozptyl . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.6 χ2 -test dobr´e shody . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.6.1 Modifikace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.6.2 χ2 -test dobr´e shody dvou rozdˇelen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.6.3 χ2 -test nez´ avislosti dvou rozdˇelen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.7 Korelace, jej´ı odhad a testov´ an´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.7.1 Test nekorelovanosti dvou norm´ aln´ıch rozdˇelen´ı . . . . . . . . . . . . . . . . . . . . . . 6.8 Neparametrick´e testy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.8.1 Znam´enkov´ y test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.8.2 Wilcoxon˚ uv test (jednov´ ybˇerov´ y) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . .
36 36 38 38 38 38 38 38 39 40 40 41 41 41 42 42 43 43 44 44 44 44
7 Co 7.1 7.2 7.3 7.4 7.5
. . . . .
45 45 45 45 45 45
1
zde nebylo V´ıce o zobrazen´ı n´ ahodn´e veliˇciny funkc´ı a Diskretizace . . . . . . . . . . . . . . . . . Smˇes pravdˇepodobnost´ı . . . . . . . . . . Charakteristick´ a funkce n´ ahodn´e veliˇciny D˚ ukaz centr´ aln´ı limitn´ı vˇety . . . . . . . .
o . . . .
souˇctu n´ahodn´ ych veliˇcin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
Oˇ cem to je a o ˇ cem ne?
Co maj´ı n´asleduj´ıc´ı v´ yroky spoleˇcn´eho? 1. V loterii pravdˇepodobnˇe nevyhraji. 2. D´alnici pravdˇepodobnˇe projedu bez nehody. 3. Snˇehov´e podm´ınky umoˇzn´ı pˇr´ıˇst´ı mistrovstv´ı svˇeta v lyˇzov´an´ı. 4. Snˇehov´e podm´ınky pˇri pˇr´ıˇst´ım mistrovstv´ı svˇeta v lyˇzov´an´ı budou dobr´e. 5. Na 50. km d´ alnice pojedu rychlost´ı nejv´ yˇse 110 km/hod. V ˇcem se toto v´ yroky liˇs´ı? 1. V loterii pravdˇepodobnˇe nevyhraji.Jasn´ a pravidla. Lid´e se u ´ˇcastn´ı v nadˇeji, ˇze budou jedn´ım z mili´ onu“. ” V´ysledek nelze ovlivnit. 2. D´alnici pravdˇepodobnˇe projedu bez nehody.Nejasn´ a pravidla. Lid´e se u ´ˇcastn´ı v nadˇeji, ˇze nebudou jedn´ım ” z mili´ onu“. V´ysledek lze ovlivnit. 3. Snˇehov´e podm´ınky umoˇzn´ı pˇr´ıˇst´ı mistrovstv´ı svˇeta v lyˇzov´an´ı.Nejasn´ a pravidla. V´ysledek nelze ovlivnit. 4. Snˇehov´e podm´ınky pˇri pˇr´ıˇst´ım mistrovstv´ı svˇeta v lyˇzov´an´ı budou dobr´e.Nejasn´ a pravidla i v´ysledek, kter´y nelze ovlivnit. 5. Na 50. km d´ alnice pojedu rychlost´ı nejv´ yˇse 110 km/hod.Jasn´ a pravidla, v´ysledek lze ovlivnit, ale nelze jej teoreticky ovˇeˇrit.
3
1.1
Teorie pravdˇ epodobnosti
je n´astroj pro u ´ˇceln´e rozhodov´ an´ı v syst´emech, kde budouc´ı pravdivost jev˚ u z´avis´ı na okolnostech, kter´e zcela nezn´ame. Poskytuje model takov´ ych syst´em˚ u a kvantifikaci v´ ysledk˚ u. Pravdˇepodobnostn´ı popis ⇒ chov´ an´ı syst´emu
1.2
Statistika
je n´astroj pro hled´ an´ı a ovˇeˇrov´ an´ı pravdˇepodobnostn´ıho popisu re´aln´ ych syst´em˚ u na z´akladˇe jejich pozorov´an´ı. Chov´ an´ı syst´emu ⇒ pravdˇepodobnostn´ı popis Poskytuje daleko v´ıc: n´ astroj pro zkoum´ an´ı svˇeta, pro hled´an´ı a ovˇeˇrov´an´ı z´avislost´ı, kter´e nejsou zjevn´e.
2 2.1
Z´ akladn´ı pojmy teorie pravdˇ epodobnosti Laplaceova (klasick´ a) definice pravdˇ epodobnosti
e moˇ zn´ e. Pˇ redpoklad: N´ ahodn´ y pokus s n ∈ N r˚ uzn´ ymi, vz´ajemnˇe se vyluˇcuj´ıc´ımi v´ ysledky, kter´e jsou stejnˇ Pravdˇepodobnost jevu, kter´ y nast´ av´ a pr´ avˇe pˇri k z tˇechto v´ ysledk˚ u, je k/n. 1. probl´ em: stejnˇe moˇzn´e“= stejnˇe pravdˇepodobn´e,“ ale co to znamen´a? (definice kruhem!) ” ” Element´ arn´ı jevy jsou vˇsechny stejnˇe moˇzn´e“ v´ ysledky. ” Mnoˇzina vˇsech element´ arn´ıch jev˚ u: Ω Jev: A ⊆ Ω ´ Umluva. Nad´ale budeme jevy ztotoˇzn ˇovat s pˇr´ısluˇsn´ ymi mnoˇzinami element´arn´ıch jev˚ u a pouˇz´ıvat pro nˇe mnoˇzinov´e operace (m´ısto v´ yrokov´ ych). 2.1.1
Z´ akladn´ı pojmy
Jev jist´ y: Ω, 1 Jev nemoˇ zn´ y: ∅, 0 Konjunkce jev˚ u ( and“): A ∩ B ” Disjunkce jev˚ u ( or“): A ∪ B ” Jev opaˇ cn´ y k A: A = Ω \ A A ⇒ B: A ⊆ B T Jevy nesluˇ citeln´ e (=vz´ ajemnˇ e se vyluˇ cuj´ıc´ı): A1 , . . . , An : Ai = ∅ i≤n
Jevy po dvou nesluˇ citeln´ e: A1 , . . . , An : ∀i, j ∈ {1, . . . , n}, i 6= j : Ai ∩ Aj = ∅ Jevov´ e pole: vˇsechny jevy pozorovateln´e v n´ ahodn´em pokusu, zde exp Ω (=mnoˇzina vˇsech podmnoˇzin mnoˇziny Ω) 2.1.2
Pravdˇ epodobnost
jevu A: P (A) =
|A| , |Ω|
kde | . | znaˇc´ı poˇcet prvk˚ u mnoˇziny 2.1.3
N´ ahodn´ a veliˇ cina
je libovoln´a funkce X : Ω → R Stˇ redn´ı hodnota: EX =
1 X X (ω) , n ω∈Ω
kde n = |Ω|. Interpretace: Je-li hodnota n´ ahodn´e veliˇciny hodnotou v´ yhry ve hˇre, pak stˇredn´ı hodnota je spravedliv´a cena za u ´ˇcast ve hˇre.
4
2.2
Vlastnosti pravdˇ epodobnosti
P (A) ∈ h0, 1i P (0) = 0, P (1) = 1 P (A) = 1 − P (A) A ⊆ B ⇒ P (A) ≤ P (B) A ⊆ B ⇒ P (B \ A) = P (B) − P (A) A ∩ B = ∅ ⇒ P (A ∪ B) = P (A) + P (B) P (A ∪ B) = P (A) + P (B) − P (A ∩ B) 2.2.1
(aditivita)
´ Upln´ y syst´ em jev˚ u S
tvoˇr´ı jevy Bi , i ∈ I, jestliˇze jsou po dvou nesluˇciteln´e a
Bi = 1.
i∈I
Speci´aln´ı pˇr´ıpad pro 2 jevy: {C, C} ´ pln´ y syst´ em jev˚ u, pak Je-li {B1 , . . . , Bn } u n X
P (Bi ) = 1
i=1
a pro libovoln´ y jev A P (A) =
n X
P (A ∩ Bi ) .
i=1
Speci´alnˇe: P (A) = P (A ∩ C) + P A ∩ C .
2.3
Probl´ emy Laplaceovy definice pravdˇ epodobnosti
2. probl´ em: Nedovoluje nekoneˇcn´e mnoˇziny jev˚ u, geometrickou pravdˇepodobnost... Pˇ r´ıklad: Pod´ıl plochy pevniny k povrchu Zemˇe je pravdˇepodobnost, ˇze n´ahodnˇe vybran´ y bod na Zemi leˇz´ı na pevninˇe (je-li v´ ybˇer bod˚ u prov´ adˇen rovnomˇernˇe“). ” Pˇ r´ıklad: Na linkovan´ y pap´ır hod´ıme jehlu, jej´ıˇz d´elka je rovna vzd´alenosti mezi linkami. Jak´a je pravdˇepodobnost, ˇze jehla protne nˇejakou linku? 3. probl´ em: Nedovoluje iracion´ aln´ı hodnoty pravdˇepodobnosti. 2.3.1
Rozˇ s´ıˇ ren´ı Laplaceova modelu pravdˇ epodobnosti
Pˇ r´ıklad: M´ısto hrac´ı kostky h´ az´ıme krabiˇckou od z´apalek, jej´ıˇz strany jsou nestejnˇe dlouh´e. Jak´a je pravdˇepodobnost moˇzn´ ych v´ ysledk˚ u? Pˇripust´ıme, ˇze element´ arn´ı jevy nemus´ı b´ yt stejnˇ e pravdˇ epodobn´ e. Ztr´ac´ıme n´avod, jak pravdˇepodobnost stanovit. Je to funkce, kter´a jev˚ um pˇriˇrazuje ˇc´ısla z intervalu h0, 1i a splˇ nuje jist´e podm´ınky. Nem´ ame n´ avod, jak z nich vybrat tu pravou. Tato nev´ yhoda je neodstraniteln´ a a je d˚ uvodem pro vznik statistiky, kter´a k dan´emu opakovateln´emu pokusu hled´a pravdˇepodobnostn´ı model.
2.4
Kombinatorick´ e pojmy a vzorce
ˇ ep´ (Dle [Zv´ ara, Stˇ an].) V urnˇe je n rozliˇsiteln´ ych objekt˚ u, postupnˇe vyt´ahneme k. v´ ybˇer uspoˇr´adan´ y
s vracen´ım variace s opakov´ an´ım nk kombinace s opakov´ an´ım
bez vracen´ı variace bez opakov´an´ı n! (n−k)!
kombinace bez opakov´ an´ı n n! = k! (n−k)! k Z t´eto tabulky pouze kombinace s opakov´ an´ım nejsou vˇsechny stejnˇe pravdˇepodobn´e (odpov´ıdaj´ı r˚ uzn´emu poˇctu variac´ı s opakov´ an´ım) a nedovoluj´ı proto pouˇzit´ı Laplaceova modelu pravdˇepodobnosti. neuspoˇr´adan´ y
n+k−1 k
5
Permutace (poˇ rad´ı) bez opakov´ an´ı: Tvoˇr´ıme posloupnost z n hodnot, pˇriˇcemˇz kaˇzd´a se vyskytne pr´avˇe jednou. Poˇcet permutac´ı je n! (je to speci´ aln´ı pˇr´ıpad variac´ı bez opakov´an´ı pro n = k). Permutace s opakov´ a n´ ım: Tvoˇ r ´ ıme posloupnost d´elky k z n hodnot, pˇriˇcemˇz j-t´a hodnota se opakuje kj -kr´at, Pn cet r˚ uzn´ ych posloupnost´ı je j=1 kj = k. Poˇ k! . k1 ! · . . . · kn ! Speci´alnˇe pro n = 2 dost´ av´ ame k! k! = = k1 ! · k2 ! k1 ! · (k − k1 )!
k , k1
coˇz je poˇcet kombinac´ı bez opakov´ an´ı (ovˇsem k1 -prvkov´ ych z k prvk˚ u). Theorem 1 Pro dan´e k ∈ N a pro n → ∞ se pomˇer poˇct˚ u variac´ı (resp. kombinac´ı) bez opakov´ an´ı a s opakov´ an´ım bl´ıˇz´ı jedn´e, tj. n n! k lim = 1, lim = 1. n→∞ (n − k)! nk n→∞ n+k−1 k Proof. n (n − 1) · · · (n − (k − 1)) n! = = (n − k)! nk nk 1 k−1 =1 1− ··· 1 − → 1, n n n n (n − 1) · · · (n − (k − 1)) k = = n+k−1 (n + (k − 1)) · · · (n + 1) n k 1 1 − n1 · · · 1 − k−1 n →1 = 1 + k−1 · · · 1 + n1 1 n (poˇcet ˇcinitel˚ u k je konstantn´ı). Corollary 2 Pro n k je poˇcet variac´ı (resp. kombinac´ı) s opakov´ an´ım pˇribliˇznˇe n . nk n! . = = nk , . k (n − k)! k! Jednoduˇsˇs´ı b´ yv´a neuspoˇ r´ adan´ y v´ ybˇ er bez vracen´ı nebo uspoˇ r´ adan´ y v´ ybˇ er s vracen´ım.
2.5
Kolmogorovova definice pravdˇ epodobnosti
Element´arn´ıch jev˚ u (=prvk˚ u mnoˇziny Ω) m˚ uˇze b´ yt nekoneˇ cnˇ e mnoho, nemus´ı b´ yt stejnˇ e pravdˇ epodobn´ e. Jevy jsou podmnoˇziny mnoˇziny Ω, ale ne nutnˇ e vˇ sechny; tvoˇr´ı podmnoˇzinu A ⊆ exp Ω, kter´a splˇ nuje n´asleduj´ıc´ı podm´ınky: (A1) ∅ ∈ A. (A2) A ∈ A ⇒ A ∈ A. (A3) (∀n ∈ N : An ∈ A) ⇒
S
An ∈ A.
n∈N
Syst´em A podmnoˇzin nˇejak´e mnoˇziny Ω, kter´ y splˇ nuje podm´ınky (A1-3), se naz´ yv´a σ-algebra. D˚ usledky: Ω = ∅ ∈ A, \ [ (∀n ∈ N : An ∈ A) ⇒ An = An ∈ A . n∈N
n∈N
Pˇrirozen´ y n´apad A = exp Ω vede k neˇz´ adouc´ım paradox˚ um. (A1) je uzavˇrenost na spoˇ cetn´ a sjednocen´ı. Uzavˇrenost na jak´ akoli sjednocen´ı se ukazuje jako pˇr´ıliˇs siln´ y poˇzadavek. Uzavˇrenost na koneˇ cn´ a sjednocen´ı se ukazuje jako pˇr´ıliˇs slab´ y poˇzadavek; nedovoluje napˇr. vyj´adˇrit kruh jako sjednocen´ı obd´eln´ık˚ u. A nemus´ı ani obsahovat vˇsechny jednobodov´e mnoˇziny, v tom pˇr´ıpadˇe element´ arn´ı jevy nemus´ı b´ yt jevy! 6
2.5.1
Borelova σ-algebra
je nejmenˇs´ı σ-algebra podmnoˇzin R, kter´ a obsahuje vˇsechny intervaly. Obsahuje vˇsechny intervaly otevˇren´e, uzavˇren´e i polouzavˇren´e, i jejich spoˇcetn´a sjednocen´ı, a nˇekter´e dalˇs´ı e mnoˇ ziny. mnoˇziny, ale je menˇs´ı neˇz exp R. Jej´ı prvky naz´ yv´ame borelovsk´ 2.5.2
Pravdˇ epodobnost (=pravdˇ epodobnostn´ı m´ıra)
je funkce P : A → h0, 1i, splˇ nuj´ıc´ı podm´ınky (P1) P (1) = 1, S P (P2) P An = P (An ), pokud jsou mnoˇziny (=jevy) An , n ∈ N, po dvou nesluˇciteln´e. n∈N
(spoˇ cetn´ a
n∈N
aditivita) Pravdˇ epodobnostn´ı prostor je trojice (Ω, A, P ), kde Ω je nepr´azdn´a mnoˇzina, A je σ-algebra podmnoˇzin mnoˇziny Ω a P : A → h0, 1i je pravdˇepodobnost. Dˇr´ıve uveden´e vlastnosti pravdˇepodobnosti jsou d˚ usledkem (P1), (P2). (Koneˇ cn´ a) aditivita by byla pˇr´ıliˇs slab´ a, nedovoluje napˇr. pˇrechod od obsahu obd´eln´ıka k obsahu kruhu. ´ Upln´ a aditivita (pro jak´ekoli soubory po dvou nesluˇciteln´ ych jev˚ u) by byla pˇr´ıliˇs siln´ ym poˇzadavkem. Pak bychom nepˇripouˇstˇeli ani rovnomˇern´e rozdˇelen´ı na intervalu nebo na ploˇse. Pravdˇepodobnost zachov´ av´ a limity monot´ onn´ıch posloupnost´ı jev˚ u (mnoˇzin): Necht’ (An )n∈N je posloupnost jev˚ u. [ An = lim P (An ) , A1 ⊆ A2 ⊆ . . . ⇒ P n→∞
n∈N
A1 ⊇ A2 ⊇ . . . ⇒ P
\ n∈N
Laplace˚ uv model koneˇ cnˇ e mnoho jev˚ u p-sti jen racion´ aln´ı P (A) = 0 ⇒ A = 0 p-sti urˇ ceny strukturou jev˚ u
3 3.1
An = lim P (An ) . n→∞
Kolmogorov˚ uv model i nekoneˇ cnˇ e mnoho jev˚ u p-sti i iracion´ aln´ı moˇ zn´ e jevy s nulovou p-st´ı p-sti neurˇ ceny strukturou jev˚ u
Nez´ avislost a podm´ınˇ en´ a pravdˇ epodobnost Nez´ avisl´ e jevy
Motivace: Dva jevy spolu nesouvis´ı“ ” Definice: P (A ∩ B) = P (A) · P (B). To je ovˇsem jen n´ ahraˇzka, kter´ a ˇr´ık´ a mnohem m´enˇe, neˇz jsme chtˇeli! (Podobnˇe jako P (A ∩ B) = 0 neznamen´ a, ˇze jevy A, B jsou nesluˇciteln´e.) Pro nez´avisl´e jevy A, B P (A ∪ B) = P (A) + P (B) − P (A) · P (B) . D˚ ukaz: P (A ∪ B) = P (A) + P (B) − P (A) ∩ P (B) = P (A) + P (B) − P (A) · P (B) . Jsou-li jevy A, B nez´ avisl´e, pak jsou nez´ avisl´e tak´e jevy A, B (a t´eˇz dvojice jev˚ u A, B a A, B). D˚ ukaz: P (A ∩ B) = P (A) − P (A ∩ B) = P (A) − P (A) · P (B) = = P (A) · (1 − P (B)) = P (A) · P (B) . avisl´ e, jestliˇze kaˇzd´e dva z nich jsou nez´avisl´e. Jevy A1 , . . . , An se naz´ yvaj´ı po dvou nez´ To je m´alo.
7
Mnoˇzina jev˚ u M se naz´ yv´ a nez´ avisl´ a, jestliˇze \ Y P A = P (A) A∈K
A∈K
pro vˇsechny koneˇ cn´ e podmnoˇziny K ⊆ M.
3.2
Podm´ınˇ en´ a pravdˇ epodobnost
Pˇ r´ıklad: Fotbalov´ a druˇzstva mohla m´ıt pˇred z´apasem rovn´e ˇsance na v´ıtˇezstv´ı. Je-li vˇsak stav z´apasu 5 minut pˇred koncem 3 : 0, pravdˇepodobnosti v´ yhry jsou jin´e. M´ame pravdˇepodobnostn´ı popis syst´emu. Dostaneme-li dodateˇcnou informaci, ˇze nastal jev B, aktualizujeme naˇsi znalost o pravdˇepodobnosti jevu A na P (A|B) =
P (A ∩ B) , P (B)
en´ a pravdˇ epodobnost jevu A za podm´ınky B. Je definov´ana pouze pro P (B) 6= 0. (To coˇz je podm´ınˇ pˇredpokl´ad´ame i nad´ ale.) aˇz´ı naˇsi znalost, ˇze jev B nenastal. V nov´em modelu je P (B|B) = 0, coˇz odr´ Podm´ınˇ en´ a pravdˇ epodobnost je ch´ ap´ ana t´eˇz jako funkce P (.|B) : A → h0, 1i ,
A 7→
P (A ∩ B) P (B)
a je to pravdˇepodobnost v p˚ uvodn´ım smyslu. Vlastnosti podm´ınˇen´e pravdˇepodobnosti: • P (1|B) = 1,
P (0|B) = 0.
• Jsou-li jevy A1 , A2 , . . . jsou po dvou nesluˇciteln´e, pak X [ P An B = P (An |B) . n∈N
n∈N
• Je-li P (A|B) definov´ ana, jsou jevy A, B nez´ avisl´ e, pr´avˇe kdyˇz P (A|B) = P (A). • B ⊆ A ⇒ P (A|B) = 1,
P (A ∩ B) = 0 ⇒ P (A|B) = 0.
Vˇ eta o u ´ pln´ e pravdˇ epodobnosti: Necht’ Bi , i ∈ I, je (spoˇcetn´ y) u ´pln´ y syst´em jev˚ u a ∀i ∈ I : P (Bi ) 6= 0. Pak pro kaˇzd´ y jev A plat´ı X P (A) = P (Bi ) P (A|Bi ) . i∈I
D˚ ukaz: P (A) = P
[
[ Bj ∩ A = P (Bj ∩ A) =
j∈I
=
X
j∈I
P (Bi ∩ A) =
i∈I
X
P (Bi ) P (A|Bi ) .
i∈I
Pˇ r´ıklad: Test nemoci je u 1% zdrav´ ych faleˇsnˇe pozitivn´ı a u 10% nemocn´ ych faleˇsnˇe negativn´ı. Nemocn´ ych je v populaci 0.001. Jak´ a je pravdˇepodobnost, ˇze pacient s pozitivn´ım testem je nemocn´ y? Bayesova vˇ eta: Necht’ Bi , i ∈ I, je (spoˇcetn´ y) u ´pln´ y syst´em jev˚ ua ∀i ∈ I : P (Bi ) 6= 0. Pak pro kaˇzd´ y jev A splˇ nuj´ıc´ı P (A) 6= 0 plat´ı P (Bi ) P (A|Bi ) P (Bi |A) = P . P (Bj ) P (A|Bj ) j∈I
8
D˚ ukaz (s vyuˇzit´ım vˇety o u ´pln´e pravdˇepodobnosti): P (Bi |A) =
P (Bi ∩ A) P (Bi ) P (A|Bi ) = P . P (A) P (Bj ) P (A|Bj ) j∈I
V´ yznam: Pravdˇepodobnosti P (A|Bi ) odhadneme z pokus˚ u nebo z modelu, pomoc´ı nich urˇc´ıme pravdˇepodobnosti P (Bi |A), kter´e slouˇz´ı k optim´ aln´ımu“ odhadu, kter´ y z jev˚ u Bi nastal. ” epodobnosti P (Bi |A) potˇrebujeme zn´at i apriorn´ı pravdˇ epodobnost Probl´ em: Ke stanoven´ı aposteriorn´ı pravdˇ P (Bi ). Pˇ r´ıklad: Na vstupu informaˇcn´ıho kan´ alu mohou b´ yt znaky 1, . . . , m, v´ yskyt znaku j oznaˇcujeme jako jev Bj . Na v´ ystupu mohou b´ yt znaky 1, . . . , k, v´ yskyt znaku i oznaˇcujeme jako jev Ai . (Obykle k = m, ale nen´ı to nutn´e.) Obvykle lze odhadnout podm´ınˇen´e pravdˇepodˇepodobnosti P (Ai |Bj ), ˇze znak j bude pˇrijat jako i. Pokud zn´ame apriorn´ı pravdˇepodobnosti (vysl´ an´ı znaku j) P (Bj ), m˚ uˇzeme pravdˇepodobnosti pˇr´ıjmu znak˚ u vypoˇc´ıtat maticov´ ym n´asoben´ım: P (A1 ) P (A2 ) · · · P (Ak ) = P (A1 |B1 ) P (A2 |B1 ) · · · P (Ak |B1 ) P (A1 |B2 ) P (A2 |B2 ) · · · P (Ak |B2 ) = P (B1 ) P (B2 ) · · · P (Bm ) · . .. .. .. .. . . . . P (A1 |Bm ) P (A2 |Bm ) · · ·
P (Ak |Bm )
Vˇsechny matice v tomto vzorci maj´ı jednotkov´e souˇcty ˇr´adk˚ u (takov´e matice naz´ yv´ame stochastick´ e). Podm´ınˇen´e rozdˇelen´ı pravdˇepodobnosti, pokud byl pˇrijat znak i, je P (Bj |Ai ) =
P (Ai |Bj ) P (Bj ) . P (Ai )
Rozdˇelen´ı pravdˇepodobnost´ı vyslan´ ych znak˚ u je P (B1 ) P (B2 ) · · · P (Bm ) =
= P (A1 ) P (A2 ) · · ·
P (A1 |B1 ) P (A2 |B1 ) · · · P (A1 |B2 ) P (A2 |B2 ) · · · P (Ak ) · .. .. .. . . . P (A1 |Bm ) P (A2 |Bm ) · · ·
−1 P (Ak |B1 ) P (Ak |B2 ) , .. . P (Ak |Bm )
pokud k = m a pˇr´ısluˇsn´ a inverzn´ı matice existuje. 3.2.1
Podm´ınˇ en´ a nez´ avislost
enˇ e nez´ avisl´ e za podm´ınky C, jestliˇze N´ahodn´e jevy A, B jsou podm´ınˇ P (A ∩ B|C) = P (A|C) P (B|C) . Podobnˇe definujeme podm´ınˇenou nez´ avislost v´ıce jev˚ u.
4 4.1
N´ ahodn´ e veliˇ ciny a vektory N´ ahodn´ a veliˇ cina
na pravdˇepodobnostn´ım prostoru (Ω, A, P ) je mˇ eˇ riteln´ a funkce X : Ω → R, tj. takov´a, ˇze pro kaˇzd´ y interval I plat´ı X −1 (I) = {ω ∈ Ω | X(ω) ∈ I} ∈ A Je popsan´a pravdˇepodobnostmi PX (I) = P [X ∈ I] = P ({ω ∈ Ω | X (ω) ∈ I}) , definovan´ ymi pro libovoln´ y interval I (a tedy i pro libovoln´e sjednocen´ı spoˇcetnˇe mnoha interval˚ u a pro libovolnou borelovskou mnoˇzinu). 9
PX je pravdˇ epodobnostn´ı m´ıra na Borelovˇe σ-algebˇre urˇcuj´ıc´ı rozdˇ elen´ı n´ ahodn´ e veliˇ ciny X. K tomu, aby staˇcila znalost PX na intervalech, se potˇrebujeme omezit na tzv. perfektn´ı m´ıry; s jin´ ymi se v praxi nesetk´ame. Pravdˇepodobnostn´ı m´ıra PX splˇ nuje podm´ınky: PX (R) = 1, S P PX In = PX (In ), pokud jsou mnoˇziny In , n ∈ N, navz´ajem disjunktn´ı. n∈N
n∈N
Z toho vypl´ yv´a: PX (∅) = 0, PX (R \ I) = 1 − PX (I), jestliˇze I ⊆ J, pak PX (I) ≤ PX (J) a PX (J \ I) = PX (J)−PX (I). ´ Uspornˇ ejˇ s´ı reprezentace: omez´ıme se na intervaly tvaru I = (−∞, ti, t ∈ R, P [X ∈ (−∞, ti] = P [X ≤ t] = PX ((−∞, ti) = FX (t) . cn´ı funkce n´ ahodn´e veliˇciny X. Ta staˇc´ı, nebot’ FX : R → h0, 1i je distribuˇ (a, bi = (−∞, bi \ (−∞, ai , (a, ∞) = R \S (−∞, ai , (−∞, a) = (−∞, bi ,
PX ((a, bi) = P [a < X ≤ b] = FX (b) − FX (a) , PX ((a, ∞)) = 1 − FX (a) , PX ((−∞, a)) = P [X < a] = lim FX (b) = FX (a−) , b→a−
b: b
{a} = (−∞, ai \ (−∞, a) , ...
PX ({a}) = P [X = a] = FX (a) − FX (a−) , ...
Vlastnosti distribuˇcn´ı funkce: • neklesaj´ıc´ı, • zprava spojit´ a, •
lim FX (t) = 0,
t→−∞
lim FX (t) = 1.
t→∞
Vˇ eta: Tyto podm´ınky jsou nejen nutn´ e, ale i postaˇ cuj´ıc´ı.
Pˇ r´ıklad: Re´aln´emu ˇc´ıslu r odpov´ıd´ a n´ ahodn´ a veliˇcina (znaˇcen´a t´eˇz r) s Diracov´ ym rozdˇelen´ım v r: 0 pro t < r , 0 pro r ∈ / I, Fr (t) = Pr (I) = 1 pro r ∈ I , 1 pro t ≥ r . (Fr je posunut´a Heavisideova funkce.)
4.2
n-rozmˇ ern´ y n´ ahodn´ y vektor (n-rozmˇ ern´ a n´ ahodn´ a veliˇ cina)
na pravdˇepodobnostn´ım prostoru (Ω, A, P ) je mˇ eˇ riteln´ a funkce X : Ω → Rn , tj. takov´a, ˇze pro kaˇzd´ y nrozmˇern´ y interval I plat´ı X −1 (I) = {ω ∈ Ω | X(ω) ∈ I} ∈ A . Lze ps´at X (ω) = (X1 (ω) , . . . , Xn (ω)) , kde zobrazen´ı Xk : Ω → R, k = 1, . . . , n, jsou n´ahodn´e veliˇciny. N´ahodn´ y vektor lze povaˇzovat za vektor n´ ahodn´ ych veliˇcin X = (X1 , . . . , Xn ). Je popsan´ y pravdˇepodobnostmi PX (I1 × . . . × In ) = P [X1 ∈ I1 , . . . , Xn ∈ In ] = = P ({ω ∈ Ω | X1 (ω) ∈ I1 , . . . , Xn (ω) ∈ In }) , kde I1 , . . . , In jsou intervaly v R. 10
Z tˇech vypl´ yvaj´ı pravdˇepodobnosti PX (I) = P [X ∈ I] = P ({ω ∈ Ω | X (ω) ∈ I}) , definovan´e pro libovolnou borelovskou mnoˇzinu I v Rn (speci´alnˇe pro libovoln´e sjednocen´ı spoˇcetnˇe mnoha elen´ı n´ ahodn´ eho vektoru X. n-rozmˇern´ ych interval˚ u) a urˇcuj´ıc´ı rozdˇ ´ Uspornˇ ejˇ s´ı reprezentace: Staˇc´ı intervaly tvaru Ik = (−∞, tk i, tk ∈ R, P [X1 ∈ (−∞, t1 i, . . . , Xn ∈ (−∞, tn i] = P [X1 ≤ t1 , . . . , Xn ≤ tn ] = = PX ((−∞, t1 i × . . . × (−∞, tn i) = = FX (t1 , . . . , tn ) . FX : Rn → h0, 1i je distribuˇ cn´ı funkce n´ ahodn´eho vektoru X. Je • neklesaj´ıc´ı (ve vˇsech promˇenn´ ych), • zprava spojit´ a (ve vˇsech promˇenn´ ych), •
lim
t1 →∞,...,tn →∞
FX (t1 , . . . , tn ) = 1,
• ∀k ∈ {1, . . . , n} ∀t1 , . . . , tk−1 , tk+1 , . . . , tn :
lim FX (t1 , . . . , tn ) = 0.
tk →−∞
Vˇ eta: Tyto podm´ınky jsou nutn´ e, nikoli postaˇ cuj´ıc´ı. Nestaˇc´ı zn´at margin´ aln´ı rozdˇelen´ı n´ ahodn´ ych veliˇcin X1 , . . . , Xn , nebot’ ta neobsahuj´ı informace o z´avislosti.
4.3
Nez´ avislost n´ ahodn´ ych veliˇ cin
N´ahodn´e veliˇciny X1 , X2 jsou nez´ avisl´ e, pokud pro vˇsechny intervaly I1 , I2 jsou jevy X1 ∈ I1 , X2 ∈ I2 nez´avisl´e, tj. P [X1 ∈ I1 , X2 ∈ I2 ] = P [X1 ∈ I1 ] · P [X2 ∈ I2 ] . Staˇc´ı se omezit na intervaly tvaru (−∞, ti, tj. P [X1 ≤ t1 , X2 ≤ t2 ] = P [X1 ≤ t1 ] · P [X2 ≤ t2 ] , neboli FX1 ,X2 (t1 , t2 ) = FX1 (t1 ) · FX2 (t2 ) pro vˇsechna t1 , t2 ∈ R. N´ahodn´e veliˇciny X1 , . . . , Xn jsou nez´ avisl´ e, pokud pro libovoln´e intevaly I1 , . . . , In plat´ı P [X1 ∈ I1 , . . . , Xn ∈ In ] =
n Y
P [Xi ∈ Ii ] .
i=1
Na rozd´ıl od definice nez´ avislosti v´ıce neˇz 2 jev˚ u, zde nen´ı tˇreba poˇzadovat nez´ avislost pro libovolnou podmnoˇzinu n´ ahodn´ych veliˇcin X1 , . . . , Xn . Ta vypl´yv´ a z toho, ˇze libovolnou n´ ahodnou veliˇcinu Xi lze vynechat“ tak, ˇze ” zvol´ıme pˇr´ısluˇsn´y interval Ii = R. Pak P [Xi ∈ Ii ] = 1 a v souˇcinu se tento ˇcinitel neprojev´ı. Ekvivalentnˇe staˇc´ı poˇzadovat n Y P [X1 ≤ t1 , . . . , Xn ≤ tn ] = P [Xi ≤ ti ] i=1
pro vˇsechna t1 , . . . , tn ∈ R, coˇz pro sdruˇzenou distribuˇcn´ı funkci nez´ avisl´ ych n´ahodn´ ych veliˇcin znamen´a FX (t1 , . . . , tn ) =
n Y
FXk (tk ) .
k=1
N´ahodn´e veliˇciny X1 , . . . , Xn jsou po dvou nez´ avisl´ e, pokud kaˇzd´e dvˇe (r˚ uzn´e) z nich jsou nez´avisl´e. To je slabˇs´ı podm´ınka neˇz nez´ avislost veliˇcin X1 , . . . , Xn .
11
4.4
Obecnˇ ejˇ s´ı n´ ahodn´ e veliˇ ciny
Komplexn´ı n´ ahodn´ a veliˇ cina je n´ ahodn´ y vektor se dvˇema sloˇzkami interpretovan´ ymi jako re´aln´a a imagin´arn´ı ˇc´ast. Nˇekdy pˇripouˇst´ıme i n´ ahodn´e veliˇciny“, jejichˇz hodnoty jsou jin´e neˇz numerick´e. Mohou to b´ yt napˇr. n´ahodn´e ” mnoˇziny. Jindy nab´ yvaj´ı koneˇcnˇe mnoha hodnot, kter´ ym ponech´ame jejich pˇrirozen´e oznaˇcen´ı, napˇr. rub“, ” l´ıc“, k´amen“, n˚ uˇzky“, pap´ır“ apod. ” ” ” ” Na tˇechto hodnot´ ach nemus´ı b´ yt definovan´ a ˇz´adn´a aritmetika ani uspoˇr´ad´an´ı. Mohli bychom vˇsechny hodnoty oˇc´ıslovat, ale nen´ı ˇz´adn´ y d˚ uvod, proˇc bychom to mˇeli udˇelat pr´avˇe urˇcit´ ym zp˚ usobem (kter´ y by ovlivnil n´ asledn´e numerick´e v´ ypoˇcty). ˇ ıslov´an´ı politick´ (Pˇr´ıklad: C´ ych stran ve volb´ ach.)
4.5
Smˇ es n´ ahodn´ ych veliˇ cin
Pˇ r´ıklad: N´ahodn´e veliˇciny U, V jsou v´ ysledky studenta pˇri odpovˇed´ıch na dvˇe zkouˇskov´e ot´azky. Uˇcitel vybere n´ahodnˇe jednu z ot´ azek a podle odpovˇedi na ni udˇel´ı zn´amku. Jak´e rozdˇelen´ı m´a v´ ysledn´a zn´amka? Necht’ U , resp. V je n´ ahodn´ a veliˇcina na pravdˇepodobnostn´ım prostoru (Ω1 , A1 , P1 ), resp. (Ω2 , A2 , P2 ), pˇriˇcemˇz Ω1 6= Ω2 . Necht’ c ∈ h0, 1i. Definujeme nov´ y pravdˇepodobnostn´ı prostor (Ω, A, P ), kde Ω = Ω 1 ∪ Ω2 , A = {A1 ∪ A2 | A1 ∈ A1 , A2 ∈ A2 }, P (A1 ∪ A2 ) = c P1 (A1 ) + (1 − c) P2 (A2 ) pro A1 ∈ A1 , A2 ∈ A2 . Definujeme funkci X : Ω → R: U (ω) pro ω ∈ Ω1 , X (ω) = V (ω) pro ω ∈ Ω2 . es n´ ahodn´ ych veliˇ cin U, V X je n´ahodn´a veliˇcina na (Ω, A, P ); naz´ yv´ ame ji smˇ mixture) a znaˇc´ıme Mixc (U, V ). X = Mixc (U, V ) m´ a pravdˇepodobnostn´ı m´ıru
s koeficientem c (angl.
PX = c PU + (1 − c) PV a distribuˇcn´ı funkci FX = c FU + (1 − c) FV , FX (t) = c FU (t) + (1 − c) FV (t) . Podobnˇe definujeme obecnˇeji smˇ es n´ ahodn´ ych veliˇ cin U1 , . . . , Un s koeficienty c1 , . . . , cn ∈ h0, 1i,
n P
ci =
i=1
1, znaˇc´ıme Mix(c1 ,..., cn ) (U1 , . . . , Un ) = Mixc (U1 , . . . , Un ), kde c = (c1 , . . . , cn ). M´a pravdˇepodobnostn´ı m´ıru n n P P ci PUi a distribuˇcn´ı funkci ci FUi . (Lze zobecnit i na spoˇcetnˇe mnoho n´ahodn´ ych veliˇcin.) i=1
i=1
Pod´ıl jednotliv´ ych sloˇzek je urˇcen vektorem koeficient˚ u c = (c1 , . . . , cn ). Jejich poˇcet je stejn´ y jako poˇcet n−1 P n´ahodn´ ych veliˇcin ve smˇesi. Jelikoˇz cn = 1 − ci , posledn´ı koeficient nˇekdy vynech´av´ame. i=1
Speci´alnˇe pro dvˇe n´ ahodn´e veliˇciny Mix(c,1−c) (U, V ) = Mixc (U, V ) (kde c je ˇc´ıslo, nikoli vektor). Pˇ r´ıklad: Smˇes´ı re´ aln´ ych ˇc´ısel r1 , . . . , rn s koeficienty c1 , . . . , cn je n´ahodn´a veliˇcina X = Mix(c1 ,..., cn ) (r1 , . . . , rn ), PX (I) = P [X ∈ I] =
X
ci ,
FX (t) =
i:ri ∈I
epodobnostn´ı funkc´ı pX : R → h0, 1i, Lze ji popsat t´eˇz pravdˇ ci pX (t) = PX ({t}) = P [X = t] = 0
X
ci .
i:ri ≤t
pro t = ri , jinak
(pokud jsou r1 , . . . , rn navz´ ajem r˚ uzn´ a). Moˇzno zobecnit i na spoˇcetnˇe mnoho re´aln´ ych ˇc´ısel.
12
4.6
Druhy n´ ahodn´ ych veliˇ cin
1. Diskr´ etn´ı: (z pˇredchoz´ıho pˇr´ıkladu) Existuje spoˇcetn´a mnoˇzina OX , pro kterou PX (R\OX ) = P [X ∈ / OX ] = 0. Nejmenˇs´ı takov´ a mnoˇzina (pokud existuje) je ΩX = {t ∈ R : PX ({t}) 6= 0} = {t ∈ R : P [X = t] 6= 0}. Diskr´etn´ı n´ ahodnou veliˇcinu lze popsat pravdˇepodobnostn´ı funkc´ı pX (t) = PX ({t}) = P [X = t]. P Splˇ nuje pX (t) = 1. t∈R
2. (Absolutnˇ e) spojit´ a: Z
t
FX (t) =
fX (u) du −∞
pro nˇejakou nez´ apornou funkci fX : R → h0, ∞), zvanou hustota n´ahodn´e veliˇciny X. ∞ R Splˇ nuje fX (u) du = 1. −∞
Nen´ı urˇcena jednoznaˇcnˇe, ale dvˇe hustoty fX , gX t´eˇze n´ahodn´e veliˇciny splˇ nuj´ı pro vˇsechny intervaly I. Lze volit fX (t) =
dFX (t) dt ,
R I
(fX (x) − gX (x)) dx = 0
pokud derivace existuje.
PX ({t}) = 0 pro vˇsechna t. 3. Sm´ıˇ sen´ a: Smˇes pˇredchoz´ıch dvou pˇr´ıpad˚ u; ΩX 6= ∅, PX (R \ ΩX ) = P [X ∈ / ΩX ] 6= 0. Nejde popsat ani pravdˇepodobnostn´ı funkc´ı (existuje, ale neurˇcuje cel´e rozdˇelen´ı) ani hustotou (neexistuje, nebot’ nevych´ az´ı koneˇcn´ a). 4. Dalˇs´ı moˇzn´e pˇr´ıpady: Napˇr. n´ ahodn´ a veliˇcina se spojitou distribuˇcn´ı funkc´ı, kterou nelze vyj´adˇrit jako integr´al. Tyto pˇr´ıpady d´ ale neuvaˇzujeme.
4.7
Popis sm´ıˇ sen´ e n´ ahodn´ e veliˇ ciny
N´ahodnou veliˇcinu X se sm´ıˇsen´ ym rozdˇelen´ım lze jednoznaˇ cnˇ e vyj´adˇrit ve tvaru X = Mixc (U, V ), kde U je diskr´etn´ı, V je spojit´ a a c ∈ (0, 1): c = PX (ΩX ) = PX ({t ∈ R : PX ({t}) 6= 0}) , c PU ({t}) + (1 − c) PV ({t}) = c PU ({t}) = PX ({t}) , | {z } 0
pU (t) = PU ({t}) =
PX ({t}) , c
ΩU = ΩX , c PU (I) + (1 − c) PV (I) = PX (I) , PX (I) − c PU (I) , 1−c FX (t) − c FU (t) FV (t) = . 1−c Alternativa bez pouˇzit´ı pravdˇepodobnostn´ı m´ıry: X c= P [X = t] , PV (I) =
t∈R
c P [U = t] = P [X = t] , pU (t) = P [U = t] =
P [X = t] , c
c P [U ∈ I] + (1 − c) P [V ∈ I] = P [X ∈ I] , P [X ∈ I] − c P [U ∈ I] , 1−c FX (t) − c FU (t) . FV (t) = 1−c
P [V ∈ I] =
13
(Lze jeˇstˇe pokraˇcovat rozkladem diskr´etn´ı ˇc´ asti na smˇes Diracov´ ych rozdˇelen´ı.)
4.8
Kvantilov´ a funkce n´ ahodn´ e veliˇ ciny ∀α ∈ (0, 1) ∃t ∈ R : P [X < t] ≤ α ≤ P [X ≤ t] .
Pokud je takov´ ych ˇc´ısel v´ıc, tvoˇr´ı omezen´ y interval a vezmeme z nˇej (obvykle) stˇred, pˇresnˇeji tedy qX (α) =
1 (sup {t ∈ R | P [X < t] ≤ α} + inf {t ∈ R | P [X ≤ t] ≥ α}) . 2
2
q(a) 1
0
0.2
0.6
1
a
–1
–2
ˇ ıslo qX (α) se naz´ ahodn´e veliˇciny X a funkce qX : (0, 1) → R je kvantilov´ a funkce n´ahodn´e C´ yv´ a α-kvantil n´ an, dalˇs´ı kvantily maj´ı tak´e sv´a jm´ena – tercil, kvartil (doln´ı qX ( 14 ), veliˇciny X. Speci´ alnˇe qX ( 21 ) je medi´ horn´ı qX ( 34 )) ... decil ... centil neboli percentil .... Vlastnosti kvantilov´e funkce: • neklesaj´ıc´ı, • qX (α) =
1 2
(qX (α−) + qX (α+)).
Vˇ eta: Tyto podm´ınky jsou nutn´ e i postaˇ cuj´ıc´ı. M˚ uˇzeme mluvit o vertik´ aln´ı reprezentaci n´ahodn´e veliˇciny pomoc´ı distribuˇcn´ı funkce FX : R → [0, 1] a horizont´ aln´ı reprezentaci pomoc´ı kvantilov´e funkce qX : (0, 1) → R. Obr´acen´ y pˇrevod: FX (t) = inf{α ∈ (0, 1) | qX (α) > t} = sup{α ∈ (0, 1) | qX (α) ≤ t} . Funkce FX , qX jsou navz´ ajem inverzn´ı tam, kde jsou spojit´e a rostouc´ı (tyto podm´ınky staˇc´ı ovˇeˇrit pro jednu z nich).
4.9
Jak reprezentovat n´ ahodnou veliˇ cinu v poˇ c´ıtaˇ ci
1. Diskr´ etn´ı: Nab´ yv´ a-li pouze koneˇcn´eho poˇctu hodnot tk , k = 1, . . . , n, staˇc´ı k reprezentaci tyto hodnoty a jejich pravdˇepodobnosti pX (tk ) = PX ({tk }) = P [X = tk ], ˇc´ımˇz je plnˇe pops´ana pravdˇepodobnostn´ı funkce 2n ˇc´ısly (aˇz na nepˇresnost zobrazen´ı re´aln´ ych ˇc´ısel v poˇc´ıtaˇci). Pokud diskr´etn´ı n´ ahodn´ a veliˇcina nab´ yv´a (spoˇcetnˇe) nekoneˇcnˇe mnoha hodnot, mus´ıme nˇekter´e vynechat, zejm´ena ty, kter´e jsou m´ alo pravdˇepodobn´e. Pro kaˇzd´e ε > 0 lze vybrat koneˇcnˇe mnoho hodnot tk , k = 1, . . . , n, tak, ˇze PX (R{t1 , . . . , tn }) = P [X ∈ / {t1 , . . . , tn }] ≤ ε. Zb´ yv´a vˇsak probl´em, jakou hodnotu pˇriˇradit zb´ yvaj´ıc´ım (byt’ m´ alo pravdˇepodobn´ ym) pˇr´ıpad˚ um. 2. (Absolutnˇ e) spojit´ a: Hustotu m˚ uˇzeme pˇribliˇznˇe popsat hodnotami f (tk ) v dostateˇcnˇe mnoha“ bodech ” tk , k = 1, . . . , n, ale jen za pˇredpokladu, ˇze je dostateˇcnˇe hladk´a“. Zaj´ımaj´ı n´as z n´ı sp´ıˇse integr´aly typu ” Z tk+1 FX (tk+1 ) − FX (tk ) = fX (u) du , tk
z nichˇz lze pˇribliˇznˇe zkonstruovat distribuˇcn´ı funkci. M˚ uˇzeme pro reprezentaci pouˇz´ıt pˇr´ımo hodnoty distribuˇcn´ı funkce FX (tk ). Tam, kde je hustota velk´a, potˇrebujeme volit body hustˇe. M˚ uˇzeme volit body tk , k = 1, . . . , n, tak, aby pˇr´ır˚ ustky FX (tk+1 )−FX (tk ) mˇely zvolenou velikost. Zvol´ıme tedy αk ∈ (0, 1), k = 1, . . . , n, a k nim najdeme ˇc´ısla tk = qX (αk ). Pamˇet’ov´a n´ aroˇcnost je velk´ a, z´ avis´ı na jemnosti ˇsk´aly hodnot n´ahodn´e veliˇciny, resp. jej´ı distribuˇcn´ı funkce. 14
ˇ Casto je rozdˇelen´ı zn´ am´eho typu a staˇc´ı doplnit nˇekolik parametr˚ u, aby bylo plnˇe urˇceno. Mnoh´e obecnˇejˇs´ı pˇr´ıpady se snaˇz´ıme vyj´ adˇrit alespoˇ n jako smˇesi n´ahodn´ ych veliˇcin s rozdˇelen´ımi zn´am´eho typu, abychom vystaˇcili s koneˇcnˇe mnoha parametry. 3. Sm´ıˇ sen´ a: Jako u spojit´e n´ ahodn´e veliˇciny. Tento popis je vˇsak pro diskr´etn´ı ˇc´ast zbyteˇcnˇe nepˇresn´ y. M˚ uˇzeme pouˇz´ıt rozklad na diskr´etn´ı a spojitou ˇc´ast.
4.10
Operace s n´ ahodn´ ymi veliˇ cinami
Zde I, J ⊆ R jsou intervaly nebo spoˇcetn´ a sjednocen´ı interval˚ u. Pˇ riˇ cten´ı konstanty r odpov´ıd´ a posunut´ı ve smˇeru vodorovn´e osy: PX+r (I + r) = PX (I) , PX+r (J) = PX (J − r) , FX+r (t + r) = FX (t) , FX+r (u) = FX (u − r) , qX+r (α) = qX (α) + r .
Vyn´ asoben´ı nenulovou konstantou r odpov´ıd´a podobnost ve smˇeru vodorovn´e osy: PrX (rI) = PX (I), PrX (J) = PX Jr . Pro distribuˇcn´ı funkci mus´ıme rozliˇsit pˇr´ıpady: • r > 0:
FrX (rt) = FX (t),
FrX (u) = FX
u r
,
qrX (α) = r qX (α),
• r = −1: F−X (−t) = P−X ((−∞, −ti) = PX (ht, ∞)) = 1 − PX ((−∞, t)), v bodech spojitosti distribuˇcn´ı funkce F−X (−t) = 1 − PX ((−∞, t)) = 1 − P [X < t] = 1 − P [X ≤ t] = 1 − PX ((−∞, ti) = 1 − FX (t), F−X (u) = 1−FX (−u), v bodech nespojitosti limita zprava (stˇredov´a symetrie grafu podle bodu 0, 21 s opravou na spojitost zprava), q−X (α) = −qX (1 − α),
• r < 0:
kombinace pˇredchoz´ıch pˇr´ıpad˚ u.
Zobrazen´ı spojitou rostouc´ı funkc´ı h: Ph(X) (h(I)) = PX (I), Fh(X) (h(t)) = FX (t), Fh(X) (u) = FX (h−1 (u)), qh(X) (α) = h(qX (α)) v bodech spojitosti kvantilov´ e funkce. Zobrazen´ı neklesaj´ıc´ı, zleva spojitou funkc´ı h: Fh(X) (u) = sup{FX (t) | h(t) ≤ u}. Zobrazen´ı po ˇ c´ astech monotonn´ı, zleva spojitou funkc´ı h: M˚ uˇzeme vyj´adˇrit h = h+ − h− , kde h+ , h− jsou neklesaj´ıc´ı. X vyj´adˇr´ıme jako smˇes X = Mixc (U, V ), kde U nab´ yv´a pouze hodnot, v nichˇz je h neklesaj´ıc´ı, V pouze hodnot, v nichˇz je h nerostouc´ı. V´ ysledek dostaneme jako smˇes dvou n´ahodn´ ych veliˇcin, vznikl´ ych zobrazen´ım funkcemi h+ , h− . Funkci h lze aplikovat na smˇes po sloˇzk´ach“, tj. h(Mixc (U, V )) = Mixc (h(U ), h(V )). ” Souˇ cet n´ ahodn´ ych veliˇ cin nen´ı jednoznaˇcnˇe urˇcen, jedinˇe za pˇredpokladu nez´ avislosti. Ani pak nen´ı vztah jednoduch´ y. Smˇ es n´ ahodn´ ych veliˇ cin viz v´ yˇse. Na rozd´ıl od souˇctu je plnˇe urˇcena (margin´ aln´ımi) rozdˇelen´ımi vstupn´ıch n´ ahodn´ych veliˇcin a koeficienty smˇesi. 15
4.11
Jak realizovat n´ ahodnou veliˇ cinu na poˇ c´ıtaˇ ci
1. Vytvoˇr´ıme n´ ahodn´ y (nebo pseudon´ ahodn´ y) gener´ator n´ahodn´e veliˇciny X s rovnomˇern´ ym rozdˇelen´ım na h0, 1i. 2. N´ahodn´a veliˇcina qY (X) m´ a stejn´e rozdˇelen´ı jako Y . (Staˇc´ı tedy na kaˇzdou realizaci n´ahodn´e veliˇciny X aplikovat funkci qY .) ych n´ ahodn´ ych veliˇcin jsou stejn´a aˇz na (neline´arn´ı) zmˇenu mˇeˇr´ıtka. Vˇsechna rozdˇelen´ı spojit´
4.12
Stˇ redn´ı hodnota
Znaˇcen´ı: E. nebo µ. Je definov´ana zvl´ aˇst’ pro • diskr´ etn´ı n´ ahodnou veliˇcinu U : EU = µU =
X
X
t · pU (t) =
t · pU (t) ,
t∈ΩU
t∈R
• spojitou n´ ahodnou veliˇcinu V :
Z∞ t · fV (t) dt ,
EV = µV = −∞
• smˇ es n´ahodn´ ych veliˇcin X = Mixc (U, V ), kde U je diskr´etn´ı, V je spojit´a: EX = c EU + (1 − c) EV . (To nen´ı linearita stˇredn´ı hodnoty!) Lze vyj´ıt z definice pro diskr´etn´ı n´ ahodnou veliˇcinu a ostatn´ı pˇr´ıpady dostat jako limitu pro aproximaci jin´ ych rozdˇelen´ı diskr´etn´ım. Vˇsechny tˇri pˇr´ıpady pokr´ yv´ a univerz´ aln´ı vzorec s pouˇzit´ım kvantilov´e funkce Z1 EX =
qX (α) dα . 0
Ten lze nav´ıc jednoduˇse zobecnit na stˇredn´ı hodnotu jak´ekoli funkce n´ahodn´e veliˇciny: Z1 E (h(X)) =
h (qX (α)) dα . 0
Speci´alnˇe pro diskr´ etn´ı n´ ahodnou veliˇcinu E (h(U )) =
X
h (t) · pU (t) ,
t∈ΩU
pro spojitou n´ahodnou veliˇcinu by obdobn´ y vzorec platil jen za omezuj´ıc´ıch pˇredpoklad˚ u, protoˇze spojitost n´ahodn´e veliˇciny se nemus´ı zachov´ avat. Stˇredn´ı hodnota je vodorovnou souˇradnic´ı tˇeˇziˇstˇe grafu distribuˇcn´ı funkce, jsou-li jeho elementy v´aˇzeny pˇr´ır˚ ustkem distribuˇcn´ı funkce:
Pokud pracujeme se stˇredn´ı hodnotou, automaticky pˇredpokl´ad´ame, ˇze existuje (coˇz nen´ı vˇzdy splnˇeno). 16
4.12.1
Vlastnosti stˇ redn´ı hodnoty Er = r , spec. E(EX) = EX , E (X + Y ) = EX + EY , spec. E (X + r) = EX + r , E (X − Y ) = EX − EY , E (r X) = r EX , obecnˇeji E (r X + s Y ) = r EX + s EY .
(To je linearita stˇredn´ı hodnoty.) E (Mixc (U, V )) = c EU + (1 − c) EV . (To nen´ı linearita stˇredn´ı hodnoty.) avisl´ e n´ ahodn´e veliˇciny Pouze pro nez´ E (X · Y ) = EX · EY .
4.13
Rozptyl (disperze)
Znaˇcen´ı: σ.2 , D., var .
2 2 DX = E (X − EX) = E X 2 − (EX) , 2 E X 2 = (EX) + DX .
Vlastnosti:
Z1
(1)
2
(qX (α) − EX) dα .
DX = 0
DX ≥ 0 , Dr = 0 , D (X + r) = DX , D (r X) = r2 DX . 2 D (Mixc (U, V )) = E Mixc (U, V )2 − (E (Mixc (U, V ))) 2 = c E U 2 + (1 − c) E V 2 − (c EU + (1 − c) EV ) 2 2 = c DU + (EU ) + (1 − c) DV + (EV ) 2 2 − c2 (EU ) + 2 c (1 − c) EU EV + (1 − c)2 (EV ) 2
= c DU + (1 − c) DV + c (1 − c) (EU ) 2
− 2 c (1 − c) EU EV + c (1 − c) (EV )
2
= c DU + (1 − c) DV + c (1 − c) (EU − EV ) . avisl´ e n´ ahodn´e veliˇciny Pouze pro nez´ D (X − Y ) = DX + DY .
D (X + Y ) = DX + DY,
4.14
Smˇ erodatn´ a odchylka
Znaˇcen´ı: σ. √ σX =
r 2 DX = E (X − EX)
Na rozd´ıl od rozptylu m´ a stejn´ y fyzik´ aln´ı rozmˇ er jako p˚ uvodn´ı n´ahodn´a veliˇcina. 17
Vlastnosti: σX
v uZ1 u u 2 = t (qX (α) − EX) dα. 0
σX ≥ 0 , σr = 0 , σX+r = σX , σr X = |r| σX . Pouze pro nez´ avisl´ e n´ ahodn´e veliˇciny σX+Y =
4.15
√
DX + DY =
q 2 + σ2 . σX Y
Obecn´ e momenty
k∈N k-t´ y obecn´ y moment (znaˇcen´ı nezav´ ad´ıme): E X k , speci´alnˇe: pro k = 1 : EX, 2 pro k = 2 : E X 2 = (EX) + DX. 0 Alternativn´ı znaˇcen´ı: mk , µk . k aln´ı moment (znaˇcen´ı nezav´ ad´ıme): E (X − EX) , speci´alnˇe: k-t´ y centr´ pro k = 1 : 0, pro k = 2 : DX. Alternativn´ı znaˇcen´ı: µk . Pomoc´ı kvantilov´e funkce: E X
k
Z1 =
k
(qX (α)) dα . 0
k
E (X − EX)
Z1
k
(qX (α) − EX) dα .
= 0
4.16
Normovan´ a n´ ahodn´ a veliˇ cina
je takov´a, kter´a m´ a nulovou stˇredn´ı hodnotu a jednotkov´ y rozptyl: norm X =
X − EX σX
(pokud m´a vzorec smysl). Zpˇetn´ a transformace je X = EX + σX norm X .
4.17 4.17.1
Z´ akladn´ı typy diskr´ etn´ıch rozdˇ elen´ı Diracovo
Je jedin´ y moˇzn´ y v´ ysledek r ∈ R. pX (r) = 1 ,
EX = r ,
Vˇsechna diskr´etn´ı rozdˇelen´ı jsou smˇesi Diracov´ ych rozdˇelen´ı.
18
DX = 0 .
(2)
4.17.2
Rovnomˇ ern´ e
Je m moˇzn´ ych v´ ysledk˚ u stejnˇe pravdˇepodobn´ ych. Speci´alnˇe pro obor hodnot {1, 2, . . . , m} dost´ av´ame 1 , k ∈ {1, 2, . . . , m} , m 1 m+1 , DX = (m + 1) (m − 1) . EX = 2 12
pX (k) =
4.17.3
Alternativn´ı (Bernoulliovo)
Jsou 2 moˇzn´e v´ ysledky. (Smˇes dvou Diracov´ ych rozdˇelen´ı.) Pokud v´ ysledky jsou 0, 1, kde 1 m´ a pravdˇepodobnost p ∈ (0, 1), dost´av´ame
pX (1) = p , EX = p , 4.17.4
pX (0) = 1 − p , DX = p(1 − p) .
Binomick´ e Bi(m, p)
Poˇcet u ´spˇech˚ u z m nez´ avisl´ ych pokus˚ u, je-li v kaˇzd´em stejn´a pravdˇepodobnost u ´spˇechu p ∈ h0, 1i. (Souˇcet m nez´avisl´ ych alternativn´ıch rozdˇelen´ı.) k m−k pX (k) = m , k ∈ {0, 1, 2, . . . , m} , k p (1 − p) EX = mp , DX = mp(1 − p) . V´ypoˇcetn´ı sloˇzitost v´ypoˇctu pX (k) je O(k), cel´eho rozdˇelen´ı O(m2 ). 4.17.5
Poissonovo Po(λ)
Limitn´ı pˇr´ıpad binomick´eho rozdˇelen´ı pro m → ∞ pˇri konstantn´ım mp = λ > 0 (tedy p → 0). λk −λ e , k ∈ {0, 1, 2, . . .} . k! Jednotliv´e pravdˇepodobnosti se poˇc´ıtaj´ı sn´ aze neˇz u binomick´eho rozdˇelen´ı (ovˇsem vˇsechny nevypoˇc´ıt´ ame, protoˇze jich je nekoneˇcnˇe mnoho). EX = λ , DX = λ . pX (k) =
Stˇredn´ı hodnota se rovn´ a rozptylu;“ jedn´ a se vˇ zdy o bezrozmˇ ern´ e celoˇ c´ıseln´ e n´ ahodn´e veliˇciny (poˇcet ” v´yskyt˚ u). Poissonovo rozdˇ elen´ı jako limitn´ı pˇ r´ıpad binomick´ eho pX (k) =
m k
Pro m → ∞ pˇri konstantn´ım mp = λ, tj. p =
pk (1 − p)m−k
k m−k m (m − 1) . . . (m − (k − 1)) λ λ 1− k! m m −k m k λ 1 k−1 λ λ = 1 1− ··· 1 − 1− 1− k! m m m m | {z }| {z }| {z } =
→1
→1
k
→
λ −λ e . k!
19
→e−λ
λ m:
4.17.6
Geometrick´ e
Poˇcet u ´spˇech˚ u do prvn´ıho ne´ uspˇechu, je-li v kaˇzd´em pokusu stejn´a pravdˇepodobnost u ´spˇechu p ∈ (0, 1). pX (k) = pk (1 − p), k ∈ {0, 1, 2, . . .} , p p , DX = EX = 2 . 1−p (1 − p) 4.17.7
Hypergeometrick´ e
Poˇcet v´ yskyt˚ u v m vzorc´ıch, vybran´ ych z M objekt˚ u, v nichˇz je K v´ yskyt˚ u (1 ≤ m ≤ K ≤ M ).
pX (k) = EX =
K k
M −K m−k M m
mK , M
k ∈ {0, 1, 2, . . . , m} ,
, DX =
mK (M − K) (M − m) . M 2 (M − 1)
V´ypoˇcetn´ı sloˇzitost v´ypoˇctu pX (k) je O(m), cel´eho rozdˇelen´ı O(m2 ). Binomick´ e rozdˇ elen´ı jako limitn´ı pˇ r´ıpad hypergeometrick´ eho Lemma: Pro m, M ∈ N, m < M , je m! = 1. lim M m M →∞ Mm D˚ ukaz: M (M − 1) · · · (M − (m − 1)) 1 m−1 M m! = = 1 1 − · · · 1 − → 1. m Mm Mm M M m D˚ usledek: Pro M m m˚ uˇzeme M c´ıtat pˇribliˇznˇe jako Mm! . m poˇ K −K Hypergeometrick´e rozdˇelen´ı pro M → ∞ pˇri konstantn´ım M = p, tj. MM = 1 − p (s vyuˇzit´ım pˇredchoz´ıho lemmatu):
pX (k) = =
4.18 4.18.1
K k
M −K m−k M m
→
Kk k!
(M −K)m−k (m−k)! Mm m! m−k
m! K k (M − K) · k · k! (m − k)! M M m−k
=
m k
Rovnomˇ ern´ e R(a, b)
1 b−a
0 a+b EX = , 2
pro t ∈ ha, bi, jinak, 1 2 DX = (b − a) . 12
Norm´ aln´ı (Gaussovo) N(µ, σ 2 )
A. Normovan´e N(0, 1): 1 fN(0,1) (t) = √ exp 2π
−t2 2
Distribuˇcn´ı funkce je transcendentn´ı (Gauss˚ uv integr´al) Φ, 2 Z u 1 −t √ Φ(u) = FN(0,1) (u) = exp dt , 2 2π −∞
20
m−k
pk (1 − p)
Z´ akladn´ı typy spojit´ ych rozdˇ elen´ı
fX (t) =
4.18.2
·
.
kvantilov´a funkce Φ−1 je inverzn´ı k Φ. B. Obecn´e N(µ, σ 2 ): f
N(µ,σ 2 )
4.18.3
(t) =
σ
1 √
2π
exp
−(t − µ)2 2 σ2
,
DX = σ 2 .
EX = µ ,
Logaritmickonorm´ aln´ı LN(µ, σ 2 )
je rozdˇelen´ı n´ahodn´e veliˇciny X = exp(Y ), kde Y m´a N(µ, σ 2 ) ( fX (t) =
uσ
1 √
2π
2 exp − (ln2u−µ) 2 σ
0 σ2 , EX = exp µ + 2
4.18.4
pro t > 0, jinak,
DX = exp 2 µ + σ 2
exp σ 2 − 1 .
Exponenci´ aln´ı Ex(τ )
Napˇr. rozdˇelen´ı ˇcasu do prvn´ı poruchy, jestliˇze (podm´ınˇen´a) pravdˇepodobnost poruchy za ˇcasov´ y interval ht, t+δi z´avis´ı jen na δ, nikoli na t: fX (t) =
1 τ
exp − τt
pro t > 0, jinak,
0
DX = τ 2 .
EX = τ ,
4.19
N´ ahodn´ e vektory 2
N´ahodn´ y vektor X = (X1 , . . . , Xn ) je popsan´ y sdruˇzenou distribuˇcn´ı funkc´ı FX : Rn → h0, 1i FX (t1 , . . . , tn ) = P [X1 ≤ t1 , . . . , Xn ≤ tn ] . 4.19.1
Diskr´ etn´ı n´ ahodn´ y vektor
m´a vˇsechny sloˇzky diskr´etn´ı. Lze jej popsat t´eˇz sdruˇ zenou pravdˇ epodobnostn´ı funkc´ı pX : Rn → h0, 1i pX (t1 , . . . , tn ) = P [X1 = t1 , . . . , Xn = tn ] , kter´a je nenulov´a jen ve spoˇcetnˇe mnoha bodech. Diskr´ etn´ı n´ahodn´e veliˇciny X1 , . . . , Xn jsou nez´ avisl´ e, pr´avˇe kdyˇz P [X1 = t1 , . . . , Xn = tn ] =
n Y
P [Xi = ti ]
i=1
pro vˇsechna t1 , . . . , tn ∈ R. Ekvivalentn´ı formulace: pX (t1 , . . . , tn ) =
n Y
pXi (ti ) .
i=1
4.19.2
Spojit´ y n´ ahodn´ y vektor
m´a vˇsechny sloˇzky spojit´e. Lze jej popsat t´eˇz sdruˇ zenou hustotou pravdˇ epodobnosti coˇz je (kaˇzd´a) nez´aporn´a funkce fX : Rn → h0, ∞) takov´ a, ˇze Z
t1
FX (t1 , . . . , tn ) =
Z
tn
... −∞
fX (u1 , . . . , un ) du1 . . . dun , −∞
pro vˇsechna t1 , . . . , tn ∈ R.
21
Speci´alnˇe pro intervaly hai , bi i dost´ av´ ame P [X1 ∈ ha1 , b1 i, . . . , Xn ∈ han , bn i] = PX (ha1 , b1 i × . . . × han , bn i) Z bn Z b1 fX (u1 , . . . , un ) du1 . . . dun ... = an
a1
Spojit´ e n´ahodn´e veliˇciny X1 , . . . , Xn jsou nez´ avisl´ e, pr´avˇe kdyˇz fX (t1 , . . . , tn ) =
n Y
fXi (ti ) .
i=1
pro skoro vˇsechna t1 , . . . , tn ∈ R.
4.20
ˇ ıseln´ C´ e charakteristiky n´ ahodn´ eho vektoru
Stˇ redn´ı hodnota • n´ahodn´eho vektoru X = (X1 , . . . , Xn ):
EX = (EX1 , . . . , EXn )
• komplexn´ı n´ ahodn´e veliˇciny: X = <(X) + i =(X):
EX = E<(X) + i E=(X)
• nenumerick´e n´ ahodn´e veliˇciny: nem´ a smysl Rozptyl n´ahodn´eho vektoru X = (X1 , . . . , Xn ):
DX = (DX1 , . . . , DXn )
Je-li U n´ahodn´ a veliˇcina, a, b ∈ R, pak a U + b m´a charakteristiky D (a U + b) = a2 DU .
E (a U + b) = a EU + b ,
Na rozd´ıl od jednorozmˇern´e n´ ahodn´e veliˇciny, stˇredn´ı hodnota a rozptyl n´ahodn´eho vektoru ned´avaj´ı dostateˇcnou informaci pro v´ ypoˇcet rozptylu jeho line´ arn´ıch funkc´ı. Proto zav´ad´ıme dalˇs´ı charakteristiky. Napˇr. E (X + Y ) = EX + EY , 2 2 D (X + Y ) = E (X + Y ) − (E (X + Y )) 2 = E X 2 + Y 2 + 2 X Y − (EX + EY ) 2 2 = E X 2 + E Y 2 + 2 E (X Y ) − (EX) + (EY ) + 2 EX EY 2 2 = E X 2 − (EX) + E Y 2 − (EY ) +2 (E (X Y ) − EX EY ) {z } | | {z } | {z } DX
DY
cov(X,Y )
= DX + DY + 2 cov(X, Y ) , kde cov(X, Y ) = E (X Y ) − EX EY je kovariance n´ahodn´ ych veliˇcin X, Y . Ekvivalentnˇe ji lze definovat cov(X, Y ) = E ((X − EX) (Y − EY )) , nebot’ E ((X − EX) (Y − EY )) = E (X Y − X EY − Y EX + EX EY ) = E (X Y ) − EX EY − EX EY + EX EY . | {z } 0
(Prvn´ı vzorec je vhodnˇejˇs´ı pro v´ ypoˇcet.) Pro existenci kovariance je postaˇcuj´ıc´ı existence rozptyl˚ u DX, DY . Vlastnosti kovariance: cov(X, X) = DX, cov(Y, X) = cov(X, Y ), cov(a X + b, c Y + d) = a c cov(X, Y ) (a, b, c, d ∈ R) (srovnejte s vlastnostmi rozptylu jako speci´ aln´ıho pˇr´ıpadu), speci´alnˇe cov(X, −X) = −DX. 22
Pro nez´ avisl´ e n´ ahodn´e veliˇciny X, Y je cov(X, Y ) = 0. Pouˇzit´ım kovariance pro normovan´ e n´ ahodn´e veliˇciny vyjde korelace: %(X, Y ) = cov(norm X, norm Y ) =
cov(X, Y ) = E (norm X · norm Y ) σX σY
e). (pˇredpokl´ad´ame, ˇze smˇerodatn´e odchylky ve jmenovateli jsou nenulov´ Speci´alnˇe %(X, X) = 1. Vlastnosti korelace: %(X, X) = 1, %(X, −X) = −1, %(X, Y ) ∈ h−1, 1i, %(Y, X) = %(X, Y ), %(aX + b, cY + d) = sign (ac) %(X, Y ) (a, b, c, d ∈ R, a 6= 0 6= c) (aˇz na znam´enko nez´ aleˇz´ı na prost´e line´ arn´ı transformaci). D˚ usledek: %(aX + b, X) = sign (a). avisl´ e, je %(X, Y ) = 0. Obr´acen´a implikace vˇsak neplat´ı (nen´ı to postaˇcuj´ıc´ı Jsou-li n´ahodn´e veliˇciny X, Y nez´ e. podm´ınka pro nez´ avislost). N´ ahodn´e veliˇciny X, Y splˇ nuj´ıc´ı %(X, Y ) = 0 naz´ yv´ame nekorelovan´ Pro n´ahodn´ y vektor X = (X1 , . . . , Xn ) je definov´ana kovarianˇ cn´ı matice cov(X1 , X1 ) cov(X1 , X2 ) · · · cov(X1 , Xn ) cov(X2 , X1 ) cov(X2 , X2 ) · · · cov(X2 , Xn ) ΣX = .. .. .. .. . . . . cov(Xn , X1 ) DX1 cov(X1 , X2 ) = .. .
cov(Xn , X2 ) · · ·
cov(X1 , Xn )
cov(X2 , Xn ) · · ·
cov(X1 , X2 ) DX2 .. .
··· ··· .. .
Je symetrick´a pozitivnˇe semidefinitn´ı, na diagon´ale m´a rozptyly. Podobnˇe je definov´ ana korelaˇ cn´ı matice 1 %(X1 , X2 ) · · · %(X1 , X2 ) 1 ··· %X = .. .. .. . . . %(X1 , Xn ) %(X2 , Xn ) · · ·
cov(Xn , Xn ) cov(X1 , Xn ) cov(X2 , Xn ) . .. . DXn
%(X1 , Xn ) %(X2 , Xn ) . .. . 1
Je symetrick´a pozitivnˇe semidefinitn´ı. 4.20.1
V´ıcerozmˇ ern´ e norm´ aln´ı rozdˇ elen´ı N(~ µ, Σ)
popisuje speci´aln´ı pˇr´ıpad n´ ahodn´eho vektoru, jehoˇz sloˇzky maj´ı norm´aln´ı rozdˇelen´ı a nemus´ı b´ yt nekorelovan´e. M´a hustotu T −1 1 1 ~t − µ exp − ~t − µ ~ Σ ~ , fN(~µ,Σ) (~t) = p n 2 (2 π) det Σ kde ~t = (t1 , . . . , tn ) ∈ Rn , µ ~ = (µ1 , . . . , µn ) ∈ Rn je vektor stˇredn´ıch hodnot, Σ ∈ Rn×n je symetrick´ a pozitivnˇe definitn´ı kovarianˇcn´ı matice a Σ−1 je matice k n´ı inverzn´ı. Margin´aln´ı rozdˇelen´ı i-t´e sloˇzky je N(µi , Σii ).
4.21
Line´ arn´ı prostor n´ ahodn´ ych veliˇ cin
Zvolme pevnˇe pravdˇepodobnostn´ı prostor (Ω, A, P ). Oznaˇcme L mnoˇzinu vˇsech n´ ahodn´ ych veliˇcin na (Ω, A, P ), tj. A-mˇeˇriteln´ ych funkc´ı Ω → R. Operac´ım sˇc´ıt´an´ı n´ ahodn´ ych veliˇcin a jejich n´asoben´ı re´aln´ ym ˇc´ıslem odpov´ıdaj´ı pˇr´ısluˇsn´e operace s funkcemi (prov´adˇen´e na Ω bod po bodu). Stejnˇe jako funkce, tvoˇr´ı i n´ ahodn´e veliˇciny z L line´arn´ı prostor. 23
D´ale se omez´ıme na prostor L2 vˇsech n´ ahodn´ ych veliˇcin z L, kter´e maj´ı rozptyl (L2 je line´arn´ı podprostor prostoru L). Na nˇem lze definovat bin´ arn´ı operaci • : L2 × L2 → R X • Y = E (X Y ) . Ta je biline´arn´ı (tj. line´ arn´ı v obou argumentech) a komutativn´ı. Pokud ztotoˇzn´ıme n´ ahodn´e veliˇciny, kter´e se liˇs´ı jen na mnoˇzinˇe nulov´e m´ıry, pak • je skal´arn´ı souˇcin. (Po ztotoˇznˇen´ı n´ ahodn´ych veliˇcin X, Y , pro kter´e P [X 6= Y ] = 0 povaˇzujeme za prvky prostoru tˇr´ıdy ekvivalence m´ısto jednotliv´ych n´ ahodn´ych veliˇcin.) Skal´arn´ı souˇcin • definuje normu p √ ||X|| = X • X = E (X 2 ) a metriku (vzd´alenost) r 2 d(X, Y ) = ||X − Y || = E (X − Y ) . (Bez pˇredchoz´ıho ztotoˇznˇen´ı by toto byla jen pseudometrika, mohla by vyj´ıt nulov´ a i pro X 6= Y .) V L2 rozliˇs´ıme 2 d˚ uleˇzit´e podprostory: • R = jednodimenzion´ aln´ı prostor vˇsech konstatn´ıch n´ahodn´ ych veliˇcin (tj. s Diracov´ ym rozdˇelen´ım), • N = prostor vˇsech n´ ahodn´ ych veliˇcin s nulovou stˇredn´ı hodnotou. N je ortogon´aln´ı doplnˇek podprostoru R, tj. N = {X ∈ L2 | (∀Y ∈ R : X • Y = 0)} . EX je kolm´ y pr˚ umˇet X do R (pokud ztotoˇzn ˇujeme toto re´ aln´e ˇc´ıslo s pˇr´ısluˇsnou konstantn´ı n´ ahodnou veliˇcinou, jinak souˇradnice ve smˇeru R), X − EX je kolm´ y pr˚ umˇet X do N , norm X = X−EX je jednotkov´ y vektor ve smˇeru kolm´eho pr˚ umˇetu X do N , σX σX = ||X − EX|| je vzd´ alenost X od R. Z kolmosti vektor˚ u X − EX ∈ N , EX ∈ R a Pythagorovy vˇety plyne 2
2
2
X • X = ||X|| = ||X − EX|| + ||EX|| , 2 E X 2 = DX + (EX) . 4.21.1
Line´ arn´ı podprostor n´ ahodn´ ych veliˇ cin s nulov´ ymi stˇ redn´ımi hodnotami
Speci´alnˇe pro n´ahodn´e veliˇciny z N vych´ az´ı 2 σX =X •X, σX = ||X|| , cov(X, Y ) = X • Y ,
%(X, Y ) =
X •Y cov(X, Y ) = , σ X σY ||X|| ||Y ||
takˇze korelace %(X, Y ) je kosinus u ´hlu vektor˚ u X, Y ∈ N . D˚ usledek: N´ahodn´e veliˇciny X, Y s nulov´ ymi stˇ redn´ımi hodnotami jsou ortogon´aln´ı, pr´avˇe kdyˇz jsou nekorelovan´e. Obecnˇe v L2 %(X, Y ) je kosinus u ´hlu pr˚ umˇet˚ u X, Y do N , cov(X, Y ) = X • Y − EX EY je skal´ arn´ı souˇcin pr˚ umˇet˚ u X, Y do N .
24
4.21.2
Line´ arn´ı regrese
´ Uloha: Je d´an n´ ahodn´ y vektor X = (X1 , . . . , Xn ) a n´ahodn´a veliˇcina Y . (Pˇredpokl´ ad´ a me, ˇ z e vˇ s echny n´ ahodn´e veliˇciny jsou z L2 ). M´ame naj´ıt takov´e koeficienty c1 , . . . , cn , aby line´arn´ı P kombinace ci Xi byla co nejlepˇs´ı aproximac´ı n´ahodn´e veliˇciny Y ve smyslu krit´eria i
X ck Xk − Y . k
ˇ sen´ı: K vektoru Y hled´ Reˇ ame nejbliˇzˇs´ı bod v line´arn´ım podprostoru, kter´ yP je line´arn´ım obalem vektor˚ u X1 , . . . , Xn ; ˇreˇsen´ım je kolm´ y pr˚ umˇet. Ten je charakterizov´an t´ım, ˇze vektor ci Xi − Y je kolm´ y na Xj , i
j = 1, . . . , n, X
ck Xk − Y
• Xj = 0 ,
k
X
ci (Xi • Xj ) = Y • Xj .
i
To je soustava line´ arn´ıch rovnic pro nezn´ am´e koeficienty c1 , . . . , cn (soustava norm´ aln´ıch rovnic). Speci´alnˇe pro n´ahodn´e veliˇciny s nulov´ ymi stˇ redn´ımi hodnotami: X ci cov (Xi , Xj ) = cov (Y, Xj ) , i
takˇze matice soustavy je ΣX .
4.22
Reprezentace n´ ahodn´ ych vektor˚ u v poˇ c´ıtaˇ ci
Obdobn´a jako u n´ ahodn´ ych veliˇcin, avˇsak s rostouc´ı dimenz´ı rychle roste pamˇet’ov´a n´aroˇcnost. To by se nestalo, kdyby n´ ahodn´e veliˇciny byly nez´avisl´e; pak by staˇcilo zn´at margin´aln´ı rozdˇelen´ı. Proto velkou u ´sporu m˚ uˇze pˇrin´est i podm´ınˇ en´ a nez´ avislost. Pokud najdeme u ´pln´ y syst´em jev˚ u, kter´e zajiˇst’uj´ı podm´ınˇenou nez´avislost dvou n´ahodn´ ych veliˇcin, pak m˚ uˇzeme es rozdˇelen´ı nez´avisl´ ych n´ahodn´ ych veliˇcin (a tedy u ´spornˇeji). jejich rozdˇelen´ı popsat jako smˇ
4.23
ˇ Cebyˇ sevova nerovnost
Vˇ eta: ∀δ > 0 : P [|norm X| < δ] ≥ 1 −
1 , δ2
kde norm X = X−EX (pokud m´ a v´ yraz smysl). σX D˚ ukaz pomoc´ı kvantilov´ e funkce: 2 2 D (norm X) = E (norm X) − (E (norm X)) , | {z } | {z } 1
0
2
1 = E (norm X)
= EY ,
2
kde Y = (norm X) . Odhad pravdˇepodobnosti β = P [|norm X| < δ] = P [Y < δ 2 ] = FY (δ 2 −): Zβ
Z1 qY (α) dα =
1 = EY = 0
β ≥1−
0
Z1 qY (α) dα + | {z } ≥0
β
qY (α) dα ≥ (1 − β) δ 2 , | {z } ≥δ 2
1 . δ2 2
D˚ ukaz pomoc´ı smˇ esi: Vyj´ adˇr´ıme Y = (norm X) = Mixβ (L, U ), kde L nab´ yv´a pouze hodnot z h0, δ 2 ),
25
U nab´ yv´a pouze hodnot z hδ 2 , ∞), takˇze EU ≥ δ 2 , β = FY (δ 2 ). EU ≥ (1 − β) δ 2 . 1 = EY = β |{z} EL + (1 − β) |{z} ≥0
≥δ 2
2
Rovnost nast´av´a pro U = δ , L = 0, tj. pro diskr´etn´ı rozdˇelen´ı 1−β {(EX − δ σX , 1−β 2 ), (EX, β), (EX + δ σX , 2 )}. Ekvivalentn´ı tvary (ε = δ σX ): X − EX 1 ∀δ > 0 : P ≥δ ≤ 2, σX δ ∀ε > 0 : P [|X − EX| ≥ ε] ≤
5
2 σX DX = 2 . 2 ε ε
Z´ akladn´ı pojmy statistiky
5.1
Kˇ cemu potˇ rebujeme statistiku
cn´ ych vlastnost´ı velk´eho poˇctu obdobn´ ych jev˚ u. Zkoum´an´ı spoleˇ Pˇritom nezkoum´ ame vˇsechny, ale jen vybran´ y vzorek (kv˚ uli cenˇe test˚ u, jejich destruktivnosti apod.). • Odhady parametr˚ u pravdˇepodobnostn´ıho modelu • Testov´an´ı hypot´ez Pot´ıˇze statistick´eho v´ yzkumu – viz [Rogalewicz].
5.2
Pojem n´ ahodn´ eho v´ ybˇ eru, odhady
Soubor • z´ akladn´ı (=populace) • v´ ybˇ erov´ y N´ahodn´ y v´ ybˇer jednoho prvku z´ akladn´ıho souboru (s rovnomˇern´ ym rozdˇelen´ım) a stanoven´ı urˇcit´eho parametru tohoto prvku urˇcuje rozdˇelen´ı n´ ahodn´e veliˇciny. Opakovan´ ym v´ ybˇerem dostaneme n´ ahodn´ y vektor, jehoˇz sloˇzky maj´ı stejn´e rozdˇelen´ı a jsou nez´avisl´e. ybˇ erov´ y soubor rozsahu n, obvykle vˇsak vylouˇc´ıme v´ıcen´asobn´ y v´ ybˇer stejn´eho prvku Takto vytvoˇr´ıme v´ (v´ybˇer bez vracen´ı). Jeho rozdˇelen´ı se m˚ uˇze ponˇekud liˇsit od p˚ uvodn´ıho. Tento rozd´ıl se obvykle zanedb´av´a, nebot’ 1. pro velk´ y rozsah z´ akladn´ıho souboru to nen´ı podstatn´e, 2. rozsah z´akladn´ıho souboru nˇekdy nen´ı zn´am, 3. v´ ypoˇcty se znaˇcnˇe zjednoduˇs´ı. Pˇresnost odhadu je d´ ana velikost´ı v´ ybˇerov´eho souboru, nikoli populace. N´ ahodn´ y v´ ybˇ er X = (X1 , . . . , Xn ) je vektor n´ahodn´ ych veliˇcin, kter´e jsou nez´ avisl´ e a maj´ı stejn´ e rozdˇ elen´ı. (Vynech´av´ame indexy, napˇr. FX m´ısto FXk .) Proveden´ım pokusu dostaneme realizaci n´ ahodn´ eho v´ ybˇ eru, x = (x1 , . . . , xn ) ∈ Rn , kde n je rozsah v´ ybˇ eru. 26
Statistika je (kaˇzd´ a) mˇeriteln´ a funkce G, definovan´a na n´ahodn´em v´ ybˇeru libovoln´eho rozsahu. (Poˇc´ıt´a se z n´ahodn´ ych veliˇcin v´ ybˇeru, nikoli z parametr˚ u rozdˇelen´ı.) Mˇ eˇ riteln´ a“ znamen´ a, ˇze pro kaˇzd´e t ∈ R je definov´ana pravdˇepodobnost ” P [G(X1 , . . . , Xn ) ≤ t] = FG(X1 ,...,Xn ) (t) . Statistika jako funkce n´ ahodn´ ych veliˇcin je rovnˇeˇz n´ahodn´a veliˇcina. Obvykle se pouˇz´ıv´ a jako odhad parametr˚ u rozdˇ elen´ı (kter´e n´am z˚ ust´avaj´ı skryt´e). Znaˇcen´ı: ϑ ... skuteˇcn´ y parametr (re´ aln´e ˇc´ıslo), b Θ b n ... jeho odhad zaloˇzen´ Θ, y na n´ ahodn´em v´ ybˇeru rozsahu n (n´ahodn´a veliˇcina) b b ϑ, ϑn ... realizace odhadu (obvykle re´ aln´e ˇc´ıslo) ˇ adouc´ı vlastnosti odhad˚ Z´ u: b n = ϑ nestrann´ • EΘ y (opak: vych´ ylen´ y) b n = ϑ asymptoticky nestrann´ • lim EΘ y n→∞
2 b n − ϑ)2 = DΘ b n + E(Θ b n − ϑ) , pro • eficientn´ı = s mal´ ym rozptylem, coˇz posuzujeme podle E (Θ bn nestrann´ y odhad se redukuje na DΘ • nejlepˇ s´ı nestrann´ y odhad je ze vˇsech nestrann´ ych ten, kter´ y je nejv´ıce eficientn´ı (mohou vˇsak existovat v´ıce eficientn´ı vych´ ylen´e odhady) b n = ϑ, lim σ b = 0 konzistentn´ı • lim EΘ Θn n→∞
n→∞
• robustn´ı, tj. odoln´ y v˚ uˇci ˇsumu ( i pˇri zaˇsumˇen´ ych datech dost´av´ame dobr´ y v´ ysledek“) – zde uˇz pˇresn´e ” krit´erium chyb´ı, zato je to velmi praktick´a vlastnost
5.3
V´ ybˇ erov´ y pr˚ umˇ er
z n´ahodn´eho v´ ybˇeru X = (X1 , . . . , Xn ) je X=
n 1 X Xj n j=1
Alternativn´ı znaˇcen´ı: X n (pokud potˇrebujeme zd˚ uraznit rozsah v´ybˇeru) Jeho realizaci znaˇc´ıme mal´ ym p´ısmenem: n 1 X x= xj . n j=1 Vˇ eta: EX n =
n 1 X EX = EX , n j=1
n 1 X 1 DX = DX , n2 j=1 n r 1 1 = DX = √ σX , n n
DX n = σX n
pokud existuj´ı. (Zde EX = EXj atd.) D˚ usledek: V´ ybˇerov´ y pr˚ umˇer je nestrann´ y konzistentn´ı odhad stˇredn´ı hodnoty. (Nez´avisle na typu rozdˇelen´ı.) ˇ Cebyˇ sevova nerovnost pro X n d´ av´ a DX n DX P X n − EX ≥ ε ≤ = →0 2 ε n ε2 27
pro n → ∞ .
To plat´ı i za obecnˇejˇs´ıch pˇredpoklad˚ u (Xj nemus´ı m´ıt stejn´e rozdˇelen´ı) – slab´ y z´ akon velk´ ych ˇ c´ısel. P n Lidovˇe se hovoˇr´ı o pˇresn´em souˇctu nepˇresn´ ych ˇc´ısel“, coˇz je chyba, nebot’ souˇcet j=1 Xj m´a rozptyl n DX → ” a, absolutn´ı roste. ∞. Relativn´ı chyba souˇctu kles´ Rozdˇelen´ı v´ ybˇerov´eho pr˚ umˇeru m˚ uˇze b´ yt podstatnˇe sloˇzitˇejˇs´ı neˇz p˚ uvodn´ı, jen ve speci´aln´ıch pˇr´ıpadech je jednoduch´a odpovˇed’. Vˇ eta: V´ ybˇerov´ y pr˚ umˇer z norm´ aln´ıho rozdˇelen´ı N(µ, σ 2 ) m´a norm´aln´ı rozdˇelen´ı N µ, n1 σ 2 a je nejlepˇs´ım nestrann´ ym odhadem stˇredn´ı hodnoty. Podobn´a vˇeta plat´ı i pro jin´ a rozdˇelen´ı alespoˇ n asymptoticky: Centr´ aln´ı limitn´ı vˇ eta: Necht’ Xj , j ∈ N, jsou nez´avisl´e stejnˇe rozdˇelen´e n´ahodn´e veliˇciny se stˇredn´ı hodnotou EX a smˇerodatnou odchylkou σX 6= 0. Pak normovan´e n´ahodn´e veliˇciny √ n Yn = norm X n = (X n − EX) σX konverguj´ı k normovan´emu norm´ aln´ımu rozdˇelen´ı v n´asleduj´ıc´ım smyslu: ∀t ∈ R : lim FYn (t) = lim Fnorm X n (t) = Φ(t) . n→∞
5.4
n→∞
V´ ybˇ erov´ y rozptyl
n´ahodn´eho v´ ybˇeru X = (X1 , . . . , Xn ) je statistika 2 SX =
n 1 X (Xj − X n )2 . n − 1 j=1
Alternativn´ı znaˇcen´ı: S 2 (Dvojka v horn´ım indexu zde neznamen´ a kvadr´ at!) Jeho realizaci znaˇc´ıme mal´ ym p´ısmenem: s2X
n 1 X = (xj − xn )2 . n − 1 j=1
Praktiˇctˇejˇs´ı jednopr˚ uchodov´ y vzorec: 2 SX =
n n n X 2 n 1 X 2 1 1 X 2 2 Xj − Xj − Xj . Xn = n − 1 j=1 n−1 n − 1 j=1 n (n − 1) j=1
Vˇ eta: 2 ESX = DX. 2 D˚ ukaz: Z jednopr˚ uchodov´eho vzorce pro SX dost´av´ame 2 n n n 2 2 2 ESX = EX 2 − EX n = DX + (EX) − DX n − EX n = n−1 n−1 n−1 n 1 2 2 = DX + (EX) − DX − (EX) = DX . n−1 n
Vˇ eta: V´ ybˇerov´ y rozptyl je nestrann´ y konzistentn´ı odhad rozptylu (pokud p˚ uvodn´ı rozdˇelen´ı m´a rozptyl a 4. centr´aln´ı moment). Rozdˇelen´ı v´ ybˇerov´eho rozptylu m˚ uˇze b´ yt podstatnˇe sloˇzitˇejˇs´ı. Speci´alnˇe pro rozdˇelen´ı N(0, 1) a n = 2: X=
X1 − X2 m´a rozdˇelen´ı N 0, 12 , 2 2 2 X1 − X2 X1 − X2 2 2 √ = (X1 − X) + (X2 − X) = 2 = = U2 , 2 2
X1 + X2 , 2
2 SX
X1 − X = −(X2 − X) =
2 kde U = X1√−X m´ a rozdˇelen´ı N (0, 1). 2 Tomu ˇr´ık´ame rozdˇelen´ı χ2 s 1 stupnˇem volnosti.
28
5.4.1
Rozdˇ elen´ı χ2
s η stupni volnosti je definov´ ano jako rozdˇelen´ı n´ahodn´e veliˇciny Y =
η P j=1
veliˇciny s normovan´ ym norm´ aln´ım rozdˇelen´ım N(0, 1). Znaˇcen´ı: χ2 (η). Jeho hustota je pro x > 0 η −y c(η) y 2 −1 e 2 fY (y) = 0 1 , c(η) = η 2 2 Γ η2 Z∞ Γ(z) = tz−1 e−t dt ,
avisl´ e n´ahodn´e Uj2 , kde Uj jsou nez´
pro y > 0 , jinak ,
0
speci´alnˇe Γ(m + 1) = m! pro vˇsechna m ∈ N. Speci´alnˇe pro η = 2 je c(η) = 1/2 a dost´ av´ ame exponenci´aln´ı rozdˇelen´ı.
Hustoty rozdˇelen´ı χ2 s 1, 2, . . . , 10 stupni volnosti a jeho odmocniny ( vzd´alenost od stˇredu terˇce“). ” Vˇ eta: Necht’ X, Y jsou nez´ avisl´ e n´ ahodn´e veliˇciny s rozdˇelen´ım χ2 (ξ), resp. χ2 (η). Pak X + Y m´a rozdˇelen´ı 2 χ (ξ + η). Vˇ eta: Pro n´ahodnou veliˇcinu Y s rozdˇelen´ım χ2 s η stupni volnosti plat´ı EY = η ,
DY = 2 η .
(Toto rozdˇelen´ı nen´ı zvykem normovat.) 5.4.2
V´ ybˇ erov´ y rozptyl
aln´ıho rozdˇelen´ı N(EX, DX) splˇ nuje: z norm´ 2 (n − 1) SX m´a rozdˇelen´ı χ2 (n − 1) . DX
3 2 Rozdˇelen´ı odhadu rozptylu pomoc´ı vybˇerov´eho rozptylu SX pro rozsah v´ ybˇeru 2, 3, . . . , 10 a 1 2 7 3 = 2 + 1, 2 + 1, . . . , 2 + 1 = 129. D˚ usledek: Rozptyl v´ ybˇerov´eho rozptylu z norm´aln´ıho rozdˇelen´ı N(EX, DX) je 2 DSX =
2 2 (DX) . n−1
Vˇ eta: Pro n´ahodn´ y v´ ybˇer X = (X1 , . . . , Xn ) z norm´ aln´ıho rozdˇelen´ı je X nejlepˇs´ı nestrann´ y odhad stˇredn´ı 2 2 hodnoty, SX je nejlepˇs´ı nestrann´ y odhad rozptylu a statistiky X, SX jsou konzistentn´ı a nez´ avisl´ e. Existuje vˇsak vych´ ylen´ y odhad rozptylu, kter´ y je eficientnˇejˇs´ı: 29
5.4.3
Alternativn´ı odhad rozptylu n X n−1 2 d= 1 DX (Xj − X n )2 = SX . n j=1 n
d je vych´ Vˇ eta: DX ylen´ y konzistentn´ı odhad rozptylu. D˚ ukaz: d = n − 1 DX → DX , EDX n 2 n−1 2 d m´a rozptyl menˇs´ı neˇz S , a to v pomˇeru DX . X n Eficienci nem˚ uˇzeme porovnat obecnˇe; aspoˇ n pro norm´ aln´ı rozdˇelen´ı: 2 1. eficience odhadu SX : 2 DSX =
2 2 (DX) . n−1
d (DX je konstanta): 2. eficience odhadu DX 2 d − DX)2 = D DX d − DX + E DX d − DX E(DX = 2 d + 1 DX = = D DX n 2 n−1 1 2n − 1 2 2 2 2 = (DX) + 2 (DX) = (DX) , n n−1 n n2 a protoˇze
2n − 1 2 2 < < , n2 n n−1
d v´ıce eficientn´ı neˇz S 2 (kter´ je odhad DX y je nejlepˇs´ı nestrann´ y!). X
5.5
V´ ybˇ erov´ a smˇ erodatn´ a odchylka
n´ahodn´eho v´ ybˇeru X = (X1 , . . . , Xn ) je statistika SX =
q
2 SX
v u u =t
n 1 X (Xj − X n )2 . n − 1 j=1
Alternativn´ı znaˇcen´ı: S Jej´ı realizaci znaˇc´ıme mal´ ym p´ısmenem: sX
v u u =t
n 1 X (xj − xn )2 . n − 1 j=1
Vˇ eta: ESX ≤ σX . Rovnost obecnˇe nenast´ av´ a, takˇze to nen´ı nestrann´ y odhad smˇerodatn´e odchylky! D˚ ukaz: 2
2
2 DX = ESX = (ESX ) + DSX ≥ (ESX ) , | {z } ≥0
σX ≥ ESX . Vˇ eta: V´ ybˇerov´a smˇerodatn´ a odchylka je konzistentn´ı odhad smˇerodatn´e odchylky (pokud p˚ uvodn´ı rozdˇelen´ı m´a rozptyl a 4. centr´ aln´ı moment).
30
5.6
V´ ybˇ erov´ y k-t´ y obecn´ y moment
n´ahodn´eho v´ ybˇeru X = (X1 , . . . , Xn ) je statistika MX k =
n 1 X k X . n j=1 j
mX k =
n 1 X k x . n j=1 j
Alternativn´ı znaˇcen´ı: Mk Jeho realizaci znaˇc´ıme mal´ ym p´ısmenem:
Vˇ eta: EMX k = EX k . (Tj. je to nestrann´ y odhad k-t´eho obecn´eho momentu.) Vˇ eta: V´ ybˇerov´ y k-t´ y obecn´ y moment je konzistentn´ı odhad k-t´eho obecn´eho momentu (pokud X m´a k-t´ ya 2 k-t´ y obecn´ y moment). D˚ ukaz: 1 1 1 1 DMX k = 2 n DX k = DX k = E(X k )2 − (EX k )2 = EX 2 k − (EX k )2 . n n n n
5.7
Histogram a empirick´ e rozdˇ elen´ı
V (nen´ahodn´em) vektoru x = (x1 , . . . , xn ) ∈ Rn (z´ıskan´em napˇr. jako realizace n´ahodn´eho v´ ybˇeru) nez´aleˇz´ı ´ na poˇrad´ı sloˇzek (ale z´ aleˇz´ı na jejich opakov´ an´ı). Uspornˇ eji je pops´an mnoˇzinou hodnot H = {x1 , . . . , xn } (ta m´a nejv´ yˇse n prvk˚ u, obvykle m´enˇe) a jejich ˇ cetnostmi nt , t ∈ H. Tato data obvykle zn´azorˇ nujeme tabulkou ˇ cetnost´ı nebo grafem zvan´ ym histogram. P Normov´an´ım dostaneme relativn´ı ˇ cetnosti rt = nnt , t ∈ H. Jelikoˇz t∈H rt = 1, definuj´ı relativn´ı ˇcetnosti pravdˇepodobnostn´ı funkci pEmp(x) (t) = rt tzv. empirick´ eho rozdˇ elen´ı Emp(x). Je to diskr´etn´ı rozdˇelen´ı s nejv´ yˇse n hodnotami charakterizuj´ıc´ı vektor x. 5.7.1
Vlastnosti empirick´ eho rozdˇ elen´ı
(Indexem Emp(x) oznaˇcujeme parametry jak´ekoli n´ ahodn´e veliˇciny, kter´ a m´ a toto rozdˇelen´ı.)
E Emp(x) =
X t∈H
k
E (Emp(x)) =
X t∈H
D Emp(x) =
X
t rt =
n 1 X 1 X t nt = xi = x , n n i=1 t∈H
tk rt =
n 1 X k 1 X k t nt = x . n n i=1 i t∈H
2
(t − E Emp(x)) rt =
1 X 2 (t − x) nt n t∈H
t∈H
n 1 X n−1 2 2 = (xi − x) = sX . n i=1 n
Obecn´e momenty empirick´eho rozdˇelen´ı se rovnaj´ı v´ ybˇerov´ ym moment˚ um p˚ uvodn´ıho rozdˇelen´ı. V´ ypoˇcet z histogramu (z empirick´eho rozdˇelen´ı) m˚ uˇze b´ yt jednoduˇsˇs´ı neˇz z p˚ uvodn´ı realizace n´ahodn´eho v´ ybˇeru (pokud se opakuj´ı stejn´e hodnoty). 2 d = n−1 S 2 rozptylu p˚ Rozptyl empirick´eho rozdˇelen´ı odpov´ıd´ a odhadu DX uvodn´ıho rozdˇelen´ı, odliˇsn´emu od SX . X n
31
5.8
V´ ybˇ erov´ y medi´ an
je medi´an empirick´eho rozdˇelen´ı, qEmp(x) ( 12 ). Poskytuje jinou informaci neˇz v´ ybˇerov´ y pr˚ umˇer, mnohdy uˇziteˇcnˇejˇs´ı (mj. robustnˇ ejˇ s´ı – odolnˇejˇs´ı v˚ uˇci vlivu vych´ ylen´ ych hodnot, outliers). Nav´ıc v´ıme, jak se zmˇen´ı monotonn´ı funkc´ı. Proˇc se pouˇz´ıv´a m´enˇe neˇz v´ ybˇerov´ y pr˚ umˇer: • V´ ypoˇcetn´ı n´ aroˇcnost je vyˇsˇs´ı; seˇrazen´ı hodnot m´a pracnost u ´mˇernou n ln n, zat´ımco v´ ybˇerov´ y pr˚ umˇer n. • Pamˇet’ov´a n´ aroˇcnost je vyˇsˇs´ı – potˇrebujeme zapamatovat vˇsechna data, u v´ ybˇerov´eho pr˚ umˇeru staˇc´ı 2 registry. • Moˇznosti decentralizace a paralelizace v´ ypoˇctu v´ ybˇerov´eho medi´anu jsou velmi omezen´e.
5.9
Intervalov´ e odhady
b (coˇz je n´ahodn´a veliˇcina). Dosud jsme skuteˇcnou hodnotu parametru ϑ nahrazovali bodov´ ym odhadem Θ Nyn´ı m´ısto toho hled´ ame intervalov´ y odhad, tzv. interval spolehlivosti I, coˇz je minim´aln´ı interval takov´ y, ˇze P [ϑ ∈ I] ≥ 1 − α , kde α ∈ (0, 21 ) je pravdˇepodobnost, ˇze meze intervalu I budou pˇrekroˇceny; 1 − α je koeficient spolehlivosti. Obvykle hled´ame horn´ı, resp. doln´ı jednostrann´ y odhad, kdy I = (−∞, qΘ b (1 − α)i, resp. I = hqΘ b (α), ∞) , nebo (symetrick´ y) oboustrann´ y odhad, D α α E I = qΘ , qΘ . b b 1− 2 2 b K tomu potˇrebujeme zn´ at rozdˇelen´ı odhadu Θ.
5.10
Intervalov´ e odhady parametr˚ u norm´ aln´ıho rozdˇ elen´ı N(µ, σ 2 )
Odhad stˇ redn´ı hodnoty pˇ ri zn´ am´ em rozptylu σ 2 2 µ odhadneme v´ ybˇerov´ ym pr˚ umˇerem X s rozdˇelen´ım N µ, σn . 5.10.1
√
Normovan´a n´ahodn´ a veliˇcina norm X = σn (X − µ) m´a rozdˇelen´ı N(0, 1); √ n −1 P (X − µ) ∈ (−∞, Φ (1 − α)i σ =1−α √ n −1 =P (X − µ) ≤ Φ (1 − α) σ σ −1 = P µ ≤ X + √ Φ (1 − α) n σ −1 . = P µ ∈ −∞, X + √ Φ (1 − α) n Obdobnˇe dostaneme i dalˇs´ı intervalov´e odhady σ −1 −∞, X + √ Φ (1 − α) , n σ −1 X − √ Φ (1 − α), ∞ , n σ −1 α σ −1 α X−√ Φ 1− ,X + √ Φ 1− , 2 2 n n kde X − √σn Φ−1 (1 − α) = X + √σn Φ−1 (α) (Φ−1 (α) = −Φ−1 (1 − α) ovˇsem neb´ yv´ a v tabulk´ach). Pˇri v´ ypoˇctu nahrad´ıme v´ ybˇerov´ y pr˚ umˇer X jeho realizac´ı x. 32
5.10.2
Odhad stˇ redn´ı hodnoty pˇ ri nezn´ am´ em rozptylu 2 µ odhadneme v´ ybˇerov´ ym pr˚ umˇerem X s rozdˇelen´ım N µ, σn , 2 σ 2 odhadneme v´ ybˇerov´ ym rozptylem SX ; Testujeme analogicky n´ ahodnou veliˇcinu nez´avisl´e.
5.10.3
2 (n−1) SX m´a rozdˇelen´ı χ2 (n − 1). 2 σ √ n ı rozdˇelen´ı vˇsak SX (X − µ), jej´
nen´ı norm´aln´ı, aˇckoli X, SX jsou
Studentovo t-rozdˇ elen´ı (autor: Gossett)
s η stupni volnosti je rozdˇelen´ı n´ ahodn´e veliˇciny U q , V η
kde U m´a rozdˇelen´ı N(0, 1), V m´a rozdˇelen´ı χ2 (η), U, V jsou nez´avisl´e. Znaˇcen´ı: t(η). Hustota: x2 1+ η 1+η Γ 2 . c (η) = √ ηπ Γ n2
1−η 2
ft(η) (x) = c (η)
,
Symetrie kolem nuly ⇒ qt(η) (1 − α) = −qt(η) (α). Pro velk´ y poˇcet stupˇ n˚ u volnosti se nahrazuje norm´aln´ım rozdˇelen´ım.
Hustota normovan´eho norm´ aln´ıho rozdˇelen´ı a Studentova rozdˇelen´ı s 5 stupni volnosti (p˚ uvodn´ıho a normovan´eho). 5.10.4
Odhad stˇ redn´ı hodnoty pˇ ri nezn´ am´ em rozptylu II
V naˇsem pˇr´ıpadˇe: √
n (X − µ) m´a N(0, 1) , σ 2 (n − 1) SX m´a χ2 (n − 1) , η = n − 1 , V = 2 σ √ √ n (X − µ) n = σ q 2 = (X − µ) m´a t(n − 1) . SX SX U=
U q
V η
σ2
Z toho vypl´ yvaj´ı intervalov´e odhady SX √ qt(n−1) (1 − α) , −∞, X + n SX X − √ qt(n−1) (1 − α), ∞ , n SX SX X − √ qt(n−1) (1 − α2 ), X + √ qt(n−1) (1 − α2 ) . n n Pˇri v´ ypoˇctu nahrad´ıme v´ ybˇerov´ y pr˚ umˇer X jeho realizac´ı x a v´ ybˇerovou smˇerodatnou odchylku SX jej´ı realizac´ı sX . 33
5.10.5
Odhad rozptylu (n−1)S 2
2 X σ 2 odhadneme v´ ybˇerov´ ym rozptylem SX ; m´a rozdˇelen´ı χ2 (n − 1); σ2 2 (n − 1) SX ∈ (−∞, qχ2 (n−1) (1 − α)i P σ2
=1−α 2 (n − 1) SX =P ≤ qχ2 (n−1) (1 − α) σ2 2 (n − 1) SX 2 =P ≤σ qχ2 (n−1) (1 − α) 2 (n − 1) SX = P σ2 ∈ ,∞ . qχ2 (n−1) (1 − α) Dostali jsme doln´ı odhad. Obdobnˇe dostaneme i dalˇs´ı intervalov´e odhady 2 (n − 1) SX , −∞, qχ2 (n−1) (α) 2 (n − 1) SX ,∞ , qχ2 (n−1) (1 − α) * + 2 2 (n − 1) SX (n − 1) SX , . qχ2 (n−1) 1 − α2 qχ2 (n−1) α2 2 jeho realizac´ı s2X . Pˇri v´ ypoˇctu nahrad´ıme v´ ybˇerov´ y rozptyl SX
5.10.6
Intervalov´ e odhady spojit´ ych rozdˇ elen´ı, kter´ a nejsou norm´ aln´ı
pˇrev´ad´ıme obvykle na norm´ aln´ı rozdˇelen´ı neline´arn´ı transformac´ı h(t) = Φ−1 (FX (t)) (FX (X) m´a rovnomˇern´e rozdˇelen´ı na h0, 1i). Pouˇzijeme intervalov´ y odhad pro norm´ aln´ı rozdˇelen´ı a transformujeme jej zpˇet podle vzorce −1 h−1 (u) = qX (Φ(u)) .
5.11
Obecn´ e odhady parametr˚ u
Rozdˇelen´ı n´ahodn´e veliˇciny X z´ avis´ı na vektoru parametr˚ u ϑ = (ϑ1 , . . . , ϑi ) ∈ Π, kde Π ⊆ Ri je parametrick´ y prostor, tj. mnoˇzina vˇsech pˇr´ıpustn´ ych hodnot parametr˚ u; pravdˇepodobnostn´ı funkci znaˇc´ıme pX (t; ϑ) = pX (t; ϑ1 , . . . , ϑi ) atd. b = (ϑb1 , . . . , ϑbi ) pomoc´ı realizace x = (x1 , . . . , xn ). b = (Θ b 1, . . . , Θ b i ), resp. realizaci odhadu ϑ Hled´ame odhad Θ 5.11.1
Metoda moment˚ u
Pro k = 1, 2, . . . je k-t´ y obecn´ y moment funkc´ı ϑ, EX k (ϑ) = EX k (ϑ1 , . . . , ϑi ) (z´avislost na parametrech lze stanovit dle pravdˇepodobnostn´ıho modelu). Lze jej t´eˇz odhadnout pomoc´ı v´ ybˇerov´eho k-t´eho obecn´eho momentu mX k . b = (ϑb1 , . . . , ϑbi ) takovou, ˇze Metoda moment˚ u doporuˇcuje realizaci odhadu ϑ n 1 X k EX k (ϑb1 , . . . , ϑbi ) = mX k = x , n j=1 j
k = 1, 2, . . . .
K jednoznaˇcn´emu urˇcen´ı i promˇenn´ ych obvykle potˇrebujeme (prvn´ıch) i rovnic pro k = 1, 2, . . . , i. 34
Pouˇ zitelnost metody moment˚ u Moˇ zn´ e probl´ emy: ˇ sen´ı neexistuje ⇒ zkusme ubrat rovnice. 1. Reˇ 2. Je nekoneˇcnˇe mnoho ˇreˇsen´ı ⇒ zkusme pˇribrat dalˇs´ı rovnice. 3. Je v´ıce neˇz jedno ˇreˇsen´ı (napˇr. soustavy kvadratick´ ych rovnic). 4. Je jedin´e ˇreˇsen´ı, ale je obt´ıˇzn´e je nal´ezt. 5. Soustava je ˇspatnˇe podm´ınˇen´ a (typicky pro velk´ y poˇcet parametr˚ u). b ∈ 6. Naˇsli jsme jedin´e ˇreˇsen´ı, kter´e vˇsak nesplˇ nuje pˇ redpoklady, ϑ / Π (napˇr. parametry nemohou b´ yt libovoln´a ˇc´ısla) ⇒ NELZE! Vˇ zdy kontrolujte ˇ reˇ sen´ı! 7. Vˇsem rovnic´ım je pˇrikl´ ad´ ana stejn´ a d˚ uleˇzitost, coˇz b´ yv´a neˇz´adouc´ı (typicky pro velk´ y poˇcet parametr˚ u). 8. Nelze pouˇz´ıt pro nenumerick´ a data (pokud je nelze smysluplnˇe oˇc´ıslovat). V´ yhoda: 1. Lze pouˇz´ıt pro diskr´etn´ı, spojit´e i sm´ıˇ sen´ e rozdˇelen´ı beze zmˇen. 5.11.2
Metoda maxim´ aln´ı vˇ erohodnosti (likelihood)
Pro diskr´ etn´ı rozdˇ elen´ı Pravdˇepodobnost realizace, pX (x; ϑ) = P [X1 = x1 ∧ . . . ∧ Xn = xn ; ϑ] n n Y Y = P [Xj = xj ; ϑ] = pX (xj ; ϑ) = L(ϑ) , j=1
j=1
je funkce L : Π → h0, 1i, Π ⊆ Ri , parametr˚ u ϑ = (ϑ1 , . . . , ϑi ), zvan´a vˇ erohodnost realizace diskr´ etn´ıho rozdˇ elen´ı. b = (ϑb1 , . . . , ϑbi ), kter´e maximalizuj´ı vˇerohodnost. ˇ sen´ım jsou takov´e hodnoty ϑ Reˇ ’ Maximalizujeme bud vˇerohodnost, nebo jej´ı logaritmus (log-likelihood ), `(ϑ) = ln L(ϑ) =
n X
ln pX (xj ; ϑ) .
j=1
(Nutno vylouˇcit pˇr´ıpad pX (xj ; ϑ) = 0, kter´ y vˇsak nevede na maximum.) Pˇ r´ıklad: Empirick´e rozdˇelen´ı je maxim´ alnˇe vˇerohodn´ y odhad diskr´etn´ıho rozdˇelen´ı (pokud na rozdˇelen´ı nejsou kladeny dalˇs´ı podm´ınky). Pozn´ amka: Odhad na z´ akladˇe maxima vˇerohodnosti odpov´ıd´a Bayesovsk´emu odhadu ve speci´aln´ım pˇr´ıpadˇe, kdy vˇsechny hodnoty parametr˚ u maj´ı stejnou apriorn´ı pravdˇepodobnost (resp. hustotu pravdˇepodobnosti). Pouˇz´ıv´a se, pokud apriorn´ı pravdˇepodobnosti parametr˚ u nezn´ame. Pro spojit´ e rozdˇ elen´ı Kaˇzd´a realizace m´ a nulovou pravdˇepodobnost, proto m´ısto n´ı pouˇzijeme hustotu pravdˇepodobnosti, coˇz ale vede na zcela jin´ y pojem n Y fX (x; ϑ) = fX (xj ; ϑ) = Λ(ϑ) . j=1
erohodnost spojit´ eho rozdˇ elen´ı. Nicm´enˇe i tato funkce Λ : Π → h0, ∞), Π ⊆ Ri , se naz´ yv´a vˇ λ(ϑ) = ln Λ(ϑ) =
n X
ln fX (xj ; ϑ) .
j=1
(Nutno vylouˇcit pˇr´ıpad fX (xj ; ϑ) = 0, kter´ y vˇsak nevede na maximum.) 35
Pro sm´ıˇ sen´ e rozdˇ elen´ı nen´ı vˇ erohodnost definov´ ana! Pouˇ zitelnost metody maxim´ aln´ı vˇ erohodnosti Moˇ zn´ e probl´ emy: 1. Je v´ıce neˇz jedno ˇreˇsen´ı. (M˚ uˇze se st´ at, ˇze r˚ uzn´e hodnoty parametr˚ u popisuj´ı tot´eˇz rozdˇelen´ı – vad´ı to?) ˇ sen´ı neexistuje (to se m˚ 2. Reˇ uˇze st´ at jedinˇe kdyˇz vˇerohodnostn´ı funkce je nespojit´a nebo parametrick´ y prostor neuzavˇren´ y). 3. Je jedin´e ˇreˇsen´ı, ale je obt´ıˇzn´e je nal´ezt. (Lok´aln´ı extr´emy nemus´ı b´ yt glob´aln´ı.) 4. Soustava je ˇspatnˇe podm´ınˇen´ a. 5. Hodnoty vˇerohodnosti mohou b´ yt velmi mal´e. 6. Nelze pouˇ z´ıt pro sm´ıˇ sen´ e rozdˇ elen´ı! V´ yhody: 1. Hled´an´ı optima je o nˇeco snazˇs´ı neˇz ˇreˇsen´ı soustavy rovnic. 2. R˚ uzn´ ym dat˚ um je d´ an spoleˇcn´ y (srovnateln´ y) v´ yznam. 3. Lze pouˇz´ıt i na nenumerick´ a data.
6
Testov´ an´ı hypot´ ez
6.1
Z´ akladn´ı pojmy a principy testov´ an´ı hypot´ ez
(doporuˇcen´ a literatura: [Jaroˇs a kol.]) M´ame posoudit hypot´ezu o hodnotˇe nˇejak´eho parametru rozdˇelen´ı ϑ (pomoc´ı krit´ eria ˇcili testovac´ı statistiky T , resp. jej´ı realizace t). Pˇ r´ıklad: Parametr ϑ nab´ yv´ a pouze 2 hodnot, 0 pro norm´aln´ı“ populaci, 1 pro anom´aln´ı“ prvky. Obˇe skupiny ” ” maj´ı zn´am´a rozdˇelen´ı se stˇredn´ımi hodnotami µ0 , µ1 , kde µ0 < µ1 . N´ahodn´ y v´ ybˇer X je proveden z jedn´e z tˇechto skupin, m´ ame uhodnout, z kter´e. K tomu pouˇzijeme (ne nutnˇe) T = X jako odhad stˇredn´ı hodnoty. Zvol´ıme k ∈ (µ0 , µ1 ) a v´ ybˇer klasifikujeme 0 pro T ≤ k, 1 pro T > k. M˚ uˇzeme se dopustit dvou druh˚ u chyb: 1. skupina 0 je klasifikov´ ana jako 1, s pravdˇepodobnost´ı α(k) (nerostouc´ı funkce k), 2. skupina 1 je klasifikov´ ana jako 0, s pravdˇepodobnost´ı β(k) (neklesaj´ıc´ı funkc´ı k). Moˇzn´a krit´eria pro volbu meze k: • α(k) = β(k), • min(α(k) + β(k)), k
• min e(α(k), β(k)), napˇr. min(aα(k) + bβ(k)), tj. minimalizace v´ yplatn´ı funkce, k
k
• α(k) = pˇredem zvolen´ a mal´ a hodnota. Vˇetˇsinou se pouˇz´ıv´ a posledn´ı moˇznost, a to z d˚ uvod˚ u • technick´ ych (snazˇs´ı u ´loha), • nepotˇrebujeme zn´ at rozdˇelen´ı anom´ aln´ı skupiny, • obvykle m´ame v´ıce neˇz dvˇe moˇzn´e hodnoty parametru, coˇz situaci komplikuje.
36
Pˇ r´ıklad: M´ame zastavit pouˇz´ıv´ an´ı l´eku pro podezˇren´ı z neˇz´adouc´ıch u ´ˇcink˚ u? Nulov´ a hypot´ eza H0 : V´ yrobce je nevinen, riziko se nezvyˇsuje. Alternativn´ı hypot´ eza H1 : V´ yrobce je vinen, riziko se zvyˇsuje. Kromˇe spr´avn´ ych rozhodnut´ı hroz´ı: Chyba 1. druhu: Zam´ıtneme nulovou hypot´ezu, kter´a plat´ı (obvin´ıme nevinn´eho). Chyba 2. druhu: Nezam´ıtneme nulovou hypot´ezu, kter´a neplat´ı (osvobod´ıme vinn´eho). Volbou pˇr´ısnosti krit´eria sniˇzujeme riziko jedn´e chyby na u ´kor zv´ yˇsen´ı rizika druh´e chyby. Dohodnut´e v´ ychodisko: Kritickou hodnotu testu, k, urˇc´ıme tak, aby chyba 1. druhu nast´avala se stanovenou yznamnosti (nebo s menˇs´ı pravdˇepodobnost´ı, nelze-li dos´ahnout pravdˇepodobnost´ı α ∈ R zvanou hladina v´ rovnost). Podle tradice v oboru se nejˇcastˇeji uˇz´ıvaj´ı hodnoty 1% nebo 5% (rozhodnˇe α 12 ). Hodnoty krit´eria, kter´ a pˇresahuj´ı kritickou hodnotu (odpov´ıdaj´ı v´ ysledk˚ um m´alo pravdˇepodobn´ ym pˇri platnosti nulov´e hypot´ezy) povaˇzujeme za statisticky v´ yznamn´ e a v tom pˇr´ıpadˇe nulovou hypot´ ezu zam´ıt´ ame. ezu nezam´ıt´ ame, ale ani nepotvrzujeme, nebot’ t´ım bychom se mohli V opaˇcn´em pˇr´ıpadˇe nulovou hypot´ dopustit chyby 2. druhu s bl´ıˇze neurˇcenou pravdˇepodobnost´ı β. S´ılu testu posuzujeme podle 1 − β, tj. podle rizika chyby 2. druhu pˇri dan´em riziku α chyby 1. druhu. V literatuˇre se rozliˇsuje • jednoduch´ a hypot´ eza: nulov´e hypot´eze odpov´ıd´a jedin´a hodnota parametru, • sloˇ zen´ a hypot´ eza: nulov´e hypot´eze odpov´ıd´a v´ıce hodnot parametru, a d´ale • jednoduch´ a alternativa: alternativn´ı hypot´eze odpov´ıd´a jedin´a hodnota parametru, • sloˇ zen´ a alternativa: alternativn´ı hypot´eze odpov´ıd´a v´ıce hodnot parametru. ˇ Casto se formuluje nulov´ a a alternativn´ı hypot´eza tak, ˇze nejsou navz´ajem sv´ ymi negacemi a nepokr´ yvaj´ı prostor vˇsech moˇzn´ ych hodnot parametru. Vznik´ a t´ım jen chaos (viz vˇetˇsina ostatn´ı literatury). Snadno se mu vyhneme, kdyˇz budeme formulovat nulovou hypot´ezu jako negaci alternativn´ı hypot´ezy. Je-li napˇr. H1 : ϑ > c, pak nevol´ıme H0 : ϑ = c, ale H0 : ϑ ≤ c. (Nejvˇetˇs´ı riziko chyby 1. druhu obykle odpov´ıd´a pˇr´ıpadu ϑ = c, takˇze postup je stejn´ y.) U sloˇzen´e hypot´ezy poˇzadujeme, aby pravdˇepodobnost chyby 1. druhu byla nejv´ yˇse α pro vˇsechny hodnoty parametru vyhovuj´ıc´ı nulov´e hypot´eze. (Statistick´ a v´yznamnost neznamen´ a v´yznamnost praktickou.) ˇ sen´ı: Nulovou hypot´ezu zam´ıtneme, pr´ Reˇ avˇe kdyˇz hodnota krit´eria z´ıskan´a z realizace nepadne do intervalu spolehlivosti pro koeficient spolehlivosti 1 − α, tj. kritick´a hodnota je mez´ı intervalov´eho odhadu. Obr´acenˇe se m˚ uˇzeme pt´ at, pˇri jak´e mezn´ı hladinˇe v´ yznamnosti by pozorovan´a hodnota byla kritick´a; tomu ˇ ım niˇ ˇr´ık´ame dosaˇ zen´ a v´ yznamnost; staˇc´ı ji porovnat s pˇredem zvolenou hladinou v´ yznamnosti testu. (C´ zˇ s´ı ˇ c´ıslo, t´ım v´ yznamnˇ ejˇ s´ı v´ ysledek.) T´emˇeˇr vˇsechny programy d´avaj´ı za v´ ysledek dosaˇzenou v´ yznamnost (obvykle se znaˇc´ı P a ˇr´ık´ a se j´ı pouze significance), takˇze hladinu v´ yznamnosti nen´ı tˇreba pˇredem zadat; nav´ıc se dov´ıme, jak daleko jsme byli od t´eto hladiny. Typick´ y tvar testu: Testovac´ı statistiku T se zn´am´ ym rozdˇelen´ım (pˇresnˇeji jej´ı realizaci t) porovn´av´ame s kvantily pˇr´ısluˇsn´eho rozdˇelen´ı a zam´ıtneme pˇri extr´emn´ıch hodnot´ach (nepravdˇepodobn´ ych pˇri platnosti nulov´e hypot´ezy): H0 ϑ≤c ϑ≥c ϑ=c
H1 ϑ>c ϑ
zam´ıt´ame pro t > qT (1 − α) t < qT (α) t > qT (1 − α2 ) nebo t < qT ( α2 )
dosaˇzen´a v´ yznamnost 1 − FT (t) FT (t) 2 min (FT (t), 1 − FT (t))
V literatuˇre se setk´ ame i s n´ asleduj´ıc´ımi pˇr´ıpady hypot´ez, kter´e se vˇsak ˇreˇs´ı stejnˇe jako prvn´ı dva v´ yˇse uveden´e: H0 ϑ=c ϑ=c
H1 ϑ>c ϑ
37
6.2 6.2.1
Testy stˇ redn´ı hodnoty norm´ aln´ıho rozdˇ elen´ı Pˇ ri zn´ am´ em rozptylu σ 2
x−c√ n σ porovn´av´ame s kvantily normovan´ eho norm´ aln´ıho rozdˇ elen´ı: t=
H0 µ≤c µ≥c µ=c 6.2.2
zam´ıt´ame pro t > Φ−1 (1 − α) t < −Φ−1 (1 − α) = Φ−1 (α) |t| > Φ−1 (1 − α2 )
dosaˇzen´a v´ yznamnost 1 − Φ(t) Φ(t) 2 min (Φ(t), 1 − Φ(t))
Pˇ ri nezn´ am´ em rozptylu t=
x−c√ n sx
elen´ı s n − 1 stupni volnosti: porovn´av´ame s kvantily Studentova rozdˇ H0 µ≤c µ≥c µ=c
6.3
zam´ıt´ ame pro t > qt(n−1) (1 − α) t < −qt(n−1) (1 − α) |t| > qt(n−1) (1 − α2 )
dosaˇzen´a v´ yznamnost 1 − Ft(n−1) (t) Ft(n−1) (t) 2 min Ft(n−1) (t), 1 − Ft(n−1) (t)
Testy rozptylu norm´ aln´ıho rozdˇ elen´ı t=
(n − 1) s2x c
porovn´av´ame s kvantily χ2 -rozdˇ elen´ı s n − 1 stupni volnosti: H0 σ ≤c σ2 ≥ c σ2 = c 2
6.4
zam´ıt´ ame pro t > qχ2 (n−1) (1 − α) t < qχ2 (n−1) (α) t < qχ2 (n−1) ( α2 ) nebo t > qχ2 (n−1) (1 − α2 )
dosaˇzen´a v´ yznamnost 1 − Fχ2 (n−1) (t) Fχ2 (n−1) (t) 2 min Fχ2 (n−1) (t), 1 − Fχ2 (n−1) (t)
Porovn´ an´ı dvou norm´ aln´ıch rozdˇ elen´ı
Pˇ redpoklad: Nez´ avisl´ e v´ ybˇery (X1 , . . . , Xm ) z rozdˇelen´ı N(EX, DX), (Y1 , . . . , Yn ) z rozdˇelen´ı N(EY, DY ). 6.4.1
Testy rozptylu dvou norm´ aln´ıch rozdˇ elen´ı [Fisher] . 2 Je-li DX = DY , pak SX = SY2 . Testovac´ı statistikou je T =
2 SX . SY2
F-rozdˇ elen´ı (Fisherovo-Snedecorovo rozdˇ elen´ı) s ξ a η stupni volnosti je rozdˇelen´ı n´ahodn´e veliˇciny F =
U ξ V η
,
avisl´ e n´ ahodn´e veliˇciny s rozdˇelen´ım χ2 (ξ), resp. χ2 (η). kde U, V jsou nez´ Znaˇcen´ı: F(ξ, η)
38
Hustota pro x > 0: fF(ξ,η) (x) = c (ξ, η) x
ξ 2 −1
− ξ+η 2 ξ , 1+ x η
ξ2 Γ ξ+η 2 ξ c (ξ, η) = η η ξ Γ 2 Γ 2 Je-li DX = DY = σ 2 , pak dosad´ıme 2 (m − 1) SX m´a χ2 (m − 1) , σ2 (n − 1) SY2 V := m´a χ2 (n − 1) , σ2 ξ := m − 1, η := n − 1 ,
U :=
F =
U ξ V η
=
2 (m−1) SX (m−1) σ 2 2 (n−1) SY (n−1) σ 2
=
2 SX =T. SY2
Testujeme realizaci t=
s2x s2y
na rozdˇelen´ı F(m − 1, n − 1): H0 DX ≤ DY DX ≥ DY DX = DY
zam´ıt´ame pro t > qF(m−1,n−1) (1 − α) t < qF(m−1,n−1) (α) t < qF(m−1,n−1) ( α2 ) nebo t > qF(m−1,n−1) (1 − α2 )
dosaˇzen´a v´ yznamnost 1 − FF(m−1,n−1) (t) FF(m−1,n−1) (t) 2 min(FF(m−1,n−1) (t), 1 − FF(m−1,n−1) (t))
Pro kaˇzdou hladinu v´ yznamnosti potˇrebujeme dvoudimenzion´aln´ı tabulku kvantil˚ u indexovanou ξ, η; obvykle je tabelov´ana jen polovina, druhou je tˇreba dopoˇc´ıtat podle vzorce qF(ξ,η) (β) = (opaˇcn´e poˇrad´ı index˚ u!) nebo uvaˇzovat 6.4.2
2 SY 2 SX
m´ısto
1 qF(η,ξ) (1 − β)
2 SX 2 . SY
Testy stˇ redn´ıch hodnost dvou norm´ aln´ıch rozdˇ elen´ı se zn´ am´ ym rozptylem σ 2 σ2 X m m´ a N EX, , m σ2 , Y n m´ a N EY, n 1 1 X m − Y n m´ a N EX − EY, σ 2 + . m n
Za pˇredpokladu EX = EY : T :=
Xm − Y n q m´a N (0, 1) . 1 σ m + n1
Testujeme realizaci t na N (0, 1) (viz kapitola 6.2.1).
39
6.4.3
Testy stˇ redn´ıch hodnost dvou norm´ aln´ıch rozdˇ elen´ı se (stejn´ ym) nezn´ am´ ym rozptylem
Pˇ redpoklad: DX = DY = σ 2 Nejprve ovˇeˇr´ıme tento pˇredpoklad (viz kapitola 6.4.1). (Ve skuteˇcnosti nem˚ uˇzeme pˇredpoklad ovˇeˇrit, jedinˇe vyvr´ atit; pokus´ıme se o to, a pokud se to nepodaˇr´ı, pokraˇcujeme. Bez tohoto pˇredpokladu by byl dalˇs´ı postup sloˇzitˇejˇs´ı, viz napˇr. [Mood a kol.].) 2 M´ame dva odhady SX , SY2 stejn´e hodnoty σ 2 ; pouˇzijeme jejich pr˚ umˇer v´aˇzen´ y rozsahy v´ ybˇer˚ u (−1 kv˚ uli v´ ypoˇctu v´ ybˇerov´eho pr˚ umˇeru): 2 (m − 1) SX m´a χ2 (m − 1) , σ2 (n − 1) SY2 m´a χ2 (n − 1) , σ2 2 (m − 1) SX + (n − 1) SY2 m´a χ2 (m + n − 2) σ2
se stˇredn´ı hodnotou m + n − 2, 2 S2 (m − 1) SX + (n − 1) SY2 = 2 2 (m + n − 2) σ σ
m´a stˇredn´ı hodnotu 1 a S 2 :=
2 (m − 1) SX + (n − 1) SY2 m+n−2
je nestrann´ y odhad σ 2 , s
S :=
Xm Yn Xm − Y n
2 + (n − 1) S 2 (m − 1) SX Y . m+n−2 σ2 m´ a N EX, , m σ2 , m´ a N EY, n 1 1 m´ a N EX − EY, σ 2 + . m n
Za pˇredpokladu EX = EY : Xm − Y n q m´a N (0, 1) , 1 σ m + n1 2 (m + n − 2) S 2 + (n − 1) SY2 (m − 1) SX = m´a χ2 (m + n − 2) , σ2 σ2 X√ m −Y n 1 Xm − Y n σ m +1 q n m´a t(m + n − 2) . T := q = 1 S2 S m + n1 σ2
Testujeme realizaci t na rozdˇelen´ı t(m + n − 2) (viz kapitola 6.2.2).
6.5
Testy stˇ redn´ıch hodnost dvou norm´ aln´ıch rozdˇ elen´ı - p´ arov´ y pokus
(dle [SH10]) Pˇ r´ıklad: M´ame porovnat pr˚ umˇernou teplotu na dvou m´ıstech. Standardn´ı test stˇredn´ıch hodnot dvou norm´aln´ıch rozdˇelen´ı je slab´ y kv˚ uli velk´emu rozptylu, kter´ y vˇsak m´a spoleˇcnou pˇr´ıˇcinu a projevuje se proto synchronnˇe v obou v´ ybˇerech; proto v´ ybˇery nejsou navz´ ajem nez´ avisl´ e. Mˇeˇr´ıme vˇzdy obˇe veliˇciny souˇcasnˇe. Pˇ redpoklad: N´ ahodn´e veliˇciny Xj , Yj (j = 1, . . . , n) maj´ı norm´aln´ı rozdˇelen´ı N(µj , σ 2 ) se st´al´ ym rozptylem σ 2 a promˇenn´ ymi stˇredn´ımi hodnotami µj = EXj = EYj . M˚ uˇzeme pouˇz´ıt n´ ahodn´e veliˇciny Uj := Xj − µj , Vj := Yj − µj (j = 1, . . . , n), kter´e jsou nez´ avisl´ e a maj´ı rozdˇelen´ı N(0, σ 2 ). N´ahodn´e veliˇciny ∆j := Xj − Yj =Uj − Vj (j = 1, . . . , n) jsou nez´avisl´e a maj´ı rozdˇelen´ı N(0, 2σ 2 ). V´ ybˇerov´ y pr˚ umˇer ∆ m´ a N 0, 2σn
2
.
40
6.5.1
Pro zn´ am´ y rozptyl σ 2
Nezn´am´e parametry sdruˇzen´eho rozdˇelen´ı jsou µ1 , . . . , µn , ale nepotˇrebujeme je. Dle kapitoly 6.2.1 (pro c = 0) testujeme r r ∆ n X −Y n T := = σ 2 σ 2 na N(0, 1). 6.5.2
Pro nezn´ am´ y rozptyl
Nezn´am´e parametry sdruˇzen´eho rozdˇelen´ı jsou Θ = (σ 2 , µ1 , . . . , µn ), potˇrebujeme z nich pouze σ 2 = DX. M˚ uˇzeme pracovat pˇr´ımo s v´ ybˇerem (∆1 , . . . , ∆n ) z norm´aln´ıho rozdˇelen´ı. Dle kapitoly 6.2.2 (pro c = 0) testujeme ∆√ n T := S∆ na t(n − 1). Cviˇ cen´ı: Maxim´ alnˇe vˇerohodn´ y odhad parametr˚ u: Y n n Y −(xj − µj )2 −(yj − µj )2 1 1 √ √ exp · exp , `(Θ) = 2 σ2 2 σ2 2πσ 2πσ j=1 j=1 n n X √ (xj − µj )2 X (yj − µj )2 − − 2 n ln σ − 2 n ln 2 π , 2 2 2 σ 2 σ j=1 j=1 2 b ∂L(ϑ) (yj − µ cj )2 ∂ (xj − µ cj ) 0= − = − c2 c2 ∂c µj ∂c µj 2σ 2σ 1 1 ((xj − µ cj ) + (yj − µ cj )) = (x + yj − 2 µ cj ) , = c2 c2 j σ σ xj + yj µ cj = , j = 1, . . . , n . 2
L(Θ) = −
Odhady µ cj , (j = 1, . . . , n) nejsou konzistentn´ı. Po jejich dosazen´ı:
b =− L(ϑ)
n X √ (xj − yj )2 c2 − 2 n ln 2 π , − n ln σ c2 4σ j=1
n X b ∂L(ϑ) (xj − yj )2 2n 0= = , 2 − c2 c2 c2 σ ∂ σ j=1 4 σ n n X 1 X 2 c2 = 1 (xj − yj )2 = δ , σ 2 n j=1 2 n j=1 j
c2 je konzistentn´ı. kde δj je realizace ∆j . Odhad σ
6.6
χ2 -test dobr´ e shody
Slouˇz´ı k testov´an´ı hypot´ezy, ˇze n´ ahodn´ a veliˇcina m´a pˇredpokl´adan´e rozdˇelen´ı. Protoˇze um´ıme hypot´ezy jen zam´ıtat, nikdy nepotvrd´ıme, ˇze takov´e rozdˇelen´ı opravdu m´a. Testujeme diskr´ etn´ı rozdˇ elen´ı (mohlo vzniknout diskretizac´ı spojit´eho). H0 : N´ahodn´a veliˇcina m´ a diskr´etn´ı rozdˇelen´ı do k tˇr´ıd s nenulov´ ymi pravdˇepodobnostmi p1 , . . . , pk . cetnosti Testujeme pomoc´ı realizace n´ ahodn´eho v´ ybˇeru rozsahu n. Nen´ı d˚ uleˇzit´e poˇrad´ı v´ ysledk˚ u, pouze jejich ˇ ni , resp. relativn´ı ˇ cetnosti nni (i = 1, . . . , k). Porovn´av´ame ˇcetnost ni s teoretickou ˇ cetnost´ı n pi . Testovac´ı statistikou je k X (ni − n pi )2 T := . n pi i=1 41
Jej´ı rozdˇelen´ı se pro n → ∞ bl´ıˇz´ı χ2 (k − 1). Dosaˇzen´a v´ yznamnost: 1−Fχ2 (k−1) (t). Nulovou hypot´ezu zam´ıt´ame pro t > qχ2 (k−1) (1−α), tj. 1−Fχ2 (k−1) (t) < α. Exercise 3 Tabulka ud´ av´ a rozdˇelen´ı (podm´ınˇen´e) pravdˇepodobnosti, ˇze voliˇc strany zastoupen´e v parlamentu volil danou stranu. Posud’te na 5 % hladinˇe v´yznamnosti hypot´ezu, ˇze stejn´e rozdˇelen´ı maj´ı i poslanci. relativn´ı preference poˇcet poslanc˚ u
0.376 81
0.344 74
0.136 26
0.077 13
0.067 6
Solution 4 Dopln´ıme tabulku (posledn´ı sloupec uv´ ad´ı celkov´y u ´daj): relativn´ı preference poˇcet poslanc˚ u teor. ˇcetnost pˇr´ıspˇevek k χ2
0.136 0.077 0.067 1 26 13 6 200 27.2 15.4 13.4 200 0.052 0.374 4.086 5 .353 . Hodnotu krit´eria 5.353 porovn´ ame s kvantilem qχ2 (4) (0.95) = 9.4877 a hypot´ezu nezam´ıt´ ame (ponˇekud pˇrekvapiv´y z´ avˇer vzhledem k tomu, ˇze posledn´ı dvˇe strany maj´ı t´emˇeˇr stejnou podporu u voliˇc˚ u, ale posledn´ı m´ a v´ıce neˇz 2× m´enˇe poslanc˚ u). 6.6.1
0.376 81 75.2 0.447
0.344 74 68.8 0.393
Modifikace
Probl´ em: Testujeme na rozdˇelen´ı, kter´emu se skuteˇcn´e jen limitnˇe bl´ıˇz´ı. T´ım se dopouˇst´ıme bl´ıˇze neurˇcen´e dodateˇcn´e chyby. Teoretick´e ˇcetnosti tˇr´ıd nesm´ı b´ yt pˇr´ıliˇs mal´e (ˇreknˇeme aspoˇ n 5), aby n´aˇs pˇredpoklad byl opr´avnˇen´ y. Modifikace: Vych´ az´ı-li teoretick´ a ˇcetnost nˇekter´ ych tˇr´ıd pˇr´ıliˇs mal´a, slouˇc´ıme je s jin´ ymi tˇr´ıdami (pokud moˇzno bl´ızk´ ymi“). ” Probl´ em: Zkouman´e rozdˇelen´ı m˚ uˇze z´ aviset na nezn´am´ ych parametrech. Modifikace 1: Parametry odhadneme na z´ akladˇe jin´ eho n´ahodn´eho v´ ybˇeru. Modifikace 2: Parametry odhadneme na z´ akladˇe stejn´ eho n´ahodn´eho v´ ybˇeru, kter´ y pouˇz´ıv´ame k testu dobr´e shody. T´ım jsme vˇsak sn´ıˇzili poˇcet stupˇ n˚ u volnosti, takˇze mus´ıme testovat na rozdˇelen´ı χ2 (k − 1 − q), kde q je poˇcet odhadnut´ ych parametr˚ u. Probl´ em: Chceme testovat shodu se spojit´ ym nebo sm´ıˇ sen´ ym rozdˇelen´ım. Modifikace: Rozdˇelen´ı napˇred diskretizujeme, tj. vˇsechny moˇzn´e v´ ysledky rozdˇel´ıme do k disjunktn´ıch tˇr´ıd. Prvky v jedn´e tˇr´ıdˇe si maj´ı b´ yt bl´ızk´e“, jinak sniˇzujeme s´ılu testu. Vˇsechny teoretick´e ˇcetnosti mus´ı b´ yt ” dostateˇcnˇe velk´e a nejl´epe zhruba stejn´e. Pozn´ amka: Z´asadnˇe mus´ıme pracovat s jednotkami (objekty), z nichˇz kaˇzd´a zvl´aˇst’ (a nez´avisle) je zaˇrazena do nˇejak´e tˇr´ıdy. Nelze poˇc´ıtat s tis´ıci, procenty, spojit´ ym mnoˇzstv´ım atd. 6.6.2
χ2 -test dobr´ e shody dvou rozdˇ elen´ı
(dle [Mood a kol.]) H0 : Dvˇe diskr´etn´ı n´ ahodn´e veliˇciny maj´ı stejn´e diskr´etn´ı rozdˇelen´ı. Rozsahy v´ ybˇer˚ u jsou m, n a ˇcetnosti v´ ysledk˚ u mi , ni (i = 1, . . . , k). Pˇredpokl´ad´ame rozdˇelen´ı s nezn´am´ ymi teoretick´ ymi pravdˇepodobnostmi pi (i = 1, . . . , k). k X (mi − m pi )2 i=1
m pi
k X (ni − n pi )2
n pi
i=1
T =
k X (mi − m pi )2 i=1
m pi
+
k X (ni − n pi )2
n pi
i=1
se bl´ıˇz´ı χ2 (k − 1) , se bl´ıˇz´ı χ2 (k − 1) , se bl´ıˇz´ı χ2 (2(k − 1)) .
Nezn´am´e parametry pi odhadneme pomoc´ı maxima vˇerohodnosti, pi =
mi + n i , m+n 42
z nich je jen k−1 nez´ avisl´ ych (nebot’
k P
pi = 1), takˇze v´ ysledn´ y poˇcet stupˇ n˚ u volnosti je 2 (k−1)−(k−1) = k−1
i=1
a testujeme T na χ2 (k − 1). Nulovou hypot´ezu zam´ıt´ame pro t > qχ2 (k−1) (1 − α), tj. 1 − Fχ2 (k−1) (t) < α. Praktiˇctˇejˇs´ı (ekvivalentn´ı) vzorec: k 1 1 X (mi − m pi )2 T = + . m n i=1 pi 6.6.3
χ2 -test nez´ avislosti dvou rozdˇ elen´ı
(dle [Likeˇs, Machek]) H0 : Dvˇe n´ahodn´e veliˇciny (jejichˇz rozdˇelen´ı nezn´ame) jsou nez´avisl´e. X nab´ yv´a k hodnot s pravdˇepodobnostmi p1 , . . . , pk , Y nab´ yv´a m hodnot s pravdˇepodobnostmi q1 , . . . , qm . Realizace dvojrozmˇern´eho n´ ahodn´eho v´ ybˇeru ((x1 , y1 ), . . . , (xn , yn )) obsahuje dvojice realizac´ı n´ahodn´ ych veliˇcin X, Y ; z v´ ysledk˚ u n´ as zaj´ımaj´ı opˇet pouze ˇcetnosti nij (i = 1, . . . , k; j = 1, . . . , m). Ty b´ yvaj´ı uspoˇr´ad´any do cn´ı tabulky. Poˇcet tˇr´ıd je k m. tzv. kontingenˇ Za pˇredpokladu nez´ avislosti jsou pravdˇepodobnosti v´ ysledk˚ u pi qj (i = 1, . . . , k; j = 1, . . . , m), T :=
k X m X (nij − n pi qj )2 se bl´ıˇz´ı χ2 (km − 1) . n p q i j i=1 j=1
Nezn´am´e parametry pi , qj odhadneme pomoc´ı maxima vˇerohodnosti, m P
pi =
k P
nij
j=1
,
n
z nich je jen (k − 1) + (m − 1) nez´ avisl´ ych (nebot’
k P
qj = m P
pi = 1,
i=1
nij
i=1
n
,
qj = 1), takˇze v´ ysledn´ y poˇcet stupˇ n˚ u volnosti je
j=1
k m − 1 − (k − 1) − (m − 1) = (k − 1) (m − 1) a testujeme T na χ2 ((k − 1) (m − 1)). Nulovou hypot´ezu zam´ıt´ame pro t > qχ2 ((k−1) (m−1)) (1 − α), tj. 1 − Fχ2 ((k−1) (m−1)) (t) < α.
6.7
Korelace, jej´ı odhad a testov´ an´ı
(dle [Likeˇs, Machek]) Korelace %X,Y n´ ahodn´ ych veliˇcin X, Y (s nenulov´ ym rozptylem) je stˇredn´ı hodnota souˇcinu odpov´ıdaj´ıc´ıch Y −EY · , normovan´ ych veliˇcin X−EX σX σY %X,Y =
E ((X − EX) (Y − EY )) ∈ h−1, 1i . σX σY
Je nulov´a pro nez´ avisl´e n´ ahodn´e veliˇciny, ale i pro nˇekter´e jin´e, tzv. nekorelovan´ e. Extr´emn´ı hodnoty ±1 odpov´ıdaj´ı line´ arn´ı z´ avislosti mezi X, Y . Na z´akladˇe dvojrozmˇern´eho n´ ahodn´eho v´ ybˇeru ((X1 , Y1 ), . . . , (Xn , Yn )) m˚ uˇzeme korelaci odhadnout pomoc´ı v´ ybˇ erov´ eho koeficientu korelace n P
(Xj − X) (Yj − Y )
j=1
RX,Y = v ! u n u P t 2 (Xj − X) j=1
n P
!. (Yj − Y )2
j=1
Jeho realizace n P
(xj − x) (yj − y)
j=1
rx,y = v ! u n u P t 2 (xj − x) j=1
n P j=1
43
! ∈ h−1, 1i , (yj − y)2
nebot’ je to kosinus u ´hlu vektor˚ u (x1 − x, . . . , xn − x) , (y1 − y, . . . , yn − y) ∈ Rn . Pro v´ ypoˇcet se pouˇz´ıv´ a jednopr˚ uchodov´ y vzorec: n
n P
xj yj −
j=1
Rx,y = v u u n u P x2j − t n j=1
6.7.1
n P
!
n P
xj
j=1
! yj
j=1
!2 n n P P xj n yj2 −
j=1
j=1
. !2 n P yj j=1
Test nekorelovanosti dvou norm´ aln´ıch rozdˇ elen´ı
Pˇ redpoklad: Dvojrozmˇern´ a n´ ahodn´ a veliˇcina (X, Y ) m´a (dvojrozmˇern´e) norm´aln´ı rozdˇelen´ı, n ≥ 3. H0 : %X,Y = 0 (X, Y jsou nekorelovan´e). Testovac´ı statistikou je √ RX,Y n − 2 , T = q 2 1 − RX,Y za pˇredpokladu nekorelovanosti m´ a rozdˇelen´ı t(n − 2), d´ale postupujeme dle kapitoly 6.2.2.
6.8
Neparametrick´ e testy
Jsou pouˇziteln´e bez ohledu na typ rozdˇelen´ı, jsou vˇsak slabˇs´ı. 6.8.1
Znam´ enkov´ y test
Rozliˇsujeme pouze znam´enko odchylky od zvolen´e hodnoty c. T´ım ztr´ac´ıme kvantativn´ı informaci a tedy i moˇznost testovat napˇr. stˇredn´ı hodnotu. M´ısto n´ı testujeme medi´an qX ( 21 ). H0 : qX ( 12 ) = c Pˇri platnosti nulov´e hypot´ezy by kladn´e i z´ aporn´e odchylky mˇely b´ yt stejnˇe pravdˇepodobn´e. Nulov´e odchylky z v´ ybˇeru pˇredem vylouˇc´ıme. Testovac´ı statistikou T je poˇcet kladn´ ych odchylek, kter´ y testujeme na binomick´e rozdˇelen´ı Bin n, 21 . Nulovou hypot´ezu zam´ıt´ame pro α α nebo t > qBin(n, 1 ) 1 − . t < qBin(n, 1 ) 2 2 2 2 (Podobnˇe pro jednostrann´e testy.) V´ ypoˇcet kvantil˚ u je pracn´ y, ale kritick´e hodnoty jsou tabelov´any (v z´avislosti na n a hladinˇe v´ yznamnosti). Dosaˇzen´a v´ yznamnost se poˇc´ıt´ a o trochu sn´ aze. Pro velk´a n pouˇz´ıv´ ame centr´ aln´ı limitn´ı vˇetu a testujeme T0 :=
2T − n √ n
na N(0, 1). Lze pouˇz´ıt i k porovn´ an´ı dvou medi´ an˚ u u p´ arov´eho pokusu. Pˇ r´ıklad pouˇ zit´ı: Odhad smrteln´e d´ avky l´ atky. Na rozd´ıl od stˇredn´ı hodnoty medi´ an vˇzdy existuje (je vˇsak probl´em, jak ho definovat, aby byl jednoznaˇcn´y). Jeho v´ypoˇcetn´ı sloˇzitost je vˇetˇs´ı, ˇr´ adu n ln n. 6.8.2
Wilcoxon˚ uv test (jednov´ ybˇ erov´ y)
H0 : X m´a rozdˇelen´ı symetrick´e kolem hodnoty c (V tom pˇr´ıpadˇe je c medi´ anem i stˇredn´ı hodnotou.)
44
Z realizace (x1 , . . . , xn ) vypoˇcteme posloupnost (z1 , . . . , zn ), kde zj = xj − c. Seˇrad´ıme ji vzestupnˇe podle absolutn´ıch hodnot |zj | = |xj − c|, ˇc´ımˇz j-t´emu prvku pˇriˇrad´ıme poˇrad´ı rj . Je-li v´ıce stejn´ ych rozd´ıl˚ u, pˇriˇrad´ıme jim stejn´e poˇrad´ı rovn´e aritmetick´emu pr˚ umˇeru. Testovac´ı statistikou je X T1 := rj j:zj >0
nebo
T2 := min
X
j:zj >0
rj ,
X
rj ,
j:zj <0
porovn´ame s tabulkou kritick´ ych hodnot pro tento test.
7
Co zde nebylo
7.1
V´ıce o zobrazen´ı n´ ahodn´ e veliˇ ciny funkc´ı a o souˇ ctu n´ ahodn´ ych veliˇ cin
7.2
Diskretizace
7.3
Smˇ es pravdˇ epodobnost´ı
7.4
Charakteristick´ a funkce n´ ahodn´ e veliˇ ciny
7.5
D˚ ukaz centr´ aln´ı limitn´ı vˇ ety Literatura
ˇ [Navara: PMS] Navara, M.: Pravdˇepodobnost a matematick´ a statistika. Skriptum CVUT, Praha, 2007. [Rogalewicz] Rogalewicz, V.: Pravdˇepodobnost a statistika pro inˇzen´ yry. 2. pˇrepracovan´e vyd´an´ı, Skriptum ˇ FBMI CVUT, Praha, 2007. ˇ ep´an] Zv´ ˇ ep´ [Zv´ara, Stˇ ara, K., Stˇ an, J.: Pravdˇepodobnost a matematick´a statistika (2. vyd´an´ı). Matfyzpress, MFF UK, Praha, 2002. [Andˇel: Statistick´e metody] Andˇel, J.: Statistick´e metody. 2. vyd., Matfyzpress, Praha, 1998. [Andˇel: Matematick´ a statistika] Andˇel, J.: Matematick´a statistika. SNTL/Alfa, Praha, 1978. [Disman]
Disman, M.: Jak se vyr´ ab´ı sociologick´a znalost. Karolinum, UK, Praha, 2005.
ˇ [Jaroˇs a kol.] Jaroˇs, F. a kol.: Pravdˇepodobnost a statistika. Skriptum VSCHT, 2. vyd´an´ı, Praha, 1998. ˇ [Jaruˇskov´a] Jaruˇskov´ a, D.: Pravdˇepodobnost a matematick´a statistika 12. Skriptum FSV CVUT, Praha, 2000. [Jaruˇskov´a] Jaruˇskov´ a, D., H´ ala, M.: Pravdˇepodobnost a matematick´a statistika 12. Pˇr´ıklady. Skriptum FSV ˇ CVUT, Praha, 2002. [Likeˇs, Machek] Likeˇs, J., Machek, J.: Matematick´a statistika. 2. vyd´an´ı, SNTL, Praha, 1988. [Nagy]
ˇ Nagy, I.: Pravdˇepodobnost a matematick´a statistika. Cviˇcen´ı. Skriptum FD CVUT, Praha, 2002.
ˇ [Nˇeniˇckov´a] Nˇeniˇckov´ a, A.: Matematick´ a statistika — cviˇcen´ı. Skriptum CVUT, Praha, 1990. [Rieˇcanov´a a kol.] Rieˇcanov´ a, Z. a kol.: Numerick´e met´ody a matematick´a ˇstatistika. Alfa/SNTL, Bratislava, 1987. [Rieˇcan a kol.] Rieˇcan, B., Lamoˇs, F., Len´ art, C.: Pravdepodobnost’ a matematick´a ˇstatistika. Alfa/SNTL, Bratislava, 1984.
45
[SH10]
Schlesinger, M.I., Hlav´ aˇc, V.: Deset pˇredn´aˇsek z teorie statistick´eho a strukturn´ıho rozpozn´av´an´ı. ˇ CVUT, Praha, 1999.
[Swoboda]
Swoboda, H.: Modern´ı statistika. Svoboda, Praha, 1977.
[Chatfield] Chatfield, C.: Statistics for Technology. 3rd ed., Chapman & Hall, London, 1992. [Mood a kol.] Mood, A.M., Graybill, F.A., Boes, D.C.: Introduction to the Theory of Statistics. 3rd ed., McGraw-Hill, 1974. [Papoulis]
Papoulis, A.: Probability and Statistics, Prentice-Hall, 1990.
[Wasserman] Wasserman, L.: All of Statistics. A Concise Course in Statistical Inference. Springer, 2004.
46