Pravděpodobnost a statistika

Pravděpodobnost a statistika Náhodné vektory Vilém Vychodil KMI/PRAS, Přednáška 8

Vytvořeno v rámci projektu 2963/2011 FRVŠ

V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory

Pravděpodobnost a statistika

1 / 59

Přednáška 8: Přehled 1

Náhodné vektory: definice náhodného vektoru, vícerozměrná Borelovská jevová pole, rozdělení pravděpodobnosti, borelovské funkce, marginální a sdružená rozdělení pravděpodobnosti, distribuční funkce, diskrétní a spojitá sdružená rozdělení, střední hodnoty a variance.

2

Nezávislost náhodných veličin: definice nezávislosti náhodných veličin, ekvivalentní vyjádření, nezávislost a sdružené pravděpodobností funkce a funkce hustoty, kovariance, korelační koeficient, lineární regrese, podmíněná rozdělení, distribuční funkce, očekávané hodnoty.

3

Generování pseudonáhodných čísel: ruletová metoda, metoda inversní transformace, techniky založené na simulaci, využití funkce hustoty.


Náhodné vektory


2 / 59

Příklad (Motivace pro náhodné vektory) Mějme pravděpodobnostní prostor hΩ, F, P i, dvě náhodné veličiny Y : Ω → R a Z : Ω → R a Borelovské množiny A, B ∈ B. Zajímáme se o pravděpodobnost, že Y nabude hodnoty z množiny A a současně Z nabude hodnoty z množiny B: P ({Y ∈ A} ∩ {Z ∈ B}) = P ({ω = P ({ω = P ({ω = P ({ω

∈ Ω | Y (ω) ∈ A} ∩ {ω ∈ Ω | Z(ω) ∈ B}) ∈ Ω | Y (ω) ∈ A a Z(ω) ∈ B}) ∈ Ω | hY (ω), Z(ω)i ∈ A × B}) ∈ Ω | X(ω) ∈ A × B}),

kde X : Ω → R2 je zobrazení definované X(ω) = hY (ω), Z(ω)i. Použitím standardní notace pro vyjádření inverzních obrazů {X ∈ A × B} = {ω ∈ Ω | X(ω) ∈ A × B}, můžeme psát P ({Y ∈ A} ∩ {Z ∈ B}) = P ({X ∈ A × B}). To jest: X lze chápat jako dvourozměrnou náhodnou veličinu (náhodný vektor). V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


3 / 59

Náhodný vektor Zobecnění pojmu náhodná veličina:

Definice (Náhodný vektor / vícerozměrná náhodná veličina) Mějme pravděpodobnostní prostor hΩ, F, P i. Zobrazení X : Ω → Rn nazýváme (n-rozměrný) náhodný vektor v hΩ, F, P i (angl.: random vector) pokud {ω ∈ Ω | X(ω) ∈ (−∞, a1 ] × · · · × (−∞, an ]} ∈ F. platí pro každé a1 , . . . , an ∈ R. Poznámky: náhodná veličina = jednorozměrný náhodný vektor, i-tou složku X(ω) označujeme X(ω)(i) , podmínku z definice lze psát {ω ∈ Ω | X(ω)(i) ≤ ai pro každé i = 1, . . . , n} ∈ F nebo {X ∈ (−∞, a1 ] × · · · × (−∞, an ]} ∈ F pomocí inverzních obrazů. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


4 / 59

Vícerozměrné Borelovské jevové pole Úzce související pojem:

Definice (Vícerozměrné Borelovské jevové pole) Mějme Ω = Rn a nechť An = {(−∞, a1 ] × · · · × (−∞, an ] | a1 , . . . , an ∈ R}. Pak σ-algebru B n = FAn nazveme n-rozměrné Borelovské (jevové) pole a každou A ∈ B n nazveme (n-rozměrná) Borelovská množina. Poznámky: B 1 je klasické Borelovské jevové pole (Přednáška 3), motivace pro zavedení: {X ∈ B} ∈ F pro „rozumné podmnožinyÿ B ⊆ Rn B n má několik ekvivalentních vyjádření, . . . V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


5 / 59

Věta (Ekvivalentní zavedení B n ) B n je σ-algebra generovaná An = {(a1 , b1 ] × · · · × (an , bn ] | a1 ≤ b1 , . . . , an ≤ bn }.

Důkaz. Nejprve prokážeme, že každá (−∞, a1 ] × · · · × (−∞, an ] náleží to FAn . To plyne z toho, že FAn je uzavřená na sjednocení spočetně mnoha množin: S (−∞, a1 ] × · · · × (−∞, an ] = ∞ i=1 (a1 − i, a1 ] × · · · × (an − i, an ] ∈ FAn . Tím jsme prokázali B n ⊆ FAn . Abychom dokázali opačnou inkluzi, stačí ověřit, že každá (a1 , b1 ] × · · · × (an , bn ] náleží to B n . To prokážeme s využitím faktu, že B n je uzavřená na množinový rozdíl. Například pro n = 2 platí, že (a, b] × (c, d] je rovno ((−∞, b) × (−∞, d)) − ((−∞, b) × (−∞, c)) − ((−∞, a) × (−∞, d)). Obecně lze (a1 , b1 ] × · · · × (an , bn ] vyjádřit rozdílem n + 1 množin ve tvaru (−∞, c1 ] × · · · × (−∞, cn ], to jest (a1 , b1 ] × · · · × (an , bn ] ∈ B n . Tím jsme prokázali, že FAn ⊆ B n . Dohromady dostáváme B n = FAn . V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


6 / 59

Věta (Generování B n pomocí jednorozměrných Borelovských množin) B n je σ-algebra generovaná An = {A1 × · · · × An | A1 , . . . , An ∈ B}.

Důkaz. Zřejmě platí, že každá (−∞, a1 ] × · · · × (−∞, an ] náleží do FAn , protože každá (−∞, ai ] je Borelovská množina, tedy (−∞, ai ] ∈ B. Odtud máme B n ⊆ FAn . Vezměme libovolné A1 , . . . , An ∈ B. Nejprve nahlédněme, že R · · × R} ×(a, b] × R · · × R} ∈ B n | × ·{z | × ·{z i−1

n−i

pro každé i = 1, . . . , n a a, b ∈ R. To plyne z předchozího tvrzení a užitím uzavřenosti B n na sjednocení spočetně mnoha množin. Jelikož Ai ∈ B a B je generovaná otevřenými intervaly, ihned dostáváme, že R · · × R} ×Ai × |R × ·{z · · × R} ∈ B n . | × ·{z i−1

n−i

Fakt A1 × · · · × An ∈ B n tedy plyne z uzavřenosti B n na průniky n množin. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


7 / 59

Věta (Ekvivalentní zavedení náhodného vektoru) Mějme pravděpodobnostní prostor hΩ, F, P i. Zobrazení X : Ω → Rn je náhodný vektor v hΩ, F, P i právě tehdy, když {X ∈ B} ∈ F platí pro každé B ∈ B n .

Důkaz. Pokud {X ∈ B} ∈ F platí pro každé B ∈ B n , pak je X zřejmě náhodný vektor, protože (−∞, a1 ] × · · · × (−∞, an ] ∈ B n . Opačnou implikaci prokážeme následovně: Pro An = {B ⊆ Rn | {X ∈ B} ∈ F} platí, že An je σ-algebra (jde o obraz σ-algebry F, Přednáška 5). Dále platí, že An zřejmě obsahuje všechny množiny tvaru (−∞, a1 ] × · · · × (−∞, an ], protože X je náhodný vektor. Tím pádem B n ⊆ An , protože B n je generovaná právě množinami v předchozím tvaru. Odtud dostáváme {X ∈ B} ∈ F pro každou B ∈ B n . Poznámka: Zobecnění věty o ekvivalentním zavedení náhodné veličiny (Přednáška 5). V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


8 / 59

Rozdělení pravděpodobnosti náhodného vektoru Definice (Rozdělení pravděpodobnosti náhodného vektoru) Mějme pravděpodobnostní prostor hΩ, F, P i a náhodný vektor X : Ω → Rn v hΩ, F, P i. Pak se pravděpodobnostní míra PX : B n → R na σ-algebře n-rozměrných Borelovských množin B n definovaná PX (B) = P {X ∈ B} , pro každou B ∈ B n nazývá rozdělení pravděpodobnosti náhodného vektoru X. Poznámky: pro n = 1 je PX rozdělení pravděpodobnosti náhodné veličiny (Přednáška 5), pro X : Ω → Rn někdy píšeme PX (B1 , . . . , Bn ) místo PX (B1 × · · · × Bn ), místo hΩ, F, P i a X : Ω → Rn se (obvykle) vedou úvahy jen v hRn , B n , PX i . V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


9 / 59

Borelovské funkce Definice (Borelovská funkce) Funkce f : Rn → R se nazývá Borelovská funkce (angl.: Borel function), pokud pro každé a ∈ R platí, že {hx1 , . . . , xn i ∈ Rn | f (x1 , . . . , xn ) ≤ a} ∈ Bn . Poznámka: Pro f : A → B a g : B → C uvažujeme složenou funkci g(f ) : A → C (někdy značíme f ◦ g) takovou, že (g(f ))(x) = g(f (x)) pro každé x ∈ A. Speciálně pro f : Ω → Rn a g : Rn → R máme g(f ) : Ω → R.

Věta Mějme pravděpodobnostní prostor hR, B, P i. Pak platí: 1 X je náhodná veličina v hRn , B n , P i právě tehdy, když je X Borelovská funkce. 2 Je-li X : Ω → Rn náhodný vektor v hΩ, F, P i a g : Rn → R je Borelovská funkce, pak g(X) je (jednorozměrná) náhodná veličina v hΩ, F, P i. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


10 / 59

Důkaz. První tvrzení plyne přímo z definice náhodného vektoru. Druhé tvrzení prokážeme takto: Vezměme libovolné a ∈ R. Platí, že {g(X) ≤ a} = {ω ∈ Ω | g(X(ω)) ≤ a} = {ω ∈ Ω | X(ω) ∈ {x ∈ Rn | g(x) ≤ a}} = {ω ∈ Ω | X(ω) ∈ {g ≤ a}} = {X ∈ {g ≤ a}}. Jelikož g je Borelovská funkce, pak {g ≤ a} ∈ Bn . Odtud ihned dostáváme, že {X ∈ {g ≤ a}} ∈ F, z čehož plyne, že g(X) je náhodná veličina. Důsledek: Pro Borelovskou funkci g platí {g ∈ B} ∈ Bn pro každou B ∈ B.

Příklad (Projekce jsou Borelovské funkce) Každá i-tá projekce πi , to jest zobrazení πi : Rn → R, kde πi (x1 , . . . , xn ) = xi pro všechna x1 , . . . , xn ∈ R, je Borelovská funkce, protože: {πi ≤ a} = R · · × R} ×(−∞, a] × R · · × R} ∈ B n . | × ·{z | × ·{z i−1


n−i

Náhodné vektory


11 / 59

Marginální náhodné veličiny a rozdělení pravděpodobnosti S využitím projekcí můžeme zavést:

Definice (Marginální náhodná veličina a rozdělení pravděpodobnosti) Mějme náhodný vektor X : Ω → Rn s rozdělením PX , pak každá πi (X) : Ω → R se nazývá marginální náhodná veličina (angl.: marginal random variable) a Pπi (X) se nazývá marginální rozdělení pravděpodobnosti (angl.: marginal distribution). Poznámka: Podle definice lze každé rozdělení Pπi (X) : B → R vyjádřit Pπi (X) (B) = P ({πi (X) ∈ B}) = P ({X ∈ {πi ∈ B}}) = PX ({πi ∈ B}) = PX (R · · × R} ×B × |R × ·{z · · × R}) , | × ·{z i−1

n−i

pro každou Borelovskou množinu B ∈ B pouze na základě znalosti PX . (!!) V praxi obvykle známe hRn , B n , PX i, kdežto hΩ, F, P i a X : Ω → Rn jsou neznámé. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


12 / 59

Sdružené rozdělení pravděpodobnosti Definice (Sdružené rozdělení pravděpodobnosti) Mějme náhodné veličiny X1 , . . . , Xn v pravděpodobnostním prostoru hΩ, F, P i. Pak se zobrazení PX1 ,...,Xn : B n → R, pro které platí PX1 ,...,Xn (A1 , . . . , An ) = P ({X1 ∈ A1 } ∩ · · · ∩ {Xn ∈ An }) pro každé A1 , . . . , An ∈ B, nazývá sdružené rozdělení pravděpodobnosti náhodných veličin X1 , . . . , Xn (angl.: joint probability distribution). Poznámky: {X1 ∈ A1 , . . . , Xn ∈ An } je zkrácená notace pro {X1 ∈ A1 } ∩ · · · ∩ {Xn ∈ An }. Pokud známe hΩ, F, P i a Xi : Ω → R (pro každé i = 1, . . . , n), pak PX1 ,...,Xn (A1 , . . . , An ) = PX (A1 , . . . , An ) = P ({X ∈ A1 × · · · × An }), kde X(ω)(i) = Xi (ω) pro každé i = 1, . . . , n a ω ∈ Ω. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


13 / 59

Distribuční funkce Definice (Distribuční funkce náhodného vektoru) Mějme n-rozměrný náhodný vektor X s rozdělením PX . Potom zobrazení FX : Rn → R, definované předpisem FX (x1 , . . . , xn ) = PX (−∞, x1 ], . . . , (−∞, xn ] pro každé x1 , . . . , xn ∈ R, se nazývá distribuční funkce náhodného vektoru X. Poznámky: Pro n = 1 přechází v distribuční funkci FX náhodné veličiny; distribuční funkce náhodných vektorů mají analogické vlastnosti jako distribuční funkce náhodných veličin (Přednáška 5); pro dvourozměrný náhodný vektor X s rozdělením PX máme S limx→∞ FX (x, y) = limx→∞ PX (−∞, x], (−∞, y] = PX ∞ (−∞, x]×(−∞, y] x=1 = PX R × (−∞, y] = Pπ2 (X) (−∞, y] = Fπ2 (X) (y). V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


14 / 59

Marginální a sdružené distribuční funkce Analogicky jako pro rozdělení zavádíme marginální a sdružené distribuční funkce:

Definice (Marginální distribuční funkce) Mějme náhodný vektor X : Ω → Rn s distribuční funkcí FX , pak se každá Fπi (X) nazývá marginální distribuční funkce (angl.: marginal distribution function).

Definice (Sdružená distribuční funkce) Mějme náhodné veličiny X1 , . . . , Xn v pravděpodobnostním prostoru hΩ, F, P i. Pak se zobrazení FX1 ,...,Xn : Rn → R, pro které platí FX1 ,...,Xn (x1 , . . . , xn ) = P ({X1 ≤ x1 } ∩ · · · ∩ {Xn ≤ xn }), pro každé x1 , . . . , xn ∈ R, nazývá sdružená distribuční funkce náhodných veličin X1 , . . . , Xn (angl.: joint distribution function). V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


15 / 59

Diskrétní náhodné vektory Definice (Diskrétní náhodný vektor) Náhodný vektor X : Ω → Rn s rozdělením PX se nazývá diskrétní pokud existuje spočetná množina C ⊆ Rn taková, že PX (C) = 1. Připomeňme (Přednáška 3), že pravděpodobnostní míra PX : B n → R se nazývá n diskrétní pokud existuje spočetně P∞ mnoho xi ∈ R a koeficientů ai ∈ [0, 1] (pro každé i = 1, 2, . . . ) tak, že i=1 ai = 1 a PX lze psát X∞ ai · δxi (A), PX (A) = pro každou A ∈ B n , i=1

n

kde δxi : B → R je Diracova míra koncentrovaná v xi . Lze prokázat:

Věta (Charakterizace diskrétních náhodných vektorů) Náhodný vektor X s rozdělením PX je diskrétní právě tehdy, když PX je diskrétní pravděpodobnostní míra. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


16 / 59

Důkaz (veden podobně u náhodných veličin, Přednáška 5). Tvrzení je ve tvaru ekvivalence, prokazujeme proto obě implikace. „⇒ÿ: Předpokládejme, že X je diskrétní náhodný vektor a označme C spočetnou podmnožinu Rn pro niž PX (C) = 1. Lze psát C = {x1 , x2 , . . . }, kde xi 6= xj pro i 6= j. Z faktu PX (C) = 1 dostáváme pro každou B ∈ B n : P∞ S PX (B) = PX (B ∩ C) = PX ∞ k=1 (B ∩ {xk }) = k=1 PX (B ∩ {xk }) P∞ = k=1 PX ({xk }) · δxk (B). P∞ S Užitím σ-aditivity, 1 = PX (C) = PX ∞ k=1 {xk } = k=1 PX ({xk }), takže za hledané koeficienty ai lze vzít hodnoty PX ({xi }) a PX je tím pádem diskrétní pravděpodobnostní míra. P „⇐ÿ: Nechť PX je diskrétní míra ve tvaru PX (A) = ∞ i=1 ai · δxi (A). Pak lze za hledanou C ⊆ Rn vzít spočetnou C = {x1 , x2 , . . . }. Zbývá ověřit PX (C) = 1: P P∞ PX (C) = ∞ a · δ (C) = i x i i=1 i=1 ai = 1. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


17 / 59

Pravděpodobnostní funkce U diskrétních náhodných vektorů uvažujeme pravděpodobnostní funkce:

Definice (Pravděpodobnostní funkce) Mějme diskrétní náhodný vektor X : Ω → Rn s rozdělením PX . Zobrazení fX : Rn → [0, 1], kde fX (x1 , . . . , xn ) = PX ({hx1 , . . . , xn i}) pro každé x1 , . . . , xn ∈ R, se nazývá pravděpodobnostní funkce náhodného vektoru X. Zjednodušení: PX (A) pro diskrétní náhodný vektor X lze vyjádřit X PX (A) = fX (x1 , . . . , xn ). hx1 ,...,xn i∈A

Distribuční funkce FX má tvar X X FX (a1 , . . . , an ) = ··· fX (x1 , . . . , xn ) x1 ≤a1 xn ≤an P = {fX (x1 , . . . , xn ) | x1 ≤ a1 , . . . , xn ≤ an }. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


18 / 59

Marginální a sdružené pravděpodobnostní funkce Definice (Marginální a sdružené pravděpodobnostní funkce) Mějme náhodný vektor X : Ω → Rn s pravděpodobnostní funkcí fX , pak se každá fπi (X) nazývá marginální pravděpodobnostní funkce. Mějme náhodné veličiny X1 , . . . , Xn v pravděpodobnostním prostoru hΩ, F, P i. Pak se zobrazení fX1 ,...,Xn : Rn → R, pro které platí fX1 ,...,Xn (x1 , . . . , xn ) = P ({X1 = x1 } ∩ · · · ∩ {Xn = xn }), pro každé x1 , . . . , xn ∈ R, nazývá sdružená pravděpodobnostní funkce náhodných veličin X1 , . . . , Xn . Poznámka: Marginální pravděpodobnostní funkce lze dle definice psát ve tvaru X fπi (X) (x) = fX (x1 , . . . , xi−1 , x, xi , . . . , xn−1 ). x1 ,...,xn−1 ∈R


Náhodné vektory


19 / 59

Příklad (Výsledek házení dvěma kostkami) Problém: Jsou vrženy dvě nefalšované šestistěnné kostky. Předpokládejme, že X označuje menší z výsledných hodnot a Y označuje větší z obou výsledných hodnot. Úkol: Určete, jak vypadají sdružené a marginální pravděpodobnostní a distribuční funkce veličin X a Y . 11 36 9 36 7 36 5 36 3 36 1 36

6 5 4 3 2 1

2 36 2 36 2 36 2 36 2 36 1 36

2 36 2 36 2 36 2 36 1 36

2 36 2 36 2 36 1 36

2 36 2 36 1 36

2 36 1 36

1 36

1

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

25 36 16 36 9 36 4 36 1 36

1

2

3

4

5

6

1

2

3

11 36

9 36

7 36

5 36

3 36

1 36

11 36

20 36

27 36


Náhodné vektory

6 5 4 3 2 1

11 36 9 36 7 36 5 36 3 36 1 36

20 36 16 36 12 36 8 36 4 36 1 36

27 36 21 36 15 36 9 36 4 36 1 36

32 36 24 36 16 36 9 36 4 36 1 36

35 36 25 36 16 36 9 36 4 36 1 36

25 36 16 36 9 36 4 36 1 36

4

5

6

32 36

35 36

1

1


20 / 59

Příklad (Vyjádření marginálních pravděpodobnostních funkcí) Problém: Mějme náhodné veličiny X a Y , které mají sdruženou pravděpodobnostní funkci fX,Y danou předpisem 1

pokud x ≥ y a x, y ∈ N, 2x+1 a fX,Y (x, y) = 0 ve všech ostatních případech. fX,Y (x, y) =

Úkol: Najděte marginální pravděpodobnostní funkce fX a fY . Řešení: Pomocí součtu prvků geometrické řady dostáváme: X∞ Xx x 1 = x+1 , fX (x) = fX,Y (x, y) = x+1 y=1 y=1 2 2 X∞ X∞ X ∞ 1 1 1 X∞ 1 fY (y) = fX,Y (x, y) = = = x=1 x=y 2x+1 x=0 2x+y+1 x=0 2x 2y+1 1 1 1 1 = y+1 · 1 = y+1 · 2 = y . 2 2 2 1− 2 V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


21 / 59

Věta (O sdruženém rozdělení diskrétních náhodných veličin) Pokud jsou X1 , . . . , Xn diskrétní veličiny, pak je jejich sdružené rozdělení pravděpodobnosti PX1 ,...,Xn diskrétní.

Důkaz. Pokud jsou všechny X1 , . . . , Xn diskrétní náhodné veličiny, pak existují spočetné množiny C1 , . . . , Cn ⊆ R tak, že PX1 (C1 ) = · · · = PXn (Cn ) = 1. Tedy i jejich kartézský součin C1 × · · · × Cn je spočetná množina. Stačí ukázat, že hledaná spočetná podmnožina Rn je právě C1 × · · · × Cn . Pro každou Ci položme · · × R} . Di = |R × ·{z · · × R} ×Ci × R | × ·{z i−1

n−i

Jelikož PX1 ,...,Xn (Di ) = PXi (Ci ) = 1 pro každé i = 1, . . . , n, dostáváme: PX1 ,...,Xn (C1 × · · · × Cn ) = PX1 ,...,Xn (D1 ∩ · · · ∩ Dn ) = 1. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


22 / 59

Věta (O marginálních rozděleních diskrétního sdruženého rozdělení) Pokud je sdružené rozdělení pravděpodobnosti PX1 ,...,Xn náhodných veličin X1 , . . . , Xn diskrétní, pak jsou všechny X1 , . . . , Xn diskrétní veličiny.

Důkaz. Nechť je sdružené rozdělení PX1 ,...,Xn diskrétní. To jest, existuje spočetná C ⊆ Rn tak, že PX1 ,...,Xn (C) = 1. Pro libovolné i = 1, . . . , n položme Ci = {xi | hx1 , . . . , xn i ∈ C}. Označme · · × R} . Di = |R × ·{z · · × R} ×Ci × R | × ·{z i−1

n−i

Zřejmě C ⊆ Di . Z monotonie 1 = PX1 ,...,Xn (C) ≤ PX1 ,...,Xn (Di ) = PXi (Ci ), náhodná veličina Xi je tedy diskrétní, protože Ci je spočetná. Poznámky: Opačná implikace jako u předchozího tvrzení; dohromady dostáváme: PX1 ,...,Xn je diskrétní právě tehdy, když jsou všechny X1 , . . . , Xn diskrétní. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


23 / 59

Absolutně spojité sdružené rozdělení Definice (Spojitě sdružené náhodné věličiny, angl.: jointy continuous) Náhodné veličiny X1 , . . . , Xn jsou (absolutně) spojitě sdružené pokud existuje funkce fX1 ,...,Xn : Rn → [0, ∞) tak, že Z an Z a1 PX1 ,...,Xn (−∞, a1 ] × · · · × (−∞, an ] = ··· fX1 ,...,Xn (x1 , . . . , xn ) dx1 · · · dxn . −∞

−∞

Funkce fX1 ,...,Xn se nazývá sdružená hustota (angl.: joint density). Rozdělení pravděpodobnosti PX1 ,...,Xn se nazývá (absolutně) spojité sdružené rozdělení (angl.: jointly continuous probability distribution). Marginální hustoty: pro marginální veličinu Xi zavádíme: Z ∞ Z ∞ fXi (xi ) = ··· fX1 ,...,Xn (x1 , . . . , xn ) dx1 · · · dxi−1 dxi+1 · · · dxn . −∞ −∞ | {z } n−1


Náhodné vektory


24 / 59

Příklad (Sdružené abolutně spojité náhodné veličiny) Mějme náhodné veličiny X a Y se sdruženou funkcí hustoty 3 fX,Y (x, y) = · x2 · (1 − |y|), pokud − 1 < x < 1 a − 1 < y < 1, 2 a fX,Y (x, y) = 0 jinak. Pro A = {hx, yi | 0 < x < 1 a 0 < y < x} dostáváme Z 1Z x Z 1 Z 3 2 x PX,Y (A) = fX,Y (x, y) dy dx = · x · 1 − |y| dy dx 0 0 0 2 0 Z 1 Z 1 y2 x 3 x4 x5 1 3 3 x4 9 3 2 = ·x · y− dx = x − dx = · − = . 2 0 2 2 4 10 0 40 0 2 0 2 To jest, PX,Y (A) = P ({ω ∈ Ω | 0 < X(ω) < 1 a 0 < Y (ω) < X(ω)}) =


Náhodné vektory

9 = 0.225. 40


25 / 59

Věta (O absolutně spojitých marginálních veličinách) Mějme náhodné veličiny X a Y s absolutně spojitým sdruženým rozdělením daným sdruženou funkcí hustoty fX,Y . Potom X a Y jsou absolutně spojité náhodné veličiny s marginálními hustotami fX a fY .

Důkaz. Pokud je sdružené rozdělení X a Y absolutně spojité, potom máme Z bZ ∞ Z b PX (a, b] = PX,Y (a, b] × R = fX,Y (x, y) dy dx = fX (x) dx, a

PY (a, b] = PX,Y R × (a, b] =

−∞

Z bZ

a

∞

Z

fX,Y (x, y) dx dy = a

−∞

b

fY (y) dy. a

To znamená, že fX a fY jsou funkce hustoty rozdělení veličin X a Y . Poznámka: Na rozdíl od diskrétních veličin, opačné tvrzení neplatí. (!!) V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


26 / 59

Příklad (Sdružené rozdělení, které není absolutně spojité) Uvažujme absolutně spojitou náhodnou veličinu X jejíž funkce hustoty je fX = 1[0,1] . To jest, fX (x) = 1 pro x ∈ [0, 1] a fX (x) = 0 ve všech ostatních případech. Položme Y = X. Obě X a Y jsou absolutně spojité náhodné veličiny. Uvažujme nyní B = {hx, xi | x ∈ R}. Platí P {hX, Y i 6∈ B} = P {ω ∈ Ω | X(ω) 6= Y (ω)} = P ({X 6= Y }) = 0. Kdyby X a Y měly sdruženou funkci hustoty fX,Y , pak by platilo P {hX, Y i 6∈ B} = P ({X < Y }) + P ({X > Y }) Z ∞Z y Z ∞Z ∞ = fX,Y (x, y) dx dy + fX,Y (x, y) dx dy −∞ −∞ −∞ y Z ∞Z ∞ = fX,Y (x, y) dx dy = PX,Y (R2 ) = 1, −∞ −∞

což by byl spor s faktem, že P ({X 6= Y }) = 0; PX,Y proto není absolutně spojité. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


27 / 59

Očekávané hodnoty Očekávané hodnoty marginálních veličin: uvažujeme náhodný vektor X : Ω → Rn s rozdělením PX ; marginální veličiny πi (X) : Ω → R pro i = 1, . . . , n; lze uvažovat očekávané hodnoty E πi (X) , E g(πi (X)) , . . . (Přednáška 7) Střední hodnoty marginálních veličin: E πi (X) je střední hodnota i-té marginální veličiny; pokud se marginální veličina označuje X, pak označujeme E(X) = µX . Rozptyl marginálních veličin: 2 E πi (X) − E(πi (X)) je rozptyl i-té marginální veličiny; 2 pokud je marginální veličina X, píšeme E (X − µX )2 = σX = Var(X) . V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


28 / 59

Příklad (Motivace pro nezávislost náhodných veličin) Uvažujme dvě náhodné veličiny X a Y v pravděpodobnostním prostoru hΩ, F, P i. Pro libovolné A, B ∈ B platí, že {X ∈ A} ∈ F a {Y ∈ B} ∈ F. Podle definice nezávislosti náhodných jevů (Přednáška 4) platí, že {X ∈ A} a {Y ∈ B} pokud P ({X ∈ A} ∩ {Y ∈ B}) = P ({X ∈ A}) · P ({Y ∈ B}). Pomocí sdružených a marginálních rozdělení lze předchozí vyjádřit jako PX,Y (A, B) = PX (A) · PY (B). Pokud PY (B) > 0, lze v důsledku nezávislosti {X ∈ A} a {Y ∈ B} psát P ({X ∈ A}|{Y ∈ B}) =

P ({X ∈ A} ∩ {Y ∈ B}) PX,Y (A, B) = = PX (A). P ({Y ∈ B}) PY (B)

Rozšíření úvahy: Místo nezávislosti náhodných jevů {X ∈ A} a {Y ∈ B} daných dvěma konkrétními Borelovskými množinami A, B ∈ B můžeme uvažovat nezávislosti jevů pro libovolné A, B, . . . V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


29 / 59

Nezávislost náhodných veličin Definice (Nezávislost náhodných veličin) Mějme náhodné veličiny X1 , . . . , Xn v pravděpodobnostním prostoru hΩ, F, P i. Pak X1 , . . . , Xn se nazývají nezávislé (angl.: independent) náhodné veličiny pokud {X1 ≤ a1 }, . . . , {Xn ≤ an } jsou vzájemně nezávislé náhodné jevy pro každé a1 , . . . , an ∈ R. V opačném případě se X1 , . . . , Xn nazývají závislé (angl.: dependent). Důsledky nezávislosti: Mějme nezávislé náhodné veličiny X1 , . . . , Xn . Pak pro sdruženou pravděpodobnostní míru PX1 ,...,Xn platí PX1 ,...,Xn (−∞, a1 ] × · · · × (−∞, an ] = P ({X1 ≤ a1 } ∩ · · · ∩ {Xn ≤ an }) Q Q = ni=1 P ({Xi ≤ ai }) = ni=1 PXi (−∞, ai ] . V případě nezávislých veličin lze vyjádřit PX1 ,...,Xn z marginálních pravděpodobností. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


30 / 59

Věta (Ekvivalentní zavedení nezávislosti náhodných veličin) Náhodné veličiny X1 , . . . , Xn v pravděpodobnostním prostoru hΩ, F, P i jsou nezávislé právě tehdy, když {X1 ∈ A1 }, . . . , {Xn ∈ An } jsou vzájemně nezávislé náhodné jevy pro všechny Borelovské množiny A1 , . . . , An ∈ B.

Důkaz. Prokážeme pouze netriviální implikaci pro náhodné veličiny X a Y (tvrzení pro X1 , . . . , Xn lze získat přímočarým zobecněním). Předpokládejme, že X a Y jsou nezávislé veličiny. Položme X = A ∈ B | {X ∈ A} a {Y ≤ b} jsou nezávislé pro každé b ∈ R . Dle předpokladu, (−∞, a] ∈ X pro každé a ∈ R. Navíc platí, že X je uzavřená na komplement, sjednocení spočetně mnoha prvků z X a R ∈ X (Přednáška 4). Odtud ihned dostáváme, že X je σ-algebra a je totožná s B. Analogicky: Y = B ∈ B | {X ∈ A} a {Y ∈ B} jsou nezávislé pro každé A ∈ X . Opět máme Y = B. Pro A, B ∈ B tedy tvrzení platí, protože A ∈ X , B ∈ Y. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


31 / 59

Věta (Nezávislost odvozených náhodných veličin) Mějme náhodné veličiny X1 , . . . , Xn v pravděpodobnostním prostoru hΩ, F, P i a Borelovské funkce g1 , . . . , gn . Pokud jsou X1 , . . . , Xn nezávislé, pak jsou náhodné veličiny g1 (X1 ), . . . , gn (Xn ) rovněž nezávislé.

Důkaz. Vezměme a1 , . . . , an ∈ R. Stačí ukázat, že {g1 (X1 ) ≤ a1 }, . . . , {gn (Xn ) ≤ an } jsou vzájemně nezávislé. Pro každé i = 1, . . . , n platí, že {gi (Xi ) ≤ ai } = {Xi ∈ {gi ≤ ai }}. Dále platí, že {gi ≤ ai } ∈ B pro každé i = 1, . . . , n. Aplikací předchozí věty tedy ihned dostáváme, že {X1 ∈ {g1 ≤ a1 }}, . . . , {Xn ∈ {gn ≤ an }} jsou vzájemně nezávislé náhodné jevy. Tvrzení je tedy důsledkem předchozích dvou pozorování a toho, že a1 , . . . , an ∈ R byly voleny libovolně. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


32 / 59

Sdružená pravděpodobnostní funkce a nezávislost Věta (Nezávislost diskrétních náhodných veličin) Diskrétní náhodné veličiny X, Y s pravděpodobnostními funkcemi fX a fY jsou nezávislé právě tehdy, když fX,Y (a, b) = fX (a) · fY (b), pro libovolné a, b ∈ R.

Důkaz. Nechť X a Y jsou nezávislé veličiny, pak pro libovolné a, b ∈ R platí: fX,Y (a, b) = P ({X = a} ∩ {Y = b}) = P ({X = a}) · P ({Y = b}) = fX (a) · fY (b). Obráceně, nechť platí fX,Y (a, b) = fX (a) · fY (b) pro všechna a, b ∈ R. Platí: P P P ({X ≤ a}) · P ({Y ≤ b}) = x≤a fX (x) · y≤b fX (y) P P P P = x≤a y≤b fX (y) · fX (x) = x≤a y≤b fX (y) · fX (x) P P = x≤a y≤b fX,Y (x, y) = P ({X ≤ a} ∩ {Y ≤ b}). V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


33 / 59

Příklad (Nezávislé diskrétní náhodné veličiny) Mějme diskrétní náhodné veličiny X a Y se sdruženou pravděpodobnostní funkcí x · y2 fX,Y (x, y) = pokud x ∈ {1, 2, 3} a y ∈ {1, 2}, 30 a fX,Y (x, y) = 0 ve všech ostatních případech. Úkol: Vyšetřete, jestli jsou X a Y nezávislé. Řešení: Marginální rozdělení pravděpodobnosti veličin X a Y jsou X2 x · y 2 x 4x x fX (x) = = + = pro x ∈ {1, 2, 3}, y=1 30 30 30 6 X3 x · y 2 y 2 2y 2 3y 2 y 2 fY (y) = = + + = pro y ∈ {1, 2}. x=1 30 30 30 30 5 Zřejmě fX,Y (x, y) = fX (x) · fY (y) pro každé x, y ∈ R, to jest X a Y jsou nezávislé. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


34 / 59

Příklad (Nezávislé diskrétní náhodné veličiny) Mějme diskrétní náhodné veličiny X a Y se sdruženou pravděpodobnostní funkcí x+y fX,Y (x, y) = , pokud x ∈ {1, 2, 3} a y ∈ {1, 2}, 21 a fX,Y (x, y) = 0 ve všech ostatních případech. Úkol: Vyšetřete, jestli jsou X a Y nezávislé. Řešení: Marginální rozdělení pravděpodobnosti veličin X a Y jsou X2 x + y x + 1 x + 2 2x + 3 fX (x) = = + = pro x ∈ {1, 2, 3}, y=1 21 21 21 21 X3 x + y 6 + 3y fY (y) = = pro y ∈ {1, 2}. x=1 21 21 2 5 To jest například fX,Y (1, 1) = 21 6= 49 = náhodné veličiny X a Y jsou závislé. V. Vychodil (KMI/PRAS, Přednáška 8)

5 21

·

9 21

Náhodné vektory

= fX (1) · fY (1), což znamená že


35 / 59

Příklad (Rychlé vyšetření nezávislosti diskrétních náhodných veličin) Mějme diskrétní náhodné veličiny X a Y se sdruženou pravděpodobnostní funkcí x · y2 fX,Y (x, y) = pro hx, yi ∈ {h1, 1i, h1, 2i, h2, 2i}. 13 a fX,Y (x, y) = 0 ve všech ostatních případech. Úkol: Vyšetřete, jestli jsou X a Y nezávislé. Řešení: Marginální rozdělení pravděpodobnosti veličin X a Y jsou ( 5 ( 1 pro x = 1, pro y = 1, 13 13 fX (x) = f (y) = Y 8 12 pro x = 2, pro y = 2. 13 13 Odtud fX,Y (2, 1) = 0 6=

8 169

=

8 13

·

1 13

= fX (2) · fY (1), veličiny jsou závislé.

Obecná (kratší) úvaha: S = {hx, yi | fX,Y (x, y) > 0} není ve tvaru kartézského součinu dvou podmnožin R. V tom případě zřejmě musí existovat x, y ∈ R tak, že fX,Y (x, y) = 0 a fX (x) > 0 a fY (y) > 0, což znamená, že X a Y jsou závislé. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


36 / 59

Sdružená funkce hustoty a nezávislost Věta (Nezávislost absolutně spojitých náhodných veličin) Absolutně spojité náhodné veličiny X, Y se sdruženou funkcí hustoty fX,Y jsou nezávislé právě tehdy, když fX,Y (a, b) = fX (a) · fY (b), pro libovolné a, b ∈ R.

Důkaz. Prokazuje se užitím Fubiniho věty a faktů Z

a

P ({X ≤ a}) · P ({Y ≤ b}) =

Z

b

fX (x) dx · −∞ Z b Z a

fY (y) dy −∞

fX (x) · fY (y) dx dy,

= −∞ −∞

Z

b

Z

a

P ({X ≤ a}) ∩ P ({Y ≤ b}) =

fX,Y (x, y) dx dy. −∞ −∞


Náhodné vektory


37 / 59

Příklad (Nezávislé absolutně spojité náhodné veličiny) Problém: Mějme absolutně spojité náhodné veličiny se sdruženou hustotou fX,Y (x, y) = c · ex+y ,

pokud x, y ≤ 0,

a fX,Y (x, y) = 0 ve všech ostatních případech. Úkol: Stanovte hodnotu c ∈ R a určete, jestli jsou X a Y nezávislé. Řešení: Nejprve z vlastností funkce hustoty stanovíme konstantu c ∈ R. Z ∞ 2 Z ∞Z ∞ 2 x+y x+y 1 = PX,Y (R ) = c·e dy dx = c · e dx = c. −∞ −∞

−∞

Marginální funkce hustoty fX a fY mají potom tvar: Z ∞ Z x+y x fX (x) = e dy = e , fY (y) = −∞

∞

ex+y dx = ey .

−∞

X a Y jsou nezávislé, protože fX,Y (x, y) = fX (x) · fY (y) pro každé x, y ∈ R. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


38 / 59

Kovariance a korelační koeficient Definice (Kovariance a korelační koeficient náhodných veličin) Mějme náhodné veličiny X a Y . Potom 1 Pokud jsou µX a µY střední hodnoty veličin X a Y , pak Cov(X, Y ) = σX,Y = E((X − µX ) · (Y − µY )) nazýváme kovariance náhodných veličin X a Y (angl.: covariance); 2

2 Pokud σX > 0 a σY2 > 0, pak

Cov(X, Y ) σX · σY se nazývá korelační koeficient veličin X a Y (angl.: correlation coefficient). Cor(X, Y ) = ρX,Y =

Poznámka: Pro X(ω) = hX(ω), Y (ω)i a g(x, y) = (x − µX ) · (y − µY ) máme Cov(X, Y ) = E(g(X)). V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


39 / 59

Věta (Střední hodnota součinu náhodných veličin) E(XY ) = µX µY + ρX,Y σX σY = µX µY + Cov(X, Y ).

Důkaz. Užitím faktu, že E je lineární operátor dostáváme: E (X − µX )(Y − µY ) = E(XY − µX Y − µY X + µX µY ) = = E(XY ) − µX E(Y ) − µY E(X) + µX µY = = E(XY ) − µX µY − µY µX + µX µY = E(XY ) − µX µY . Jelikož ρX,Y =

Cov(X, Y ) E(XY ) − µX µY = , vyjádřením E(XY ) dostáváme: σX σY σX σY E(XY ) = µX µY + ρX,Y σX σY .

Důsledek: Střední hodnota součinu XY je rovna součinu středních hodnot X a Y zvětšenému o kovarianci Cov(X, Y ) = ρX,Y σX σY . V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


40 / 59

Příklad (Výpočet korelačního koeficientu dvou náhodných veličin) Mějme diskrétní náhodné veličiny se sdruženou pravděpodobnostní funkcí x + 2y fX,Y (x, y) = , pro x ∈ {1, 2} a y ∈ {1, 2}, 18 fX,Y (x, y) = 0 v ostatních případech. Střední hodnota a rozptyl marginálních náhodných veličin jsou následující: 14 20 29 77 2 µX = , σX = , µY = , σY2 = . 9 81 18 324 Kovarianci veličin X a Y stanovíme pomocí vztahu z předchozího tvrzení X2 X2 x + 2y 14 29 1 − · =− . xy · Cov(X, Y ) = x=1 y=1 18 9 18 162 Potom má korelační koeficient ρX,Y hodnotu − 1/162 ρX,Y = p ≈ −0.025 . (20/81) · (77/324) V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


41 / 59

Příklad (Kovariance nezávislých diskrétních veličin) Problém: Mějme nezávislé diskrétní náhodné veličiny X a Y . Úkol: Stanovte kovarianci X a Y . Řešení: S využitím faktu fX,Y (x, y) = fX (x) · fY (y) máme: P P E u(X) · v(Y ) = x∈R y∈R u(x) · v(y) · fX,Y (x, y) = P P = x∈R y∈R u(x) · v(y) · fX (x) · fY (y) = P P = x∈R u(x) · fX (x) · y∈R v(y) · fY (y) = = E u(X) · E v(Y ) . To jest, ve speciálním případě: Cov(X, Y ) = E (X − µX )(Y − µY ) = E(X − µX ) · E(Y − µY ) = 0 · 0 = 0. Důsledek: Pokud jsou X a Y nezávislé, jejich kovariance je nulová. Pozor: Opačné tvrzení neplatí: existují závislé veličiny s nulovou kovariancí. (!!) V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


42 / 59

Lineární regresní funkce Vyšetřování (lineární) závislosti jedné náhodné veličiny na druhé; jako v případě výběrů (Přednáška 2), ale pracujeme s náhodnými veličinami.

Nalezení regresní přímky ve smyslu metody nejmenších čtverců Předpokládejme, že máme náhodné veličiny X a Y . 1 Uvažujeme body hx, yi v prostoru (s jejich pravděpodobnostmi); 2 speciálně lze uvažovat bod hµX , µY i daný středními hodnotami X a Y ; 3 přímky procházející bodem hµX , µY i splňují y − µY = b · (x − µX ); 4 uvažujme bod hx0 , y0 i, čtverec jeho vzdálenosti od přímky y = b · (x − µX ) + µY je (y0 − µY − b · (x0 − µX ))2 . 5 Očekávaná střední vzdálenost bodů od přímky je tedy E (Y − µY − b · (X − µX ))2 . 6 Hledáme proto b ∈ R, které minimalizuje K(b) = E (Y − µY − b · (X − µX ))2 . V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


43 / 59

Vyjádření lineární regresní funkce Zjednodušením tvaru funkce K a vyjádřením pomocí korelačního koeficientu: K(b) = E (Y − µY − b · (X − µX ))2 = = E (Y − µY )2 − 2b(X − µX )(Y − µY ) + b2 (X − µX )2 = 2 2 = σY2 − 2bσX,Y + b2 σX = σY2 − 2bρX,Y σX σY + b2 σX .

První derivace funkce K je následující: 2 K 0 (b) = −2ρX,Y σX σY + 2bσX

To znamená, že hledané minimum je b =

ρX,Y · σY 2 (platí K 00 (b) = 2σX > 0). σX

Věta (Tvar regresní přímky ve smyslu metody nejmenších čtverců) y = µY + ρX,Y · V. Vychodil (KMI/PRAS, Přednáška 8)

σY · (x − µX ). σX

Náhodné vektory


44 / 59

Příklad (Lineární regresní funkce) Mějme diskrétní náhodné veličiny se sdruženou pravděpodobnostní funkcí x + 2y fX,Y (x, y) = , pro x ∈ {1, 2} a y ∈ {1, 2}, 18 fX,Y (x, y) = 0 v ostatních případech. Z předchozího příkladu víme, že 14 20 29 77 2 µX = , σX = , µY = , σY2 = . 9 81 18 324 Dále máme stanovenu hodnotu korelačního koeficientu: Cov(X, Y ) ρX,Y = p ≈ −0.025 . (20/81) · (77/324) Lineární regresní funkce je proto ve tvaru: p 14 − 0.025 77/324 14 σY p y = µY + ρX,Y · · (x − µX ) = + · x− . σX 9 9 20/81 V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


45 / 59

Podmíněná rozdělení S využitím podmíněné pravděpodobnosti (Přednáška 4) lze psát P ({X ∈ A}|{Y ∈ B}) =

P ({X ∈ A} ∩ {Y ∈ B}) PX,Y (A, B) = . P ({Y ∈ B}) PY (B)

To nás motivuje k zavedení následujícího pojmu:

Definice (Podmíněné rozdělení náhodné veličiny) Mějme náhodné veličiny X a Y se sdruženým rozdělením pravděpodobnosti PX,Y . Pak pravděpodobnostní míra PX|{Y ∈B} daná pro každou A ∈ B předpisem PX|{Y ∈B} (A) =

PX,Y (A, B) PY (B)

pokud PY (B) > 0,

je podmíněné rozdělení pravděpodobnosti náhodné veličiny X za předpokladu, že náhodná veličina Y nabude hodnoty z B ∈ B, angl.: conditional distribution. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


46 / 59

Pojmy související s podmíněným rozdělením Pro PX|{Y ∈B} je FX|{Y ∈B} podmíněná distribuční funkce ve tvaru FX|{Y ∈B} (a) = PX|{Y ∈B} (−∞, a] = P ({X ≤ a}|{Y ∈ B}) . Pokud je X diskrétní, pak podmíněná pravděpodobnostní funkce je ve tvaru fX|{Y ∈B} (x) = PX|{Y ∈B} ({x}) = P ({X = x}|{Y ∈ B}) . Pokud je PX|{Y ∈B} absolutně spojitá pravděpodobnostní míra s hustotu f , pak se f označuje fX|{Y ∈B} a nazývá se podmíněná funkce hustoty. V důsledku: Z fX|{Y ∈B} dm . PX|{Y ∈B} (A) = A

Pokud je PY (B) > 0, podmíněná střední hodnota X za předpokladu {Y ∈ B} je E(X|{Y ∈ B}) = V. Vychodil (KMI/PRAS, Přednáška 8)

E(X · 1{Y ∈B} ) , PY (B)

kde 1{Y ∈B} je indikátorová funkce.

Náhodné vektory


47 / 59

Příklad (Podmíněné rozdělení pravděpodobnosti) Mějme diskrétní náhodné veličiny X a Y se sdruženou pravděpodobnostní funkcí x+y fX,Y (x, y) = pro x ∈ {1, 2, 3} a y ∈ {1, 2}, 21 fX,Y (x, y) = 0 ve všech ostatních případech. Marginální pravděpodobnostní funkce fX a fY jsou následující: 2x + 3 6 + 3y pro x ∈ {1, 2, 3}; fY (y) = pro y ∈ {1, 2}. 21 21 Podmíněnou pravděpodobnostní funkci fX|{Y =y} lze vyjádřit fX (x) =

fX|{Y =y} (x) = P ({X = x}|{Y = y}) =

fX,Y (x, y) (x + y)/21 x+y = = . fY (y) (6 + 3y)/21 6 + 3y

Například tedy máme P ({X ≥ 2}|{Y = 2}) = fX|{Y =2} (2) + fX|{Y =2} (3) = V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory

4 5 3 + = . 12 12 4 Pravděpodobnost a statistika

48 / 59

Příklad (Podmíněné střední hodnoty) Problém: Uvažujme náhodné veličiny X a Y z předchozího příkladu. Úkol: Stanovte podmíněnou střední hodnotu X za předpokladu, že {Y = 2}. Řešení: Jelikož je X diskrétní, existuje spočetná C ⊆ R tak, že E(X · 1{Y ∈B} ) 1 X E(X|{Y ∈ B}) = = x · P ({X · 1{Y ∈B} = x}) x∈C PY (B) PY (B) X P ({X = x} ∩ {Y ∈ B}) X = x· = x · fX|{Y ∈B} (x). x∈C x∈C PY (B) Speciálně pro B = {y} dostáváme: X X E(X|{Y = y}) = x · fX|{Y =y} (x) = x∈C

x∈C

x·

fX,Y (x, y) . fY (y)

Případě předchozího příkladu pro y = 2 dostáváme: 13 E(X|{Y = 2}) = 1 · fX|{Y =2} (1) + 2 · fX|{Y =2} (2) + 3 · fX|{Y =2} (3) = . 6 V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


49 / 59

Příklad (Jeden politicky nekorektní příklad) Problém: Malý podnik zaměstnává 100 mužů a 100 žen a výplaty všech zaměstnanců jsou buď 20 000 Kč nebo 30 000 Kč nebo 50 000 Kč. Muži zaměstnaní v podniku mají následující výplaty: 20 z nich má 20 000 Kč, 20 z nich má 30 000 Kč a zbývajících 60 má 50 000 Kč. Průměrný plat muže v podniku je tedy: 20 · 20 000 + 20 · 30 000 + 60 · 50 000 = 40 000 Kč. 100 Ženy zaměstnané v podniku vydělávají následovně: 60 vydělává 20 000, 20 vydělává 30 000 a zbývajících 20 vydělává 50 000, což dává průměrnou hodnotu 60 · 20 000 + 20 · 30 000 + 20 · 50 000 = 28 000 Kč. 100 Otázka: Jak máme tento výsledek interpretovat? Odpověď statistika: Nijak. (Alespoň ne bez dodatečné informace.) V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


50 / 59

Příklad (Simpsonův paradox) Pokud budeme uvažovat dodatečnou dimenzi dat (počet let v zaměstnání), situace z předchozího příkladu může vypadat následovně:

muži

výplata 20 000 30 000 50 000

1 rok 15 5 0 22 500

5 let 5 15 60 44 375

celkem 20 20 60 40 000

20 000 30 000 50 000

60 5 5 23 750

0 15 15 45 000

60 20 20 28 000

průměr ženy průměr

Ačkoliv mají muži vyšší celkovou průměrnou mzdu než ženy, v rámci obou skupin se stejnou dobou praxe mají ženy vyšší průměrnou mzdu než muži. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


51 / 59

Příklad (Generování pseudonáhodných čísel ruletovovou metodou) Problém: Máme diskrétní náhodnou veličinu X takovou, že PX (C) = 1 pro konečnou množinu C ⊆ R. Úkolem je generovat (na počítači) pseudonáhodná čísla, která mají stejné rozdělení, jako veličina X (simulace náhodné veličiny X). Většina programovacích jazyků disponuje pouze funkcí pro generování pseudonáhodných čísel odpovídající (diskrétnímu) uniformnímu rozdělení. Pokud pro konečnou C ⊆ R platí PX (C) = 1, lze použít následující princip ruletového výběru: 1 Označme C = {x1 , . . . , xk } tak, že fX (xi ) > 0 a x1 < x2 < · · · < xk ; 2 vygenerujeme uniformní pseudonáhodné číslo p ∈ [0, 1]; P 3 najdeme nejmenší index i = 1, . . . , k splňující podmínku p ≤ in=1 fX (xn ); 4 vrátíme hodnotu xi jako výsledek. Otázka: Jak postupovat pro obecná X?


Náhodné vektory


52 / 59

Věta (O inverzní transformaci) Mějme náhodnou veličinu X s rozdělením U (0, 1). Pak pro libovolnou distribuční funkci F platí, že náhodná veličina F − (X) má distribuční funkci F .

Důkaz. Distribuční funkce náhodné veličiny F − (X) je ve tvaru FF − (X) (a) = PF − (X) (−∞, a] = P ({F − (X) ≤ a}) = P ({X ∈ {F − ≤ a}}). Pokud si nyní uvědomíme, že {F − ≤ a} = {x ∈ R | F − (x) ≤ a} a využijeme faktu, že x ≤ F (a) platí právě tehdy, když F − (x) ≤ a (Přednáška 7), pak {F − ≤ a} = {x ∈ R | F − (x) ≤ a} = {x ∈ R | x ≤ F (a)} = (−∞, F (a)]. Dosazením do předchozí rovnosti a využitím faktu, že X má uniformní rozdělení U (0, 1), dostáváme: FF − (X) (a) = P ({X ∈ {F − ≤ a}}) = P ({X ∈ (−∞, F (a)]}) = P ({0 ≤ X ≤ F (a)}) = F (a). V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


53 / 59

Příklad (Použití inverzní transformace) Předchozí věta dává následující postup generování pseudonáhodných čísel: 1 vygenerujeme uniformní pseudonáhodné číslo x ∈ [0, 1]; 2 vypočítej výslednou hodnotu F − (x). Použitelné v případech, kdy F − má jednoduché explicitní vyjádření. Poznámka: Nutné mít kvalitní generátor uniformních (pseudo)náhodných čísel.

Implementace ve standardních knihovnách C99 (ISO/IEC 9899) #include <stdlib.h> double random_u01 (void) { /* 0x7FFFFFFF = 231 − 1 */ return random () / ((double) 0x7FFFFFFF); } V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


54 / 59

Příklad (Pseudonáhodná čísla z exponenciálního rozdělení) Mějme náhodnou veličinu X, která má exponenciální rozdělení s parametrem µ = θ. Pak kvantilová funkce FX− náhodné veličiny X je ve tvaru: FX− (p) = −θ · ln(1 − p),

pro p ∈ [0, 1).

Příklad: Pro X s parametrem θ = 5 a odpovídající FX− použijeme předchozí postup: n = 50

0.20

n = 500

0.20

0.15

0.15

0.15

0.10

0.10

0.10

0.05

0.05

0.05

2

4

6

8

10 12 14


2

4

6

n = 5000

0.20

8

10 12 14

Náhodné vektory

2

4

6

8

10 12 14


55 / 59

Věta (Základní věta simulace náhodných veličin) Mějme absolutně spojitou náhodnou veličinu X s hustotou fX a uvažujme dvourozměrný absolutně spojitý náhodný vektor X jehož hustota fX je 1 pokud 0 < y < fX (x), fX (x, y) = 0 jinak. Pak fX = fπ1 (X) , to jest fX je marginální hustota X. Pokud je navíc fX shora omezená hodnotou nějakého m ∈ R a fX nabývá nenulových hodnot pouze na intervalu (a, b), pak platí, že P ({X ≤ x}) = P ({U ≤ x}|{V ≤ fX (U )}), kde U má rozdělení U (a, b) a V má rozdělení U (0, m).

Důkaz (začátek). První část tvrzení je triviální, protože: Z ∞ Z fπ1 (X) (x) = fX (x, y) dy = −∞ V. Vychodil (KMI/PRAS, Přednáška 8)

fX (x)

1 dy = fX (x).

0 Náhodné vektory


56 / 59

Důkaz (dokončení). Rozepsáním podmíněné pravděpodobnosti z druhé části tvrzení dostáváme P ({U ≤ x}|{V ≤ fX (U )}) =

P ({U ≤ x} ∩ {V ≤ fX (U )}) . P ({V ≤ fX (U )})

Jelikož fU,V (u, v) má na (a, b) × (0, m) konstantní nenulovou hodnotu: R x R fX (u) R x R fX (u) 1 dv du fU,V (u, v) dv du P ({U ≤ x} ∩ {V ≤ fX (U )}) a 0 = R ab R 0f (u) . = R b R f (u) X X P ({V ≤ fX (U )}) fU,V (u, v) dv du 1 dv du a 0

a 0

Užitím pozorování z první části tvrzení dostáváme: Rx Rx R x R fX (u) Z x f (u) du f (u) du 1 dv du a 0 a X a X = = Rb = fX (u) du = P ({X ≤ x}). R b R fX (u) 1 f (u) du a 1 dv du X a a 0 Aplikace věty: Lze generovat pseudonáhodná čísla pouze pomocí funkce hustoty fX a generátoru uniformních pseudonáhodných čísel. (!!) V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


57 / 59

Implementace Algoritmus (generování pseudonáhodných čísel pomocí funkce hustoty) (defun density-random (f a b m) "Generate random number from interval (A,B) according to distribution with density F bounded by [0,M]." (loop for u := (+ a (random (float (- b a) 1L0))) for v := (random (float m 1L0)) when (<= v (funcall f u)) do (return u))) Poznámka: používá se v případech, kdy FX− nelze jednoduše vyjádřit; metoda inverzní funkce se naopak používá, pokud lze FX− jednoduše počítat. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


58 / 59

Přednáška 8: Závěr Pojmy: náhodný vektor, vícerozměrné Borelovské jevové pole, sdružené rozdělení pravděpodobnosti, marginální rozdělení pravděpodobnosti nezávislost náhodných veličin, kovariance, korelační koeficient podmíněná rozdělení, inverzní transformace, pseudonáhodná čísla Použité zdroje: Capinski M., Zastawniak T. J.: Probability Through Problems Springer 2001, ISBN 978–0–387–95063–1. Gentle J. E.: Random Number Generation and Monte Carlo Methods Springer 2004, ISBN 978–0–387–00178–4. Hogg R. V., Tanis E. A.: Probability and Statistical Inference Prentice Hall; 7. vydání 2005, ISBN 978–0–13–146413–1. V. Vychodil (KMI/PRAS, Přednáška 8)

Náhodné vektory


59 / 59

Pravděpodobnost a statistika

Recommend Documents