Náhodné vektory a matice Jiří Militký Katedra textilních materiálů Technická Universita Liberec, Červeně označené slide jsou jen pro doplnění informací a nezkouší se.
Symbolika
A
B
Jev jistý S (nastane vždy) P(S) = 1 Jev nemožný ∅ (nenastane nikdy ) P(∅) = 0 Doplňkový jev k jevu A (označení D) je D= S - A a tedy P(D) = 1 - P(A) Sjednocení jevů A a B (nastane A nebo B nebo oba současně) C = A∪B. To znamená, že C je jev, kdy nastane alespoň jeden z jevů A, B. Průnik jevů A a B (nastanou oba jevy současně) C = A∩B. To znamená, že C je jev, kdy nastanou právě oba jevy . Neslučitelné (vzájemně se vylučující resp. disjunktní ) jevy A a B (nemohou nastat současně) A∩B = ∅ Elementární jev ei.(.nelze ho vyjádřit sjednocením jiných jevů není dále dělitelný). 0 ≤ P(ei) ≤ 1
Pravidla I
A
B
Pravděpodobnost sjednocení dvou jevů A a B je obecně P(A ∪B) = P(A) + P(B) - P(A ∩ B) Vylučující se jevy A∩B = ∅ je P(A ∪B) = P(A) + P(B) Pravidlo sčítání pravděpodobností :Pravděpodobnost, že nastane alespoň jeden z neslučitelných jevů Ai je rovna součtu pravděpodobností P(Ai). Podmíněná pravděpodobnost je pravděpodobnost P(A/B), že nastane jev A za podmínky, že nastal jev B P(A/B) = P(A ∩ B) / P(B) Pravděpodobnost P(A ∩ B) současného výskytu A a B P(A ∩ B) = P(A/B) . P(B) = P(B/A) . P(A),
Pravidla II
Pro spojité náhodné veličiny platí analogické vztahy pro hustoty pravděpodobnosti. Tedy pro nezávislé veličiny
f(x,y) = f(x)f(y), f(x|y) = f(x), f(y|x) = f(y)
Nezávislé jevy A a B ( výskyt A není ovlivněn výskytem B) tedy P(A/B) = P(A) a pak P(A ∩ B) = P(A) ∗ P(B) Pravidlo násobení pravděpodobností: pravděpodobnost současného výskytu nezávislých jevů. Ai je rovna součinu pravděpodobností P(Ai) Pravděpodobnost výskytu jevu A, pokud nastal jev B se označuje jako podmíněná pravděpodobnost P(A/B) a (pro P(B)>0):
Bayesův vztah
P( A ∩ B ) P( A | B ) = P( B )
P(B/A) = P(A/B) ∗ P(B) / P(A) P(B) apriorní informace, P(B/A) aposteriorní informace, P(A/B) informace z dat
Náhodný vektor Vícerozměrná náhodná veličina ξ je určena svou sdruženou distribuční funkcí F(x). Pravděpodobnost, že všechny složky ξi vektoru ξ budou menší než složky xi zadaného (nenáhodného) vektoru x
F(x) = P(ξ1 ≤ x1 ∩ ξ 2 ≤ x 2 ... ∩ ξ m ≤ x m )
je logický součin (současná platnost uvedených podmínek). Sdružená distribuční funkce F(x) je neklesající funkcí svých argumentů, je nezáporná a maximálně rovna jedné. Marginální (okrajová) distribuční funkce F(xi) složky ξi je zvláštním případem simultánní distribuční funkce F(x), u které jsou všechny ostatní složky náhodného vektoru na horní mezi svého definičního intervalu; obyčejně ξj = ∞ pro j ≠ i. ∩
Podmíněná distribuční funkce
Podmíněná distribuční funkce F(x/xi), vyjadřuje pravděpodobnost, že všechny složky vektoru ξ kromě ité budou menší než odpovídající složka vektoru x. Pro složku ξi platí, že je přibližně konstantní, tj. leží v nekonečně malém intervalu xi ≤ ξi ≤ dxi + xi.
F( x / x i ) = P(ξ1 ≤ x1 ∩ ... ∩ x i ≤ ξi ≤ ( x i + d x i ... ∩ ξ m ≤ x m ) Nezávislé složky vektoru ξ, podmíněné distribuční funkce m nezávisí na podmínce. F(x) =
∏ F(x ) i
i =1
Derivace distribučních funkcí jsou hustoty pravděpodobnosti f(xi), f(x), resp. f(x/xi)
0.1
y
0.0
Normální rozdělení
0.2
0.3
0.4
Standard Gaussian density
-3
-2
-1
0 x
•Pro spojitou náhodnou veličinu x, - ∞ < x < ∞. •Unimodální a symetrické. μ = střední hodnota σ = směrodatná odchylka •Hustota pravděpodobnosti 2 -( x -μ )
f(x) =
1 e 2π σ
•Distribuční funkce t
F(t) = ∫ f (x)dx −∞
2s2
1
2
3
Vícerozměrné normální rozdělení I Zobecnění na p rozměrů:
f ( x) =
1
( 2π )
p 2
det ( Σ )
12
kde -∞ ≤ xi ≤ ∞, i = 1,…,p.
Označení Np(μ, Σ) 2 1
σ11 = σ
(
exp - ( x - μ ) Σ -1 ( x - μ ) / 2 T
)
Čtverec zobecněné vzdálenosti mezi x a μ
⎡σ11 σ12 ⎡ μ1 ⎤ ⎢ ⎢ ⎥ μ2 ⎥ ⎢σ21 σ22 ⎢ μ= ,Σ=⎢ ⎢ ⎥ ⎢ ⎢ ⎥ ⎢σ p1 σ p2 ⎢⎣μ p ⎥⎦ ⎣
σ1p ⎤ ⎥ σ2p ⎥ ⎥ ⎥ σ pp ⎥⎦
Vícerozměrné normální rozdělení II Sdružená hustota pravděpodobnosti vícerozměrného normálního rozdělení ⎡ 1 ⎤ -p/2 -1/ 2 T
f(x) = (2 π)
(det C )
exp ⎢ - (x - μ) C-1 (x - μ) ⎥ ⎣ 2 ⎦
det(C) označuje determinant matice C a xT označuje transponovaný vektor x. Parametry tohoto rozdělení jsou vektor stěedních hodnot μ a kovarianční matice C s prvky Cij = cov(ξi, ξj) K označení vícerozměrného normálního rozdělení se používá symbol N(μ, C). Pokud vektor x pochází z rozdělení N(μ, C), platí, že veličina T
Q(x) = (x - μ) C -1 (x - μ)
má χ2 rozdělení s m stupni volnosti
2D normální rozdělení
⎡ σ22 -σ12 ⎤ Σ = ⎥ 2 ⎢ -σ σ σ11σ22 -σ12 11 ⎦ ⎣ 21 1
-1
Inverze kovarianční matice: Kovariance: σ12 = ρ12 σ11 σ22 2 2 σ σ σ = σ σ 1 ρ 11 22 12 11 22 12 Determinant:
(
( x-μ)
T
Σ ( x-μ) = ⎣⎡x1-μ1 x2 -μ2 ⎦⎤
1
-1
)
⎡ σ22 -ρ12 σ11 σ22 ⎤ ⎡ x1-μ1 ⎤ ⎢ ⎥⎢ ⎥ x -μ σ11 ⎢⎣-ρ12 σ11 σ22 ⎥⎦ ⎣ 2 2 ⎦
σ22 ( x1-μ1 ) +σ11 ( x2 -μ2 ) -2ρ12 σ11 σ22 ( x1-μ1 )( x2 -μ2 ) 2
=
(
σ11σ22 1-ρ122
)
2
(
σ11σ22 1-ρ122
)
2 2 ⎡⎛ ⎤ ⎛ ⎞ ⎛ ⎞⎛ ⎞ ⎞ x -μ x -μ x -μ x -μ 1 = 2 ⎢⎜ 1 1 ⎟ + ⎜ 2 2 ⎟ -2ρ12 ⎜ 1 1 ⎟⎜ 2 2 ⎟⎥ ⎜ σ11 ⎟⎜ σ22 ⎟⎥ 1-ρ12 ⎢⎜ σ11 ⎟ ⎜ σ22 ⎟ ⎝ ⎠ ⎝ ⎠⎝ ⎠⎥⎦ ⎝ ⎠ ⎢⎣
PDF pro 2D normální rozdělení f(x)=
1
( 2π ) det ( Σ )
12
1
( 2π )
(
2 σ11σ 22 1-ρ12
)
(
)
exp - ( x-μ ) Σ -1 ( x-μ ) /2 = T
⎛ 1 exp ⎜⎜ 2 ⎜ 2 1-ρ12 ⎝
(
)
2 2 ⎡⎛ ⎤⎞ ⎞ ⎛ ⎞ ⎛ ⎞⎛ ⎞ ⎢⎜ x1 -μ1 ⎟ + ⎜ x 2 -μ 2 ⎟ -2ρ ⎜ x1 -μ1 ⎟⎜ x 2 -μ 2 ⎟ ⎥ ⎟ 12 ⎢⎜ σ11 ⎟ ⎜ σ 22 ⎟ ⎜ σ11 ⎟⎜ σ 22 ⎟ ⎥ ⎟⎟ ⎠ ⎝ ⎠ ⎝ ⎠⎝ ⎠ ⎥⎦ ⎠ ⎢⎣⎝
Graf pdf 2D normálního rozdělení f(X , X ) 1
2
Linie úrovní X2 X1
Všechny body stejné hustoty pravděpodobnosti se označují jako T -1 linie úrovní 2
( x − μ)
Σ
( x − μ) = c
Linie úrovní ⎡μ ⎤ μ = ⎢ 1⎥ ⎣μ2 ⎦
linie konstantního c
X2
Koncentrické elipsoidy se středem μ a osami ±c λ e i i
f(X1, X2)
±c λ 2 e 2
f(X1, X2)
±c λ1 e1 ( x - μ)
T
X1
(
Σ-1 ( x - μ) ≈ χ2p ( α) resp. χ2p,α
)
T -1 ⎡ Pr ( x − μ) Σ ( x − μ) ≤ χ2p ( α) ⎤ = 1 - α ⎣ ⎦
Speciální případ Pro stejné rozptyly (σ11 = σ 22):
det ( Σ-λE) =0 resp. 2 σ11-λ σ12 ⎞ 2 ⎛ 0=det ⎜ σ ⎟ = (σ11-λ ) -σ12 σ -λ 11 ⎝ 12 ⎠ = ( λ-σ11-σ12 ) ( λ-σ11+σ12 )
takže λ1 =σ11+σ12,
λ2 =σ11-σ12
Speciální struktury
Nekorelovanost
Sféricita ↔ N(μ,Σ=σ2E)
Σ=
σ2
0
0
σ2 ⎡4 0⎤ Σ=⎢ ⎥ 0 1 ⎣ ⎦
⎡1 0 ⎤ Σ=⎢ ⎥ 0 1 ⎣ ⎦ ⎡2 1⎤ Σ=⎢ ⎥ 1 2 ⎣ ⎦
Vlastní vektory matice Σ
~
Σ e i = λ i e i resp. σ 12 ⎡ e 1 ⎤ e =λ1 ⎡ 1 ⎤ σ 11 ⎢⎣ e 2 ⎥⎦ ⎢⎣ e 2 ⎥⎦ nebo σ 11e 1 + σ 12 e 2 = ( σ 11 + σ 12 ) e 1 σ 11 σ 12
σ 12 e 1 +σ 11e 2 = ( σ 11 + σ 12 ) e 2 což znam ená λ 1 =σ 11 + σ 12 a a λ 2 = σ 11 - σ 12
⎡1 e1 = ⎢ ⎣1
⎡ 1 podobně platí,že e 2 = ⎢ ⎣ -1
2⎤ 2 ⎥⎦ 2⎤ 2 ⎥⎦
Kladná kovariance X2
linie c = ( x − μ) Σ-1 ( x − μ) T
- pro kladnou kovarianci σ12, leží vlastní vektor na přímce pootočené o 450 , která prochází středem μ:
c σ11 - σ12
f(X1, X2)
f(x1, x2)
c σ11 + σ12 X1
Záporná kovariance X2
f(X1,
linie
X2)
c = ( x −μ) Σ ( x −μ) T -1
- pro zápornou kovarianci σ12, leží druhý vlastní vektor v prvém úhlu k přímce pootočené o 450 , která prochází středem μ:
c σ11-σ12
f(X1, X2)
X1
c σ11+σ12
X1 a X2 nekorelované (r12 = 0) f(x)=
1
(2π) Σ
=
12
(
1
( 2π)
)
exp −( x −μ) Σ ( x −μ) /2
(
2 σ11σ22 1-ρ12
T -1
)
⎛ 1 exp⎜⎜ 2 ⎜ 2 1-ρ12 ⎝
(
)
2 2 ⎡⎛ ⎤⎞ ⎞ ⎛ ⎞ ⎛ ⎞⎛ ⎞ ⎢⎜ x1 -μ1 ⎟ +⎜ x2 -μ2 ⎟ -2ρ ⎜ x1 -μ1 ⎟⎜ x2 -μ2 ⎟⎥ ⎟ 12 ⎢⎜ σ11 ⎟ ⎜ σ22 ⎟ ⎜ σ11 ⎟⎜ σ22 ⎟⎥ ⎟⎟ ⎠ ⎝ ⎠ ⎝ ⎠⎝ ⎠⎥⎦ ⎠ ⎢⎣⎝
2 ⎞ 2 ⎛ ⎡⎛ ⎤ ⎞ ⎛ ⎞ x -μ x -μ 1 1 = exp⎜⎜ ⎢⎜ 1 1 ⎟ +⎜ 2 2 ⎟ ⎥ ⎟⎟ ( 2π) σ11σ22 ⎜ 2⎢⎢⎣⎜⎝ σ11 ⎟⎠ ⎜⎝ σ22 ⎟⎠ ⎥⎥⎦⎟ ⎝ ⎠
⎛ 1 2 =⎜ exp −( x1 −μ1 ) / 2σ11 ⎜ 2πσ11 ⎝
(
)
f(X1)
f(X2)
⎞⎛ 1 2 ⎟⎜ exp −( x2 −μ2 ) / 2σ22 ⎟⎜ 2πσ22 ⎠⎝
(
)
⎞ ⎟ ⎟ ⎠
Vlastnosti vícerozměrného normálního rozdělení I ~ Pro libovolný náhodný vektor x s normálním rozdělením platí, že pdf
f ( x) =
1
( 2π )
p 2
Σ
12
(
exp - ( x - μ ) Σ -1 ( x - μ ) / 2 T
má maximum v místě ⎡ μ1 ⎤ ⎢ ⎥ μ2 ⎥ ⎢ μ= ⎢ ⎥ ⎢ ⎥ ⎢⎣μ p ⎥⎦ Medián, modus a střední hodnota jsou totožné
)
Hustota pravděpodobnosti f(x)=
( 2π )
1
~p2
Σ
(
-1 exp Σ − x − μ ( ) (x − μ) / 2 12 T
)
• Je symetrická se středem v μ • Lineární kombinace složek vektoru X má normální rozdělení • Všechny podmnožiny složek X mají (vícerozměrné) normální rozdělení • Nulová kovariance znamená, že odpovídající složky vektoru X jsou nezávislé. • Podmíněné rozdělení složek X je (vícerozměrné) normální
Vlastnosti vícerozměrného normálního rozdělení II Pokud X ~ Np(μ, Σ), pak všechny lineární kombinace p
(
a X = ∑ a i X i ~ N p a T μ ,a T Σ a T
i= 1
)
Pokud X ~ Np(μ,Σ), pak libovolná q lineární kombinace ⎡p ⎤ ⎢∑ a1i X i ⎥ ⎢i=1 ⎥ ⎢p ⎥ ⎢∑ a2i X i ⎥ T T T , A X = ⎢i=1 ~N A μ A ΣA ⎥ q ⎢ ⎥ ⎢p ⎥ ⎢ a X ⎥ qi i ⎥ ⎢⎣∑ i=1 ⎦
(
)
Pokud d je vhodný vektor konstant, pak X + d ~ Np(μ + d, Σ)
Vlastnosti vícerozměrného normálního rozdělení III Pokud X ~ Np(μ, Σ), jsou všechny podmnožiny X normálně rozděleny
⎡ Σ11 ⎛ X1 ⎞ ⎛ μ1 ⎞ ⎜ ( qx1) ⎟ ⎜ ( qx1) ⎟ ⎢ ( qxq) ⎜ ⎟ ⎜ ⎟ ⎢ X = ⎜ ___ ⎟, μ = ⎜ ___ ⎟, Σ = ⎢ ( px1) ( pxp) ( px1) ⎜ X2 ⎟ ⎜ μ2 ⎟ ⎢ Σ21 ⎜(( p-q)x1) ⎟ ⎜(( p-q)x1) ⎟ ⎢⎣(( p-q)xq) ⎝ ⎠ ⎝ ⎠ Pak X1 ~ Nq(μ1, Σ11) a X2 ~ Np-q(μ2, Σ22)
⎤ ( qx( p-q)) ⎥ ⎥ ⎥ Σ22 ⎥ (( p-q)x( p-q)) ⎥⎦ Σ12
Vlastnosti vícerozměrného normálního rozdělení V Společná kovarianční matice
Nechť Xj ~ Np(μj, Σ),~ j = 1,…,n jsou vzájemně nezávislé. Pak ~
⎛ n ⎛ n 2⎞ ⎞ = ∑~ cjX j~Np ⎜ ∑ cjμj, ⎜ ∑ cj ⎟ Σ ⎟ ⎜ j= 1 ⎟ j= 1 j= 1 ⎝ ⎠ ⎝ ⎠ n n ⎛ n ⎞ ⎛ ⎞ 2 = ∑ b~jX j~Np ⎜ ∑ bjμj, ⎜ ∑ bj ⎟ Σ ⎟ ⎜ j= 1 ⎟ j= 1 j= 1 ⎝ ⎠ ⎝ ⎠ n
v1 v2
mají sdružené normální rozdělení s kovariační maticí ⎡⎛ n 2 ⎞ ⎤ T ⎢⎜∑cj ⎟ Σ b c Σ ⎥ ⎢⎝j=1 ⎠ ⎥ ⎢ ⎥ n ⎢ bTc Σ ⎛ b2 ⎞ Σ⎥ ⎜∑ j ⎟ ⎥ ⎢ ⎝j=1 ⎠ ⎦ ⎣
( )
( )
V1 and V2 jsou nezávislé, pokud bTc = 0!
Souhrn Mezi důležité vlastnosti vícerozměrného normálního rozdělení patří: a) odpovídající marginální i podmíněná rozdělení jsou také normální, b) jsou-li všechny složky vektoru ξ vzájemně nekorelované (tj. všechny párové korelační koeficienty jsou nulové), znamená to, že složky ξj, j = 1, ..., m, jsou nezávislé, c) pokud má vektor ξ vícerozměrné normální rozdělení, mají libovolné lineární kombinace jeho složek ξj také normální rozdělení. Z uvedeného plyne, že předpoklad normality usnadňuje analýzu a umožňuje poměrně jednoduché zpracování úloh souvisejících s náhodným vektorem ξ.
Zatím vše !!!
