BAB III ISI
4.2 Kepadatan Normal Multivariat dan Sifat-sifatnya Kepadatan normal multivariat merupakan generalisasi dari kepadatan normal univariat untuk dimensi p ≥ 2.
1
f ( x) =
2πσ
e−[( x − µ ) / σ ]
2
2
x−µ 2 = (x − µ) σ σ 2
/2
−∞ < x < ∞
(3-1)
( ) ( x − µ ). −1
(3-2)
Bentuk (3-2) di atas pada fungsi kepadatan normal univariat menunjukan besaran jarak yang dikuadratkan dari x ke µ pada satuan standar deviasi. Bentuk ini dapat digeneralisasi untuk vektor x ( p × 1 ) dari suatu observasi pada beberapa variabel sebagai
( x − µ ) ' ∑−1 ( x − µ )
(3-3)
Vektor µ dengan p × 1 menunjukkan nilai harapan (ekspektasi) dari vektor acak X, dan
matrik ∑ dengan p × p merupakan
varian-covarian
matrik.
Disini
diasumsikan ∑ terbatas positif, sehingga (3-3) merupakan generalisasi jarak yang dikuadratkan dari x ke µ . Kepadatan normal multivariat didapat dengan mengganti jarak pada univariat (3-2) jarak multivariat hasil generalisasi (3-3) pada fungsi kepadatan (3-1) . Saat pergantian terjadi, konstanta normal univariat ( 2π )
−1/ 2
(σ ) 2
−1/ 2
juga
harus diganti dengan konstanta umum yang membuat suatu volume dibawah permukaan fungsi kepadatan multivariat untuk setiap p. Hal ini diperlukan karena pada multivariat, probabilitas digambarkan oleh volume dibawah permukaan pada daerah
yang didefinisikan oleh interval dari nilai xi . Konstanta yang
menggantikannya adalah ( 2π )
− p/2
| ∑ |−1/ 2 , kepadatan normal pada dimensi p untuk
vektor acak X = [ X 1 , X 2 ,..., X p ]' memiliki bentuk
f (x) =
1
e − ( x −µ ) ' ∑ p/2 1/ 2 ( 2π ) | ∑ |
−1
( x −µ ) / 2
(3-4)
dimana −∞ < xi < ∞ , bentuk ini akan diotasikan dengan N p ( µ, ∑ ) . Pada persamaan (3-4) jelaslah bahwa alur atau garis edar dari nilai x yang merupakan konstanta ketinggian untuk kepadatan adalah sebuah elipsoid. Sehingga kepadatan normal multifariat adalah sebuah konstanta dimana: Peta kepadatan kemungkinan konstan = {all x ∋ ( x − µ ) ' ∑ −1 ( x − µ ) = c 2 } = permukaan dari elipsoida dengan titik pusat µ . Titik-titik pada elipsoid dari suatu kepadatan normal adalah suatu vektor eigen berarah dari ∑ −1 dan panjangnya adalah akar nilai eigen dari ∑ dikali dengan akar dari c. Akibat 1.
Jika ∑ terbatas positif sehingga terdapat ∑ −1 , ∑ e = λ e menyebabkan ∑ −1 e =
1
λ
e
jadi ( λ ,e ) adalah pasangan nilai dan vektor eigen dari ∑ yang berhubungan dengan pasangan (1/ λ , e ) untuk ∑ −1 . Dimana ∑ −1 juga terbatas positif.
Proof. Untuk ∑ terbatas positif dan e ≠ 0 adalah vektor eigen, kita punya 0 < e ' ∑ e = e '(∑ e) = e '(λ e) = λe ' e = λ . Selain itu e = ∑ −1 ∑ e = ∑ −1 λ e =
λ ∑ −1 e dan jika dibagi dengan λ > 0 memberikan ∑ −1 e = (1/ λ )e . Sekarang untuk
p 1 x ' ∑ −1 x = x ' ∑ i =1 λ i
ei ei ' x
p 1 2 = ∑ ( x ' ei ) ≥ 0 i =1 λi
λi−1 ( x ' ei ) ≥ 0 sehingga x ' ei = 0 untuk setiap i jika dan hanya jika x = 0 . Jadi 2
x ≠ 0 , menyebabkan
p
∑ (1/ λ )( x ' e ) i =1
i
i
2
> 0 dan ∑ −1 terbatas positif.
Dibawah ini merupakan ringkasan konsep diatas Kontur dari kepadatan konstan untuk distribusi normal pada dimensi p adalah sebuah elipsoid dengan x variabelnya sehingga
( x − µ ) ' ∑−1 ( x − µ ) = c 2
(3-5)
Ellipsoid ini berpusat pada µ dan memiliki titik kooardinat ± c λi ei dimana ∑ e = λe , i = 1, 2, ..., p.
Contoh soal Kita harus mendapatkan titik koordinat dari contour probabilitas density saat σ 11 = σ 22 dari (3-5) titik yang kita cari diberikan oleh nilai eigen dan vektor eigen ∑ . Disini ∑ −λ I = 0 menjadi 0=
σ 11 − λ σ 12 2 = (σ 11 − λ ) − σ 122 σ 12 σ 11 − λ = ( λ − σ 11 − σ 12 )( λ − σ 11 + σ 12 )
Konsekuensinya, nilai eigennya λ1 = σ 11 + σ 12 dan λ2 = σ 11 − σ 12 . Vektor eigennya didapat dari
σ 11 σ 12 e1 e = (σ 11 + σ 12 ) 1 σ 12 σ 11 e2 e2 atau
σ 11e1 + σ 12 e2 = (σ 11 + σ 12 ) e1 σ 12 e1 + σ 11e2 = (σ 11 + σ 12 ) e2 Persamaan ini mengakibatkan e2 = e1 dan setelah normalisasi pasangan nilai eigen dan vektor eigen adalah
λ1 = σ 11 + σ 12 ,
e1 =
1 2 1 2
Dengan cara yang sama λ1 = σ 11 − σ 12 menghasilkan e '2 = 1
2 , −1
2 .
Saat kovarian σ 12 (korelasi ρ12 ) bernilai positif, λ1 = σ 11 + σ 12 adalah nilai eigen tebesar dan dihubungankan dengan e '1 = 1
2, 1
2 terletak bersama
dalam 450 melewati titik µ ' = [ µ1 , µ 2 ] . Hal ini aka benar untuk setiap nilai positif dari kovarian. c σ 11 + σ 12
c σ 11 − σ 12
µ2
x1
µ1
Gambar 1. Kontur untuk distribusi normal bivariat dengan σ 11 = σ 22 dan σ 12 > 0
Untuk merangkumnya, titik pada elips dari suatu kepadatan konstan untuk distribusi normal bivariat dengan σ 11 = σ 22 dapat ditentukan oleh
± c σ 11 + σ 22
Akibat 2. linier
dari
1 2 1 2
dan
± c σ 11 − σ 22
1 2 1 − 2
Jika X berdistribusi N p ( µ, ∑ ) , maka setiap kombinasi
variabel
a’X
=
a1 X 1 + a2 X 2 + ... + a p X p
akan
berdistribusi
N p ( a ' µ, a ' ∑ a ) . Demikian juga jika a’X berdistribusi N p ( a ' µ, a ' ∑ a ) untuk setiap a, maka X berdistribusi N p ( µ, ∑ ) . Proof. Disini hanya akan dibuktikan untuk E ( aX 1 ) = a'µ
E ( aX 1 ) = aE ( X 1 ) = a µ1 . E ( a ' X ) = E ( a1 X 1 + a2 X 2 + .... + an X n ) = E (a1 X 1 ) + E (a1 X 1 ) = a1 E ( X 1 ) + a1 E ( X 1 ) = a1µ1 + a1µ1 µ1 µ = [ a1 , a1 ,..., a1 ] 1 M µ1 = a 'µ
Contoh
a ' = [1, 0,..., 0] X1 X 2 a ' X = [1, 0,..., 0] = X 1 M X p µ1 µ 2 a ' µ = [1, 0,..., 0] = µ1 M µ p σ 11 σ 12 σ σ 22 21 a ' Σa = [1, 0,..., 0] M M σ p1 σ p 2
L σ 1 p 1 L σ 2 p 0 = σ 11 O M M L σ pp 0
Melalui akibat 2 kita dapatkan bahwa X 1 berdistribusi N ( µ1 , σ 11 ) . Hal ini dapat diperumum jika untuk X i maka distribusinya akan N ( µi , σ ii ) . Akibat 3.
Jika X berdistribusi N p ( µ, ∑ ) , q kombinasi linier dari
a11 X 1 + ... + a1 p X p a X + ... + a X 21 1 2p p A X= q× p p×1 M aq1 X 1 + ... + aqp X p akan berdistribusi N p ( Aµ, A ∑ A ') . Begitu juga untuk X + d , dimana d adalah ( p×1) ( p×1)
vektor konstanta, akan berdistribusi N p ( µ + d, ∑ ) .
Contoh: Diberikan X berdistribusi N 3 ( µ, ∑ ) , cari distribusi untuk
X1 X 1 − X 2 1 −1 0 X − X = 0 1 −1 X 2 = AX 3 X 2 3 Dari akibat 3, distribusi dari AX adalah normal multivariat dengan rata-rata
µ1 1 −1 0 µ1 − µ 2 Aµ = µ2 = 0 1 −1 µ µ2 − µ3 3 dan kovariannya σ 11 σ 12 σ 13 1 0 1 −1 0 A ∑ A' = σ 12 σ 22 σ 23 −1 1 0 1 −1 σ 13 σ 23 σ 33 0 −1 σ 12 + σ 23 − σ 22 − σ 13 σ − 2σ 12 + σ 22 = 11 σ 22 − 2σ 23 + σ 33 σ 12 + σ 23 − σ 22 − σ 13
Alternatif lainnya kita dapat mencari vektor rata-rata dan covarian kita dapat mengubah terlebih dahulu dalam bentuk Y1 = X 1 − X 2 dan Y2 = X 2 − X 3 .
Akibat 4.
Semua subset dari X berdistribusi normal. Jika kits partisi
X, rata-rata dan covariannya akan berbentuk
X1 ( q×1) X = − − − − p×1 X2 (( p − q )×1)
µ1 ( q×1) µ = − − − − ( p×1) µ2 (( p − q )×1)
∑
( p× p )
∑11 (q×q) = ∑ (( p −q21)×q)
∑12
∑ 21 (( p − q )×( p − q)) ( q×( p − q ))
maka Xi berdistribusi N p ( µ1 , ∑11 ) . Dari akibat di atas kita punya bahwa semua subset dari vektor acak X yang berdistribusi normal adalah berdistribusi normal pula. Contoh
X Jika X berdistribusi N 5 ( µ, ∑ ) , cari distribusi dari 2 . Kita himpun X4
σ 24 X µ σ sebelumnya X1 = 2 , µ1 = 2 , dan ∑11 = 22 dari N 5 ( µ, ∑ ) kita punya X4 µ4 σ 24 σ 44 X , µ , dan ∑ yang kemudian akan kita susun kembali dan kita partisi menjadi
X2 X 4 X = X1 X3 X 5
µ2 µ 4 µ = µ1 , µ3 µ5
σ 22 σ 24 ∑ = σ 12 σ 23 σ 25
σ 24 σ 44 σ 14 σ 34 σ 45
σ 12 σ 14 σ 11 σ 13 σ 15
atau
µ1 ∑11 ∑12 X1 ( 2×1) µ = ( 2×1) ∑ = ( 2×2) ( 2×3) X= µ ∑ ∑ 22 X ( 3×21) ( 3×21 ( 3×12) 2) ( 3×3) X dengan menggunakan akibat 4 untuk X1 = 2 , X4 kita akan memiliki distribusi dengan bentuk µ σ σ 24 N 2 ( µ 2 , ∑11 ) = N 2 2 , 22 . µ σ σ 4 24 44
σ 23 σ 34 σ 13 σ 33 σ 35
σ 25 σ 45 σ 15 σ 35 σ 55
Dari contoh disini jelas bahwa untuk setiap bagian (subset) dari distribusi normal dapat diekspresikan dengan pemilihan yang tepat rata dan kovarian dari µ dan ∑ awal.
Akibat 5. (a) Jika X1 dan X 2 independen, maka akan selalu benar bahwa ( q1×1)
( q2 ×1)
Cov ( X1 , X 2 ) = 0 , q1 × q2 menghasilkan matrik nol. X1 µ ∑ (b) Jika − − berdistribusi N q1+ q 2 1 , 11 µ 2 ∑ 21 X 2
∑12 , maka X1 dan ∑ 22
X2 independen jika dan hanya jika ∑12 = 0 . (c) Jika X1 dan X2 independen dan berdistribusi N q1 ( µ1 , ∑11 ) dan
X1 N q 2 ( µ 2 , ∑ 22 ) , maka − − merupakan multivariat normal. X 2 µ ∑ N q1+ q 2 1 , 11 µ 2 0 '
0 ∑ 22
Contoh
4 1 0 Diberikan X berdistribusi N 3 ( µ, ∑ ) dengan ∑ = 1 3 0 . Apakah ( 3×1) 0 0 2 X 1 dan X 2 independent? Bagaimana dengan ( X 1 , X 2 ) dan X 3 ? Karena X 1 dan X 2 memiliki σ 12 = 1 , X 1 dan X 2 tidak independent. Tetapi
X1 X = X 2 , X 3
4 1 0 ∑11 ∑12 ( 2×2) ( 2×1) ∑ = 1 3 0 = ∑ ∑ 22 0 0 2 (1×21 2) (1×1)
X 0 Kita lihat bahwa X1 = 1 dan X 3 memiliki matrik kovarian ∑12 = . Hal ini X2 0 menyebabkan
( X1 , X 2 ) dan
X 3 independent menurut akibat 5. Hal ini juga
mengimplikasikan bahwa X 3 independent terhadap X 1 dan X 2 .
Akibat 6.
X1 µ Misal X = − − berdistribusi N p ( µ, ∑ ) dengan , µ = 1 µ 2 X 2
∑12 ∑ ∑ = 11 , dan | ∑ |> 0 . Maka distribusi bersyarat dari X1, memberikan ∑ 21 ∑ 22 X2 = x2, berdistribusi normal dengan −1 Rata-rata = µ1 + ∑12 ∑12 (x1 − µ 2 ) , dan
Kovaian = ∑11 − ∑12 ∑ −221 ∑ 21 Catat bahwa kovarian tidak tergantung ada nilai x 2 dari variabel bersyarat.
Proof. Akan dibuktikan dengan pembuktian tak langsung, ambil −1 I − ∑12 ∑ 22 q× q ) ( q×( p − q ) A = ( p× p ) 0 I ( p − q )× p ( p − q )×( p − q )
sehingga
−1 X − µ X − µ − ∑12 ∑ 22 ( X 2 − µ2 ) dan A (X − µ) = A 1 1 = 1 1 X 2 − µ2 X 2 − µ2 −1 I − ∑12 ∑ 22 ∑11 A∑A' = I 0 ∑ 21
∑12 I −1 ∑ 22 − ∑12 ∑ 22
0 ∑11 − ∑12 ∑ −221 ∑ 21 = I 0
0 ∑ 22
−1 Karena X 1 − µ1 − ∑12 ∑ 22 ( X 2 − µ2 ) dan X 2 − µ2 memiliki kovarian nol, sehingga −1 keduanya independent. Lebih lagi X 1 − µ1 − ∑12 ∑ 22 ( X 2 − µ2 ) memiliki distribusi
(
)
N q 0, ∑11 − ∑12 ∑ −221 ∑ 21 . Diberikan X 2 = x2 , µ1 + ∑12 ∑ −221 ( x2 − µ 2 ) adalah suatu konstanta. Karena X 1 − µ1 − ∑12 ∑ −221 ( X 2 − µ2 ) dan X 2 − µ2 independent, distribusi bersyarat dari X 1 − µ1 − ∑12 ∑ −221 ( x2 − µ2 ) adalah sama dengan distribusi tak
−1 bersyarat dari X 1 − µ1 − ∑12 ∑ 22 ( X 2 − µ2 ) . Di awal kita sudah tahu bahwa −1 X 1 − µ1 − ∑12 ∑ 22 ( X 2 − µ2 ) berdistribusi N q ( 0, ∑11 − ∑12 ∑ −221 ∑ 21 ) , sehingga vektor
acak X 1 − µ1 − ∑12 ∑ −221 ( x2 − µ2 ) ada saat X 2 memiliki nilai khusus x2 . Hal ini equivalen juga untuk X 1 , sehingga nantinya distribusinya akan berbentuk
N q ( µ1 + ∑12 ∑ −221 ( x2 − µ2 ) , ∑11 − ∑12 ∑ −221 ∑ 21 )
Akibat 7.
Jika X berdistribusi N p ( µ, ∑ ) dengan | ∑ |> 0 . Maka:
(a) ( x − µ ) ' ∑ −1 ( x − µ ) berdistribu χ p2 dimana χ p2 dinotasikan berdistribusi chi-kuadrat dengan derajad kebebasan p. (b) Distribusi N p ( µ, ∑ ) memberikan kemungkinan 1 − α untuk elipsoid padat
{x : (x − µ) ' ∑ −1 (x − µ ) ≤ χ p2 (α )} , dimana χ p2 (α ) menotasikan persentil ke (100α ) dari distribusi χ p2 .
Proof. Kita tahu bahwa χ p2 didefinisikan sebagai distribusi dari jumlah
Z12 + Z 22 + K + Z p2 , dimana Z1 , Z 2 ,K , Z p independent N ( 0,1) variabel random. Selanjutnya, melalui spectral decomposotion [lihat persamaan (2-16) dan (2-21) p
dengan A = ∑ , dan melihat ke akibat 4.1] ∑ −1 = ∑ i =1
1
λi
ei ei ' ,
dimana ∑ ei = λi ei sehingga ∑ −1 ei = (1 λi ) ei . Akibatnya, p
p
( X − µ ) ' ∑ −1 ( X − µ ) = ∑ (1 λi )( X − µ ) 'eiei ' ( X − µ ) = ∑ (1 λi ) ( ei ' ( X − µ ) ) i =1 p
2
i =1
(
= ∑ 1 i =1
)
2
p
λi ei ' ( X − µ ) = ∑ Z i2 ,ini untuk singkatnya.
i =1
Z1 Z 2 Sekarang Z = A ( X - µ ) , dimana Z = , ( p×1) M Z p
A = ( p× p )
e1 ' λ1 1 e2 ' λ2 M 1 e p ' λp 1
dan X − µ berdistribusi N p ( 0, ∑ ) . Karenanya, dengan menggunakan akibat 3,
Z = A ( X - µ ) berdistribusi N p ( 0, A ∑ A ') , dimana A ∑ A '= ( p× p ) ( p× p ) ( p× p )
e1 ' λ1 1 e2 ' p 1 1 1 λ2 e1 ' e2 'K e p ' ∑ λi ei ei λ2 λp λ1 i =1 M 1 e p ' λp 1
λ1 e1 ' λ2 e2 ' 1 1 1 = e ' e ' K e ' 1 2 p M λ λ λ 1 2 p λ e ' 3 3 =1 Oleh akibat 5 Z1 , Z 2 ,K , Z p variabel indeendent normal standar dan kita simpulkan bahwa ( X − µ ) ' ∑ −1 ( X − µ ) memiliki distribusi χ p2 . Sampai sini kita bisa menyimpulkan dari akibat-akibat di atas 2 hal penting: 1. Menyangkut dengan kemungkinan isi sebuah elipsoid suatu konstanta kepadatan. 2. Berkenaan dengan bentuk lain dari kombinasi linier.
Distribusi chi-kuadrat dapat menentukan variabilitas dari varian sampel s 2 = s11 untuk sampel yang berasal dari populasi normal univariat. Dasar ini juga
akan memainkan hal penting ada distribusi multivariat.
Akibat 8.
Diberikan
X 1 , X 2 ,..., X n
saling
bebas
dengan
Xi
berdistribusi N p ( µ j , ∑ ) . (Perhatikan bahwa setiap X j memiliki kovarian matrik ∑ yang sama.) Maka V1 = c1X1 + c2 X 2 + ... + cn X n n n Berdistribusi N p ∑ c j µ j , ∑ c j ∑ . V1 dan V2 = b1X1 + b2 X 2 + ... + bn X n juga j =1 j =1 merupakan normal multivariat dengan kovarian matrik.
n 2 ∑ c j ∑ ( b ' c ) ∑ j =1 n ( b ' c ) ∑ b 2 ∑ ∑ j j =1 n
Konsekuensinya, V1 dan V2 independent jika b ' c = ∑ c j b j = 0 . j =1
