Hardwiyanto Utomo 060545
4.3 Sampling dari distribusi normal dan estimasi likelihood maksimum Likelihood normal multivariat Kita asumsikan vektor X1 , X 2 ,..., X n dengan p ×1 merepresentasikan sampel acak dari populasi normal multivariat dengan rata-rata µ dan kovarian matrik ∑ . Karena X1 , X 2 ,..., X n satu sama lain independen dan berdistribusi N p ( µ, ∑ ) , fungsi kepadatan bersama dari semua observasi merupakan produk dari kepadatan normal marginal, yaitu
kepadatan bersama n 1 −( x j − µ ) ' ∑ −1 ( x j − µ ) / 2 e = ∏ p/2 1/ 2 dari X1 , X 2 ,..., X n j =1 ( 2π ) | ∑ | =
−
1
( 2π )
np / 2
|∑|
n/2
e
(4-11)
n
∑ ( xi −µ ) ' ∑−1 ( xi −µ ) / 2 j =1
Saat nilai kuantitatif dari observasi tersedia, dan disubtitusi ke x j pada (4-11). Hasil yang diperlihatkan, diperhatikan sebagai fungsi dari µ dan ∑ untuk himpunan yang ditetapkan dari observasi x1 , x2 ,..., xn disebut likelihood. Pada bab ini kita akan banyak menggunakan trace dari suatu matrik kuadrat.
Akibat 4.9.
Diberikan A matrik k × k dan x vector k ×1 .
a. x ' Ax = tr ( x ' Ax ) = tr ( Ax ' x ) k
b. tr ( A ) = ∑ λi , dimana λi adalah nilai eigen dari A. i =1
Proof. Untuk (a) pertama kita tuliskan x ' Ax sebagai skalar, sehingga x ' Ax = tr (x ' Ax) kita
punya bahwa tr (CB) = tr (BC) untuk setiap matrik B dan C dengan m × k dan k × m . Diagonal k
elemen dari BC adalah
∑b c j =1
ij
ji
m k , sehingga tr (BC) = ∑ ∑ bij c ji . Hal ini serupa dengan i =1 j =1
m
diagonal
elemen
dari
CB
∑b c
adalah
i =1
ij
ji
,
sehingga
kita
punya
k m m k tr (CB) = ∑ ∑ bij c ji = ∑ ∑ bij c ji = tr (BC) . Kita misalkan x ' adalah B dengan m = 1 dan j =1 i =1 i =1 j =1
Ax adalah C, maka x ' Ax = tr ( x ' Ax ) = tr ( Ax ' x ) .
Untuk (b), misalkan A = P ' BP , dimana PP ' = I dan B adalah matrik diagonal dengan entri-entrinya
λ1 , λ2 ,..., λk .
adalah
Kita
juga
punya
tr ( A ) = tr ( P ' BP ) = tr ( BPP ') = tr ( B ) = λ1 + λ2 + ... + λk Eksponen dari kepadatan bersama pada (4-11), dapat disederhanakan.
(x
j
− µ ) ' ∑ −1 ( x j − µ ) = tr ( x j − µ ) ' ∑ −1 ( x j − µ )
(4-12)
= tr ∑ −1 ( x j − µ )( x j − µ ) ' Selanjutnya
∑(x n
i =1
− µ ) ' ∑ −1 ( x j − µ ) = ∑ tr ∑ −1 ( x j − µ )( x j − µ ) ' n
j
i =1
n = tr ∑ −1 ∑ ( x j − µ )( x j − µ ) ' i =1
(4-13)
Karena trace dari jumlah matrik sama dengan jumlah trace dari matrik tersebut, sehingga kita dapat menambah atau mengurangi dengan x pada bentuk ( x j − µ ) maka akan memberikan
∑( x n
i =1
j − x + x − µ )( x j − x + x − µ ) ' = ∑ ( x j − x )( x j − x ) ' + n ( x − µ )( x − µ ) ' (4-14) n
i =1
∑( x n
Karena cross-product dari,
i =1
j
− x ) ( x − µ ) ' dan
∑( x − µ)( x n
i =1
j
− x ) ' adalah keduanya matrik
nol, kita punya bentuk fungsi kepadatan bersama suatu sampel acak yang berasal dari populasi yang berdistribusi normal multivariat yaitu:
L(µ, ∑) =
( 2π )
np / 2
n − tr ∑ −1 x j − x x j − x ' + n( x −µ )( x − µ ) ' / 2 i =1
∑(
1 | ∑ |n / 2
e
)(
)
(4-16)
Fungsi di atas lebih dikenal dengan nama fungsi likelihood (ini setelah dimasukkan nilai-nilai dari x1 , x2 ,..., xn ).
Estimasi µ dan ∑ untuk maksimum likelihood Akibat 4.10. Diberikan matrik B terbatas positif dan simetri p × p dan b > 0 skalar.
1 tr ( ∑−1 B ) / 2 1 pb e ≤ 2b ) e −bp b b ( |∑| |B| Untuk setiap ∑ terbatas positif, dengan memegang kesamaan tersebut hanya untuk p× p
∑ = (1/ 2b ) B . ˆ merupakan nilai Estimasi µ dan ∑ untuk maksimum likelihood dinotasikan µˆ dan ∑ ˆ akan tergantung pada nilai maksimum dari fungsi L ( µ, ∑ ) pada (4-16). µˆ dan ∑
x1 , x2 ,..., xn yang melewati ringkasan statistik x dan S.
Akibat 4.11. X1 , X 2 ,..., X n adalah sampel acak yang berasal dari populasi normal dengan ratarata µ dan kovarian ∑ . Maka
µˆ = X dan
∑=
( n − 1) S 1 n X j − X )( X j − X ) ' = ( ∑ n j =1 n
adalah estimator dari µ dan ∑ untuk maksimum likelihood. Nilai observasi mereka, x dan
(1/ n)∑ ( x j − x )( x j − x ) ' , dikatakan estimasi untuk µ dan ∑ pada maksimum likelihood. n
j =1
Proof. Pada persamaan likelihood (4-16) kita punya bagian dari faktor perkalian - 12 yaitu:
n tr ∑ −1 ∑ ( x j − x )( x j − x ) ' + n ( x − µ ) ' ∑ −1 ( x − µ ) i =1
( x − µ ) ' ∑−1 ( x − µ ) > 0 kecuali
Dari akibat 4.1, ∑ −1 terbatas positif, jadi jarak Sehingga
fungsi
likelihood
menjadi
maksimum
saat
µˆ = x sehingga
memaksimumkan L(µˆ , ∑) =
1
( 2π )
np / 2
|∑|
n/2
e
− tr ∑ −1
n
i =1
∑ ( x j − x )( x j − x ) '+ / 2
untuk µ = x . kita
tinggal
n
terhadap ∑ −1 . Dengan menggunakan akibat 4.10 dimana b = n/2 dan B = ∑ ( xi − x )( xi − x ) ', i =1
n
ˆ = (1/ n ) ( x − x )( x − x ) ' dibentuk. hasil maksimumnya saat ∑ ∑ i i i =1
Estimator pada maksimum likelihood adalah sebuah jumlah acak. Estimator ini didapat ˆ dengan dengan menggantikan pengamatan x1 , x2 ,..., xn yang merupakan ekspresi untuk µˆ dan ∑
vektor acak X1 , X 2 ,..., X n . Kita nyatakan estimator dari maksimum likelihood X sebagai vektor acak dan estimator ˆ sebagai vektor matrik. Estimasi maksimum likelihood merupakan dari maksimum likelihood ∑ nilai terpilih yang diberikan oleh suatu data. Dari penjelasan di atas kita dapatan maksimum dari fungsi likelihood adalah
( )
ˆ = L µˆ , ∑
1
( 2π )
np / 2
e− np / 2
1 ˆ |n / 2 |∑
(4-18)
Statistik cukup Diberikan X1 , X 2 ,..., X n sampel acak dari populasi normal multivariat dengan µ dan kovarian ∑ . Maka
X dan S merupakan statistik cukup
(4-21)
4.4 DISTRIBUSI SAMPLING DARI X dan S
X11 X12 K X1n X X 22 K X 2n 21 X= = [X1 M X p1 X p2 K X pn
X2 K Xn ]
X matriks dengan ordo p x n , diketahui x dan S statistic cukup univariate Merupakan sampel random dari populasi normal dengan mean µ dank kovarians matriks ∑ •
Untuk distibusi normal univariat X normal dengan mean µ = mean populasi dan variansi 1 2 variansi populasi σ = n ukuran sampel
Bukti : X berdistribusi normal univariat dengan mean µ dan variansi σ 2 . M x (t) = e
tµ +
1 2 2 t σ 2
X1 , K , X n sampel random dari populasi normal univariat dengan mean µ dan variansi σ 2 . M xi (t) = e
tµ +
M x (t) = M
∑
1 2 2 t σ 2
xi n
i = 1,2, ... , n
t (t) = M x i n
n
t µ + 1t2 σ 2 = e n 2 n 2
tµ + 1 t 2 σ = e 2 n 2
n
n
Jadi X berdistribusi normal dengan mean µ dan variansi
σ2 n
•
Untuk disribusi normal multivariate
X ~ N p (µ , ∑ ) 1 X ~ N p µ, ∑ n
Bukti :
X ~ N p (µ , ∑ )
M x (t) = e
t′ µ +
1 t′ ∑ t 2
X1 ,X 2 K , X n sampel random dari distribusi normal p variat dengan mean µ dan kovarians ∑ . M xi (t) = e
x=
t′ µ +
1 t′ ∑ t 2
i = 1,2, ..., n
1 n ∑ Xi n i =1
M x (t) = M
∑
(t)
xi n
t = M x i n
n
t ′ µn + 12 + t′n∑2 t = e
=e
t ′µ +
n
1 ∑ t′ t 2 n
Jadi X berdistribusi normal dengan mean µ dan variansi •
1 ∑ n
Untuk variansi sampel dari populasi normal univariat 2
∑ (x n
2
j − x ) berdistribusi
(n − 1) S 2
=
(n − 1)S 2
berdistribusi identik dengan σ 2 z1 + K + z n −1 = (σ z1 ) + K +(σ z n −1 )2 .
σ
1
σ2
j =1
(
2
2
)
2
(
Dimana zi ~ N p (µ , ∑ ) atau σ z i ~ N 0, σ 2 •
)
Untuk populasi normal multivariate Bila zj ~ N p (µ , ∑ ) n
∑z j =1
j
j = 1, … ,n
′ z j berdistribusi Wishart dengan derajat bebas n-1 diberi notasi W
1. Sifat – sifat distribusi Wishart 1. Densitas wishart tidak ada bila n ≤ p Bila ada harganya untuk matriks definit positif A adalah : 1
A2
Wn −1 ( A / ∑ ) = 2
1 p ( n −1) 2
π
( n − p −1)
p ( p −1)
4
∑
e
1 − tr A 2
( n −1)
∑ -1 p
2
1
i =1
2. A1 ~ Wm1 (A1 | ∑ )
A 2 ~ Wm2 (A 2 | ∑ ) . A1 dan A2 independen A1 + A2 ~ Wm1 + Wm2 (A1 + A 2 | ∑ ) 3. A ~ Wm (A | ∑ )
C A C′ ~ Wm (. | C ∑ C′)
∏ 2 (n − i )
4.5 DISTRIBUSI X dan S UNTUK SAMPEL BESAR
Teorema Limit Pusat
X1, X 2 ,K , X n Sampel random dari distribusi dengan mean
n (X − µ ) berdistribusi mendekati N p (0, ∑ ) . Untuk n besar
µ dan kovariansi ∑ maka
Teorema Bila X mendekati normal dengan mean µ dan kovarian 1 matriks ∑ maka n ′ n(X − µ ) ∑ −1 (X − µ ) mendekati χ 2 p
