ESTIMASI PARAMETER AUTOREGRESSIVE DENGAN FUNGSI MARGINAL LIKELIHOOD
ILMIYATI SARI 0305010262
UNIVERSITAS INDONESIA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM DEPARTEMEN MATEMATIKA DEPOK 2009
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
ESTIMASI PARAMETER AUTOREGRESSIVE DENGAN FUNGSI MARGINAL LIKELIHOOD
Skripsi diajukan sebagai salah satu syarat untuk memperoleh gelar Sarjana Sains
Oleh: ILMIYATI SARI 0305010262
DEPOK 2009
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
SKRIPSI
:
ESTIMASI PARAMETER AUTOREGRESSIVE DENGAN FUNGSI MARGINAL LIKELIHOOD
NAMA
:
ILMIYATI SATI
NPM
:
0305010262
SKRIPSI INI TELAH DIPERIKSA DAN DISETUJUI DEPOK, 9 NOVEMBER 2009
Dra. IDA FITHRIANI, M. Si. PEMBIMBING I
FEVI NOVKANIZA, S. Si., M. Si. PEMBIMBING II
Tanggal lulus Ujian Sidang Sarjana: 21 Desember 2009 Penguji I
: Dra. Ida Fithriani, M. Si.
Penguji II : Dr. Yudi Satria, M. T. Penguji III : Dra. Saskya Mary, M. Si.
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
KATA PENGANTAR
Alhamdulillahi rabbil ‘aalamiin. Segala puji dan syukur hanya kepada ALLAH SWT, Yang Maha Pengasih, sehingga skripsi ini dapat diselesaikan dengan baik. Shalawat dan salam penulis sampaikan kepada suri teladan kita, manusia biasa dengan akhlak luar biasa, Rasulullah SAW. Terselesaikannya skripsi ini tidak terlepas dari bantuan, bimbingan, dorongan, dan doa yang tulus dari banyak pihak. Oleh karena itu, pada kesempatan ini, penulis ingin menyampaikan ucapan terima kasih yang sebesar-besarnya kepada: 1. Ibu Ida Fithriani selaku Pembimbing 1 penulis yang telah meluangkan waktunya untuk memberikan bimbingan, saran, pengarahan dan kemudahan lainnya dengan sangat sabar sehingga skripsi ini dapat diselesaikan dengan baik. 2. Mba Fevi Novkaniza selaku Pembimbing 2 yang juga telah meluangkan waktu disela kesibukkan . Terima kasih banyak atas saran dan pengarahan yang mba berikan selama penulisan skripsi ini. 3. Orang tua penulis yang terus memberikan semangat, pengorbanan, doa, dan banyak dukungan lainnya selama ini. 4. Kakak dan adik penulis yang telah banyak memberikan dukungan, bantuan, dan doanya.
i Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
5. Keponakan penulis Dhea dan si kembar ”Sifa, Sisi, dan Icha” dengan celotehannya bisa menghiburku di sela-sela kepenatan. 6. Bapak Suryadi MT dan Ibu Siti Nurrohmah pembimbing akademis yang telah memberikan nasihat dan bimbingannya. 7. Seluruh dosen Departemen Matematika atas segala ilmu yang penulis peroleh selama menjadi mahasiswa Matematika UI. 8. Seluruh karyawan Departemen Matematika yang telah banyak memberikan bantuannya. 9. Ka Avi, ka Intan, Desti, Nurma, Rani, Raisa, akmal, Miranti, Yuni, Temanteman seperjuangan penulis yang sama-sama berjuang untuk menyelesaikan skripsi pada semester ini. 10. Dyant dan Fia, tetap semangat ya... Allah pasti punya rencana yang indah untuk kalian… 11. Aya dan karlina, semoga cepat menyusul penulis dan yuni yach.....!!!! 12. Teman-teman angkatan 2005 lainnya yang sama-sama berjuang untuk menyelesaikan skripsnya secepatnya. 13. Teman-teman angkatan 2004, 2006, 2007, dan 2008. 14. ”Kaka-ku” yang selalu memberikan support yang sangat bermanfaat bagi penulis dan kesediaannya dalam mendengarkan keluh kesah penulis. 15. Semua pihak yang telah membantu penulis dengan dukungan dan doanya.
ii Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
Semoga skripsi ini dapat berguna bagi siapa saja yang mengkajinya, serta dapat dikembangkan dan disempurnakan agar lebih bermanfaat untuk kepentingan yang baik orang banyak. Depok, 23 November 2009 Penulis
Ilmiyati Sari
iii Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
ABSTRAK
Estimasi parameter model autoregressive dapat diperoleh dengan beberapa metode, salah satunya adalah metode Marginal Likelihood. Untuk memperoleh fungsi marginal likelihood, proses autoregressive dapat dinyatakan sebagai structural model (Fraser, 1968). Dalam structural model, data runtun waktu stasioner dinyatakan sebagai kombinasi linear dari mean proses dan variabel error yang tidak terobservasi. Dengan mengganggap variabel error sebagai proses circular dan noncircular, diperoleh sifat distribusi dari variabel error yang tidak bergantung pada parameter populasi, sehingga data runtun waktu mengikuti model Location-scale. Melalui model Location-Scale dapat dibuktikan bahwa vektor data runtun waktu yang distandarisasi merupakan ancillary statistic. Ancillary statistic ini menjadi dasar untuk membangun fungsi marginal likelihood karena distribusi dari ancillary statistic bebas dari parameter populasi.
Kata kunci : estimasi parameter autoregressive, fungsi marginal likelihood, struktural model, proses circular dan noncircular, ancillary statistic.
x+105 hlm.;gbr,; lamp. Bibliografi: 10 (1955-2005)
iv Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
DAFTAR ISI
Halaman KATA PENGANTAR ..................................................................................i ABSTRAK DAFTAR ISI
..............................................................................................iv .............................................................................................v
DAFTAR GAMBAR DAFTAR LAMPIRAN
BAB I
...............................................................................viii ..............................................................................ix
PENDAHULUAN .........................................................................1 1.1 Latar Belakang ......................................................................1 1.2 Perumusan Masalah ..............................................................2 1.3 Tujuan Penulisan ...................................................................3 1.4 Pembatasan Masalah ............................................................3 1.5 Sistematika Penulisan ...........................................................3
BAB II LANDASAN TEORI ......................................................................5 2.1 Konsep Dasar Matriks ...........................................................5 2.2 Konsep Dasar Runtun Waktu ................................................7 2.2.1 Runtun Waktu dan Proses Stokastik ..................................7 2.2.2 Fungsi Mean, Fungsi Autokovariansi dan Fungsi Autokorelasi
...........................................................8
2.2.3 Kestasioneran .....................................................................9 2.2.3.1 Stasioner Kuat .................................................................9 2.2.3.2 Stasioner Lemah .............................................................9
v Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
2.2.4 Proses White Noise ..........................................................10 2.3 Proses Autoregressive
................ .......................................11
2.3.1 Proses AR (1) ...................................................................12 2.3.2 Proses AR (2) ...................................................................14 2.3.3 Proses AR (p) ...................................................................16 2.4 Proses Circular ....................................................................18 2.5 Proses Noncircular
.............................................................20
2.6 Distribusi Marginal ...............................................................22 2.7 Sufficient dan Ancillary Statistic ..........................................23 2.7.1 Sufficient Statistic .............................................................24 2.7.2 Ancillary Statistic ................ .............................................25 2.8 Marginal Likelihood .............................................................33
BAB III FUNGSI MARGINAL LIKELIHOOD UNTUK PROSES AR .......34 3.1 Structural Model ...................................................................34 3.2 Proses AR sebagai Structural Model ..................................35 3.2.1 Proses AR yang Circular ..................................................36 3.2.2 Proses AR yang Noncircular ............................................39 3.3 Fungsi Marginal Likelihood untuk AR (p) ............................41 3.3.1 AR (1) sebagai Structural Model ......................................43 3.3.1.1 Fungsi Marginal Likelihood untuk AR (1) yang Circular
................................................................43
3.3.1.2 Fungsi Marginal Likelihood untuk AR (1) yang Noncircular
..........................................................49
3.4 Estimasi Parameter Autoregressive dengan Fungsi
vi Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
Marginal Likelihood
............................................................. 56
3.4.1 Estimasi Parameter AR (1) yang Circular
........................ 57
3.4.2 Estimasi Parameter AR (1) yang Noncircular
....................58
BAB IV APLIKASI ESTIMASI PARAMETER AR (1) DENGAN FUNGSI MARGINAL LIKELIHOOD ..........................................61 4.1 Pendahuluan .......................................................................61 4.2 Taksiran Parameter AR (1) dengan Fungsi Marginal Likelihood untuk Data ”Annual Yield of Grain Broadbalk Field at Rothamsted 1952-1925” ………………......………. 62
BAB V PENUTUP ..................................................................................66 5.1 Kesimpulan .........................................................................66 5.2 Saran
DAFTAR PUSTAKA
..................................................................................67
………………………………………………………...68
vii Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
DAFTAR GAMBAR
Gambar 1.
Halaman
Plot data ”Annual yield of grain on Broadbalk field at Rothamsted 1852-1925” ...................................................................................... 62
2.
Plot ACF (Autocorrelation Function) data ”Annual yield of grain on Broadbalk field at Rothamsted 1852-1925”
3.
……………………..... 63
Plot PACF (Partial Autocorrelation Function) data ”Annual yield of grain on Broadbalk field at Rothamsted 1852-1925”
viii Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
...................... 63
DAFTAR LAMPIRAN
Lampiran
Halaman
4.
Menunjukkan γ t ,s = E( X t X s ) − µt µs , untuk t , s = 0, ±1, ±2,... ...................69
5.
Menunjukkan Ω (matriks autokovariansi), berukuran N×N, dalam proses circular dapat dinyatakan sebagai
Ω = σ {I + ρ1 (W + W ) + ... + ρ 1 2
−1
2
( N −1)
(W
1 ( N −1) 2
+W
1 − ( N −1) 2
)} untuk N ganjil dan
1 1 − N 1 N Ω = σ 2{I + ρ1 (W + W−1 ) + ... + ρ 1 (W 2 + W 2 )} untuk N genap.......70 2 2N
6.
W matriks ortogonal .......................................................................78
7.
Menunjukkan WNN× N = I N × N .............................................................84
8.
Menunjukkan Ω (Matrik Autokovariansi), berukuran N×N, dalam proses noncircular dapat dinyatakan sebagai Ω = σ 2 {I + ρ1 (U + U ' ) + ... + ρ N −1 (U N −1 + U '( N −1) )} untuk semua N .........87
9.
Menunjukkan U NN × N = 0 N × N .............................................................90
10.
Menunjukkan distribusi dari d bebas dari parameter µ dan σ ....93
11.
Menunjukkan σ Z t Mempunyai Sifat-Sifat Distribusi yang Sama dengan a t ...................................................................97
ix Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
12.
Menunjukkan θ memaksimumkan L (θ ) ↔ θ memaksimumkan
lnL (θ ) …………………………………………………………………...98 10.
Data ”Annual yield of grain on Broadbalk field at Rothamsted 1852-1925”
11.
…………………………………………………………..101
Taksiran Parameter AR (1) dengan Fungsi Marginal Likelihood Untuk Data ”Annual yield of grain on Broadbalk field at Rothamsted 1852-1925” …………………………………………102
x Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
1
BAB I PENDAHULUAN
1.1
LATAR BELAKANG
Dalam berbagai penelitian sering kali diperoleh data yang berhubungan dengan waktu, atau yang lebih dikenal dengan istilah runtun waktu. Runtun waktu adalah himpunan barisan pengamatan yang terurut dengan waktu, dengan jarak interval waktu yang sama ( Box – Jenkins, 1976). Jika barisan pengamatan tersebut dicatat dalam waktu yang kontinu maka disebut runtun waktu kontinu. Sedangkan jika barisan pengamatan dicatat dalam waktu diskrit maka disebut runtun waktu diskrit. Pada tahun 1970, Box & Jenkins memperkenalkan model runtun waktu yang biasa digunakan untuk memodelkan runtun waktu yaitu Autoregressive Moving Avarage (ARMA (p,q)), dimana p dan q berturut-turut adalah orde dari autoregressive dan moving avarage. Suatu proses runtun waktu agar dapat dimodelkan dengan model ARMA, harus memenuhi sifat stasioner, yaitu fungsi mean dan variansinya konstan terhadap waktu, dan fungsi autokovariansi antara dua observasi pada dua titik waktu yang berbeda hanya bergantung pada selisih antara dua titik waktu tersebut. Salah satu bentuk khusus dari model ARMA adalah autoregressive yang merupakan model ARMA dengan bagian moving avarage berorde 0. Model
1 Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
2
autoregressive berdasarkan namanya adalah regresi terhadap dirinya sendiri (Jonathan D. Cryer, 1986). Dalam suatu model autoregressive perlu dilakukan penaksiran parameter yang terdapat dalam model autoregressive tersebut. Salah satu metode yang dapat digunakan untuk mengestimasi parameter dalam model autoregressive adalah metode Marginal Likelihood. Untuk memperoleh fungsi marginal likelihood dalam proses autoregressive, maka proses autoregressive dapat dinyatakan sebagai struktural model (Fraser, 1968). Berbeda dengan fungsi likelihood, fungsi marginal likelihood tidak lagi mengandung parameter populasi yang pada umumnya tidak diketahui. Untuk membangun fungsi marginal likelihood, diperlukan ancillary statistic yang distribusinya tidak bergantung pada parameter populasi.
1.2
PERUMUSAN MASALAH
Perumusan masalah tugas akhir ini adalah: 1)
Bagaimana mencari fungsi marginal likelihood untuk proses autoregressive.
2)
Bagaimana menaksir parameter autoregressive dengan fungsi marginal likelihood.
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
3
1.3
TUJUAN PENULISAN
Tujuan penulisan tugas akhir ini adalah: 1)
Mencari fungsi marginal likelihood untuk proses autoregressive.
2)
Mencari taksiran untuk parameter autoregressive menggunakan fungsi marginal likelihood.
1.4
PEMBATASAN MASALAH
Dalam mencari taksiran parameter dalam proses autoregressive dengan fungsi marginal likelihood perlu diadakan pembatasan masalah: 1)
Penaksiran parameter untuk proses autoregressive orde 1.
2)
Error berdistribusi normal.
1.5
SISTEMATIKA PENULISAN
Penulisan tugas akhir yang merupakan hasil studi pustaka ini, dibagi menjadi lima bab, yaitu: Bab I
Membahas tentang latar belakang masalah, perumusan masalah, tujuan penulisan, pembatasan masalah, dan sistematika penulisan.
Bab II
Membahas tentang dasar-dasar teori yang digunakan dalam penulisan skripsi, yaitu konsep dasar matriks, konsep dasar runtun waktu, proses autoregressive, proses circular, proses noncircular,
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
4
distribusi marginal, sufficient dan ancillary statistic, dan marginal likelihood. Bab III Membahas bagaimana mendapatkan fungsi marginal likelihood untuk proses autoregressive, dan bagaimana menaksir parameter autoregressive dari fungsi marginal likelihood. Bab IV
Aplikasi penaksiran parameter model untuk proses autoregressive orde satu.
Bab V
Kesimpulan dan Saran untuk tugas akhir ini.
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
5
BAB II LANDASAN TEORI
Bab ini akan membahas landasan teori yang menjadi dasar estimasi parameter autoregressive dengan fungsi marginal likelihood, yaitu konsep dasar matriks, distribusi marginal, sufficient dan ancillary statistic serta fungsi marginal likelihood. Selain itu, untuk lebih mengenal proses autoregressive, diberikan pula konsep dasar runtun waktu dan proses autoregressive yang telah dikenal secara umum.
2.1
KONSEP DASAR MATRIKS
Dalam subbab ini diberikan beberapa teorema dalam operasi dasar matriks yang akan digunakan dalam tugas akhir ini yang diambil dari buku Howard Anton, 1994. Teorema 2.1.1 Misalkan A adalah matriks berukuran N×M dan B adalah matriks berukuran P×Q, dimana N,M, P dan Q adalah bilangan asli , maka a)
(( A ) ') ' = A
b)
( A + B) ' = A ' + B ' dan ( A − B) ' = A '− B ' , dimana N=P dan M=Q
c)
(kA) ' = kA ' , dimana k adalah sembarang skalar
5 Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
6
d)
( AB) ' = B ' A ' , dimana M=P
Selanjutnya diberikan definisi dari minor dan kofaktor yang akan digunakan dalam mencari deteminan suatu matriks A N × N dan beberapa teorema mengenai determinan suatu matriks. Definisi 2.1.2 ”Definisi Minor dan kofaktor” Jika A adalah matriks persegi, maka minor dari entri aij dinotasikan dengan M ij dan didefinisikan sebagai determinan dari submatriks yang bersisa setelah baris ke-i dan kolom ke-j dihilangkan dari A. Bilangan
(−1)i + j M ij dinotasikan dengan Cij dan disebut kofaktor dari entri aij . Teorema 2.1.3 Determinan dari matriks AN×N dapat dihitung dengan mengalikan entrientri dalam baris (atau kolom) dengan kofaktor mereka dan menambahkan hasil perkaliannya, untuk setiap 1 ≤ i ≤ N dan 1 ≤ j ≤ N, det( A ) = a1 j C1 j + a2 j C2 j + ... + aNj CNj
(perluasan kofaktor sepanjang kolom ke-j) dan det( A ) = ai1Ci1 + ai 2Ci 2 + ... + aiN CiN (perluasan kofaktor sepanjang baris ke-i)
Teorema 2.1.4 Misalkan A adalah matriks bujur sangkar. a)
Jika A mempunyai baris atau kolom yang nol, maka det ( A )=0.
b)
Det ( A ) = det ( A ’)
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
7
Teorema 2.1.5 Jika A adalah matriks segitiga berukuran N×N (matriks segitiga atas, bawah atau diagonal), maka det( A ) adalah perkalian entri-entri diagonalnya, yaitu det ( A )= a11a22 ...aN × N Teorema 2.1.6 Misalkan A dan B adalah matriks yang berukuran N×N dan k adalah skalar, maka a)
Det (k A )= k N det( A )
b)
det( AB )= det( A ) det( B )
Teorema 2.1.7 Jika A invertible, maka det( A −1 ) =
1 det( A )
Teorema 2.1.8 Jika A adalah matriks yang mempunyai invers, maka A ' juga mempunyai invers, dan ( A ') −1 = ( A −1 ) ' .
2.2
KONSEP DASAR RUNTUN WAKTU
2.2.1 Runtun Waktu dan Proses Stokastik
Runtun waktu adalah himpunan barisan pengamatan yang terurut dengan waktu, dengan jarak interval waktu yang sama (Box – Jenkins, 1976).
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
8
Jika barisan pengamatan tersebut dicatat dalam waktu yang kontinu maka disebut runtun waktu kontinu, dan jika barisan pengamatan dicatat dalam waktu yang diskrit maka disebut runtun waktu diskrit. Notasikan Xt sebagai observasi pada waktu t. Untuk memodelkan ketidakpastian dalam observasi, asumsikan bahwa untuk setiap titik waktu t, Xt adalah variabel random. Runtun waktu yang akan dianalisis dapat dipandang sebagai realisasi dari proses stokastik.
2.2.2 Fungsi Mean, Fungsi Autokovariansi dan Fungsi Autokorelasi
Untuk proses stokastik { X t : t = 0, ±1, ±2,...} , fungsi mean dinotasikan dengan µt , yaitu:
µt = E ( X t )
untuk t = 0, ±1, ±2,...
Fungsi autokovariansi antara Xt dan Xs, dinotasikan dengan γ t , s , yaitu :
γ t , s = Cov( X t , X s ) = E[( X t − µt )( X s − µ s )] = E ( X t X s ) − µt µ s untuk t , s = 0, ±1, ±2,... (ditunjukkan dalam lampiran 1) Jika t = s maka γ t , s menjadi variansi X t , yaitu :
γ t ,t = Cov( X t , X t ) = Var ( X t )
untuk t = 0, ±1, ±2,...
Fungsi autokorelasi antara Xt dan Xs, dinotasikan dengan ρt , s , yaitu
ρt , s = Corr ( X t , X s ) =
γ t ,s Cov( X t , X s ) = untuk t dan s = 0, ±1, ±2,... 1/ 2 (Var ( X t ).Var ( X s )) (γ t ,t .γ s , s )1/ 2
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
9
2.2.3 Kestasioneran
2.2.3.1 Stasioner Kuat
Proses stokastik { X t } bersifat stasioner kuat jika distribusi bersama dari X t1 , X t2 ,..., X tn sama dengan distribusi bersama dari X t1 − k , X t2 − k ,..., X tn − k , yaitu dapat ditulis : Pr( X t1 , X t2 ,..., X tn ) = Pr( X t1 − k , X t2 − k ,..., X tn−k )
Untuk setiap titik waktu t 1 , t2 ,..., tn dan lag k (Jonathan D. Crayer, 1986).
2.2.3.2 Stasioner Lemah
Proses stokastik { X t } bersifat stationer lemah jika : 1. Fungsi mean konstan terhadap waktu, yaitu: E ( X t ) = E ( X t −k ) = µ
| µ |< ∞,
Untuk setiap t dan k. 2. Fungsi kovariansi antara Xt dan Xt-k hanya bergantung pada selang waktu k, tidak bergantung pada t, yaitu : Cov( X t , X t − k ) = Cov( X t − j , X t − k − j ) = γ k Untuk setiap t, k, dan j.
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
| γ k |< ∞
10
Jika k=0 maka γ k menjadi variansi X t , yaitu :
Var ( X t ) = Cov( X t , X t ) = γ 0 < ∞ Sehingga jika {Xt} stasioner lemah maka fungsi autokorelasi antara Xt dan Xt-k
ρ k = Corr ( X t , X t −k ) =
γk γ Cov( X t , X t − k ) = = k 1/ 2 1/ 2 γ0 (Var ( X t ).Var ( X t − k )) (γ 0 .γ 0 )
Untuk pembahasan selanjutnya, kata ’stasioner’ saja berarti stasioner lemah.
2.2.4 Proses White Noise
Proses white noise didefinisikan sebagai barisan variabel random {at} yang independen dan berdistribusi identik. Proses white noise bersifat stasioner kuat. Buktinya adalah sebagai berikut : Pr(a t1 ≤ x1 , a t2 ≤ x2 ,..., a tn ≤ xn ) = Pr(a t1 ≤ x1 ).Pr(a t2 ≤ x2 )...Pr(a tn ≤ xn )
(karena independen) = Pr(a t1 − k ≤ x1 ).Pr(a t2 − k ≤ x2 )...Pr(a tn − k ≤ xn )
(karena berdistribusi identik) = Pr(a t1 − k ≤ x1 , a t2 − k ≤ x2 ,..., a tn − k ≤ xn )
Karena berdistribusi identik, proses white noise mempunyai fungsi mean konstan, yaitu
µ = E (a t )
t = 1, 2,...
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
11
Fungsi autokovariansinya konstan :
γ k = Var (a t ) = σ a2
jika k = 0
= Cov(a t , a t − k ) = 0
jika k ≠ 0
Sehingga fungsi autokorelasinya, yaitu :
ρk = 1
, jika k = 0
=0
, jika k ≠ 0
Pada umumnya proses white noise diasumsikan berdistribusi normal dengan mean nol dan variansi konstan σ a2 sehingga dapat ditulis a t ∼ NIID (0, σ a2 ) .
2.3
PROSES AUTOREGRESSIVE
Misalkan {Xt} menotasikan runtun waktu yang terobservasi, dengan E ( X t ) = µ dan {at} adalah proses white noise yang berdistribusi NIID (0, σ a2 ) .
Asumsikan bahwa E ( X t ) = µ = 0 , dan jika µ ≠ 0 maka nilai runtun waktu {Xt} masing-masing dikurangi dengan µ , sehingga runtun waktu {Xt - µ } mempunyai mean nol. Asumsikan {Xt} stationer dan at independen dengan Xt-1, Xt-2,.... . Proses autoregressive, seperti pada namanya, berarti regresi terhadap dirinya sendiri. Runtun waktu {Xt} mengikuti proses autoregressive orde ke-p apabila memenuhi persamaan berikut ini : X t + α1 X t −1 + α 2 X t − 2 + ... + α p X t − p = a t
atau
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
(2.1)
12
X t = φ1 X t −1 + φ2 X t − 2 + ... + φ p X t − p + a t
dimana φi = −α i untuk i=1,2,...,p
Jadi pada proses ini, nilai runtun waktu saat ini direpresentasikan sebagai kombinasi linear dari dirinya sendiri sampai p satuan waktu kebelakang, kemudian ditambah satu suku white noise at.
2.3.1 Proses Autoregressive Orde Pertama
Runtun waktu {Xt} mengikuti proses autoregressive orde pertama, atau AR (1), apabila memenuhi persamaan berikut : X t + α1 X t −1 = a t
Fungsi autokovariansi proses AR (1) didapatkan dengan mengalikan kedua sisi persamaan X t + α1 X t −1 = a t dengan Xt-k, lalu mengekspektasikannya, yaitu : E ( X t X t − k + α1 X t −1 X t − k )
= E (a t X t − k )
E ( X t X t −k ) + α1 E ( X t −1 X t − k ) = E ( a t X t −k ), k ≥ 1
(2.1)
Karena at independen dengan Xt-k, k≥1, maka E(at Xt-k) = 0. Lalu untuk proses yang stasioner maka dapat ditulis E(Xt Xt-k) = γ k dan E(Xt-1 Xt-k)= γ k −1 . Sehingga (2.1) menjadi :
γ k = −α1γ k −1 , k ≥ 1
(2.2)
Untuk k = 0, akan diperoleh variansi dari AR(1). Dengan mengambil variansi pada kedua sisi X t + α1 X t −1 = a t didapatkan
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
13
Var ( X t ) + Var (α1 X t −1 ) + 2Cov( X t , α1 X t −1 ) = Var (a t ) Var ( X t ) + α12Var ( X t −1 ) + 2α1Cov( X t , X t −1 ) = Var (a t ) Karena diasumsikan prosesnya stasioner, maka Var (Xt) = Var(Xt-1) = γ 0 dan Cov( X t , X t −1 )= γ 1 . Sehingga variansi proses AR(1) yaitu :
γ 0 + α12 γ 0 + 2α1γ 1 = +σ a2 γ 0 (1 + α12 )
= σ a2 − 2α1γ 1
γ0
σ a2 − 2α1γ 1 = 1 + α12
Dengan mensubstitusikan persamaan (2.2) maka diperoleh
γ0
=
σ a2 − 2α1 (−α1γ 0 ) 1 + α12
γ 0 (1 + α12 ) = σ a2 + 2α12γ 0 γ 0 (1 + α12 − 2α12 ) = σ a2 γ0
=
σ a2 1 − α12
Karena γ 0 adalah variansi maka 1 − α12 > 0 atau | α1 |< 1 . Hal ini merupakan kondisi stasioner untuk AR(1). Dengan mensubstitusikan variansi dari AR(1) atau γ 0 ke dalam persamaan (2.2) maka didapatkan
σ a2 γ k = ( −1) α ,k≥1 1 − α12 k
k
1
(2.3)
Dengan membagi kedua sisi persamaan (2.2) dengan γ 0 , didapatkan fungsi autokorelasi proses AR(1), yaitu :
ρ k = −α ρ k −1 , k ≥ 1 1
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
14
Atau dari (2.3),
σ a2 ( −1) α γk 1 − α12 k ρk = = = ( −1) α1k , k≥1 2 σa γ0 1 − α12 k
k 1
(2.4)
2.3.2 Proses Autoregressive Orde Dua
Runtun waktu {Xt} mengikuti proses autoregressive orde kedua, atau AR (2), apabila memenuhi persamaan berikut : X t + α1 X t −1 + α 2 X t −2 = a t
(2.5)
Jika kedua sisi persamaan (2.5) dikalikan dengan Xt-k lalu diekspektasikan maka didapatkan fungsi autokovariansi proses AR(2), yaitu :
X t X t −k + α1 X t −1 X t −k + α 2 X t −2 X t −k
E ( X t X t − k + α1 X t −1 X t − k + α 2 X t −2 X t −k )
= a t X t −k
= E ( a t X t −k )
E ( X t X t − k ) + α1 E ( X t −1 X t −k ) + α 2 E ( X t − 2 X t −k ) = E ( a t X t −k ) , k ≥ 1
(2.6)
Karena at independen dengan Xt-k, k≥1, maka E(at Xt-k) = 0. Lalu untuk proses yang stasioner maka dapat ditulis E(Xt Xt-k) = γ k , E(Xt-1 Xt-k)= γ k −1 dan E(Xt-2Xt-k)= γ k −2 . Sehingga (2.6) menjadi :
γ k = −α1γ k −1 − α 2γ k − 2 , k ≥ 1 Untuk k = 1,
γ 1 = −α1γ 0 − α 2γ −1 = −α1γ 0 − α 2γ 1 −α γ = 1 0 , α 2 ≠ −1 1+ α2
(2.7)
karena γ −1 = γ 1
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
15
Untuk k = 2,
γ 2 = −α1γ 1 − α 2γ 0 −α γ = −α1 1 0 − α 2 γ 0 1+ α2 =
γ 0 (α12 − α 2 − α 22 ) 1+ α2
Dengan mengambil variansi pada kedua sisi persamaan (2.5) didapatkan :
Var ( X t + α1 X t −1 + α 2 X t − 2 ) = Var (a t ) Var ( X t ) + Var (α1 X t −1 ) + Var (α 2 X t − 2 ) +
2Cov( X t , α1 X t −1 ) + 2Cov( X t , α 2 X t − 2 ) + 2Cov(α1 X t −1 , α 2 X t − 2 ) = Var (a t ) Var ( X t ) + α12Var ( X t −1 ) + α 22Var ( X t − 2 ) + 2α1Cov( X t , X t −1 ) + 2α 2Cov( X t , X t − 2 ) + 2α1α 2Cov( X t −1 , X t − 2 ) = Var (a t ) Karena diasumsikan stasioner maka Var(Xt) = Var (Xt-1) = Var (Xt-2) = γ 0 , Cov (Xt,Xt-1)= Cov(Xt-1,Xt-2)= γ 1 , Cov(Xt,Xt-2)= γ 2 , dan Sehingga variansi proses AR (2) yaitu :
γ 0 (1 + α12 + α 22 ) + 2α1γ 1 + 2α 2γ 2 + 2α1α 2γ 1 = σ a2
(
)
γ 0 α12 − α 2 − α 22 −α1γ 0 −α γ γ 0 (1 + α + α ) + 2α1 + 2α 2 + 2α1α 2 1 0 = σ a2 1 + α2 1+ α2 1+ α2 2 1
2 2
γ 0 (1 + α12 + α 22 ) (1 + α 2 ) − 2α12γ 0 − 2α 22γ 0 − 2α 23γ 0 1+ α2
= σ a2
γ 0 (1 − α12 − α 22 + α 2 + α12α 2 − α 23 ) = σ a2 1+ α2 γ0 =
γ0 =
(1 + α 2 ) σ a2
1 − α12 − α 22 + α 2 + α12α 2 − α 23
(1 + α 2 ) σ a2 (1 − α 2 ) (1 − (α1 − α 2 ) ) (1 + (α1 + α 2 ) )
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
16
karena γ 0 adalah variansi maka :
γ0 =
1+ α2 1 >0 1 − α 2 (1 − (α1 − α 2 ))(1 + (α1 + α 2 ))
Solusinya adalah syarat kestasioneran untuk AR(2), yaitu : | α 2 |< 1, α1 − α 2 < 1, α1 + α 2 < −1
(2.8)
Dengan membagi kedua sisi persamaan (2.7) dengan γ 0 , didapatkan fungsi autokorelasi proses AR (2), yaitu :
ρ k = −α1 ρ k −1 − α 2 ρ k − 2 , k = 1,2,...
(2.9)
Jadi ρ k , k = 2,3,... , dapat dicari secara rekursif dari (2.9) dengan nilai awal
ρ 0 = 1 dan ρ1 =
−α1 . Nilai ini akan menurun secara eksponensial untuk 1+ α2
nilai k yang semakin besar. Persamaan (2.7) dan (2.9) disebut persamaan Yule-Walker.
2.3.3 Proses Autoregressive Orde ke-p
Runtun waktu {Xt} mengikuti proses autoregressive umum orde ke-p, atau AR (p), apabila memenuhi persamaan berikut : X t + α1 X t −1 + α 2 X t − 2 + ... + α p X t − p = a t
(2.10)
Dengan mengalikan kedua sisi persamaan (2.10) dengan Xt-k lalu diekspektasikan maka didapatkan fungsi autokovariansi untuk AR (p), yaitu :
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
17
X t X t − k + α1 X t −1 X t − k + α 2 X t − 2 X t − k + ... + α p X t − p X t − k
E ( X t X t − k + α1 X t −1 X t − k + α 2 X t − 2 X t − k + ... + α p X t − p X t − k )
= a t X t −k = E ( a t X t −k )
E ( X t X t − k ) + α1 E ( X t −1 X t − k ) + α 2 E ( X t − 2 X t − k ) + ... + α p E ( X t − p X t − k ) = 0 E ( X t X t −k )
= −α1 E ( X t −1 X t − k ) − α 2 E ( X t − 2 X t − k ) − ... − α p E ( X t − p X t − k )
γ k = −α1γ k −1 − α 2γ k −2 − ... − α pγ k − p
(2.11)
Kalikan persamaan (2.10) dengan Xt lalu diekspektasikan, didapatkan :
X t X t + α1 X t −1 X t + α 2 X t − 2 X t + ... + α p X t − p X t
= at X t
E ( X t X t + α1 X t −1 X t + α 2 X t − 2 X t + ... + α p X t − p X t )
= E (a t X t )
E ( X t X t ) + α1 E ( X t −1 X t ) + α 2 E ( X t − 2 X t ) + ... + α p E ( X t − p X t ) = E (a t X t )
E ( X t , X t ) = −α1 E ( X t −1 , X t ) − α 2 E ( X t − 2 , X t ) − ... − α p E ( X t − p , X t ) + E (a t X t )
γ0
= −α1γ 1 − α 2γ 2 − ... − α pγ p + E (at X t )
Karena E(atXt) = E (at (φ1 X t −1 + φ2 X t − 2 + ... + φ p X t − p + at )) = E ( at2 ) = σ a2 , maka variansi proses AR (p), yaitu :
γ 0 = −α1γ 1 − α 2γ 2 − ... − α pγ p + σ a2 Dengan membagi persamaan (2.11) dengan γ 0 , didapatkan fungsi autokorelasi proses AR (p), yaitu :
ρ k = −α1 ρ k −1 − α 2 ρ k − 2 − ... − α p ρ k − p
(2.12)
Persamaan (2.12) disebut persamaan Yule-walker. Nilai ini akan menurun secara eksponensial untuk nilai k yang semakin besar. Untuk Xt dengan mean tidak nol (E(Xt) = µ ≠ 0), model AR (p) dapat ditulis :
( X t − µ ) + α1 ( X t −1 − µ) + α2 ( X t −2 − µ ) + ... + α p ( X t − p − µ ) = at Xt
= µ − α1 X t −1 + α1µ − φ2 X t −2 + α2 µ + ... − α p X t − p + α p µ = at
Xt
= θ0 − α1 X t −1 − α2 X t −2 − ... − α p X t − p + at
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
18
dengan θ0 = µ (1 + φ1 + φ2 + ... + φ p ) . Penambahan θ 0 pada ruas kanan tidak mempengaruhi variansi dan fungsi autokovariansi. Buktinya adalah sebagai berikut : = θ 0 − α1 X t −1 − α 2 X t − 2 − ... − α p X t − p + a t
Xt
E ( X t X t ) = E (θ 0 X t − α1 X t −1 X t − α 2 X t − 2 X t − ... − α p X t − p X t + a t X t ) E ( X t 2 ) = θ 0 E ( X t ) − α1 E ( X t −1 X t ) − α 2 E ( X t − 2 X t ) − ... − α p E ( X t − p X t ) + E (a t X t ) E ( X t 2 ) = µ (1 + α1 + α 2 + ... + α p ) µ − α1 E ( X t −1 X t ) − α 2 E ( X t − 2 X t ) − ... − α p E ( X t − p X t ) + E (a t X t )
E ( X t 2 ) = µ 2 + α1µ 2 + α 2 µ 2 + ... + α p µ 2 − α1 E ( X t −1 X t ) − α 2 E ( X t − 2 X t ) − ... − α p E ( X t − p X t ) + E (a t X t ) E ( X t X t ) − µ 2 = −α1 E ( X t −1 X t ) − µ 2 − α 2 E ( X t − 2 X t ) − µ 2 − ... − α p E ( X t − p X t ) − µ 2 + E (a t X t )
γ0
= −α1γ 1 − α 2γ 2 − ... − α pγ p + σ 2
Untuk membuktikan bahwa fungsi autokovariansi tidak berubah dengan penambahan θ 0 pada ruas kanan dapat dilakukan dengan cara yang sama seperti membuktikan bahwa variansi tidak berubah dengan penambahan θ 0 .
2.4
PROSES CIRCULAR
Definisi Vektor dari N variabel random diberikan dengan X ' = { X N , X N −1 ,..., X 1} , disebut proses circular jika mempunyai sifat-sifat distribusi seperti dibawah ini: 1.
E ( X) = 0
2.
E ( X s2 ) = σ 2
s = 1, 2, ..., N
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
19
3.
E ( X s X s+ L ) = σ 2 ρL
s = 1, 2, ..., N
ρ N +L = ρN −L = ρL
dimana
barisan dari nilai ρ1 , ρ 2 ,..., ρ N adalah barisan autokorelasi dari proses.
4.
ρ1 ρ 2 1 ρ 1 ρ1 1 2 E ( XX ') = σ ρ 2 ρ1 1 ⋮ ρ1 ρ 2 ρ3
ρ3 .... ρ2 ρ 2 .... ρ3 ρ1 .... ρ 4 ρ 4 .... ρ1
ρ1 ρ 2 ρ3 = Ω
⋮ 1
dimana Ω adalah matriks autokovariansi yang berukuran N×N (J. Wise, 1955). Berdasarkan definisi diatas, proses circular dapat disimpulkan merupakan proses yang stationer berdasarkan sub 2.2.3.1. Matriks autokovariansi, Ω , dapat dinyatakan dalam bentuk dibawah ini:
Ω = σ 2{I + ρ1 ( W + W −1 ) + ρ 2 ( W 2 + W -2 ) + ... + ρ 1 2
1
( N −1)
(W 2
( N −1)
+W
1 − ( N −1) 2
)} ,
dimana N bilangan ganjil positif, atau 1 1 − N 1 N 2 Ω = σ {I + ρ1 ( W + W ) + ρ 2 ( W + W ) + ... + ρ 1 ( W + W 2 )} , 2 2N 2
−1
2
-2
dimana N bilangan genap positif (ditunjukkan dalam lampiran 2). Untuk semua nilai N, I menotasikan matriks identitas berukuran N×N dan W adalah circulant definition of auxiliary identity matrix berukuran N×N, dimana
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
20
0 0 0 W= ⋮ 0 1
1
0 0 ...
0 1
0 ...
0 0 1 ...
⋱ 0 0 0 ... 0 0 0 0
0 0 0 ⋮ 1 0
Sifat-sifat dari W , yaitu : 1.
W −1 = W ' (ditunjukkan dalam lampiran 3).
2.
W N = I (ditunjukkan dalam lampiran 4).
2.5
PROSES NONCIRCULAR
Definisi Vektor dari N variabel random diberikan dengan X ' = { X N , X N −1 ,..., X 1} , disebut proses noncircular jika mempunyai sifat-sifat distribusi seperti dibawah ini: 1.
E ( X) = 0
2.
E ( X s2 ) = σ 2
3.
E ( X s X t ) = σ 2 ρ| s − t |
s = 1, 2, ..., N s,t = 1, 2, ..., N , s≠t
barisan dari nilai ρ1 , ρ 2 ,..., ρ N adalah barisan autokorelasi dari proses.
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
21
4.
ρ1 ρ2 1 ρ 1 ρ1 1 1 ρ1 E ( XX ') = σ 2 ρ 2 ⋮ ρ N −1 ρ N − 2 ρ N −3
ρ3 ρ2 ρ1
.... ρ N − 2 .... ρ N −3 .... ρ N − 4
ρ N − 4 .... ρ1
ρ N −1 ρ N − 2 ρ N −3 = Ω ⋮ 1
dimana Ω adalah matriks autokovariansi yang berukuran N×N (J. Wise, 1955). Berdasarkan definisi diatas, dapat disimpulkan proses noncircular adalah proses yang stasioner berdasarkan 2.2.3.1. Matriks autokovariansi, Ω , dapat dinyatakan dalam bentuk dibawah ini: Ω = σ 2 {I + ρ1 (U + U ' ) + ρ 2 (U 2 + U ' 2 ) + ... + ρ N −1 (U N −1 + U '( N −1) )} ,
Untuk sembarang N, dimana N bilangan asli (ditunjukkan dalam lampiran 5). Untuk semua nilai N, I adalah matriks identitas berukuran N×N dan U adalah noncirculant definition of auxiliary identity matrix berukuran N×N, dimana
0 0 0 U= ⋮ 0 0
1
0 0 ...
0 1
0 ...
0 0 1 ...
⋱ 0 0 0 ... 0 0 0 0
0 0 0 ⋮ 1 0
Sifat dari matriks U adalah U N = 0 , dimana 0 adalah matriks nol berukuran N×N (ditunjukkan dalam lampiran 6).
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
22
2.6
DISTRIBUSI MARGINAL
Definisi Jika X dan Y adalah variabel random kontinu dan f(x,y) adalah pdf bersama dari X dan Y, maka g ( x) =
∞
∫
f ( x, y )dy
untuk −∞ < x < ∞
−∞
adalah pdf marginal dari X, dan h( y ) =
∞
∫
f ( x, y )dx
untuk −∞ < y < ∞
−∞
adalah pdf marginal dari Y (J. E. Freund, 1992). Definisi diatas dapat diperluas untuk N variabel random X 1 , X 2 ,..., X N . Jika pdf bersama dari variabel random kontinu X 1 , X 2 ,..., X N adalah f ( x1 , x2 ,..., xN ) , maka pdf marginal dari X 2 adalah h( x2 ) =
∞
∞
−∞
−∞
∫ ... ∫
f ( x1 , x2 ,..., xN )dx1dx3 ...dxN
untuk −∞ < x2 < ∞
Pdf marginal dari X 1 dan X N adalah
ϕ ( x1 , xN ) =
∞
∞
−∞
−∞
∫ ... ∫ f ( x1 , x2 ,..., xN ) dx2 dx3 ...dxN −1
untuk −∞ < x1 < ∞ dan − ∞ < xN < ∞
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
23
2.7
SUFFICIENT DAN ANCILLARY STATISTIC
Misalkan X 1 , X 2 ,..., X N adalah sampel random berukuran N dari variabel random X, dimana X memiliki distribusi tertentu. Jika sembarang fungsi Y = u ( X 1 , X 2 ,..., X N ) adalah fungsi dari sampel random X yang tidak bergantung pada parameter maka fungsi Y = u ( X 1 , X 2 ,..., X N ) disebut dengan statistik (Robert V. Hogg, Joseph W. Mckean, dan Allen T. Craig, 2005). N
Contoh, variabel random Y = ∑ X i adalah statistik. i =1
Walaupun statistik tidak bergantung pada parameter, namun distribusinya bisa saja masih bergantung pada parameter. Statistik yang distribusinya bergantung pada parameter disebut sufficient statistic. Sufficient statistic mengandung semua informasi mengenai parameter, namun ada statistik lain yang kelihatannya tidak memuat informasi mengenai parameter karena distribusinya bebas dari parameter, statistik ini disebut ancillary statistic. Berikut ini, diberikan penjelasan lebih lanjut mengenai sufficient dan ancillary statistic.
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
24
2.7.1 Sufficient Statistic
Berikut ini definisi dari sufficient statistic: Misal X1,X2,...,XN menyatakan suatu sampel random berukuran N dari suatu distribusi yang mempunyai pdf f ( x;θ ) , θ ∈ Ω . Misal Y1 = u1 ( X 1 , X 2 ,..., X N ) adalah suatu statistik yang pdf-nya adalah g1 ( y1 ;θ ) .
Maka Y1 adalah sufficient statistic untuk θ jika dan hanya jika
f ( x1 ;θ ) f ( x2 ;θ ) ... f ( xN ;θ ) g1 u1 ( x1 , x2 ,..., xN ) ;θ
= H ( x1 , x2 ,..., xN )
Dimana H ( x1 , x2 ,..., xN ) tidak bergantung pada θ ∈ Ω (Robert V. Hogg, Joseph W. Mckean, dan Allen T. Craig, 2005). Definisi dapat diperluas untuk kasus dimana X 1 , X 2 ,..., X N tidak saling bebas dan tidak berdistribusi identik, yaitu dengan persamaan berikut: f ( x1 , x2 ,..., xN ;θ ) = H ( x1 , x2 ,..., xN ) g1 (u1 ( x1 , x2 ,..., xN );θ )
dimana f ( x1 , x 2 ,..., xN ) adalah pdf bersama dari X 1 , X 2 ,..., X N dan H ( x1 , x2 ,..., xN ) tidak bergantung pada θ ∈ Ω .
Berdasarkan definisi diatas, jika Y1 = u1 ( X 1 , X 2 ,..., X N ) adalah Sufficient statistic, probabilitas bersyarat dari X 1 , X 2 ,..., X N tidak tergantung pada θ . Secara intuisi, jika ditentukan Y1 = y 1 , distribusi dari statistik lain, misalnya Y2 = u2 ( X 1 , X 2 ,..., X N ) , tidak bergantung pada parameter θ karena distribusi
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
25
bersyarat dari X 1 , X 2 ,..., X N tidak bergantung pada θ . Jadi, Y1 mengambil semua informasi dari θ yang terkandung dalam sampel.
2.7.2 Ancillary statistic
Ada statistik lain yang hampir kelihatannya berlawanan dengan sufficient statistic. Jika sufficient statistic mengandung semua informasi mengenai parameter, statistik yang lain ini, disebut ancillary statistic, mempunyai distribusi yang bebas dari parameter dan kelihatannya tidak mengandung informasi mengenai parameter itu. Untuk ilustrasi, variansi S 2 dari sampel random yang berdistribusi N (θ ,1) mempunyai distribusi yang tidak bergantung pada θ . Contoh lain, rasio Z =
X1 , dimana X 1 , X 2 X1 + X 2
adalah sampel random dari distribusi gamma dengan parameter α > 0 diketahui dan parameter β = θ tidak diketahui, karena Z mempunyai distribusi beta yang bebas dari parameter θ , maka Z adalah ancillary statistic (Robert V. Hogg, Joseph W. Mckean, dan Allen T. Craig, 2005)”. Untuk menentukan apakah statistik adalah ancillary statistic, harus dibuktikan bahwa distribusi dari statistik tersebut bebas dari parameter populasi yang tidak diketahui. Robert V. Hogg, Joseph W. Mckean, dan Allen T. Craig, (2005), memberikan beberapa aturan sehingga dapat lebih mudah menemukan ancillary statistic untuk model tertentu, yaitu:
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
26
1.
Model Location Sampel random berukuran N, X 1 , X 2 ,..., X N , mengikuti Model location
jika X i = θ + Wi
i = 1, 2,..., N
(2.13)
dimana −∞ < θ < ∞ dan W1 , W2 ,..., WN adalah variabel random dengan pdf
f (W ) yang tidak bergantung pada θ dan cdf kontinu F (W ) . Dengan pendefinisian seperti ini, maka θ adalah location parameter. Dari persamaan (2.13), wi = xi − θ , i=1,2,...,N, maka pdf dari X i adalah g ( xi ;θ ) = f ( wi )
dxi dwi
= f ( xi − θ ).1 = f ( xi − θ )
i = 1, 2,..., N
Misalkan v = u ( x1 , x2 ,..., xN ) adalah statistik sedemikian sehingga
u ( x1 + c, x2 + c,..., xN + c ) = u ( x1 , x2 ,..., xN ) untuk semua bilangan real c. Oleh karena itu, v = u (W1 + θ , W2 + θ ,..., WN + θ ) = u (W1 , W2 ,..., WN )
adalah fungsi dari W1 , W2 ,..., WN yang tidak tergantung pada θ . Oleh sebab itu, v mempunyai distribusi yang tidak bergantung pada θ . Statistik v = u ( x1 , x2 ,..., xN ) disebut juga location-invariant statistic.
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
27
2.
Model Scale Misalkan variabel random X 1 , X 2 ,..., X N mengikuti model scale, bentuk
modelnya yaitu: X i = θ Wi
i = 1, 2,..., N
(2.14)
Dimana θ > 0 , dan W1 , W2 ,..., WN adalah variabel dengan pdf f (W ) yang tidak bergantung pada θ dan cdf kontinu F (W ) . Dengan pendefinisian seperti ini, maka θ adalah scale parameter. Dari persamaan (2.14), wi = g ( xi ;θ ) = f ( wi )
xi
θ
, i=1,2,...,N, maka pdf dari X i adalah
dxi dwi
x 1 = f ( i ).
θ θ
=
x f i θ θ 1
i = 1, 2,..., N
Misalkan v = u ( x1 , x2 ,..., xN ) adalah statistik sedemikian sehingga
u ( cx1 , cx2 ,..., cxN ) = u ( x1 , x2 ,..., xN ) untuk semua bilangan real c>0. Maka v = u ( X 1 , X 2 ,..., X N ) = u (θ W1 ,θ W2 ,...,θ WN ) = u (W1 ,W2 ,...,WN )
adalah fungsi dari W1 , W2 ,..., WN yang tidak tergantung pada θ . Oleh sebab itu, v mempunyai distribusi yang tidak bergantung pada θ . Statistik v = u ( x1 , x2 ,..., xN ) disebut juga scale-invariant statistic.
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
28
3.
Model Location-Scale Misalkan variabel random X 1 , X 2 ,..., X N mengikuti model Location-
scale, bentuk modelnya yaitu: X i = θ1 + θ 2Wi
i = 1, 2,..., N
(2.15)
Dimana −∞ < θ1 < ∞ , θ 2 > 0 , dan W1 , W2 ,..., WN adalah variabel random dengan pdf f (W ) yang tidak bergantung pada θ1 dan θ 2 . Dengan pendefinisian seperti ini, maka θ1 adalah Location parameter dan θ 2 adalah scale parameter. Dari persamaan (2.15), wi =
xi − θ1
θ2
, i=1,2,...,N, maka pdf dari X i
adalah
g ( xi ;θ ) = f ( wi )
dxi dwi
x −θ 1 = f i 1 . θ2 θ2 1 xi − θ1 f = θ2 θ2
i = 1, 2,..., N
Misalkan v = u ( x1 , x2 ,..., xN ) adalah statistik sedemikian sehingga
u ( cx1 + d , cx2 + d ,..., cxN + d ) = u ( x1 , x2 ,..., xN ) untuk semua bilangan real d dan c>0. Maka v = u ( X 1 , X 2 ,..., X N ) = u (θ1 + θ 2W1 ,..., θ1 + θ 2WN ) = u (W1 ,W2 ,..., WN )
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
29
adalah fungsi dari W1 , W2 ,..., WN yang tidak tergantung pada θ1 dan θ 2 . Oleh sebab itu, v mempunyai distribusi yang tidak bergantung pada θ1 dan θ 2 . Statistik v = u ( x1 , x2 ,..., xN ) disebut juga location-scale-invariant statistic. Berikut ini, diberikan contoh dari penggunaan model Location-Scale untuk membuktikan suatu statistik adalah ancillary statistic. Misalkan terdapat N variabel random X 1 , X 2 ,..., X N , dapat dinyatakan sebagai: X i = µ + σ ei
i=1,2,...,N
dimana ei mempunyai distribusi tertentu yang tidak bergantung pada µ dan
σ . Akan dibuktikan d = {di } =
(
)
{( x − x ) / s } ,i=1,2,...,N , dimana x = ∑ i
x
N
x /N
i =1 i
2
dan sx2 = ∑ i =1 xi − x /( N − 1) adalah ancillary statistic. N
Bukti: Karena variabel random X 1 , X 2 ,..., X N mengikuti model location-scale maka d = {di } =
{( x − x ) / s } ,i=1,2,...,N disebut ancillary statistic jika untuk i
x
sembarang bilangan real d dan c>0 berlaku
u ( cx1 + d , cx2 + d ,..., cxN + d ) = u ( x1 , x2 ,..., xN )
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
30
Untuk sembarang bilangan real d dan c>0, d i = ui ( cx1 + d , cx2 + d ,..., cxN + d ) N
∑ cx + d
cxi + d −
=
i
i =1
N
N cxi + d ∑ N cxi + d − i =1 ∑ N i =1 N −1
2
N
di =
N (cxi + d ) − c ∑ xi − N d i =1
N −1
.
N
N
∑
i =1
c N xi − = N
xi .
N
∑
i =1
N −1 N
∑
i =1
(
N
c2∑
i =1
xi −
xi ∑ i =1 N N
2
(x
i
− x
)
2
N −1
)
= c xi − x .
∑ (x N
c
i =1
=
c
N −1
)
= c xi − x .
(
N c ∑ xi c x i + d − i =1 − d N
i
− x
)
2
xi − x sx
= u ( x 1 , x 2 , ..., x N )
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
2
31
sehingga d i = ui ( x1 , x2 ,..., xN ) = u ( µ + σ e1 ,..., µ + σ eN ) = u (e1 , e2 ,..., eN )
adalah fungsi dari e1 , e2 ,..., eN yang tidak tergantung pada µ dan σ . Oleh sebab itu, d mempunyai distribusi yang tidak bergantung pada µ dan σ . Jadi
d = {d i } =
{( x − x ) / s } ,i=1,2,...,N , adalah ancillary statistic. i
x
Berikut ini diberikan alternatif lain untuk membuktikan bahwa
d = {d i } =
{( x − x ) / s } ,i=1,2,...,N adalah ancillary statistic.
d = {d i } =
{( x − x ) / s } ,i=1,2,...,N adalah ancillary statistic jika distribusi dari d
i
x
i
x
tidak bergantung pada µ dan σ . Oleh karena itu, akan dibuktikan bahwa distribusi dari d tidak bergantung pada µ dan σ . Bukti: •
Transformasi di =
•
xi − x sx
i=1,2,...,N
Invers dari transformasi, d i =
xi − x ,i=1,2,...,N , yaitu sx
xi = di sx + x
µ + σ ei = di s x + x jadi ei =
d i sx + x − µ
σ
untuk i=1,2,...,N
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
32
•
Pdf dari x, sx , d
(
)
(
∂e1 ∂s x
∂e1 ∂d1
∂e1 ∂d 2
...
∂e2 ∂s x
∂e2 ∂d1
∂e2 ∂d 2
...
f x, sx , d ; µ , σ = J f v1 ( x, s x , d1 ),..., vN ( x, sx , d N ); µ , σ ∂e1 ∂x ∂e2 ∂x ⋮ J = ∂e N − 2 ∂x ∂eN −1 ∂x ∂eN ∂x
⋱ ∂e N − 2 ∂s x
∂eN − 2 ∂d1
∂eN − 2 ∂d 2
∂eN −1 ∂s x
∂eN −1 ∂d1
∂eN −1 ∂d 2
...
∂eN ∂s x
∂e N ∂d1
∂e N ∂d 2
...
1 d1 1 d 2 1 ⋮ = σ 1 d N −2 1 d N −1 1 d N
...
∂e1 ∂d N − 2 ∂e2 ∂d N − 2
∂e N ∂d N − 2
1
0 0 ⋱ ⋮ ... s x ... 0 ... 0
0 0 0
1 d1 1 d2 1 ⋮ = N σ 1 d N −2
sx 0
0 sx
0
0
... 0 ... 0 ⋱ ⋮ ... s x
1 d N −1 1 dN
0 0
0 0
... ...
0 0
sx 0
0 sx
... ...
0 0
0 0 0
⋱ ⋮ s N − 2 1 d N −1 = xN ... s x σ 1 dN ... 0 ... 0
=
sx ⋮ σ N 1 d N −3 1 d N −1 1 dN s xN − 2
σN
0 0 0
σ
σ
0 0 0
=
1
∂d N − 2
0 sx
d1 d2
σ
⋮ ⋮ ∂eN − 2 = 1 ∂d N − 2 σ 1 ∂eN −1
sx 0
1 1
1
σ
) d1
σ
sx
σ
0
...
0
d2
0
sx
...
0
⋱
⋮ sx
σ
σ
d N −2
0
0
...
σ
d N −1
0
0
...
0
dN
0
0
...
0
σ
σ
σ
... ...
teorema 2.1.6 a
( d N − d N −1 )
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
33
Jadi
(
)
(
f x, sx , d ; µ , σ = J f v1 ( x, s x , d1 ),..., vN ( x, sx , d N ); µ , σ
=
s xN − 2 ( d N − d N −1 )
σ
N
)
d s + x−µ d s +x−µ f 1 x ,...., N x σ σ
(2.16)
Integrasi terhadap x dan sx mengeliminasi µ dan σ (ditunjukkan dalam
lampiran 7). Ini menunjukkan distribusi marginal dari d bebas dari parameter
µ dan σ . Sehingga terbukti bahwa d adalah ancillary statistic.
2.8
Marginal Likelihood
Misalkan variabel random X = {xi } , i=1,2,…,N, dengan pdf f ( x;θ ) dan θ=(µ,σ) adalah vektor parameter yang tidak diketahui, maka fungsi likelihood adalah sebagai berikut L( µ , σ ; X ) = f ( X ; µ , σ )
Menurut Sprott D.A (2000), jika statistik d = {d i } , i=1,2,...,N, merupakan ancillary statistic untuk µ, maka fungsi marginal likelihood untuk σ, Lm (σ ; d ) , adalah L( µ , σ ; X ) = f ( X ; µ , σ ) = f (d , σ ) f ( X ; µ , σ | d ) = Lm (σ ; d ) Lres ( µ , σ ; X )
dimana factor Lres ( µ , σ ; X ) mengandung informasi yang tidak berarti mengenai σ ketika µ tidak diketahui.
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
34
BAB III Fungsi Marginal Likelihood untuk Proses AR
3.1
Structural Model
Misalkan variabel respon X dihasilkan dari suatu proses yang stabil. Variasi dalam variabel respon biasanya diakibatkan oleh: variasi dalam alat yang digunakan, variasi dalam kondisi proses, dan variasi dalam operasi dari proses. Sumber-sumber variasi ini membentuk error dari proses yang merupakan variabel random yang membutuhkan ukuran scale. Misalkan xi adalah respon ke-i, dan v1i , v2 i ,..., vri adalah constructed variabel yang bersesuaian dengan respon ke-i. Dan misalkan σ adalah scaling respon dari variabel error dan β1 , β 2 ,..., β r adalah kontribusi yang diberikan oleh constructed variabel terhadap variabel respon. Fraser (1967) memperkenalkan structural model. Structural model adalah variabel respon dari suatu proses yang stabil dapat dinyatakan sebagai kombinasi linear dari constructed variabel dan variabel error, dan dapat ditulis sebagai:
x1 = β1v11 + ... + β r vr1 + σ e1 x2 = β1v12 + ... + β r vr 2 + σ e2 ⋮ xN = β1v1 N + ... + β r vrN + σ eN
34 Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
(3.1)
35
3.2
Proses Autoregressive sebagai Structural Model
Pada umumnya, bentuk umum proses autoregressive orde p telah dinyatakan dalam persamaan (2.1) sebagai p
∑α k =0
k
( X t −k − µ ) = a t
(α 0 = 1)
dimana { X t : t = 1, 2,..., N } adalah data runtun waktu yang stasioner, at adalah white noise, a t ∼ NIID (0, σ 2 ) , α = (α1 ,..., α p ) ' adalah parameter autoregressive dan µ adalah mean proses. Misalkan terdapat variabel random Zt yang mempunyai mean nol, variansi 1 dan independent , maka σ Z t akan mempunyai mean nol dan variansi σ 2 sama halnya dengan at (ditunjukkan dalam lampiran 8), sehingga persamaan (2.1) dapat ditulis sebagai: p
∑α k =0
k
( X t −k − µ ) = σ Zt
(α 0 = 1)
(3.2)
Untuk ukuran sampel N, data runtun waktu yang stasioner { X t ; t = 1, 2,..., N } , dapat dinyatakan sebagai structural model, yaitu: X = µ1 + σ e
(3.3)
dimana X = ( X 1 , X 2 ,..., X N ) ' , 1 ' = (1,1,...,1) dan e = ( e1 , e2 ,..., eN ) ' adalah vektor variabel error yang tidak terobservasi yang dibatasi pada pembatasan masalah berdistribusi normal.
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
36
Berdasarkan persamaan (3.3), maka persamaan (3.2) dapat ditulis sebagai: p
∑α k =0
k
( X t −k − µ )
= σ Zt
α 0 ( X t − µ ) + α1 ( X t −1 − µ ) + ... + α p ( X t − p − µ )
(α 0 = 1)
= σ Zt
α 0 ( µ + σ et − µ ) + α1 ( µ + σ et −1 − µ ) + ... + α p ( µ + σ et − p − µ ) = σ Z t σ (α 0et + α1et −1 + ... + α p et − p )
= σ Zt
α 0 et + α1et −1 + ... + α p et − p
= Zt
p
∑α e s =0
s t −s
= Zt
(α 0 = 1)
(3.4)
Persamaan (3.3) dan (3.4) adalah proses autoregressive sebagai structural model.
3.2.1 Proses Autoregressive yang Circular
Dengan memandang e sebagai proses autoregressive yang circular, maka persamaan (3.4) untuk N observasi dapat ditulis sebagai:
e N + α 1e N −1 + α 2 e N − 2 + ... + α p e N − p
= ZN
e N −1 + α 1e N − 2 + α 2 e N − 3 + ... + α p e N − p −1 = Z N-1
e N − 2 + α 1e N − 3 + α 2 e N − 4 + ... + α p e N − p − 2 = Z N-2 (3.5)
⋮ e2 + α 1e1 + α 2 e N + ... + α p e N − p + 2
= Z2
e1 + α 1e N + α 2 e N −1 + ... + α p e N − p +1
= Z1
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
37
Dengan menggunakan notasi matriks, persamaan (3.5) dinyatakan sebagai: α1 0 ... 0 0 0 0 α1 ... 0 0 0
1 0 0 ⋮ 0 0
0 0 ... 0 1 0 ... 0
1 0 0 ⋮ 0 0
0 0 ... 0 0 0 1 0 ... 0 0 0 0 1 ... 0 0 0 +α1 ⋱ ⋮ ⋮ 0 0 ... 1 0 0 0 0 ... 0 1 1
0 0 0 0 0 1 ... 0 0 0 + ⋱ ⋮ ⋮ 0 0 ... 1 0 0 0 0 ... 0 1 α1
0
0
0 0
0 0
... ⋱ ... ...
0 ⋮ 0 0
0
α2 ... 0 0
0 0
0 0
0 0 + ⋮ ⋮ α1 α2 0 0 0 0 α2 0
1 0 ... 0 0 0 0 1 ... 0 0 0 0 0 ... 0 0 0 +α2 ⋱ ⋮ ⋮ ⋮ 0 0 ... 0 1 1 0 0 ... 0 0 0
... ... ⋱ ... ...
0 0 ⋮ 0 0
0 0 0 0 0 + ... + ⋮ ⋮ 0 0 0 0
0 1 ... 0 0 0 0 0 0 ... 0 0 0 0 0 ... 0 0 +...+αp ⋱ ⋮ ⋮ ⋮ 0 0 0 ... 0 0 1 0 ... 0 0 0
... 0 ... 0 ... 0
α p 0 ... 0 eN ZN 0 α p ... 0 eN −1 ZN-1 0
0
... 0 0 ... α p 0
0 0
... 0 eN −2 ZN-2 = ⋮ ⋮ ⋮ ... 0 e2 Z2 ... 0 e1 Z1
... 0 1 0 ... 0eN ZN ... 0 0 1 ... 0eN−1 ZN-1 ... 0 0 0 ... 0eN−2 ZN-2 = ⋮ ⋮ ⋮ ... 0 0 0 ... 0e2 Z2 ... 1 0 0 ... 0e1 Z1
atau
(I + α W + α W 1
2
2
)
+ ... + α p W p e = Z
(3.6)
dimana e ' = {eN , eN −1 ,..., e2 , e1} dan Z ' = {Z N , Z N −1 ,..., Z 2 , Z1} . Dengan metode invers, maka diperoleh
(
e = I + α1W + α 2 W 2 + ... + α p W p
)
−1
Z
(3.7)
Selanjutnya akan dicari parameter dari e yaitu µ e = E (e) dan Ω = E (ee ') . Dari persaamaan (3.7), diperoleh
((
E (e) = E I + α1W + α 2 W 2 + ... + α p W p
(
= I + α1W + α 2 W 2 + ... + α p W p
)
−1
)
−1
Z
)
E (Z)
=0
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
(3.8)
38
dan E (ee ') = Ω (matriks autoko var iansi )
= E I + α1W + ... + α p W p
(
= E I + α1W + ... + α p W p
(
)
)
−1
−1
(
Z I + α1W + ... + α p W p
(
ZZ ' I + α1W + ... + α p W p
)
)
−1
−1
' Z
teorema 2.1.1 (d) '
−1 −1 = ( I + α1W + ... + α p W p ) ( I + α1W + ... + α p W p ) E (ZZ ')
'
−1 −1 = ( I + α1W + ... + α p W p ) ( I + α1W + ... + α p W p ) 1
'
−1 ' = ( I + α1W + ... + α p W p ) ( I + α1W + ... + α p W p )
(
) ( I '+ (α W ) '+ ... + (α
(
) ( I + α W '+ ... + α
(
) (I + α W
= I + α1W + ... + α p W p = I + α1W + ... + α p W p = I + α1W + ... + α p W p
−1
1
−1
1
−1
−1
1
p
−1
teorema 2.1.8
))
p ' pW
W 'p
)
−1
teorema 2.1.1 (b)
−1
+ ... + α p W ( −1) p
teorema 2.1.1 (c)
)
−1
sifat W ke-1
Jadi, diperoleh
(
Ω = I + α1W + ... + α p W p
) (I + α W −1
−1
1
+ ... + α p W − p
)
−1
(3.9)
Dengan menginverskan matriks autokovariansi maka diperoleh,
(
Ω −1 = I + α1W + ... + α p W p
) (I + α W −1
(
1
= I + α1W −1 + ... + α p W − p
(
Ω −1 = I + α1W −1 + ... + α p W − p
)
−1 −1
−1
+ ... + α p W − p
(
)
−1 −1
I + α W + ... + α W p p 1
)( I + α W + ... + α 1
p
)
−1 −1
Wp )
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
(3.10)
39
Dengan demikian, jika menganggap e merupakan proses autoregressive yang circular, e berdistribusi normal dengan mean 0 dan variansi Ω , dimana Ω adalah matriks autokovariansi dalam persamaan (3.9).
3.2.2 Proses Autoregressive yang Noncircular
Dengan memandang e sebagai proses autoregressive yang noncircular, maka persamaan (3.4) untuk N observasi dapat ditulis sebagai
eN + α1eN −1 + α 2 eN − 2 + ... + α p eN − p
= ZN
eN −1 + α1eN −2 + α 2eN −3 + ... + α p eN − p −1 = Z N-1
eN −2 + α1eN −3 + α 2eN −4 + ... + α p eN − p −2 = Z N-2
(3.11)
⋮
e2 + α1e1
= Z2
e1
= Z1
Dengan menggunakan notasi matriks, persamaan (3.11) dapat ditulis dalam bentuk : 1 0 0 ⋮ 0 0
1 0 0 ⋮ 0 0
0 0 0 ... 0 0 0 1 ... 0 0 0 + ⋱ ⋮ ⋮ 0 ... 1 0 0 0 ... 0 1 0
0 0 ... 0 1 0 0 0
α1 0 ... 0 0 0 0 α2 ... 0 0 0 α1 ... 0 0 0 0 0 ... 0 0 0 0
0
0
0
0 0 0 0 0 0 +α1 ⋱ ⋮ ⋮ 0 0 0 ... 1 0 0 0 ... 0 1 0
0 0 ... 0 1 0 ... 0 0 1 ... 0
0
... 0 0 ⋮ + ⋱ ⋮ ⋮ 0 0 0 ... 0 α1 0 0 0 ... 0 0 0 0 0
1 0 ... 0 0 0 0 1 ... 0 0 0 ⋮ 0 0 ... 0 0 +α2 ⋱ ⋮ ⋮ 0 0 0 0 ... 0 1 0 0 ... 0 0 0
⋱ ⋮ ... 0 ... 0 ... 0
0 0 ⋮ ⋮ + ... + α2 0 ⋮ 0 0 0
... 0 α p 0 ... 0 0
αp
... 0 0
0
... ... 0 0
0 1 ... 0 0 0 0 0 0 ... 0 0 ⋮ ⋱ ⋮ ⋮ +... +αp 0 0 ... 0 1 0 ⋮ 0 0 ... 0 0 0 0 ... 0 0 0
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
0
... 0 eN ZN ... 0 eN −1 ZN-1 ⋱⋮ eN −2 ZN-2 = ... α p ⋮ ⋮ ⋱⋮ e2 Z2 ... 0 e1 Z1
... 0 1 0 ... 0 eN ZN ... 0 0 1 ... 0 eN−1 ZN-1 ⋱⋮ eN−2 ZN-2 = ... 0 0 0 ... 1 ⋮ ⋮ ... ⋱⋮ e2 Z2 ... 0 0 0 ... 0 e1 Z1
40
atau
(I + α U + α U 1
2
2
)
+ ... + α p U p e = Z
(3.12)
dimana e ' = {eN , eN −1 ,..., e2 , e1} dan Z ' = {Z N , Z N −1 ,..., Z 2 , Z1} . Dengan metode invers, maka diperoleh
(
e = I + α1U + α 2 U 2 + ... + α p U p
)
−1
(3.13)
Z
Selanjutnya akan dicari parameter dari e yaitu µ e = E (e) dan Ω = E (ee ') . Dari persaamaan (3.13), diperoleh
((
E (e) = E I + α1U + α 2 U 2 + ... + α p U p
(
= I + α1U + α 2 U 2 + ... + α p U p
)
−1
)
−1
Z
)
E (Z)
=0
(3.14)
Dan E (ee ') = Ω (matriks autoko var iansi ) = E I + α 1 U + ... + α p U p
(
= E I + α1U + ... + α p U p
(
)
)
−1
−1
(
Z I + α 1U + ... + α p U p
(
ZZ ' I + α1U + ... + α p U p
(
) ( I + α U + ... + α
(
)
(
) ( I + α U + ... + α
(
) ( I '+ (α U ) '+ ... + (α
= I + α 1 U + ... + α p U p
= I + α1U + ... + α p U p = I + α 1 U + ... + α p U p
= I + α1U + ... + α p U p
−1
1
−1
p
Up
)
−1
)
)
−1
' Z
−1 '
teorema 2.1.1 (d)
'
E ( ZZ ')
I + α U + ... + α U p −1 1 ) 1 p ( '
−1
1
p
)
' Up
−1
1
p
−1
))
Up '
teorema 2.1.8 −1
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
teorema 2.1.1 (b)
41
(
E (ee′) = I + α1U + ... + α p U p
) ( I + α U '+ ... + α −1
1
p
U 'p
)
−1
teorema 2.1.1 (c)
Jadi diperoleh
(
Ω = I + α1U + ... + α p U p
) ( I + α U '+ ... + α U ' ) −1
p
−1
p
1
(3.15)
Dengan persamaan (3.15) maka diperoleh,
(
) (
(
−1 p −1
Ω −1 = I + α1U + ... + α p U p = I + α1U '+ ... + α p U '
(
−1
)
I + α1U '+ ... + α p U ' p
)
−1
σ 2
(
I + α U + ... + α U p p 1
)(
= I + α1U '+ ... + α p U ' p I + α1U + ... + α p U p
−1
)
−1 −1
)
(3.16)
Sehingga jika menganggap e sebagai proses autoregressive yang noncircular, e berdistribusi normal dengan mean 0 dan variansi Ω , dimana Ω adalah matriks autokovariansi dalam persamaan (3.15).
3.3
Fungsi Marginal Likelihood untuk AR (p)
Dari dua subbab diatas, distribusi dari e tidak bergantung pada parameter µ dan σ , sehingga persamaan (3.3) X = µ1 + σ e
adalah model Location-scale berdasarkan 2.7.2.(3), sehingga µ adalah location parameter, σ adalah scale parameter, dan −∞ < µ < ∞ , σ 2 > 0 .
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
42
Telah dibuktikan dalam sub bab 2.7.2
di =
( x − x ) = (e − e) i
i
sx
(i = 1, 2,..., N )
se
adalah ancillary statistic, sehingga distribusi marginal dari d hanya tergantung pada α = (α1 , α 2 ,..., α p ) ' . Distribusi marginal dari d diberikan oleh (Fraser, 1968, 32) ∞ ∞
L(α; d) = ∫
∫
−
1 2
f (..., se ( N t1 + d),...)se N −1dtdse
(3.17)
0 −∞
Dalam tugas akhir ini, e dibatasi pada pembatasan masalah berdistribusi normal, dengan mean 0 dan variansi Ω yang diperoleh pada sub bab 3.2.1 dan 3.2.2, maka pdf dari e, f (e; Ω) , adalah (2π )
1 − N 2
Ω
−
1 2
1 exp(− e ' Ω −1e) 2
Dengan demikian, penyelesaian persamaan (3.17) adalah L (α ; d ) = Ω
−
1 2
−
1
A 2 (C − B 2 / A)
1 − ( N −1) 2
(3.18)
1
dimana NA = 1 ' Ω −11 , N 2 B = 1 ' Ω −1d dan C = d ' Ω −1d .
3.3.1 AR (1) sebagai Structural Model
Berdasarkan persamaan (3.3) dan (3.4), model AR (1) yang dinyatakan dalam structural model, dapat ditulis sebagai berikut: et + α1et −1 = Z t
t = 1, 2,..., N
x = µ1 + σ e
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
(3.19)
43
3.3.1.1 Fungsi Marginal Likelihood untuk AR (1) yang Circular
Misalkan e sebagai proses AR (1) yang circular, maka e ∼ N (0, Ω) dimana Ω adalah matriks autokovariansi dalam persamaan (3.9), yaitu Ω = ( I + α1 W ) −1 ( I + α1 W − 1 ) − 1
(3.20)
Bentuk umum fungsi marginal Likelihood berdasarkan persamaan (3.18)
L(α; d) =| Ω |
−
1 2
−
1
A 2 (C − B 2 / A)
1 − ( N −1) 2
1
Dimana NA = 1'Ω -1 1 , N 2 B = 1'Ω-1d dan C = d'Ω-1d .
Dalam menurunkan fungsi marginal likelihood L( ρ ; d) untuk AR (1) yang circular dilakukan dalam beberapa tahap. a)
Tahap pertama Dalam tahap ini, akan dicari determinan dari matriks autokovariansi AR
(1) yang circular. Dari persamaan (3.10) invers matriks autokovariansi untuk AR (1) yang circular adalah Ω −1 = (I + α1 W −1 )(I + α1 W )
(3.21)
Berdasarkan persamaan (2.4), ρ1 = −α1 , sehingga persamaan (3.21) menjadi Ω − 1 = ( I − ρ W − 1 )( I − ρ W )
1 + ρ 2 −ρ 0 = ⋮ 0 − ρ
−ρ 1+ ρ 2 −ρ
0 −ρ 1+ ρ 2
0 0
0 0
⋯ ⋯ ⋯ ⋱ ⋯ ⋯
0 0 0 ⋮ 1+ ρ2 −ρ
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
0 0 0 ⋮ −ρ 1 + ρ 2
44
Ω−1 = (I − ρ W−1 )(I − ρ W)
teorema 2.1.6 b
= (I − ρ W−1 ) (I − ρ W) Misalkan P = (I − ρ W −1 ) dan Q = (I − ρ W)
Q = (I − ρ W )
P = (I − ρ W −1 )
= I − ρ W −1
= I − ρW
= 1 − ρ N W −1
= 1− ρ N W
= 1− ρ N
= 1− ρ N
Sehingga Ω −1 = (I − ρ W −1 ) ( I − ρ W )
(
)(1 − ρ )
(
)
= 1− ρ N
= 1− ρ N
N
2
Berdasarkan teorema 2.1.7, maka Ω =
b)
(
1 = = 1− ρ N −1 Ω
)
−2
(3.22)
Tahap kedua Dalam tahap kedua ini, akan dicari NA = 1'Ω -1 1 .
NA = 1'Ω -1 1
1 + ρ 2 −ρ 0 = [1 1 1 ⋯ 1 1] ⋮ 0 − ρ
−ρ 1+ ρ −ρ 0 0
0 2
−ρ 1+ ρ 0 0
2
⋯
0
⋯
0
⋯
0
⋱
⋮
⋯ 1+ ρ 2 ⋯ −ρ
1 0 1 0 1 ⋮ ⋮ − ρ 1 1 + ρ 2 1
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
0
45
NA = 1 + ρ 2 − 2 ρ
2 = (1 − ρ )
= N (1 − ρ )
c)
1 + ρ 2 − 2ρ
(1 − ρ )
2
1 + ρ 2 − 2ρ
(1 − ρ )
2
⋯
⋯ 1+ ρ 2 − 2ρ
(1 − ρ )
1 1 1 2 1 + ρ − 2 ρ ⋮ 1 1
1 1 2 1 (1 − ρ ) ⋮ 1 1
2
2
(3.23)
Tahap ketiga 1
Dalam tahap ketiga ini, akan dicari N 2 B = 1'Ω-1d . 1
N 2 B = 1'Ω -1 d
= [1 1 1 ⋯
= 1 + ρ 2 − 2 ρ
2 = (1 − ρ )
1 + ρ 2 −ρ 0 1 1] ⋮ 0 − ρ
1+ ρ 2 − 2ρ
(1 − ρ )
2
(1 − ρ )
−ρ 1+ ρ 2 −ρ
0 −ρ 1+ ρ 2
⋯ ⋯ ⋯ ⋱
0 0 0 ⋮
0 0
0 0
⋯ ⋯
1+ ρ2 −ρ
1+ ρ 2 − 2ρ
2
⋯
⋯
(1 − ρ )
2
1+ ρ 2 − 2ρ
d1 d2 d3 ⋮ − ρ d N −1 1 + ρ 2 d N 0 0 0 ⋮
d1 d 2 d 1 + ρ 2 − 2 ρ 3 ⋮ d N −1 d N
d1 d 2 d 2 (1 − ρ ) 3 ⋮ d N −1 d N
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
46
1
N 2 B = (1 − ρ ) d1 + (1 − ρ ) d 2 + (1 − ρ ) d 3 + ... + (1 − ρ ) d N −1 + (1 − ρ ) d N 2
2
2
2
2
= (1 − ρ ) ( d1 + d 2 + d 3 + ... + d N −1 + d N ) 2
= (1 − ρ ) N
∑d i =1
i
2
N
∑d i =1
i
= d 1 + d 2 + d 3 + ... + d N − 1 + d N =
x − x xN − x x1 − x x 2 − x x 3 − x + + + ... + N − 1 + sx sx sx sx sx
=
x1 + x 2 + x 3 + ... + x N −1 + x N − n x sx N
=
N
∑ x −∑ x i =1
i
i =1
i
sx
=0
Jadi 1
N 2 B = 1 'Ω -1 d N
= (1 − ρ
) ∑
= (1 − ρ
)
2
i =1
2
di
.0
=0
d)
(3.24)
Tahap keempat Dalam tahap ini, akan dicari C = d'Ω-1d .
C = d'Ω-1d
= [ d1 d 2
d3
1 + ρ 2 −ρ 0 2 −ρ −ρ 1+ ρ ⋯ dN ] 0 −ρ 1 + ρ 2 ⋮ −ρ 0 0
⋯ ⋯ ⋯ ⋱
⋯
− ρ d1 0 d2 0 d3 ⋮ ⋮ 1 + ρ 2 d N
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
47
d1 d 2 2 2 2 2 C=dN(−ρ)+d1(1+ρ )+d2(−ρ) d1(−ρ)+d2(1+ρ )+d3(−ρ) d2(−ρ)+d3(1+ρ )+d4(−ρ) ⋯ dN−1(−ρ)+dN(1+ρ )+d1(−ρ)d3 ⋮ dN
=d1dN(−ρ)+d1(1+ρ2)+d2(−ρ)+d2d1(−ρ)+d2(1+ρ2)+d3(−ρ)+d3d2(−ρ)+d3(1+ρ2)+d4(−ρ)+...+dNdN−1(−ρ)+dN(1+ρ2)+d1(−ρ) 2 2 2 2 2 2 2 2 =dd 1 N(−ρ)+d1(1+ρ)+dd 1 2(−ρ)+dd 1 2(−ρ)+d2(1+ρ)+dd 2 3(−ρ)+dd 2 3(−ρ)+d3(1+ρ)+dd 3 4(−ρ)+...+dN−1dN(−ρ)+dN(1+ρ)+dd N 1(−ρ)
= (1 + ρ 2 )(d12 + d22 + d32 + ... + d N2 ) − 2ρ (d1d N + d1d2 + d2 d3 + ... + d N −1d N ) N
N
= (1 + ρ 2 )∑ di2 − 2ρ ∑ di di +1 i =1
N
∑
d
i =1
2 i
= d =
+ d
2 1
(x
=
)
− x
1
+ d
∑ (x i =1
i
2 3
− x
+
)
+ ... + d N2
(x
2
s x2 N
=
i =1
2 2
2
− x
)
2
s x2
+
(x
3
− x s x2
)
2
+ ... +
(x
N
− x
)
2
s x2
2
s x2 ( N − 1) s x2 s x2
= N −1 N
r'=
∑d d i =1
i
i +1
N −1
, dimana d N +1 = d1
Jadi C = d'Ω-1d N
N
i =1
i =1
= (1 + ρ 2 )∑ d i2 − 2 ρ ∑ d i di +1 = (1 + ρ ) ( N − 1) − 2 ρ ( N − 1) r ' 2
= ( N − 1) (1 − 2 ρ r '+ ρ 2 )
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
(3.25)
48
Dengan mensubstitusikan persamaan (3.22), (3.23), (3.24) dan (3.25), sehinga diperoleh fungsi marginal likelihood untuk AR(1) yang circular, yaitu L(α; d) =| Ω |
((
−
1 2
L( ρ ; d) = 1 − ρ
(
−
1
A 2 (C − B 2 / A) N
)
1 − ( N −1) 2
) ((1 − ρ ) ) (( N −1) (1 − 2ρ r '+ ρ ) − 0 / (1 − ρ ) )
1 −2 − 2
)
= 1 − ρ N (1 − ρ )
2
−1
−
( N − 1)
1 2
2
1 − ( N −1) 2
(
1 − 2 ρ r '+ ρ 2
)
2
2
1 − ( N −1) 2
1 − ( N −1) 2
(3.26)
3.3.1.2 Fungsi Marginal Likelihood untuk AR (1) yang Noncircular
Misalkan e sebagai proses AR (1) yang noncircular, maka e ∼ N (0, Ω) dimana Ω adalah matriks autokovariansi dalam persamaan (3.15), yaitu
Ω = ( I + α1U)
−1
( I + α1U ')
−1
(3.27)
Bentuk umum fungsi marginal Likelihood berdasarkan persamaan (3.18)
L(α; d) =| Ω |
−
1 2
−
1
A 2 (C − B 2 / A)
1 − ( N −1) 2
1
Dimana NA = 1'Ω -1 1 , N 2 B = 1'Ω-1d dan C = d'Ω-1d .
Dalam menurunkan fungsi marginal likelihood L( ρ ; d) untuk AR (1) yang noncircular dilakukan dalam beberapa tahap. a)
Tahap pertama Dalam tahap ini, akan dicari determinan dari matriks autokovariansi AR
(1) yang noncircular. Dari persamaan (3.16) invers matriks autokovariansi untuk AR (1) yang noncircular adalah
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
49
Ω −1 = (I + α1U ')(I + α1U )
(3.28)
Berdasarkan persamaan (2.4), ρ1 = −α1 , sehingga persamaan (3.28) menjadi Ω − 1 = ( I − ρ U ')( I − ρ U )
1 − ρ 0 = ⋮ 0 0 1 −ρ −ρ 1+ ρ2 Ω−N1×N =
0 −ρ
−ρ 0
0 0
0 0
−ρ
0
⋯
0
−ρ 1+ ρ2
⋯ ⋯
0 0 ⋮
0
0
⋱ ⋯
1+ ρ2
0
0
⋯
−ρ
1+ ρ −ρ
2
... ...
0 0
0 0
0 0
1+ ρ2 −ρ ... −ρ 1+ ρ2 ...
0 0
0 0
0 0
−ρ
⋮ 0
⋮ 0
0
0
0
⋱ ... 1+ ρ2
0 0
0 0
0 0
0 0
... ...
1+ ρ2 −ρ 0 ... 2 −ρ 1+ ρ −ρ ... 0 −ρ 1+ ρ2 ... =1 ⋮ 0
0
0 0
0
0 0
0 0
... ...
⋮ 0 0 0
− ρ2
−ρ 0
0 0
0 0
−ρ 0
... ...
0 0 0
0 0 0
−ρ
⋮ 0
1+ ρ −ρ
⋱ ... 1+ ρ2
0
1+ ρ2 −ρ −ρ 1 N×N
0 0 0
⋱ ... 1+ ρ2
1+ ρ2 −ρ ... −ρ 1+ ρ2 ... = (1+ ρ2 )
−ρ 0
2
0 0
−ρ
⋮ 0
1+ ρ −ρ
2
−ρ
−ρ ⋮
1+ ρ
0 0
0 0
... 1+ ρ2 −ρ 0 2 ... −ρ 1+ ρ −ρ
0
0
...
...
0
0
0
... ⋱
0
0
0 ⋮
0
−ρ
1
−ρ 0 −ρ 1+ ρ2 0 +ρ ⋮ 0
−ρ
0 0
0 0
−ρ 1 ( N−1)×( N−1)
0 0
1+ ρ 2
2
0 0 0 ⋮ −ρ 1
−ρ 1 ( N−2)×( N−2)
0
0 −ρ
0 0
... ... 0 0
⋮ 0
0
⋱ ... 1+ ρ2
0 0
0 0
... ...
( N −2)×( N −2)
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
0 0
1+ ρ2 ... 0 ⋱ 0 ... 1+ ρ2
−ρ 0 ... 2 −ρ 1+ ρ ... +ρ
... ...
−ρ 0
0 0
0 0
0
0 ⋮ 0
−ρ
−ρ 0
1+ ρ2 −ρ −ρ 1 ( N−1)×( N −1)
0 0
0 0
−ρ
⋮ 0
1+ ρ2 −ρ −ρ 1 ( N−2)×( N−2)
50
1+ ρ2 −ρ ... −ρ 1+ ρ2 ... Ω−N1×N =
0 0
0 0
1+ρ2 −ρ ... −ρ 1+ ρ2 ...
0 0
⋮ 0 0 0
0 0 0
⋱ ⋮ + ρ2 2 ... 1+ ρ −ρ 0 ... −ρ 1+ ρ2 −ρ ... 0 −ρ 1 (N−2)×(N−2)
−ρ
0
...
0
0
−ρ 1+ρ ... 0 0 0 ⋮ ⋱ ⋮ −ρ +ρ 2 0 0 ... 1+ρ −ρ 0 0 0 ... −ρ 1+ ρ2 −ρ −ρ 1 (N−2)×(N−2) 0 0 ... 0
0
0
−ρ
1
1+ ρ ...
0
0
0
2
(
= 1+ ρ
2
)
⋮ 0 0 0
... ...
(N−2)×(N−2)
⋱ ⋮ 2 ... 1+ ρ −ρ 0 ... −ρ 1+ρ2 −ρ ... 0 −ρ 1 (N−3)×(N−3)
1+ρ2 ... 0 ⋮ ⋱ 2 −ρ 0 ... 1+ ρ2 0 0
+ρ
0 −ρ
⋮ 0 0 0
−ρ ⋮ +ρ 0 0
0 0 0
0 0
0 0
0 0
0 0 ⋮
... 1+ ρ2 −ρ 0 ... −ρ 1+ ρ2 −ρ ... 0 −ρ 1 (N−2)×(N−2)
0 0 0
−ρ 0 ... −ρ 1+ ρ2 ...
... 0 0 0 ... 0 0 0 ⋱ ⋮ 2 ... 1+ ρ −ρ 0 ... −ρ 1+ρ2 −ρ ...
0
0 0 0
0 0 0
0 0
⋱ ⋮ 2 ... 1+ ρ −ρ 0 ... −ρ 1+ρ2 −ρ ... 0 −ρ 1 (N−2)×(N−2)
1+ρ2 −ρ ... −ρ 1+ ρ2 ... ⋮ ⋱ 2
0
2
1+ ρ2 −ρ −ρ 1+ ρ2 ⋮ = 0 0 0 0
⋮ 0 0 0
0 0
0 0
0 0
0 0
⋱ ⋮ 2 ... 1+ ρ −ρ 0 ... −ρ 1+ ρ2 −ρ ... 0 −ρ 1 (N−2)×(N−2)
... 0 0 0 ⋱ ⋮ 2 ... 1+ ρ −ρ 0 ... −ρ 1+ ρ2 −ρ
0 ...
0
0 ⋮ 0
−ρ 1+ ρ2 −ρ 0 −ρ 1 (N−3)×(N−3)
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
−ρ
1
(N−3)×(N−3)
51
1+ ρ 2 ... ⋮ ⋱ Ω−N1×N =
0
0
... 1+ ρ 2
0
...
−ρ
0
...
0
−ρ ... ⋮
0
0 ⋮
−ρ
0
+ ρ2
1+ ρ 2 −ρ −ρ
0
1
0
( N −3)×( N −3)
⋮
+ρ 0
... 1+ ρ
0
...
−ρ
1+ ρ
0
...
0
−ρ
1+ ρ 2 ...
−ρ
2
0
−ρ
0 2
0
= 0
... 1+ ρ
0
...
−ρ
1+ ρ
0
...
0
−ρ
−ρ
+ρ
0 1
...
−ρ
0
...
0
0
1+ ρ 2 −ρ −ρ
0
1
0
0
...
0
−ρ
1
1+ ρ 2 ...
0
0
0
2
( N −3)×( N −3)
( N −3)×( N −3)
0
... 1+ ρ ... −ρ
−ρ
2
0
−ρ
0 0
⋮ 2
... 1+ ρ2
0 ⋮
⋱
( N −3)×( N −3)
0
⋱
0
0
⋮ 2
−ρ 1
0
1+ ρ2 ...
0
⋱
⋮
1+ ρ2 ... ⋮ ⋱
⋮ −ρ 0 2 1+ ρ −ρ
2
⋮
⋱
0
... 1+ ρ
0
...
−ρ
1+ ρ
0
...
0
−ρ
0 −ρ
0 0
( N −3)×( N −3)
⋮ −ρ
2
0 2
−ρ 1
( N −3)×( N −3)
⋮ ⋮
=
1+ ρ 2
−ρ
−ρ
1+ ρ
0
−ρ
1+ ρ
0
0
−ρ
(
= 1+ ρ
2
)
1+ ρ 2 = −ρ 0 1+ ρ 2
0 2
−ρ
1+ ρ 2
−ρ
−ρ
1+ ρ
0
−ρ
−ρ
0
1+ ρ −ρ
2
−ρ
= −ρ
1+ ρ
0
−ρ
0 −ρ
2
+ρ
1
2
0 −ρ −ρ 1+ ρ 2 0
−ρ
0
0
−ρ
0 1
−ρ
−ρ 0
1+ ρ −ρ
−ρ
0
−ρ + ρ −ρ 1+ ρ 1
0
−ρ
−ρ −ρ − ρ
2
2
1
0 2
1
0
−ρ
0
1+ ρ 2 2
1+ ρ 2 −ρ
0
−ρ + ρ −ρ 1+ ρ
−ρ + ρ 1 0
2
0
−ρ
1+ ρ 2
−ρ
−ρ
1+ ρ
0
−ρ
0
−ρ + ρ −ρ 1+ ρ 1 0 −ρ
−ρ 1
0 2
−ρ − ρ 1
0 2
0 2
−ρ 1
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
2
1+ ρ 2
−ρ
−ρ 0
1+ ρ −ρ
0 2
−ρ 1
52
(
Ω−N1× N = 1 + ρ 2 =
)
1 + ρ 2 −ρ −ρ
1+ ρ 2
−ρ
−ρ
1
1 + ρ 2 −ρ
=
−ρ
(
1
1 + ρ2 +ρ
+ρ
−ρ 0 −ρ 1
1+ ρ 2
−ρ
−ρ
1
− ρ2
+ρ
1+ ρ 2 −ρ −ρ
−ρ 0 −ρ 1
1 − ρ2
1+ ρ 2
−ρ
−ρ
1
−ρ 0 −ρ 1
)
= 1 + ρ 2 − ρ 2 + ρ ( − ρ − 0) = 1− ρ 2
Berdasarkan teorema 2.1.7, maka Ω =
−1 1 = = (1 − ρ 2 ) −1 Ω
(3.29)
Misalkan N −1
l1 = ∑ d i=2
b)
N −1 l3 = ∑ di i =2
N −1
l2 = ∑ di di +1
2 i
i =1
2
Tahap kedua Dalam tahap kedua ini, akan dicari NA = 1'Ω -1 1 .
NA = 1'Ω -1 1
0 −ρ 1 − ρ 1 + ρ 2 −ρ 0 −ρ 1+ ρ 2 = [1 1 1 ⋯ 1 1] ⋮ 0 0 0 0 0 − ρ
0 1 0 0 1 ⋯ 0 0 1 ⋯ ⋱ ⋮ ⋮ ⋮ ⋯ 1 + ρ 2 − ρ 1 1 1 ⋯ −ρ 1 1 1 2 2 2 = 1 − ρ 1 + ρ − 2 ρ 1 + ρ − 2 ρ ⋯ 1 + ρ − 2 ρ 1 − ρ ⋮ 1 1 ⋯
0
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
53
(1
N A = 1 − ρ
− ρ
)
(1
2
− ρ
= 2 (1 − ρ
)
2
(1
⋯
− ρ
)
2
1 1 1 1 − ρ ⋮ 1 1
) + ( N − 2 ) (1 − ρ ) = (1 − ρ ) ( 2 + ( N − 2 ) (1 − ρ ) ) = (1 − ρ ) ( N (1 − ρ ) + 2 ρ ) c)
2
(3.30)
Tahap ketiga 1
Dalam tahap ketiga ini, akan dicari N 2 B = 1'Ω-1d . 1 2
N B = 1'Ω-1d −ρ 0 1 − ρ 1 + ρ 2 −ρ 0 −ρ 1 + ρ 2 = [1 1 1 ⋯ 1 1] ⋮ 0 0 0 0 0 − ρ
0 d1 ⋯ 0 0 d 2 ⋯ 0 0 d3 ⋱ ⋮ ⋮ ⋮ ⋯ 1 + ρ 2 − ρ d N −1 1 d N ⋯ −ρ d1 d 2 d = 1 − ρ 1 + ρ 2 − 2 ρ 1 + ρ 2 − 2 ρ ⋯ 1 + ρ 2 − 2 ρ 1 − ρ 3 ⋮ d N −1 d N
= 1 − ρ
(1 − ρ )
2
(1 − ρ )
2
⋯
(1 − ρ )
2
⋯
0
d1 d 2 d 1− ρ 3 ⋮ d N −1 d N
= (1 − ρ )( d1 + d N ) + (1 − ρ ) ( d 2 + d 3 + ... + d N − 2 + d N −1 ) 2
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
54
N
1 2
B = (1 − ρ ) ( d 1 + (1 − ρ = (1 − ρ
)(d 1
= (1 − ρ )
)d 2
+ (1 − ρ
)d3
+ d 2 + ... + d N − 1 + d N − ρ
N
∑
i =1
= (1 − ρ ) − ρ
di − ρ N −1
∑
i= 2
N −1
∑
i= 2
+ ... + (1 − ρ
(d 2
) d N −1
+ dN )
+ d 3 + ... + d N − 2 + d N − 1 ) )
di
di
1 2 3
= − ρ (1 − ρ ) l
d)
(3.31)
Tahap keempat Dalam tahap ini, akan dicari C = d'Ω-1d
-1 C=d'Ωd
=[ d1 d2 d3 ⋯ dN−1
1 −ρ 0 −ρ 1+ρ2 −ρ 0 −ρ 1+ρ2 dN] ⋮ 0 0 0 0 0 0
0 d1 ⋯ 0 0 d2 ⋯ 0 0 d3 ⋱ ⋮ ⋮ ⋯ 1+ρ2 −ρdN−1 ⋯ −ρ 1 dN ⋯ 0
d1 d 2 2 2 =d1 +d2(−ρ) d1(−ρ)+d2(1+ρ )+d3(−ρ) ⋯ dN−2(−ρ)+dN−1(1+ρ )+dN(−ρ) dN−1 +dN(−ρ) ⋮ dN−1 dN
(
)
(
)
=d1( d1 −d2ρ) +d2 −d1ρ)+d2(1+ρ2)−d3ρ +...+dN−1 −dN−2ρ+dN−1(1+ρ2)−dNρ +dN ( dN−1 −dNρ) 2 2 2 2 2 2 2 =d12 −2dd 1 2ρ+d2 (1+ρ )−2dd 2 3ρ+d3 (1+ρ )−...+dN−1(1+ρ )−2dN−1dNρ+dN
(
) (
)
= d12 +d22 +d32 +...+dN2−1 +dN2 +ρ2 d22 +d32 +...+dN2−1 −2ρ( dd 1 2 +dd 2 3 +...+dN−1dN ) N−1
N−1
i=2
i=1
=( N−1) +ρ2∑di2 −2ρ∑dd i i+1 = ( N − 1) + ρ 2l1 − 2 ρ l2
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
(3.32)
55
Dengan mensubstitusikan persamaan (3.29), (3.30), (3.31), dan (3.32), sehingga diperoleh L ( α ; d ) =| Ω |
−
1 2
−
1 2
A (C − B / A )
(
L ( ρ;d) = 1− ρ
2
)
2 −1
−
1 2
1 − ( N −1) 2
(1 − ρ ) ( N (1 − ρ ) + 2 ρ ) N
−
1 2
ρ 2 (1 − ρ ) l3 N 2 . ( N − 1) + ρ l1 − 2 ρ l2 − N (1 − ρ ) ( N (1 − ρ ) + 2 ρ ) = (1 − ρ )(1 + ρ )
= (1 + ρ )
1 2
1 2
(1 − ρ )
1 − 2
N − N ρ + 2ρ N
−
1 2
1 − ( N −1) 2
ρ 2 (1 − ρ ) l3 2 ρ ρ 1 2 N − + l − l − ) ( 1 2 N − N ρ + 2ρ
1 2
ρ 2 (1 − ρ ) l3 N −2 2 1 − N ρ ( N − 1) + ρ l1 − 2 ρ l2 − N − N − 2 ρ ( ) −
Untuk jumlah N yang besar
1 − ( N −1) 2
(3.33)
ρ 2 (1 − ρ ) l3 N −2 ρ ≈ 1 − ρ dan ≈ 0 , 1− N N − ( N − 2) ρ
N −1
l1 = ∑ di2 i =1
= d12 + d22 + d32 + ... + d N2 −1 =
(
x1 − x s
2 x
) +(
N −1
2
x2 − x 2 x
s
) +( 2
∑( x − x) ( N −1) s = ≈ i =1
x3 − x s
2 x
)
2
+ ...
(
xN −1 − x
)
2
2 x
s
2
i
sx2
2 x
sx2
≈ N −1 Jadi, fungsi marginal likelihood untuk AR (1) yang noncircular untuk jumlah N yang besar dapat didekati dengan fungsi dibawah ini: 1
L( ρ ; d) ≈ (1 + ρ ) 2 (1 − ρ )
−
1 2
(
( N − 1) + ρ 2 ( N − 1) − 2 ρ l2 − 0
)
1 − ( N −1) 2
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
1 − ( N −1) 2
56
1 2
L ( ρ ; d ) ≈ (1 + ρ ) (1 − ρ )
−
1 2
( N − 1)
1 − ( N −1) 2
2 ρ l2 2 1 + ρ − N − 1
1 − ( N −1) 2
(3.34)
Persamaan (2.34) hampir serupa dengan fungsi marginal likelihood untuk proses autoregressive yang circular.
3.4
Estimasi Parameter Autoregressive dengan Fungsi Marginal Likelihood
Taksiran parameter autoregressive diperoleh dengan memaksimumkan persamaan (3.18). Secara matematis, estimasi maksimum marginal likelihood lebih mudah dilakukan dengan memanipulasi persamaan (3.18) menjadi logaritma fungsinya. Memaksimumkan fungsi marginal likelihood ekivalen dengan memaksimumkan logaritma fungsi marginal likelihood (bukti dalam lampiran 9). Untuk mencari nilai taksiran parameter αɵ = (α 1 , α 2 ,..., α p )′ yang memaksimumkan persamaan (3.18), maka pendekatan yang paling sering digunakan adalah menentukan turunan parsial dari logaritma fungsi marginal likelihood untuk setiap parameter lalu menyamakan dengan nol, ∂ ln( L (α, d)) =0 ∂α i
untuk i=1,2,…,p
(3.35)
Berdasarkan persamaan(3.35), akan diperoleh persamaan sebanyak parameter yang tidak diketahui. Taksiran ini dapat diselesaikan secara
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
57
bersamaan. Jika penyelesaian dari fungsi turunan parsial tidak dapat ditemukan, maka pendekatan numerik dilakukan.
3.4.1 Estimasi Parameter AR (1) yang Circular
Fungsi marginal likelihood untuk AR (1) yang circular pada persamaan (3.26) adalah
(
)
L ( ρ ; d ) = 1 − ρ N (1 − ρ )
−1
( N − 1)
1 − ( N −1) 2
(
1 − 2 ρ r '+ ρ 2
)
1 − ( N −1) 2
Berdasarkan persamaan (3.35), parameter AR (1) diperoleh dengan menurunkan logaritma dari fungsi marginal likelihood terhadap ρ lalu menyamakan dengan nol,yaitu:
dLn ( L ( ρ ; d ) ) dρ
=0
1 −1 − ( N −1) dLn 1 − ρ N (1 − ρ ) ( N − 1) 2 1 − 2 ρ r '+ ρ 2 dρ
(
(
)
)
1 − ( N −1) 2
=0
1 1 d Ln 1 − ρ N − Ln (1 − ρ ) − ( N − 1) Ln ( N − 1) − ( N − 1) Ln 1 − 2 ρ r '+ ρ 2 2 2 =0 dρ ( N − 1)( r ′ − ρ ) = 0 − N ρ N −1 1 + + N 1− ρ 1− ρ 1 − 2 ρ r '+ ρ 2
(
(
)
(
) ( )( ) (1− ρ ) (1− ρ ) (1− 2ρr '+ ρ )
(
)
)
−N ρ N −1 (1 − ρ ) 1− 2ρr '+ ρ 2 + 1 − ρ N 1 − 2ρr '+ ρ 2 + ( N −1)( r′ − ρ ) 1 − ρ N (1 − ρ ) N
2
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
=0
58
Taksiran ρ diperoleh dengan menyelesaikan persamaan
(
) (
)(
)
(
)
−N ρ N−1 (1− ρ ) 1− 2ρr '+ ρ2 + 1− ρ N 1− 2ρr '+ ρ 2 + ( N −1)( r′ − ρ ) 1− ρ N (1− ρ ) = 0 (3.36)
dengan syarat
(1 − ρ ) (1 − ρ ) (1 − 2 ρ r '+ ρ ) ≠ 0 N
2
Persamaan (3.36) merupakan persamaan polinomial dari ρ derajat N+2, sehingga akan diperoleh N+2 nilai akar dari persamaan tersebut. Karena ρ adalah korelasi maka nilainya akan terletak pada interval −1 ≤ ρ ≤ 1 , sehingga taksiran untuk ρ diperoleh dengan mengambil nilai akar
yang terlatak dalam interval tersebut.
3.4.2 Estimasi Parameter AR (1) yang Noncircular
Fungsi marginal likelihood untuk AR (1) yang Noncircular pada persamaan (3.33) adalah
L ( ρ ; d ) = (1 + ρ )
1 2
N −2 1 − N ρ
−
1 2
ρ 2 (1 − ρ ) l3 2 N 1 l 2 l ρ ρ − + − − ) ( 1 2 N − ( N − 2 ) ρ
1 − ( N −1) 2
Berdasarkan persamaan (3.35), parameter AR (1) diperoleh dengan menurunkan logaritma dari fungsi marginal likelihood terhadap ρ lalu menyamakan dengan nol,yaitu: dLn ( L ( ρ ; d ) ) dρ
=0
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
59
1 1 − ( N −1) − 2 2 1 2 − ρ 1 ρ l ( ) − N 2 3 dLn (1 + ρ ) 2 1 − ρ ( N − 1) + ρ 2l1 − 2 ρ l2 − N N − ( N − 2) ρ =0 dρ
1 ρ 2 (1− ρ ) l3 1 N −2 1 2 ρ − ( N −1) Ln ( N −1) + ρ l1 − 2ρl2 − d Ln (1+ ρ ) − Ln 1− 2 ρ 2 N 2 N N 2 − − ( ) =0 dρ 2ρ (1− ρ ) l3 ρ 2l3 ρ 2 (1− ρ)l3 (−N + 2) ρ N l l 1 2 2 − − − + + ( ) 1 N −2 2 − N − ( N − 2) ρ N − ( N − 2) ρ ( N − ( N − 2) ρ )2 1 1 1 1 =0 N − − 2 2 (1+ ρ ) 2 N − 2 2 ρ (1− ρ ) l3 2 ρ 1− ( N −1) + ρ l1 − 2ρl2 − N N − ( N − 2) ρ
ρ2 (1−ρ) l3 N−2 ρ2 (1−ρ) l3 N−2 N−2 2 2 ρ( N−1) +ρ l1 −2ρl2 − − −( N−1) 1− (1+ρ) ( N−1) +ρ l1 −2ρl2 − (1+ρ) N−( N−2) ρ N N−( N−2) ρ N N =0 ρ2 (1−ρ) l3 N−2 2 (1+ρ) 1− ρ( N−1) +ρ l1 −2ρl2 − N−( N−2) ρ N Taksiran ρ diperoleh dengan menyelesaikan ρ2 (1− ρ) l3 N − 2 ρ2 (1− ρ) l3 N − 2 2 2 ρ ( N −1) + ρ l1 − 2ρl2 − − 1− (1+ ρ) ( N −1) + ρ l1 − 2ρl2 − N N −( N − 2) ρ N N −( N − 2) ρ
N −2 − ( N − 1) (1 + ρ ) = 0 N
(3.37)
dengan syarat
ρ 2 (1 − ρ ) l3 N − 2 2 ρ ( N − 1) + ρ l1 − 2 ρ l2 − (1 + ρ ) 1 − ≠0 N N − ( N − 2 ) ρ Persamaan (3.37) yang merupakan persamaan polinomial dari ρ derajat 4, sehingga akan diperoleh 4 nilai akar dari persamaan tersebut. Karena ρ adalah korelasi maka nilainya akan terletak pada interval −1 ≤ ρ ≤ 1 , sehingga
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
60
taksiran untuk ρ diperoleh dengan mengambil nilai akar yang terlatak dalam interval tersebut.
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
61
BAB IV APLIKASI ESTIMASI PARAMETER AR (1) DENGAN FUNGSI MARGINAL LIKELIHOOD
Untuk melengkapi pembahasan estimasi parameter autoregressive dengan fungsi marginal likelihood, bab ini membahas contoh data runtun waktu yang dimodelkan dengan proses AR (1) yang parameter autoregressivenya ditaksir dengan fungsi marginal likelihood yang telah diperoleh pada bab sebelumnya.
4.1
Pendahuluan
Untuk mendapatkan taksiran parameter autoregressive dengan fungsi marginal likelihood, dilakukan langkah-langkah sebagai berikut : 1.
Penyedian data runtun waktu yang stasioner yang dapat dimodelkan dengan proses autoregressive orde 1
2.
Melakukan penaksiran parameter autoregresive Data yang digunakan adalah data ”Annual yield of grain on Broadbalk
field at Rothamsted 1852-1925” (diberikan dalam lampiran 9).
61 Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
62
4.2
Taksiran parameter Autoregressive dengan Fungsi Marginal Likelihood untuk Data “Annual yield of grain on Broadbalk field at Rothamsted 1852-1925”
Data “Annual yield of grain on Broadbalk filed at Rothamsted 18521925” terdiri dari 73 pengamatan. Sebelum dilakukan penaksiran parameter Autoregressive, penulis terlebih dahulu memaparkan bahwa data tersebut bersifat stasioner dan dapat dimodelkan dengan proses autoregressive orde 1 (identifikasi model). Berdasarkan gambar, data yang stasioner bersifat acak (tidak memiliki trend atau musiman). Secara definitif, kondisi stasioner AR (1) adalah nilai mutlak parameter AR (1) kurang dari satu. Plot dari data ini, menunjukkan bahwa data tersebut stasioner. Plot dari data tersebut diberikan dibawah ini: Time Series Plot for C1 3.5
3.0
C1
2.5
2.0
1.5
1.0
5
10
15
20
25
30
35
40
45
50
55
60
65
70
Time
Untuk proses autoregressive, identifikasi model dapat dilihat dari plot ACF (Autocorrelation Function) dan PACF (Partial Autocorrelation Function). Suatu data runtun waktu dapat dimodelkan dengan proses autoregressive
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
63
jika bentuk ACF dari data tersebut menurun secara eksponensial seiring dengan pertambahan lag dan PACF menunjukkan orde dari proses autoregressive tersebut. Dibawah ini diberikan plot ACF dan PACF dari data “Annual yield of grain on Broadbalk filed at Rothamsted 1852-1925”.
Autocorrelation
ACF "Annual yield of grain on Broadbalk filed at Rothamsted 1852-1925" 1.0 0.8 0.6 0.4 0.2 0.0 -0.2 -0.4 -0.6 -0.8 -1.0
Partial Autocorrelation
2
7
12
17
Lag
Corr
T
LBQ
Lag
Corr
T
LBQ
Lag
Corr
T
LBQ
1
0.36
3.09
9.98
8
0.09
0.62
21.09
15
-0.17
-1.18
26.24
2
0.15
1.16
11.76
9
0.05
0.36
21.32
16
-0.11
-0.75
27.45
3
0.16
1.16
13.66
10
-0.02
-0.13
21.35
17
-0.22
-1.47
32.31
4
0.19
1.36
16.39
11
0.04
0.27
21.49
18
-0.31
-1.98
41.81
5
0.13
0.92
17.71
12
-0.01
-0.06
21.49
6
0.09
0.62
18.33
13
-0.06
-0.40
21.80
7
0.16
1.11
20.41
14
-0.13
-0.89
23.37
Partial Autocorrelation Function for C1 1.0 0.8 0.6 0.4 0.2 0.0 -0.2 -0.4 -0.6 -0.8 -1.0
2
7
12
17
Lag
PAC
T
Lag
PAC
T
Lag
PAC
T
1
0.36
3.09
8
-0.03
-0.26
15
-0.12
-0.99
2
0.02
0.21
9
-0.00
-0.01
16
-0.01
-0.08
3
0.11
0.92
10
-0.08
-0.66
17
-0.17
-1.41
4
0.11
0.94
11
0.04
0.32
18
-0.19
-1.63
5
0.02
0.17
12
-0.06
-0.51
6
0.02
0.13
13
-0.05
-0.44
7
0.11
0.95
14
-0.12
-1.05
Dari plot diatas dapat disimpulkan bahwa data tersebut merupakan proses autoregressive orde 1.
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
64
Fungsi marginal likelihood untuk AR (1), jika variabel error dianggap sebagai proses yang circular, diberikan pada persamaan (3.27)
(
L ( ρ; d ) = 1 − ρ
N
) (1 − ρ ) ( N − 1) −1
1 − ( N −1) 2
1 2 − 2 ( N −1)
(1 − 2ρ r '+ ρ )
Berdasarkan data tersebut, diperoleh r ′ = 0.386997703 , dimana N
r'=
∑d d i =1
i
i +1
N −1
, d N +1 = d1 . Sehingga fungsi marginal likelihood untuk data ini, jika
variabel error adalah proses yang circular adalah
(
)
L ( ρ ; d ) = 1 − ρ 73 (1 − ρ ) 72 −1
−
72 2
72 2 −2
(1 − 0.773995406ρ + ρ )
Berdasarkan lampiran 11 (1), taksiran parameter autoregressive dengan fungsi marginal likelihood jika variabel error dianggap sebagai proses yang circular adalah 0.4069178784. Sedangkan jika variabel error dianggap sebagai proses yang noncircular, fungsi marginal likelihood diberikan pada persamaan (3.34)
L( ρ ; d ) = (1 + ρ )
1 2
1 2
ρ12 (1 − ρ ) l3 N −2 2 ρ ρ ρ 1 N 1 l 2 l − − + − − ) 11 2 ( N N − ( N − 2 ) ρ −
1 − ( N −1) 2
N −1
Berdasarkan data tersebut diperoleh l1 = ∑ di2 = 67.3772808, i=2
(
)
2 xi − x N −1 , i=1, 2, ...., N l2 = ∑ di di +1 = 26.08054, dan l3 = ∑ di = 8.18929949. d i = sx i =1 i =2 N −1
Sehingga fungsi marginal likelihood untuk data ini adalah:
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
65
L( ρ ; d ) = (1 + ρ )
1 2
71 1 − ρ 73
−
1 2
8.18929949ρ12 (1 − ρ ) 2 72 + 67,3772808 − 2.26,08054 − ρ ρ 1 73 − 71ρ
Berdasarkan lampiran 11 (2), taksiran parameter autoregressive dengan fungsi marginal likelihood jika variabel error dianggap sebagai proses yang noncircular adalah 0.4024965490. Untuk perbandingan, dengan menggunakan software ”PhiCast” diperoleh taksiran α 1 dengan fungsi maksimum likelihood adalah 0.381463 dan dengan metode moment diperoleh α 1 = 0.362229782. Dengan demikian, estimasi parameter autoregressive dengan fungsi marginal likelihood mendukung estimasi titik dari motode-metode penaksiran parameter autoregressive yang sudah ada.
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
−
72 2
66
BAB V PENUTUP
5.1 KESIMPULAN
Kesimpulan yang diperoleh dalam penulisan tugas akhir ini adalah: 1) Proses Autoregressive dapat dinyatakan sebagai structural model, sehingga data runtun waktu stasioner merupakan kombinasi linear dari mean proses dan variabel error yang tidak terobservasi. 2) Dengan mengganggap variabel error sebagai proses circular dan noncircular dapat diperoleh sifat distribusi dari variabel error tidak bergantung pada parameter populasi, sehingga data runtun waktu mengikuti model Location-scale. 3) Dengan menggunakan model Location-Scale, vektor data runtun waktu yang distandarisasi merupakan ancillary statistic untuk µ dan σ. 4) Karena distribusi dari ancillary statistic bebas dari parameter populasi, maka ancillary statistic merupakan dasar untuk membangun fungsi marginal likelihood yang hanya bergantung pada parameter Autoregressive.
66
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
67
5) Estimasi parameter AR dengan fungsi marginal likelihood mendukung estimasi titik dari metode-metode penaksiran parameter AR yang sudah ada.
5.2
SARAN
Dalam tugas akhir ini penaksiran parameter hanya dilakukan untuk proses Autoregressive orde 1, sehingga penulis menyarankan menaksir parameter proses Autoregressive untuk orde yang lebih tinggi.
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
Daftar Pustaka
Anton, Howard. (1994). Elementary Linear Algebra, New Jersey: John Wiley. Box, G. E. P., Jenkins, G. M., dan Reinsel, G. C. (1994). Time Series Analysis Forecasting and Control, New Jersey: Prantice Hall. Craig, A.T., Hogg, R.V., dan McKean, J.W. (2005). Introduction to Mathematical Statistics, New Jersey: Prentice Hall. Cryer, J. D. (1986). Time Series Analysis, Boston: PSW Publisher. Freund, J. E. (1992). Mathematical Statistics, New Jersey: Prentice Hall. Harville, D. A. (1997). Matrix Algebra from A statistician’s Perspective, New York: Springer. Hyndman, R.J. (n.d.) Time Series Data Library, http://robjhyndman.com/TSDL/, 3 November 2009. pk. 10.02.
Levenbach, Hans. (1972). Estimation of Autoregressive Parameter from a Marginal Likelihood Function. Biometrika 59. 61-71. Sprott, D. A. (2000). Statistical Inference in Science, New York: Springer. Wise, J. (1955). The Autocorrelation Function and the spectral Density Function. Biometrika 42. 151-159.
68 Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
69
LAMPIRAN 1 Menunjukkan γ t ,s = E( X t X s ) − µt µs untuk t , s = 0, ±1, ±2,...
Tujuan: Akan dibuktikan γ t ,s = Cov( X t , X s ) = E[( X t − µt )( X s − µs )] = E( X t X s ) − µt µs untuk t , s = 0, ±1, ±2,...
Bukti:
γ t , s = Cov( X t , X s ) = E ( X t − µt )( X s − µ s ) = E [ X t X s − µ t X s − µ s X t + µt µ s ]
= E [ X t X s ] − E [ µ t X s ] − E [ µ s X t ] + E [ µt µ s ]
= E [ X t X s ] − µt E [ X s ] − µ s E [ X t ] + E [ µt µ s ] = E [ X t X s ] − µt µ s − µ s µt + µ t µ s = E [ X t X s ] − µt µ s
untuk t , s = 0, ±1, ±2,...
69 Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
70
LAMPIRAN 2 Menunjukkan Ω (Matriks Autokovariansi), Berukuran N×N, dalam Proses Circular Dapat Dinyatakan sebagai
Ω = σ {I + ρ1 ( W + W ) + ρ 2 ( W + W ) + ... + ρ 1 −1
2
2
-2
2
( N −1)
(W
1 ( N −1) 2
+W
1 − ( N −1) 2
)}
Untuk N ganjil, dan
Ω = σ 2{I + ρ1 ( W + W −1 ) + ρ 2 ( W 2 + W -2 ) + ... +
1 1 − N 1 N ρ 1 ( W 2 + W 2 )} 2 2N
Untuk N genap
Tujuan: Dalam proses circular, matriks autokovariansi yang berukuran NxN mempunyai bentuk seperti dibawah ini:
ρ1 ρ 2 1 ρ 1 ρ1 1 E ( XX ') = σ 2 ρ 2 ρ1 1 ⋮ ρ1 ρ 2 ρ3
ρ3 .... ρ2 ρ 2 .... ρ3 ρ1 .... ρ 4 ρ 4 .... ρ1
ρ1 ρ 2 ρ3 = Ω
⋮ 1
disini akan dibuktikan bahwa bentuk diatas dapat dinyatakan dalam bentuk lain seperti dibawah ini:
Ω = σ {I + ρ1 ( W + W ) + ρ 2 ( W + W ) + ... + ρ 1 2
−1
2
-2
2
( N −1)
(W
1 ( N −1) 2
dimana N bilangan ganjil positif, atau
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
+W
1 − ( N −1) 2
)} ,
71
Ω = σ 2{I + ρ1 ( W + W −1 ) + ρ 2 ( W 2 + W -2 ) + ... +
1 1 − N 1 N ρ 1 ( W 2 + W 2 )} , 2 2N
dimana N bilangan genap positif. Untuk semua nilai N, I menotasikan matriks identitas berukuran N×N dan W adalah circulant definition of auxiliary identity matrix berukuran N×N, dimana 0 0 0 W= ⋮ 0 1
a)
0 0 1 0 ... 0 0 0 1 ... 0 0 I ( N −1)×( N −1) = ⋱ ⋮ ⋮ 0 0 ... 1 0 0 0 ... 0 1 0 0 0
1
0 0 ...
0 0 0
0
... 0
Untuk N bilangan ganjil posiitif, akan dibuktikan
ΩN×N
ρ1 ρ 2 1 ρ 1 ρ1 1 2 = σ ρ 2 ρ1 1 ⋮ ρ1 ρ 2 ρ3
ρ3 .... ρ 2 ρ 2 .... ρ3 ρ1 .... ρ 4 ρ 4 .... ρ1
ρ1 ρ 2 ρ3 =
⋮ 1
= σ {I + ρ1 ( W + W ) + ρ 2 ( W + W ) + ... + ρ 1 2
−1
2
-2
2
Bukti:
Ω1×1 = σ 2 [1] = σ 2 1
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
( N −1)
(W
1 ( N −1) 2
+W
1 − ( N −1) 2
)}
72
Ω 3× 3 = σ
=σ
2
2
ρ1
1 ρ 1 ρ 1
1
ρ1
1 0 0
0 1 0
1 0 = σ 0 1 0 0 = σ 2 {I + ρ 1 W 2
=σ
2
=σ
2
1 ρ1 2 ρ1 = σ 0
0
1
0 0 0 + 0 1 ρ 1 0 0 0 + ρ 1 0 1 1
ρ1 0 0 1 0 0
ρ1
0 0 0 + ρ 1 1 ρ 1
0 1
0
0 0 ρ 1 + ρ 1 0 0 0 0 1 + ρ 1 1 0 0
0
ρ1
ρ1 ρ 1 0
0
ρ1
0
0 0
ρ1 0 0 1
1 0 0
+ ρ 1 W '}
{I + ρ ( W + W ' )} 1
{I + ρ ( W + W )} −1
1
ρ1 ρ2 1 ρ1 ρ1 1 ρ2 ρ1 ρ2 ρ2
ρ2 ρ1 ρ2 ρ2 ρ1 ρ2 1 ρ1 ρ1 1
1 ρ 1 Ω5×5 =σ2 ρ2 ρ2 ρ1 1 0 2 =σ 0 0 0
0 0 0 0 0 1 0 0 0 ρ1 0 1 0 0 + 0 0 0 1 0 0 0 0 0 1 ρ1
ρ1 0 0 ρ1 ρ1 0 0 ρ1
1 0 2 =σ 0 0 0
0 0 0 0 0 1 0 0 0 0 0 1 0 0 + 0 0 0 1 0 0 0 0 0 1 ρ1
ρ1 0 0 0 0 0 ρ1 0 0 ρ1 0 0 ρ1 0 + 0 0 0 0 ρ1 0
1 0 2 =σ 0 0 0
0 0 0 0 0 1 0 0 0 0 0 1 0 0 + ρ1 0 0 0 1 0 0 0 0 0 1 1
1 0 0 0 0 0 1 0 0 1 0 0 1 0 + ρ1 0 0 0 0 1 0 0 0 0 0 0
0 ρ1 0 0 0 0 ρ1 0 +ρ2 0 ρ1 ρ2 0 0 ρ1 0 0
0 ρ2 ρ2 0 0 0 ρ2 ρ2 0 0 0 ρ2 ρ2 0 0 0 ρ2 ρ2 0 0
0 0 0 ρ1 0 0 0 0 0 0 ρ1 0 0 0 + 0 0 ρ1 0 0 ρ2 0 0 0 0 0 0 0 ρ1 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 + ρ2 0 0 1 0 0 1 0 0 1 0 0
0 ρ2 0 0 0 0 0 ρ2 0 0 0 0 0 ρ2 +ρ2 0 0 0 0 0 ρ2 0 0 0 0
0 1 0 0 0 0 0 1 0 0 0 0 0 1 + ρ2 1 0 0 0 0 0 1 0 0 0 0
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
0 0 0 0 0 0 1 0 0 1
0 0 ρ2 0 0 0 0 ρ2 0 0 0 0 ρ2 0 0 0 0 ρ2 0 0 1 0 0 1 0 0 0 0 0 0
73
{
)}
(
Ω 5× 5 = σ 2 I + ρ 1 W + ρ 1 W '+ ρ 2 W 2 + ρ 2 W 2 '
{
(
(
) )}
(
)
= σ 2 I + ρ1 ( W + W ' ) + ρ 2 W 2 + W 2 '
{
(
)
(
)
(
= σ 2 I + ρ1 W + W − 1 + ρ 2 W 2 + W 2
{
(
= σ 2 I + ρ1 W + W −1 + ρ 2 W 2 + W −2
−1
)}
)}
Dengan melihat pola pada Ω3×3 dan Ω5×5 , tentu kita dapat memperluasnya lagi pada Ω N × N , dimana N bilangan ganjil positif, sebagai berikut:
ρ1 1 ρ 1 1 ⋮ ΩN×N =σ2 ρ1( N−1) ρ1( N−3) 2 2 ρ ρ 1( N−1) 1( N−1) 2 2 ⋮ ρ2 ρ1 1 0 ⋮ 2 =σ 0 0 ⋮ 0
... ρ1
ρ1
2
2
... ρ1
ρ1
2
2
( N−1)
( N−3)
( N−1) ( N−1)
⋱
... ...
⋱
...
1
ρ1
...
...
ρ1
1
...
⋱
⋱
... ρ1
(N−1) 2
ρ1
0 ... 0 0 ... 0 0 1 ... 0 0 ... 0 ρ ... ⋮ 1 ⋱ ⋮ 0 ... 1 0 ... 0 + 0 0 ... 0 1 ... 0 ⋮ ⋱ ⋱ ⋮ ρ1 0 ... 0 0 ... 1
(N−3) 2
...
ρ1
ρ2 ⋮ ρ1 ( N−1) 2 ρ1 ( N−3) 2 ⋮ 1
ρ1 ... 0 ... 0 ... 0 ...
⋱
...
0 ... 0 ...
⋱
⋱
0 ... 0 ...
0 0 0 0 ρ1 0 ⋮ ⋮ 0 +...+ ρ1 N−1 ( ) 0 2 ⋮ ρ1( N−1) ρ1( N−1) 2 2 0 ⋮ 0 0
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
... ρ1
ρ1
2
2
( N−1)
...
0
( N−1)
ρ1
( N−1)
... ...
2
⋱
⋱
...
0
0
...
...
0
0
...
⋱ ...
⋱ 0
0
...
0 0 ⋮ ρ1 ( N−1) 2 0 ⋮ 0
74
ΩN×N
1 0 ⋮ 2 = σ 0 0 ⋮ 0
0 ... 0 0 ... 0 0 ρ1 1 ... 0 0 ... 0 0 0 ... ⋮ ⋱ ⋮ 0 ... 1 0 ... 0 + 0 0 0 ... 0 1 ... 0 ⋮ ⋱ ⋱ ⋮ ρ1 0 0 ... 0 0 ... 1
0 0 ⋮ ρ 1 ( N −1) 2 0 ⋮ 0
1 0 ⋮ 2 = σ 0 0 ⋮ 0
ρ1 2
( N −1)
0
...
ρ1
0
2
0 0
ρ1 2
( N −1)
( N −1)
... ⋱
0
0
...
0
0
...
0
0
⋱ 0
... ρ 1 2
( N −1)
0
0 ... 0 0 ... 0 0 1 ... 0 0 ... 0 0 ... ⋮ ⋱ ⋮ 0 ... 1 0 ... 0 + ρ1 0 0 ... 0 1 ... 0 ⋮ ⋱ ⋱ ⋮ 1 0 ... 0 0 ... 1
0 0 ⋮ 1 0 ⋮ 0
... 0 ... 0 0 ... 0 ... 0 ρ1 ... ⋮ ⋮ ⋱ + ... 0 ... 0 0 ⋱ ⋱ ⋮ ⋮ ... 0 ... 0 0
... 0 0 ... 0 0 ⋱ ⋮ ⋮ ... 0 + 0 ... 0 ρ 1 ( N −1) ⋱ ⋮ 2 ⋮ ... 0 0
0 ... ρ 1 2
0 ...
0 ...
1
0 ... ⋱
0
0 ... 0 0 ... 0 ⋱ 0 ...
0
2
1
( N −1)
( N −1)
+W
1 − ( N −1) 2
ρ1
( N −1)
... ...
⋱
0 ...
0
0
...
0 ...
0
0
...
⋱ 0 ...
⋱ 0
)}
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
0
...
0 ... 0 ... 1 0 ... 0 ... 0 ... ⋮ ⋱ + ... + 0 ... 0 ... 0 ⋱ ⋱ ⋮ 0 ... 0 ... 0
0 ... 0 1 ... 0 ⋱ ⋮ 0 ... 1 0 ... 0 ⋱ ⋮ 0 ... 0
1 1 ( N −1) − ( N −1) W2 + ρ1 W 2 = σ 2 I + ρ1W + ρ1W−1 + ... + ρ 1 ( N −1) ( N −1) 2 2
(W 2
0
⋱
1 1 ( N −1) ( N −1) = σ 2 I + ρ1W + ρ1W '+ ... + ρ 1 + ρ1 W2 W ') 2 ( ( N −1) ( N −1) 2 2
= σ 2{I + ρ1 ( W + W −1 ) + ... + ρ 1
0
( N −1)
2
1 ... 0 ... 0 0 1 0 ... 0 ... 0 ⋮ ... ⋮ ⋱ + ρ1 0 ... 0 ... 0 0 ⋮ ⋱ ⋱ ⋮ 0 ... 0 ... 0 0
0 ... 0 1 ... 0 0 0 0 ... 0 0 ... 0 ⋮ ⋱ ⋱ ⋮ 0 0 ... 0 0 ... 0 + ρ 1 ( N −1) 2 1 1 ... 0 0 ... 0 ⋱ ⋮ ⋱ ⋮ 0 0 ... 1 0 ... 0
0 ... 0 ... ρ1 0 ... 0 ... 0 ⋱ ... ⋮ + ... + 0 ... 0 ... 0 ⋱ ⋱ ⋮ 0 ... 0 ... 0
0 ⋮ ρ1 ( N −1) 2 0 ⋮ 0 0
75
b)
Untuk N bilangan genap posiitif, akan dibuktikan
ρ1 ρ 2 1 ρ 1 ρ1 1 = σ 2 ρ 2 ρ1 1 ⋮ ρ1 ρ 2 ρ3
Ω N ×N
ρ3 .... ρ 2 ρ 2 .... ρ3 ρ1 .... ρ 4 ρ 4 .... ρ1
ρ1 ρ 2 ρ3
⋮ 1
= σ 2{I + ρ1 ( W + W −1 ) + ρ 2 ( W 2 + W -2 ) + ... +
1 1 − N 1 N ρ 1 ( W 2 + W 2 )} 2 2N
Bukti: Ω 2× 2 = σ
2
ρ1
1 ρ 1
=σ 1
1 0 1 = σ 2 0 = σ 2 I +
=σ
=σ
Ω4×4
2
2
2
1 0
ρ 1
0 0 + 1 ρ 1
0
2 0
0 1 0 + ρ1 1 2 2
0 0 1 + ρ1 1 2 1
1 0 + 0 1
1 0
1 ρ 1 ( W + W ' ) 2 1 −1 I + ρ1 W + W 2
(
ρ1
ρ2 ρ1
)
ρ1 ρ2 ρ1
1 ρ =σ2 1 ρ2 ρ1
ρ1 ρ2
1 0 = σ 2 0 0
0 0 0 0 1 0 0 ρ1 + 0 1 0 0 0 0 1 ρ1
1 0 = σ 2 0 0 1 2 0 =σ 0 0
0 0 0 0 1 0 0 0 + 0 1 0 0 0 0 1 ρ1
1
1
ρ1
1
ρ1
0
0
ρ1
ρ1
0
0
ρ1
0 0 0 0 1 0 0 0 + ρ1 0 1 0 0 0 0 1 1
ρ1
0
0 0
ρ1
0
0
0
ρ1 0
0 0 + ρ1 ρ2 0 0 0 0 0 ρ1 + ρ1 0 0 0
1 0 0 0 1 0 1 0 + ρ1 0 0 0 1 0 0 0 0
0 0
ρ2
0
0
ρ2
0
0 ρ2 0 0
0
0
ρ1
0
ρ1
0 0
0
ρ1
0
0 0 1 0 + ρ2 0 2 2 0 0
0 0 0 1 0 0 0 1 0 + ρ2 1 0 0 2 1 0 1 0 0
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
0 2 0 0 0 2 0 0 0 2 0 0
0 1 0 0 0 0 1 0 + 0 0 0 1 1 0 0 0
0 1 0 0 0 1 0 0 0 1 0 0
76
(
))
1 Ω 4×4 = σ 2 I + ρ1W + ρ1W '+ ρ 2 W 2 + W 2 ' 2 −1 1 = σ 2 I + ρ1 W + W −1 + ρ 2 W 2 + W 2 2 1 = σ 2 I + ρ1 W + W −1 + ρ 2 W 2 + W −2 2
(
(
)
(
(
)
(
(
)
)
)
Dengan melihat pola pada Ω 2×2 dan Ω 4×4 , tentu kita dapat memperluasnya lagi pada Ω N × N , dimana N bilangan genap positif, sebagai berikut:
ρ1 1 ρ 1 1 ⋮ ΩN×N =σ2 ρ1N−1 ρ1N−2 2 2 ρ1N ρ 1N−1 2 2 ⋮ ρ2 ρ1 1 0 ⋮ =σ2 0 0 ⋮ 0
... ρ1 2
... ρ1 2
N
N−1
ρ1 2
N−1
ρ1 2
ρ1
... ...
N
⋱
⋱
...
1
ρ1
...
...
ρ1
1
...
⋱
⋱
... ρ1 2
N−1
ρ1 2
N−2
0 ... 0 0 ... 0 0 1 ... 0 0 ... 0 ρ ... ⋮ 1 ⋱ ⋮ 0 ... 1 0 ... 0 + 0 0 ... 0 1 ... 0 ⋮ ⋱ ⋱ ⋮ ρ1 0 ... 0 0 ... 1
...
ρ2 ⋮ ρ1 N 2 ρ1 N−1 2 ⋮ 1
ρ1 ... 0 ... 0 ... 0 ...
⋱
...
0 ... 0 ...
⋱
⋱
0 ... 0 ...
0 0 ρ1 0 ⋮ ⋮ +... + 0 0 ⋮ ρ1N 2 0 ⋮ 0
0 ... ρ1 2
0 ...
0
...
ρ1
...
N
0
2
N
⋱
⋱
0 ...
0
0
...
0 ...
0
0
...
⋱ 0 ...
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
⋱ 0
0
...
0 0 ⋮ ρ1 N 2 0 ⋮ 0
77
ΩN×N
1 0 ⋮ = σ 2 0 0 ⋮ 0
1 ρ1 2 2N
1 0 ⋮ = σ 2 0 0 ⋮ 0
1 ρ1 2 2N
0 ... 0 0 ... 0 0 1 ... 0 0 ... 0 0 ... ⋮ ⋱ ⋮ 0 ... 1 0 ... 0 + 0 0 ... 0 1 ... 0 ⋮ ⋱ ⋱ ⋮ ρ1 0 ... 0 0 ... 1
0 0 ... 0 0 ... ⋮ ⋱ 0 0 ... 2 0 ... ⋮ ⋱ ⋱ 0 0 ...
⋮ ⋮ + ... 0 ... 0 0 ⋱ ⋱ ⋮ ⋮ ... 0 ... 0 0 ⋱
0 0
...
⋱
...
0 ... 0 ... ⋱ ⋱ 0 ... 0 ...
⋮ + ... + 0 ⋮ 0
2 0 ... 0 0 2 ... 0 ⋱ ⋮ 0 0 ... 2 0 0 ... 0 ⋱ ⋮ 0 0 ... 0
0 ... 0 0 ... 0 0 1 ... 0 0 ... 0 0 ⋱ ... ⋮ ⋮ 0 ... 1 0 ... 0 + ρ1 0 0 ... 0 1 ... 0 ⋮ ⋱ ⋱ ⋮ 1 0 ... 0 0 ... 1
0 0 ... 0 0 ... ⋮ ⋱ 0 0 ... 1 0 ... ⋮ ⋱ ⋱ 0 0 ...
ρ1 ... 0 ... 0 0 0 ... 0 ... ρ1 0 ... 0 ... 0 ρ1 0 ... 0 ... 0
1 ... 0 ... 0 0 1 0 ... 0 ... 0 ⋮ ⋱ ... ⋮ + ρ1 0 ... 0 ... 0 0 ⋮ ⋱ ⋱ ⋮ 0 ... 0 ... 0 0
1 0 ... 0 0 0 ... 1 0 1 ... 0 0 0 ... 0 ⋱ ⋮ ⋮ ⋱ 0 0 ... 1 + 0 0 ... 0 0 0 ... 0 1 0 ... 0 ⋱ ⋮ ⋮ ⋱ ⋱ 0 0 ... 0 0 0 ... 0
0 ... 0 1 ... 0 ⋱ ⋮ 0 ... 1 0 ... 0 ⋱ ⋮ 0 ... 0
1 1N 1 N = σ 2 I + ρ1W + ρ1W '+ ... + ρ 1 W 2 + ( W ') 2 2 2N 1 − N 1N 1 = σ 2 I + ρ1W + ρ1W −1 + ... + ρ 1 W 2 + W 2 2 2N
= σ 2 {I + ρ1 ( W + W −1 ) + ... +
0 ... 0 ... 1 0 ... 0 ... 0 ⋱ ... ⋮ + ... + 0 ... 0 ... 0 ⋱ ⋱ ⋮ 0 ... 0 ... 0
1 1 − N 1 N ρ 1 ( W 2 + W 2 )} 2 2N
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
78
LAMPIRAN 3 W Matriks Ortogonal
Tujuan: Akan dibuktikan W adalah matriks ortogonal, yaitu: 0 1 0 0 ... 0 0 0 1 0 ... 0 0 0 0 1 ... 0 −1 W = W ' dimana W = ⋱ ⋮ ⋮ 0 0 0 0 ... 1 1 0 0 0 ... 0
Bukti: W −1 =
1 Adj ( W ) det( W )
Pertama kali akan dicari det( W ) dengan menggunakan teorema 2.2.1, yaitu perluasan kofaktor sepanjang kolom ke-1 det(W) = a11C11 + a21C21 + ... + aN1CN1 0 1 0 ... 0
1 0 0 ... 0
0 0 1 ... 0 = 0(−1) ⋮ 2
⋱ ⋮
1 0 0 ... 0
0 0 1 ... 0 + 0(−1) ⋮
0 0 0 ... 1 0 0 0 ... 0 N −1×N −1
3
⋱ ⋮
0 1 0 ... 0 + ... +1(−1)
0 0 0 ... 1 0 0 0 ... 0 N −1×N −1
1 0 0 ... 0 0 1 0 ... 0 = (−1)
N +1
⋮ ⋱ ⋮ 0 0 0 ... 0
= (−1)N +1
0 0 0 ... 1 N −1×N −1
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
N +1
⋮
⋱ ⋮
0 0 0 ... 0 0 0 0 ... 1 N −1×N −1
79
Jika N bilangan ganjil, maka N+1 genap, sehingga det( W ) = 1 , sedangkan jika N genap, maka N+1 ganjil, sehingga det( W ) = −1 . Selanjutnya akan dicari matriks kofaktor C karena Adj ( W ) = C ' (tranpose dari matriks kofaktor).
C12 C11 C C22 21 C= ⋮ C( N −1)1 C( N −1)2 C N 1 CN 2
⋯
C13 C23
⋯
C( N −1)3 CN 3
⋱ ⋯ ⋯
C1N C2 N ⋮ C( N −1) N C NN
1 0 0 ⋯ 0 0 1 0 ⋯ 0
C11 = ( −1) ⋮ 2
⋱ ⋮
= 1.0 = 0
0 0 0 ⋯ 1 0 0 0 ⋯ 0 ( N −1)×( N −1)
0 1 0 ⋯ 0
1 0 ⋯ 0
0 0 1 ⋯ 0
0 1 ⋯ 0 C12 = (−1)3 ⋮ = (−1)1(−1)( N −1) +1 ⋱ ⋮ ⋮ ⋱ ⋮ 0 0 0 ⋯ 1 0 0 ⋯ 1 ( N − 2)×( N − 2) 1 0 0 ⋯ 0 ( N −1)×( N −1) = (−1) N +1.1 1 = (−1) N +1 = −1
untuk Nganjil untuk N genap
0 0 0 ⋯ 0 0 0 1 ⋯ 0
C13 = ( −1) ⋮ 4
⋱ ⋮
= 1.0 = 0
0 0 0 ⋯ 1 1 0 0 ⋯ 0 ( N −1)×( N −1)
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
80
0 0 1 ⋯ 0
⋮
C1N = ( −1)
N +1
⋱ ⋮ = ( −1)
0 0 0 ⋯ 1
N +1
.0 = 0
0 0 0 ⋯ 0 1 0 0 ⋯ 0 ( N −1)×( N −1)
1 0 0 ⋯ 0 0 0 1 ⋯ 0
C21 = ( −1) ⋮ 3
⋱ ⋮
= −1.0 = 0
0 0 0 ⋯ 1 0 0 0 ⋯ 0 ( N −1)×( N −1)
0 0 0 ⋯ 0 0 0 1 ⋯ 0
C22 = ( −1) ⋮ 4
⋱ ⋮
= 1.0 = 0
0 0 0 ⋯ 1 1 0 0 ⋯ 0 ( N −1)×( N −1)
0 1 0 ⋯ 0
1 0 ⋯ 0
0 0 1 ⋯ 0
0 1 ⋯ 0 C23 = (−1)5 ⋮ = (−1)1(−1)( N −1) +1 ⋱ ⋮ ⋮ ⋱ ⋮ 0 0 0 ⋯ 1 0 0 ⋯ 1 ( N − 2)×( N − 2) 1 0 0 ⋯ 0 ( N −1)×( N −1) = (−1) N +1.1 1 = (−1) N +1 = −1
untuk Nganjil untuk N genap
0 1 0 ⋯ 0
⋮
C2 N = ( −1)
N +2
⋱ ⋮
0 0 0 ⋯ 1
= ( −1)
N +2
.0 = 0
0 0 0 ⋯ 0 1 0 0 ⋯ 0 ( N −1)×( N −1)
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
81
1 0 0 ⋯ 0 0 1 0 ⋯ 0
C( N −1)1 = ( −1) ⋮ N
= ( −1) .0 = 0 N
⋱ ⋮
0 0 0 ⋯ 1 0 0 0 ⋯ 0 ( N −1)×( N −1)
0 0 0 ⋯ 0 0 1 0 ⋯ 0
C( N −1)2 = ( −1)
N +1
⋮
= ( −1)
⋱ ⋮
N +1
.0 = 0
0 0 0 ⋯ 1 1 0 0 ⋯ 0 ( N −1)×( N −1)
0 1 0 0 ⋯ 0 0 0 0 0 ⋯ 0
C( N −1)3 = ( −1)
N +2
0 0 1 0 ⋯ 0
⋮
= ( −1)
⋱ ⋮
N +2
.0 = 0
0 0 0 0 ⋯ 1 1 0 0 0 ⋯ 0 ( N −1)×( N −1)
1 0 ⋯ 0
C N 1 = (−1) N +1
0 1 ⋯ 0
⋮
⋱ ⋮
1 = (−1) N +11 = (−1) N +1 = −1
untuk Nganjil untuk N genap
0 0 ⋯ 1 ( N −1)×( N −1) 0 1 0 ⋯ 0 0 0 1 ⋯ 0 C( N −1) N = (−1) 2 N −1 ⋮
⋱ ⋮
0 0 0 ⋯ 1 1 0 0 ⋯ 0 ( N −1)×( N −1)
1 0 ⋯ 0 = (−1) 2 N −11( −1) ( N −1)+1
0 1 ⋯ 0 ⋮ ⋱ ⋮ 0 0 ⋯ 1 ( N − 2)×( N − 2)
= ( −1)3 N −1.1 1 = ( −1)3 N −1 = −1
untuk N ganjil untuk N genap
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
82
0 0 0 ⋯ 0 0 1 0 ⋯ 0
C N 2 = ( −1)
N +2
= ( −1)
0 0 1 ⋯ 0
⋮
N +2
.0 = 0
N +3
.0 = 0
⋱ ⋮
0 0 0 ⋯ 1 ( N −1)×( N −1)
0 1 0 ⋯ 0 0 0 0 ⋯ 0
C N 3 = ( −1)
N +3
= ( −1)
0 0 1 ⋯ 0
⋮
⋱ ⋮
0 0 0 ⋯ 1 ( N −1)×( N −1)
0 1 0 ⋯ 0 0 0 1 ⋯ 0
C NN = ( −1)
2N
⋮
= ( −1)
⋱ ⋮
2N
.0 = 0
0 0 0 ⋯ 1 0 0 0 ⋯ 0 ( N −1)×( N −1)
sehingga C11 C 21 C= ⋮ C( N −1)1 C N 1 0 1 0 0 = −1 ⋮ 0 0 1 0
C12
C13
⋯
C22
C23
⋯ ⋱
C( N −1)2 CN 2
C( N −1)3 ⋯ CN 3
⋯
C1N 0 −1 0 C2 N 0 0 −1 ⋮ = ⋮ C( N −1) N 0 0 0 C NN −1 0 0
⋯ ⋯ ⋱ ⋯ ⋯
0 ⋯ 0 1 ⋯ 0 ⋱ ⋮ = (−1) W 0 ⋯ 1 0 ⋯ 0
untuk N bilangan genap positif, sedangkan
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
0 0 ⋮ −1 0
83
C12 C11 C C22 21 C= ⋮ C( N −1)1 C( N −1)2 CN 2 C N 1
⋯
C13 C23
⋯
C( N −1)3 CN 3
⋱ ⋯ ⋯
C1N 0 C2 N 0 ⋮ = ⋮ C( N −1) N 0 CNN 1
1 0 ⋯ 0 1 ⋯ ⋱ 0 0 ⋯ 0 0 ⋯
0 0 ⋮ = W 1 0
untuk N bilangan ganjil positif.
Untuk N bilangan bilangan genap 1 × adj ( W ) = −1× C ' −1 = −1× (−1) W '
W −1 =
= W'
dan untuk N bilangan ganjil 1 W −1 = × adj ( W ) = 1× C ' 1 = W'
Jadi terbukti W ortogonal, W −1 = W '
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
84
LAMPIRAN 4 Menunjukkan WNN× N = I N × N
Tujuan: Akan dibuktikan sifat ke-2 dari matriks W, yaitu
WNN× N
0 0 0 = I dimana W = ⋮ 0 1
0 0 0 dan I adalah matriks identitas. ⋱ ⋮ 0 0 0 ... 1 0 0 0 ... 0
1 0 0 ... 0 1 0 ... 0 0 1 ...
Bukti: Untuk N=2 1 0 0 1 W2×2 = = ( a 2 , a1 ) dimana a1 = dan a 2 = 0 1 1 0 0 1 1 0 W22×2 = W2×2 .W2×2 = ( a 2 , a1 ) = ( a1 , a 2 ) = = I 2×2 1 0 0 1
Untuk N=3
W3×3
1 0 0 0 1 0 = 0 0 1 = ( a3 , a1 , a 2 ) dimana a1 = 0 , a 2 = 1 , dan a3 = 0 0 0 1 1 0 0
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
85
2 3×3
W
= W3×3 .W3×3
W33×3 = W32×3 .W3×3
0 1 0 0 0 1 = ( a3 , a1 , a 2 ) 0 0 1 = ( a2 , a3 , a1 ) = 1 0 0 1 0 0 0 1 0 0 1 0 1 0 0 = ( a 2 , a3 , a1 ) 0 0 1 = ( a1 , a 2 , a3 ) = 0 1 0 = I 3×3 1 0 0 0 0 1
Dengan melihat pola dari W22×2 dan W33×3 , tentu kita dapat memperluasnya lagi pada WNN× N sebagai berikut:
WN × N
0 0 = ⋮ 0 1
1 0 ... 0 0 1 ... 0 ⋱ ⋮ = (a N , a1 , a 2 ,..., a N − 2 , a N −1 ) dimana a j adalah vektor 0 0 ... 1 0 0 ... 0
kolom yang entri ke-j adalaj 1 dan entri lainnya 0.
WN2×N = WN×N .WN×N
WN3×N
0 0 = ( aN , a1, a2 ,..., aN −2 , aN −1 ) ⋮ 0 1
0 0 = WN2×N .WN×N = ( aN −1, aN , a1,..., aN −3 , aN −2 ) ⋮ 0 1
1 0 ... 0 0 1 ... 0 ⋱ ⋮ = ( aN −1, aN , a1,..., aN −3, aN −2 ) 0 0 ... 1 0 0 ... 0 1 0 ... 0 0 1 ... 0 ⋱ ⋮ = ( aN −2 , aN −1, aN ,..., aN −4 , aN −3 ) 0 0 ... 1 0 0 ... 0
⋮
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
86
WNN×−N1
WNN×N
0 0 = WNN×−N2.WN×N = ( a3 , a4 , a5 ,..., a1, a2 ) ⋮ 0 1 = ( a2 , a3 , a4 ,..., aN , a1 )
1 0 ... 0 0 1 ... 0 ⋱ ⋮ 0 0 ... 1 0 0 ... 0
0 0 = WNN×−N1 .WN×N = ( a2 , a3, a4 ,..., aN , a1 ) ⋮ 0 1 = ( a1, a2 , a3 ,..., aN −1, aN )
1 0 ... 0 0 1 ... 0 ⋱ ⋮ 0 0 ... 1 0 0 ... 0
= I N×N
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
87
LAMPIRAN 5 Menunjukkan Ω (Matrik Autokovariansi), berukuran N×N, dalam Proses Noncircular Dapat Dinyatakan Sebagai Ω = σ 2{I + ρ1 (U + U ' ) + ... + ρ N −1 (U N −1 + U '( N −1) )} untuk semua N
Tujuan: Dalam proses noncircular matrik autokovariansi yang berukuran NxN dinyatakan dalam bentuk di bawah ini
ρ1 ρ2 1 ρ ρ1 1 1 2 ρ1 1 E ( XX ') = σ ρ 2 ⋮ ρ N −1 ρ N − 2 ρ N −3
ρ3 ρ2 ρ1
.... ρ N − 2 .... ρ N −3 .... ρ N − 4
ρ N − 4 .... ρ1
ρ N −1 ρ N − 2 ρ N −3 = Ω ⋮ 1
disini akan dibuktikan bahwa matriks autokovariansi diatas dapat dinyatakan dalam dalam bentuk Ω = σ 2{I + ρ1 (U + U ' ) + ρ 2 (U 2 + U ' 2 ) + ... + ρ N −1 (U N −1 + U '( N −1) )}
Untuk sembarang N, dimana N bilangan asli. Untuk semua nilai N, I adalah matriks identitas berukuran N×N dan U adalah noncirculant definition of auxiliary identity matrix berukuran N×N, dimana 0 0 0 U= ⋮ 0 0
1
0 0 ...
0 1
0 ...
0 0 1 ... ⋱ 0 0 0 ... 0 0 0 0
0 0 0 ⋮ 1 0
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
88
Bukti:
Ω1×1 = σ 2 [1] = σ 2 1 Ω 2× 2 = σ
2
ρ1
1 ρ 1
=σ 1
2
1 0
ρ 1
0 0 + 1 ρ 1
0
1 0 0 ρ 1 0 0 + + 0 ρ 1 0 0 1 0 1 0 0 1 0 0 = σ 2 + ρ1 + ρ1 0 0 1 0 0 1 = σ 2 {I + ρ 1 U + ρ 1 U '}
=σ
2
=σ
2
Ω 3× 3 = σ
2
=σ
=σ
{I + ρ ( U + U ' )} 1
2
2
=σ
2
=σ
2
1 ρ1 ρ 2
ρ1
1 0 0
0 1
1 0 0
0 1
ρ2 ρ 1 = σ
1
ρ1
0
0
2
1
1 0 0
0 0 0 + 0 1 0
ρ1
0 0 0 + ρ 1 0 0 1
1 0
0 1 0
0 0 0 + ρ 1 1 0
0 0 ρ 1 + ρ 1 0 0
0 0
0 0 1 + ρ 1 1 0 0
0
{I + ρ U + ρ U '+ ρ U + ρ ( U ) '} {I + ρ ( U + U ' ) + ρ ( U + U ' )} 2
1
1
ρ1 0 0 1
0
ρ1
0 0 ρ 1 + 0 0 ρ 2
0 0 0 + 0 0 0
0 0
0 0 0 + ρ 2 0 0 0
0 0
0
0
0 0 0
ρ2 0 0
ρ2
0 0 + 0 0 ρ 2
0 0
1 0 0 + ρ 2 0 1 0
0 0
2
2
2
2
1
0 0
ρ1
2
2
Dengan melihat pola pada Ω 2×2 dan Ω3×3 , tentu kita dapat memperluasnya lagi pada Ω N × N , dimana N bilangan asli, sebagai berikut:
Ω N×N
1 ρ 1 ρ =σ2 2 ⋮ ρ N −2 ρ N −1
ρ1 1
ρ2 ρ1
ρ1
1
ρ N −3 ρ N −2
ρ N −4 ρ N −3
... ... ... ⋱ ... ...
ρ N −2 ρ N −3 ρ N −4 1 ...
ρ N −1 ρ N − 2 ρ N −3 ⋮ ρ1 1
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
0
0
0 0 0 0 0 0
89
Ω N×N
1 0 0 = σ 2 ⋮ 0 0
0 0 1 0 0 1
... 0 ... 0 ... 0 ⋱
ρ1
0
0
ρ1
ρ1
0
0 0 0 0
0 0
0 0
0 0
1 0 0 = σ 2 ⋮ 0 0
0 0 1 0 0 1
0 0 0 ⋮ 0 0
0 0 0 0 0 0
0 0 ρ1 0 0 0 0 0 0 + ⋱ ⋮ ⋮ 0 0 0 1 ⋮ 0 0 0 0 0 ... 1 0 0 ... ... ...
0 0 0
... ... ...
0 0 ⋮ 0 0
0 0 0 0 0 0 + ρ1 ⋱ ⋮ ⋮ 0 0 0 0 1 ⋮ 0 0 0 ... 1 0
0 0 1 0 0 1
0 0 0 ρ N −1 ⋮ 0 0
0 0 0 0 0 0 0 0 0 0
... ... ...
0 0 0
0 0 0
... ...
0 0
ρ1 0 0
... 0 0 ... 0 0 ... 0 0 + ... + ⋱ ⋱ ⋮ 0 ... 0 0 0 ... ρ1 0
0 0 0
0 0
0 0 1 0 0 0 + ρ1 ⋱ ⋱ ⋮ ⋮ 0 0 0 ... 0 1 0 0 ... 0 0 0
1 0 0 1 0 0
0
(
ρ1
... 0 ρ N −1 ... 0 0 0 0 ... 0 0 ⋱ ⋮ 0 0 ... 0 0 0 0 ... 0 0 0 0 0 0
0 0 0 0 ... 0 0 ⋱ ⋱ ⋮ 0 0 ... 0 0 0 0 ... 0 0 ... ... ...
0 0 0 0 0 0 0 0 0 0
= σ 2 I + ρ1U + ρ1U '+ ... + ρ N −1U N −1 + ρ N −1 ( U ' )
{
0 0 0 0
0 0 0 0
1 0 ... 0 0 0 0 ... 0 0 + ρ N −1 ⋱ ⋱ ⋮ ⋮ 0 ... 0 0 ... 0 0 1 ...
... ... ... ... ...
ρ1
0 0 + ⋮ 0 ρ N −1
0 0 0 0 0 0 + ... + ⋮ ⋮ 0 ρ1 0 ρ N −1
... 0 ... 0 ... 0 ⋱ ⋱
0 0 0 ρ1 0 0 + ⋱ ⋱ ⋮ ⋮ ... 0 ρ1 0 ... 0 0 0
0
ρ N −1 0
0 0 0
⋱ ⋱ 0 0 ... 0 0 0 ... 0
1 0 0 = σ 2 ⋮ 0 0
{
0 0 0 ρ1 0 0 + ⋮ ⋮ 1 ⋮ 0 ... 1 0
= σ 2 I + ρ1 ( U + U ') + ... + ρ N −1 U N −1 + U '(
N −1)
0 0 0
0 ... 0 0 ... 0 0 ⋱ ⋱ ⋮ ... 0 0 ... 0 0
N −1
...
0
}
)}
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
0 0 0 + ... + ⋱ ⋱ ⋮ 0 0 ... 0 0 0 0 ... 1 0
0 0 0 0 1 0
... ... ...
0 0 0
90
Lampiran 6 Menunjukkan U NN × N = 0 N × N
Tujuan: Akan dibuktikan sifat dari matriks U, yaitu
U NN × N
0 0 = 0 dimana U = 0 ⋮ 0 0
0 0 0 0 1 ... 0 dan 0 adalah matriks nol. ⋱ ⋮ 0 0 0 ... 1 0 0 0 0 0
1 0 0 ... 0 1 0 ...
Bukti: Untuk N=2 1 0 0 1 U 2×2 = = ( 0, a1 ) dimana a1 = dan 0 = 0 0 0 0 0 1 0 0 U 22×2 = U 2×2 .U 2×2 = ( 0, a1 ) = ( 0, 0 ) = = 0 2×2 0 0 0 0
Untuk N=3
U 3×3
U
2 3×3
1 0 0 0 1 0 = 0 0 1 = ( 0, a1 , a 2 ) dimana a1 = 0 , a 2 = 1 , dan 0 = 0 0 0 0 0 0 0
= U 3×3 .U 3×3
0 1 0 0 0 1 = ( 0, a1 , a 2 ) 0 0 1 = ( 0, 0, a1 ) = 0 0 0 0 0 0 0 0 0
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
91
U
3 3×3
= U .U3×3 2 3×3
0 0 1 0 0 0 = ( 0, 0, a1 ) 0 0 0 = ( 0, 0, 0 ) = 0 0 0 = 03×3 0 0 0 0 0 0
Dengan melihat pola dari U 22×2 dan U 33×3 , tentu kita dapat memperluasnya lagi pada U NN × N sebagai berikut:
U N ×N
0 0 = ⋮ 0 0
1 0 ... 0 0 1 ... 0 ⋱ ⋮ = (0, a1 , a 2 ,..., a N − 2 , a N −1 ) dimana a j adalah vektor 0 0 ... 1 0 0 ... 0
kolom yang entri ke-j adalaj 1 dan entri lainnya 0 dan 0 adalah vektor kolom 0.
U2N×N = UN×N .UN×N
U3N×N
0 0 = ( 0, a1, a2 ,..., aN −2 , aN −1 ) ⋮ 0 0
0 0 = U2N×N .UN×N = ( 0, 0, a1,..., aN −3, aN −2 ) ⋮ 0 0
1 0 ... 0 0 1 ... 0 ⋱ ⋮ = ( 0, 0, a1,..., aN −3, aN −2 ) 0 0 ... 1 0 0 ... 0 1 0 ... 0 0 1 ... 0 ⋱ ⋮ = ( 0, 0, 0,..., aN −4 , aN −3 ) 0 0 ... 1 0 0 ... 0
⋮
UNN×−1N = UNN×−N2 .UN×N
0 0 = ( 0, 0, 0,..., a1, a2 ) ⋮ 0 0
1 0 ... 0 0 1 ... 0 ⋱ ⋮ = ( 0, 0, 0,..., 0, a1 ) 0 0 ... 1 0 0 ... 0
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
92
UNN×N
0 0 = UNN×−1N .UN×N = ( 0, 0, 0,..., 0, a1 ) ⋮ 0 0 = ( 0, 0, 0,..., 0, 0)
1 0 ... 0 0 1 ... 0 ⋱ ⋮ 0 0 ... 1 0 0 ... 0
= 0N×N
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
93
LAMPIRAN 7 Menunjukkan distribusi dari d bebas dari parameter µ dan σ
Tujuan: Misalkan terdapat N variabel random X 1 , X 2 ,..., X N , dapat dinyatakan sebagai: X i = µ + σ ei
i=1,2,...,N
dimana ei mempunyai distribusi tertentu yang tidak bergantung pada µ dan
σ . Akan dibuktikan distribusi marginal dari d = {di } =
(
)
{( x − x ) / s } ,i=1,2,...,N , i
x
2
dimana x = ∑ i =1 xi / N dan sx2 = ∑ i =1 xi − x /( N − 1) , bebas dari parameter µ N
N
dan σ . Bukti: Berdasarkan persamaan (2.16), pdf bersama dari x, s x dan d adalah
(
)
f x, s x , d ; µ , σ =
s xN − 2 ( d N − d N −1 )
σ
N
d s + x−µ d s +x−µ f 1 x ,...., N x σ σ
Untuk mempermudah pembuktian misalkan ei ∼ NIID (0,1) ,
f (ei ) =
e2 1 exp(− i ) 2 2π
−∞ < ei < ∞
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
94
sehingga persamaan (2.16) menjadi 1 d s + x − µ 2 1 d s + x − µ 2 1 1 1 x f x, s x , d ; µ , σ = . exp − exp − N x ... N 2 σ σ σ 2 π 2π 2 2 d i sx + x − µ s xN − 2 (d N − d N −1 ) N 1 exp − ∑ i =1 = N σ 2 ( 2π ) 2 σ N 2 sx2 ∑ d i2 + 2 sx x − µ ∑ di + ∑ x − µ s xN − 2 (d N − d N −1 ) 1 exp − = N 2 2 σ N ( 2π ) 2 σ
(
sxN − 2 (d N − d N −1 )
)
(
)
(
dari pada sub bab 3.3.1.1 c) dan d) telah dibuktikan bahwa
∑d
2 i
(
)
∑d
i
)
= 0 dan
= N − 1 , sehingga
(
)
f x, s x , d ; µ , σ =
s xN − 2 ( d N − d N −1 ) N
( 2π ) 2 σ N
(
2 1 s x ( N − 1) + N x − µ exp − 2 σ2
)
2
Berdasarkan definisi dalam sub. bab 2.6, maka distribusi marginal dari d ∞ ∞
f (d ) = ∫ ∫
sxN −2 (d N − d N −1 ) N 2
( 2π ) σ N
0 −∞
(
2 1 sx ( N −1) + N x − µ exp − 2 σ2
)
2
d xds x
(
N x−µ 1 s ( N −1) s (d N − d N −1 ) − 1 =∫ − exp exp N 2 σ2 ∫ 2 σ2 0 −∞ ( 2π ) 2 σ N ∞
∞
=∫ 0
N −2 x
2 x
sxN − 2 (d N − d N −1 ) N 2
( 2π ) σ
N
∞
)
2
u=
d xds x
1 s x2 ( N − 1) ∞ 1Nu 2 exp − exp − σ duds x 2 ∫ σ2 2 −∞
x−µ
x = −∞→u = −∞
σ
1 du = dx
x =∞→u =∞
σ dx = σdu
(1)
Sebelum menyelesaikan integral diatas, terlebih dahulu akan dicari nilai dari ∞
∫
−∞
exp(−
y2 ) dy 2
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
95
Misalkan ∞
∫
I=
−∞
exp(−
y2 ) dy 2
Integral ini ada, karena integrannya positif kontinu dan dibatasi oleh fungsi yang integrabel, yaitu: 0 < exp(−
y2 ) < exp(− | y | +1) 2
−∞ < y < ∞
∞
dan
∫ exp(− | y | +1) dy = 2e .
−∞
Untuk menghitung integral I, I>0 dan I 2 > 0 ditulis: I2 =
∞ ∞
y2 + z2 ∫−∞ −∞∫ exp(− 2 ) dydz
Misalkan y = r cos θ dan z = r sin θ , maka y 2 + z 2 = r 2 ( sin 2 θ + cos 2 θ ) = r 2 dan ∂y ∂r | J |= ∂z ∂r
I2 =
∂y cos θ ∂θ = sin θ ∂z ∂θ
2π ∞
∫ ∫ exp ( −r
2
− r sin θ r cos θ
(
)
= r cos 2 θ + sin 2 θ = r , sehingga
)
/ 2 rdrdθ
0 0
=
2π
∫ − exp ( −r 0
2
/2
)
∞
dθ 0
2π
= ∫ 1 dθ 0
= θ | = 2π 2π
0
berarti I = 2π
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
(2)
96
Dari (1) ∞
f (d ) = ∫ 0
∞
=∫ 0
sxN −2 (d N − d N −1 ) N
( 2π ) 2 σ N
1 s 2 ( N − 1) ∞ 1Nu 2 exp − x 2 exp ∫ − σ dudsx 2 σ 2 −∞
g = Nu
u = −∞ → g = −∞
dg = Ndu
u =∞→g =∞
du = 1/ Ndg
1 s 2 ( N − 1) ∞ g2 1 dgds x exp − x 2 exp − 2 ∫ σ 2 N −∞
sxN − 2 (d N − d N −1 ) N
( 2π ) 2 σ N −1
Berdsarakan persamaan (1), maka ∞
f (d ) = ∫ 0
= = =
1 sx2 ( N − 1) exp − dsx N −1 2 2 σ N −1 2 N ( 2π ) σ
sxN − 2 (d N − d N −1 ) ∞
(d N − d N −1 ) N ( 2π )
N −1 2
σ
N ( 2π )
N −1 2
(d N − d N −1 ) N ( 2π )
0
∞
(d N − d N −1 )
σ ∞
sx
∫ σ ∫h
N −2
0
∫h
N −2
N −1 2 0
∞
Nilai dari integral
∫h 0
N −2
N −2
1 s ( N − 1) exp − ds x 2 2 σ 2 x
h=
sx
sx = 0 → h = 0
σ
dh =
1
ds
σ x dsx = σ dh
sx = ∞ → h = ∞
1( N − 1) 2 exp − h σ dh 2
1( N − 1) 2 exp − h dh 2
1( N − 1) 2 h dh tidak bergantung pada σ , exp − 2
sehingga terbukti bahwa distribusi marginal dari d tidak bergantung pada µ dan σ .
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
97
Lampiran 8 Menunjukkan σ Z t Mempunyai Sifat-Sifat Distribusi yang Sama dengan a t
Tujuan: Akan dibuktikan σ Z t mempunyai mean 0 dan variansi σ 2 sama halnya dengan a t , dimana Zt mempunyai mean nol, variansi 1 dan independent. Bukti:
µσ Z = E (σ Z t ) t
= σ E ( Zt ) =0 2 2 Var (σ Z t ) = E (σ Z t ) − E ( Z t )
= E σ 2 Z t2 − 0 = σ 2 E ( Zt − 0 )
2
= σ 2Var ( Z t ) =σ2
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
98
Lampiran 9
θ memaksimumkan L (θ ) ↔ θ memaksimumkan lnL (θ )
Tujuan: Menunjukkan, θ memaksimumkan L (θ ) ↔ θ memaksimumkan lnL (θ ) . Bukti:
( → ) Adit: θ
memaksimumkan L (θ ) → θ memaksimumkan lnL (θ )
Karena θ memaksimumkan L (θ ) , maka:
∂L (θ ) ∂θ
1
⋅
L (θ )
=0
∂L (θ ) ∂θ
∂ lnL (θ ) ∂θ
∂ 2L (θ ) ∂θ 2
∂ 2L (θ ) ∂θ
2
∂ 2L (θ ) ∂θ
2
=
1
L (θ )
⋅0
=0
(1)
<0
⋅
⋅
1
< 0.
1
<0
L (θ )
L (θ )
1
L (θ )
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
99
∂ ∂θ
1 ∂L (θ ) ∂ 2L (θ ) 1 ∂ 1 ∂L (θ ) + ⋅ < +0 ⋅ ⋅ 2 L (θ ) ∂θ L (θ ) ∂θ ∂θ L (θ ) ∂θ
∂ ∂θ
1 ∂L (θ ) ∂ 2L (θ ) 1 ∂ 1 + ⋅ < ⋅ ⋅0 + 0 ∂θ 2 L (θ ) ∂θ L (θ ) L (θ ) ∂θ
∂ ∂θ
1 ∂L (θ ) ∂ 2L (θ ) 1 + ⋅ <0 ⋅ ∂θ 2 L (θ ) L (θ ) ∂θ
∂ ∂θ
1 ∂L (θ ) ⋅ < 0 L (θ ) ∂θ
∂ ∂ lnL (θ ) <0 ∂θ ∂θ
∂ 2 lnL (θ ) ∂θ 2
<0
(2)
Dari (1) dan (2) terlihat bahwa θ juga memaksimumkan lnL (θ ) .
( ←)
Adit: θ memaksimumkan lnL (θ ) → θ memaksimumkan L (θ ) . Karena θ memaksimumkan lnL (θ ) , maka
∂ lnL (θ ) ∂θ
1
L (θ )
⋅
L (θ ) ⋅
=0
∂L (θ ) ∂θ
1
L (θ )
⋅
=0 ∂L (θ ) ∂θ
= L (θ ) ⋅ 0
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
100
∂L (θ ) ∂θ
=0
∂ 2 lnL (θ ) ∂θ 2
(3)
<0
∂ ∂ lnL (θ ) <0 ∂θ ∂θ
∂ ∂θ
1 ∂L (θ ) ⋅ < 0 θ θ L ∂ ( )
∂ ∂θ
1 ∂L (θ ) ∂ 2L (θ ) 1 + ⋅ <0 ⋅ ∂θ 2 L (θ ) L (θ ) ∂θ
∂ ∂θ
1 ∂ 2L (θ ) 1 ⋅ <0 ⋅ 0 + ∂θ 2 L (θ ) L (θ )
∂ 2L (θ ) ∂θ
2
∂ 2L (θ ) ∂θ
2
∂ 2L (θ ) ∂θ 2
⋅
⋅
1
<0
1
⋅ L (θ ) < 0 ⋅ L (θ )
L (θ )
L (θ )
<0
(4)
Dari (3) dan (4) terlihat bahwa θ juga memaksimumkan L (θ ) . ∴ Terbukti bahwa θ memaksimumkan L (θ ) ↔ θ memaksimumkan
lnL (θ ) .
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
101
Lampiran 10 Data ”Annual yield of grain on Broadbalk field at Rothamsted 1852-1925”
tahun 1853 1854 1855 1856 1857 1858 1859 1860 1861 1862 1863 1864 1865 1866
hasil panen 1.92 1.26 3 2.51 2.55 2.9 2.82 2.54 2.09 2.47 2.74 3.23 2.91 2.67
tahun 1853 1854 1855 1856 1857 1858 1859 1860 1861 1862 1863 1864 1865 1866 1867
di -0.917 -2.0864 0.9966 0.1284 0.1993 0.8194 0.6777 0.1816 -0.6158 0.0575 0.5359 1.4041 0.8371 0.4119 -0.2083
tahun 1867 1868 1869 1870 1871 1872 1873 1874 1875 1876 1877 1878 1879 1880
tahun 1868 1869 1870 1871 1872 1873 1874 1875 1876 1877 1878 1879 1880 1881 1882
hasil panen 2.32 1.97 2.92 2.53 2.64 2.29 1.82 2.72 2.12 1.73 1.66 2.12 1.19 2.66
tahun 1881 1882 1883 1884 1885 1886 1887 1888 1889 1890 1891 1892 1893 1894
di -0.8284 0.8549 0.1638 0.3587 -0.2614 -1.0942 0.5005 -0.5626 -1.2537 -1.3777 -0.5626 -2.2105 0.3942 -0.5272 -0.3323
hasil panen 2.14 2.25 2.52 2.36 2.82 2.61 2.51 2.61 2.75 3.49 3.22 2.37 2.52 3.23
tahun 1883 1884 1885 1886 1887 1888 1889 1890 1891 1892 1893 1894 1895 1896 1897
tahun 1895 1896 1897 1898 1899 1900 1901 1902 1903 1904 1905 1906 1907 1908
di 0.1461 -0.1374 0.6777 0.3056 0.1284 0.3056 0.5536 1.8648 1.3864 -0.1197 0.1461 1.4041 1.2978 1.4573 0.5005
hasil panen 3.17 3.26 2.72 3.03 3.02 2.36 2.83 2.76 2.07 1.63 3.02 3.27 2.75 2.97
tahun 1898 1899 1900 1901 1902 1903 1904 1905 1906 1907 1908 1909 1910 1911 1912
tahun 1909 1910 1911 1912 1913 1914 1915 1916 1917 1918 1919 1920 1921 1922
di 1.0498 1.0321 -0.1374 0.6954 0.5714 -0.6512 -1.4308 1.0321 1.4750 0.5536 0.9435 0.6068 -0.4386 0.7131 -1.8561
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
hasil panen 2.78 2.19 2.84 1.39 1.7 2.26 2.78 2.01 1.23 2.87 2.12 2.39 2.23 2.73
tahun 1913 1914 1915 1916 1917 1918 1919 1920 1921 1922 1923 1924 1925
tahun 1923 1924 1925
di -1.3068 -0.3146 0.6068 -0.7575 -2.1396 0.7663 -0.5626 -0.0842 -0.3677 0.5182 -1.6435 -2.5294 -1.9447
hasil panen 1.51 1.01 1.34
102
Lampiran 11 Taksiran Parameter AR (1) dengan Fungsi Marginal Likelihood Untuk Data ”Annual yield of grain on Broadbalk field at Rothamsted 1852-1925”
Tujuan: Berikut ini akan diberikan penurunan untuk mendapatkan taksiran parameter AR (1) untuk Data ”Annual yield of grain on Broadbalk field at Rothamsted 1852-1925” jika variabel error dianggap sebagai proses circular dan noncircular. Hasil taksiran diperoleh dengan menggunakan bantuan software Maple 9.5.
(1).
Taksiran parameter AR (1) jika variabel error dianggap sebagai proses yang circular
Fungsi marginal likelihood untuk data ini adalah
(
L ( ρ; d ) = 1 − ρ
73
) (1 − ρ )
−1
72
−
72 2
72 2 −2
(1 − 0.773995406ρ + ρ )
dalam Maple 9.5 diberikan dengan
> L1(rho):=(1-rho^73)*(1-rho)^(-1)*(72)^(-72/2)*(12*0.386997703*rho+rho^2)^(-72/2); L1( ρ ) := ( 1 − ρ73 ) ( 7310883636562819725182433070324627244481920983691122184173803012096 36
( 1 − ρ ) ( 1 − 0.773995406ρ + ρ2 ) )
Taksiran parameter autoregressive orde 1, diperoleh dengan memaksimumkan fungsi marginal likelihood diatas. Telah dibuktikan pada
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
103
lampiran 9 bahwa θ memaksimumkan L (θ ) ↔ θ memaksimumkan lnL (θ ) . Ln dari fungsi marginal likelihood diatas, yaitu: > L2(rho):=ln(L1(rho)); L2( ρ ) := ln( ( 1 − ρ73 ) ( 7310883636562819725182433070324627244481920983691122184173803012096 36
( 1 − ρ ) ( 1 − 0.773995406ρ + ρ2 ) ) )
> L3(rho):=diff(L2(rho),rho)=0; L3 ( ρ ) := 7310883636562819725182433070324627244481920983691122184173803012096 ( − 73 ρ 72 7310883636562819725182433070324627244481920983691122184173803012096( 1 − ρ ) 36
( 1 − 0.773995406 ρ + ρ 2 ) ) + ( 1 − ρ 73 )
(
(
7310883636562819725182433070324627244481920983691122184173803012096( 1 − ρ ) 2 36
( ( 1 − 0.773995406 ρ + ρ 2 ) ) − ( 1 − ρ 73 ) ( − 0.773995406 + 2 ρ ) 203080101015633881255067585286795201235608916213642282893716750336 37
( 1 − 0.773995406 ρ + ρ 2 ) ) ) ( 1 − ρ ) ( 1 − 0.773995406 ρ + ρ 2 )
36
(1 − ρ)
( 1 − ρ 73 ) = 0
> solve(%); -1., 1., -0.9961482043 − 0.08768554625 I , -0.9961482043 + 0.08768554625I , -0.9846221909 − 0.1746972845 I , -0.9846221909 + 0.1746972845 I , -0.9655098581 − 0.2603664991 I , -0.9655098581 + 0.2603664991 I , -0.9389569642 − 0.3440346194 I , -0.9389569642 + 0.3440346194 I , -0.9051660243 − 0.4250581941 I , -0.9051660243 + 0.4250581941 I , -0.8643947788 − 0.5028137493 I , -0.8643947788 + 0.5028137493 I , -0.8169542443 − 0.5767024907 I , -0.8169542443 + 0.5767024907 I , -0.7632063637 − 0.6461548161 I , -0.7632063637 + 0.6461548161 I , -0.7035612726 − 0.7106346007 I , -0.7035612726 + 0.7106346007 I , -0.6384742046 − 0.7696432225 I , -0.6384742046 + 0.7696432225 I , -0.5684420600 − 0.8227232976 I , -0.5684420600 + 0.8227232976 I , -0.4939996654 − 0.8694620927 I , -0.4939996654 + 0.8694620927 I , -0.4157157549 − 0.9094945910 I , -0.4157157549 + 0.9094945910 I , -0.3341887058 − 0.9425061851 I , -0.3341887058 + 0.9425061851 I , -0.2500420641 − 0.9682349747 I , -0.2500420641 + 0.9682349747I , -0.1639198989 − 0.9864736523I , -0.1639198989 + 0.9864736523I , -0.07648202479− 0.9970709603I , -0.07648202479+ 0.9970709603I , 0.01160086285 − 0.9999327077I , 0.01160086285 + 0.9999327077I , 0.09965209611 − 0.9950223413I , 0.09965209611 + 0.9950223413I , 0.1869939373 − 0.9823610677I , 0.1869939373 + 0.9823610677I , 0.2729524269 − 0.9620275322I , 0.2729524269 + 0.9620275322I , 0.3568621247 − 0.9341570660I ,
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
104
0.3568621247 + 0.9341570660 I , 0.4069178784, 0.4380706924 − 0.8989405255 I , 0.4380706924 + 0.8989405255 I , 0.5159432669 − 0.8566227555 I , 0.5159432669 + 0.8566227555 I , 0.5898665822 − 0.8075007215 I , 0.5898665822 + 0.8075007215 I , 0.6592528121 − 0.7519213587 I , 0.6592528121 + 0.7519213587 I , 0.7235431411 − 0.6902791630 I , 0.7235431411 + 0.6902791630 I , 0.7822111251 − 0.6230134475 I , 0.7822111251 + 0.6230134475 I , 0.8347659977 − 0.5506048756 I , 0.8347659977 + 0.5506048756 I , 0.8807562048 − 0.4735699607 I , 0.8807562048 + 0.4735699607 I , 0.9197735940 − 0.3924494054 I , 0.9197735940 + 0.3924494054 I , 0.9514587921 − 0.3077761636 I , 0.9514587921 + 0.3077761636 I , 0.9755083192 − 0.2199625405 I , 0.9755083192 + 0.2199625405 I , 0.9916847225 − 0.1286911467 I , 0.9916847225 + 0.1286911467 I , 2.457498314
Berdasarkan persamaan (2.4), α1 = − ρ1 , dan nilai −1 < ρ1 < 1 , sehingga
α1 =0.4069178784.
(2).
Taksiran parameter AR (1) jika variabel error dianggap sebagai proses yang noncircular Fungsi marginal likelihood untuk data ini adalah 1 2
8.18929949ρ12 (1 − ρ ) 71 2 L( ρ ; d ) = (1 + ρ ) 1 − ρ 72 + 67,3772808ρ1 − 2.26,08054ρ − 73 − 71ρ 73 dalam Maple 9.5 diberikan dengan 1 2
−
> L2(rho,d):=(1+rho)^(1/2)*(1-(71/73)*rho)^(1/2)*(67.3772808*rho^2-2*26.08054428*rho+72-(rho^2*(1rho)*8.18929949)/(72-71*rho))^(-1/2*72); 1+ρ L2( ρ, d ) := 36 8.18929949ρ2 ( 1 − ρ ) 71 ρ 2 67.3772808ρ − 52.16108856ρ + 72 − 1− 72 − 71 ρ 73
Taksiran parameter autoregressive orde 1, diperoleh dengan memaksimumkan fungsi marginal likelihood diatas. Telah dibuktikan pada lampiran 9 bahwa θ memaksimumkan L (θ ) ↔ θ memaksimumkan lnL (θ ) . Ln dari fungsi marginal likelihood diatas, yaitu:
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.
−
72 2
105
> L3(rho,d):=ln(L2(rho,d)); 1+ρ L3( ρ, d ) := ln 36 2 8.18929949ρ ( 1 − ρ ) 71 ρ 67.3772808ρ2 − 52.16108856ρ + 72 − 1− 72 − 71 ρ 73
> L3(rho,d):=diff(L3(rho,d),rho)=0; 1 L3( ρ, d ) := 36 2 8.18929949ρ ( 1 − ρ ) 71 ρ 2 2 1+ρ 67.3772808ρ − 52.16108856ρ + 72 − 1− 72 − 71 ρ 73 71 1 + ρ + − 36 1 + ρ 36 ( 3/2 ) 2 8.18929949 ρ ( 1 − ρ ) 71 ρ 67.3772808ρ2 − 52.16108856ρ + 72 − 146 1 − 72 − 71 ρ 73 16.37859898ρ ( 1 − ρ ) 8.18929949ρ2 581.4402638ρ2 ( 1 − ρ ) 134.7545616ρ − 52.16108856− + − 72 − 71 ρ 72 − 71 ρ ( 72 − 71 ρ )2 37 2 71 ρ 8.18929949 ρ ( 1 − ρ ) 67.3772808 ρ2 − 52.16108856 ρ + 72 − 1− 73 72 − 71 ρ 36 2 71 ρ 8.18929949 ρ ( 1 − ρ ) 67.3772808 ρ2 − 52.16108856ρ + 72 − 1− 1+ρ =0 73 72 − 71 ρ
> solve(%); -1.014193975, 0.4024965490, 1.011108766 − 0.006608275492I , 1.011108766 + 0.006608275492I , 1.019491442
Berdasarkan persamaan (2.4), α1 = − ρ1 , dan nilai −1 ≤ ρ1 ≤ 1 , sehingga
α1 = 0.4024965490 .
Estimasi parameter..., Ilmiyati Sari, FMIPA UI, 2009.