BAB 1 Rantai Markov 1.1
ILUSTRASI
(Ilustrasi 1) Akhir-akhir ini, hujan dan panas (baca: tidak hujan) datang silih berganti tanpa bisa diduga. Kalau hari ini hujan, besok mungkin hujan mungkin juga panas. Tentu saja peluang besok hujan akan lebih besar dibanding peluang besok akan panas. Begitu pula jika hari ini panas. Besok akan lebih mungkin panas dibandingkan hujan. Jika hari Senin hujan, berapa peluang bahwa hari Selasa akan hujan? Berapa peluang bahwa hari Kamis akan hujan? (Ilustrasi 2) Pada 23 Juni lalu sekitar pukul 21.30 mobil yang dikemudikan suami saya terperosok masuk lubang di jalan tol lingkar luar Jakarta, kira-kira 2 kilometer dari Pintu Tol Pondok Ranji arah Jakarta. Ban dan gadi-gading roda rusak. Esoknya saya mengajukan klaim asuransi Sinar Mas kepada SiMas Bekasi. Pada 1 Juli saya mendapat jawaban bahwa klaim asuransi ditolak dengan alasan: bagian yang rusak hanya ban dan gading-gading roda. Tak mengenai badan mobil. Padahal, tercantum jelas di dalam pasal-pasal polis asuransi maupun surat penolakan bahwa ban dan gading-gading roda tidak dijamin, kecuali disebabkan oleh Pasal 1 angka 1.1. Isi pasal itu, pertanggungan ini menjamin kerusakan yang secara langsung disebabkan oleh tabrakan, benturan, terbalik, tergelincir atau terperosok. Asuransi Sinar Mas berusaha menghindar dari kewajiban dengan alasan mengada-ada, bahkan mengingkari aturan yang dibuatnya sendiri (Surat Pembaca KOMPAS; 3/08/2010). Andaikan suatu hari saya mengajukan klaim lagi ke Asuransi Sinar Mas, berapa peluang bahwa klaim saya akan diterima? (Ilustrasi 3) Sebagai calon atlet, setiap pagi Swari meninggalkan rumahnya untuk berlari pagi. Swari akan pergi lewat pintu depan atau belakang dengan peluang sama. Ketika meninggalkan rumah, Swari memakai sepatu olah raga atau sandal jenis crocs jika sepatu tidak tersedia di depan pintu yang dia 1
lewati (Dalam praktiknya, Swari harus bertelanjang kaki jika ternyata sandal crocs yang harus dipakai. Tak lain alasannya karena sang ayah tidak suka apabila Swari memakai sandal crocs). Ketika pulang, Swari akan masuk lewat pintu depan atau belakang dan meletakkan sepatunya dengan peluang sama. Diketahui bahwa Swari memiliki 4 pasang sepatu olah raga. Berapa peluang bahwa Swari akan sering berolah raga dengan bertelanjang kaki?
MA4081 Pros.Stok.
2
K. Syuhada, PhD.
1.2
DEFINISI
Proses stokastik {Xn } adalah Rantai Markov: • n = 0, 1, 2, . . . • nilai yang mungkin adalah hingga atau terhitung • ( ) P Xn+1 = j|Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 = Pij • distribusi bersyarat Xn+1 , diberikan keadaan lampau (past states) X0 , X1 , . . . , Xn−1 dan keadaan sekarang (present state) Xn , hanya bergantung pada keadaan sekarang • keadaan (state): i0 , i1 , . . . , in−1 , i, j Pij peluang bahwa proses akan berada di keadaan j dari keadaan i; Pij ≥ 0, i, j ≥ 0;
∞ ∑
Pij = 1, i = 0, 1, . . .
j=0
Matriks peluang transisi Pij adalah sbb: P00 P01 P02 · · · P10 P11 P12 · · · . .. .. . . . P= . P P P · · · i0 i0 i0 .. .. .. . . . Contoh/Latihan: 1. Jika hari ini hujan maka besok akan hujan dengan peluang α; jika hari ini tidak hujan maka besok akan hujan dengan peluang β. Matriks peluang transisinya adalah... ( P=
α 1−α β 1−β
)
dengan keadaan-keadaan: ’0’ hujan ’1’ tidak hujan MA4081 Pros.Stok.
3
K. Syuhada, PhD.
2. Keadaan hujan pada suatu hari bergantung pada keadaan hujan dalam dua hari terakhir. Jika dalam dua hari terakhir hujan maka besok akan hujan dengan peluang 0.7; Jika hari ini hujan dan kemarin tidak hujan maka besok akan hujan dengan peluang 0.5; jika hari ini tidak hujan dan kemarin hujan maka besok akan hujan dengan peluang 0.4; jika dalam dua hari terakhir tidak hujan maka besok hujan dengan peluang 0.2. Matriks peluang transisinya adalah... 0.7 0 0.3 0 0.5 0 0.5 0 P= 0 0.4 0 0.6 0 0.2 0 0.8
dengan keadaan-keadaan: ’0’ (00) = hari ini dan kemarin hujan ’1’ (10) = hari ini hujan, kemarin tidak hujan ’2’ (01) = hari ini tidak hujan, kemarin hujan ’3’ (11) = hari ini dan kemarin tidak hujan 3. Tiga item produk A dan tiga item produk B didistribusikan dalam dua buah paket/kotak sedemikian hinga setiap paket terdiri atas tiga item produk. Dikatakan bahwa sistem berada dalam keadaan i, i = 0, 1, 2, 3 jika dalam paket pertama terdapat i produk A. Setiap saat (langkah), kita pindahkan satu item produk dari setiap paket dan meletakkan item produk tersebut dari paket 1 ke paket 2 dan sebaliknya. Misalkan Xn menggambarkan keadaan dari sistem setelah langkah ke-n. Matriks peluang transisinya adalah... 0 1 0 0 1/9 4/9 4/9 0 P= 0 4/9 4/9 1/9 0 0 1 0
dengan keadaan-keadaan: ’0’ terdapat 0 produk A di ’1’ terdapat 1 produk A di ’2’ terdapat 2 produk A di ’3’ terdapat 3 produk A di
paket paket paket paket
pertama pertama pertama pertama
4. Menurut Kemeny, Snell dan Thompson, Tanah Australia diberkahi dengan banyak hal kecuali cuaca yang baik. Mereka tidak pernah memiliki dua hari bercuaca baik secara berturut-turut. Jika mereka mendapatkan
MA4081 Pros.Stok.
4
K. Syuhada, PhD.
hari bercuaca baik maka esok hari akan bersalju atau hujan dengan peluang sama. Jika hari ini mereka mengalami salju atau hujan maka besok akan bercuaca sama dengan peluang separuhnya. Jika terdapat perubahan cuaca dari salju atau hujan, hanya separuh dari waktu besok akan menjadi hari bercuaca baik. Tentukan matriks peluang transisi dari Rantai Markov yang dibentuk dari keadaan-keadaan diatas.
1/2 1/4 1/4 P = 1/2 0 1/2 1/4 1/4 1/2 dengan keadaan-keadaan: ’0’ cuaca hujan ’1’ cuaca baik ’2’ cuaca salju 5. Sebagai calon atlet, setiap pagi Swari meninggalkan rumahnya untuk berlari pagi. Swari akan pergi lewat pintu depan atau belakang dengan peluang sama. Ketika meninggalkan rumah, Swari memakai sepatu olah raga atau sandal jenis crocs jika sepatu tidak tersedia di depan pintu yang dia lewati (Dalam praktiknya, Swari harus bertelanjang kaki jika ternyata sandal crocs yang harus dipakai. Tak lain alasannya karena sang ayah tidak suka apabila Swari memakai sandal crocs). Ketika pulang, Swari akan masuk lewat pintu depan atau belakang dan meletakkan sepatunya dengan peluang sama. Diketahui bahwa Swari memiliki 4 pasang sepatu olah raga. Bentuklah suatu Rantai Markov dari proses diatas. P=
3/4 1/4 0 0 0 1/4 1/2 1/4 0 0 0 1/4 1/2 1/4 0 0 0 1/4 1/2 1/4 0 0 0 1/4 3/4
dengan keadaan-keadaan: ’0’ (4,0) = 4 sepatu didepan, ’1’ (3,1) = 3 sepatu didepan, ’2’ (2,2) = 2 sepatu didepan, ’3’ (1,3) = 1 sepatu didepan, ’4’ (0,4) = 0 sepatu didepan,
MA4081 Pros.Stok.
0 1 2 3 4
dibelakang dibelakang dibelakang dibelakang dibelakang
5
K. Syuhada, PhD.
1.3
PELUANG N -LANGKAH
Persamaan Chapman-Kolmogorov Misalkan Pijn menyatakan peluang transisi n-langkah suatu proses di keadaan i akan berada di keadaan j, Pijn = P (Yk+n = j|Yk = i), n ≥ 0, i, j ≥ 0. Persamaan Chapman-Kolmogorov adalah alat untuk menghitung peluang transisi n + m-langkah: Pijn+m
=
∞ ∑
m Pikn Pkj ,
k=0 m menyatakan peluang suatu untuk semua n, m ≥ 0 dan semua i, j. Pikn Pkj proses dalam keadaan i akan berada di keadaan j dalam n+m transisi, melalui keadaan k dalam n transisi/langkah.
Contoh/Latihan: 1. Jika hari ini hujan maka besok akan hujan dengan peluang α = 0.7; jika hari ini tidak hujan maka besok akan hujan dengan peluang β = 0.4. Matriks peluang transisi 4 langkah adalah... ( 4
P =
0.5749 0.4251 0.5668 0.4332
)
2. Keadaan hujan pada suatu hari bergantung pada keadaan hujan dalam dua hari terakhir. Jika dalam dua hari terakhir hujan maka besok akan hujan dengan peluang 0.7; Jika hari ini hujan dan kemarin tidak hujan maka besok akan hujan dengan peluang 0.5; jika hari ini tidak hujan dan kemarin hujan maka besok akan hujan dengan peluang 0.4; jika dalam dua hari terakhir tidak hujan maka besok hujan dengan peluang 0.2. Matriks peluang transisinya adalah sbb: 0.7 0 0.3 0 0.5 0 0.5 0 P= 0 0.4 0 0.6 0 0.2 0 0.8 Jika hari Senin dan Selasa hujan, berapa peluang bahwa hari Kamis akan hujan?
MA4081 Pros.Stok.
6
K. Syuhada, PhD.
0.49 0.12 0.21 0.18 0.35 0.2 0.15 0.3 P2 = 0.2 0.12 0.2 0.4 0.1 0.16 0.1 0.64 2 2 Peluang hujan pada hari Kamis adalah P00 + P01 = 0.49 + 0.12 = 0.61
Peluang Transisi Tak Bersyarat Misalkan αi = P (X0 = i), i ≥ 0, ∑∞ dimana i=0 αi = 1. Peluang tak bersyarat dapat dihitung dengan mensyaratkan pada keadaan awal, P (Xn = j) =
∞ ∑
P (Xn = j|X0 = i) P (X0 = i) =
i=0
∞ ∑
Pijn αi
i=0
Contoh/Latihan: 1. Pandang soal yang lalu dengan matriks peluang transisi: ( P=
0.7 0.3 0.4 0.6
)
Jika diketahui α0 = P (X0 = 0) = 0.4 dan α1 = P (X0 = 1) = 0.6, maka peluang (tak bersyarat) bahwa hari akan hujan 4 hari lagi adalah... 4 4 P (X4 = 0) = 0.4 P00 + 0.6 P10 = (0.4)(0.5749) + (0.6)(0.5668) = 0.57
2. Seorang pensiunan H menerima 2 (juta rupiah) setiap awal bulan. Banyaknya uang yang diperlukan H untuk dibelanjakan selama sebulan saling bebas dengan banyaknya uang ∑ yang dia punya dan sama dengan i dengan peluang Pi , i = 1, 2, 3, 4, 4i=1 Pi = 1. Jika H memiliki uang lebih dari 3 di akhir bulan, dia akan memberikan sejumlah uang lebih dari 3 itu kepada orang lain. Jika setelah dia menerima uang diawal bulan H memiliki uang 5, berapa peluang uangnya akan 1 atau kurang setiap saat selama 4 bulan berikut? Keadaan: ‘1’ jumlah uang sebanyak 1 yang H punya di akhir bulan MA4081 Pros.Stok.
7
K. Syuhada, PhD.
‘2’ jumlah uang sebanyak 2 yang H punya di akhir bulan ‘3’ jumlah uang sebanyak 3 yang H punya di akhir bulan Matriks peluang transisi P2 + P3 + P4 P1 0 P3 + P4 P2 P1 P= P4 P3 P1 + P2
Misalkan Pi = 1/4, i = 1, 2, 3, 4. Maka matriks peluang transisinya adalah
3/4 1/4 0 P = 1/2 1/4 1/4 1/4 1/4 1/2 Peluang uangnya akan 1 atau kurang setiap saat selama 4 bulan berikut 4 adalah P31 = 201/256.
MA4081 Pros.Stok.
8
K. Syuhada, PhD.
1.4
Program MATLAB dan R
Contoh: Model penyebaran suatu penyakit adalah sbb: Jumlah populasi adalah N = 5, sebagian sakit dan sisanya sehat. Dalam setiap waktu, 2 orang akan dipilih secara acak dari populasi tersebut dan keduanya berinteraksi. Pemilihan orang-orang tersebut dilakukan sdh interaksi antara setiap pasangan adalah sama. Jika satu orang dari suatu pasangan sakit, yang lain sehat, maka penyakit akan disebarkan ke orang yang sehat dengan peluang 0.1. Diluar kondisi tersebut, tidak ada penyakit yang disebarkan. Misalkan Xn menyatakan jumlah orang yang sakit dalam populasi diakhir periode ke-n. Bentuklah suatu matriks peluang transisi yang mungkin.
Solusi: Keadaan: 0, 1, 2, 3, 4, 5, yang menyatakan jumlah orang yang sakit. P00 = 1, P55 = 1. Cukup jelas. Jika tidak ada/semua orang sakit maka PASTI keadaan berubah ke tidak ada/semua orang sakit. Pi,i+1 = 0.1
C1i C15−i = 0.01(i)(5 − i), C25
Pii = 1 − 0.01(i)(5 − i), untuk i = 1, 2, 3, 4. 1 0 0 0 0 0 0 0.96 0.04 0 0 0 0 0 0.94 0.06 0 0 P = 0 0 0 0.94 0.06 0 0 0 0 0 0.96 0.04 0 0 0 0 0 1
Kode MATLAB function transprob; % the function calculate transition probability for a Markov chain % (Question 2 of Quiz 2) % % created by K Syuhada, 12/03/2011 clear clc
MA4081 Pros.Stok.
9
K. Syuhada, PhD.
m = input(’m = ’); % number of states P = zeros(m,m); for i = 1:m for j = 1:m if i == j P(i,j) elseif i+1 P(i,j) else P(i,j) end end end
= 1 - 0.01*(i-1)*(5-(i-1)); == j = 0.01*(i-1)*(5-(i-1)); = 0;
display(’matriks peluang transisi:’) display(P) % n-step probability % Chapman-Kolmogorov Equation n = input(’n = ’); % number of steps Pn = P^n; display(’matriks peluang transisi n-langkah:’) display(Pn) --------------------------------------------------------------m = 6 matriks peluang transisi: P = 1.0000 0 0 0 0 0
0 0.9600 0 0 0 0
MA4081 Pros.Stok.
0 0.0400 0.9400 0 0 0
0 0 0.0600 0.9400 0 0
10
0 0 0 0.0600 0.9600 0
0 0 0 0 0.0400 1.0000
K. Syuhada, PhD.
n = 2 matriks peluang transisi n-langkah: Pn = 1.0000 0 0 0 0 0
0 0.9216 0 0 0 0
0 0.0760 0.8836 0 0 0
0 0.0024 0.1128 0.8836 0 0
0 0 0.0036 0.1140 0.9216 0
0 0 0 0.0024 0.0784 1.0000
Kode R
MA4081 Pros.Stok.
11
K. Syuhada, PhD.
1.5
JENIS KEADAAN
Keadaan j dikatakan dapat diakses (accessible) dari keadaan i jika Pijn > 0 untuk suatu n ≥ 0. Akibatnya, keadaan j dapat diakses dari keadaan i jika dan hanya jika dimulai dari keadaan i proses akan masuk ke keadaan j. Jika keadaan j tidak dapat diakses dari keadaan i maka peluang masuk ke keadaan j dari keadaan i adalah nol. Catatan: Dua keadaan i dan j yang saling akses satu sama lain dikatakan berkomunikasi (communicate). Notasi: i ↔ j. Sifat-sifat: 1. Keadaan i berkomunikasi dengan keadaan i untuk semua i ≥ 0 2. Jika keadaan i berkomunikasi dengan keadaan j maka keadaan j berkomunikasi dengan keadaan i 3. Jika keadaan i berkomunikasi dengan keadaan j dan keadaan j berkomunikasi dengan keadaan k maka keadaan i berkomunikasi dengan keadaan k Dua keadaan yang berkomunikasi dikatakan berada dalam kelas (class) yang sama. Setiap dua kelas dari keadaan-keadaan dapat ‘identik’ (identical) atau ‘saling asing’ (disjoint). Rantai Markov dikatakan tidak dapat direduksi (irreducible) jika hanya terdapat sebuah kelas dan semua keadaan berkomunikasi satu sama lain. Contoh/Latihan: 1. Tentukan kelas keadaan dari rantai Markov dengan peluang transisi berikut: (i)
0.7 0 0.3 0 0.5 0 0.5 0 P= 0 0.4 0 0.6 0 0.2 0 0.8 (ii)
0 1 0 0 1/9 4/9 4/9 0 P= 0 4/9 4/9 1/9 0 0 1 0 MA4081 Pros.Stok.
12
K. Syuhada, PhD.
(iii)
1 0 0 P = 1/2 1/4 1/4 1/4 1/4 1/2 2. Diketahui matrik peluang transisi:
0.5 0.5 0 P = 0.5 0.25 0.25 0 0.33 0.67 Apakah rantai Markov dengan peluang transisi diatas tidak dapat direduksi (irreducible)? 3. Apakah yang dapat anda katakan tentang rantai Markov dengan matriks peluang transisi berikut:
0.5 0.5 0 0 0.5 0.5 0 0 P= 0.25 0.25 0.25 0.25 0 0 0 1
MA4081 Pros.Stok.
13
K. Syuhada, PhD.
Sifat-sifat KEADAAN - Recurrent dan Transient Untuk setiap keadaan i, misalkan fi peluang bahwa dimulai dari keadaan i proses akan pernah kembali ke keadaan i. Keadaan i dikatakan recurrent jika fi = 1. Dikatakan transient jika fi < 1. • Jika keadaan i recurrent maka proses akan terus kembali ke keadaan i dengan peluang satu. Dengan definisi rantai Markov, proses akan dimulai lagi ketika kembali ke keadaan i, dan seterusnya, sehingga keadaan i akan dikunjungi lagi. Jika keadaan i recurrent maka dimulai dari keadaan i maka proses akan kembali ke keadaan i terus dan terus sebanyak tak hingga kali. • Misalkan keadaan i transient. Setiap kali proses kembali ke keadaan i, terdapat kemungkinan (peluang yang positif) sebesar 1 − fi bahwa proses tidak pernah kembali ke keadaan i. Dengan demikian, dimulai dari keadaan i, peluang bahwa proses berada di i sebanyak tepat n periode/kali adalah fin−1 (1 − fi ), n ≥ 1. Jika keadaan i transient maka, dimulai dari keadaan i, banyak periode/kali bahwa proses akan berada di keadaan i adalah peubah acak geometrik dengan parameter 1 − fi . “Keadaan i recurrent jika dan hanya jika, dimulai dari keadaan i, maka banyak periode/kali yang diharapkan (expected number of time periods) bahwa proses akan berada di keadaan i adalah tak hingga” Misalkan { 1, Yn = i; In = ∑0, Yn ̸= i. Misalkan ∞ n=0 In menyatkan banyak periode/kali bahwa proses berada dalam keadaan i, dan (∞ ) ∞ ∑ ∑ E In |Y0 = i = E(In |Y0 = i) n=0
n=0
= =
∞ ∑ n=0 ∞ ∑
P (Yn = i|Y0 = i) Piin
n=0
Proposisi Keadaan i adalah recurrent jika
∞ ∑
Piin = ∞;
transient jika
Piin < ∞
n=0
n=0
MA4081 Pros.Stok.
∞ ∑
14
K. Syuhada, PhD.
Catatan: • Pada rantai Markov dengan keadaan hingga, tidak semua keadaan bersifat transient (Mengapa?) • “Jika keadaan i recurrent dan keadaan i berkomunikasi (communicate) dengan keadaan j maka keadaan j recurrent” (Bagaimana jika keadaan i transient?) • Semua keadaan pada rantai Markov (hingga) yang tidak dapat direduksi adalah recurrent (PENTING!) Contoh/Latihan: 1. Misalkan rantai Markov dengan keadaan 0,1,2,3 memiliki matriks peluang transisi:
0 1 P= 0 0
0 0.5 0.5 0 0 0 1 0 0 1 0 0
Tentukan keadaan mana yang recurrent dan keadaan mana yang transient! 2. Bagaimana dengan rantai Markov dengan matriks peluang transisi: P=
0.5 0.5 0 0 0 0.5 0.5 0 0 0 0 0 0.5 0.5 0 0 0 0.5 0.5 0 0.25 0.25 0 0 0.5
?
3. Misalkan rantai Markov dengan keadaan 0,1,2,3 memiliki matriks peluang transisi:
0.5 0.5 0 0 0.5 0.5 0 0 P= 0.25 0.25 0.25 0.25 0 0 0 1 Tentukan keadaan mana yang recurrent dan keadaan mana yang transient!
MA4081 Pros.Stok.
15
K. Syuhada, PhD.
4. Model penyebaran penyakit memiliki matriks peluang transisi sebagai berikut: P =
1 0 0 0 0 0 0 0.96 0.04 0 0 0 0 0 0.94 0.06 0 0 0 0 0 0.94 0.06 0 0 0 0 0 0.96 0.04 0 0 0 0 0 1
Tentukan sifat keadaan dari rantai Markov diatas.
MA4081 Pros.Stok.
16
K. Syuhada, PhD.
1.6
LIMIT PELUANG TRANSISI
Misalkan matriks peluang transisi pada rantai Markov dengan dua keadaan adalah ( ) 0.5 0.5 P= , 0.7 0.3 dan matriks peluang transisi 4 dan 8 langkahnya: ( ) 0.5840 0.4160 4 P = , 0.5824 0.4176 ( ) 0.5833 0.4167 8 P = , 0.5833 0.4167 ...dst. Matriks P 8 hampir identik dengan P 4 (benar-benar identik dengan P 10 ). Selain itu, setiap baris dari P 8 memiliki unsur yang identik. Nampaknya, Pijn konvergen ke suatu nilai, untuk n → ∞, yang sama untuk semua i. Dengan kata lain, terdapat limit peluang (limiting probability) bahwa proses akan berada di keadaan j setelah sekian/banyak langkah/transisi. Nilai limit ini saling bebas dengan nilai pada keadaan awal. Perhatikan 2 sifat keadaan berikut: Keadaan i dikatakan memiliki periode d jika Piin = 0 untuk n yang tidak dapat dibagi oleh d (d suatu integer). Contoh, suatu proses dimulai dari keadaan i akan kembali ke i pada waktu 2, 4, 6, 8, . . . , maka keadaan i memiliki periode 2. Suatu keadaan yang memiliki periode 1 disebut aperiodik. Jika keadaan i memiliki periode d dan keadaan i berkomunikasi dengan keadaan j maka keadaan j juga memiliki periode d. Jika keadaan i recurrent, maka keadaan tersebut akan dikatakan positive recurrent jika, dimulai dari keadaan i, waktu harapan hingga proses kembali ke i adalah hingga. Pada rantai Markove yang memiliki keadaan hingga, semua keadaan yang recurrent adalah positive recurrent. Suatu keadaan yang positive recurrent dan aperiodik disebut ergodik. Teorema Untuk rantai Markov yang ergodik dan tidak dapat direduksi, lim Pijn
n→∞
ada dan saling bebas dari i. Misalkan πj = lim Pijn , j ≥ 0, n→∞
MA4081 Pros.Stok.
17
K. Syuhada, PhD.
maka πj adalah solusi nonnegatif tunggal dari πj =
∞ ∑
πi Pijn , j ≥ 0,
i=0
dengan
∑∞ j=0
πj = 1.
Catatan: • Perhatikan bahwa P (Xn+1 = j) =
∞ ∑
P (Xn+1 = j|Xn = i) P (Xn = i) =
i=0
∞ ∑
Pij P (Xn = i)
i=0
• Limit peluang πj adalah peluang jangka panjang (long-run proportion of time) bahwa suatu proses akan berada di keadaan j • Jika rantai Markov tidak dapat direduksi, maka terdapat solusi untuk ∑ πj = πi Pij , j ≥ 0, i
∑ dengan j πj = 1, JIKA dan HANYA JIKA rantai Markov bersifat positive recurrent. Jika solusinya ada maka solusi tersebut tunggal dan πj adalah proporsi jangka panjang bahwa rantai Markov berada dalam keadaan j. Jika rantai Markov aperiodik maka πj adalah limit peluang bahwa rantai akan berada di keadaan j. Contoh/Latihan: 1. Jika hari ini hujan maka besok akan hujan dengan peluang α; jika hari ini tidak hujan maka besok akan hujan dengan peluang β. Jika ′ 0′ adalah keadaan hujan dan ′ 1′ adalah keadaan tidak hujan maka peluang hujan dan tidak hujan untuk jangka adalah... Matriks peluang transisi: ( P=
α 1−α β 1−β
MA4081 Pros.Stok.
) ,
18
K. Syuhada, PhD.
dan kita punyai persamaan-persamaan: π 0 = α π0 + β π 1 π1 = (1 − α) π0 + (1 − β) π1 π0 + π 1 = 1
Kita peroleh peluang hujan dan tidak hujan pada jangka panjang: π0 =
β 1+β−α
π1 =
1−α 1+β−α
dan
2. Percobaan-percobaan dilakukan secara berurutan. Jika dalam dua percobaan terakhir SUKSES maka peluang SUKSES pada percobaan berikut adalah 0.8. Dalam keadaan YANG LAIN, peluang SUKSES adalah 0.5. Hitung peluang percobaan sukses untuk jangka panjang. 3. Pandang pelantunan-pelantunan sebuah koin (dengan peluang muncul MUKA adalah θ) yang saling bebas. Berapa banyak lantunan dibutuhkan yang diharapkan (expected number of tosses needed) agar pola HT HT muncul? (Perhatikan catatan dibawah) Catatan: • Peluang jangka panjang πj , j ≥ 0, disebut juga peluang stasioner (stationary probability). Jika keadaan awal dipilih berdasarkan peluang πj , j ≥ 0, maka peluang akan menjadi keadaan j pada setiap waktu n adalah sama dengan πj . • Untuk keadaan j, definisikan mjj yaitu banyak transisi yang diharapkan (expected number of transitions) hingga suatu rantai Markov, dimulai dari keadaan j akan kembali ke keadaan tersebut: πj =
1 mjj
MA4081 Pros.Stok.
19
K. Syuhada, PhD.
