STUDI KETIDAKPASTIAN (UNCERTAINTY) PADA PROSES STOKASTIK MELALUI ENTROPI
TUGAS AKHIR Diajukan untuk memenuhi persyaratan Sidang Sarjana Program Studi Matematika ITB
Oleh : Lydia Christina Kaban 10103062 Pembimbing : Dr. Udjianna S Pasaribu
PROGRAM STUDI MATEMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT TEKNOLOGI BANDUNG 2007
STUDI KETIDAKPASTIAN (UNCERTAINTY) PADA PROSES STOKASTIK MELALUI ENTROPI
TUGAS AKHIR Diajukan untuk Memenuhi Persyaratan Sidang Sarjana Program Studi Matematika
Oleh : Lydia Christina Kaban 10103062
Telah diperiksa dan disetujui, Bandung, September 2007 Pembimbing
Dr.Udjianna S. Pasaribu NIP. 131679351
i
Ia membuat segala sesuatu indah pada waktunya, bahkan Ia memberikan kekekalan dalam hati mereka. (Pengkhotbah 3:11)
Hidup ini tak kan selalu mudah Dunia ini tak kan selalu indah Jika kelak kau temukan masalah,tak semangat jangan pernah menyerah Jangan lelah, tetaplah berkarya baik dalam suka ataupun duka Apa pun yang akan terjadi tetap semangat, tetap kuatkan hati, kami ada di sini Smoga esok kita semua menjadi lebih baik dari kemarin -Jan T. H-
Tugas akhir ini kudedikasikan kepada Bapak, Mamak, bang Ardian, Bang David dan semua orang yang kukasihi
ABSTRACT In thermodynamics, entropy is known as a measure of disorder. It is an interesting subject that can be learned in mathematics, particularly in statistics. In this final thesis, several entropy’s characteristics in discrete and continoue random variable had been learned, such as the independence, marginal and conditional. Furthermore, entropy can be used for a case of special ditributions. Eventhough for several distributions, this thesis shows that the calculation of entropy will not be as simple as the calculation of the mean and the variation. This final thesis also study entropy in the sequence of random variable (stochastic process), especially in Markov chain and Hidden Markov Model (HMM). In HMM, entropy is used to locate the optimal state sequence in the model.
Keywords : entropy, stochastic process, Markov chain, Hidden Markov Model
iv
ABSTRAK Dalam termodinamika, entropi dikenal sebagai ukuran ketidakteraturan. Entropi merupakan hal menarik yang dapat dipelajari dalam matematika, lebih khusus lagi dalam statistika. Dalam tugas akhir ini, dipelajari sifat-sifat entropi pada peubah acak diskrit dan kontinu baik kebebasannya maupun marjinal dan bersyarat. Selain itu, entropi juga dapat diterapkan untuk kasus distribusi-distribusi khusus. Namun, untuk beberapa distribusi, tulisan ini menunjukkan bahwa perhitungannya tidak sesederhana rataan atau variansi. Entropi pada barisan peubah acak (proses stokstik) juga dibahas dalam tulisan ini, khususnya rantai Markov dan Model Markov Tersembunyi (MMT). Dalam MMT, entropi digunakan untuk mencari barisan keadaan yang optimal pada model tersebut.
Kata kunci : entropi, proses stokastik, rantai Markov, Model Markov Tersembunyi
v
PRAKATA Puji syukur penulis panjatkan kepada Bapa di Surga sehubungan dengan terselesaikannya tugas akhir ini. Tugas akhir yang berjudul ”Studi Ketidakpastian (Uncertainty) Pada Proses Stokastik Melalui Entropi” bertujuan untuk mengetahui penggunaan entropi dalam peubah acak dan distribusi. Pada tugas akhir ini dibahas pula entropi pada proses stokastik rantai Markov dan Model Markov Tersembunyi. Selain itu, tugas akhir ini juga disusun untuk memenuhi persyaratan sidang sarjana Program Studi Matematika Institut Teknologi Bandung.
Penyusunan tugas akhir ini tidak terlepas dari bantuan berbagai pihak. Oleh karena itu, penulis mengucapkan terima kasih kepada 1. Bapak, Mamak, Bang Ardian dan Bang David yang selalu mendukung dan memberikan semangat. 2. Dr. Udjianna S Pasaribu selaku dosen pembimbing yang selalu membantu dan memberi masukan dalam pengerjaan tugas akhir ini. Terima kasih juga atas saran, nasihat dan pelajaran lainnya. 3. Ir. Purwanti M., M.Sc dari STEI ITB yang sempat menjadi dosen pembimbing kedua namun karena beberapa hal tidak dapat menyertai penulis hingga selesai. 4. Dr. Hilda Assiyatun sebagai dosen wali penulis dan telah menjadi orang tua penulis selama menjalani perkuliahan di Program Studi Matematika. 5. Dr. Dumaria Tampubolon selaku dosen penguji tugas akhir pada seminar I dan II. Terima kasih atas segala masukan baik dalam tugas akhir maupun dalam hal lain. 6. Dr Yudi Soeharyadi yang telah bersedia menjadi dosen penguji pada seminar II tugas akhir penulis, terima kasih untuk semua sarannya.
vi
PRAKATA
vii
7. Karyawan Program Studi Matematika khususnya Ibu Diah dan Kang Yana yang selalu membantu administrasi penulis dalam perkuliahan. 8. Hendrik yang tetap mendampingi dan atas dukungannya dalam tugas akhir ini. 9. Kawan seperjuangan, Amru dan Anggun yang selalu siap menerima keluh kesah dan tawa selama bimbingan. Terima kasih pula untuk Mas Haryono, Teh Utri dan Teh Rini atas pengalaman dan pertemanannya. 10. Lona dan Mezo atas semangat dan perhatiannya selama di Ciwulan 36 juga saudari-saudari satu kost, Lina, Uwi, Kak Beben, Kak Mia, Kak Katrin. 11. Ruri, atas komputernya sehingga penulis dapat menyelesaikan tugas akhir ini. 12. Teman-teman Kriskat, Willy, Eben, Pangi, Patrick, Andrew, Stefanus, Riswan, Yohanna, Vania, Manes, dan Uthe. Semoga kita tetap bersahabat. 13. Teman-teman Matematika ITB 2003 yang tidak dapat disebutkan satu per satu. Terima kasih atas bantuannya selama pengerjaan tugas akhir dan perkuliahan, juga canda tawa serta persahabatan. Semoga tetap terus terjalin. 14. Kawan-kawan HIMATIKA ITB ’01, ’02, ’03, ’04, ’05, dan ’06. Terima kasih atas bantuannya baik dalam hal moral maupun materi. 15. Teman-teman PSM-ITB 2003, Jan, Uli, Siska, Petra, Novri, Rael, Dono, Moha, Nael, Nila, Cimol atas pelajaran-pelajaran di luar kuliah, pengalaman berharga dan tak terlupakan. Teman-teman PSM 2004 (Imel, Aryo, Tian, Rangga, Coro, Nika, Puspa) dan PSM 2005 serta keluarga besar PSM-ITB terima kasih telah memberikan kesempatan untuk bersahabat dan menerima penulis apa adanya.
Tiada gading yang tak retak. Penulis mohon maaf atas kekurangan dalam penulisan tugas akhir ini. Saran dan kritik akan menjadi masukan yang berarti bagi penulis. Semoga tugas akhir ini bermanfaat bagi pembaca. Bandung, September 2007
Penulis
DAFTAR ISI
HALAMAN PENGESAHAN....................................................................................... ii ABSTRACT................................................................................................................. iv ABSTRAK .................................................................................................................... v PRAKATA................................................................................................................... vi DAFTAR ISI.............................................................................................................. viii DAFTAR GAMBAR ................................................................................................... ix DAFTAR TABEL........................................................................................................ xi BAB 1 PENDAHULUAN ............................................................................................ 1 1.1
Latar Belakang .................................................................................................. 1
1.2
Batasan Masalah ............................................................................................... 2
1.3
Tujuan ............................................................................................................... 3
1.4
Manfaat ............................................................................................................. 3
1.5
Sistematika Penulisan ....................................................................................... 3
BAB 2 MOMEN DAN ENTROPI ................................................................................ 5 2.1
Satu Peubah Acak (Univariat)........................................................................... 5
2.2
Momen dan Entropi dari Multivariat ............................................................... 8
2.3
Entropi Untuk Variabel Yang Saling Bebas ................................................... 11
2.4
Momen dan Entropi Bersyarat ........................................................................ 14
2.5
Entropi Relatif dan Informasi Mutual............................................................. 19
viii
DAFTAR ISI
ix
BAB 4 ENTROPI PADA PROSES STOKASTIK RANTAI MARKOV .................. 38 4.1
Proses Stokastik .............................................................................................. 38
4.2
Laju Entropi dari Proses Stokastik.................................................................. 39
4.3
Rantai Markov................................................................................................. 40
4.4
Entropi Pada Rantai Markov........................................................................... 43
4.5
Laju Entropi Pada Rantai Markov .................................................................. 44
BAB V ENTROPI PADA MATRIKS EMISI MODEL MARKOV TERSEMBUNYI ...................................................................... 46 5.1
Definisi Model Markov Tersembunyi............................................................. 47
5.2
Entropi Pada Model Markov Tersembunyi .................................................... 48
BAB VI KESIMPULAN ............................................................................................ 59 DAFTAR PUSTAKA ................................................................................................. 61
DAFTAR GAMBAR Gambar 2.1 : Grafik Fungsi Massa Peluang.......................................................... 7 Gambar 3.2 : Grafik entropi untuk distribusi Geometri (p) ................................ 23 Gambar 3.3 : Grafik entropi untuk distribusi binomial ....................................... 25 Gambar 3.5 : Grafik entropi binomial untuk n=20.............................................. 26 Gambar 3.7 : Grafik entropi distribusi Normal ................................................... 30 Gambar 3.9 : Grafik entropi distribusi eksponensial........................................... 32 Gambar 3.11 : Grafik entropi untuk distribusi chi kuadrat (r) ............................ 34 Gambar 5.1 : Diagram transisi contoh 5.1.......................................................... 52 Gambar 5.8 : Diagram transisi dan emisi pada contoh 5.2.................................. 56
x
d
DAFTAR TABEL Tabel 3.1 : Entropi distribusi Geometri (p) .......................................................... 23 Tabel 3.3 : Hasil perhitungan entropi untuk distribusi binomial.......................... 26 Tabel 3.4 : Entropi untuk distribusi binomial untuk n=20 ................................... 26 Tabel 3.6 : Entropi untuk distribusi Binomial (n,p) dengan 2 sebagai basis logaritma ........................................................................................... 27 Tabel 3.8 : Hasil perhitungan entropi distribusi normal...................................... 30 Tabel 3.10 : Perhitungan entropi untuk distribusi chi kuadrat ............................. 33 Tabel 3.12 : Entropi untuk distribusi kontinu ...................................................... 36 Tabel 4.1 : Frekuensi transisi tiap basa ................................................................ 42 Tabel 4.2 : Peluang transisi tiap basa ................................................................... 42 Tabel 5.2 : Tahap inisiasi entropi pada MMT ...................................................... 53 Tabel 5.3 : Tahap rekursi untuk t=2 ..................................................................... 54 Tabel 5.4 : Tahap rekursi untuk t=3 ..................................................................... 54 Tabel 5.5 : Tahap rekursi untuk t=4 ..................................................................... 55 Tabel 5.6 : Tahap rekursi untuk t=5 ..................................................................... 55 Tabel 5.7 : Hasil Perhitungan Entropi.................................................................. 55 Tabel 5.9 : Perhitungan entropi untuk contoh cuaca............................................ 57
xi
