Kumpulan Makalah Seminar Semirata 2013
Fakultas MIPA Universitas Lampung
PENAKSIR MAKSIMUM LIKELIHOOD DENGAN METODE ITERASI NEWTON - RAPHSON 1
Haposan Sirait dan Rustam Efendi 1,2Dosen
2
Program Studi Matematika FMIPA Universitas Riau.
Abstrak: Makalah ini menyajikan tentang menentukan penaksir maksimum likelihood ̂ dari suatu parameter yang memiliki fungsi densitas probabilitas . Penaksir maksimum likelihood ̂ akan ditentukan dengan suatu metode iterasi Newton- Raphson. Penaksir yang diperoleh merupakan hampiran penaksir maksimum likelihood. Kata Kunci:Penaksir maksimum likelihood , fungsi densitas Newton-Raphson
PENDAHULUAN Sebagai syarat awal dalam menganalisa data statistik yaitu mengidentifikasi distribusi probabilitas dari karakteristik. Oleh karena parameter dari distribusi probabilitas tersebut adalah sebagai penentu dari suatu karakteristik, hal ini akan menjadi perlu untuk menaksir parameter.Dalam makalah ini diasumsikan bahwa bentuk matematis distribusi probabilitas diketahui (contoh : Binomial ; Normal ; dan lain sebagainya), akan tetapi parameter distribusi ( p untuk binomial; μ dan σ2 untuk normal, dan seterusnya ) tidak diketahui. Untuk memperoleh informasi semacam itu, tentunya diawali dengan mengambil sampel random dari populasi. Selanjutnya akan ditaksir parameter melalui data dari sampel random yang diambil dari suatu populasi. Dalam analisa statistik , penaksir titik dari suatu parameter populasi sangat berperan aktif guna untuk mengetahui fenomena alam[4] misalnya ingin mengestimasi proporsi produk yang rusak dari suatu proses produksi, ataupun rata- rata waktu sembuh pasien yang menjalani operasi tertentu. Dalam makalah ini akan disajikan secara sistematis suatu metode yang digunakan untuk menentukan penaksir
probabilitas, iterasi
titik yaitu metode maksimum likelihood , dimana metode maksimum likelihood merupakan suatu metode yang mempunyai prinsip menentukan penaksir titik titik suatu parameter dengan peluang maksimum. Penaksir yang diperoleh dengan metode maksimum likelihood disebut sebagai penaksir maksimun likelihood . Penaksir maksimum likelihood suatu parameter dari distribusi probabilitas (Mungkin tidak ada, ada, atau banyak ). Untungnya sering diperoleh satu estimator dengan sifat yang baik. Langkah yang dilakukan ,apabila memungkinkan yaitu dengan mendifferensialkan fungsi likelihood terhadap parameter, selanjutnya disamakan dengan nol yang disebut dengan persamaan likelihood . Namun dalam menentukan Penaksir Maksimum Likelihood , pada persamaan likelihood terkadang sulit dilakukakan secara analitik atau dengan kata lain tidak diperolehnya penaksir titik secang eksak , hal ini dikarenakann bentuk persamaan likeliohood yang sangat kompleks . Untuk kasus yang demikian Penaksir Maksimum Likelihood ditempuh dengan cara iterasi numerik yaitu dengan netode newton Raphson. LANDASAN TEORI Hal 247
Haposan Sirait Dan Rustam Efendi: Penaksir Maksimum Likelihood Dengan Metode Iterasi Newton - Raphson
Penaksir Maksimum Likelihood Misalkan merupakan sampel random yang berasal dari popoulasi X dengan fungsi densitas probabilitas yang tergantung pada . yaitu . Dikarenakan bahwa merupakan sampel random maka fungsi juga merupakan variabel acak. Suatu fungsi yang diamati misalnya disebut sebagai statistik, dan disebut juga suatu penaksir dari yang dinotasikan dengan ̂ [3] . Akan tetapi menghadapi persoalan mencari penaksir titik ada tiga metode yang populer, yaitu metode momen, metode maksimum likelihood dan metode B es‟[2]. N mun d l m m k l h ini yang akan disajikan yaitu suatu metode yang menurut intuisi, wajar dalam menghasilkan penaksir yang mungkin baik untuk diselidiki yaitu penaksir maksimum likelihood, seperti dinyatakan dalam definisi berikut : Definisi1:[2]Misalkan f ungsi kepadatan peluang gabungan untuk variable random dengan nilai sampel . Fungsi likelihood dari sampel nya adalah (1) Definisi 2 : [2]Misalkan merupakan sampel random yang berasal dari populasi X dengan fungsi kepadatan peluang yang tergantung pada . yaitu dengan adalah parameter yang tidak diketahui. Maka Fungsi likelihood gabungannya adalah : ∏ (2) Definisi 3 :[2] Misalkan merupakan sampel random yang berasal dari popoulasi X dengan fungsi probabilitas yang tergantung pada . yaitu dengan adalah parameter yang tidak diketahui. Maka Fungsi likelihood gabungannya adalah: ∏ (3) Definisi 4 : Taksiran maksimum likelihood untuk adalah nilai yang Hal 248
memaksimumkan fungsi likelihood .Dengan kata lain ̂ ̂ , sedemikian sehingga { }maka ̂ ( ̂) ̂ , disebut penaksir maksimum likelihood. Dalam manentukan penaksir maksimum likelihood, cukup hanya membutuhkan fungsi likelihood dan kemudian memaksimumkan fungsi likelihood terhadap parameter yang akan ditaksir. Dalam beberapa kasus, untuk memudahkan memaksimumkan fungsi likelihood, kadang kala dikerjakan dengan melakukan transformasi logaritma natural (ln)terhadap fungsi likelihood,selanjutnya disebut sebagai log fungsi likelihood .Alasan tersebut tentunya dapat diterima dikarenakan logaritma natural merupakan fungsi increasing. Sehingga nilai yang membuat maksimum fungsi likelihood, jika ada, akan merupakan nilai sama yang membuat maksimum lof fungsi likelihood. Berikut ini merupakan prosedur menentukan penaksir maksimum likelihood : 1. Menentukan fungsi likelihood, L(θ). 2. Melakukan transformasi logaritma natural dari L(θ). 3. Melakukan differensial ln L(θ) terhadap θ, dan kemudian menyamakan hasil dervativnyadengan nol (persamaan likelihood ). 4. Menentukan akar persamaan likekelihood (θ ) ,yang disebut sebagai penaksir maksimumlikelihood ( ̂ ) Metode Newton-Raphson Dalam Satu Dimensi Banyak persoalan yang telah mempunyai penyelesaian secara eksak. Misalnya mencari akar dari suatu persamaan merupakan haln yang banyak dijumpai dalam berbagai bidang. Telah dikenal suatu cara untuk mencari akarakar persamaan kuadrat yang sederhana, yaitu bila ada persamaan
Kumpulan Makalah Seminar Semirata 2013
√
maka : adalah akar dari persamaan kuadrat, artinya bila x disubstitusikan kedalam persamaan tersebut maka akan memenuhi persamaan diatas. Secara umum, persoalannya ataupun permasalahannya adalah dalam fungsi yaitu mencari harga untuk persamaan: (4) dengan dapat berupa fungsi Aljabar, atau Transenden dan diasumsikan dapat didifferensialkan. Di dalam praktek, fungsi yang hendak dicari akarnya, tidak mempunyai rumus tertentu seperti pada persamaan kuadrat. Dalam arti belum ada metode untuk mendapatkan penyelesaian eksak. Bila demikian halnya, perlu diusahakan suatu metode numerik untuk dapat menyelesaikan persoalan tersebut. Dengan kata lain dalam kondisi demikian ada beberapa pendekatan yang akan dilakukan yaitu : 1. Pendekatan atau penyederhanaan perumusan persoalan sehingga dapat diselesaikan . 2. Mengusahakan diperolehnya jawaban pendekatan dalam persoalan yang perumusannya eksak. 3. Gabungan dari kedua cara pendekatan diatas. Pada umumnya, metode numerik tidak menyatakan diperolehnya jawab eksak(tepat) tetapi memperoleh perumusan metode yang menghasilkan jawaban pendekatan yang berbeda dari jawab yang eksak, sebesar suatu nilai yang dapat diterima berdasarkan pertimbangan praktis, akan tetapi cukup dapat memberikan penghayatan pada persoalan yang dihadapi. Metode numerik untuk mendapatkan pendekatan yang berhasil adalah dengan teknik iterasi. Metode iterasi akan konvergen bila pendekatan makin mendapatkan hasil tertentu.
Fakultas MIPA Universitas Lampung
Kembali kepada permasalahan mencari akar , maka untuk mendapatkan nilai akarnya, digunakan metode pendekatan yang meliputi dua tahap yaitu : 1. Penentuan akar pendekatan 2. Akar pendekatan dijabarkan lagi untuk mendapatkan ketelitian yang diinginkan. Teorema : (Deret Taylor) . Misalkan , dengan B bilangan bulat positip. Misalkan suatu interval I=[a,b] sehingga f dan turunan kontinu pada I dan ada pada (a,b). Jika maka untuk sebarang terdapat titik c diantara dan sehingga :
Beberapa metode numerik dalam penentuan akar pendekatan telah banyak diperkenalkan, antara lain metode Newton-Raphson[1]. Langkah yang dilakukan dalam metode Newton-Raphson dari persoalan ( 4 ), yaitu dengan menggunakan ekspansi deret Taylor berderajat satu yaitu: (5) Dengan . Apabila , pada persamaan (5) , maka : (6) Dengan demikian apabila x , menyatakan sebagai nilai tebakan awal, kemudian disubtitusikan kedalam persamaan (6), diperolehlah (7) Dengan menyatakan nilai pada iterasi ke- m dan nilai tebakan awal dinotasikan dengan . Persamaan (7) dinamakan metode ierasi Newton Raphson. Teorema : Kekonvergenan Metode Newton Raphson. Misalkan fungsi f Hal 249
Haposan Sirait Dan Rustam Efendi: Penaksir Maksimum Likelihood Dengan Metode Iterasi Newton - Raphson
mempunyai turunan f ' dan f '' yang kontinu dan merupakan akar sederhana dari f ( x) 0 , maka f ' ( ) 0 . Jika x0 cukup dekat ke metode Newton Konvergen kuadratik ke . Artinya bahwa dalam setiap error yang berurutan, error memenuhi persamaan yang berbentuk 2 xn 1 K xn ,… (1) max f '' ( n ) 1 x ~x Dengan K ( ) . '' 2 min f ( x ) n ~ x x
HASIL DAN PEMBAHASAN Penaksir Maksimum Likelihood Dengan Metode Newton Raphson Untuk kasus menetukan penaksir maksimum likelihood, yaitu dengan menentukan akan dari persamaan likelihood: (8) Dengan ; fungsi likelihood dari sampel Dari persamaan (7), diperoleh suatu algoritma iterasi untuk menentukan penaksir maksimum likelihood yang diberikan dengan formula : (9) Ilustrasi : Misalkan merupakan sampel random yang berasal dari populasi X yang berdistribusi gamma dengan parmeter dan .Akan ditentukan penaksir penaksir maksimum likelihood untuk parameter dengan metode Newton –Raphson, dengan langkah sebagai berikut yang diketahui bahwa populasi berarti fungsi kepadatan probabilitas dari X : ⁄
{
Fungsi likelihoodnya : Hal 250
∏
[
∏
]
Dengan logaritma diperoleh : (
∑
⁄
(10) melakukan transformasi natural persamaan (10)
) ∑
∑
(11) Selanjutnya dilakukan derivative parsial persamaan (11) terhadap dan kemudian disamakan dengan nol diperolehlah : ∑ (12) dan ∑ (13) Selanjutnya persamaan (12) dan (13) disebut sebagai persamaan likelihood.Dari persamaan (13) diperolehlah: (14) Selanjutnya disubstitusikan persamaan (14) kedalam persamaan (12 ) , maka : ∑ (15) Dengan memisalkan : ∑ (16) Maka : [ (17) Dengan memanfaatkan persamaan (9), diperolehlah iterasi penaksir maksiumu likelihood untuk yaitu : Kemudian nilai iterasi digunakan untuk menentukan nilai taksiran .Nilai iterasi yang diperoleh dinamakanlah penaksir maksimum likelihood dengan iterasi metode Newton- Raphson. KESIMPULAN Metode Newton-Raphson merupakan salah satu metode yang dapat memperoleh estimatormaksimum likelihood apabila akar persamaan likelihood parameternya
Kumpulan Makalah Seminar Semirata 2013
tidak dapat diperoleh secara eksak , dan estimator yang diperoleh merupakan nilai pendekatan estimator. TINJAUAN PUSTAKA A.M.Ostrowsky, 1973, Solusion of equations in Euclidean and Banach space, third edition.Academic Press.,New York Bain, J Lee & Engelhardt, Max. 1992. Introduction to Probability and Mathematical Statistics second edition
Fakultas MIPA Universitas Lampung
Duxbury Press. California. Feller W. 1967. An Introduction Probability Theory and Its Application (vol. 1): 3rd edition. Willey, New York. George, G Roussas. 1973. A First Course in Mathematical Statistics. Wesley, Philippines. Kandethody M.Ramachandran and Chris P.Tsokos. 2009, Matematical statistcs with Aplications, Academic press.Elseiver . New york
Hal 251
