BAB II LANDASAN TEORI
Pada bab ini akan dibahas dasar-dasar teori yang akan digunakan dalam penulisan skripsi ini, yaitu mengenai metode penaksiran maximum likelihood, metode penaksiran joint maximum likelihood dan fisher information.
2.1
Penaksiran Maximum Likelihood
Misal X1, X 2 ,..., X n adalah peubah acak yang iid dengan pdf f ( x;θ ) ,
θ ∈ Ω dimana θ merupakan suatu parameter yang tidak diketahui dan Ω adalah ruang parameter. Dalam melakukan penaksiran maximum likelihood ada beberapa tahapan yang harus dilakukan. Pertama, cari pdf bersama dari X1, X 2 ,..., X n yaitu f ( x1, x2 ,..., xn ;θ ) . Karena X1, X 2 ,..., X n adalah peubah acak yang iid maka f ( x1, x2 ,..., xn ;θ ) = f ( x1;θ ) f ( x2 ;θ ) ...f ( xn ;θ )
Kedua, cari fungsi likelihoodnya. Fungsi likelihood didefinisikan sebagai pdf bersama dari X1, X 2 ,..., X n yang dapat dianggap sebagai fungsi dari θ. Misalkan fungsi likelihood L (θ ; x1, x2 ,..., xn ) = L (θ )
7 Item response model, Pintanugra Persadanta, FMIPA UI, 2008
8
L (θ ) = f ( x1, x2 ,..., xn ;θ ) = f ( x1;θ ) f ( x2 ;θ ) ...f ( xn ;θ ) , θ ∈ Ω n
= ∏ f ( xi ;θ ) i =1
Ketiga, cari taksiran dari θ. Dalam metode penaksiran maximum likelihood taksiran dari θ diperoleh dengan menemukan nilai θ, sebut θˆ , yang memaksimumkan fungsi likelihood. Maka θˆ disebut taksiran maximum likelihood (maximum likelihood estimator / MLE) dari θ. Mencari nilai θ yang memaksimumkan fungsi ln L (θ ) , sebut l (θ ) , akan memberikan hasil yang sama dengan mencari nilai θ yang memaksimumkan L (θ ) . Maka baik L (θ ) atau l ( θ ) dapat digunakan untuk mencari nilai θˆ . Bukti diberikan di lampiran1. Nilai θ yang memaksimumkan l (θ ) dapat diperoleh dengan mencari solusi dari persamaan S (θ ) =
2.2
∂l (θ ) ∂θ
=
∂ lnL (θ ) ∂θ
=
1
L (θ )
⋅
∂L (θ ) ∂θ
= 0.
Penaksiran Joint Maximum Likelihood
Misal X1, X 2 ,..., X n adalah peubah acak yang iid dengan pdf f ( x; θ ) ,
θ∈Ω∈
p
dimana θ merupakan suatu vektor dari p-parameter yang tidak
Item response model, Pintanugra Persadanta, FMIPA UI, 2008
9
diketahui. Dalam melakukan penaksiran joint maximum likelihood ada beberapa tahapan yang harus dilakukan. Pertama, cari pdf bersama dari X1, X 2 ,..., X n yaitu f ( x1, x2 ,..., xn ; θ ) . Karena X1, X 2 ,..., X n adalah peubah acak yang iid maka f ( x1, x2 ,..., xn ; θ ) = f ( x1; θ ) f ( x2 ; θ ) ...f ( xn ; θ ) .
Kedua, cari fungsi likelihoodnya. Fungsi likelihood didefinisikan sebagai pdf bersama dari X1, X 2 ,..., X n yang dapat dianggap sebagai fungsi dari θ. Misalkan fungsi likelihood L ( θ; x1, x2 ,..., xn ) = L ( θ ) . L ( θ ) = f ( x1, x2 ,..., xn ; θ ) = f ( x1; θ ) f ( x2 ; θ ) ...f ( xn ; θ ) , θ ∈ Ω n
= ∏ f ( xi ; θ ) i =1
Ketiga, cari taksiran dari θ. Dalam metode penaksiran joint maximum likelihood taksiran dari θ diperoleh dengan menemukan nilai θ, sebut θˆ , yang memaksimumkan fungsi likelihood. Maka θˆ disebut taksiran joint maximum likelihood dari θ. Mencari nilai θ yang memaksimumkan fungsi lnL ( θ ) , sebut l ( θ ) , akan memberikan hasil yang sama dengan mencari nilai θ yang memaksimumkan L ( θ ) . Maka baik L ( θ ) atau l ( θ ) dapat digunakan untuk mencari nilai θˆ .
Bukti untuk θ vektor dari n parameter, θ = (θ1,θ 2 ,K,θ n ) , diberikan di lampiran2.
Item response model, Pintanugra Persadanta, FMIPA UI, 2008
10
Nilai θ yang memaksimumkan l ( θ ) dapat diperoleh dengan mencari solusi simultan dari persamaan ∂ l ( θ ) , untuk j = 1,...,p ∂θ j
S j (θ ) =
=
∂ ln L ( θ ) ∂θ j
=
1 ∂ ⋅ L (θ ) = 0 . L ( θ ) ∂θ j
Adakalanya sistem persamaan ini dapat diselesaikan secara analitik. Jika tidak, suatu prosedur numerik (misal teknik Newton-Raphson) dapat digunakan.
Fisher Information
2.3
Misalkan X adalah variabel random dengan pdf f ( x;θ ) , θ ∈ Ω , dimana ruang parameter Ω adalah suatu interval, diasumsikan bahwa:
•
f ( x;θ ) adalah positif pada himpunan S independen dari θ ∈ Ω
•
∂ f ( x;θ ) ada ∀ θ ∈ Ω , kecuali pada titik-titik dimana probabilitas = 0. ∂θ
•
∫ K∫ f ( x ;θ )K f ( x ;θ ) dx K dx 1
s
s
n
1
n
atau
.
∑K∑ f ( x ;θ )K f ( x ;θ ) dapat 1
s
n
s
dideferensiasi dibawah simbol integral atau sumasi. Dengan asumsi diatas maka didapat (diberikan untuk kasus X variable random kontinu, untuk kasus diskrit dapat dijalankan similar) bahwa
Item response model, Pintanugra Persadanta, FMIPA UI, 2008
11
∞
∫ f ( x;θ ) dx = 1 −∞
dengan mengambil turunan pertama terhadap θ didapat, ∞
misalkan g (θ ) = ∫ f ( x;θ ) dx maka −∞
d g (θ ) = 0 atau dapat ditulis dθ
g (θ + h ) − g (θ ) d g (θ ) = lim h →0 dθ h ∞
∞
∫ f ( x;θ + h ) dx − ∫ f ( x;θ ) dx = lim −∞
−∞
h
h →0
= lim
∫
∞
−∞
h →0
f ( x;θ + h ) − f ( x;θ ) dx −∞ h
= lim ∫ h →0
⎡⎣f ( x;θ + h ) − f ( x;θ ) ⎤⎦dx h
∞
∞ ∂f ( x;θ ) d g (θ ) = ∫ dx −∞ dθ ∂θ
Maka dapat ditulis, ∞
∂f ( x;θ )
−∞
∂θ
∫
dx = 0 .
(1)
Persamaan (1) dapat ditulis sebagai ∂f ( x;θ ) ∞ ∫−∞ f (∂xθ;θ ) ⋅ f ( x;θ ) dx = 0 atau sama dengan ∞
∂ ln f ( x;θ )
−∞
∂θ
∫
⋅ f ( x;θ ) dx = 0 .
Item response model, Pintanugra Persadanta, FMIPA UI, 2008
(2)
12
Jika diturunkan kembali terhadap θ didapat, ⎡ ∂ 2 ln f ( x;θ ) ∂ ln f ( x;θ ) ∂f ( x;θ ) ⎤ ⋅ + ⋅ f x ; θ ( ) ⎢ ⎥ dx = 0 . 2 ∫−∞ ⎢ ∂θ θ θ ∂ ∂ ⎥⎦ ⎣ ∞
(3)
Bentuk kedua dari persamaan (3) disebelah kiri dapat ditulis sebagai ∂f ( x;θ ) ∞ ∂ ln f ( x;θ ) ∞ ∂ ln f ( x;θ ) ∂ ln f ( x;θ ) ∫−∞ ∂θ ⋅ f (∂xθ;θ ) ⋅ f ( x;θ ) dx = ∫−∞ ∂θ ⋅ ∂θ ⋅ f ( x;θ ) dx atau ∂f ( x;θ ) 2 ∞ ∂ ln f ( x;θ ) ∞ ⎡ ∂ ln f ( x;θ ) ⎤ ∂ θ ∫−∞ ∂θ ⋅ f ( x;θ ) ⋅ f ( x;θ ) dx = ∫−∞ ⎢⎣ ∂θ ⎥⎦ ⋅ f ( x;θ ) dx
Bentuk diatas disebut Fisher Information, dinotasikan dengan I (θ ) . Yaitu, ⎡ ∂ ln f ( x;θ ) ⎤ I (θ ) = ∫ ⎢ ⎥ ⋅ f ( x;θ ) dx −∞ θ ∂ ⎣ ⎦ 2
∞
Dari persamaan (3), I (θ ) juga dapat ditulis dalam bentuk ∞
∂ 2 ln f ( x;θ )
−∞
∂θ 2
I (θ ) = − ∫
⋅ f ( x;θ ) dx
⎡ ∂ ln f ( x;θ ) ⎤ Catatan : informasi yang dimaksud adalah mean terboboti dari ⎢ ⎥ ∂θ ⎣ ⎦ ⎡ ∂ 2 ln f ( x;θ ) ⎤ atau ⎢ − ⎥ , dimana bobot diberikan oleh pdf f ( x;θ ) . Fisher ∂θ 2 ⎣⎢ ⎦⎥
Item response model, Pintanugra Persadanta, FMIPA UI, 2008
2
13
⎛ ⎡ ∂ ln f ( x;θ ) ⎤ 2 ⎞ Information juga dapat diberikan dalam bentuk E ⎜ ⎢ ⎥ ⎟ . Hal ini ⎜⎣ ∂θ ⎦ ⎟⎠ ⎝ diperoleh dari bentuk 2 ⎛ ⎡ ∂ ln f ( x;θ ) ⎤ 2 ⎞ ∞ ⎡ ∂ ln f ( x;θ ) ⎤ I (θ ) = E ⎜ ⎢ ⎥ ⎟ = ∫−∞ ⎢ ⎥ ⋅ f ( x;θ ) dx . Karena p.d.f ⎜⎣ ⎟ ∂θ ∂θ ⎦ ⎣ ⎦ ⎝ ⎠
merupakan fungsi nonnegatif atau dengan kata lain f ( x;θ ) ≥ 0 dan tentu saja ⎡ ∂ ln f ( x;θ ) ⎤ ∂ ln f ( x;θ ) , semakin ⎢ ⎥ ≥ 0 maka semakin besar nilai turunan ∂θ ∂θ ⎣ ⎦ 2
besar nilai ekspektasinya. Jadi semakin banyak informasi yang diperoleh. ⎡ ∂ ln f ( x;θ ) ⎤ ∂ ln f ( x;θ ) Jelas bahwa, jika ⎢ = 0 dengan kata lain ⎥ = 0 maka ∂θ ∂θ ⎣ ⎦ 2
ln f ( x;θ ) merupakan suatu fungsi yang tidak mengandung θ. Maka tidak
terdapat informasi tentang θ atau dengan kata lain terdapat nol informasi tentang θ.
Item response model, Pintanugra Persadanta, FMIPA UI, 2008
