Pengantar Statistika Matematika II

Ukuran Kebaikan Estimator

611.01.010 Pengantar Statistika Matematika II Bab 4: Metode Evaluasi Estimator Atina Ahdika, S.Si, M.Si

Statistika FMIPA Universitas Islam Indonesia

Atina Ahdika, S.Si, M.Si

611.01.010 Pengantar Statistika Matematika II


Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik


Penggunaan metode estimasi yang berbeda dapat menghasilkan estimator yang sama maupun berbeda Dari hasil estimator yang berbeda, bagaimana cara memilih estimator terbaik?





Penaksir Takbias

Definisi Sebuah estimator dikatakan memiliki sifat takbias jika ˆ =θ E (θ) Catatan: Jika suatu penaksir θˆ bersifat bias, maka selisih nilai ekspektasi dan nilai θ tidak nol, atau E (θˆ − θ) 6= 0





Contoh 1

Misalkan Xi ∼ Bernoulli(θ), apakah θˆ merupakan penaksir takbias untuk θ?





Dengan menggunakan metode maksimum likelihood, telah ¯ , maka diperoleh bahwa θˆ = X X1 + X2 + . . . + Xn ˆ ¯ E (θMLE ) = E (X ) = E n 1 = (E (X1 ) + E (X2 ) + . . . + E (Xn )) n 1 = (nθ) n =θ ¯ merupakan penaksir takbias untuk θ. Jadi, θˆ = X





Contoh 2

n P

Buktikan bahwa estimator takbias untuk σ 2 .

σ ˆ2

=


S2

=

¯ )2 (Xi −X

i=1

n−1

adalah estimator




Akan dibuktikan bahwa E (ˆ σ 2 ) = σ 2 , maka P  n ¯ )2 (Xi − X  i=1   E (ˆ σ 2 ) = E (S 2 ) = E    n−1 " n # X 1 ¯ )2 E (ˆ σ2) = E (Xi − X n−1 i=1 " n # X 2 2 2 ¯ Xi + X ¯ (n − 1)E (ˆ σ )=E Xi − 2X i=1

" (n − 1)E (ˆ σ2) = E

n X

#

"

Xi2 − E

i=1

" (n − 1)E (ˆ σ2) = E

n X

n X

# ¯ Xi + E 2X

i=1

#

"

¯ Xi2 − E 2X

i=1 Atina Ahdika, S.Si, M.Si

"

n X

# ¯2 X

i=1 n X i=1

#

"

¯2 Xi + E X

n X

# 1

i=1



2

(n − 1)E (ˆ σ )=E

" n X


# Xi2

2 2 ¯ + nE X ¯ − 2nE X

i=1

2 ¯ (n − 1)E (ˆ σ 2 ) = nE Xi2 − nE X 2 n−1 ¯ E (ˆ σ 2 ) = E Xi2 − E X n 2 ¯ Selanjutnya kita akan mencari E X


(1)




¯ , maka Misalkan Y = X 2 ¯ = E (Y 2 ) = Var (Y ) + E (Y )2 E X ! n 1X Xi + µ2 = Var n i=1 ! n X 1 = 2 Var Xi + µ2 n i=1

=

1 n2

n X

Var (Xi ) + µ2

i=1

1 = 2 nσ 2 + µ2 n 1 = σ 2 + µ2 n Atina Ahdika, S.Si, M.Si




Kembali ke persamaan (1) 2 n−1 ¯ E (ˆ σ 2 ) = E Xi2 − E X n 2 n−1 ¯ E (ˆ σ 2 ) = Var (Xi ) + [E (Xi )]2 − E X n 2 n−1 1 2 2 2 2 E (ˆ σ )= σ +µ − σ +µ n n n−1 1 E (ˆ σ2) = σ2 − σ2 n n 2 2 E σ ˆ =σ n P

Jadi, σ ˆ2 = S 2 =

¯ )2 (Xi −X

i=1

n−1

adalah estimator takbias untuk σ 2 .





Kesalahan Kuadrat Rata-rata (Mean Square Error ) Definisi − Kesalahan kuadrat rata-rata (MSE) dari estimator θˆ = T (→ x)=T dari parameter θ adalah fungsi θ yang didefinisikan dengan MSET (θ) = E (T − θ)2 . MSET (θ) = E (T − θ)2 = E (T − µT + µT − θ)2 = E ((T − µT ) + (µT − θ))2 = E (T − µT )2 + 2(T − µT )(µT − θ) + (µT − θ)2 = E (T − µT )2 + (E (T ) − θ)2 = Var (T ) + bT2 dengan bT adalah bias T . Atina Ahdika, S.Si, M.Si




Jadi, MSE mempunyai dua komponen, variansi yang mengukur variabilitas estimator (precision) dan bias yang mengukur akurasi (accuracy ) dari estimator. Jadi untuk estimator takbias, kita mempunyai MSET (θ) = E (T − θ)2 = Var (T )





Contoh 3

¯ dan σ Misalkan X1 , X2 , . . . , Xn i.i.d N(µ, σ 2 ). µ ˆ=X ˆ2 = S 2 2 keduanya adalah estimator takbias dari µ dan σ . Karena ¯) = µ E (ˆ µ) = E (X dan E (ˆ σ 2 ) = E (S 2 ) = σ 2 maka MSE dari kedua estimator adalah





MSE µ, ¯ − µ 2 = Var (X ¯) MSEµ = E X X1 + X2 + . . . + Xn = Var n ! n X 1 = 2 Var Xi n i=1

=

1 σ2 2 (nσ ) = n2 n





S2 =

1 X ¯ )2 (Xi − X n−1

MSE S 2 , n

i=1

(n − 1)S 2 =

n X

¯ )2 (Xi − X

i=1 n 1 X n−1 2 ¯ )2 ∼ χ2 S = 2 (Xi − X (n−1) σ2 σ 2

2

i=1 · χ2(n−1)

(n − 1)S = σ i h Var (n − 1)S 2 = Var σ 2 · χ2(n−1) (n − 1)2 Var (S 2 ) = σ 4 2(n − 1) Var (S 2 ) = Atina Ahdika, S.Si, M.Si

2σ 4 n−1 611.01.010 Pengantar Statistika Matematika II



Maka 2 MSES 2 = E S 2 − σ 2 = Var (S 2 ) =


2σ 4 n−1




Contoh 4

Estimator alternatif untuk σ 2 adalah estimator maksimum n P ¯ )2 = n−1 S 2 . Dengan mudah dapat (Xi − X likelihood σ ˆ 2 = n1 n i=1

dilihat bahwa 2

E (ˆ σ )=E sehingga σ ˆ2 =

1 n

n P

n−1 2 S n

=

n−1 2 σ n

¯ )2 adalah estimator bias untuk σ 2 . (Xi − X

i=1





Variansi σ ˆ 2 dapat dihitung sebagai n−1 2 2 Var σ ˆ = Var S n n−1 2 Var (S 2 ) = n 2(n − 1)σ 4 = n2





Oleh karena itu, 2 MSEσˆ 2 = E σ ˆ 2 − σ2 = Var σ ˆ 2 + bσ2ˆ 2 2 = Var σ ˆ2 + E σ ˆ 2 − σ2 2 n−1 2 2(n − 1)σ 4 2 + σ −σ = n2 n 2n − 1 = σ4 n2 Jadi kita mempunyai 2n − 1 2 4 σ < σ 4 = MSES 2 MSEσˆ 2 = n2 n−1 Atina Ahdika, S.Si, M.Si




Estimator Takbias Terbaik

Pada contoh sebelumnya, menunjukkan bahwa Bias = 0 tidak menjamin MSE lebih kecil MSE adalah fungsi dari parameter, sehingga tidak ada estimator ”terbaik” untuk θ Salah satu cara untuk mengatasi tidak adanya estimator ”terbaik” adalah melalui pembatasan kelas estimator, salah satu pembatasan yang akan kita bahas adalah melalui kelas takbias





Definisi Misalkan X1 , X2 , . . . , Xn adalah sampel acak berukuran n dari f (x; θ). Sebuah estimator T ∗ dari τ (θ) disebut sebagai estimator takbias variansi minimum seragam atau uniformly minimum variance unbiased estimator (UMVUE) dari τ (θ) jika 1 2

T ∗ adalah estimator takbias dari τ (θ) Untuk sebarang estimator takbias lain T dari τ (θ), Var (T ∗ ) ≤ Var (T ) untuk semua θ ∈ Ω





Masalah baru yang dihadapi adalah estimator tak bias jumlahnya bisa tak hingga. Untuk itu, untuk menentukan estimator UMVUE diperlukan penanganan yang menyeluruh, salah satunya melalui batas bawah Cramer-Rao. Jika kita menemukan estimator T ∗ sedemikian sehingga Var (T ∗ ) sama dengan nilai batas bawah tersebut, maka kita mendapatkan estimator UMVUE.





Definisi Jika T adalah estimator takbias dari τ (θ), maka batas bawah Cramer-Rao atau Cramer-Rao Lower Bound (CRLB), berdasarkan pada sebuah sampel acak, adalah [τ 0 (θ)]2

Var (T ) ≥ nE


∂ ∂θ

2 ln f (X ; θ)




Contoh 5 ¯. Misalkan Xi ∼ Eksp(θ). Estimator takbiasnya adalah θˆ = X Karena 1 −x ln f (x; θ) = ln e θ θ x = − − ln θ θ ∂ x 1 ln f (x; θ) = 2 − ∂θ θ θ x −θ = θ2





Maka

∂ E ln f (X ; θ) ∂θ

2

X −θ 2 (X − θ)2 =E =E θ2 θ4 Var (X ) θ2 1 = = = 2 θ4 θ4 θ

Dalam hal ini τ (θ) = θ, maka τ 0 (θ) = 1, sehingga CRLB untuk τ (θ) adalah [τ 0 (θ)]2 nE

∂ ∂θ

¯ ) = Var Karena Var (X

2 = n ln f (X ; θ)

X1 +X2 +...+Xn n

=

1

= 1

θ2

1 (nθ2 ) n2

θ2 n =

θ2 n

¯) dan Var (X

¯ adalah estimator UMVUE untuk sama dengan CRLB, maka θˆ = X θ. Atina Ahdika, S.Si, M.Si




Contoh 6

¯ adalah UMVUE dari θ. Misalkan X ∼ POI (θ). Buktikan X





Contoh 7

¯ adalah UMVUE dari θ. Misalkan X ∼ N(θ, σ02 ). Buktikan bahwa X



Pengantar Statistika Matematika II

Recommend Documents