Pengantar Statistika Matematika II Metode Evaluasi Estimator Atina Ahdika, S.Si., M.Si. Prodi Statistika FMIPA Universitas Islam Indonesia
April 11, 2017 atinaahdika.com
Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
Penggunaan metode estimasi yang berbeda dapat menghasilkan estimator yang sama maupun berbeda Dari hasil estimator yang berbeda, bagaimana cara memilih estimator terbaik?
Atina Ahdika, S.Si., M.Si.
Pengantar Statistika Matematika II
April 11, 2017
2/27
Penaksir Takbias Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
Definisi Sebuah estimator dikatakan memiliki sifat takbias jika ˆ =θ E(θ) Catatan: Jika suatu penaksir θˆ bersifat bias, maka selisih nilai ekspektasi dan nilai θ tidak nol, atau E(θˆ − θ) 6= 0
Atina Ahdika, S.Si., M.Si.
Pengantar Statistika Matematika II
April 11, 2017
3/27
Contoh 1 Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
Misalkan Xi ∼ Bernoulli(θ), apakah θˆ merupakan penaksir takbias untuk θ?
Atina Ahdika, S.Si., M.Si.
Pengantar Statistika Matematika II
April 11, 2017
4/27
Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
Dengan menggunakan metode maksimum likelihood, telah ¯ maka diperoleh bahwa θˆ = X, X + X + . . . + X 1 2 n ¯ =E E(θˆM LE ) = E(X) n 1 = (E(X1 ) + E(X2 ) + . . . + E(Xn )) n 1 = (nθ) n =θ ¯ merupakan penaksir takbias untuk θ. Jadi, θˆ = X
Atina Ahdika, S.Si., M.Si.
Pengantar Statistika Matematika II
April 11, 2017
5/27
Contoh 2 Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
n P
σ ˆ2
Buktikan bahwa estimator estimator takbias untuk σ 2 .
Atina Ahdika, S.Si., M.Si.
=
S2
=
¯ 2 (Xi −X)
i=1
n−1
Pengantar Statistika Matematika II
adalah
April 11, 2017
6/27
Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
Akan dibuktikan bahwa E(ˆ σ 2 ) = σ 2 , maka P n ¯ 2 (Xi − X) i=1 E(ˆ σ 2 ) = E(S 2 ) = E n−1 " n # X 1 ¯ 2 E (Xi − X) E(ˆ σ2) = n−1 i=1 # " n X 2 2 2 ¯ i+X ¯ Xi − 2XX (n − 1)E(ˆ σ )=E " 2
(n − 1)E(ˆ σ )=E
i=1 n X i=1
Atina Ahdika, S.Si., M.Si.
# Xi2
" −E
n X
# ¯ i +E 2XX
i=1
Pengantar Statistika Matematika II
" n X
# ¯2
X
i=1
April 11, 2017
7/27
Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
" (n − 1)E(ˆ σ2) = E 2
(n − 1)E(ˆ σ )=E
n X
i=1 " n X
#
"
¯ Xi2 − E 2X
n X
#
¯2 Xi + E X
i=1
Atina Ahdika, S.Si., M.Si.
n X i=1
# Xi2
2 2 ¯ + nE X ¯ − 2nE X
i=1 Xi2
2 ¯ (n − 1)E(ˆ σ ) = nE − nE X 2 n−1 ¯ E(ˆ σ 2 ) = E Xi2 − E X n 2 ¯ Selanjutnya kita akan mencari E X 2
"
Pengantar Statistika Matematika II
(1)
April 11, 2017
8/27
# 1
Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
¯ maka Misalkan Y = X, 2 ¯ = E(Y 2 ) = V ar(Y ) + (E(Y ))2 E X ! n 1X Xi + µ2 = V ar n i=1 ! n X 1 = 2 V ar Xi + µ2 n i=1
=
1 n2
n X
V ar(Xi ) + µ2
i=1
1 = 2 nσ 2 + µ2 n 1 = σ 2 + µ2 n Atina Ahdika, S.Si., M.Si.
Pengantar Statistika Matematika II
April 11, 2017
9/27
Ukuran Kebaikan Estimator
Kembali ke persamaan (1) 2 n−1 ¯ E(ˆ σ 2 ) = E Xi2 − E X n 2 n−1 ¯ E(ˆ σ 2 ) = V ar(Xi ) + [E(Xi )]2 − E X n n−1 1 2 E(ˆ σ 2 ) = σ 2 + µ2 − σ + µ2 n n n−1 1 E(ˆ σ2) = σ2 − σ2 n n 2 E σ ˆ = σ2
Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
n P
Jadi, σ2.
σ ˆ2
=
S2
=
¯ 2 (Xi −X)
i=1
n−1
adalah estimator takbias untuk
Atina Ahdika, S.Si., M.Si. Pengantar Statistika Matematika II April 11, 2017
10/27
Kesalahan Kuadrat Rata-rata (Mean Square Error ) Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
Definisi Kesalahan kuadrat rata-rata (MSE) dari estimator − θˆ = T (→ x ) = T dari parameter θ adalah fungsi θ yang didefinisikan dengan M SET (θ) = E(T − θ)2 . M SET (θ) = E(T − θ)2 = E(T − µT + µT − θ)2 = E((T − µT ) + (µT − θ))2 = E (T − µT )2 + 2(T − µT )(µT − θ) + (µT − θ)2 = E(T − µT )2 + (E(T ) − θ)2 = V ar(T ) + b2T dengan bT adalah bias T . Atina Ahdika, S.Si., M.Si. Pengantar Statistika Matematika II April 11, 2017
11/27
Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
Jadi, MSE mempunyai dua komponen, variansi yang mengukur variabilitas estimator (precision) dan bias yang mengukur akurasi (accuracy) dari estimator. Jadi untuk estimator takbias, kita mempunyai M SET (θ) = E(T − θ)2 = V ar(T )
Atina Ahdika, S.Si., M.Si. Pengantar Statistika Matematika II April 11, 2017
12/27
Contoh 3 Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
¯ dan Misalkan X1 , X2 , . . . , Xn i.i.d N (µ, σ 2 ). µ ˆ=X σ ˆ 2 = S 2 keduanya adalah estimator takbias dari µ dan σ 2 . Karena ¯ =µ E(ˆ µ) = E(X) dan E(ˆ σ 2 ) = E(S 2 ) = σ 2 maka MSE dari kedua estimator adalah
Atina Ahdika, S.Si., M.Si. Pengantar Statistika Matematika II April 11, 2017
13/27
Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
MSE µ, ¯ ¯ − µ 2 = V ar(X) M SEµ = E X X1 + X2 + . . . + Xn = V ar n ! n X 1 = 2 V ar Xi n i=1
=
σ2 1 2 (nσ ) = n2 n
Atina Ahdika, S.Si., M.Si. Pengantar Statistika Matematika II April 11, 2017
14/27
Ukuran Kebaikan Estimator
MSE S 2 , n
1 X ¯ 2 (Xi − X) S = n−1 2
Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
i=1
(n − 1)S 2 =
n X
¯ 2 (Xi − X)
i=1 n n−1 2 1 X ¯ 2 ∼ χ2 S = 2 (Xi − X) (n−1) σ2 σ 2
2
i=1 · χ2(n−1)
(n − 1)S = σ h i V ar (n − 1)S 2 = V ar σ 2 · χ2(n−1)
(n − 1)2 V ar(S 2 ) = σ 4 2(n − 1) 2σ 4 n − 1 Matematika II Pengantar Statistika
V ar(S 2 ) = Atina Ahdika, S.Si., M.Si.
April 11, 2017
15/27
Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
Maka 2 M SES 2 = E S 2 − σ 2 = V ar(S 2 ) =
2σ 4 n−1
Atina Ahdika, S.Si., M.Si. Pengantar Statistika Matematika II April 11, 2017
16/27
Contoh 4 Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
Estimator alternatif untuk σ 2 adalah estimator maksimum n P ¯ 2 = n−1 S 2 . Dengan mudah (Xi − X) likelihood σ ˆ 2 = n1 n i=1
dapat dilihat bahwa
2
E(ˆ σ )=E sehingga σ ˆ2 =
1 n
n P
n−1 2 S n
=
n−1 2 σ n
¯ 2 adalah estimator bias untuk (Xi − X)
i=1
σ2.
Atina Ahdika, S.Si., M.Si. Pengantar Statistika Matematika II April 11, 2017
17/27
Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
Variansi σ ˆ 2 dapat dihitung sebagai n−1 2 2 V ar σ ˆ = V ar S n n−1 2 = V ar(S 2 ) n 2(n − 1)σ 4 = n2
Atina Ahdika, S.Si., M.Si. Pengantar Statistika Matematika II April 11, 2017
18/27
Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
Oleh karena itu, 2 M SEσˆ 2 = E σ ˆ 2 − σ2 = V ar σ ˆ 2 + b2σˆ 2 = V ar σ ˆ 2 + (E(ˆ σ 2 ) − σ 2 )2 2 n−1 2 2(n − 1)σ 4 2 + σ −σ = n2 n 2n − 1 = σ4 n2 Jadi kita mempunyai 2n − 1 2 4 M SEσˆ 2 = σ < σ 4 = M SES 2 n2 n−1 Atina Ahdika, S.Si., M.Si. Pengantar Statistika Matematika II April 11, 2017
19/27
Estimator Takbias Terbaik Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
Pada contoh sebelumnya, menunjukkan bahwa Bias = 0 tidak menjamin MSE lebih kecil MSE adalah fungsi dari parameter, sehingga tidak ada estimator "terbaik" untuk θ Salah satu cara untuk mengatasi tidak adanya estimator "terbaik" adalah melalui pembatasan kelas estimator, salah satu pembatasan yang akan kita bahas adalah melalui kelas takbias
Atina Ahdika, S.Si., M.Si. Pengantar Statistika Matematika II April 11, 2017
20/27
Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
Definisi Misalkan X1 , X2 , . . . , Xn adalah sampel acak berukuran n dari f (x; θ). Sebuah estimator T ∗ dari τ (θ) disebut sebagai estimator takbias variansi minimum seragam atau uniformly minimum variance unbiased estimator (UMVUE) dari τ (θ) jika 1 2
T ∗ adalah estimator takbias dari τ (θ) Untuk sebarang estimator takbias lain T dari τ (θ), V ar(T ∗ ) ≤ V ar(T ) untuk semua θ ∈ Ω
Atina Ahdika, S.Si., M.Si. Pengantar Statistika Matematika II April 11, 2017
21/27
Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
Masalah baru yang dihadapi adalah estimator tak bias jumlahnya bisa tak hingga. Untuk itu, untuk menentukan estimator UMVUE diperlukan penanganan yang menyeluruh, salah satunya melalui batas bawah Cramer-Rao. Jika kita menemukan estimator T ∗ sedemikian sehingga V ar(T ∗ ) sama dengan nilai batas bawah tersebut, maka kita mendapatkan estimator UMVUE.
Atina Ahdika, S.Si., M.Si. Pengantar Statistika Matematika II April 11, 2017
22/27
Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
Definisi Jika T adalah estimator takbias dari τ (θ), maka batas bawah Cramer-Rao atau Cramer-Rao Lower Bound (CRLB), berdasarkan pada sebuah sampel acak, adalah [τ 0 (θ)]2
V ar(T ) ≥ nE
∂ ∂θ
2 ln f (X; θ)
Atina Ahdika, S.Si., M.Si. Pengantar Statistika Matematika II April 11, 2017
23/27
Contoh 5 Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
Misalkan Xi ∼ Eksp(θ). Estimator takbiasnya adalah ¯ Karena θˆ = X. 1 −x ln f (x; θ) = ln e θ θ x = − − ln θ θ ∂ x 1 ln f (x; θ) = 2 − ∂θ θ θ x−θ = θ2
Atina Ahdika, S.Si., M.Si. Pengantar Statistika Matematika II April 11, 2017
24/27
Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
Maka
∂ ln f (X; θ) E ∂θ
2
X −θ 2 (X − θ)2 =E =E θ2 θ4 V ar(X) θ2 1 = = 4 = 2 4 θ θ θ
Dalam hal ini τ (θ) = θ, maka τ 0 (θ) = 1, sehingga CRLB untuk τ (θ) adalah [τ 0 (θ)]2
2 = ∂ n n E ∂θ ln f (X; θ)
1 1 θ2
=
θ2 n
¯ = V ar X1 +X2 +...+Xn = 12 (nθ2 ) = θ2 Karena V ar(X) n n n ¯ sama dengan CRLB, maka θˆ = X ¯ adalah dan V ar(X) estimator UMVUE untuk θ. Atina Ahdika, S.Si., M.Si. Pengantar Statistika Matematika II April 11, 2017
25/27
Contoh 6 Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
¯ adalah UMVUE dari Misalkan X ∼ P OI(θ). Buktikan X θ.
Atina Ahdika, S.Si., M.Si. Pengantar Statistika Matematika II April 11, 2017
26/27
Contoh 7 Ukuran Kebaikan Estimator Ukuran Kebaikan Estimator Penaksir Takbias Kesalahan Kuadrat Rata-rata Estimator Takbias Terbaik
¯ adalah Misalkan X ∼ N (θ, σ02 ). Buktikan bahwa X UMVUE dari θ.
Atina Ahdika, S.Si., M.Si. Pengantar Statistika Matematika II April 11, 2017
27/27