Estimasi Titik. (Point Estimation) Minggu ke 1-3. Prof. Dr. Sri Haryatmi, M. Sc. Universitas Gadjah Mada

Estimasi Titik (Point Estimation) Minggu ke 1-3

Prof. Dr. Sri Haryatmi, M. Sc. Universitas Gadjah Mada

2014

Prof. Dr. Sri Haryatmi, M. Sc. (UGM)

Daftar Isi

2014

1 / 33

2014

2 / 33

DAFTAR ISI 1

Minggu 1 Pertemuan 1 : Pendahuluan Estimasi Titik Beberapa Metode Estimator Metode Moment Metode Maksimum Likelihood

2

Minggu 2 Minggu 2 : Metode Evaluasi Estimator Sifat Takbias (Unbias) Sesatan Kuadrat Rata-rata / MSE Estimator Takbias Terbaik

3

Minggu 3 Minggu 3 : Konsistensi Minggu 3 : Konsistensi Sifat Sifat Asimtotis dari MLE


Daftar Isi

Minggu 1 : Pendahuluan Statistika Inferensial Untuk mengetahui karakteristik yang bersifat numerik dari suatu populasi, observasi terhadap satu atau lebih variabel acak yang terkait perlu dilakukan. Hasil observasi ini kemudian dianalisis dengan menggunakan teknik-teknik tertentu untuk mengestimasi karakteristik (dalam model parametrik disebut parameter) populasi atau menguji hipotesis tentang populasi. Bagian statistika yang membahas teori estimasi dan uji hipotesis dinamakan statistika inferensial (inferential statistics). Estimasi parameter dibedakan menjadi dua macam, yaitu estimasi titik dan estimasi interval. Bab ini membahas estimasi titik. Estimasi interval dan uji hipotesis akan di bahas di bab-bab yang akan datang.


Daftar Isi

2014

3 / 33

Estimasi Titik

Kongsep dari estimasi titik sangat sederhana. bila sampling berasal dari populasi yang digambarkan melalui densitas f (x | θ), pengetahuan tentang θ menghasilkan karakteristik mengenai keseluruhan populasi. Dengan kata lain Estimasi Titik adalah suatu nilai (suatu titik) yang digunakan untuk menduga suatu parameter populasi.

Definisi Dalam statistik T = t(X1 , X2 , ..., Xn ) yang digunakan untuk memperkirakan nilai dari τ (θ) adalah estimator dari τ (θ) dan nilai yang diamati dalam statistik , t(x1 , x2 , ..., xn ) disebut estimate dari τ (θ).


Daftar Isi

2014

4 / 33

Perhatikan bahwa terdapat perbedaan antara estimate dan estimator. Suatu estimator adalah fungsi sampel. sedangkan estimate adalah nilai terealisasi dari estimator yaitu bilangan yang didapat bila sempel benar benar terambil.


Daftar Isi

2014

5 / 33

2014

6 / 33

Beberapa Metode Estimator

1

2

Metode Moment. Metode Maksimum Likelihood.


Daftar Isi

Metode Moment (Method of Moment Estimator/MME)

Adalah Metode yang diciptakan oleh Karl Pearson pada tahun 1800 dan merupakan metode tertua dalam menentukan estimator titik.Ide utama dari metode momen adalah menyamakan karakteristik sampel tertentu seperti mean dan varians untuk nilai-nilai yang diharapkan populasi yang bersesuaian dan kemudian menyelesaikan persamaan yang dihasilkan untuk mendapatkan nilai perkiraan parameter tidak diketahui

Definisi jika X1 , X2 , ..., Xn adalah sampel random dari populasi dengan fungsi densitas f (x; θ1 , θ2 , ..., θn ) , maka moment populasi ke k didifinisikan sebagai µk = E (X k )


Daftar Isi

2014

7 / 33

Definisi Misalkan X1 , X2 , ..., Xn adalah sampel random dari populasi dengan fungsi densitas f (x; θ1 , θ2 , ..., θk ). Estimator metode moment didapat dengan menyamarkan k moment sampel pertama pada k moment sampel populasi dan menyelesaikan sistem persamaan simultan yang dihasilkan ( diselesaikan untuk θ1 , θ2 , ..., θk ).

Contoh : Misalkan X1 , X2 , ..., Xn adalah sampel random dari populasi yang berdistibusi Poisson dengan parameter λ . Dengan metode moment tentukan estimator untuk λ.


Daftar Isi

2014

8 / 33

Penyelesaian : X v P(λ) Maka fungsi densitasnya f (x | θ) = e −λ λx!x , x = 1, 2, .... P E (x) = xe −λ λx!x P λx−1 = λ x−1=0 e −λ x−1! =λ Karena hanya satu parameter yang akan diestimasi maka hanya diperlukan satu pesamaan dan langsung diperolah estimator titiknya. E (X ) =

1 n

P

Xi


Daftar Isi

2014

9 / 33

Contoh : Misalkan X1 , X2 , ..., Xn merupakan sampel acak dari sebarang distribusi dengan mean µ dan Variansi σ 2 maka dengan mudah dapat ditunjukkan bahwa µ ˜ = X dan σ ˜2 =

Σni=1 (Xi −Xn )2 n

Perhatikan bahwa σ ˜2 =


n−1 2 n S

dimana S 2 adalah sampel varians.

Daftar Isi

2014

10 / 33

Metode Maksimum Likelihood Metode kedua dalam estimasi parameter dari suatu distribusi probabilitas didasarkan pada fungsi likelihood. Sejauh ini metode Maksimum Likelihood adalah metode yang paling populer dalam menghasilkan estimator. untuk mendapatkan metode maksimum likelihood akan di berikan definisi fungsi likelihood sebagai berikut:

Definisi Fungsi densitas bersama dari n variable random X1 , X2 , ..., Xn dengan nilai pengamatan x1 , x2 , ..., xn dinotasikan dengan f (x1 , x2 , ..., xn ; θ) dan disebut fungsi likelihood. Untuk x1 , x2 , ..., xn tetap adalah fungsi dari θ dan dinotasikan dengan L(θ).Jika X1 , X2 , ..., Xn adalah sampel random dari fungsi densitas f (x1 ; θ) , maka fungsi likelihoodnya adalah: L(θ) = f (x1 ; θ), ..., f (xn ; θ) = Πnn−1 f (xn ; θ)


Daftar Isi

2014

11 / 33

Definisi Misalkan L(θ) = f (x1 ; θ), ..., f (xn ; θ) = Πnn−1 f (xn ; θ), θΩ Adalah Fungsi densitas bersama X1 , X2 , ..., Xn dan bila diberikan himpunan dari pengamatan x1 , x2 , ..., xn nilai θˆ dalam Ω yang memaksimumkan L(θ) disebut penduga maksimum likelihood dari θ. Dalam hal ini θˆ merupakan ˆ = maxθΩ f (x1 , x2 , ..., xn ; θ) nilai dari θ yang memenuhi f (x1 , x2 , ..., xn ; θ) Sesungguhnya ide dasar dari metode maksimum likelihood adalah mencari nilai parameter yang memberi kemungkinan (likelihood) yang paling besar untuk mendapatkan data yang terobservasi sebagai estimator.


Daftar Isi

2014

12 / 33

Langkah Langkah Menentukan Estimator Maksimum Likelihood : 1 2 3

4

Tentukan fungsi likelihood. Bentuk log likelihood. Tentukan turunan dari bentuk log likelihood dan meyamakan turunannya sama dengan nol . Bentuk persamaan likelihood.


Daftar Isi

2014

13 / 33

Contoh : Misalkan X1 , X2 , ..., Xn merupakan sampel acak dari distribusi x −θ Poisson,X ∼ POI (θ) dengan fungsi densitas f (x; θ) = θ Xe ! , x = 1, 2, ... Fungsi likelihood L(θ) =

Πni=1 f (x; θ)

=

θ

Pn i=1 x e −θn Πni=1 X !

dan fungsi log likelihood ln L(θ) =

Pn

i=1 xi

ln θ − nθ− ∈ Πni=1 X !

Persamaan maksimum likelihoodnya adalah ∂ ∂θ

ln L(θ) =

Pn

xi i=1 θ

−n =0

yang mempunyai penyelesaian θˆ = Xn Jadi MLE dari θ adalah θˆ = Xn . Prof. Dr. Sri Haryatmi, M. Sc. (UGM)

Daftar Isi

2014

14 / 33

Contoh : Banyak cacat dalam suatu lini produksi ditemukan mengikuti distribusi Poisson dengan suatu rata-rata ? yang tidak diketahui. Dua sampel random diambil dan banyaknya unit-unit yang cacat adalah 10 dan 12. Tentukan estimasi kemungkinan maksimum (MLE) dari µ ? Jawab: Probabilitas yang mempunyai x unit dari suatu distribusi Poisson adalah x −µ P(x) = µ Xe ! , x = 1, 2, ... Probabilitas yang mempunyai 10 dan 12 cacat berturut-turut adalah: 10 e −µ 12 e −µ P(10) = µ 10! dan P(12) = µ 12!


Daftar Isi

2014

15 / 33

Fungsi likelihood l[x, µ] adalah perkalian dari P(10) dan P(12), yaitu: 10 e −µ µ12 e −µ 22 e 2−µ l[x, µ] = µ 10! x 12! = µ10!12! Evaluasi dari persamaan di atas untuk nilai-nilai yang berbeda dari µ dapat disederhanakan dengan mengambil logaritma dari l[x, µ]. Misal L[x, µ] = logl[x, µ] dan logaritma dari fungsi likelihood adalah L[µ] = 22 log µ − 2µ − log(10!12!) Derivatif dari L[µ] terhadap µ adalah ∂l[µ] 22 ∂µ = µ − 2 = 0 Jadi estimasi terbaik dari µ ˆ adalah


22 2

= 11

Daftar Isi

2014

16 / 33

Minggu 2 : Metode Evaluasi Estimator Estimator titik untuk parameter θ melalui pendekatan klasik yaitu metode moment dan metode maksimum likelihood, mungkin diperoleh estimator yang berbeda. Masalahnya sekarang adalah bagimana memilih salah satu estimator terbaik yang memenuhi sifat sifat kebaikan suatu estimator. Dalam presentasi ini akan diperkenalkan patokan dasar untuk mengevaluasi estimator dan meyelidiki kelakuan beberapa estimator terhadap kreteria tertentu.

Metode Evaluasi Estimator : 1

Sifat Takbias (Unbias).

2

Sesatan Kuadrat Rata-rata(mean square Error/MSE).

3

Estimator Takbias Terbaik.

4

Konsistensi.


Daftar Isi

2014

17 / 33

Sifat Takbias (Unbias)

Sifat takbias ini merupakan sifat baik dari suatu estimator yang dipeoleh melalui pendekatan klasik, dalam pemilihan estimator terbaik salah satunya harus memenuhi sifat takbias ini.

Definisi Sebuah estimator T dikatakan estimator tak bias untuk τ (θ) , Jika E (T ) = τ (θ) untuk semua θΩ Jika tidak demikian T dikatakan estimator bias untuk τ (θ).


Daftar Isi

2014

18 / 33

Contoh : Jika X1 , X2 , ..., Xn merupakan sampel acak dari sebarang distribusi dengan mean µ = E (Xi ) dan variansi σ 2 = Var (Xi ) maka menurut Teorema X dan S 2 masing-masing adalah estimator tak bias untuk µ dan σ 2 karena E (X ) = µ dan E (S 2 ) = σ 2


Daftar Isi

2014

19 / 33

Sesatan Kuadrat Rata-rata(mean square Error/MSE)

Definisi kesalahan kuadrat rata-rata (MSE) dari estimator T [x] dari parameter θ adalah fungsi θ yang didifinisikan dengan Eθ [T (x) − θ]2 . dengan mudah dapat kita lihat bahwa Eθ [T (x) − θ]2 = varT (x) + (Bias(T (x)))2 dengan Bias(T (x)) = Eθ T (x) − θ Jadi , MSE mempunyai dua komponen , variansi yang mengukur variabilitas estimator ( precision ) dan bias mengukur akuransi dari estimator . jadi untuk estimator takbias kita mempunyai Eθ [T (x) − θ]2 = varT (x)


Daftar Isi

2014

20 / 33

Teorema MSE (T ) = Var (T ) + [Bias(T )]2 Bukti gunakan sebagai latihan: Meskipun banyak estimator takbias yang masuk akal dari pandagan MSE , kita harus berhati hati bahwa pengontrolan bias tika otomatis menjadi pengontrolan bias. Pada khususnya, sering terjadi timbal balik antara variansi dan bias sedemikian hingga sedikit kenaikan bias dapat ditukar dengan penurunan yang lebih besar dari variansi , yag hasilnya dapat diperbaiki pada MSE .


Daftar Isi

2014

21 / 33

Estimator Takbias Terbaik

Pada umumnya , MSE adalah fungsi dari parameter. sehingga tidak ada estimator terbaik untuk θ . Salah satu penyebab adalah MSE dari estimator saling berpotongan yang berati kebaikan dari estimator hanya bersifat lokal . salah satu cara untuk mengatasi tidak adanya estimator terbaik adalah melalui pembatasan pada kelas estimator. salah satu pembatasan yang kita bahas adalah melalui kelas takbias.


Daftar Isi

2014

22 / 33

Definisi Sebuah estimator T ∗ dikatakan estimator tak bias dengan variansi minimum secara uniform (uniformly minimum variance unbiased estimator / UMVUE ) untuk τ (θ) jika i. T ∗ estimator tak bias untuk τ (θ) dan ii. Untuk sebarang estimator tak bias T untuk τ (θ) , Var(T ∗ )
Teorema ( CRLB ) Jika T adalah estimator tak bias untuk τ (θ), maka : Var (T ) ≥

[τ 0 (θ)]2 ∂ nE [ ∂θ ] ln f (X ;θ)]


Daftar Isi

2014

23 / 33

Contoh : Misalkan X1 , X2 , ..., Xn merupakan sampel acak dari sebarang distribusi eksponensial, X ∼ EXP(θ) dan τ (θ) = θ Karena ∂ x−θ ∂θ ln f (X ; θ) = θ2 maka dapat ditunjukkan bahwa ∂ 2 E [ ∂θ ] = θ12 2 sehingga CRLB untuk τ (θ) sama dengan θn jelas bahwa X merupakan estimator tak bias untuk τ (θ) = θ Selanjutnya dapat ditunjukkan bahwa 2 Var (X ) = θn Kesimpulannya X merupakan UMVUE untuk τ (θ)


Daftar Isi

2014

24 / 33

Definisi Misalkan T dan T ∗ merupakan estimator tak bias untuk τ (θ) Efisisensi relatif dari T terhadap T ∗ didefinisikan sebagai ∗ (T ) re(T , T ∗ ) = Var Var (T ) T ∗ dikatakan efisien jika re(T , T ∗ ) ≤ 1 untuk semua estimator tak bias T untuk τ (θ) dan semua θεΩ . Jika T ∗ adalah estimator efisien untuk τ (θ) Maka efisiensi dari estimator tak bias T untuk τ (θ) didefinisikan sebagai : e(T ) = re(T , T ∗ )


Daftar Isi

2014

25 / 33

Minggu 3 : Konsistensi

Sejauh ini kreteria yang kita bahas adalah kreteria sampel berhingga. sebaliknya konsistensi adalah sifat asimtotis , yaitu mengambarkan sifat astimator bila ukuran sampel menjadi tak berhingga. ini hanya satu dari kreteria yang kita bahas. Konsistensi adalah sifat barisan estimator , bukan dari estimator tunggal walapun biasanya disebut suatu estimator konsisten. Bila kita mengobservasi X1 , X2 , ..., Xn menurut densitas f (x; θ) kita dapat meng-kontruksi barisan estimator Tn = Tn (X1 , X2 , ..., Xn ) dengan melakukan prosedur estimasi yang sama untuk ukuran sampel n. Sebagai contoh x¯1 = x1 , x¯2 = x12x2 dan seterusnya. selanjutnya kita dapan mendifinisikan barisan konsisten.


Daftar Isi

2014

26 / 33

Difinisi Barisan estimator Tn = Tn (X1 , X2 , ..., Xn ) adalah barisan estimator dikatakan konsisten untuk τ (θ), bila untuk setiap > 0 dan untuk setiap θΩ limn→∞ P(|Tn − τ (θ)| < ) = 1 ekuvalen dengan limn→∞ P(|Tn − τ (θ)| > ) = 0


Daftar Isi

2014

27 / 33

Difinisi Barisan estimator Tn untuk τ (θ) dikatakan MSE konsisten jika limn→∞ E ([Tn − τ (θ)]2 = 0 untuk setiap θΩ

Barisan estimator Tn untuk τ (θ) dikatakan tak bias asimtotik jika limn→∞ E ([Tn ) = τ (θ) untuk setiap θΩ


Daftar Isi

2014

28 / 33

Teorema Bila Tn barisan estimator dari parameter θ yang memenuhi : i. limn→∞ var (Tn ) = 0 ii. limn→∞ Bias(Tn ) = 0. maka Tn adalah barisan estimator parameter θ konsisten.

Bukti gunakan sebagai latihan


Daftar Isi

2014

29 / 33

Teorema Bila Tn barisan estimator dari parameter θ. misalkan a1 , a2 , ... dan b1 , b2 , ... barisan konstante yang memenuhi : i. limn→∞ an = 0 ii. limn→∞ bn = 0. maka barisan Un = an Tn + bn adalah barisan konsisten dari estimator θ.

Bukti gunakan sebagai latihan


Daftar Isi

2014

30 / 33

Difinisi Misalkan Tn dan Tn∗ merupakan estimator tak bias asimtotik untuk τ (θ). Efisisensi relatif asimtotik dari Tn dan Tn∗ didefinisikan sebagai : (T ∗ ) are(T , T ∗ ) = Var Var (T ) Barisan Tn∗ dikatakan efisien secara asimtotik jika are(T , T ∗ ) ≤ 1 untuk semua barisan estimator takbias asimtotik Tn untuk τ (θ) dan semua θΩ. Jika Tn∗ adalah barisan estimator efisien secara asimtotik untuk τ (θ) maka efisiensi asimtotik dari barisan estimator takbias asimtotik Tn untuk untuk τ (θ) didefinisikan sebagai ae(Tn ) = are(T , T ∗ )


Daftar Isi

2014

31 / 33

Sifat Sifat Asimtotis dari MLE

Dalam keadaan tertentu , dapat ditunjukan bahwa praduga kemungkinan maksimum atau MLE mempunyai sifat sifat yang diinginkan. Secara spesifik, bila syarat syarat reguler tertentu dipenuhi, maka penyelesain likelihood θˆn mempunyai sifat sifat sebagai berikut : i. θˆn ada dan tunggal ii. θˆn estimator kongsiten untuk θ. iii. θˆn berdistribusi normal asimtotis dengan mean θ dan variansi 1 ∂ 2 n E [ ∂θ log f (x; θ)] iv. θˆn efisien secara asimtotis dalam arti var (θˆn ) secara asimtotis dengan CLRB dari θ.


Daftar Isi

2014

32 / 33

Catatan : perhatikan bahwa efisien asimtotis θˆn terlihat dari fakta bahwa variansi asimtotis sama dengan CLRB untuk estimator takbias dari θ . jadi untuk n besar secara hampiran θˆn ≈ N(θ, CLRB) Selanjutnya berdasarkan teorema usefull bila g (θ) fungsi θ dengan derivatif tidak nol, maka g (θˆn ) juga berdistribusi normal asimtotis dengan mean g (θ) dan variansi (g 0 (θ))2 CLRB. perhatikan juga bahwa variansi asimtotik dari g (θˆn ) sama dengan CLRB untuk variansi estimator tak bias dari g (θ) dengan kata lain g (θˆn ) juga efisien secara asimtotis


Daftar Isi

2014

33 / 33

Estimasi Titik. (Point Estimation) Minggu ke 1-3. Prof. Dr. Sri Haryatmi, M. Sc. Universitas Gadjah Mada

Recommend Documents