Pengantar Statistika Matematika II

Estimator Bayes

611.01.010 Pengantar Statistika Matematika II Bab 3: Estimasi Titik dengan Metode Bayes

Atina Ahdika, S.Si, M.Si

Statistika FMIPA Universitas Islam Indonesia


611.01.010 Pengantar Statistika Matematika II

Estimator Bayes

Estimator Bayes Distribusi Prior dan Posterior

Estimator Bayes

Dalam pendekatan klasik, parameter θ adalah besaran tetap yang tidak diketahui Sampel random X1 , X2 , . . . , Xn diambil dari populasi berindeks θ dan berdasarkan harga-harga terobservasi dari sampel didapat pengetahuan tentang θ. Dalam pendekatan Bayesian, θ dipandang sebagai besaran yang variasinya digambarkan dengan distribusi peluang (disebut distribusi prior). Ini adalah distribusi subjektif, berdasarkan pada keyakinan seseorang dan dirumuskan sebelum data diambil.



Estimator Bayes


Kemudian, sampel diambil dari populasi berindeks θ dan distribusi prior disesuaikan dengan informasi sampel ini. Prior yang telah disesuaikan disebut distribusi posterior Penyesuaian ini dilakukan dengan menggunakan aturan Bayes, sehingga dinamai statistik Bayesian



Estimator Bayes


Teorema Bayes P(Ak , B) P(B) P(B, Ak ) = P(B) P(B|Ak )P(Ak ) = n P P(B|Ai )P(Ai )

P(Ak |B) =

i=1



Estimator Bayes


Ilustrasi

Misalkan kita mempunyai distribusi Poisson dengan parameter θ > 0 dan kita mengetahui bahwa parameternya berharga θ = 2 atau θ = 3. Dalam pendekatan klasik, θ adalah besaran tetap yang tidak diketahui. Sampel random X1 , X2 , . . . , Xn diambil dari populasi berindeks θ dan θ dipandang sebagai besaran yang bervariasi digambarkan dengan distribusi prior. Misalkan peluang prior subjektifnya adalah P(θ = 2) =

2 1 dan P(θ = 3) = 3 3




Estimator Bayes

Misalkan sampel random ukuran n = 2 menghasilkan observasi x1 = 2 dan x2 = 4. Berdasarkan data tsb, kita akan menentukan peluang posterior θ = 2 dan θ = 3. Berdasarkan teorema Bayes P(θ = 2 dan x1 = 2, x2 = 4) P(x1 = 2, x2 = 4) P(x1 = 2, x2 = 4|θ = 2)P(θ = 2) P = P(x1 = 2, x2 = 4|θ)P(θ)

P(θ = 2|x1 = 2, x2 = 4) =

θ

=

e −2 e −2

22 2!

· e −2

24 4!

22 2!

4 · e −4 24! · 13 2 · 31 + e −3 32! · e −3

34 4!

= 0.245 Selanjutnya P(θ = 3|x1 = 2, x2 = 4) = 1 − 0.245 = 0.755 Atina Ahdika, S.Si, M.Si


·

2 3

Estimator Bayes


Ini berarti bahwa observasi x1 = 2 dan x2 = 4, peluang posterior θ = 2 lebih kecil dibanding peluang prior θ = 2. Pengamatan yang sama menunjukkan peluang posterior θ = 3 lebih besar dibanding peluang prior θ = 3. Ini artinya, observasi x1 = 2 dan x2 = 4 lebih menyokong θ = 3 dibanding θ = 2.



Estimator Bayes


Distribusi Prior dan Posterior

Misalkan X ∼ f (x|θ) dan θ ∈ Ω. Bila distribusi θ pada Ω dinyatakan dengan π(θ), maka π(θ) disebut distribusi prior dari θ. Model dapat dinyatakan dengan X |θ ∼ f (x|θ)

(1)

θ ∼ π(θ)

(2)

dan



Estimator Bayes


Misalkan X1 , X2 , . . . , Xn sampel random dari distribusi bersyarat X |θ dengan fungsi kepadatan peluang f (x|θ). Fungsi kepadatan → − gabungan X = (X1 , X2 , . . . , Xn ) diberikan θ adalah − f (→ x |θ) = f (x1 |θ) f (x2 |θ) . . . f (xn |θ)

(3)

→ − Fungsi kepadatan peluang gabungan X dan θ adalah − − f (→ x , θ) = f (→ x |θ) π(θ)



(4)

Estimator Bayes


→ − Fungsi kepadatan peluang marginal dari X adalah  R∞ −   f (→ x , θ) dθ, jika θ kontinu → − −∞ m( x ) = P −   f (→ x , θ), jika θ diskrit θ



(5)

Estimator Bayes


→ − Fungsi kepadatan peluang bersyarat θ| X adalah − − f (→ x , θ) f (→ x |θ) π(θ) − π(θ|→ x)= = → − − f(x ) m(→ x) − π(θ|→ x ) adalah distribusi posterior.



(6)

Estimator Bayes


Contoh 1

Misalkan X1 , X2 , . . . , Xn i.i.d Poisson θ dan θ ∼ Gamma(α, β) (distribusi prior). Dalam hal ini − f (→ x |θ) =

n Y

e −θ

i=1

θxi xi !

n P

=

e −nθ

θ

n Q

xi

i=1

xi !

i=1




Estimator Bayes

π(θ) =

1 −θ θα−1 e β α Γ(α) β

→ − Selanjutnya, fungsi kepadatan peluang gabungan X adalah − − f (→ x , θ) = f (→ x |θ) π(θ) n P

=e

−nθ

xi

θi=1 1 −θ · θα−1 e β n α Q Γ(α) β xi ! i=1




Estimator Bayes

→ − F.k.p marginal dari X adalah − m(→ x)=

Z∞

− f (→ x , θ) dθ

0

Z∞ =

e

0

−nθ− βθ n Q

xi

θ

P

xi +α−1

dθ

! Γ(α) β α

i=1

.. . P Γ( xi + α) = n P xi +α Q 1 α xi ! Γ(α) β n+ β i=1



Estimator Bayes


Akibatnya, distribusi posteriornya adalah − f (→ x |θ) π(θ) − π(θ|→ x)= − m(→ x) −

θ

β θ xi +α−1 e ( nβ+1 ) = P xi +α P β Γ( xi + α) nβ+1

P

− ∴ π(θ|→ x ) ∼ Gamma(α∗ , β ∗ ) dengan X α∗ = xi + α β∗ =

β nβ + 1



Estimator Bayes


Bila distribusi prior dan posterior berada dalam kelas distribusi yang sama, maka distribusi prior dan posterior disebut sekawan atau conjugate.



Estimator Bayes


Dari Contoh 1 terlihat bahwa dalam menentukan distribusi − posterior π(θ|→ x ) sebenarnya kita tidak perlu menghitung f.k.p → − marginal m( x ). Sebagai ilustrasi, pada Contoh 1 di atas, bila kita − − membagi f (→ x |θ) π(θ) dengan m(→ x ) kita akan mendapatkan − perkalian suatu faktor yang hanya bergantung pada (→ x ) tetapi → − tidak bergantung pada θ, katakanlah c( x ) dan θ

P

xi +α−1


−

θ

β e ( nβ+1 )


Estimator Bayes


Artinya, − − π(θ|→ x ) = c(→ x )·θ

P

xi +α−1

−

θ

β e ( nβ+1 )

− − tetapi c(→ x ) harus merupakan konstanta yang membuat π(θ|→ x) merupakan densitas, yaitu − c(→ x)=

1 P xi +α P β Γ( xi + α) nβ+1



Estimator Bayes


− Akibatnya, kita bisa menulis π(θ|→ x ) sebanding dengan − f (→ x |θ) π(θ) atau bisa ditulis − − π(θ|→ x ) α f (→ x |θ) π(θ) Aturan tsb disebut penulisan Box-Tiao.



Estimator Bayes


Contoh 2

Misalkan X ∼ N(θ, σ 2 ) dan θ ∼ N(µ, τ 2 ). Maka π(θ|x) α f (x|θ) π(θ) 2 1 (x−θ) σ2

α e− 2 .. . αe dengan ρ =

2 1 (θ−µ) τ2

e− 2

h − 21 ρ θ− ρ1

x + µ2 σ2 τ

i2

τ 2 +σ 2 . τ 2 σ2



Estimator Bayes


Sehingga h i2 ρ 1 − 12 ρ θ− ρ1 µ2 + x2 2 τ σ π(θ|x) = e 2π

atau π(θ|x) ∼ N(µ∗ , σ 2∗ ) dengan x 1µ + ρ τ 2 σ2 1 = ρ

µ∗ = σ 2∗



Estimator Bayes


Sekarang, misalkan kita ingin mencari estimator titik dari θ. Dari pandangan Bayesian, persoalannya menjadi mencari θˆ yang − merupakan nilai prediksi dari θ bila → x dan distribusi posterior → − π(θ| x ) diketahui. Pencarian θˆ ini tidak lepas dari fungsi kerugian ˆ dan bagaimana memilih θˆ seperti itu sehingga risiko L(θ, θ) Bayesnya minimum.



Estimator Bayes


Beberapa fungsi kerugian: ˆ = (θˆ − θ)2 Kerugian kuadratis, L(θ, θ) ˆ = |θˆ − θ| Kerugian absolut, L(θ, θ) ˆ = c(θ)(θˆ − θ)2 Kerugian kuadratik tertimbang, L(θ, θ)



Estimator Bayes


Risiko Bayes didefinisikan sebagai Z ˆ ˆ θ) π(θ) dθ r (θ) = R(θ, ZZ − − ˆ θ) f (→ = L(θ, x |θ) d → x π(θ) dθ ZZ − − − ˆ θ) π(θ|→ = L(θ, x ) m(→ x ) d→ x dθ Z Z − − − ˆ θ) π(θ|→ = L(θ, x ) dθ m(→ x ) d→ x



Estimator Bayes


ˆ sama dengan meminimumkan Meminimumkan r (θ) R → − ˆ L(θ, θ) π(θ| x ) dθ. R − ˆ θ) π(θ|→ L(θ, x ) dθ disebut sebagai risiko posterior. Dalam pendekatan Bayesian, kita memilih estimator yang meminimumkan risiko posterior.



Estimator Bayes


ˆ θ) = (θˆ − θ)2 . Tentukan estimator Bayes yang sesuai. Misalkan L(θ, R − ˆ π). Untuk Risiko posterior = (θˆ − θ)2 π(θ|→ x ) dθ atau R(θ, ˆ mencari estimator θ: ˆ π) dR(θ, = d θˆ

Z

− 2(θˆ − θ) π(θ|→ x ) dθ = 0 Z Z → − − ˆ 2θπ(θ| x ) dθ = 2θπ(θ|→ x ) dθ Z Z − − θˆ π(θ|→ x ) dθ = θπ(θ|→ x ) dθ

− θˆ = E (θ|→ x ) adalah harga harapan posterior.



Estimator Bayes


Di Contoh 1, estimator Bayesnya adalah − E (θ|→ x ) = α∗ β ∗ =


X

x +α

β nβ + 1


Pengantar Statistika Matematika II

Recommend Documents