Inferensi Statistik…(Alan Prahutama)
INFERENSI STATISTIK DARI DISTRIBUSI NORMAL DENGAN METODE BAYES UNTUK NON-INFORMATIF PRIOR Alan Prahutama1, Sugito2, Agus Rusgiyono2 1 Mahasiswa Program S-2 Statistika ITS Surabaya 2 Staf Pengajar Program Studi Statistika FMIPA UNDIP
Abstract One of the method that can be used in statistical inference is Bayesian method. It combine sample distribution and prior distribution to get a posterior distribution. In this paper, sample distribution used is univariate normal distribution. Prior distribution used is non-informative prior. Determination technique of non-informative prior use Jefrrey’s method from univariate normal distribution. After got the posterior distribution, find the marginal distribution of mean and variance. So that will get the parameter estimation of interval for mean and variance. Hypothesis testing for mean and variance can find from parameter estimation of formed interval. Keywords: Bayesian method, non-informatif prior, Jeffrey’s method, Parameter Estimation of Interval, Hypothesis test
1. Pendahuluan Metode statistik dibedakan menjadi dua yaitu statistik deskriptif dan statistik inferensi. Statistik deskriptif adalah metode-metode yang berkaitan dengan pengumpulan dan penyajian suatu gugus data sehingga memberikan informasi yang berguna. Sedangkan statistik inferensi adalah metode-metode yang berhubungan dengan analisis sebagian data untuk kemudian sampai pada peramalan atau penarikan kesimpulan mengenai keseluruhan data[6]. Inferensi statistik dapat dibedakan menjadi dua yaitu estimasi parameter dan uji hipotesis. Estimasi parameter dibedakan menjadi dua yaitu estimasi parameter titik dan estimasi parameter berupa interval. Inferensi statistik dapat dicari dengan metode klasik dan metode bayes[5]. Pada teori estimasi dapat dilakukan dengan dua metode yaitu metode klasik dan metode bayes. Metode klasik sepenuhnya mengandalkan proses inferensi pada data sampel yang diambil dari populasi, sedangkan metode bayes disamping memanfaatkan data sampel yang diperoleh dari populasi juga memperhitungkan suatu distribusi awal yang disebut distribusi prior. Salah satu teknik yang digunakan dalam metode klasik adalah metode maksimum likelihood[3]. Metode klasik memandang parameter sebagai besaran tetap yang tidak diketahui harganya, dan inferensi didasarkan hanya pada informasi dalam sampel. Metode Bayes memandang parameter sebagai variabel yang menggambarkan pengetahuan awal tentang parameter sebelum pengamatan dilakukan dan dinyatakan dalam suatu distribusi yang disebut dengan distribusi prior. Sedangkan Penentuan parameter distribusi prior yang tidak didasarkan pada data yang ada disebut non-informatif prior. Setelah pengamatan dilakukan, informasi dalam distribusi prior dikombinasikan dengan informasi dengan data sampel melalui teorema Bayes, dan hasilnya dinyatakan dalam bentuk distribusi yang disebut distribusi posterior yang selanjutnya menjadi dasar untuk inferensi di dalam metode Bayes[2]. Langkah-langkah yang dilakukan adalah mencari distribusi non-informatif prior dari distribusi normal kemudian digabungkan dengan informasi sampel melalui teorema 95
Media Statistika, Vol. 5 No. 2, Desember 2012: 95-104
bayes sehingga dihasilkan distribusi posterior[1]. Selanjutnya bisa dicari distribusi posterior marginal untuk tiap parameter dari distribusi posterior yang terbentuk. Sehingga bisa didapatkan estimasi interval untuk tiap parameter yang nantinya bisa ditentukan juga uji hipotesis untuk tiap parameter[4]. Dalam tulisan ini distribusi sampel yang digunakan adalah distibusi normal dan distribusi prior yang digunakan adalah non-informatif prior. Teknik penentuan non-informatif prior menggunakan metode Jefrrey’s dari distribusi normal univariat.
2. Inferensi Statistik Distribusi Normal Menggunakan Metode Bayes untuk Non-Informatif Prior Distribusi Normal sebagai Distribusi Sampel Jika sebuah variabel random X dikatakan mengikuti distribusi normal dengan parameter mean dan variansi 2 dapat dilambangkan dengan X ~ N , σ 2 , maka memiliki fungsi kepadatan peluang dalam bentuk:
f xi ; ,
2
1 xi 2 exp 2 2 1
untuk xi , dimana dan 0 .
Likelihood dari Distribusi Normal Jika X 1 , X 2 ,..., X n adalah sampel random berdistribusi normal dengan densitas
f xi ; , 2 , maka fungsi likelihoodnya didefinisikan dengan:
L ,
2
f x ; , n
2
i
i 1
2 2
n / 2
1 exp 2 2
n
x i 1
i
2
Metode Jeffrey’s Salah satu bentuk pendekatan dari non-informatif prior adalah dengan menggunakan metode Jeffrey’s. Metode ini menyatakan bahwa distribusi prior f merupakan akar kuadrat dari informasi Fisher yang dinyatakan dalam:
f I 2 dimana I merupakan nilai harapan informasi Fisher 1
2 log f x; I E 2 t Jika 1 ,....., p adalah vektor, digunakan
f det I 2 dimana I adalah matriks informasi Fisher p p dengan indeks i, j maka 1
96
Inferensi Statistik…(Alan Prahutama)
2 I ij E log f x ; dengan i = 1, 2, …, p ; j = 1, 2, …, p i j
Non-Informatif Prior dari Distribusi Normal Distribusi non-informatif prior f dimana , 2 , diasumsikan bahwa dan 2 adalah independen sehingga f f f 2 Menentukan distribusi non-informatif prior f 2
f X ; ,
2
1 X 2 exp 2 2 1
log f X ; ,
2
X 1 1 log 2 log 2 2 2 2 2
2
Jika u 2 maka log
X 1 1 f X ; , u log 2 log u 2
2 2 d log f X ; , u 1 X du 2u 2u 2 2 d 2 log f X ; , u 1 X du 2 2 4 6 d 2 log f X ; , u I 2 E du 2 1 2 4
2
2u
f 2 I 2
1
2
Sedangkan nilai non-informatif prior untuk f c (konstan) diperoleh[3] 1 f 2
3. Pembahasan Distribusi Posterior Setelah mencari fungsi likelihood dan menentukan distribusi prior dari distribusi normal maka dapat dicari distribusi posteriornya sebagai berikut:
f , 2 x
L , f dd L , 2 f
2
2
2 0
97
Media Statistika, Vol. 5 No. 2, Desember 2012: 95-104
2 2 2 2 1 exp n
n
2
2
n
1 2
2
2 2 n 1s 2 n
n 1 2
1
2 n 2 n 1s 2 2
n
1 2
x i 1
n 1 2
i
2
n 1 2
n 1 2 2 1
n 1 2
1 exp 2 2
n
x i 1
i
2
Distribusi Posterior Marginal untuk 2 Jika f , 2 x dan merupakan distribusi posterior yang sudah terbentuk maka
distribusi posterior marginal untuk 2 adalah:
f , xd
f 2 x
2
n 1 2
n 1s 2 2
n 1 n 1s 2 n 1 2 2 1 exp ; 2 2 2 Jadi nilai distribusi posterior marginal untuk 2 yang terbentuk f 2 x adalah distribusi
Invers Gamma dengan nilai
1
n 1
2 n 1 n 1s 2 f 2 x ~ IG , 2 2
dan
n 1s 2 2
Interval Kepercayaan untuk 2 Menurut[7], jika X ~ Invers Gammak , maka 1
~ Gamma k , 1 . Berdasar X M.D Anderson Cancer Center, maka distribusi posterior dapat ditulis dalam bentuk distribusi gamma sebagai n 1 1 2 ~ Gamma , 2 2 n 1s 2
2
n
1
x
x berdistribusi Chi-Square dengan derajat bebas n 1 , kemudian akan 2
i 1 disusun interval kepercayaan untuk variansi 2 .Interval konfidensi 1 100% untuk 2 adalah: 2
n
x i 1
2 1
2
i
n
x
2
i
n 1
2
x i 1
x
2
i
2 n 1 2
98
Inferensi Statistik…(Alan Prahutama)
Distribusi Marginal untuk Jika f , 2 x merupakan distribusi posterior yang sudah terbentuk maka distribusi
marginal untuk adalah
f x f , x d 2
2
2 0
1
s 1 2 2 n 11 n x n 1 2 n 1 s n 1 1 , n 1 2 2 x maka f x ~ t n 1 Jika nilai t s n
Interval Kepercayaan untuk Interval konfidensi 1 100% untuk adalah Pterima H 0 0 1 P t n 1 t t n 1 1 2 2 t n 1 t t n 1 2
2
x t n 1 t n 1 s
2
n
s n
t n 1 x 2
s
x x x
2
n s n s n
s n
t n 1
t n 1 x
2
s n
2
t n 1 x 2
t n 1 x 2
s n s n
t n 1 2
t n 1 2
t n 1 2
Estimator Distribusi Normal Menggunakan Metode Maximum Likelihood Estimator (MLE) Misal X 1 , X 2 ,..., X n merupakan sampel random dari distribusi normal dengan mean
dan variansi 2 . Dengan menggunakan metode maksimum likelihood dapat dicari estimator titik untuk dan 2 . X i ~ N , 2 , maka fungsi densitasnya adalah:
f xi ; ,
2
1 xi 2 exp 2 2 1
99
Media Statistika, Vol. 5 No. 2, Desember 2012: 95-104
Fungsi Likelihood:
n
L , 2 f xi ; , 2
i 1
1 x 2 exp i 2 1 / 2 1 x1 2 .... 2 2 exp 2 2
n
2 2 i 1
2 2
2 2
1 / 2
n / 2
1 exp 2 2
n
x i 1
i
1 / 2
1 xn 2 exp 2 2
2
Log Likelihood: l log L , 2 n n 1 n x i 2 log 2 log 2 2 2 2 2 i 1 n 1 l 0 ˆ xi x n i 1 ˆ 1 n l 2 ˆ x i x 2 0 2 ˆ n i 1
Uji Hipotesis Distribusi Normal untuk Parameter Mean dan Varian 2 Tidak Diketahui dengan Generilized Likelihood Ratio Test (GLRT) Misal X 1 , X 2 ,..., X n merupakan sampel random dari distribusi normal dengan mean
dan variansi 2 keduanya tidak diketahui. Sehingga bisa ditentukan uji hipotesisnya dengan uji rasio likelihood (GLRT). Misal ditentukan uji hipotesis untuk adalah H 0 : 0 H1 : 0 Penyelesainnya: X i ~ N , 2 , maka fungsi densitasnya adalah: 1 x 2 exp i 2 2 Densitas bersama dari X 1 , X 2 ,..., X n adalah:
f xi ; , 2
1
2 exp
f x1 , x2 ,..., xn ; , 2 f x1 , ; , 2 .... f xn ; , 2 2 1 / 2
1
2
2 2
n / 2
2
1 exp 2 2
x1 2 ....2 2 1 / 2 exp
n
x i 1
i
1
2
2
xn 2
2
100
Inferensi Statistik…(Alan Prahutama)
Telah diperoleh dari estimator maksimum likelihood bahwa: 1 n ˆ x dan ˆ 2 xi 2 n i 1 Untuk 0 maka:
0 dan 2 0
max
0
f x1 , x 2 ,..., x n ; , 2
1 n 2 xi 0 n i 1 n xi x 2 n 2 n / 2 1 2 i 1 2 n xi x exp 1 n 2 i 1 2 n xi x i 1 n
2
max
x1 , x 2 ,..., x n
0 max
2
2
1 n 2 n xi x i 1
f x1 , x 2 ,..., x n ; , 2 f x1 , x 2 ,..., x n ; , 2
n / 2
n / 2
1 n 2 n xi 0 i 1
n / 2
1 n 2 n xi x i 1
n 2 xi 0 i n1 x x 2 i i 1
n
n
n
2
n exp 2
n exp 2
2
2
n
n exp 2
2
n 2 2 x i x n x 0 i 1 n 2 xi x i 1 2 n x 0 1 n 2 xi x i 1
n
n
2
2
2 n x 0 1 n 1 2 n 1 n 1 xi x i 1
n
2
101
Media Statistika, Vol. 5 No. 2, Desember 2012: 95-104
1 2 1 t n 1 Dengan t
x 0
dan s
s/ n
n
2
n 1 xi x 2 n 1 i 1
Untuk max
0
x1 , x 2 ,..., x n
max
f x1 , x 2 ,..., x n ; , 2 f x1 , x 2 ,..., x n ; , 2 n
1 2 2 1 t n 1 Tolak H 0 jika x1 , x2 ,..., xn k n
2 1 2 1 t k n 1 1 2 1 t 2 k1 dengan k1 k n n 1 2 t c dengan c k1 1n 1 Sehingga GLRT:
x1 , x2 ,..., xn {
1, T 2 c 0, yang lainnya
Dengan c ditentukan dari: P T2 c PF1, n1 c
Karena T
x 0 s
n
~ t n 1 maka GLRT dapat dinyatakan dengan:
Tolak H 0 jika
x 0 s
n
t n 1 atau
x 0 s
n
t n 1
Misal ditentukan uji hipotesis untuk 2 adalah H 0 : 2 02 dengan 02 0
H 1 : 2 02
Untuk 0 maka:
x dan 2 02 0
max
0
0
f x1 , x 2 ,..., x n ; , 2 2
Untuk maka: x dan 2 S 2
n / 2
n 2 xi x n 2 exp i 1 2 02
2 0
102
Inferensi Statistik…(Alan Prahutama)
max
f x1 , x 2 ,..., x n ; , 2 2
dimana S 2
n / 2
n 2 xi x n S 2 2 exp i 1 2S 2
1 x i x 2 n max
x1 , x 2 ,..., x n
0
f x1 , x 2 ,..., x n ; ,
2
max f x1 , x 2 ,..., x n ; , 2 S2 2 0
nS 2 exp 2 2 0 n nS 2 2 2 S exp 2 2S
2 n / 2 02
n
2
2 n / 2
n
2
1 nS 2 exp 2 n 2 0
Tolak H 0 jika x k ~
S2 2 0
n
2
1 nS 2 nS 2 c dengan c 2k 2 n exp 2 n k atau 2 2 0 0
Sehingga GLRT:
x1 , x2 ,..., xn {
1,
nS 2
02
c
0, yang lainnya
Dengan c ditentukan dari: nS 2 P 2 c 0 2 ns Karena 2 ~ 2n 1 maka GLRT dapat dinyatakan dengan:
0
Tolak H 0 jika
ns 2
n 1 atau 2
ns 2
2 n 1
1 2 2 Sehingga terdapat hubungan yang kuat antara uji hipotesis dan interval konfidensi. Secara umum dapat dikatakan bahwa interval konvidensi berkorespondensi dengan uji hipotesis dan sebaliknya. Sehingga akan menghasilkan interval kepercayaan untuk , yaitu s s x t n 1 x t n 1 n 2 n 2 Interval kepercayaan untuk 2 :
n
x i 1
2 0
n
x
2
i
n 1 1 2
2
2
x i 1
2 0
x
2
i
2 n 1 2
4. Kesimpulan 103
Media Statistika, Vol. 5 No. 2, Desember 2012: 95-104
Penentuan inferensi statistik dari distribusi normal dengan parameter mean ( ) dan varian ( ) dengan keduanya tidak diketahui menggunakan metode bayes yang dibandingkan terhadap metode maksimum likelihood dalam kasus ini ternyata memberikan uji hipotesis yang sama.
DAFTAR PUSTAKA 1. Albert, J., Bayesian Computation with R Second Edition, Springer Scince, USA, 2009. 2. Bolstad, W.M., Introduction to Bayesian Statistics Second Edition, A John Wiley & Sons Inc, America, 2007. 3. Box, G.E.P and Tiao, G.C., Bayesian Inference In Statistical Analysis, AddisionWesley Publishing Company, Inc, Philippines, 1973. 4. Pollard, W.E., Bayesian Statistics for Evaluation Research, Sage Publication, Inc: California, 1986. 5. Walpole, R. E dan Myers, R. H., Ilmu Peluang dan Statistika untuk Insinyur dan Ilmuwan, Terbitan Kedua, ITB, Bandung, 1986. 6. Walpole, R. E., Pengantar Statistika Edisi ke-3, PT Gramedia Pustaka Utama, Jakarta, 1993. 7. _______, M.D. Anderson Cancer Center, Parameter Solver, Version 2.3 User’s Guide, University of Texas. Department of Biostatistics and Applied Mathematics. URL: http://biostatistics.mdanderson.org/SoftwareDownload/, (diakses pada tanggal 10 Maret 2010).
104
