RESAMPLING BOOTSTRAP PADA R

RESAMPLING BOOTSTRAP PADA R Joko Sungkono*

Abstrak:Pada tulisan ini, algoritma resampling bootstrap akan disajikan secara detail dalam bahasa pemrograman software R untuk beberapa contoh kasus. Resampling bootstrap pada R diberikan dalam suatu fungsi yang disusun mengikuti algoritma resampling bootstrap pada kasus yang diambil. Untuk melihat keakuratan metode bootstrap pada masing-masing kasus diberikan suatu simulasi monte carlo dengan membangkitkan data dari variabel random berdistribusi normal. Kata kunci: bootstrap, resampling, software R, simulasi.

PENDAHULUAN Bootstrap adalah suatu metode yang dapat bekerja tanpa membutuhkan asumsi distribusi karena sampel asli digunakan sebagai populasi. Dalam Sahinler dan Topuz [4], Efron menyatakan bahwa bootstrap adalah teknik resampling nonparametrik yang bertujuan untuk menentukan estimasi standar eror dan interval konfidensi dari parameter populasi seperti mean, rasio, median, proporsi, koefisien korelasi atau koefisien regresi tanpa menggunakan asumsi distribusi. Bootstrap dapat digunakan untuk

dengan prosedur resampling dengan pengembalian dari data asli. Metode bootstrap dilakukan dengan mengambil sampel dari sampel asli dengan ukuran sama dengan ukuran sampel asli dan dilakukan dengan pengembalian. Kedudukan sampel asli dalam metode bootstrap dipandang sebagai populasi. Metode peyampelan ini biasa disebut dengan resampling bootstrap. Bootstrap juga sering digunakan untuk mengestimasi standar eror estimator dan interval konfidensi dari suatu parameter populasi yang tidak diketahui. Pada dasarnya teknik estimasi dengan

mengatasi permasalahan dalam statistika baik masalah

metode resampling bootstrap menggunakan semua

data yang sedikit, data yang menyimpang dari

kemungkinan sampel yaitu nn. Akan tetapi hal ini

asumsinya maupun data yang tidak memiliki asumsi dalam distribusinya. Bootstrap adalah suatu metode yang berbasis komputer yang sangat potensial untuk dipergunakan pada masalah keakurasian, [3]. Bootstrap diperkenalkan pertama kali oleh Efron tahun 1979. Bootstrap adalah metode yang didasarkan pada simulasi data untuk keperluan inferensi statistik, [3]. Metode bootstrap digunakan untuk mencari distribusi sampling dari suatu estimator

sangat sulit untuk dilakukan untuk n>7. Untuk keperluan perhitungan biasanya digunakan pendekatan simulasi, sehingga disebut simulasi bootstrap. Misalkan dimiliki sampel random berukuran n yaitu

yang diambil

dari suatu populasi dan statistik untuk parameter

adalah estimasi

berdasar sampel asli. Berdasarkan

uraian metode resampling bootstrap menurut Efron dan Tibshirani [3], prosedur resampling bootstrap dapat dituliskan sebagai :

* Program Studi Pendidikan Matematika, FKIP UNWIDHA Klaten

Magistra No. 84 Th. XXV Juni 2013 ISSN 0215-9511

47

Resampling Bootstrap Pada R

1.

2.

dari suatu

Tulisan ini memberikan paket resampling bootstrap

sampel dengan memberikan probabilitas 1/n pada

secara detail dalam bahasa R yang disusun

setiap

berdasarkan algoritma resampling bootstrap pada

Mengkonstruksi distribusi empiris dimana i = 1, 2,..., n

Mengambil sampel bootstrap berukuran n secara

kasus estimasi rata-rata dan estimasi parameter regresi

random dengan pengembalian dari distribusi 1.

linear.

empiris

, sebut sebagai sampel bootstrap

pertama 3.

ESTIMASI BOOTSTRAP UNTUK RATA-RATA

Menghitung 1.statistik sampel bootstrap

4.

yang diinginkan dari Pada bagian ini akan dibahas resampling

, sebut sebagai

Mengulangi langkah 2 dan 3 hingga B kali, 1. diperoleh

5.

dengan memberikan probabilitas 1/B pada . Distribusi tersebut

merupakan estimator bootstrap untuk distribusi sampling 6.

dimiliki sampel berukuran n yaitu yang diambil dari suatu populasi dan adalah estimasi

Mengkontruksi suatu distribusi probabilitas dari setiap

bootstrap untuk estimasi rata-rata populasi. Misalkan

dan dinotasikan dengan

.

Pendekatan estimasi bootstrap untuk adalah mean dari 1. distribusi

untuk parameter

berdasar sampel asli. Berdasarkan

uraian metode resampling bootstrap menurut Efron dan Tibshirani [3], prosedur resampling bootstrap untuk estimasi rata-rata dapat dituliskan sebagai berikut 1.

yaitu

Mengkonstruksi distribusi empiris

dari suatu

sampel dengan memberikan probabilitas 1/n pada setiap 2.

dimana i = 1, 2,..., n

Mengambil sampel bootstrap berukuran n secara random dengan pengembalian dari distribusi

Pendekatan bootstrap jika diulang lebih dari

empiris

satu kali akan memberikan hasil yang berbeda, hal ini karena yang dilakukan adalah suatu simulasi. Jika dapat dilakukan menggunakan semua kemungkinan

pertama 3.

4.

harus dilakukan dengan bantuan komputer karena

yang diinginkan dari , sebut sebagai

Mengulangi langkah 2 dan 3 hingga B kali, diperoleh

asimtotis distribusi bootstrap mendekati distribusi sebenarnya. Pada penggunaannya, metode bootstrap

Menghitung statistik sampel bootstrap

sampel yaitu nn maka hasilnya akan sama. Secara teori, menurut Shao dan Tu [5], sifat

, sebut sebagai sampel bootstrap

5.

Mengkontruksi suatu distribusi probabilitas dari dengan memberikan probabilitas 1/B pada . Distribusi tersebut

melibatkan perhitungan yang sangat banyak. Software

setiap

– software statistik belum ada yang memberikan paket

merupakan estimator bootstrap untuk distribusi

resampling bootstrap secara langsung, sehingga

sampling

dan dinotasikan dengan

.

metode ini masih jarang digunakan oleh peneliti.

48



6.

Pendekatan estimasi bootstrap untuk mean dari distribusi

adalah

bootstrap persentil (1- )x 100% untuk

diberikan

oleh

yaitu

dengan

adalah persentil ke 100x(

)

Menurut Bickel dan Freedman [2], sifat asimtotis distribusi bootstrap untuk kuantitas pivot mendekati distribusi normal dengan rata-rata nol dan variansi

dan

merupakan persentil ke ) dari distribusi

100x(

.

Estimasi interval konfidensi bootstrap untuk rata-rata diberikan dalam interval pendekatan normal dan interval persentil. Interval konfidensi bootstrap dengan pendekatan normal sebenarnya analog dengan interval konfidensi standar. Menurut Bennett [1], pemanfaatan metode bootstrap dalam mengkonstruksi interval ini adalah untuk menentukan standar eror dari estimator. Berdasarkan sampel bootstrap dengan . Variansi

replikasi B kali diperoleh estimator bootstrap diberikan oleh

Algoritma resampling bootstrap pada kasus estimasi rata-rata dibuat dalam bahasa pemrograman R dengan nama fungsi “boot” dan diberikan sebagai berikut. > fix(boot) Kemudian pada fungsinya diisikan sebagai berikut. function(x,B,a) { n<-length(x) y <- matrix(0, nrow = B, ncol = n) xbar <- seq(1:B)

Standar eror bootstrap

diperoleh dari

for(i in 1:B) {

akar variansi. Interval konfidensi bootstrap pendekatan normal (1- )x 100% untuk

y[i, ] <- sample(x, n, replace = T)

diberikan

xbar[i] <- mean(y[i, ])

oleh } xbartot <- mean(xbar) Interval konfidensi bootstrap persentil didasarkan pada distribusi estimator bootstrap.

bb<-mean(x)+qnorm(a/2)*sqrt(var(x)/n)

Dibentuk distribusi empiris untuk

ba<-mean(x)+qnorm(1-a/2)*sqrt(var(x)/n)

misalkan

int<-cbind(bb,ba)

. Dari distribusi ini dapat dihitung nilai

persentil yang merupakan ide dasar konstruksi interval konfidensi bootstrap persentil. Interval konfidensi


bb1<-quantile(xbar,a/2) ba1<-quantile(xbar,1-(a/2))

49


int1<-cbind(bb1,ba1)

Berdasarkan output R yang diperoleh terlihat

list(est.bootstrap=xbartot,int.normal=int,int.pct=int1)

bahwa rata-rata populasi 33,02407 yang sangat dekat dengan rata-rata populasi yaitu 33,03872. Sedangkan

}

estimasi interval konfidensi baik interval bootstrap Untuk menjalankan program resampling

pendekatan normal maupun interval bootstrap

bootstrap di R ini diberikan simulasi dengan

persentil memberikan hasil yang hampir sama dan

membangkitkan data. Misalkan populasi terdiri dari

keduanya memuat parameter populasi dengan range

20.000 data dari distribusi normal

yang cukup sempit.

> x<-rnorm(20000,33,4) > mean(x)

ESTIMASI

[1] 33.03872

PARAMETER REGRESI LINEAR

BOOTSTRAP

UNTUK

Dari populasi kita dapat mengetahui rata-rata

Pada bagian ini akan dibahas resampling

populasi yang yang akan kita estimasi adalah

bootstrap untuk estimasi parameter regresi linear.

33,03872. Diambil sampel secara random berukuran

Tanpa mengurangi keumuman pembahasan diambil

500 dari populasi. Sampel ini selanjutnya disebut

regresi linear dengan satu variabel dependen dan dua

sampel asli.

variabel independen. Model regresi linear populasinya

> y<-sample(x,500,replace=F) Selanjutnya untuk mengestimasi rata-rata populasi menggunakan resampling bootstrap berdasarkan sampel asli dengan replikasi B=1000 dan tingkat kepercayaan interval 95% diberikan oleh

. Metode bootstrap yang diberikan pada regresi ini adalah resampling residual. Misalkan dimiliki sampel berpasangan antara variabel dependen dan independen yang dituliskan dalam bentuk matrik Y dan X dengan ukuran sampel n. Selanjutnya sampel ini disebut sampel asli. Menurut

> boot(y,1000,0.05)

Sahinler dan Topuz [4], prosedur bootstrap resampling

$est.bootstrap

residual untuk estimasi parameter regresi dapat dituliskan sebagai berikut :

[1] 33.02407

1. $int.normal bb [1,] 32.66326

Menentukan fit model berdasarkan sampel asli dengan menggunakan metode kuadrat terkecil,

ba

diperoleh

33.37283

2.

Menghitung nilai residual

, diperoleh

3.

Mengambil sampel bootstrap berukuran n dari secara random dengan

$int.pct bb1 2.5% 32.66392

50

ba1 33.3865

pengembalian, diperoleh sampel bootstrap pertama



4.

Menghitung nilai bootstrap untuk menambahkan

5.

pada fit model, sehingga

diperoleh dari

akar variansi. Interval konfidensi bootstrap pendekatan normal (1- )x 100% untuk

Menghitung koefisien regresi untuk sampel

oleh

Mengulangi proses diatas sebanyak B kali,

Interval konfidensi bootstrap persentil didasarkan pada distribusi estimator bootstrap. Untuk setiap k, dibentuk distribusi empiris untuk

Pendekatan estimasi bootstrap untuk parameter regresi

diberikan

dengan , diperoleh

diperoleh 7.

Standar eror bootstrap

diperoleh

bootstrap yang pertama

6.

dengan

adalah

mean

dari

distribusi

yaitu

misalkan

. Dari distribusi ini

dapat dihitung nilai persentil yang merupakan ide dasar konstruksi interval konfidensi bootstrap persentil. Interval konfidensi bootstrap persentil (1)x 100% untuk

diberikan oleh

Pada kasus ini karena terdapat dua variabel independen

maka

,

matrik dan

.

Estimasi interval konfidensi bootstrap untuk

dengan dan

bootstrap dengan pendekatan normal sebenarnya analog dengan interval konfidensi standar. Menurut

)

merupakan persentil ke ) dari distribusi

100x(

parameter regresi diberikan dalam interval pendekatan normal dan interval persentil. Interval konfidensi

adalah persentil ke 100x(

Algoritma resampling bootstrap pada kasus estimasi parameter regresi dibuat dalam bahasa pemrograman R dengan nama fungsi “reg” dan diberikan sebagai berikut.

Bennett [1], pemanfaatan metode bootstrap dalam mengkonstruksi interval ini adalah untuk menentukan standar eror dari estimator. Berdasarkan sampel bootstrap dengan replikasi B kali diperoleh . Variansi estimator bootstrap untuk k=0,1,2 diberikan oleh

> fix(reg) Kemudian pada fungsinya diisikan sebagai berikut. function(y, x1, x2,B,a) { n<-length(y) b0 <- matrix(coef(lm(y ~ x1 + x2)), nrow = 1, ncol = 3) yfit <- b0[, 1] + b0[, 2] * x1 + b0[, 3] * x2


51


e <- seq(1:n)

int2 <- matrix(c(lop0, upp0, lop1, upp1, lop2,

for(i in 1:n) {

upp2), nrow = 3, byrow= T)

e[i] <- y[i] - yfit[i]

list(est.boot=bboot,int.normal=int1,int.pct=int2) }

} estar <- matrix(0, nrow = B, ncol = n)

Untuk menjalankan program resampling bootstrap di

ystar <- matrix(0, nrow = B, ncol = n)

R ini diberikan simulasi dengan membangkitkan data.

b <- matrix(0, nrow = B, ncol = 3)

Misalkan populasi terdiri dari 30 data dari untuk y, x1 dan x2 masing-masing sebagai berikut.

for(i in 1:B) { estar[i, ] <- sample(e, n, replace = T)

> x1<-rnorm(30,4,1.5) > x2<-rnorm(30,5,1.5)

ystar[i, ] <- b0[, 1] + b0[, 2] * x1 + b0[, 3] * x2 + estar[i, ] b[i, ] <- coef(lm(ystar[i, ] ~ x1 + x2)) } bboot <- apply(b, 2, mean) lo0<- b0[, 1] + qnorm(a/2) * sqrt(var(b[,1]))

> e<-rnorm(30) > y<-3+7*x1+x2+e Berdasarkan data ini kita sudah mengetahui nilai parameter populasinya

,

,

berturut-

tur ut 3, 7 dan 1. Selanjutnya untuk melihat keakuratan metode bootstrap akan dilakukan

lo1<- b0[, 2] + qnorm(a/2) * sqrt(var(b[,2]))

estimasi berdasarkan data sampel. Estimasi

lo2 <- b0[, 3] + qnorm(a/2) * sqrt(var(b[,3]))

par ameter regresi menggunakan resampling

up0 <- b0[, 1] + qnorm(1-a/2) * sqrt(var(b[,1]))

bootstrap dengan replikasi B=1000 dan tingkat kepercayaan interval 95% diberikan oleh

up1 <- b0[, 2] + qnorm(1-a/2) * sqrt(var(b[,2])) > reg(y,x1,x2,1000,0.05) up2 <- b0[, 3] + qnorm(1-a/2) * sqrt(var(b[,3])) int1 <- matrix(c(lo0, up0, lo1, up1, lo2, up2),

$est.boot

nrow = 3, byrow = T)

[1] 2.813375 6.895319 1.075275

lop0 <- quantile(b[,1], a/2) lop1 <- quantile(b[,2], a/2) lop2 <- quantile(b[,3], a/2)

52

$int.normal [,1]

[,2]

upp0 <- quantile(b[,1], 1-a/2)

[1,] 1.2532716

4.343726


[2,] 6.6799812

7.120587


[3,] 0.7967511

1.343550



$int.pct [,1]

[,2]

[1,] 1.2339186

4.118422

[2,] 6.6603225

7.091760

[3,] 0.8117778

1.354883

Berdasarkan output R yang diperoleh terlihat dapat diringkas dalam Tabel 1. Tabel 1. Ringkasan Hasil

Parameter

Estimasi

Int. Pendekatan Normal

Int. Persentil

BB

BA

BB

BA

0

2,813375

1.2532716

4.343726

1.2339186

4.118422

1

6,895319

6.6799812

7.120587

6.6603225

7.091760

1,075275

0.7967511

1.343550

0.8117778

1.354883

2

Berdasarkan Tabel 1, estimasi bootstrap untuk parameter regresi

,

,

masing-masing 2,813, 6,895

dan 1,07 cukup dekat dengan parameter populasinya yaitu 3, 7 dan 1. Sedangkan estimasi interval konfidensi baik interval bootstrap pendekatan normal maupun interval bootstrap persentil memberikan hasil yang hampir sama dan keduanya memuat parameter populasi dengan range yang cukup sempit.

KESIMPULAN Berdasarkan uraian di atas terdapat beberapa hal penting yang dapat disimpulkan. Metode resampling bootstrap dapat dilakukan dengan bantuan software R. Program resampling bootstrap menggunakan R disusun berdasarkan algoritma bootstrap pada masing-masing kasus. Berdasarkan studi simulasi, metode bootstrap dapat digunakan sebagai metode alternatif yang memberikan hasil estimasi yang sangat dekat dengan parameter populasi. Estimasi interval juga memberikan interval konfidensi yang memuat parameter populasi dan dengan range interval yang cukup sempit. Hal ini menunjukkan bahwa metode bootstrap memiliki keakuratan yang tinggi.


53


DAFTAR PUSTAKA Bennett, P. J., 2009, Introduction to the Bootstrap and Robust Statistics. Winter Term, PSY711/712. Bickel, P. J. and Freedman, D. A., 1981, Some Asymtotic Theory for the Bootstrap, Ann. Statist., no. 6, 9, 1196–1217. Efron, B. and Tibshirani, R. J., 1993, An Introduction

Sahinler, S. and Topuz, D., 2007, Bootstrap and Jackknife Resampling Algorithms for Estimation of Regression Parameters, JAQM, no. 2, 2, 188199. Shao, J. and Tu, D., 1995, The jacknife and bootstrap, Springer Verlag Inc., New York.

to the Bootstrap, Chapman and Hall, New York.

54


RESAMPLING BOOTSTRAP PADA R

Recommend Documents