Bab II LANDASAN TEORI
2.1 Regresi 2.1.1
Pengertian Komponen-Komponen Persamaan Regresi Persamaan regresi adalah persamaan matematik yang memungkinkan untuk
meramalkan nilai-nilai suatu peubah tak bebas dari nilai-nilai satu atau lebih peubah bebas (Walpole, 1995, p.340). Menurut Supranto (2001, p.178), kuat atau tidaknya hubungan variabel independen (X) dan variabel dependen (Y) diukur dengan suatu nilai yang disebut dengan koefisien korelasi, sedangkan besarnya pengaruh X terhadap Y, diukur dengan koefisien regresi. Persamaan regresi juga menggambarkan relasi dari varabel-variabel yang ada didalamnya. Di dalam pemakaiannya, variabel dependen (Y) ternyata juga dipengaruhi oleh faktor lain selain variabel independen (X) yang tidak dimasukkan kedalam persamaan tersebut. Oleh karena persamaan dari regresi perlu untuk mengambarkan bentuk dari data dengan tepat, maka dimasukkanlah error
ε ke dalam persamaan regresi tersebut.
Menurut Supranto (1995, p.179), karena error itu tidak dapat dihilangkan sama sekali, maka resiko itu akan selalu ada. Resiko hanya bisa diperkecil dengan memperkecil kesalahan (minimized error).
2.1.2
Regresi Linear Dan Non Linear Secara umum, regresi adalah suatu metode untuk meramalkan nilai harapan yang
bersyarat. Regresi dikatakan linear apabila hubungan antara variabel independen dan
7 variabel dependennya adalah linear. Hubungan antara variabel independen dan variabel dependen dapat dikatakan linear apabila diagram pencar data dari peubah-peubah tersebut mendekati pola garis lurus. Fungsi linear selain mudah interpretasinya, juga dapat digunakan sebagai hampiran (approximation) atas hubungan yang bukan non-linear. Bentuk dari regresi linear adalah:
Y = βo + β1 X1 + β2 X 2 + ....+ ε
(2.1)
Apabila hubungan antara variabel independent dan variabel dependen tidak linear, maka regresi dikatakan regresi non-linear. Bentuk dari hubungan regresi non-linear adalah:
Yi = f ( Xi , γ ) + ε
(2.2)
dengan γ adalah fungsi respon non-linear dari parameternya. Error pada regresi non-linear diasumsikan untuk mempunyai nilai harapan sebesar nol, ragam yang konstan dan tidak dikorelasikan, sama seperti asumsi error pada model regresi linear (Neter, J., Kutner, M.H., Nachtsheim, C.J.,Wasserman,W., 1996)
2.2 Distribusi Binomial Distribusi binomial menurut Walpole (1995, p.152) adalah suatu percobaan yang terdiri atas ulangan-ulangan, dan masing-masing mempunyai dua kemungkinan hasil yaitu sukses atau gagal. Probabilitas pada distribusi binomial yang sukses ditandai dengan simbol p dan yang gagal ditandai dengan simbol q dimana q=1-p. Probabilitas pada distribusi binomial dihitung sebagai berikut:
pr (x) =
n! p x qn−x x!(n − x)!
(2.3)
8 Nilai tengah dari sebaran binomial adalah :
μ = E( X ) = np
(2.4)
Ragam dari sebaran binomial adalah :
σ 2 = E{X − E( X )}2 = E( X − np)2 = npq
(2.5)
Standar deviasi dari sebaran binomial adalah :
σ = npq
(2.6)
2.3 R-Language R-language adalah software komputasi statistik dan grafis. R-language adalah salah satu bentuk object-oriented programming yang mempunyai sintaks seperti bahasa C. Rlanguage memperbolehkan computing on the language sehingga memungkinkan untuk menulis suatu ekspresi tertentu dan digunakan sebagai input, yang berguna untuk permodelan statistis dan grafis. Pada penggunaanya ekspresi dari R-language adalah case sensitive sehingga huruf besar dan huruf kecil dianggap berbeda pada R-language. Lingkungan pada R-language dinamakan “GNU S” yang menyediakan keragaman yang luas untuk menghitung dan memodelkan segala yang berhubungan dengan statistik dan grafik.
2.4 Regresi Logistik Regresi logistik adalah salah satu bentuk regresi non-linear yang mempunyai variabel dependen yang diskrit dan mempunyai sebaran binomial, sedangkan variabel independennya dapat terdiri dari variabel yang continu, diskrit, dikotomus, ataupun gabungannya. Estimasi parameter dari regresi logistik itu menggunakan metode maximum likelihood yang akan dijelaskan kemudian.
9 Probabilitas dari tiap nilai variabel dependennya memiliki nilai sendiri-sendiri tiap barisnya. Hal tersebut dapat dilihat seperti pada persamaan (2.7) dengan μ i mempunyai nilai p untuk P(Y=1), dan nilai q=1- μ i untuk P(Y=0). Berikut ini adalah bentuk matrix yang akan dipakai dalam regresi logistik :
Y=
y1 y2 . . .
B=
.
bo b1 . . .
ε=
e1 e2 . . .
.
. .
yi
p1 p2
Pi =
. . . .
.
.
.
.
.
.
bn
X=
ei
pi
1 x11 x21 ... xn1 1 x12 x22 ... xn2 . . . . . . . . .
.
.
.
. . . . . . . . . . . . 1 x1n x2n ... xni
Gambar 2.1: Bentuk pokok dari matrix pada regresi logistik dengan μ i = Pi .
2.4.1
Fungsi Respon Regresi Logistik E{Y}
1
0
X Gambar 2.2: Bentuk fungsi respon regresi logistik.
10 Distribusi logistik merupakan salah satu bentuk distribusi probabilitas non-linear yang kontinu. Kegunaan terpenting dari distribusi ini adalah menghasilkan informasi tentang hubungan antara variabel dependen (Y) dan variabel independennya (X). Bentuk dasar dari fungsi respon regresi logistik (logistic response function) menurut Neter, J., Kutner, M.H., Nachtsheim, C.J.,Wasserman,W.. (1996, p.570) adalah :
E {Y } = μ i =
exp( β 0 + β 1 x 1 + ....) 1 + exp( β 0 + β 1 x 1 + ....)
(2.7)
Pada persamaan (2.7), μ i adalah fitted value yang merupakan nilai ekpektasi Y dari persamaan regresi logistik. Menurut
Mahadevan,
S..
(http://www-edlab.cs.umass.edu/cs689/2005-
lectures/week8.pdf, p.9), bentuk probability density function (PDF) dari logistik regresi
adalah:
(2.8)
2.4.2
Odds Ratio Pada persamaan regresi logistik terdapat yang dinamakan dengan odds ratio. Odds
ratio adalah perbandingan dari probabilitas satu kejadian yang terjadi P(Y=1) dibandingkan dengan probabilitas tidak terjadi P(Y=0). Odds ratio disimbolkan sebagai ψ mempunyai bentuk berikut :
ψ =
μ (1) /[1 − μ (1)] μ (0) /[1 − μ (0)]
⎛ e β o + β 1 ⎞⎛ 1 ⎞ ⎜ ⎟ ⎟ β 0 + β 1 ⎟⎜ ⎜ 1+ e ⎝ 1 + e β0 ⎠ ⎛ μ (1) /[1 − μ (1)] ⎞ ⎝ ⎠ ⎟⎟ = ln(ψ ) = ln ⎜⎜ β ⎞⎛ 1 ⎝ μ ( 0 ) /[1 − μ ( 0 )] ⎠ ⎛⎜ e o ⎞ ⎟⎜ ⎜ 1 + e β o + β1 ⎟⎝ 1 + e β o + β1 ⎟⎠ ⎝ ⎠
(2.9)
(2.10)
11
ψ =
2.4.3
odds 2 = exp( b1 ) odds1
(2.11)
Estimasi Parameter Dari Regresi Logistik Menurut Supranto (2001, p.22), parameter adalah sembarang nilai yang
menjelaskan ciri populasi tersebut. Parameter yang diestimasi harus mempunyai nilai yang mencerminkan data yang diestimasi parameternya, sehingga nilai hasil dari estimasi parameter diharapkan mempunyai nilai error yang kecil. Hubungan setiap parameter mempengaruhi nilai dari variabel dependen Y, Seperti gambar di bawah ini:
Gambar 2.3: Hubungan parameter dan variabel dependen Y. Menurut Neter, J., Kutner, M.H., Nachtsheim, C.J.,Wasserman,W.. (1996, p.574), untuk mengestimasi parameter pada regresi logistik menggunakan metode maximum likelihood. Metode maximum likelihood adalah salah satu metode untuk mengestimasi parameter pada suatu persamaan dengan cara memaksimumkan nilai L ( β ) pada persamaan (2.14) atau yang disebut dengan conditional log-likelihood function. Conditional log-likelihood function berasal dari probabilitas persamaan regresi logistik yang akan diestimasinya.
12 Untuk mencari conditional log-likelihood yang maksimum pada metode maximum likelihood dapat menggunakan metode yang dinamakan Newton-Raphson. Langkah selanjutnya setelah didapatkan nilai estimasi parameter yang optimal, nilai tersebut dapat dimasukkan ke dalam persamaan (2.7) untuk mendapatkan fitted value.
2.4.4
Metode Newton-Raphson Metode Newton-Raphson adalah metode untuk menemukan akar dari persamaan
dengan asumsi f(x)=0. Metode Newton-Raphson didapatkan dari turunan deret Taylor :
f ( x) = f ( x1 ) + ( x − x1 ) f ' ( x1 ) +
Menurut
Mahadevan,
S..
1 ( x − x1 ) 2 f ' ' ( x1 ) + ... 2!
(2.12)
(http://www-edlab.cs.umass.edu/cs689/2005-
lectures/week8.pdf, p.9), Algortima untuk menemukan nilai maksimum dengan metode Newton-Raphson adalah: x= x 2 = x1 -f’(x1)/f’’(x1)
(2.13)
Perhitungan pada persamaan diatas (2.13) dilakukan dengan iterasi sampai dengan nilai x 2 sama dengan x1 . Dari PDF pada persamaan (2.8) regresi logistik, maka conditional likelihood dari regresi logistik adalah:
l(β | X , Y ) =
n
∏ μ ( x i | β ) y (1 − μ ( x i | β )) 1− y i
i =1
i
(2.14)
13 Untuk memudahkan perhitungan persamaan (2.14), digunakan logaritma, sehingga persamaan menjadi: n
L(β ) = ln l(β | X , Y ) = ∏ yi ln μ(xi | β ) + (1 − yi ) ln(1 − μ(xi | β ))
(2.15)
i=1
Turunan pertama dari persamaan (2.15) adalah:
∂L(β | X , Y ) n = ∑ xi ( y − μ(xi | β )) ∂β i =1
(2.16)
Turunan kedua dari persamaan (2.15) adalah:
∂ 2 L(β | X , Y ) ∂ββ T
n
= −∑ xi (xi )T μ(xi | β )(1 − μ(xi | β ))
(2.17)
i =1
Untuk mendapatkan conditional log-likelihood yang maksimum pada metode maximum likelihood menurut Newton, E.. (http://ocw.mit.edu/NR/rdonlyres/SloanSchool-of-Management/15-075Applied-StatisticsSpring2003/8C07CE0F-70BB-4C8F9A7B-9AD0AF643D71/0/lec15_logistic_regression.pdf,
p.11)
dapat
menggunakan
algoritma yang dinamakan Newton-Raphson Iteratively Reweighted Least Square (IRLS). Cara perhitungan dari (IRLS) adalah sebagai berikut:
Dengan
μ it =
1 1 + exp( − X i' * β )
X
adalah bagian dari matrix X dimana i adalah simbol yang
' i
(2.18)
mewakilkan tiap-tiap baris dari matrix X tersebut dan μ i adalah fitted value dari regresi logistik. Iterasi berawal dengan pemberian nilai awal pada matrix B yang berbentuk seperti pada gambar (2.1) yang mempunyai nilai yang besarnya nol semua.
14 Bentuk persamaan dari metode Newton-Raphson untuk menentukan maximum likelihood yang berasal dari turunan pertama dan turunan kedua dari conditional loglikelihood untuk mendapatkan nilai estimasi parameter yang optimal adalah:
Bt +1 = Bt + ((x' vx)−1 x' ( y − μi ) Pada persamaan (2.19), jika nilai
(2.19)
Bt +1 tidak sama dengan Bt , maka
Bt = Bt +1 dan persamaan akan diulang kembali ke persamaan (2.18) sampai nilai Bt +1 sama dengan nilai Bt . Matrix V adalah matrix dengan besar baris dan kolomnya i*i (besarnya sesuai dengan banyak data) yang nilainya diagonalnya μ i * (1 − μ i ) atau berarti pi*(1-pi).
V(i*i) =
p1*(1-p1) 0 0 0 .………….. 0 0 p2*(1-p2) 0 0 ……………0 0 0 p3*(1-p3) 0 ……………0 0 0 0 p4*(1-p4) ….0 0 0 0 0 ……………pPi*(1-pi)
Gambar 2.4: Matrix V
2.4.5 Deviance Residual Dari Regresi Logistik Deviance residual dari regresi logistik digunakan untuk mengukur goodness-of-fit pada model regresi logistik tersebut. Goodness-of-fit adalah kebaikan fit suatu parameter yang telah diestimasi pada regresi logistik. Menurut Hosmer dan Lemeshow (1989, p.136), pengukuran goodness-of-fit itu memberikan keseluruhan indikasi fit dari model. Sebuah model dapat dikatakan fit dengan baik jika jumlah pengukuran jarak antara Y dan Yˆ kecil.
15 Pada regresi logistik penghitungan goodness-of-fit didapatkan dari deviance residualnya yang mempunyai persamaan: j
D = ∑ d (Yj , μj ) 2
(2.20)
j =1
dimana d adalah : d (Yj , μj ) = 2 | ln( μˆj ) |
(2.21)
Menurut Hosmer dan Lemeshow (1989, p.135) Hasil dari persamaan (2.20) itu digunakan untuk: 1. Mengevaluasi kecocokan secara keseluruhan . 2. Mengkaji masing-masing komponen baik itu variabel dependen maupun variabel independen dengan hasil. 3. Mengkaji jarak antara Y asli dengan Yˆ . Untuk menghitung varians dan standar error setiap parameter dari regresi logistik maka harus mengunakan estimasi matrix kovarians. Bentuk matrix kovariansi menurut Hosmer dan Lemeshow (1989, p.219) pada regresi logistik adalah:
∑ ( β ) =I −1 ( β ) = ( X 'VX ) −1
(2.22)
2.5 Metode Bootstrap Bootstrap adalah sebuah metode simulasi berdasarkan data untuk statistik inferensia yang dapat digunakan untuk mempelajari variasi dari data yang diobservasi (Inferensia statistik adalah semua metode yang digunakan dalam penarikan kesimpulan dan generalisasi suatu populasi tertentu). Ide utama dari metode ini bootstrap adalah menggunakan sekumpulan observasi sebagai gambaran empiris dari distribusi yang sesungguhnya.
16 Pada metode bootstrap probabilitas terpilihnya suatu sampel acak jika terdapat satu unit data yang observasi u1 , u 2 , u 3 ,....., u n menurut Efron dan Tibshirani (1998, p.18) adalah sama sama yaitu 1/n. Sampel
bootstrap
didapatkan
dari
data
observasi
yang
dipilih
dengan
pengembalian, sehingga dapat terjadi suatu data dapat muncul lebih dari satu kali. Metode bootstrap dibutuhkan pada keadaan dimana dibutuhkan data yang banyak sedangkan proses untuk mendapatkan data terbatas. Proses dari bootstrapping menurut Efron dan Tibshirani (1998, p.13) digambarkan sebagai berikut:
Gambar 2.5: Proses dari bootstrapping. Pada gambar (2.5) data observasi dilambangkan dengan: X = ( x1 , x 2 ,......x n )
n = 1,2,3,...., n
Sedangkan data hasil replikasi dari bootstrap dilambangkan dengan X * = ( x1 *, x 2 *,......x n *) n = 1,2,3,...., n Jumlah replikasi bootstrap dilambangkan dengan simbol B. Contoh proses bootstrap pada nilai tengah sesuai dengan gambar (2.5) adalah:
17 1. Ambil secara acak data sebanyak n dengan probabilitas terpilihnya satu unit data adalah sama. 2. Lakukan langkah pertama sampai dengan jumlah replikasi bootstrap yang diinginkan. 3. Hitung nilai tengah bootstrap pada masing-masing kelompok replikasi yang dihasilkan. Jumlah replikasi bootstrap pada regresi, menurut Faraway, J.J..(2002, p.154) jumlah replikasi bootstrap pada regresi
dilakukan 1000 kali. Cara melakukan
pengambilan sampel pada metode bootstrap ada berbagai macam seperti bootstrap residual, bootstrap mean, dst. Pada regresi logistik, metode bootstrap yang dipakai dinamakan bootstrap probabilitas bersyarat yang akan dijelaskan kemudian.
2.5.1 Bootstrap Probabilitas bersyarat Distribusi probabilitas bersyarat (conditional probability distribution) adalah nilai probabilitas dari suatu nilai variabel dependen (Y) yang nilainya berasal dari akibat variabel independennya (X) terhadap kemungkinan dihasilkannya suatu nilai oleh variabel Y tersebut. Nilai variabel yang bergantung pada kondisi dari variabel lain yang berhubungan dengannya pada regresi logistik adalah nilai dari variabel dependen (Y) yang bergantung dengan nilai dari variabel independen (X) tertentu. Nilai variabel tersebut dinamakan dengan conditional expected values yang biasa dinotasikan dengan simbol E(Y|X). Berdasarkan hal tersebut, maka cara
melakukan bootstrap pada probabilitas
bersyarat menurut Pardoe dan Weisberg (2001, p.2) dapat dilakukan dengan menghitung kemungkinan yang ada pada μ i
(fitted
value dari bootstrap) yang merupakan
18 kemungkinan atau probabilitas dari event sukses (p = P(Y*=1|X)
=μ
(x)) ). Nilai
probabilitas tersebut juga adalah conditional expected value dari tiap baris pada regresi logistik yang telah dibootstrap. Semakin besar nilai μ i maka semakin besar kemungkinan variabel Y* bernilai 1 (event sukses) dibandingkan dengan besar kemungkinan Y* bernilai 0 (event gagal). Sedangkan kebalikannya jika semakin kecil nilai μ i maka semakin kecil juga kemungkinan variabel Y* bernilai 1 atau berarti besar kemungkinan nilai Y* bernilai 0 adalah besar. Algoritma dari bootstrap probabilitas bersyarat adalah: 1. Dapatkan nilai μ i dari persamaan regresi logistik biasa yang datanya akan digunakan sebagai data observasi metode bootstrap. 2. Dapatkan nilai acak dari y1 *,......, y n * dari Y sesuai dengan distribusi variabel Y dan (p = P(Y*=1|X) = μ *(x)) ) dimana μ i * adalah fitted value bootsrap dari regresi logistik yang berdistribusi binomial tersebut. 3. Suaikan y1 *,......, y n * yang merupakan hasil dari bootsrap dengan variabel ∧
dependen (X) dari regresi logistik biasa dan bentuklah persamaan θ *(b) yang adalah persamaan regresi logistik dengan metode bootstrap. 4. Lakukan cara 1 sampai 3 sebanyak iterasi bootstrap yang diinginkan. 5. Lakukan perhitungan deviase residual bootstrapnya.
2.5.2 Deviance Residual Bootstrap Seperti yang diketahui deviance residual dari regresi logistik mengukur perbedaan antara Y dengan Yˆ , maka untuk menganalisis perbedaan antara regresi logistik dan
19 regresi logistik dengan metode bootstrap dapat dilakukan dengan menghitung perbedaan deviance residual antara kedua regresi tersebut. Rumus bootstrap untuk mengestimasi deviance residual pada regresi logistik adalah sebagai berikut : ∧
∧
D B = D * ( • )) – t(D) ∧
dimana D *( • ) =
B
∑
(2.23)
∧
D *(b)/B
(2.24)
b =1
∧
t(D) adalah deviance residual dari regresi logistik biasa dan D * ( • ))
adalah
deviance residual rata-rata dari metode bootstrap logistic regression. Persamaan (2.23) tersebut didasarkan pada deviance residual pada regresi logistik. Oleh karena itu hasil deviance residual dari regresi logistik tersebut akan dibandingkan dengan keseluruhan rata-rata deviance residual dari setiap regresi logistik hasil dari bootstrap untuk membandingkan perbedaan deviance residual antara metode bootstrap dengan regresi logistik dan regresi logistik biasa. Perbedaan yang besar pada deviase residual antara metode bootstrap dengan regresi logistik biasa tentunya tidak dikehendaki dan menandakan ketidakakuratan antara bootstrap dengan yang metode regresi logistik biasa.
2.6 Penelitian yang Relevan ¾ Saimin, H.. (2005). Analisis dan Peracangan program aplikasi untuk
mengestimasi tingkat loyalitas konsumen terhadap merk Sony Car Audio (studi kasus: Pt Tri Audiophile Center). Universitas bina nusantara. Jakarta. Penelitian tersebut bertujuan menerapkan model regresi logistik untuk melihat bentuk
20 hubungan loyalitas konsumen dengan frekuensi pembelian dan volume pembelian Sony Car Audio oleh pelanggan. ¾ Horton, N.J., dan Laird, N.M.. (2001). Maximum Likelihood Analysis of Logistic
Regression. Penelitian tersebut dilakukan dengan mengunakan Regresi Logistik dan metode bootstrap untuk kasus data kesehatan anak-anak. http://www.biostat.harvard.edu/~horton/biometrics.pdf. Akses: Desember 26, 2005
¾ Bull, S.B., Mak, C. dan Greenwood, C.M.T.. (2002). Modified Score Function
Estimator for Multinomial Logistic Regression in Small Samples. Di mana penelitian dilakukan dengan data dari penyakit hepatitis dengan regresi logistik multinom dan bootstrap. http://www.cytel.com/papers/csda-2002.pdf. Akses: Desember 11, 2005
¾ Pardoe, I. dan Weisberg, S..(2001). An Introduction to Bootstrap Methods using
Arc. Di mana penelitian dilakukan dengan membandingkan beberapa metode bootstrap pada regresi yang salah satunya adalah regresi logistik dan salah satu metode bootsrap Penelitian
tersebut
yang digunakan adalah bootsrap probabilitas bersyarat. dilakukan
menggunakan
bahasa
pemrogram
http://www.stat.umn.edu/arc/bootmethREV.pdf. Akses: Januari 10, 2006.
Arc.
