MAKALAH
MULTIKOLINEARITAS PADA ANALISIS REGRESI LINEAR BERGANDA
OLEH : SHANTIKA MARTHA, S.Si NIP. 198403082008122003
UNIVERSITAS TANJUNGPURA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM JURUSAN MATEMATIKA PONTIANAK 2010
LEMBARAN PENGESAIIAN
1.
Judul Makalah
Multikolinearitas Pada Analisis Regresi Linear Berganda
2. 3.
Bidang Ilmu
Statistika
Penyrsun
a. b. c.
Nama
Shantika Martha, S.Si
GoV NIP
III a I 198403082008122003
Fakultas/ Jurusan
FMIPA/ Matematika
Pontianah Mei 2010 Mengetahui, Penyusurl
Jurusan Matematika
fuc Shantika Martha- S.Si
NrP. 1 98403082008122403
10171998021001
1
1019881 I 1001
KATA PENGANTAR
Alhamdulillahirabbil’alamin, puji syukur kehadirat Allah SWT karena berkat rahmat dan hidayah-Nya makalah yang berjudul “Multikolinearitas Pada Analisis Regresi Linear Berganda” dapat dibahas
tentang
bagaimana
cara
terselesaikan. Dalam makalah ini
mendeteksi
dan
mengatasi
masalah
multikolinearitas yang seringkali terjadi pada model regresi linear berganda. Akhirnya penulis mengucapkan terimakasih kepada semua pihak yang telah membantu dalam penyelesaian makalah ini. Penulis juga mengharapkan kritik dan saran dari pembaca demi kesempurnaan makalah. Semoga makalah ini dapat bermanfaat bagi kita semua.
Pontianak, Mei 2010
Penulis
i
DAFTAR ISI KATA PENGANTAR ………………………………………………………….... i DAFTAR ISI …………………………………………………………………….. ii BAB I PENDAHULUAN ...................................................................................... 1 BAB II ANALISIS REGRESI LINEAR ............................................................... 3 2.1 Regresi Linear Sederhana .................................................................. 2.2 Regresi Linear Berganda ................................................................... 2.3 Regresi Linear Berganda Baku .......................................................... 2.4 Metode Kuadrat Terkecil (least squares method) .............................
3 4 6 9
BAB III MULTIKOLINEARITAS ...................................................................... 14 3.1 Dampak dari Multikolinearitas ......................................................... 14 3.2 Cara Mendeteksi Adanya Multikolinearitas ..................................... 16 3.3 Cara Mengatasi Multikolinearitas .................................................... 17 BAB IV PENUTUP ............................................................................................. 24 DAFTAR PUSTAKA .......................................................................................... 25
ii
BAB I PENDAHULUAN
Analisis regresi merupakan suatu alat statistik yang seringkali digunakan sebagai peramalan suatu data untuk masa yang akan datang. Analisis regresi digunakan untuk membangun suatu model matematis yang dapat digunakan untuk meramalkan atau menduga nilai variabel Y (variabel terikat/ dependen/ respon) berdasarkan pada nilai-nilai variabel X (variabel bebas/ independen/ prediktor). Model regresi yang paling sederhana adalah regresi linear sederhana dimana dalam model regresi tersebut hanya terdapat satu variabel bebas saja. Sedangkan jika variabel bebas yang digunakan dalam model regresi lebih dari satu maka disebut regresi linear berganda. Analisis regresi linear berganda lebih kompleks dari pada analisis regresi linear sederhana karena lebih banyak melibatkan variabel yang dapat menimbulkan permasalahan statistik yang berbeda. Salah satu permasalahan yang sering muncul dalam analisis regresi linear berganda adalah terjadinya multikolinearitas. Dampak dari multikolinearitas ini dapat mengakibatkan koefisien regresi yang dihasilkan oleh suatu analisis regresi linear berganda menjadi sangat lemah sehingga tidak dapat memberikan hasil analisis yang mewakili sifat atau pengaruh dari variabel bebas yang bersangkutan (Montgomery dan Hines, 1990). Dalam banyak hal masalah multikolinearitas dapat menyebabkan uji T menjadi tidak signifikan. Padahal jika masing-masing variabel bebas diregresikan secara terpisah dengan variabel tak bebas (simple regression), uji T menunjukkan hasil yang signifikan. Hal tersebut sering kali membuat pusing para peneliti karena hasil analisis yang dilakukan pada regresi linear berganda dan regresi linear sederhana tidaklah sejalan atau bahkan sangat bertentangan. Ada beberapa prosedur yang dapat digunakan untuk mengatasi masalah multikolinearitas. Akan tetapi pada prakteknya, prosedur tersebut sangat tergantung pada kondisi penelitian. Sebagai contoh, prosedur mengenai penggunaan informasi apriori sangat tergantung dari ada atau tidaknya dasar teori
1
(literatur) yang sangat kuat untuk mendukung hubungan matematis antara variabel bebas yang saling berkolinear (mempunyai hubungan linear sempurna atau hampir sempurna), prosedur mengeluarkan suatu variabel atau beberapa variabel bebas yang terlibat hubungan kolinear seringkali membuat banyak peneliti keberatan karena prosedur ini akan mengurangi obyek penelitian yang sedang dikerjakan/ dibahas, sedangkan prosedur lainnya seperti menghubungkan data cross sectional dan data time series, prosedur first difference dan penambahan data baru seringkali hanya memberikan efek yang kecil pada proses penanggulangan masalah multikolinearitas. Oleh karena itu, perlu adanya solusi yang memberikan efek penanggulangan yang besar pada masalah multikolinearitas dalam analisis regresi linear berganda. Adapun tujuan dari penulisan makalah ini adalah: 1. Menjelaskan dampak dari adanya multikolinearitas dalam data. 2. Menjelaskan bagaimana cara mendeteksi ada tidaknya multikolinearitas antar variabel bebas pada analisis regresi linear berganda. 3. Menjelaskan beberapa cara yang dapat dilakukan untuk mengatasi masalah multikolinearitas. Dengan adanya makalah ini semoga dapat menjadi bahan referensi dalam mengidentifikasi
serta
menanggulangi
keberadaan
multikolinearitas
bagi
penelitian-penelitian yang akan datang.
2
BAB II ANALISIS REGRESI LINEAR
2.1 Regresi Linear Sederhana Model regresi linear sederhana dapat ditulis sebagai berikut: Yi 0 1 X i i
(2.1)
dimana Yi = nilai dari variabel terikat Xi = nilai dari variabel bebas
i = nilai dari variabel galat/ error
0 = konstanta
1 = koefisien regresi Dengan menggunakan metode kuadrat terkecil (least squares method) maka nilai 0 dan 1 dapat diduga dengan persamaan: Yˆi b0 b1 X i dimana
Yˆi , b0 , dan b1 masing-masing merupakan nilai dugaan bagi Yi, 0 , dan 1 . Nilai b0 dan b1 diperoleh dengan cara menentukan turunan pertama dari jumlah kuadrat error (S) terhadap b0 dan b1, kemudian masing-masing turunan tersebut disamakan dengan nol. Nilai error (ei) merupakan selisih antara nilai pengamatan Yi dengan nilai dugaannya Yˆ i , yaitu ei Yi Yˆi sehingga diperoleh: 2 S e 2 (Y Yˆ )
(Y b0 b1 X ) 2
Y 2 2b0 Y 2b1 XY nb0 2b0 b1 X b1 2
2
X
2
S 2 Y 2nb0 2b1 X 0 b0
2nb0 2 Y 2b1 X nb0 Y b1 X b0
Y b X n
b0 Y b1 X
1
n
(2.2)
3
S 2 XY 2b0 X 2b1 X 2 0 b1 Y X 2 XY 2 b1 n n
X 2b1 X 2 0
X Y b X XY 2
2
2
n
1
2b1 X 2 0
n
X X Y b X b XY n n nb X b X n XY X Y b n X X n XY X Y n XY X Y b n X X 2
2
1
1
2
2
1
1
2
2
1
1
2
2
(2.3)
2.2 Regresi Linear Berganda Secara umum, bentuk persamaan regresi linear berganda yang melibatkan k variabel X adalah: Yi 0 1 X i1 2 X i 2 ... k X ik i
(2..4)
Atau dapat ditulis dalam notasi matriks sebagai berikut: Y = Xb + e
(2.5)
dimana: y1 y Y 2 adalah matriks berukuran n × 1 yang merupakan nilai-nilai pengamatan yn
bagi variabel Y
4
1 x11 1 x 21 X 1 xn1
x21 x1,k 1 x22 x2,k 1 adalah matriks berukuran n × k yang setiap xn 2 xn,k 1
kolomnya merupakan nilai-nilai pengamatan bagi variabel X, kecuali kolom pertama dari matriks X yang merupakan kolom yang bernilai 1 0 b 1 adalah matriks koefisien regresi berukuran k × 1 k 1
1 e 2 adalah matriks nilai error berukuran n × 1 n
Seperti halnya pada regresi linear sederhana, pendugaan terhadap nilai b dapat
dilakukan
dengan
metode
kuadrat
terkecil
yaitu
dengan
cara
meminimumkan jumlah kuadrat error. Nilai dugaan bagi koefisien regresi linear berganda pada persamaan (2.5) dapat dihitung dengan menggunakan matriks yaitu dengan rumus: b (X T X) 1 X T Y
(2.6)
Beberapa asumsi yang harus dipenuhi oleh persamaan regresi linear berganda agar layak digunakan adalah: a)
Asumsi normalitas, εi ≈ N(0, σ2)
b) Asumsi non-autokorelasi, E(εi, εj) = 0, i ≠ j c)
Asumsi homoskedastisitas, E(εi2) = σ2, untuk semua i
d) Asumsi non-multikolinearitas, yaitu tidak terdapat hubungan linear antar variabel bebas.
5
2.3 Regresi Linear Berganda Baku Model
regresi
linear
berganda
baku
biasanya
digunakan
untuk
mengendalikan galat pembulatan di dalam perhitungan kuadrat terkecil dan untuk memungkinkan dilakukannya pembandingan koefisien-koefisien regresi dugaan karena sudah mempunyai satuan yang sama (Kutner, Neter dan Wasserman, 1997). Untuk mendapatkan persamaan regresi linear berganda baku, hal pertama yang dilakukan adalah dengan mentransformasikan semua variabel terlebih dahulu. Transformasi yang dilakukan adalah Transformasi Korelasi (Correlation Transformation) yang merupakan suatu modifikasi sederhana dalam pembakuan variabel. Transformasi ini membuat semua unsur di dalam matriks ΧT Χ untuk variabel yang telah ditransformasi bernilai antara -1 dan +1. Proses transformasi dalam pembakuan terhadap variabel terikat Y dan variabel bebas X1, X2, …, Xk-1 dilakukan dengan menggunakan persamaan sebagai berikut: yi'
1 yi y , untuk i = 1, 2, 3, …, n n 1 s y
(2.7)
xij'
1 xij x j n 1 s j
(2.8)
, untuk j = 1, 2, …, k-1
dengan: n
sy
( y i 1
i
n 1 n
sj
y) 2
(x i 1
ij
(2.9)
x j )2
n 1
(2.10)
dimana: y
= Rataan variabel terikat Y
xj
= Rataan variabel bebas X
sy
= Standar deviasi variabel terikat Y
sj
= Standar deviasi variabel bebas X
6
y'
= Nilai variabel terikat Y hasil Transformasi Korelasi
x ' k 1
= Nilai variabel bebas X hasil Transformasi Korelasi
Model regresi yang telah mengalami transformasi korelasi disebut Model Regresi Baku (Standardized Regression Model), dengan bentuk umumnya adalah sebagai berikut:
yi 1 xi1 2 xi1 k 1 xi ,k 1 i '
'
'
'
'
'
'
'
(2.11)
Di dalam model regresi baku tidak terdapat parameter intersep (intercept) karena perhitungan metode kuadrat terkecil akan menghasilkan penduga parameter intersep sama dengan nol. Dalam notasi matriks, persamaan normal kuadrat terkecil bagi model regresi baku adalah sebagai berikut: rXX b ' rYX
(2.12)
Dan penduga koefisien regresinya adalah sebagai berikut: b ' (rXX ) 1 rYX
(2.13)
Matriks rXX merupakan matriks XT X yang variabel-variabel X terlebih dahulu telah mengalami transformasi korelasi, sehingga matriks ini dinamakan matriks korelasi variabel-variabel bebas X. Elemen-elemen pada matriks ini adalah koefisien korelasi sederhana antara semua pasangan variabel-variabel X. Matriks ini bersifat simetris, bahwa rnk rkn dengan elemen-elemen pada diagonal utamanya adalah satu. Matriks ini dapat didefinisikan sebagai berikut: 1 r12 rXX r13 ( k 1)( k 1) r ( k 1),1
r12
r13
1 r32
r23
r( k 1),2
1 r( k 1),3
r1,( k 1) r2,( k 1) r3,( k 1) 1
7
Vektor rYX adalah sebuah vektor yang elemen-elemennya merupakan koefisien korelasi sederhana antara variabel terikat Y dengan setiap variabel bebas X. Vektor rYX merupakan vektor XT Y yang variabel-variabelnya terlebih dahulu mengalami transformasi korelasi. Vektor rYX dapat didefenisikan sebagai berikut: rY 1 rY 2 rYX rY 3 ( k 1)1 r Y ,( k 1)
Elemen-elemen dalam vektor b ' pada persamaan (2.13) adalah koefisienkoefisien penduga dari parameter 1 , 2 ,, k 1 dalam persamaan regresi baku, '
'
'
yang dinamakan koefisien regresi baku (standardized regression coefficients). vektor b ' didefinisikan sebagai berikut: b1 ' ' b ' b 2 ( k 1)1 b ' k 1
Hubungan antara elemen-elemen vektor koefisien regresi yang dibakukan ( b ' ) dengan elemen-elemen vektor koefisien regresi ( b ) dinyatakan dalam bentuk: sy bj s j
' b j , untuk j = 1, 2, …, k-1
(2.14)
Untuk memperoleh penduga parameter intersep adalah sebagai berikut:
b0 y b1 x1 b2 x 2 bk 1 x k 1
8
2.4 Metode Kuadrat Terkecil (least squares method) Metode Kuadrat Terkecil merupakan metode yang digunakan untuk menduga koefisien regresi dalam persamaan regresi linear dengan mendapatkan penduga yang linear, tidak bias dan mempunyai varians yang minimum atau biasa disebut dengan BLUE (Best Linear Unbiased Estimators). Akan dibuktikan bahwa penduga dalam metode kuadrat terkecil memenuhi sifat BLUE yaitu sebagai berikut: a)
Penduga dalam metode kuadrat terkecil bersifat linear. b (X T X) 1 X T Y (X T X) 1 X T (Xβ ε) (X T X) 1 X T Xβ (X T X) 1 X T ε
Karena (X T X) 1 X T X I , maka: b Iβ (X T X) 1 X T ε
Dalam aljabar matriks berlaku bahwa sebuah matriks akan sama dengan matriks itu sendiri jika matriks tersebut dikalikan dengan matriks identitas, sehingga: b β (X T X) 1 X T ε
(2.15)
Persamaan (2.15) menyatakan bahwa b adalah fungsi linear dari β dan ε . b) Penduga dalam metode kuadrat terkecil bersifat tidak bias (unbias). Penduga yang tidak bias yaitu E(b) β , yang berarti bahwa koefisienkoefisien nilai penduga dengan metode kuadrat terkecil memusat di seputar nilai-nilai parameter yang sedang diduga (Sarwoko, 2005). Penduga yang tidak bias ini dapat dibuktikan dengan mencari nilai harapan persamaan (2.15) serta mengasumsikan bahwa nilai harapan galat atau E (ε) merupakan matriks nol.
9
E (b) E (β (X T X) 1 X T ε) E (β) E ((X T X) 1 X T ε) E (β) (X T X) 1 X T E (ε)
β0 E(b) β
(2.16)
c) Penduga dalam metode kuadrat terkecil adalah penduga yang mempunyai varians minimum. Diketahui bahwa: Var (b) E (b ) 2
E (b β)(b β) T
(2.17)
Diasumsikan bahwa E(εεT ) u I n , dimana asumsi ini berkaitan dengan 2
asumsi-asumsi varians kovarians faktor-faktor gangguan, yaitu: E( i ) u 2
2
dan E ( i j ) 0 untuk i j . Dari persamaan (2.15) diperoleh bahwa: b β (X T X) 1 X T ε
(2.18)
Dengan mensubstitusikan persamaan (2.18) ke dalam persamaan (2.17) maka diperoleh:
E ((X X) E (X X)
Var (b) E (b β)(b β) T T
T
1
1
X T ε)((X T X) 1 X T ε) T
X T εε T X(X T X) 1
(X T X) 1 X T E (εε T ) X(X T X) 1
(XT X)1 XT u I n X(XT X)1 2
Sebuah matriks akan sama dengan matriks itu sendiri jika matriks tersebut dikalikan dengan sebuah matriks identitas. u
2
merupakan sebuah skalar
sehingga dapat dipindahkan di belakang atau di depan matriks. Dengan demikian diperoleh:
10
Var(b) (XT X)1 XT u X(XT X)1 2
u (XT X)1 XT X(XT X)1 2
Karena (X T X) 1 X T X I , maka:
Var(b) u I(XT X)1 2
u (XT X)1 2
(2.19)
Untuk menunjukkan bahwa varians b adalah varians yang paling minimum, maka akan diasumsikan penduga lain yang linear dan tidak bias, kemudian dibuktikan bahwa variansnya lebih besar daripada varians b . ^
Misalkan b adalah penduga yang linear dan tidak bias bagi β . Anggaplah bahwa: ^
b (XT X)1 X T Z Y
(2.20)
dimana Z adalah matriks konstanta ( k n ) yang diketahui. ^
b (XT X)1 X T Z (Xβ ε) (X T X) 1 X T (Xβ ε) Z(Xβ ε) (X T X) 1 X T Xβ (X T X) 1 X T ε ZXβ Zε Iβ (X T X) 1 XT ε ZXβ Zε
β (X T X) 1 X T ε ZXβ Zε
Sehingga: ^
E (b) E β (XT X)1 XT ε ZXβ Zε
β (X T X) 1 X T E (ε) ZXβ ZE (ε)
β ZXβ (karena E (ε) 0 )
(2.21)
11
Oleh karena diasumsikan bahwa b (XT X)1 X T Z Y adalah penduga bagi ^
^
β yang mempunyai sifat tidak bias, maka E (b) seharusnya sama dengan β .
Jadi, ZXβ seharusnya sama dengan matriks nol. Sehingga dapat dikatakan bahwa ZX seharusnya sama dengan nol, jika b (XT X)1 X T Z Y adalah ^
penduga bagi β yang tidak bias. ^
Dengan cara yang sama, akan dicari varians dari b yaitu: ^ ^ Var (b) E (b β) 2 ^ ^ E (b β)(b β) T
E((X X) X Z)(Xβ ε) β((X X) X Z)(Xβ ε) β E(X X) X Xβ (X X) X ε ZXβ Zε β(X X) X Xβ (X X) X ε ZXβ Zε β E ((XT X)1 XT Z)Y β ((XT X)1 XT Z)Y β 1
T
1
T
T
1
T
T
1
T
T
T
T
T
T
1
T
T
1
T
T
Karena (X T X) 1 X T X I dan ZX adalah matriks nol. Maka diperoleh: ^
E (X X) X ε Zεε Z ε X(X X) E (X X) X Zεε Z X(X X) (X X) X ZE (εε )Z X(X X) (X X) X Z I Z X(X X) (X X) X ZZ X(X X) (X X) X Z (X X) X X(X X) ZZ I(X X) ZZ (X X) ZZ
Var(b) E (XT X)1 XT ε Zε (XT X)1 XT ε Zε T
1
T
T
1
T
T
1
T
T
1
T
T
T
T
T
1
T
1
T
T
2
1
T
T
T
u
2
T
T
1
T
T
1
T
n
T
T
1
u
2
1
T
T
T
T
u
2
T
1
1
T
T
1
T
ZX(XT X)1
T
u
2
T
1
T
u
u (XT X)1 u ZZ T 2
2
(2.22)
12
Matriks ZZ T adalah tak negatif karena semua diagonal utamanya berbentuk ^
kuadrat. Varians b merupakan varians yang minimum karena varians b lebih besar u ZZ T daripada varians b , dengan demikian dapat dikatakan bahwa 2
b merupakan penduga yang terbaik (best estimator).
13
BAB III MULTIKOLINEARITAS
3.1 Dampak dari Multikolinearitas Istilah Multikolinearitas pertama kali ditemukan oleh Ragnar Frisch yang berarti adanya hubungan linear yang “sempurna” atau pasti diantara beberapa atau semua variabel bebas dari model regresi linear berganda. Multikolinearitas adalah suatu masalah yang timbul karena adanya hubungan linear atau korelasi antar variabel bebas dalam analisis regresi linear berganda (Chattejee dan Bertram, 1991). Gangguan multikolinearitas terjadi jika dalam sebuah model terdapat korelasi antara dua atau lebih variabel bebas. Logikanya, jika kita ingin mencari pengaruh A,B, dan C terhadap D, maka seharusnya tidak ada korelasi baik antara A dan B, A dan C, ataupun B dan C. Hubungan linear antara variabel-variabel bebas dapat terjadi dalam bentuk hubungan linear yang sempurna (multikolinearitas sempurna). Suatu analisis regresi linear
berganda
tidak
mungkin dapat
dilakukan
jika terdapat
multikolinearitas sempurna antar variabel bebas. Akibat yang dapat terjadi adalah penduga kuadrat terkecil tidak bisa ditentukan serta varians dan kovarians dari parameter menjadi tidak terhingga. Adanya multikolinearitas dapat mengakibatkan penduga kuadrat terkecil menjadi tidak efisien dan kesimpulan antara uji statistik F dan uji statistik T dalam pengujian hipotesis tentang parameter regresi memiliki kesimpulan yang berbeda. Selain itu, adanya multikolinearitas dalam analisis regresi linear berganda ini juga dapat menyebabkan standar deviasi dari penduga nilainya akan meningkat sehingga nilai penduga parameter yang dihasilkan dari analisis regresi akan tidak tepat. Standar deviasi penduga merupakan akar varians dari penduga (Sarwoko, 2005).
14
Adanya multikolinearitas masih dapat menghasilkan penduga yang bersifat tidak bias, tetapi dapat menyebabkan suatu model regresi berganda mempunyai varians dan standar error yang besar. Ini dapat dilihat dari persamaan-persamaan berikut ini:
2
e
2
i
(3.1)
n p
Var(bk 1 )
X
2
(3.2)
(1 rXX ) 2
i , k 1
dimana: ei
= Nilai kesalahan (error/ galat/ sisaan)
n
= Jumlah observasi
p
= Banyaknya variabel bebas ditambah intersep
2
= Varians sisaan
Var (bk 1 ) = Varians bk 1
rXX
= Korelasi antara variabel-variabel bebas
Jika korelasi antara X 1 dan X 2 (r12 ) tinggi, maka nilai (1 r12 ) menjadi rendah. 2
Ini akan menyebabkan nilai varians serta standar error b1 dan b 2 menjadi tinggi. Gambar berikut
ini melukiskan perbandingan distribusi
yang
mengandung multikolinearitas dan distribusi tidak mengandung multikolinearitas.
distribusi
tanpa multikolinearitas
distribusi
dengan multikolinearitas
Sumber : Sarwoko, 2005
15
Perhatikan bahwa kedua distribusi memiliki nilai rata-rata yang sama sehingga multikolinearitas ini tidak menyebabkan bias. Karena nilai varians yang dihasilkan semakin tinggi mengakibatkan melebarnya distribusi . Apabila nilai varians meningkat maka nilai standar deviasi dari data tersebut akan cenderung meningkat. Multikolinearitas juga akan mengakibatkan hasil-hasil dugaan menjadi peka terhadap perubahan-perubahan yang kecil. Tambahan atau penghapusan sebuah variabel bebas serta penambahan atau pengurangan jumlah observasi akan menyebabkan perubahan yang besar pada nilai-nilai penduga (b) jika ada masalah multikolinearitas.
3.2 Cara Mendeteksi Adanya Multikolinearitas Menurut Gujarati (1978) gejala multikolinearitas ini dapat dideteksi dengan beberapa cara antara lain : 1.
Menghitung koefisien korelasi sederhana (simple correlation) antara sesama variabel bebas, jika terdapat koefisien korelasi sederhana yang mencapai atau melebihi
0,8
maka
hal
tersebut
menunjukkan
terjadinya
masalah
multikolinearitas dalam regresi. 2.
Menghitung nilai Toleransi atau VIF (Variance Inflation Factor), jika nilai Toleransi kurang dari 0,1 atau nilai VIF melebihi 10 maka hal tersebut menunjukkan bahwa multikolinearitas adalah masalah yang pasti terjadi antar variabel bebas.
3.
TOL yakni ukuran toleransi untuk mendeteksi multikolinearitas 1
𝑇𝑂𝐿𝑖 = 𝐹𝐼𝐹 = 1 − 𝑅2 𝑖 𝑖
1, jika tidak terjadi korelasi antara variabel bebas Xi TOLi 0, jika terjadi korelasi sempurna antara variabel bebas Xi
16
4.
Lakukan regresi antar variabel bebas, kemudian melakukan uji–F dan bandingkan dengan Ftabel. Jika nilai Fhitung melebihi nilai Ftabel berarti dapat dinyatakan bahwa Xi kolinear dengan X yang lain.
5.
Dengan Nilai Eigen dan Indeks Kondisi (IK). Output SAS dari F. Produksi Cobbdouglas menggunakan nilai eigen dan Indeks Kondisi untuk mengdiagnosis multikolinearitas. Bilangan Kondisi : 𝐾 =
𝜆 𝑚𝑎𝑥 𝜆 𝑚𝑖𝑛
, = nilai eigen
Indeks Kondisi: 𝐼𝐷 = 𝐾 Jika : 100 K 1000 : dari sedang menuju kuat K > 100 : sangat kuat ID < 10 : lemah 10 ID 30 : sedang menuju kuat ID > 30 : sangat kuat
3.3 Cara Mengatasi Multikolinearitas Ada beberapa cara untuk mengatasi multikolinearitas yaitu dengan Regresi Stepwise, Regresi Ridge, dan Regresi Komponen Utama (Principal Component Regression). Berikut ini akan dibahas satu persatu mengenai ketiga regresi tersebut. 1.
Regresi Stepwise Regresi stepwise adalah salah satu metode untuk mendapatkan model
terbaik dari sebuah analisis regresi. Metode ini merupakan gabungan antara metode forward dan backward. Variabel yang pertama kali masuk adalah variabel yang korelasinya tertinggi dan signifikan dengan variabel dependen, variabel yang masuk kedua adalah variabel yang korelasi parsialnya tertinggi dan signifikan. Setelah variabel tertentu masuk ke dalam model, maka variabel lain yang ada di dalam model dievaluasi. Jika ada variabel yang tidak signifikan maka variabel tersebut dikeluarkan.
17
2.
Regresi Ridge Regresi Ridge pertama kali ditemukan oleh A. E. Hoerl pada tahun 1962.
Regresi Ridge ini ditujukan untuk mengatasi kondisi buruk yang diakibatkan oleh korelasi yang tinggi antara variabel-variabel bebas X di dalam model regresi berganda, sehingga menyebabkan matriks XT X hampir singular, yang akhirnya menghasilkan nilai penduga parameter dalam persamaan regresi menjadi tidak stabil (Draper dan Smith, 1992). Regresi Ridge merupakan salah satu cara yang digunakan untuk mengatasi multikolinearitas (kekolinearan ganda) dalam analisis regresi linear berganda. Regresi Ridge ini didapat dengan cara memodifikasi metode kuadrat terkecil sehingga menghasilkan penduga parameter yang lain dalam analisis regresi linear berganda yang mempunyai sifat bias. Apabila suatu penduga mempunyai bias yang kecil, tetapi penduga ini mempunyai ketelitian yang lebih baik dalam menduga parameter dibandingkan penduga yang tidak bias, kemungkinan penduga yang bias ini mempunyai peluang yang lebih besar daripada penduga yang tidak bias untuk menduga parameter yang sebenarnya (Kutner, Neter dan Wasserman, 1997). Modifikasi metode kuadrat terkecil yang dilakukan dalam Regresi Ridge, yaitu dengan memasukkan konstanta bias ke dalam persamaan normal regresi yang dihasilkan oleh metode kuadrat terkecil. Adapun bentuk persamaan normal Regresi Baku Ridge adalah sebagai berikut: (rXX cI )b r rYX
(3.3)
Dengan penduga Regresi Baku Ridge (Ridge Standardized Regression Estimator): b r (rXX cI ) 1 rYX
(3.4)
dimana:
rXX = Matriks korelasi antara variabel-variabel bebas X rYX = Matriks korelasi antara variabel bebas terikat X dengan variabel Y I = Matriks identitas dengan ukuran (k 1) (k 1)
c
= Konstanta bias, dimana 0 c 1, c R
18
Vektor b r adalah vektor yang elemen-elemennya merupakan koefisienkoefisien Regresi Baku Ridge. Vektor b r didefinisikan sebagai berikut:
b1r r b r b 2 ( k 1)1 bkr1 Hubungan antara elemen-elemen vektor koefisien Regresi Ridge yang dibakukan (b r ) dengan elemen-elemen vektor koefisien Regresi Ridge (b R ) dinyatakan dalam: sy b Rj s j
r b j , untuk j = 1, 2, …, k-1
(3.5)
Penduga parameter intersep dari Regresi Ridge diperoleh dari:
b0R y b1R x1 b2R x 2 bkR1 x k 1
(3.6)
Pemilihan konstanta bias c adalah didasarkan pada jejak ridge (ridge trace) dan nilai Faktor Inflasi Ragam (FIR). Jejak ridge adalah suatu nilai dugaan koefisien-koefisien Regresi Ridge untuk berbagai nilai c yang berbeda. Pemilihan nilai c yang efektif bervariasi dari penerapan satu ke penerapan yang lainnya dan nilai c itu sendiri tidak diketahui sedangkan nilai Faktor Inflasi Ragam (FIR) adalah melihat bagaimana varians penduga meningkat bila ada masalah multikolinearitas dalam model regresi linear berganda. Untuk mencari nilai pembiasan c, pertama-tama yang harus dilakukan adalah memeriksa jejak ridge dan nilai-nilai FIR, kemudian memilih nilai c yang terkecil yang awalnya menjadikan koefisien-koefisien regresi stabil di dalam jejak ridge dan nilai-nilai FIR menjadi cukup kecil yaitu mendekati 1 atau (FIR) 1 (Kutner, Neter dan Wasserman, 1997).
19
3.
Regresi Komponen Utama (Principal Component Regression) Menurut Chattejee dan Price (1991), Regresi Komponen Utama merupakan
gabungan antara Analisis Komponen Utama (Principal Component Analysis) dan metode Kuadrat Terkecil (Least Squares Method) yang bertujuan untuk mencari suatu model regresi linear berganda yang tidak mengandung multikolinearitas. Pada dasarnya prosedur Analisis Komponen Utama bertujuan untuk menyederhanakan variabel yang diamati dengan cara menyusutkan (mereduksi) dimensi suatu data pengamatan tanpa mengurangi sifat/karakteristik data tersebut secara signifikan (Rawlings et al., 1998). Hal ini dilakukan untuk menghilangkan korelasi antar variabel bebas melalui transformasi variabel asli ke variabel baru yang tidak berkorelasi sama sekali. Analisis Komponen Utama dapat memberikan hasil yang maksimal untuk mengatasi multikolinearitas karena dapat membuat variabel bebas yang bersangkutan tidak berkorelasi sama sekali. Didefinisikan sebuah variabel baru ( z ) yang merupakan variabel bebas baku. Nilai z merupakan hasil transformasi dari variabel bebas X yang dapat dicari menggunakan rumus sebagai berikut
z ij
X ij X j untuk i 1, , n s n 1 j 1
j 1, , p n
n
dimana X j
X ij i 1
n
adalah nilai rata-rata bagi X j dan s 2 j
(X i 1
ij
(3.7) X j)
n 1
adalah
varians bagi X j . Variabel bebas baku yang telah didapat digunakan untuk mencari matriks korelasi (r ) variabel bebas X dengan persamaan berikut
r z' z
(3.8)
Untuk mendapatkan variabel baru yang ortogonal (saling bebas), maka terlebih dahulu dicari persamaan karakteristik dari matriks korelasi r untuk mendapatkan nilai karakteristik yang biasa lebih dikenal dengan nilai eigen.
20
Bilangan real j merupakan nilai eigen dari matriks r jika dan hanya jika
j memenuhi persamaan karakteristik sebagai berikut: det r - j I r - j I 0
(3.9)
Ketika j dicari dengan rumus diatas maka didapat bentuk persamaan karakteristik secara umum untuk matriks berukuran p p sebagai berikut
1p λ p c p1 λ p1 ... c1 λ c0 0
(3.10)
dimana c adalah konstanta. Persamaan polinomial pangkat p tersebut mempunyai akar paling banyak p buah sehingga apabila difaktorkan maka akan didapat nilai
j setelah diurutkan menjadi 1 2 ... p 0 . Dapat dilihat bahwa total semua nilai eigen sama nilainya dengan trace matriks r sebagai berikut p
p
r j 1
j
j 1
jj
p
(3.11)
dimana r jj adalah unsur diagonal matriks r . Untuk setiap nilai j terdapat vektor eigen γ j = γ1 j γ2 j ... γ pj yang memenuhi sistem persamaan sebagai berikut:
r λ I γ j
j
0
(3.12)
Variabel bebas baku ( z ) yang telah didapat juga digunakan untuk mencari variabel bebas baru yang merupakan komponen utama dengan memasukkan nilainya kedalam bentuk komponen utama dan dikalikan dengan vektor eigen dalam persamaan
W j γ1 j z1 γ2 j z 2 ... γ pj z p Sehingga didapat nilai W
untuk
j 1, , p
(3.13)
yang tidak mengandung multikolinearitas atau
ortogonal sesamanya. Variabel W j yang merupakan padanan nilai j yang terbesar
disebut
komponen
utama
pertama
dan
seterusnya.
Jumlah
21
kuadrat setiap variabel baru W j adalah j . Dengan kata lain W j mengambil sejumlah j dari keragaman total karena dapat dilihat bahwa
p
λ j 1
j
p maka
jumlah kuadrat totalnya n
p
W i 1 j 1
ij
p
(3.14)
Kemudian dengan menggunakan metode kuadrat terkecil didapat model regresi linear berganda dimana Y sebagai variabel terikat dan variabel W sebagai variabel bebasnya. Apabila model regresi dengan variabel W sebagai variabel bebas telah diperoleh, persamaan ini dapat dikembalikan menjadi fungsi variabel semula X bila dikehendaki, atau ditafsirkan berdasarkan variabel-variabel W menggunakan Regresi Komponen Utama. Untuk mengembalikan model regresi linear berganda yang sebelumnya menggunakan variabel W sebagai variabel bebas ke dalam bentuk model regresi linear berganda dengan menggunakan variabel X sebagai variabel bebasnya dapat dilakukan dengan menggunakan Regresi Linear Berganda Baku. Apabila persamaan model Regresi Linear Berganda Baku ditetapkan dalam bentuk Regresi Komponen Utama maka didapat persamaan (Chattejee dan Bertram, 1991):
Yi* 1W1 2W2 ... pWip ai untuk i 1, . . . , n
(3.15)
dimana: Yi * = pengamatan ke i dari variabel terikat baku.
Wi = pengamatan ke i dari variabel komponen utama
1 , 2 ,…, p =
koefisien
komponen
utama
yang
dapat
ditentukan
menggunakan rumus:
j γ1 j 1* γ2 j 2* ...γ pj p*
untuk
j 1, , p
(3.16)
22
Model regresi yang tidak mengandung multikolinearitas dapat ditafsirkan dengan memasukkan nilai W satu per satu. Sehingga model regresi dalam fungsi variabel X akan dihasilkan lebih dari satu. Model regresi linear berganda yang ditafsirkan menggunakan seluruh nilai W tidak dapat digunakan untuk meramal karena model regresi yang ditafsirkan dengan seluruh nilai W sama dengan model regresi yang dihasilkan oleh metode kuadrat terkecil. Apabila model regresi linear berganda telah didapat lebih dari satu maka akan dipilih salah satu yang lebih baik digunakan untuk meramal dengan melihat koefisien determinasi yang dihasilkan oleh setiap model regresi linear berganda. Koefisien determinasi R 2 merupakan koefisien yang menjelaskan hubungan antara variabel terikat Y dan variabel bebas
X . Nilai R 2 tinggi menunjukkan bahwa kemampuan variabel bebas dalam menjelaskan variasi variabel terikat sangat besar, apabila nilai R 2 rendah menunjukkan bahwa kemampuan variabel bebas dalam menjelaskan variasi variabel terikat sangat terbatas (Widarjono, 2005). Nilai R 2 dapat dicari menggunakan rumus berikut ini:
R2 1
(Y Y ) 2 i
(3.17)
i
Adapun keuntungan dari penggunaan Analisis Komponen Utama (Principal Component Analysis) dibandingkan dengan metode lain adalah : 1.
Dapat menghilangkan korelasi secara bersih (korelasi = 0) sehingga masalah multikolinearitas dapat benar-benar teratasi secara bersih.
2.
Dapat digunakan untuk segala kondisi data / penelitian.
3.
Dapat dipergunakan tanpa mengurangi jumlah variabel asal.
4.
Walaupun metode regresi ini memiliki tingkat kesulitan yang tinggi, akan tetapi kesimpulan yang diberikan lebih akurat dibandingkan dengan penggunaan metode lain.
23
BAB IV PENUTUP
Multikolinearitas adalah suatu masalah yang timbul karena adanya hubungan linear atau korelasi antar variabel bebas dalam analisis regresi linear berganda. Adanya multikolinearitas berdampak pada koefisien regresi yang dihasilkan oleh suatu model regresi linear berganda dan secara tidak langsung akan berdampak pula pada hasil analisisnya. Pendugaan parameter regresi yang dihasilkan oleh metode kuadrat terkecil akan dapat memenuhi sifat penduga terbaik ketika data tidak mengandung multikolinearitas. Ada beberapa metode yang dapat dilakukan jika data yang digunakan mengandung multikolinearitas yaitu, dengan Regresi Stepwise, Regresi Ridge, dan Regresi Komponen Utama (Principal Component Regression). Masing-masing metode tersebut memiliki keunggulan dan kelemahannya serta sangat tergantung pada kondisi dan tujuan penelitian. Disarankan
untuk
membuat
simulasi
data
yang
mengandung
multikolinearitas agar memperoleh gambaran yang lebih jelas mengenai keunggulan dan kelemahan dari ketiga metode tersebut.
24
DAFTAR PUSTAKA
Chattejje, S. and Price, B. 1991. Regression Analysis By Example Second Edition. A Siley-Interscience Publication John Wiley and Sonc.Inc. Newyork. Draper, N. dan Smith, H. 1992. Analisis Regresi Terapan Ed ke-2. Alih bahasa: Bambang Sumantri. PT. Gramedia Pustaka Utama. Jakarta. Gujarati, D. Ekonometrika Dasar. Erlangga. Jakarta. Kusnandar, D. 2004. Metode Statistik dan Aplikasinya dengan Minitab dan Excel. Madyan Press. Yogyakarta. Kutner, M. H.; Neter, J. dan Wasserman, W. 1997. Model Linear Terapan. Alih bahasa: Bambang Sumantri. Jurusan Statistik FMIPA IPB. Bogor. Montgomery, D. C. dan Hines, W. W. 1990. Probabilita dan Statistik dalam Ilmu Rekayasa dan Manajemen Ed ke-2. Alih bahasa: Rudiansyah. UI Press. Jakarta. Rawlings, J. O.; Pantula, S. G. and Dickey, D. A. 1998. Applied regression analysis. Ed ke-2. Springer. New York. Sarwoko. 2005. Dasar-dasar Ekonometrika. Andi Offset. Yogyakarta. Widarjono, A. 2005. Ekonometrika Teori dan Aplikasi untuk Ekonomi dan Bisnis. Ekonisia Fakultas Ekonomi UII. Yogyakarta.
25
