MULTIKOLINEARITAS Tjipto Juwono, Ph.D.
June 24, 2016
TJ (SU)
Multicol.
June 2016
1 / 22
Classical Linear Regression Model: Assumptions Underlying the Method of Least Squares 1
Linear Model
2
X adalah fixed. Independent terhadap error term.
3
Mean value dari ui adalah nol
4
Homoscedasticity
5
Tidak ada autocorrelation
6
Tidak ada multicollinearity yang significant
7
Jumlah observasi n lebih besar dari jumlah parameter yang akan diestimasi
8
Tidak ada outliers untuk X
TJ (SU)
Multicol.
June 2016
2 / 22
Multikolinearitas
TJ (SU)
Multicol.
June 2016
3 / 22
Multikolinearitas Contoh Fungsi Produksi: Output (Y ) merupakan fungsi dari kapital (X1 ) dan tenaga kerja (X2 ). Namun, kapital dan tenaga kerja sebenarnya saling terkait satu sama lain. Fungsi konsumsi: Konsumsi (Y ) merupakan fungsi dari pendapatan (X1 ) dan kekayaan (X2 ), padahal pendapatan dan kekayaan pastilah berkaitan satu dengan lainnya.
TJ (SU)
Multicol.
June 2016
4 / 22
Konsekuensi Multikolinearitas Ada beberapa konsekuensi multikolinearitas, antara lain: Jika terdapat multikolinearitas sempurna, koefisien regresi tidak dapat ditentukan secara unik (software akan memberikan pesan error). Jika terdapat multikoliniearitas tinggi, pengujian dengan statistik t menjadi tidak valid (p-value tidak dapat dipercaya). Jika terdapat multikolinearitas tinggi, confidence interval menjadi lebih lebar dari seharusnya, sehingga menjadi tidak dapat dipercaya. Terjadi kontradiksi antara uji F dan uji t. Menurut uji F, H0 ditolak, namun pada uji-t ternyata tidak ada satu pun parameter regresi yang signifikan. Jika dilakukan regresi berganda, maka bisa terdapat kontradiksi tanda koefisien regresi terhadap regresi dengan dua variabel saja.
TJ (SU)
Multicol.
June 2016
5 / 22
Contoh Fungsi Konsumsi C: Konsumsi, Y: Pendapatan, W: Kekayaan No 1 2 3 4 5 6 7 8 9 10
TJ (SU)
C Jt Rp/y 70 65 90 95 110 115 120 140 155 150
Y Jt Rp/y 80 100 120 140 160 180 200 220 240 260
Multicol.
W Jt Rp/y 810 1009 1273 1452 1633 1876 2052 2201 2435 2686
June 2016
6 / 22
Contoh: Fungsi Konsumsi
1
Lakukan analisa regresi C (Y , W )
2
Lakukan analisa regresi C (Y )
3
Lakukan analisa regresi C (W )
Tentukan perbedaan penting antara (1), (2), dan (3), dan tentukan apakah salah satu dari variabel Y atau W perlu dihilangkan dari model.
TJ (SU)
Multicol.
June 2016
7 / 22
BAGIAN 2
Pengertian Multikolinearitas Secara historis multikolinearitas menunjukkan hubungan yang sempurna antara variabel-variabel independent λ1 X 1 + λ2 X 2 + . . . + λk X k = 0
(1)
λ1 , λ2 , . . . , λk adalah konstanta-konstanta yang tidak semuanya sama dengan nol. Dewasa ini, istilah multikolinearitas digunakan untuk hubungan yang tidak sempurna juga λ1 X 1 + λ2 X 2 + . . . + λk X k + ν i = 0
(2)
Dengan νi adalah suku error random/stokastik.
TJ (SU)
Multicol.
June 2016
9 / 22
Pengertian Multikolinearitas Anggap bahwa λ2 6= 0 Sempurna X2i = −
λ3 λk λ1 X1i − X3i − . . . − Xki λ2 λ2 λ2
(3)
Persamaan [3] menunjukkan bahwa X2 mempunyai relasi linear yang eksak linear dengan semua variabel independent lainnya.
TJ (SU)
Multicol.
June 2016
10 / 22
Pengertian Multikolinearitas Anggap bahwa λ2 6= 0 Tidak Sempurna X2i = −
λ3 λk 1 λ1 X1i − X3i − . . . − Xki − νi λ2 λ2 λ2 λ2
(4)
Persamaan [4] menunjukkan bahwa X2 mempunyai relasi linear yang tidak eksak linear dengan semua variabel independent lainnya karena adanya suku stokastik (−1/λ2 )νi .
TJ (SU)
Multicol.
June 2016
11 / 22
Contoh Multikolinearitas Table 1: Tabel Kolinear
X2 10 15 18 24 30
X3 50 75 90 120 150
X3∗ 52 75 97 129 152
Tabel 1 di atas memperlihatkan bahwa X3i = 5X2i . Berarti ada kolinearitas sempurna antara X2 dan X3 karena r23 = 1. X3∗ diperoleh dengan menambahkan angka random 2,0,7,9,2 pada X3 . Sekarang kita mempunyai X3i∗ = 5X2i + νi yang bukan merupakan kolinearitas sempurna. Namun koefisien korelasi antara X3 dan X3∗ adalah 0.9959, yang merupakan korelasi yang kuat. TJ (SU)
Multicol.
June 2016
12 / 22
Multikolinearitas
TJ (SU)
Multicol.
June 2016
13 / 22
Multikolinearitas
TJ (SU)
Multicol.
June 2016
14 / 22
Relasi Non Linear Pembahasan tentang multikolinearitas hanya memperhitungkan hubungan linear antara variabel-variabel independen. Hubungan non-linear tidak diperhitungkan. Contoh hubungan non-linear Yi = β0 + β1 Xi + β2 Xi2 + β3 Xi3 + ui
(5)
Variabel-variabel Xi2 dan Xi3 jelas terhubung dengan Xi namun hubungannya tidak bersifat linear.
TJ (SU)
Multicol.
June 2016
15 / 22
Apa akibat multikolinearitas? Mengapa Classical Linear Regression Model (CLRM) mengasumsikan ketiadaan multikolinieritas? Jika multikolinearitas sempurna. Koefisien regresi dari variabel-variabel independent menjadi indeterminate dan standard errornya tak berhingga. Jika multikolinearitas tidak sempurna. Walaupun koefisien regresi determinate namun standard errornya besar, sehingga koefisien regresi tersebut tidak mempunyai akurasi yang baik.
TJ (SU)
Multicol.
June 2016
16 / 22
Alasan munculnya multikolinearitas? 1 2
3
4
5
Metode pengambilan data. Sampling tidak dilakukan dengan baik. Multikolinearitas yang muncul dari model itu sendiri. Pada waktu menyusun model, orang memilih variabel-variabel yang secara natural berkaitan satu sama lain. Misalnya, regresi antara penggunaan listrik terhadap income dan ukuran rumah. Namun biasanya ada kaitan antara income dan ukuran rumah. Semakin besar incomenya, semakin besar pula ukuran rumah. Spesifikasi model. Misalnya menambahkan suku-suku polinomial terutama jika range dari X kecil Model yang berlebihan. Jumlah variabel independen lebih banyak dari jumlah observasi. Trend yang serempak pada variabel independen. Biasanya muncul pada data-data time series di mana variabel-variabel independen-nya mempunya common trend. Yang satu naik, yang lain ikut naik. Atau sebaliknya. TJ (SU)
Multicol.
June 2016
17 / 22
MENGAPA INDETERMINATE? Dua variabel independen: yˆi = βˆ1 + βˆ2 x2i + βˆ3 x3i + uˆi
(6)
P P P yi x2i )( x3i2 ) − ( yi x3i )( x2i x3i ) P P P ( x2i2 )( x3i2 ) − ( x2i x3i )2 P P P P ( yi x3i )( x2i2 ) − ( yi x2i )( x2i x3i ) ˆ P P P β3 = ( x2i2 )( x3i2 ) − ( x2i x3i )2
( βˆ2 =
P
(7) (8)
Apa yang terjadi jika X3i = λX2i ?
TJ (SU)
Multicol.
June 2016
18 / 22
MENGAPA INDETERMINATE? Misalkan X3i = λX2i maka dapat dibuktikan bahwa
TJ (SU)
0 βˆ2 = 0
(9)
0 βˆ3 = 0
(10)
Multicol.
June 2016
19 / 22
MENGAPA INDETERMINATE? Mengapa kita memperoleh hasil yang indeterminate? Ingat arti dari βˆ2 , yaitu merupakan laju perubahan Y ketika X2 berubah sebanyak satu unit dengan menjaga X3 tetap konstant. Tetapi jika X2 dan X3 kolinear secara sempurna, maka mustahil untuk menjaga X3 tetap konstan apabila X2 dirubah nilainya. Jika X2 berubah, maka X3 juga berubah dengan faktor λ Artinya? Tidak mungkin untuk memisahkan pengaruh X2 dan X3 pada sampel yang tersedia.
TJ (SU)
Multicol.
June 2016
20 / 22
Bagaimana jika multikolinearitas tidak sempurna? βˆ2 dan βˆ3 dapat dihitung. Standard error besar, sehingga hasilnya tidak akurat. Confidence interval lebih lebar Harga-t cenderung tidak signifikan, tetapi R 2 dapat sangat tinggi Estimasi koefisien regresi dan standard error dapat menjadi sangat sensitif terhadap perubahan kecil pada data. Pertanda multikolinearitas yang paling kelihatan: R 2 tinggi, H0 ditolak berdasarkan F-test, tetapi harga-t ternyata tidak signifikan.
TJ (SU)
Multicol.
June 2016
21 / 22
TUGAS Download data: cars.xlsx 1
Lakukan analisa regresi MPG vs CYL,ENG,WGT
2
Lakukan analisa regresi MPG vs CYL
3
Lakukan analisa regresi MPG vs ENG
4
Lakukan analisa regresi MPG vs WGT
5
Lakukan analisa regresi MPG vs CYL,ENG
6
Lakukan analisa regresi MPG vs ENG,WGT
Buat analisa, dan tentukan apakah ada di antara ketiga variabel (CYL,ENG,atau WGT) yang perlu dihilangkan dari model.
TJ (SU)
Multicol.
June 2016
22 / 22
