Multikolinieritas (1) Adalah keadaan dimana X dan Y yang lain memiliki
hubungan. Cara mendiagnosa : Informal Diagnostic Adanya serious multikolinearitas : Ø Terjadi perubahan besar dalam koefisien regresi perkiraan ketika sebuah variabel ditambah atau dikurangi. Ø Hasil yang tidak signifikan dalam test individu koefisien regresi untuk variabel independen yang penting. Ø Tanda aljabar yang berlawanan untuk koefisien regresi perkiraan dengan teori atau pengalaman sebelumnya. Ø Koefisien korelasi sederhana yang besar antara pasangan variabel independen. Ø Confidence Interval yang lebar untuk koefisien regresi dari variabel independen yang penting.
Multikolinieritas (2)
Formal Diagnostic Dengan melihat nilai Variance Inflation Factor(VIF). VIF mengukur seberapa besar varians dari penduga parameter meningkat besarnya dibandingkan dengan jika variable bebasnya tidak berkolerasi. Rumus untuk menentukan nilai VIF yaitu :
dimana adalah koefisien determinasi berganda ketika Xk diregresikan dengan p-2 variabel X lainnya dalam model. Jika nilai VIF > 10, maka data mengalami multikolinieritas. Salah satu cara mengatasi multikolinieritas adalah dengan metode ridge regression.
Ridge Regression(1) Ridge regression merupakan suatu metode
untuk mengatasi permasalahan multikolinearitas dengan memodifikasi metode least square dengan tidak mempermasalahkan estimator bias dari koefisien regresi. Ridge regression ini dapat digunakan saat biasnya kecil dengan presisi yang lebih baik daripada estimator yang unbiased, karena estimator dengan bias kecil tersebut mempunyai peluang yang lebih besar untuk mendekati nilai parameternya.
Ridge Regression(2) Transformasi korelasi pada OLS Persamaan Normal
Model Regresi yang di transformasi
Ridge Regression
Ridge Regression(3) Persaman Normal pada OLS dapat dirumuskan
dengan:
Jika
semua variable ditransformasikan dengan transformasi korelasi, model regresinya akan ditransformasi menjadi :
Dan persamaan normalnya menjadi:
Dengan rxx adalah matriks korelasi dari variable bebas dan rxy adalah vector dari koefisien korelasi sederhana antara variable tak bebas dan tiap variable bebas.
Ridge Regression(4) Penduga
ridge regression yang terstandarisasi dibentuk dengan memasukkan suatu nilai bias konstan pada persamaan OLS. Formulanya adalah:
Dengan bR adalah vector dari koefisien ridge regression yang terstandarkan. Dan I adalah matriks identitas berukuran (p-1) x (p-1), dengan p = banyaknya parameter. Dengan demikian, solusi dari persamaan normal dengan koefisien ridge regression yang terstandarisasi adalah
Ridge Regression(5) Model
regresi yang sudah ditransformasi kemudian dikembalikan menjadi bentuk awal, yaitu
Yang diestimasi menjadi :
Batasan
dalam ridge regression adalah penentuan nilai bias konstan (c) yang didasarkan pada subjektifitas atau pendapat peneliti.
Ridge Regression(6) Nilai
c dapat juga ditentukan dengan menggunakan sebuah grafik yang disebut ridge trace. Grafik ini menggambarkan penduga koefisien ridge regression sebagai fungsi dari c. Nilai c dipilih pada saat penduga koefisien ridge regression menjadi stabil dengan c yang minimum. Hal ini disebabkan semakin betambah nilai c, maka bias akan semakin besar. Pada ridge regression terdapat konstanta c yang nilainya ≥ 0. Jika c=0 ridge regression akan sama dengan OLS yang distandarkan. Saat c>0 koefisien ridge regression akan bias namun lebih stabil dibandingkan dengan OLS
Contoh Soal Table 1. contains data for a study of the
relation of amount of body fat (Y) to several possible explanatory, independent variables, based on a sample of 20 healthy females 2534 years old. The possible independent variables are triceps skinfold thickness (X1), thigh circumference (X2), and midarm circumference (X3).
Table 1. Data of the X variable for body fat example Subject (i) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Hasil Pengerjaan Dengan NCSS Correlation Matrix Section Triceps Triceps 1.000000 Thigh 0.923843 Midarm 0.457777 body_fat 0.843265
Thigh 0.923843 1.000000 0.084667 0.878090
Midarm 0.457777 0.084667 1.000000 0.142444
Least Squares Multicollinearity Section Independent Variance R-Squared Variable Inflation Vs Other X's Tolerance Triceps 708.8429 0.9986 0.0014 Thigh 564.3434 0.9982 0.0018 Midarm 104.6060 0.9904 0.0096 Since some VIF's are greater than 10, multicollinearity is a problem.
