Analisis Regresi 2 Pokok Bahasan :
Multikolinier & penanganannya
TUJUAN INSTRUKSIONAL KHUSUS : Mahasiswa dapat menjelaskan adanya multikolinieritas pada regresi linier berganda serta prosedur penanganannya
Regresi linear berganda: Dalam notasi matriks Y=Xβ+ε
Dengan Y = vektor peubah tak bebas (nx1) X = matriks peubah bebas (nxk) β = vektor penduga parameter (kx1) ε = vektor sisaan/galat (nx1)
Beberapa asumsi yang mendasari model tersebut adalah : εi menyebar saling bebas mengikuti sebaran normal (0.σ2) εi memiliki ragam homogen Tidak adanya hubungan antar peubah X ( E(Xi,Xj) = 0, untuk semua i ≠ j ) atau sering disebut tidak ada masalah kolinear εi bebas terhadap peubah X
MULTIKOLINEARITAS Muncul ketika adanya korelasi diantara peubah bebas yang dapat mempengaruhi ragam dari penduga kuadrat terkecil dan pendugaan model yang dibuat. (Wetherhill,1986) Apabila terdapat masalah multikolinear pada model regresi berganda, maka matriks X’X akan memiliki sifat kondisi buruk (ill-conditioned) atau hampir singular yang pada akhirnya akan menyebabkan dugaan bagi memiliki dugaan ragam yang menduga lebih (overestimate) walaupun tetap takbias.
Indikasi adanya multikolinearitas
1.Semua variabel dilibatkan dengan nilai VIF >10 2.Uji parsial-t mengindikasikan terima Ho (model tidak nyata) 3.Uji-F mengindikasikan tolak Ho (model nyata) 4.Rsq(adj) bernilai tinggi 5.Adanya korelasi antara peubah bebas Ketidaksesuaian hubungan antara peubah bebas dan peubah respon berdasarkan teori dan hasil.
Selain itu, cara mendeteksi adanya multikolinearitas melalui nilai: 1. Condition Index (CI)
atau Indeks Kondisi Dilakukan dengan mengukur perubahan akar ciri yang umum, yaitu: n = √( λmax / λmin ) Jika n>30 maka menandakan derajat multikolinearitas yang tinggi
2. Multikolinearitas Index (MCI) (Thisted,1980)
m x 1 1 p
MCI =
2
Dengan: m = nilai eigen (akar ciri) minimal 1 = nilai eigen (akar ciri) dari matriks Bila MCI mendekati 1 Multikolinearitas tinggi Bila MCI mendekati 3 Peubah saling bebas
3. Variance Inflation Factor (VIF) dengan VIFi = 1/(1-Ri²) Ri² = koefisien determinasi ganda bila Xi diregresikan terhadap semua peubah bebas lainnya. Nilai VIF yang lebih besar dari 10 menunjukkan adanya kolinearitas(Myers,1990).
Cara dan pendekatan yang dilakukan untuk mengatasi masalah multikolinearitas, seperti: Membuang peubah bebas yang mempunyai korelasi tinggi terhadap peubah bebas lainnya. Menambah data pengamatan/contoh. Melakukan transformasi terhadap peubah-peubah bebas yang mempunyai kolinearitas atau menggabungkan menjadi peubah-peubah bebas baru yang lebih berarti. Menggunakan regresi Gulud, regresi kuadrat terkecil parsial dan Regresi Komponen Utama (principal component regression).
REGRESI KOMPONEN UTAMA (PRINCIPAL COMPONENT REGRESSION)
Regresi Komponen Utama ( Principal Component Regression) Analisis komponen utama pada dasarnya mentransformasi peubah-peubah bebas yang berkorelasi menjadi peubah-peubah baru yang ortogonal dan tidak berkorelasi. Analisis ini bertujuan untuk menyederhanakan peubah-peubah yang diamati dengan cara mereduksi dimensinya. Hal ini dilakukan dengan menghilangkan korelasi di antara peubah melalui transformasi peubah asal ke peubah baru (komponen utama) yang tidak berkorelasi (Gesperz, 1995).
Tahapan-tahapan yang dilakukan dalam analisis regresi komponen utama adalah: 1.Membakukan peubah bebas asal yaitu X menjadi Z. 2.Mencari akar ciri dan vektor ciri dari matriks R. 3.Menentukan persamaan komponen utama dari vektor ciri. 4.Meregresikan peubah respon Y terhadap skor komponen utama W. 5.Transformasi balik.
Biasanya tidak semua W digunakan. Morrison (1978) menyarankan agar memilih komponenkomponen utama sampai komponen-komponen utama tersebut mempunyai keragaman kumulatif 75 %, namun sebagian ahli menyarankan agar memilih komponen utama yang mempunyai akar ciri lebih dari satu, karena jika akar ciri kurang dari satu, keragaman data yang dapat diterangkan kecil sekali.
contoh kasus Berdasarkan teori dan konsep ekonomi, variabel-variabel yang mempengaruhi penawaran ekspor TPT Indonesia adalah sebagai berikut: Y = Volume ekspor TPT (Tekstil dan Produk Tekstil) (kg) X1 = Pendapatan per kapita (dolar) X2 = Upah tenaga kerja (dolar) X3 = Harga ekspor TPT pada (dolar/kg) X4 = Indeks persepsi korupsi Indonesia (CPI) X5 = Nilai tengah kurs rupiah (rupiah/dolar) X6 = Suku bunga kredit investasi (%)
Y 1231259 3784049 12610093 16262677 19652917
X1 1221,02 1252,35 929,03 1020,79 1066,94
X2 101,518 107,148 49,919 64,109 106,114
X3 100,741 95,819 115,86 102,191 81,993
X4 6,366 7,296 10,348 12,192 13,052
X5 2,31988 2,82953 6,46352 4,57276 3,33007
X6
26066585 54588512 84680680 1,01E+08 1,28E+08 1,59E+08 2,05E+08 2,48E+08
1018,6 4327,72 3793,76 3613,34 2771,18 2841,22 2808,28 2847,93
159,541 164,611 139,723 140,651 87,752 96,019 93,805 78,978
69,089 49,617 53,641 51,051 52,635 43,769 44,101 41,936
14,347 16,065 17,447 18,329 17,247 19,239 20,155 21,008
3,56899 2,87178 3,10394 3,81087 4,2792 3,90727 3,2182 4,0113
0,135 0,135 0,135 0,193 0,178 0,187 0,196 0,188
3,09E+08 4,08E+08 5,78E+08 6,9E+08 7,71E+08 8,26E+08 9,71E+08 8,58E+08
2933,46 2909,73 2922,27 2959 3021,99 3096,76 3057,78 933,63
80,505 77,761 99,133 112,733 144,148 150,796 147,18 56,405
44,015 44,048 44,405 36,717 29,589 28,13 24,718 18,54
23,781 24,999 26,512 29,096 30,986 33,066 35,041 37,813
4,28146 3,76041 4,20033 3,76027 2,8298 2,40781 2,23297 2,25327
0,232 0,191 0,1819 0,1528 0,1527 0,161 0,1741 0,1833
1,19E+09 1,58E+09 1,73E+09 1,73E+09 1,76E+09 1,65E+09 1,63E+09 1,8E+09
820,67 925,35 707,91 665,66 795 865,11 824,06 812,45
95,347 136,239 113,51 126,703 208,356 223,453 200,482 183,482
4,043 4,773 4,731 3,957 3,406 3,754 4,019 3,774
76,989 81,369 90,048 97,379 100 104,37 110,2 116,39
1,69289 2,11452 2,27233 2,46266 2,24986 2,46344 2,41005 2,54001
0,262 0,179 0,1686 0,179 0,1782 0,1575 0,1391 0,1623
1,88E+09
921,43
211,937
3,642
126,16
2,78449
0,1542
0,15 0,135 0,135 0,135 0,135
Regression Analysis: Y versus X1, X2, X3, X4, X5, X6 The regression equation is Y = 1.36E+09 - 38255 X1 - 1882111 X2 - 7980119 X3 + 12350726 X4 34507807 X5 - 2.69E+09 X6 Predictor Coef SE Coef T P VIF Constant 1356844891 424915011 3.19 0.004 X1 -38255 52547 -0.73 0.474 4.6 X2 -1882111 1239485 -1.52 0.143 4.2 X3 -7980119 2843555 -2.81 0.010 11.0 X4 12350726 2923637 4.22 0.000 15.8 X5 -34507807 45042940 -0.77 0.451 2.5 X6 -2689286254 1411764071 -1.90 0.069 2.2 S = 153742395 R-Sq = 96.1% R-Sq(adj) = 95.1% standardized residual
Analysis of Variance Source DF SS MS F P Regression 6 1.34843E+19 2.24739E+18 95.08 0.000 Residual Error 23 5.43645E+17 2.36367E+16 Total 29 1.40280E+19 Source X1 X2 X3 X4 X5 X6
DF Seq SS 1 3.71673E+18 1 4.09562E+18 1 5.11166E+18 1 4.61654E+17 1 1.28943E+16 1 8.57703E+16
Unusual Observations Obs X1 Y Fit SE Fit Residual St Resid 20 3058 971167565 653131316 53575981 318036249 R denotes an observation with a large
2.21R
Correlations: X1, X2, X3, X4, X5, X6 X1 X2 -0.139 0.465
X2
X3
X4
X5
X3 0.141 -0.550 0.458 0.002 X4 -0.566 0.664 -0.811 0.001 0.000 0.000 X5 0.257 -0.529 0.651 -0.553 0.170 0.003 0.000 0.002 X6 0.098 -0.271 -0.417 0.128 -0.142 0.605 0.147 0.022 0.501 0.453 Cell Contents: Pearson correlation P-Value
Hasil pembakuan dari peubah-peubah X i ke Zi Z1
Z2
Z3
Z4
Z5
Z6
-0.62888
-0.50233
1.81149
-0.98524
-0.84248
-0.60552
-0.60209
-0.38325
1.66399
-0.96128
-0.3355
-1.10485
-0.87868
-1.59365
2.26457
-0.88257
3.27946
-1.10485
-0.80018
-1.29354
1.85494
-0.83502
1.3986
-1.10485
-0.7607
-0.40512
1.24969
-0.81284
0.16242
-1.10485
-0.80205
0.72487
0.86301
-0.77945
0.40009
-1.10485
2.02883
0.8321
0.2795
-0.73516
-0.29347
-1.10485
1.57204
0.30572
0.40008
-0.69954
-0.06253
-1.10485
1.4177
0.32533
0.32246
-0.67677
0.6407
0.82589
0.69725
-0.79348
0.36994
-0.70467
1.10658
0.32656
0.75716
-0.61864
0.10424
-0.65332
0.7366
0.62616
0.72898
-0.66545
0.11421
-0.6297
0.05113
0.92575
0.76291
-0.97905
0.04933
-0.60771
0.84008
0.65945
0.83607
-0.94677
0.11161
-0.53621
1.10883
2.12414
0.81577
-1.00479
0.1126
-0.50479
0.59051
0.75931
0.8265
-0.55276
0.12332
-0.46579
1.02812
0.45639
0.85792
-0.26513
-0.10707
-0.39916
0.59037
-0.51231
0.91181
0.3993
-0.32068
-0.35041
-0.33524
-0.51564
0.97577
0.53991
-0.36438
-0.29679
-0.75501
-0.23934
0.94243
0.46342
-0.46664
-0.24587
-0.92893
0.19674
-0.87475
-1.45647
-0.65179
-0.1744
-0.90874
0.50299
-0.97138
-0.63284
-1.0862
0.83574
-1.46618
3.12279
-0.88183
0.23203
-1.06432
0.94868
-1.04676
0.35985
-1.06784
-0.2487
-1.06558
1.17249
-0.88978
0.01365
-1.10398
0.03034
-1.08878
1.3615
-0.70045
0.35985
-0.99334
1.7573
-1.10528
1.42909
-0.91214
0.33322
-0.93336
2.07661
-1.09487
1.54177
-0.69967
-0.35585
-0.96848
1.59078
-1.08692
1.69209
-0.75279
-0.96836
-0.97841
1.23122
-1.09425
1.8517
-0.6235
-0.19607
-0.88518
1.83304
-1.09821
2.10362
-0.38031
-0.46571
Nilai eigen dan vektor eigen:
Principal Component Analysis: Z1, Z2, Z3, Z4, Z5, Z6 Eigen analysis of the Correlation Matrix Eigenvalue 3.0626 1.3123 0.9525 0.4737 0.1655 0.0332 Proportion 0.510 0.219 0.159 0.079 0.028 0.006 Cumulative 0.510 0.729 0.888 0.967 0.994 1.000 Variable PC1 PC2 Z1 -0.261 0.332 Z2 0.426 -0.339 Z3 -0.503 -0.312 Z4 0.534 -0.064 Z5 -0.451 -0.063 Z6 0.097 0.818
PC3 -0.816 -0.461 0.139 0.182 0.144 0.219
PC4 -0.095 -0.223 0.211 -0.385 -0.862 -0.070
PC5 -0.159 0.630 0.533 -0.160 0.014 0.517
PC6 0.348 -0.211 0.549 0.710 -0.168 0.023
Hasil yang di dapat dari komponen utama pertama W1 dan W2 yang merupakan kombinasi linear dari Z dapat dinyatakan dalam persamaan berikut: W1 = -0.261 Z1 + 0.426 Z2 + 0.503 Z3 +0.534 Z4 -0.451 Z5 + 0.097 Z6 W2 = 0.332 Z1 + 0.339 Z2 - 0.312 Z3 – 0.064 Z4 - 0.063 Z5 + 0.818 Z6
Skor komponen utama W1
W2
W3
W4
W5
W6
-1.16649 -0.98347 0.56379
1.70166
0.582702 0.309045
-1.31276 -1.41091 0.43465
1.22996
0.319862 0.132363
-3.64533 -1.51295 1.83746
-1.49488 -0.03854 0.068403
-2.459
-0.05189 -0.11521 0.158095
-1.34529 1.31563
-1.21736 -1.36769 0.61526
0.67605
0.093751 -0.12398
-0.61974 -1.66044 0.11424
0.12842
0.603699 -0.60554
-0.68302 -0.53407 -2.41855 0.29402
-0.10855 0.185921
-0.93385 -0.56193 -1.74641 0.2674
-0.30523 0.190588
-0.96291 0.93865
-1.11264 -0.48903 0.695591 0.032673
-1.54896 0.62738
-0.04919 -0.51701 -0.11588 -0.06569
-1.13313 0.93616
-0.19417 -0.33938 -0.01561 -0.12181
-0.80014 1.22635
-0.17711 0.23693
-1.27963 1.09506
-0.00975 -0.38016 -0.26137 -0.05805
-1.25667 2.26605
0.29639
-1.15916 1.19241
-0.02755 -0.19747 -0.22065 0.11793
-1.18058 0.76162
-0.2394
0.106089 0.022883
-0.74298 0.530649 0.034297 -0.66834 -0.08867 -0.02097
-0.8118
-0.02283 -0.69256 -0.36442 -0.55354 -0.09865
0.00748
-0.11083 -1.19794 0.21684
-0.28051 -0.14704
0.31734
0.12551
-1.31135 0.49221
-0.09715 -0.06326
0.49288
0.5368
-1.18351 0.59078
0.020392 -0.03925
0.30095
0.88626
1.24213
1.0864
-0.85028 -0.31369
1.94085
2.82509
1.55744
0.72877
0.637612 0.112298
1.87734
0.26053
0.5653
0.32
-0.26178 -0.08178
1.73663
0.05442
0.9264
0.2474
-0.74817 0.078748
1.92588
0.21446
0.96141
-0.0766
-0.42752 0.104856
2.77007
-0.34123 0.04825
2.78255
-1.01717 -0.24606 -0.57083 0.431483 -0.1601
2.62519
-1.37431 -0.10637 -0.42656 -0.2063
2.58034
-0.63996 0.28319
2.81304
-1.06366 -0.04901 -1.00572 0.126458 0.248942
-0.31768 0.605883 -0.14749 0.036139
-0.57387 -0.05921 0.214109
Meregresikan peubah tak bebas Y dengan skor komponen utama W1 dan W2 Regression Analysis: Y versus W1, W2 The regression equation is Y = 7.14E+08 + 3.71E+08 W1 + 3798390 W2 Predictor Coef SE Coef T P VIF Constant 713684077 47118974 15.15 0.000 W1 371064003 27384750 13.55 0.000 1.0 W2 3798390 41834820 0.09 0.928 1.0
S = 258081252 R-Sq = 87.2% R-Sq(adj) = 86.2% Analysis of Variance Source DF SS MS F P Regression 2 1.22296E+19 6.11480E+18 91.81 0.000 Residual Error 27 1.79836E+18 6.66059E+16 Total 29 1.40280E+19 Source DF Seq SS W1 1 1.22291E+19 W2 1 5.49081E+14 Unusual Observations Obs W1 Y Fit SE Fit Residual St Resid 3 -3.65 12610093 -644713694 127246505 657323787
2.93R
Transformasi peubah Z ke peubah asal (X) Y = 7.14E+08 + 3.71E+08 W1 + 3798390 W2 Y = 7.14E+08 + 3.71E+08 (-0.261 Z1 + 0.426 Z2 + 0.503 Z3 +0.534 Z4 -0.451 Z5 + 0.097 Z6) + 3798390 (0.332 Z1 + 0.339 Z2 - 0.312 Z3 – 0.064 Z4 - 0.063 Z5 + 0.818 Z6) Y = 7.14E+08 + -95569934.52 Z1 + 156758345.79 Z2 +87798097.68 Z3+197870903.04 Z4 +167560298.57 Z5+39094083.02 Z6
Y = 7.14E+08 + -95569934.52 + 156758345.79 + 87798097.68 + 197870903.04 + 167560298.57 + 39094083.02 Y = 7.67E+08 - 81753.5796 X1 + 3315531.848 X2 - 5.63E+06 X3 + 5102395.643 X4 -166726665.2 X5 + 1301400899 X6 Jadi model akhir yang kita dapat adalah: Y = 7.67E+08 - 81753.5796 X1 + 3315531.848 X2 - 5.63E+06 X3 + 5102395.643 X4 166726665.2 X5 + 1301400899 X6
Analisis signifikansi koefesien regresi parsial Peubah (Zi)
koefisien(γi)
Simpangan baku s(γi)
t-hitung
Z1
-95569934,52
7,102218521
-13456349,48
Z2
156758345,8
8,349539489
18774490,02
Z3
-187798097,7
8,628167101
-21765700,12
Z4
197870903
6,759499313
29273011,78
Z5
-167560298,6
5,741958242
-29181734,09
Z6
39094083,02
15,60628974
2505020,967
Karena nilai |t-hitung|>t-tabel maka setiap koefisien berpengaruh nyata. Penduga koefisien regresi pada model regresi yang diperoleh dengan menggunakan regresi komponen utama seringkali berbias, padahal sifat penduga yang baik adalah tak bias dengan ragam penduga minimum.
Kesimpulan Analisis komponen utama pada dasarnya mentransformasi peubah-peubah bebas yang berkorelasi menjadi peubah-peubah baru yang ortogonal dan tidak berkorelasi. Analisis ini bertujuan untuk menyederhanakan peubah-peubah yang diamati dengan cara mereduksi dimensi, sehingga masalah multikolinearitas dapat diatasi.
