PERBANDINGAN ORDINARY RIDGE REGRESSION DAN UNBIASED RIDGE REGRESSION DALAM MENGATASI MULTIKOLINEARITAS PADA DATA
COMPARISON BETWEEN ORDINARY RIDGE REGRESSION AND UNBIASED RIDGE REGRESSION IN COPING WITH MULTICOLINEARITY ON DATA
Muchlis Ahmadi, Aidwayati Rangkuti, Erna Tri Herdiani Jurusan Matematika Terapan, FMIPA, Program Pascasarjana Fakultas Matematika dan Ilmu Pengetahuan Alam
Alamat Koresponden:
Muchlis Ahmadi Program Pascasarjana Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Hasanuddin Makassar, 90245 HP: 082188325333 Email:
[email protected]
Abstrak Penelitian ini bertujuan untuk mengetahui perbandingan estimator ordinary ridge regression dan unbiased ridge regression dalam mengatasi multikolinearitas pada data real yang berdistribusi normal multivariat. Metode Regresi Ridge merupakan salah satu metode yang digunakan untuk mengatasi masalah multikolinearitas melalui modifikasi terhadap metode kuadrat terkecil. Metode tersebut ditempuh dengan cara menambahkan tetapan bias c yang relatif kecil pada diagonal matriks ′ , sehingga koefisien penduga ridge dipengaruhi oleh besarnya tetapan bias c. Tetapan bias c yang dipilih adalah tetapan bias yang menghasilkan bias realatif kecil dan menghasilkan koefisien penduga yang relatif stabil. Acuan yang digunakan pada untuk menentukan nilai c dalam penelitian ini adalah menggunakan ridge trace yang merupakan suatu data antara dengan beberapa nilai c dalam selang 0-1 hingga tercapai kestabilan pada parameter dugaannya. Untuk analisis data digunakan alat bantu software SPSS, NCSS, Minitab 15 dan Matlab Ver.8. Berdasarkan hasil eksperimen dan simulasi dalam penelitian ini menunjukkan bahwa persamaan regresi dari penaksiran estimator unbiased ridge regression lebih baik jika dibandingkan dengan ordinary ridge regression dalam mengatasi multikolinearitas pada data. Kata kunci: Regresi Ridge, multikolinearitas, ordinary ridge regression, ubiased ridge regression.
Abstract The research aims tofind out the comparison between estimator of ordinary ridge regression and unbiased ridge regression in coping with multicolinearity on the real data with normal multivariant distribution. This research used Ridge Regression method as one of method that commonly used to solve problem with multicolinearity through modification of the smallest quadrant method. This method was done by adding relatively small biased constant c to ′ matrix diagonal, so the ridge estimator coefficient was influenced by the amount of biased constant c. The biased constant c chosen was the biased constant that generate relatively small biased and relatively stable estimator coefficient. Reference used in determining c value in this research was trace ridge, a data between withseveral c value in interval 0-1 until it reached the stability on its estimated parameter. Data were analyzed using SPSS, NCSS, Minitab 15 and Matlab Ver.8 sofwares. The research experimental and simulation results indicate that regressive equation of unbiased ridge regression estimator prediction is much better than the ordinary ridge regression in coping with the multicolinearity on data. Key words: Ridge Regresson, multicollinearity, ordinary ridge regression, ubiased ridge regression.
PENDAHULUAN Berbagai masalah sering muncul dalam analisis linier berganda yang mempunyai banyak variabel bebas. Salah satu masalah yang sering muncul adalah terjadinya hubungan antara dua atau lebih variabel bebas. Variabel
bebas yang
saling
berkorelasi
disebut
kolinieritas
ganda
(multicollinearity). Gejala ini menimbulkan masalah dalam pemodelan regresi. Korelasi yang sangat tinggi akan menghasilkan penaksir yang berbias, tidak stabil dan mungkin jauh dari nilai sasaran (Batah dkk., 2009b).
Metode kuadrat terkecil akan memberikan efek dari kolinieritas yaitu tingginya nilai koefisien determinasi tetapi tidak diikuti dengan hasil uji hipotesis yang signifikan. Satu dari asumsi model regresi linier adalah bahwa tidak terdapat multikolinearitas diantara variabel regressor yang termasuk dalam model. Jika diantara variabel bebas X terjadi hubungan linear, maka akan mengakibatkan terjadinya multikolinearitas.
′
Adanya multikolinearitas dapat menyebabkan det (
) = 0 (matriks singular), atau
′
mendekati nol (hampir singular). Multikolinearitas dapat dideteksi juga dengan
menggunakan akar karakteristik. Montmogery
dkk
(1992)
dan
Bain
(1992),
menyatakan
bahwa
adanya
multikolinearitas pada variabel bebas X menyebabkan terdapat akar karakteristik yang kecil dalam matriks
′
hal ini mengakibatkan variansi
besar. Drapper dkk (1992) menyatakan
bahwa dengan adanya multikolinearitas yang tinggi maka
yang dihasilkan dengan metode
kuadrat terkecil menjadi tidak stabil (peka terhadap perubahan kecil pada data yang kelihatannya tidak penting). Salah satu cara yang dilakukan ketika terjadi kasus tersebut diatas adalah dengan menerapkan konsep Regresi Ridge. Penyelesaian masalah multikolinearitas dengan metode regresi ridge ini telah dikembangkan oleh banyak peneliti melalui berbagai pendekatan, diantaranya Salam (2011), memperkenalkan estimator Modified Unbiased Ridge (MUR) dan Ordinary Ridge Regression (ORR) dalam mengatasi multikolinearitas, hasil penelitiannya menunjukkan bahwa estimator Modified Unbiased Ridge (MUR) lebih efisien dan realibel dalam mengatasi kasus multikolinearitas dibanding dengan metode yang lain. kemudian Dereny dkk (2011), membandingkan beberapa metode dalam regresi ridge diantaranya Ordinary Ridge Regression (ORR), Generalized Ridge Regression (GRR), Directed Ridge Regression (DRR) dengan Ordinary Least Square (OLS), dan disimpulkan bahwa semua metode ORR, GRR dan DRR dalam regresi ridge lebih baik dari metode kuadrat terkecil. Tujuan penelitian ini adalah mengetahui perbandingan estimator ordinary ridge regression dan estimator unbiased ridge regression dalam mengatasi terjadinya multikolinearitas pada data. BAHAN DAN METODE Lokasi dan Rancangan Penelitian Penelitian ini dilakukan di jurusan Matematika Terapan Universitas Hasanuddin. Jenis penelitian ini adalah kajian pustaka.
Metode Pengumpulan Data Data sampel yang digunakan dalam penelitian ini berupa data eksperimental sekunder, dari Badan Pusat Statistik Provinsi Sulawesi Selatan, tentang produksi padi sawah tahun 19882010 di Propinsi Sulawesi Selatan Analisis Data Keseluruhan data dianalisis menggunakan software SPSS, Minitab 15, Stathgraphics, dan NCSS. HASIL Dalam perbandingkan ORR dan metode URR akan dilihat sejauh mana tingkat signifikansi dari estimator tersebut dalam mengatasi multikolinearitas. Nilai MSE dan R2 yang diperoleh dari estimator OLS sebesar 0,432 dan 0,8521, estimator ORR sebesar 0,360 dan 0,9133 sedangkan estimator URR sebesar 0,322 dan 0,9211. Perhitungan koefisien determinasi dari setiap model memberikan estimator URR sebesar 92,11%, ORR sebesar 91,33% dan OLS sebesar 85,21%, hal ini berarti bahwa ketepatan model dari penaksiran estimaor URR lebih baik dibanding dengan estimator ORR dan OLS. Setelah dilakukan uji keberartian regresi, estimator ubiased ridge regression (URR) memberikan hasil yang cukup baik dibanding dengan estimator ordinary ridge regression (ORR), hal ini dapat dilihat dari tingkat signifikansi diantara varibel bebasnya.
PEMBAHASAN Dalam penelitian ini terlihat bahwa estimator unbiased ridge regression cukup baik digunakan dalam mengatasi kasus multikolinearitas pada data jika dibanding dengan estimator ordinary ridge regression dan estimator ordinary least square. Estimator least square untuk = (
Bukti :
′
)
adalah :
′
(1)
Estimator OLS diperoleh dengan meminimumkan jumlah kuadrat galat untuk model Sembiring (2005) :
atau
=
+
′
=( − =( =( =
)′ ( −
−(
′
′ ′)( − ′
−
′
)
)′ )( −
−
′
−
′
= )
′
)
=
[
= −2
′
−2
+2
=0−2
=
′
+2 ′
(
′
(
′
(
′
′
2
+2 ′
′
′
+
′
]−
′
′
Karena
′
−2
′
+
dimana ′
′ ′
−2
′
′
+
′
′
′
′
+
′
,
−
′
Schott (2004)
= 0, maka
′
2
′ ′
)
′
)
′
)
=0
′
sehingga diperoleh :
=2 ′ = ′
=( =
′
)
′
′
= = (
)
′
′
(2)
Estimator Ordinary Ridge Regression (ORR) diperoleh dengan meminimumkan jumlah kuadrat galat untuk model Kutner (2005) dan Hoerl (2005) : =
atau
=
+ −
dengan menggunakan metode pengali Langrange yang meminimumkan fungsi : ′
dengan syarat pembatas
=( −
)′ ( −
)
−
′
)′ ( −
=( −
=0
)+ (
−
′
)
yang memenuhi syarat =0
dimana c pengali Langrange tidak bergantung pada Dicari
)′ ( −
=( − =(
′
=
′
= − 2
[
=
=0−2
′
= −2
′
−2
+ 2
−
]−
+ 2
′
′
′
+ 2
′
Karena
′
=
′
′
−( −
′
′
−
′
2
′
+2
( − ′
′
′
′
+2
′
)+ ( +
2
′
′
′
+ (
′
′
′
−
−
′
′
+ (
+
′
= 0 , maka +2
′
−
′
) )
)
+ (
)
+
−
′
−
) (
′
)
−
)
=0
+
′ ′
=(
′
′
+
=0
+
)
+
)
=
=
′
′ ′
=(
Ordinary Ridge Regression (ORR), kelas estimator.
)+ (
′
−
′
+2
′
+
−
+2
′
)+ (
)′ )( −
′
− 2
′
( dimana
=0
dengan memecahkan
dan c konstanta positif berhingga.
′
+
)
dengan 0 ≤
′
(3)
≤ ∞, itulah yang disebut sebagai estimator
≥ 0 adalah nilai konstan yang dipilih sebagai indeks dari
Menurut Crouse (1995); Batah dkk (2009b), menyatakan estimator unbiased ridge regression (URR) didefinisikan sebagai berikut :
Dimana ~
,
= (
′
) (
+
),
+
′
>0
(4)
> 0, estimator URR bersifat tidak bias (David dkk., 2007).
Akan dibuktikan ketidakbiasan dari estimator URR adalah : =
[(
′
+
) (
= [(
′
=(
′
+
)
′
=(
′
+
)
′
=(
′
)
′
=(
′
+
)
diketahui : [(
=(
′
=(
′
=(
′
= =
+ + + + +
′
)
′
) (
+(
′ ′
)
) (
+
′
)]
+
)
+(
′
′
′
+(
′
+
+(
′
+
+
∎
Jadi terbukti bahwa
′
+ [( +(
′
+
′
)
+ ′
+
)
]=(
+
+
)
) )
)
], persamaan (4)
′
]
+
[ ],
)
′
[ ]=
)
)
(5) =
yang berarti bahwa estimator
tidak bias.
KESIMPULAN DAN SARAN Berdasarkan nilai mean squares error (MSE) dan koefisien determinasi (R2) yang diperoleh dari analisis data dapat disimpulkan bahwa persamaan regresi dari penaksiran estimator unbiased ridge regression (URR) lebih baik jika dibandingkan dengan ordinary ridge regression (ORR) dan ordinary least squares (OLS). Estimator ordinary least squares (OLS) dan estimator unbiased ridge regression (URR) bersifat tidak bias, sedangkan estimator ordinary ridge regression (ORR) bersifat bias. Berdasarkan simulasi data produksi padi tahun 1988-2010 di sulawesi selatan, diperoleh taksiran regresi sebagai berikut:
⎡ ⎢ = ⎢ ⎢ ⎣
0,002 ⎤ −0,001 ⎥ ⎥ = −0,007 , ⎥ 0,007 ⎦
⎡ ⎢ = ⎢ ⎢ ⎣
0,009 ⎤ −0,191 ⎥ ⎥ = 0,020 , ⎥ 0,046 ⎦
⎡ ⎢ = ⎢ ⎢ ⎣
0,001 ⎤ 0,950 ⎥ ⎥ = −0,153 ⎥ 0,046 ⎦
Untuk penelitian lebih lanjut, disarankan agar menyelidiki kasus multikolinearitas dengan menggunakan estimator yang yang lain karena dalam penelitian ini digunakan regresi ridge, disamping itu sebaiknya ada program khusus yang digunakan untuk menentukan taksiran nilai c, sehingga koefisien regresi ridge yang diperoleh lebih baik dan stabil.
DAFTAR PUSTAKA Bain, L.J. (1992). Introduction to Probability and Mathematical Statistics. Jakarta: Gramedia Pustaka. Batah, Ozkale. (2009a). Combining Unbiased Ridge and Principal Component Regression Estimators, Communi. Statistics-Theory Methods, 38 : 2201-2209. DOI : 10.1080/03610920802503396. Batah dkk. (2009b). Ridge Regression Estimator. Surveys in Mathematics and its Application, volume 4, ISSN 1842-6298 Crouse, R.H. (1995). Unbiased Ridge Estimation with Prior Information an Ridge Trace, Communi, Statistics-Theory Methods, 24:2341-2354, DOI : 10.1080/03610929508831620. David dkk. (2007). Alternative Methods of Regression, New York. John Wiley & Sons Dereny dkk. (2011). Solving Multicollinearity Problem Using Ridge Regression Models, Int. J. Contemp. Mathematics Sciences, Vol. 6, no. 12, 585-600. Draper dkk. (1992). Analisis Regresi Terapan. Edisi 2. (Terjemahan : Bambang-Sumantri). Jakarta. P.T. Gramedia Pustaka Utama. Hoerl (2005). Ridge Regression : Biased Estimation for non orthogonal Problems, Technometrics, 42 (2000), 80-86. Hoerl dkk. (2008). Practical use of Ridge Regression, a challenge met., The Journal of the Royal Statistical Society C, 34 (2), 114 -120. Kutner. (2005). Ridge Regression and Inverse Problems. Jornal of Statistical Planning and Inference, 93 (225-238). Montgomery, dkk. (1992). Introduction to Linear Regression Analysis. New York. John Wiley& Sons. Pasha dkk. (2004). Application of Ridge Regression to Multicollinear Data, Journal of Research (Science), Baharuddin Zakariya University Multan Pakistan, vol.15, No.1. pp. 97-106. Salam. (2011). A Modification of the Ridge Type Regression Estimator, American Journal of Applied Sciences, 8 (1), 97-102. Sembiring, R.K. (2005). Analisis Regresi Terapan. Bandung : ITB Bandung. Schott, J.R. (2004). Matrix Analysis for Statistics. Jhon Wilwy & Sons, New York.
