TINJAUAN PUSTAKA Analisis Regresi Linier Berganda
Analisis regresi merupakan suatu teknik statistika untuk menyelidiki dan memodelkan hubungan diantara peubah-peubah, yaitu peubah tak bebas (respon) dan peubah bebas (prediktor). Analisis ini digunakan dalam berbagai bidang ilmu. Diantara model-model regresi, model regresi linier merupakan model yang paling sederhana dan paling sering digunakan. Suatu model linier adalah sebuah fungsi linier dalam parameter Po,P1,...,P,
(Myers & Milton, 1991). Model regresi yang
mempunyai lebih dari satu peubah bebas dan linier dalam koefisiennya disebut model regresi linier berganda yang dinyatakan sebagai berikut : Y i
=PO+PI',,
+P2'12
+ a * . +
Pnl'inl
+ E l
(la)
dengan : yi adalah peubah tak bebas ;xij adalah peubah bebas ke-j pada ulangan ke-i ;Ei adalah sisaan atau galat ; pj adalah koefisien regresi ;i = 1,2, ...,n dan n > m+l ;J = 1,2,...,,m.
Anaiisis regresi digunakan untuk mempelajari hubungan antara sepasang peubah atau lebih, dan terutama untuk menelusuri pola hubungan yang modelnya belum diketahui- dengan sempurna sehingga dalam penerapannya lebih bersifat eksploratif dan mengakar pada pendekatan empirik (Aunuddin, 1989).
Metode Kuadrat Terkecil (MKT)
Model persamaan regresi (la) secara umum dapat ditulis dalam notasi matriks sebagai berikut : y = x p-+ g y-
= Vektor peubah tak
bebas (nxl)
X
= Matriks peubah bebas (nxk)
p- = Vektor penduga parameter (kxl) g
= Vektor
sisadgalat (nxl)
- ) = 0, var(5 ) = 021dan unsur-unsur E tidak berkorelasi. Dengan E(E - , sehingga kuadrat galatnya adalah : Karena E(g ) = 0 maka E( y- ) = X p
Dengan meminimumkan jumlah kuadrat galat diperoleh
dimana
/? sebagai berikut :
adalah penduga yang memenuhi sifat linier, tidak berbias dan memiliki
ragam minimum (Myers & Milton, 1991). Pada analisis regresi, salah satu tujuan yang ingin dicapai adalah pengujian hipotesis terhadap koefisien regresi. Tujuan dari hipotesis inj adalah untuk mengetahui kontribusi relatif dari peubah bebas. Pada MKT, pengujian hipotesis tersebut biasanya menggunakan uji t. Adapun bentuk hipotesis statistiknya jika yang ingin diuji Po adalah :
Secara eksplisit, uji terhadap hipotesis di atas didasarkan pada statistik uji :
Kaidah keputusan dalam pengujian ini bila taraf nyata ditetapkan sebesar a adalah
I I
Jika thir
'(1-a/2;n-2)
' terima Ho. Dan jika tidak maka terima HI.
Multikolinearitas Masalah multikolinearitas muncul ketika terdapat korelasi diantara peubah bebasnya, sehingga ha1 ini akan mempengaruhi ragam dari penduga kuadrat terkecil dan pendugaan model yang dibuat (Wetherill, 1986). Multikolinearitas bukanlah suatu kesalahan pemodelan, tetapi suatu kondisi data yang tidak sempurna, sehingga sangatlah penting untuk menyadari kehadiran multikolinearitas (Chatterjee & Price, 1977). Hal senada menurut Belsley et al, (1980) bahwa multikolinearitas adalah masalah data bukan masalah statistik. Akan tetapi dalam interpretasi dari model regresi yang terbentuk atau yang ingin dicari menimbulkan konsekuensi. Konsekuensi dari multikolinearitas dalam analisis regresi tersebut adalah ragam dan peragam dari penduga kuadrat terkecil menjadi lebih besar, selang kepercayaan bagi penduga parameter menjadi lebih lebar dan galat baku dari koefisien regresi menjadi bertambah besar sehingga statistik t yang didefenisikan sebagai rasio antara penduga dan galat baku koefisien penduga menjadi lebih kecil. Untuk menjelaskan ha1 ini, maka misalkan model regresi linier berganda berikut :
Y
=Po + P I X ,+ P 2 ~ 2+ E
(14
Dengan mengasumsikan peubah galat (sisaan) memiliki sifat-sifat : E[&]=O, - 2 Var[&21-0 , COV[E~, cj]= E[Q, E~]=O,untuk i#j, maka persamaan regresi diatas dapat
diduga dengan MKT yang menghasilkan koefisien regresi bl dan b2 sebagai penduga tak bias bagi parameter PI dan p2. Selanjutnya dengan mendefenisikan peubah xl dan xz dalam bentuk simpangan terhadap nilai rataannya, maka berdasarkan MKT
diperoleh :
dimana
1-12
adalah koefisien korelasi antara peubah bebas xl dan x2 (Dillon &
Goldstein, 1984). Dengan demikian dari persamaan (2c), (3c) dan (4c) tampak secara jelas apabila 1-12 mendekati 1, maka penyebutnya akan menjadi kecil dan apabila sarna dengan 1 persamaan menjadi tidak dapat ditentukan, karena penyebutnya akan sama dengan no1 dan dalam kasus pembagian dengan no1 memberikan hasil yang tidak terdefenisi, sehingga Var[bl], Var[b2] dan Cov[bl,b2] menjadi tidak terdefenisi apabila terjadi korelasi linier secara sempurna diantara peubah-peubah bebas x. Sebaliknya apabila
peubah-peubah x bersifat ortogonal, dimana 1-12 = 0, maka Cov[bl,b2] = 0 dan Var[bl] = 02/&12, Var[b2] = 02/C~22.
Dan juga penafsiran koefisien regresi sebagai tolak ukur perubahan nilai harapan peubah tak bebas bila peubah bebas padanannya naik satu satuan sedangkan semua peubah bebas lainnya konstan tidak lagi sepenuhnya berlaku. Meskipun secara konseptual bisa divariasikan salah satu peubah bebas pada saat yang sama mempertahankan peubah-peubah lain tetap (konstan). Namun di dalam praktek tidak mungkin melakukannya untuk peubah-peubah bebas yang berkorelasi tinggi. Misalnya, model regresi untuk maramalkan hasil panen dari banyaknya curah hujan d m jumlah jam sinar matahari, hubungan antara kedua peubah bebas tersebut tidak mungkin diubah-ubah sementara yang lain dibuat konstan. Jadi bila peubah-peubah bebas saling berkorelasi, koefisien salah satu peubah bergantung pada peubah lain mana yang dimasukkan ke dalam model dan mana yang tetap di luar model. Dengan demikian koefisien regresi tidak mencerminkan pengaruh inheren suatu peubah bebas terhadap peubah tak bebas, melainkan pengaruh marjinal atau parsial, bila diketahui peubah bebas lain telah ada di dalam model. Kondisi demikian juga mempengaruhi tanda peubah-peubah bebas terhadap peubah tak bebasnya yang digambarkan oleh tanda dari koefisien regresi bisa berubah-ubah apabila masing-masing peubah dan secara bersamaan dimasukkan kedalam model (Neter et al, 1990). Indikasi adanya masalah kekolinearan ganda yang serius ditunjukkan oleh diagnostik-diagnostikinformal sebagai berikut :
1. Terjadi perubahan besar koefisien regresi dugaan bila suatu peubah bebas ditambahkan atau dibuang, atau bila suatu amatan diubah atau dibuang. 2.
Uji-uji individu terhadap koefisien regresi bagi peubah-peubah bebas penting memberikan hasil yang tidak nyata.
3.
Tanda koefisien regresi dugaan yang diperoleh bertentangan dengan yang diharapkan berdasarkan pertimbangan teoritis atau pengalaman-pengalaman sebelumnya.
4. Koefisien regresi sederhana yang besar antara pasangan-pasangan peubah bebas di dalam matriks korelasi rxx. 5.
Selang kepercayaan yang lebar bagi koefisien regresi peubah bebas yang penting. Metoda informal di atas memiliki sejumlah keterbatasan, yaitu tidak
memberikan ukuran kuantitatif tentang dampak kekolinearan ganda, tidak mampu mengidentifikasi sifat kekolinearan ganda dan adakalanya perilaku yang teramati terjadi tanpa adanya kekolinearan ganda. Melihat keterbatasan di atas, suatu metode formal untuk mendeteksi adanya kekolinearan ganda yang banyak digunakan adalah melalui faktor inflasi ragam (Variance Inflation Factor [VIF]). VIF yaitu pengukuran multikolinearitas untuk peubah bebas ke-i. VIF dihitung dari matriks korelasi peubah bebas yang telah dibakukan satuannya. VIF adalah salah satu faktor yang mengukur seberapa besar kenaikan ragam dari koefisien regresi dibandingkan terhadap peubah bebas yang ortogonal jika dihubungkan secara linier (Fox & Monette, 1992). Nilai VIF akan semakin besar jika terdapat korelasi yang semakin besar diantara peubah-peubah bebas. VIF yang melebihi sepuluh
bisa digunakan sebagai petunjuk adanya
kolinearitas (Neter et al, 1990). Hubungan antara VIFi dan kolinearitas adalah melalui rumus :
R:
= koefisien
determinasi ganda bila xi diregresikan terhadap p-2 peubah x lainnya
di dalam model. Multikolinearitas dikatakan serius bila VIF lebih besar dari 10 (Rawling et al, 1988).
Analisis Komponen Utama
Misalkan suatu peubah acak x = (xl,xz,...,x,) yang terdiri dari p peubah yang mengikuti sebaran peubah ganda tertentu dengan vektor nilai tengah p dan matriks ragam peragam S atau matriks korelasi R. Kedua matriks tersebut berguna dalam perhitungan nilai akar ciri (Aj) dan vektor ciri (aj). Dari p buah peubah asal tadi dapat diturunkan p buah komponen utarna untuk menerangkan keragaman total sistem, dan seringkali keragaman total itu dapat diterangkan secara memuaskan oleh sejumlah kecil komponen utama, misal k buah komponen dimana k
wi = a,,x,+a2,,x2+...+ a , , ~ . ~
(14
Matriks peragam S digunakan bila semua peubah yang diamati diukur dalam satuan pengukuran yang sama, tetapi bila peubah yang diamati mempunyai satuan pengukuran yang berbeda perlu dibakukan dalam peubah baku sebagai berikut :
Sehingga komponen utama ke-j dari contoh pengamatan berdimensi p peubah baku adalah merupakan kombinasi linear dari peubah baku sebagai berikut : W, = a,,iz, +a2,z2 +...+ a,.z,
(34
Untuk peubah yang memiliki satuan pengukuran yang tidak sama maka komponen utama diturunkan dari matriks korelasi R (Gasperz, 1992). Untuk mengukur keeratan hubungan (korelasi) antara peubah asal dengan komponen utarna dapat dilihat melalui besarnya koefisien korelasi antara peubah asal dengan komponen utama itu, bila komponen utama diturunkan dari matriks korelasi
R maka koefisien korelasi antara peubah baku ke-i dan komponen utama ke-j dihitung dengan :
Analisis komponen utama dapat dijadikan tahap antara dalam penelitian yang bersifat lebih besar. Untuk tujuan analisis lanjutan, misalnya analisis regresi komponen utama, dihitung skor komponen utarna dari setiap objek pengamatan.
Analisis Regresi Komponen Utama
Pengaruh menyebabkan
multikolinearitas
pendugaan
pada
koefisien
pemodelan
regresi
yang
regresi kurang
dengan baik.
MKT
Masalah
multikolinearitas dapat diatasi dengan beberapa metode, antara lain Metode Regresi Komponen Utarna (Kristiningrum, 1997), Metode Regresi Ridge (Pakpahan, 2000) dan Metode Kuadrat Terkecil Parsial (Herwindiati, 1997). Untuk mengetahui metode terbaik dalam mengatasi multikolinearitas, Henvindiati telah melakukan penelitian terhadap Metode Kuadrat Terkecil Parsial (MKTP), Metode Regresi Komponen Utama dan Metode Regresi Ridge. Penelitian tersebut menyimpulkan bahwa MKTP lebih baik dibandingkan Regresi Komponen Utama dan Regresi Ridge. Analisis regresi komponen utama merupakan suatu analisis kombinasi antara analisis regresi dan analisis komponen utama. Analisis regresi komponen utama ditetapkan bila dalam pembentukan model pendugaan peubah bebas yang digunakan banyak dan terdapat hubungan yang erat antar peubah bebasnya. Adanya korelasi antar peubah bebas menyebabkan salah satu asumsi dasar regresi dalam MKT menjadi gaga1 terpenuhi dan salah satu cara membebaskan korelasi antar peubah bebasnya adalah dengan regresi komponen utama. Pendugaan dengan regresi komponen utama akan menghasilkan nilai dugaan yang memiliki tingkat ketelitian yang lebih tinggi, dengan jumlah kuadrat galat yang lebih kecil bila dibandingkan dengan pendugaan MKT (Gasperz, 1992). Dari p komponen utama yang diturunkan dari matriks korelasi R dihitung skor komponen utarna untuk tiap-tiap komponen utarna yang menghasilkan W, skor komponen utama.
Wp= ai'g,
(le)
z = vektor skor baku peubah yang diamati dari unit pengamatan ke-i.
-I
Setelah diperoleh skor komponen utama maka regresikan peubah tak bebas y dengan skor komponen utama W untuk menghasilkan penduga koefisien regresi untuk p komponen utama,?; - penduga ragam s2k);dan jumlah kuadrat regresi S S ). ~ Model regresi komponen utama untuk seluruh skor komponen utama :
Selanjutnya uji H , :
= 0 untuk setiap j dengan menggunakan uji t atau uji
F, dan eliminasi dari model regresi komponen utarna (Rawlings et al, 1998) bila mempunyai akar ciri yang cukup kecil yang menyebabkan masalah kolinearitas dan yang koefisien penduga regresinya
b,) tidak berbeda nyata dari nol.
Dari p komponen utama setelah dieliminasi s komponen utama tersisa g komponen utama, untuk selanjutnya transformasi komponen utarna ke dalam peubah aslinya, sehingga persamaan regresinya menjadi :
Ragam koefisien regresi komponen utama dihitung dengan rumus :
dimana Ag adalah akar ciri ke-j dan se2adalah galat dibagi jumlah kuadrat terkoreksi, dirurnuskan sebagai :
Pengujian signifikansi terhadap koefisien regresi secara parsial untuk mengetahui pengaruh dari setiap peubah bebas terhadap peubah tak bebas dengan uji t- student, yaitu
