ANALISIS PERBANDINGAN REGRESI KOMPONEN UTAMA DAN REGRESI RIDGE UNTUK MENGATASI MASALAH MULTIKOLINIERITAS PADA MODEL REGRESI LINIER BERGANDA
SKRIPSI
WANDA SURIANTO 120803034
DEPARTEMEN MATEMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SUMATERA UTARA MEDAN 2016
Universitas Sumatera Utara
ANALISIS PERBANDINGAN REGRESI KOMPONEN UTAMA DAN REGRESI RIDGE UNTUK MENGATASI MASALAH MULTIKOLINIERITAS PADA MODEL REGRESI LINIER BERGANDA
SKRIPSI
Diajukan untuk melengkapi tugas dan memenuhi syarat mencapai gelar Sarjana Sains
WANDA SURIANTO 120803034
DEPARTEMEN MATEMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SUMATERA UTARA MEDAN 2016
Universitas Sumatera Utara
PERSETUJUAN
Judul
Kategori Nama Nomor Induk Mahasiswa Program Studi Departemen Fakultas
: ANALISIS PERBANDINGAN REGRESI KOMPONEN UTAMA DAN REGRESI RIDGE UNTUK MENGATASI MASALAH MULTIKOLINIERITAS PADA MODEL REGRESI LINIER BERGANDA : SKRIPSI : WANDA SURIANTO : 120803034 : SARJANA (S1) MATEMATIKA : MATEMATIKA : MATEMATIKA DAN ILMU PENGETAHUAN ALAM (FMIPA) UNIVERSITAS SUMATERA UTARA
Disetujui di Medan, Agustus 2016
Komisi Pembimbing : Pembimbing 2,
Pembimbing 1,
Drs. Ujian Sinulingga, M.Si NIP. 19560303 198403 1 004
Dr. Pasukat Sembiring, M.Si NIP. 19531113 198503 1 002
Disetujui Oleh Departemen Matematika FMIPA USU Ketua,
Prof. Dr. Tulus, M.Si. Ph.D NIP. 19620901 198803 1 002
i Universitas Sumatera Utara
PERNYATAAN
ANALISIS PERBANDINGAN REGRESI KOMPONEN UTAMA DAN REGRESI RIDGE UNTUK MENGATASI MASALAH MULTIKOLINIERITAS PADA MODEL REGRESI LINIER BERGANDA
SKRIPSI
Menyatakan dengan sebenarnya bahwa skripsi yang saya serahkan ini benar-benar merupakan hasil karya saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing disebutkan sumbernya.
Medan ,
Agustus 2016
WANDA SURIANTO 120803034
ii Universitas Sumatera Utara
PENGHARGAAN
Puji dan syukur penulis panjatkan kehadirat Allah swt yang telah melimpahkan rahmat dan hidayah-Nya kepada penulis, sehingga penulis dapat menyelesaikan skripsi ini tepat pada waktunya. Skripsi dengan judul “Analisis Perbandingan Regresi Komponen Utama dan Regresi Ridge
untuk Mengatasi Masalah
Multikolinieritas pada Model Regresi Linier Berganda”. Salawat dan salam semoga selalu tercurahkan kepada Nabi Muhammad saw, yang telah memberikan contoh teladan sebagai pedoman hidup bagi seluruh umat manusia. Dalam menyelesaikan skripsi ini, banyak pihak yang telah membantu penulis baik moral maupun spiritual sehingga skripsi ini dapat selesai tepat pada waktunya. Untuk itu, penulis menyampaikan ucapan terima kasih yang sebesarbesarnya dan penghargaan yang setinggi-tingginya kepada: 1. Bapak Dr. Pasukat Sembiring, MSi dan Bapak Drs. Ujian Sinulingga, M.Si selaku dosen pembimbing yang senantiasa membantu dan mengarahkan saya dalam menyelesaikan skripsi ini. 2. Bapak Drs. Pengarapen Bangun, M.Si dan Bapak Drs. Gim Tarigan, M.Si selaku dosen pembanding yang memberikan kritik dan saran yang membangun dalam menyelesaikan skripsi penulis. 3. Bapak Dr. Kerista Sebayang, M.S selaku Dekan FMIPA Universitas Sumatera Utara. 4. Seluruh Bapak dan Ibu dosen yang telah mendidik penulis selama menjalani pendidikan dan Staf pegawai di Fakultas Matematika Dan Ilmu Pengetahuan Alam USU Medan. 5. Yang paling teristimewa kepada kedua orangtua tercinta, ayahanda Suriadi, Ibunda Ngatini, dan saudara-saudari penulis. Karena berkat doa, kasih sayang dan kepercayaan yang tak ternilai serta dukungan moral dan material kepada penulis yang tak pernah putus sehingga ananda dapat menyelesaikan studi sampai ke jenjang sarjana. Semoga Allah S.A.W memberikan balasan yang tak terhingga dengan syurga-Nya yang mulia. Amin.
iii Universitas Sumatera Utara
Terima kasih penulis ucapkan kepada seluruh pihak yang telah membantu dalam proses pembuatan skripsi.
Medan,
Agustus 2016
WANDA SURIANTO 120803034
iv Universitas Sumatera Utara
ANALISIS PERBANDINGAN REGRESI KOMPONEN UTAMA DAN REGRESI RIDGE UNTUK MENGATASI MASALAH MULTIKOLINIERITAS PADA MODEL REGRESI LINIER BERGANDA
ABSTRAK
Multikolinieritas adalah kondisi dimana dalam sebuah regresi terdapat korelasi yang sangat tinggi antara variabel bebasnya. Regresi Komponen Utama dan Regresi Ridge adalah metode untuk mengatasi masalah multikolinieritas yang terjadi pada analisis regresi linier berganda. Metode Regresi Komponen Utama pada dasarnya bertujuan untuk menyederhanakan variabel yang diamati dengan cara menyusutkan (mereduksi) dimensinya. Metode Regresi Ridge adalah metode yang memberikan tetapan bias yang relatif kecil dengan cara mengalikan tetapan bias pada diagonal matriks identitas. Berdasarkan contoh data hasil penelitian bahwasanya Regresi Ridge lebih efektik digunakan jika data berdistribusi normal dan sebaliknya untuk Regresi Komponen Utama lebih efektif jika digunakan pada data yang tidak berdistribusi normal.
Kata Kunci: Multikolinieritas, Regresi Komponen Utama, Regresi Ridge, Regresi Linier Berganda
v Universitas Sumatera Utara
COMPARISON ANALYSIS OF PRINCIPAL COMPONENT REGRESSION AND RIDGE REGRESSION TO SOLVE MULTYCOLINEARITY PROBLEM AT MULTIPLE LINEAR REGRESSION MODEL
ABSTRACT
Multicolinearity is a condition where there is a regression in a very high correlation between the independent variables. Principal Component Regression and Ridge Regression are a methodto overcome multicolinearity problems that occur on the analysis of multiple linear regression. Principal Component Regression Method is basically aimed at simplifying the observed variables in a way to shrink (reduce) its dimensions. Ridge Regression Method is a method which provides a relatively small constant bias by multiplying the bias constant on the diagonal identity matrix. Based on research data sample is Ridge Regression is more effectively used if the data were normally distributed and vice versa for the Principal Component Regression is more effective when used on data that are not normally distributed.
Keywords: Multicolinearity, Principal Component Regression, Ridge Regression, Multiple Linear Regression
vi Universitas Sumatera Utara
DAFTAR ISI
Halaman i ii iii v vi vii viii ix x
PERSETUJUAN PERNYATAAN PENGHARGAAN ABSTRAK ABSTRACT DAFTAR ISI DAFTAR TABEL DAFTAR GAMBAR DAFTAR LAMPIRAN Bab 1.
Bab 2.
Bab 3.
Bab 4.
PENDAHULUAN 1.1. Latar Belakang 1.2. Perumusan Masalah 1.3. Batasan Masalah 1.4. Tujuan Penelitian 1.5. Manfaat Penelitian 1.6. Metodologi Penelitian
1 2 3 3 3 4
TINJAUAN PUSTAKA 2.1. Matriks 2.2. Nilai Eigen dan Vektor Eigen 2.3. Matriks Korelasi 2.4. Multikolinieritas 2.5. Regresi Linier Berganda 2.6. Metode Ordinary Least Square (OLS) 2.7. Analisis Komponen Utama 2.8. Regresi Ridge 2.9. Ridge Trace HASIL DAN PEMBAHASAN 3.1. Analisis Regresi Komponen Utama 3.2. Regresi Ridge 3.3. Ridge Trace 3.4. Contoh Ilustrasi Kasus 1 3.5. Contoh Ilustrasi Kasus 2 3.6. Perbandingan Hasil Regresi Komponen Utama Dan Regresi Ridge KESIMPULAN DAN SARAN 1.1. Kesimpulan 1.2. Saran
DAFTAR PUSTAKA
5 10 12 14 17 19 22 24 25
26 27 29 29 41 51
54 55 56
vii Universitas Sumatera Utara
DAFTAR TABEL
Nomor Tabel Tabel 3.1 Tabel 3.2 Tabel 3.3 Tabel 3.4 Tabel 3.5 Tabel 3.6 Tabel 3.7 Tabel 3.8 Tabel 3.9 Tabel 3.10
Tabel 3.11 Tabel 3.12 Tabel 3.13 Tabel 3.14 Tabel 3.15 Tabel 3.16 Tabel 3.17 Tabel 3.18
Judul
Halaman
Data rata-rata jam kerja dan faktor-faktor yang mempengaruhinya Nilai Korelasi Data Rata-rata Jam Kerja Antar Variabel Bebas Faktor Variansi Inflasi (VIF) (Contoh Ilustrasi Kasus 1) Nilai Eigen, Proporsi Total Variansi dan Proporsi Variansi Kumulatif (Contoh Ilustrasi Kasus 1) Koefisien Komponen Utama (Eigen Vektor) (Contoh Ilustrasi Kasus 1) Skor Faktor Komponen Utama (Contoh Ilustrasi Kasus 1) Signifikansi Koefisien Regresi Komponen Utama (Contoh Ilustrasi Kasus 1) Nilai VIF ̂ Dengan Berbagai Nilai (Contoh Ilustrasi Kasus 1) Nilai ̂ Dengan Berbagai Nilai (Contoh Ilustrasi Kasus 1) Data Mengenai Konsumsi ( ), Pendapatan Upah ( ), Pendapatan Non Upah ( ) dan Non Pertanian ( ) di Amerika Serikat dalam Milyar dollar Nilai Korelasi Data Mengenai Konsumsi Antar Variabel Bebas Nilai Faktor Variansi Inflasi (VIF) (Contoh Ilustrasi Kasus 2) Nilai Eigen, Proporsi Total Variansi dan Proporsi Variansi Kumulatif (Contoh Ilustrasi Kasus 2) Koefisien Komponen Utama (Eigen Vektor) (Contoh Ilustrasi Kasus 2) Skor Faktor Komponen Utama (Contoh Ilustrasi Kasus 2) Koefisien Regresi dengan Satu Komponen Utama (Contoh Ilustrasi Kasus 2) Nilai VIF ̂ Dengan Berbagai Nilai (Contoh Ilustrasi Kasus 2) Nilai ̂ Dengan Berbagai Nilai (Contoh Ilustrasi Kasus 2)
32 36 36 37 38 38 39 40 41 45
46 47 47 48
48 49 50
viii Universitas Sumatera Utara
DAFTAR GAMBAR
Nomor Gambar Gambar Gambar Gambar Gambar Gambar
Judul
3.1 3.2 3.3 3.4 3.5
Gambar 3.6
Ridge Trace (Contoh Ilustrasi Kasus 1) VIF Plot (Contoh Ilustrasi Kasus 1) Ridge Trace (Contoh Ilustrasi Kasus 2) VIF Plot (Contoh Ilustrasi Kasus 2) Normal Plot dari Residual Persamaan (Contoh Ilustrasi Kasus 1) Normal Plot dari Residual Persamaan (Contoh Ilustrasi Kasus 2)
Halaman
42 42 51 52 54 55
ix Universitas Sumatera Utara
DAFTAR LAMPIRAN
Nomor Lampiran Lampiran 1 Lampiran 2 Lampiran 3 Lampiran 4 Lampiran 5 Lampiran 6 Lampiran 7 Lampiran 8
Judul
Halaman
Contoh Data Ilustrasi Kasus 1 Contoh Data Ilustrasi Kasus 2 Menentukan Parameter Regresi Linier Berganda (Contoh Ilustrasi Kasus 1) Menentukan Parameter Regresi Linier Berganda (Contoh Ilustrasi Kasus 2) Transformasi Data Kasus 1 Transformasi Data Kasus 2 Nilai Residual dan MSE (Contoh Ilustrasi Kasus 1) Nilai Residual dan MSE (Contoh Ilustrasi Kasus 1)
56 57 58 62 64 65 66 67
x Universitas Sumatera Utara
