ESTIMASI FUNGSI PENGHALUS PADA REGRESI ISOTONIK ADITIF DENGAN METODE KUADRAT TERKECIL
oleh YULIANA SITI NURAINI M0107071
SKRIPSI ditulis dan diajukan untuk memenuhi sebagian persyaratan memperoleh gelar Sarjana Sains Matematika
JURUSAN MATEMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SEBELAS MARET SURAKARTA 2012
i
SKRIPSI ESTIMASI FUNGSI PENGHALUS PADA REGRESI ISOTONIK ADITIF DENGAN METODE KUADRAT TERKECIL yang disiapkan dan disusun oleh YULIANA SITI NURAINI M0107071
dibimbing oleh Pembimbing I,
Pembimbing II,
Dra. Etik Zukhronah, M.Si.
Supriyadi, M.Si.
NIP. 19730225 199903 2 001
NIP. 19680611 199302 2 001
telah dipertahankan di depan Dewan Penguji pada hari Kamis, tanggal 19 Januari 2012 dan dinyatakan telah memenuhi syarat.
Anggota Tim Penguji
Tanda Tangan 1. …………………
1. Irwan Susanto, DEA. NIP. 19710511 199512 1 001
2. …………………
2. Drs. Siswanto, M.Si. NIP. 19670813 199203 1 002
Surakarta, Januari 2012 Disahkan oleh Fakultas Matematika dan Ilmu Pengetahuan Alam Dekan,
Ketua Jurusan Matematika,
Ir. Ari Handono Ramelan, M.Sc., (Hons)., Ph.D.
Irwan Susanto, DEA.
NIP. 19610223 198601 1 001
NIP. 19710511 199512 1 001
ii
ABSTRAK Yuliana Siti Nuraini, 2012. ESTIMASI FUNGSI PENGHALUS PADA REGRESI ISOTONIK ADITIF DENGAN METODE KUADRAT TERKECIL. Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Sebelas Maret. Regresi isotonik merupakan salah satu cabang dari regresi nonparametrik. Pada model regresi isotonik, data diasumsikan monoton naik, dan fungsi regresinya diasumsikan termasuk ke dalam kelas fungsi penghalus. Salah satu model regresi isotonik yang mengandung lebih dari satu variabel bebas adalah model regresi isotonik aditif. Tujuan dari penelitian ini adalah mengkaji ulang estimasi fungsi regresi isotonik aditif dan selanjutnya, menerapkan ke dalam contoh kasus. Estimasi fungsi penghalus dalam model regresi isotonik aditif menggunakan metode kuadrat terkecil yang diselesaikan melalui algoritma backfitting yaitu , dengan dihitung menggunakan PAVA. Secara geometri, masalah estimasi dengan metode kuadrat terkecil tersebut dapat juga dipandang sebagai masalah proyeksi dalam suatu ruang vektor . Kata kunci: regresi isotonik, regresi isotonik aditif, metode kuadrat terkecil, algoritma backfitting, proyeksi
iii
ABSTRACT Yuliana Siti Nuraini, 2012. ESTIMATION OF SMOOTH FUNCTION IN ADDITIVE ISOTONIC REGRESSION USING LEAST SQUARE METHOD. Faculty of Mathematics and Natural Sciences, Sebelas Maret University. Isotonic regression is one kind of nonparametric regression. In this model, data is assumed as increasing monoton, and its function is assumed as smooth function class. One of this model that is containing more than one independent variable is called additive isotonic regression model. The goal of this research are to recite the estimation of isotonic regression function, and to apply its in a case. Estimation of smooth function in additive isotonic regression model uses least square method that is finished by backfitting algorithm, that is , where determined using PAVA. Geometrically, the problem of the method can be observed as projection problem in . Keywords: isotonic regression, additive isotonic regression, least square method, backfitting algorithm, projection
iv
MOTTO
Sesungguhnya sesudah kesulitan itu ada kemudahan. Maka apabila kamu telah selesai dari sesuatu urusan, kerjakanlah dengan sungguhsungguh urusan yang lain. (Terjemahan Q.S. Al Insyirah : 6-7).
v
PERSEMBAHAN
Karya ini ku persembahkan untuk alm. bapak, ibu, dan ketiga kakakku tercinta atas segala doa, motivasi, dan dukungannya serta kasih sayang yang telah diberikan.
vi
KATA PENGANTAR Puji syukur senantiasa penulis panjatkan kehadirat Allah SWT atas segala limpahan rahmat dan karunia-Nya sehingga penulis dapat menyelesaikan skripsi ini. Terselesaikannya skripsi ini tidak lepas dari bimbingan dan bantuan dari berbagai pihak, untuk itu penulis mengucapkan terima kasih kepada 1. Dra. Etik Zukhronah, M. Si. selaku Pembimbing I atas bimbingan dan motivasinya kepada penulis dalam penyusunan skripsi ini. 2. Supriyadi Wibowo, M. Si. selaku Pembimbing II atas bimbingan dan motivasinya kepada penulis dalam penyusunan skripsi ini. 3. Keluargaku yang selalu memberikan doa dan motivasi. 4. Esi Mestalefa dan Lulu Atul Fajaroh yang telah memberikan masukan dan dukungan kepada penulis. 5. Teman-teman matematika angkatan 2007 dan 2006 atas motivasi dan masukan yang telah diberikan dalam penyusunan skripsi ini. 6. Semua pihak yang telah membantu kelancaran penulisan skripsi ini. Semoga karya ini dapat bermanfaat bagi pembaca.
Surakarta,
Januari 2012
Penulis
vii
DAFTAR ISI JUDUL ............................................................................................................... i PENGESAHAN ................................................................................................. ii ABSTRAK ......................................................................................................... iii ABSTRACT ......................................................................................................... iv MOTTO ............................................................................................................. v PERSEMBAHAN .............................................................................................. vi KATA PENGANTAR ....................................................................................... vii DAFTAR ISI ...................................................................................................... viii DAFTAR GAMBAR ......................................................................................... x DAFTAR NOTASI ............................................................................................ xi
BAB I
PENDAHULUAN .............................................................................. 1 1.1 Latar Belakang Masalah ................................................................ 1 1.2 Perumusan Masalah ...................................................................... 3 1.3 Batasan Masalah ........................................................................... 3 1.4 Tujuan .......................................................................................... 3 1.5 Manfaat ........................................................................................ 3
BAB II LANDASAN TEORI ......................................................................... 4 2.1 Tinjauan Pustaka ........................................................................... 4 2.2 Teori-teori penunjang .................................................................... 5 2.2.1
Regresi Isotonik ................................................................ 5
2.2.2
Himpunan Convex Cone ................................................... 8
2.2.3
Proyeksi ............................................................................. 11
2.2.4
Metode Kuadrat Terkecil .................................................. 13
2.2.5
Pooled Adjacent Violators Algorithm (PAVA) .................. 14
2.2.6
Masalah Dual dari Regresi Isotonik ..................................15
2.2.7
Algoritma Dykstra ............................................................. 16
2.3 Kerangka Pemikiran ...................................................................... 18
viii
BAB III METODE PENELITIAN ................................................................. 20
BAB IV PEMBAHASAN ................................................................................ 21 4.1 Estimasi Fungsi Penghalus Regresi Isotonnik Aditif dengan Metode Kuadrat Terkecil (MKT) ............................................................... 21 4.2 Contoh Kasus ................................................................................ 26 4.2.1
Deskripsi Data ..................................................................... 26
4.2.2
Estimasi Fungsi Penghalus .................................................. 27
BAB V PENUTUP ............................................................................................ 30 5.1 Kesimpulan ....................................................................................... 30 5.2 Saran .................................................................................................. 30
DAFTAR PUSTAKA ....................................................................................... 31
LAMPIRAN ...................................................................................................... 32
ix
DAFTAR GAMBAR Gambar 4.1 Grafik konsumsi bahan bakar gas Gambar 4.2 Grafik konsumsi bahan bakar gas
terhadap berat mobil
. 27
terhadap pergantian oli mesin
.................................................................................................................... 27
x
DAFTAR NOTASI : vektor variabel tak bebas : matriks variabel bebas : vektor variabel bebas ke : rata-rata dari vektor : vektor konstanta : vektor fungsi penghalus dari variabel bebas : vektor variabel random : matriks identitas : ruang vektor dimensi : ruang vektor dimensi
sebanyak
variabel bebas
: himpunan convex cone : himpunan convex cone dari fungsi regresi pada variabel bebas ke : matriks fungsi regresi dari variabel bebas : vektor fungsi regresi dari variabel bebas ke : elemen fungsi penghalus dari variabel bebas ke : elemen fungsi regresi dari variabel bebas ke
untuk observasi ke untuk observasi ke
: hasil estimasi variabel tak bebas : hasil estimasi fungsi penghalus : proyeksi dari vektor
ke himpunan convex cone
: himpunan dual cone dari himpunan convex cone : irisan dari himpunan convex cone untuk
variabel bebas
: perubahan kenaikan dari proses proyeksi : barisan fungsi penghalus dari variabel bebas ke : irisan dari himpunan dual cone untuk
xi
pada iterasi ke
variabel bebas
BAB I PENDAHULUAN
1.1 Latar Belakang Masalah Banyak permasalahan dalam kehidupan nyata yang dapat diformulasikan ke dalam suatu model regresi karena lebih mudah digunakan dan lebih representatif. Menurut Sembiring [10], model regresi adalah model yang menentukan hubungan antara variabel bebas dan variabel tak bebas. Salah satu bentuk hubungan tersebut adalah monoton. Hubungan monoton ada dua yaitu monoton naik dan monoton turun. Salanti [9] mengemukakan bahwa metode regresi yang dapat digunakan dalam bentuk hubungan variabel bebas dan variabel tak bebas monoton adalah regresi monotonik. Terdapat dua jenis metode regresi monotonik, yaitu regresi antitonik dan regresi isotonik. Regresi antitonik adalah metode regresi yang digunakan apabila hubungan antara variabel bebas dan variabel tak bebas berbetuk monoton turun. Apabila hubungan antara variabel bebas dan variabel tak bebasnya berbentuk monoton naik, metode regresi yang digunakan disebut regresi isotonik. Pada penelitian ini akan dibahas khusus untuk regresi isotonik. Satusatunya asumsi pada regresi isotonik adalah nilai
naik untuk nilai
yang naik
(Friedman dan Tibshirani [4]). Pada penelitian Setiani [11] telah dibahas mengenai model regresi isotonik dengan satu variabel bebas dan satu variabel tak bebas. Oleh karena itu dalam skripsi ini, peneliti akan membahas model regresi isotonik dengan variabel bebas lebih dari satu. Model regresi ini disebut sebagai model regresi isotonik aditif. Model regresi isotonik aditif adalah model yang menjelaskan bahwa suatu variabel tak bebas merupakan jumlah dari fungsi regresi pada masing-masing variabel bebas
yang mempengaruhi.
Menurut Suparti [14], apabila dilihat dari asumsi bentuk fungsinya terdapat dua pendekatan yang dapat dilakukan dalam mengestimasi fungsi regresi, yaitu pendekatan parametrik dan nonparametrik. Pendekatan parametrik dilakukan ketika asumsi bentuk fungsi regresi diketahui tergantung pada suatu parameter,
1
2
sehingga mengestimasi fungsi regresi sama artinya dengan mengestimasi parameternya. Pendekatan nonparametrik dilakukan saat asumsi bentuk fungsi regresi tidak diketahui. Regresi isotonik merupakan salah satu jenis model regresi yang menggunakan pendekatan nonparametrik. Menurut Suparti [14], fungsi regresi nonparametrik termuat dalam kelas fungsi penghalus artinya mempunyai turunan yang kontinu. Mammen dan Yu [8] mengestimasi fungsi regresi pada regresi isotonik aditif menggunakan metode kuadrat terkecil. Metode ini memiliki kelebihan, yaitu sederhana, mudah dalam perhitungannya, dan konsisten. Prinsip dari metode kuadrat terkecil adalah mencari nilai estimasi fungsi regresi yang meminimumkan sesatan. Menurut Mammen dan Yu, prinsip ini identik dengan prinsip proyeksi dalam geometri, yaitu mencari jarak terdekat dari dua vektor di
.
Pada penelitian Mammen dan Yu [8], dan Hinder [6] masalah estimator kuadrat terkecil pada regresi isotonik aditif diselesaikan dengan menggunakan algoritma backfitting. Hinder [6] mengatakan bahwa algoritma backfitting merupakan algoritma berulang dari metode kuadrat terkecil untuk setiap fungsi regresi pada regresi isotonik aditif. Oleh karena itu, algoritma ini cocok digunakan ketika fungsi regresi dari suatu model tidak diketahui. Pooled Adjacent Violators Algorithm (PAVA) digunakan di dalam algoritma backfitting ini untuk menghitung setiap fungsi regresi yang diestimasi. PAVA adalah suatu algoritma yang digunakan untuk menghitung estimasi fungsi regresi agar hasil estimasi memenuhi asumsi monoton naik. Sehingga, dengan diterapkannya PAVA dalam algoritma backfitting menjamin hasil estimasi fungsi regresi dengan metode kuadrat terkecil, memenuhi asumsi pada regresi isotonik. Berdasarkan hal tersebut, peneliti tertarik untuk mengkaji ulang estimasi fungsi regresi isotonik khususnya untuk fungsi penghalus pada regresi isotonik aditif. Metode yang digunakan untuk mengestimasi fungsi regresi isotonik aditif adalah metode kuadrat terkecil. Metode ini diselesaikan melalui algoritma backfitting dan menggambarkannya sebagai proses proyeksi dalam suatu ruang
3
vektor
. Setelah itu menerapkan langkah-langkah estimasi fungsi regresi
tersebut ke dalam contoh kasus.
1.2 Rumusan Masalah Berdasarkan latar belakang masalah, disusun perumusan masalah bagaimana estimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil.
1.3 Batasan Masalah Agar tidak memperluas pembahasan, penulisan skripsi ini dibatasi pada estimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil yang diselesaikan dengan algoritma backfitting.
1.4 Tujuan Penelitian Tujuan penulisan skripsi ini adalah mengestimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil.
1.5 Manfaat Penelitian Manfaat dari penelitian ini adalah mengetahui hubungan antara metode kuadrat terkecil dan proyeksi, yaitu prinsip metode kuadrat terkecil identik dengan masalah proyeksi.
BAB II LANDASAN TEORI
Pada bagian pertama dari bab ini diberikan tinjauan pustaka yang berisi penelitian-penelitian sebelumnya yang mendasari penelitian ini. Pada bagian kedua dari bab ini diberikan teori-teori penunjang yang berisi definisi-definisi sebagai dasar pengertian untuk mempermudah pembahasan selanjutnya. Pada bagian ketiga dari bab ini disusun kerangka pemikiran yang menjelaskan alur pemikiran dalam penulisan skripsi ini.
2.1 Tinjauan Pustaka Pada tahun 1972 Barlow [1] menulis sebuah buku yang memperkenalkan tentang regresi isotonik. Dia membahas tentang regresi isotonik beserta metodemetode estimasi fungsi regresi. Metode estimasi yang dibahas oleh Barlow [1] adalah metode kuadrat terkecil dan metode maksimum likelihood. Kedua metode tersebut banyak digunakan juga oleh peneliti-peneliti lain untuk mengestimasi fungsi regresi pada berbagai masalah regresi. Dahlbom [3] telah melakukan penelitian pada tahun 1998 tentang metode estimasi kuadrat terkecil terbobot. Metode estimasi yang dibahas oleh Dahlbom [3] merupakan perluasan dari metode estimasi kuadrat terkecil regresi isotonik yang telah dibahas oleh Barlow [1]. Dahlbom [3] membatasi penelitian hanya untuk kasus persamaan regresi dengan satu variabel bebas. Kasus lain yang lebih luas, yaitu masalah regresi dengan variabel bebas lebih dari satu yang telah diteliti oleh Mammen dan Yu [8] pada tahun 2007. Mammen dan Yu [8] menyebutkan bahwa model regresi isotonik dengan variabel bebas lebih dari satu disebut dengan regresi isotonik aditif. Metode estimasi fungsi regresi isotonik aditif yang digunakan oleh Mammen dan Yu [8] adalah metode kuadrat terkecil yang diselesaikan dengan menggunakan algoritma backfitting. Algoritma ini digunakan untuk mempermudah perhitungan estimasi fungsi regresi pada regresi isotonik aditif.
4
5
Pada tahun 2008 Hinder [6] menyempurnakan penelitian yang telah dilakukan oleh Mammen dan Yu [8]. Pada penelitian Hinder [6] telah dibuktikan teorema kekonvergenan dari algoritma backfitting. Pada penelitian ini akan mengkaji ulang hasil penelitian Mammen dan Yu [8], dan Hinder [6].
2.2 Teori-teori Penunjang Untuk menyelesaikan perumusan masalah, perlu untuk menguraikan terlebih dahulu beberapa hal yang mendasari penelitian ini. Adapun beberapa hal tersebut meliputi regresi isotonik, himpunan convex cone, proyeksi, metode kuadrat terkecil, Pooled Adjacent Violators Algorithm (PAVA), masalah dual dari regresi isotonik, algoritma Dykstra.
2.2.1 Regresi Isotonik Menurut Colombo [2], model regresi isotonik untuk satu variabel bebas dan satu variabel tak bebas dapat dinyatakan sebagai berikut
dengan : vektor variabel tak bebas yang berukuran : vektor variabel bebas yang berukuran : vektor konstanta yang berukuran
, ,
yang tidak diketahui,
: fungsi penghalus dari vektor variabel bebas
yang tidak
diketahui. : vektor variabel random berukuran
, dengan rata-rata
berarti
6
dan variansi untuk observasi ke
sebagai berikut,
serta covariansi untuk observasi ke
dan ke
sebagai berikut,
Nilai varians-kovarians untuk n observasi dapat diringkas dalam bentuk matriks di bawah ini.
Karena tidak ada korelasi antara
dan
, untuk
, maka
7
dengan adalah matriks identitas berukuran
. Matriks pada persamaan
disebut dengan matriks varians-kovarians.
Definisi 2.2.1. (Colombo [2]) Hubungan biner terurut sederhana pada vektor
jika
a. Refleksif:
;
, untuk
b. Transitif: jika c. Antisimetris: jika
,
, maka ,
d. Setiap dua elemen pada vektor
, maka
pada vektor
dikatakan
; ;
dibandingkan:
berlaku
atau
pada persamaan
dikatakan isotonik
.
Suatu fungsi penghalus apabila memenuhi definisi berikut. Definisi 2.2.2. (Colombo [2]) Misal
adalah suatu vektor yang terdiri dari
yang terurut sederhana
. Suatu fungsi
bernilai real dikatakan isotonik, jika antitonik, jika
pada
dan dikatakan .
Berdasarkan Definisi 2.2.2 dapat diartikan bahwa fungsi penghalus dikatakan isotonik apabila fungsi tersebut memiliki sifat monoton naik. Menurut Hinder [6], model regresi isotonik untuk lebih dari satu variabel bebas dan satu variabel tak bebas disebut model regresi isotonik aditif. Model regresi tersebut dinyatakan sebagai berikut
8
dengan
adalah fungsi penghalus dari vektor variabel bebas
berbentuk vektor kolom, dengan
ke- . dan
adalah
konstanta yang tidak diketahui. Hastie dan Tibshirani [4] menyebutkan bahwa nilai
, yaitu rata-rata dari
. Pada tulisan ini
dengan nol. Apabila model yang diperoleh memuat diganti dengan
, dengan
diasumsikan sama
yang tidak nol, maka
adalah rata-rata dari
sehingga diperoleh
sama dengan nol. Oleh karena itu, dengan asumsi bahwa persamaan sama dengan nol maka
pada persamaan
memuat
yang
dapat dihilangkan, sehingga
diperoleh persamaan,
2.2.2 Himpunan Convex Cone Schott [12] menyebutkan bahwa himpunan convex adalah himpunan bagian dari suatu ruang
. Himpunan convex ini dinotasikan dengan
dituliskan dengan
. Misal diberikan matriks
vektor
dan
Misalkan
, dapat , dengan
, dapat dituliskan dalam matriks
, dengan
adalah fungsi dari matriks
dituliskan dengan adalah fungsi dari vektor Fungsi tersebut dapat dituliskan dalam bentuk matriks,
, dengan , untuk setiap
.
9
Definisi 2.2.3. (Hoffmann [7]) Misalkan kolom yang sama pada matriks dan vektor
,
adalah himpunan semua
, dinotasikan dengan suatu vektor
sedemikian sehingga terdapat matriks
kata lain,
,
. Dengan .
Berdasarkan Definisi 2.2.3, persamaan
dapat dituliskan menjadi,
dengan
untuk setiap , dengan
dimana
, dan
adalah himpunan bagian dari
.
Definisi 2.2.4. (Schott [12]) Suatu himpunan convex, jika untuk setiap vektor
juga himpunan convex di ruang vektor
, untuk setiap
, maka
.
Definisi 2.2.5. (Hinder [6]) Suatu himpunan dan
, berlaku
.
adalah himpunan convex dan
untuk setiap matriks
dikatakan himpunan
dan vektor
dimana adalah skalar yang memenuhi Karena
,
berlaku
dikatakan himpunan cone, jika
10
Pada tulisan ini, hasil kali skalar dalam suatu ruang vektor didefinisikan sebagai berikut. Definisi 2.2.6. (Smith dan Minton [13]) Hasil kali titik dari dua vektor dan
di
didefinisikan dengan,
Definisi 2.2.7. (Hoffmann [7]) Hasil kali skalar dari
didefinisikan
dengan,
Berdasarkan Definisi 2.2.6 dan 2.2.7 dapat disimpulkan bahwa hasil kali titik sama dengan hasil kali skalar, atau dapat dituliskan dengan
.
Definisi 2.2.8. (Hoffmann [7]) Hasil kali skalar dari vektor
,
dengan
,
dan
untuk setiap
didefinisikan dengan,
Operasi hasil kali skalar pada Definisi 2.2.8 digunakan dalam beberapa definisi berikut.
Definisi 2.2.9. (Barlow, et al. [1]) Misalkan matriks
pada
dari vektor
,
, dengan yang memenuhi:
a) jika vektor
dan vektor , dengan
b) jika matriks
adalah himpunan convex cone dari
dan
, maka
, dan , maka
.
adalah fungsi
11
dikatakan dual cone dari
, jika vektor
, untuk setiap
,
maka
dengan
dan
untuk semua vektor
,
.
2.2.3 Proyeksi Pada penelitian Mammen dan Yu [8], menyebutkan bahwa regresi isotonik dengan satu variabel bebas, estimasi fungsi regresi diperoleh dari proyeksi vektor ke convex cone dari vektor isotonik di
. Dengan kata lain, estimator kuadrat
terkecil pada regresi isotonik dengan satu variabel bebas,
dengan vektor
,
untuk
, maka
atau ditulis
, merupakan proyeksi dari vektor , dari vektor isotonik
di
ke convex cone
. Proyeksi ini disimbolkan dengan
.
Selanjutnya akan dijelaskan proyeksi ke convex cone dari vektor isotonik untuk regresi isotonik dengan dengan
variabel bebas. Persamaan regresi isotonik
variabel bebas pada persamaan
Vektor
dapat dituliskan menjadi,
adalah jumlahan dari semua elemen baris yang sama pada matriks
. Dengan kata lain, dan
, untuk setiap , maka
dengan
di
adalah himpunan bagian dari
juga merupakan himpunan bagian dari
Definisi 2.2.10. (Hoffmann [7]) isotonik
. Atau dapat dituliskan
, dengan . Sehingga
, ditulis
.
merupakan himpunan convex cone dari vektor
. Titik terdekat dari
, yaitu proyeksi dari vektor
,
ke vektor
ke convex cone isotonik
adalah .
12
Definisi 2.2.11. (Hoffmann [7]) Suatu proyeksi vektor
ke sebuah convex cone isotonik
, yaitu proyeksi dari
memiliki tiga sifat berikut:
a. b. c.
,
untuk
semua
.
Sebagai contoh, berikut ini akan diberikan gambar proyeksi pada regresi isotonik dengan dua variabel bebas. Misal terdapat persamaan regresi isotonik dengan dua variabel bebas
dan hasil estimasi
dituliskan dengan
Estimasi vektor dengan
digambarkan dalam proyeksi seperti pada Gambar 2.1, .
Gambar 2.1. Proyeksi dari vektor isotonik
ke convex cone
, dengan
Dari Gambar 2.1 terlihat bahwa dari vektor
ke convex cone
Sehingga diperoleh vektor
dari vektor
, adalah jarak terdekat
dari vektor isotonik, dengan vektor
.
yang meminimumkan sesatan, . Dengan kata
13
lain, dapat dikatakan bahwa masalah proyeksi adalah pendekatan geometri dari masalah estimasi kuadrat terkecil pada regresi.
2.2.4 Metode Kuadrat Terkecil Selanjutnya Sembiring [10] mengemukakan bahwa metode estimasi yang baik untuk mengestimasi fungsi regresi adalah dengan menggunakan metode kuadrat terkecil. Estimasi untuk fungsi penghalus pada regresi isotonik dengan satu variabel bebas diperoleh dengan meminimumkan jumlah kuadrat dari sesatan,
Pada regresi isotonik dengan satu variabel bebas didapat,
dengan
, dan
Sehingga,
Estimasi fungsi penghalus regresi isotonik aditif untuk
variabel bebas
analog dengan estimasi untuk satu variabel bebas, yaitu meminimumkan jumlah kuadrat sesatan berikut.
14
Pada regresi isotonik dengan
dengan
variabel bebas,
, maka
dengan
,
dan
Sehingga diperoleh,
Menurut Zhang [15], prinsip dari estimasi fungsi regresi dengan menggunakan metode kuadrat terkecil identik dengan prinsip pada masalah proyeksi. Oleh karena itu, secara geometri estimasi fungsi regresi isotonik aditif dapat dipandang sebagai masalah proyeksi. Algoritma perhitungan untuk mengestimasi fungsi penghalus regresi isotonik aditif, mengikuti algoritma backfitting. Di dalam algoritma backfitting digunakan aplikasi dari Pooled Adjacent Violators Algorithm (PAVA) untuk masing-masing fungsi penghalus yang diestimasi. Selanjutnya, akan diberikan penjelasan tentang PAVA beserta langkah-langkah penggunaannya.
2.2.5 Pooled Adjacent Violators Algorithm (PAVA) Salanti [9] menyebutkan bahwa Pooled Adjacent Violators Algorithm (PAVA) adalah algoritma yang biasa digunakan dalam analisis regresi isotonik. Algoritma ini menjamin estimasi fungsi penghalus memenuhi asumsi monoton naik. Berikut ini akan dijelaskan langkah-langkah menggunakan PAVA.
15
Diketahui
merupakan fungsi penghalus dari variabel bebas ke
dengan
dan
,
. Menurut Colombo [2], Pooled Adjacent
Violators Algorithm (PAVA) dapat dinyatakan sebagai berikut 1. Jika
adalah memenuhi asumsi isotonik , maka
.
2. Jika untuk beberapa
berlaku
, maka kedua nilai tersebut
diganti dengan nilai rata-rata keduanya, 3. Jika himpunan baru sebanyak
. nilai ini memenuhi asumsi isotonik,
yaitu
maka,
dan
, untuk
.
4. Jika himpunan baru ini belum memenuhi asumsi isotonik, maka proses ini diulang dari langkah kedua menggunakan nilai dari himpunan baru, hingga diperoleh himpunan yang memenuhi asumsi monoton naik.
2.2.6 Masalah Dual dari Regresi Isotonik Misal terdapat regresi isotonik dengan satu variabel bebas, estimasi fungsi penghalus diperoleh dengan meminimumkan persamaan
dengan
adalah himpunan convex cone dari vektor isotonik Persamaan
tersebut, yaitu
.
dapat diselesaikan melalui bentuk dual dari persamaan
16
dengan
adalah dual cone dari convex cone
pada persamaan
. Hubungan antara masalah dual
dan masalah asli pada persamaan
dijelaskan dalam
teorema berikut.
Teorema 2.2.12. (Hinder [6]) Jika dan
adalah himpunan convex cone tidak kosong
melambangkan dual cone dari
, maka penyelesaian untuk persamaan
dapat diselesaikan melalui
dengan adalah penyelesaian untuk persamaan
. Atau sama artinya dengan
dengan adalah matriks identitas.
Jika masalah dual lebih mudah diselesaikan daripada masalah asli, maka dari hasil masalah dual dapat diperoleh penyelesaian untuk masalah asli, yaitu melalui persamaan
dengan
adalah hasil estimasi dari masalah dual, dan
adalah hasil
estimasi untuk masalah asli.
2.2.7 Algoritma Dykstra Selanjutnya, akan dibangun suatu algoritma untuk menyelesaikan bentuk permasalahan berikut.
dengan
adalah himpunan convex cone dan
[6] menyebutkan bahwa masalah pada persamaan
berjumlah terbatas. Hinder dapat diselesaikan melalui
algoritma Dykstra. Algoritma Dykstra adalah suatu algoritma berulang yang menggunakan prinsip proyeksi untuk membangun suatu barisan fungsi
sedemikian
17
sehingga konvergen ke pada persamaan
. Algoritma Dykstra untuk menyelesaikan masalah
diberikan sebagai berikut.
Algoritma Proyeksi Dykstra: 1. Misal
menunjukkan proyeksi
ke cone
dan
menotasikan
perubahan kenaikan yang diberikan oleh proyeksi, yaitu
.
Sehingga dapat ditulis, . 2. Misal
adalah proyeksi
ke
. Perubahan kenaikan
, sehingga . 3. Berlanjut hingga
.
Dengan menunjukkan
proyeksi dari
ke
.
Kenaikan yang baru ditunjukkan dengan , sedemikian sehingga . 4. Secara umum
adalah proyeksi dari
ke cone
pada iterasi ke . Dan . Sehingga
. 5. Berlanjut hingga tingkat konvergensi dicapai.
Konvergensi dari algoritma Dykstra ditunjukkan dalam teorema di bawah ini. Teorema 2.2.13. (Hinder [6]) Vektor dan untuk
.
konvergen ke
, dengan
,
18
Sebagai contoh, misal akan diselesaikan permasalahan
dengan
adalah himpunan convex cone untuk
, dan
juga merupakan himpunan convex cone. Persamaan
dapat dibentuk
persamaan dualnya
Hubungan antara penjumlahan dan irisan dari himpunan dual cone telah dijelaskan dalam Zhang [15].
Proposisi 2.2.14. (Zhang [15]) jika
adalah himpunan convex cone,
maka
Oleh karena itu, masalah dual pada persamaan
Seperti pada persamaan
dapat dituliskan dengan,
, masalah pada persamaan
juga dapat
diselesaikan dengan menggunakan algoritma Dykstra.
2.3 Kerangka Pemikiran Berdasarkan
tinjauan
pustaka,
dapat
disusun
suatu
kerangka
pemikiran untuk menyelesaikan permasalahan dalam penelitian ini. Pada penelitian ini akan dibahas model regresi isotonik aditif, yaitu model regresi isotonik yang mempunyai lebih dari satu variabel bebas dan satu variabel tak bebas. Fungsi penghalus
di dalam model regresi isotonik aditif tidak
diketahui, sehingga perlu dilakukan estimasi fungsi penghalus
. Metode yang
akan digunakan untuk mengestimasi fungsi penghalus pada model regresi isotonik aditif adalah metode kuadrat terkecil. Secara geometri metode estimasi ini dapat
19
dipandang sebagai masalah proyeksi karena prinsip meminimumkan sesatan pada metode kuadrat terkecil identik dengan mencari jarak terdekat dari dua vektor di ruang
. Dalam kasus ini, vektor
isotonik, disimbolkan dengan
diproyeksikan ke convex cone
dari vektor
. Masalah estimasi dengan menggunakan
metode kuadrat terkecil ini dapat diselesaikan melalui algoritma backfitting. Pada algoritma backfitting menerapkan PAVA untuk masing-masing fungsi penghalus yang diestimasi pada regresi isotonik aditif. Langkah selanjutnya, membuktikan teorema kekonvergenan hasil estimasi fungsi penghalus regresi isotonik aditif dari algoritma backfitting. Kemudian memberikan contoh aplikasi untuk menerapkan langkah-langkah estimasi fungsi penghalus pada regresi isotonik aditif.
BAB III METODE PENELITIAN
Metode penelitian yang digunakan dalam penulisan skripsi ini adalah kajian pustaka yaitu dengan mengumpulkan referensi berupa buku, skripsi, jurnal maupun tulisan-tulisan yang dimuat di situs web yang berkaitan dengan regresi isotonik. Kemudian menjelaskan kembali hasil penelitian dari jurnal atau sumber lain yang diperoleh. Langkah-langkah yang dilakukan dalam pembahasan rumusan masalah sebagai berikut, 1. mengestimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil. a. metode kuadrat terkecil diselesaikan melalui algoritma backfitting, b. metode kuadrat terkecil dipandang sebagai masalah proyeksi dalam suatu ruang vektor
,
2. membuktikan teorema kekonvergenan hasil estimasi fungsi penghalus regresi isotonik aditif dari algoritma backfitting, 3. memberikan contoh aplikasi untuk menerapkan algoritma estimasi fungsi penghalus pada regresi isotonik aditif.
20
BAB IV PEMBAHASAN
4.1 Estimasi Fungsi Penghalus Pada Regresi Isotonik Aditif dengan Metode Kuadrat Terkecil (MKT) Pada BAB II telah dikemukakan bahwa dalam penelitian ini akan membahas model regresi isotonik, khususnya untuk kasus lebih dari satu variabel bebas. Model yang sesuai untuk merepresentasikan regresi isotonik tersebut adalah model regresi isotonik aditif. Persamaan regresi isotonik aditif dijelaskan sebagai berikut. Diketahui vektor random tak bebas,
, dimana vektor
dan vektor
adalah variabel
adalah variabel bebas ke
,
. Persamaan regresi isotonik aditif diberikan seperti pada persamaan . Nilai harapan bersyarat
vektor
untuk
tertentu adalah
dianggap sebagai fungsi monoton naik pada vektor Fungsi penghalus
diestimasi dengan menggunakan metode kuadrat
terkecil. Sebelum mengestimasi fungsi penghalus dengan
.
pada regresi isotonik
variabel bebas, akan dijelaskan terlebih dahulu estimasi untuk regresi
isotonik dengan satu variabel bebas. Menurut Mammen dan Yu [6], estimator kuadrat terkecil pada regresi isotonik dengan satu variabel bebas dapat dipandang sebagai proyeksi dari vektor respon
ke himpunan convex cone
dari vektor isotonik. Definisi untuk proyeksi dan himpunan convex cone telah dipaparkan dalam BAB II. Persamaan regresi isotonik dengan satu variabel dituliskan seperti pada persamaan adalah
. Estimasi fungsi penghalus
pada regresi isotonik tersebut
yang diperoleh dengan meminimumkan masalah pada persamaan,
21
22
dan
adalah estimasi fungsi penghalus isotonik dari vektor
,
. Menurut Hinder [6], penyelesaian dari masalah ini dipandang sebagai proyeksi dari vektor dengan
ke himpunan convex cone
, maka penyelesaian
. Jika proyeksi ini dinotasikan
yang berarti bahwa vektor
diperoleh dengan meminimumkan jarak vektor
ke himpunan convex cone
dari vektor isotonik. Ide proyeksi ini dapat juga digunakan untuk masalah regresi isotonik dengan
variabel bebas. Misalkan
,
adalah himpunan convex cone
dari vektor isotonik dengan panjang
untuk vektor
kuadrat terkecil regresi isotonik dengan
. Sehingga estimasi
variabel bebas dari persamaan
adalah masalah minimisasi yang dapat dituliskan dengan,
dengan
, dan
himpunan gabungan dari
menunjukkan
. Penyelesaian dari persamaan
dipandang sebagai proyeksi dari vektor
dapat
ke himpunan convex cone
dari vektor isotonik. Masalah minimisasi pada persamaan
dapat dituliskan kembali
sebagai masalah minimisasi terhadap himpunan cartesian product Misalkan , maka
dan
.
23
Penyelesaian .
pada persamaan
dari persamaan , dengan
dapat diselesaikan melalui persamaan
dapat dituliskan dengan
, untuk setiap
diperoleh dari persamaan
.
Algoritma yang umum digunakan untuk memecahkan masalah pada persamaan
ini disebut dengan algoritma backfitting. Algoritma backfitting
merupakan algoritma berulang yang meminimumkan persamaan satu
, dengan
,
tetap untuk setiap langkah. Sehingga
menghasilkan barisan vektor variabel bebas
dan ke
dengan
pada iterasi ke
, yaitu fungsi
.
yang
merupakan
dari
dapat dituliskan dengan,
. Dengan kata lain,
meminimumkan persamaan
untuk salah
diperoleh dengan
. Algoritma backfitting menghasilkan barisan proyeksi
dari
ke himpunan convex cone yang dilambangkan dengan
dari vektor isotonik,
, dapat dituliskan dengan
sama artinya dengan,
Contoh gambar proyeksi algoritma backfitting untuk dua variabel bebas di terdapat pada Lampiran 3. Masalah perhitungan untuk setiap
pada persamaan
dapat
diselesaikan dengan menggunakan PAVA di dalam algoritma backfitting. Algoritma backfitting dengan menerapkan PAVA untuk setiap sebagai berikut.
adalah
24
Algoritma backfitting: 1. Nilai awal fungsi
pada iterasi awal,
ditulis dengan,
, untuk setiap
2. Selanjutnya, pada iterasi a.
adalah nol, atau dapat .
dan untuk variabel bebas
Menghitung sisaan
dengan, adalah vektor sisaan untuk variabel bebas ke b. Menghitung
, pada iterasi ke-
pada regresi isotonik menggunakan PAVA
atau dapat diartikan bahwa dengan
diperoleh dari regresi isotonik
,
.
3. Perhitungan berhenti ketika mencapai tingkat konvergensi, dengan kriteria konvergensi
dengan
.
Selanjutnya, konvergensi dari algoritma backfitting ditunjukkan dalam Teorema 4.1.
Teorema 4.1 (Hinder [6]) Barisan
konvergen ke dan
. Jika masalah pada persamaan
penyelesaian tunggal, katakan konvergen ke vektor
, dengan memiliki
, maka barisan
dengan elemen konstan untuk
dan
.
Bukti: Algoritma backfitting pada persamaan menyelesaikan masalah persamaan
yang digunakan untuk
bersesuaian dengan masalah dual pada
25
algoritma Dykstra dalam Bab II. Selanjutnya akan dijelaskan mengenai hubungan antara kedua algoritma tersebut. Misal diberikan himpunan convex cone yang dinotasikan dengan
dan
adalah dual cone dari
. Proyeksi ke
, dengan menggunakan Teorema 2.2.12 sehingga proyeksi ke dengan
dinotasikan dinotasikan
. Misal diberikan
vektor isotonik di
, dengan
adalah himpunan convex cone dari
. Jika proyeksi ke
Teorema 2.2.12, proyeksi ke setelah iterasi ke
adalah
dinotasikan dengan
untuk variabel bebas ke
dinotasikan dengan
, maka dengan . Sisaan
pada algoritma backfitting
. Dari notasi ini, dapat diperoleh algoritma sebagai
berikut.
dengan memisalkan persamaan
dan
untuk perubahan kenaikan, terlihat bahwa membentuk algoritma proyeksi Dykstra untuk
menyelesaikan permasalahan berikut
26
Berdasarkan Teorema 2.2.13, diketahui bahwa dengan
, dan
konvergen ke
,
. Pada Teorema 2.2.12 diketahui bahwa
, berlaku juga untuk
, dengan
.
Berdasarkan penjelasan Teorema 2.2.12 dan 2.2.13, sehingga dapat disimpulkan bahwa
konvergen ke
berlaku apabila persamaan
untuk
, dan
. Hal ini juga
memiliki penyelesaian tunggal.
□
4.2 Contoh Kasus 4.2.1 Deskripsi Data Model regresi isotonik aditif diterapkan pada data konsumsi gas mobil di Negara Amerika. Data yang digunakan diambil dari contoh kasus dalam Hinder [6]. Pada bagian ini, peneliti mempelajari secara singkat tentang pengaruh terbesar antara berat mobil
dengan pergantian oli mesin
terhadap kenaikan
konsumsi gas mobil
. Sampel yang digunakan sebanyak 60 mobil, dengan
satuan untuk konsumsi gas mobil dalam liter per100 kilometer (l/100km), berat mobil dalam kilogram (kg), dan pergantian oli mesin dalam liter (l). Kedua variabel
dan
konsumsi gas
diasumsikan mempunyai pengaruh yang positif terhadap . Data konsumsi gas pada mobil disajikan dalam Lampiran 1.
Berdasarkan data pada Lampiran 1, dapat dilihat hubungan antara berat mobil dan pergantian oli mesin terhadap konsumsi gas melalui Gambar 4.1 dan Gambar 4.2. Pada Gambar 4.1 menunjukkan scatter plot dari data berat mobil dan konsumsi bahan bakar gas cenderung naik. Sehingga dapat diartikan bahwa berat mobil memiliki pengaruh positif terhadap kenaikan konsumsi bahan bakar gas. Pada Gambar 4.2 menunjukkan scatter plot dari data pergantian oli mesin dan konsumsi bahan bakar gas juga cenderung naik. Sehingga, dapat diartikan bahwa pergantian oli mesin juga memiliki pengaruh positif terhadap kenaikan konsumsi bahan bakar gas. Oleh karena itu, data pada Lampiran 1 dapat digunakan sebagai contoh kasus untuk regresi isotonik aditif.
27
Scatterplot of y vs x1 13 12 11
y
10 9 8 7 6 800
1000
1200
1400
1600
1800
x1
Gambar 4.1. Grafik konsumsi bahan bakar gas
terhadap berat mobil
Scatterplot of y vs x2 13 12 11
y
10 9 8 7 6 1
2
3 x2
Gambar 4.2. Grafik konsumsi bahan bakar gas
4
5
terhadap pergantian oli
mesin
4.2.2 Estimasi Fungsi Penghalus Pada model regresi isotonik aditif dengan dua variabel bebas terdapat dua fungsi penghalus,
dan
yang perlu diestimasi. Proses estimasi
fungsi penghalus dilakukan dengan menggunakan metode kuadrat terkecil. Pada regresi ini, bentuk fungsi penghalus tidak diketahui maka metode kuadrat terkecil diselesaikan melalui algoritma backfitting. Nilai nilai awal untuk fungsi
28
yaitu
untuk setiap
. Algoritma backfitting untuk contoh kasus
ini diberikan sebagai berikut. 1. Nilai awal
, untuk setiap
2. Saat iterasi pertama,
.
diperoleh
a. untuk variabel bebas pertama,
dan
diperoleh dengan menggunakan PAVA b. untuk variabel bebas kedua,
dan
diperoleh dengan menggunakan PAVA. 3. Saat iterasi kedua,
diperoleh
c. untuk variabel bebas pertama,
dan
diperoleh dengan menggunakan PAVA d. untuk variabel bebas kedua,
dan
diperoleh dengan menggunakan PAVA. 4. Dan seterusnya hingga memenuhi kriteria konvergensi, yaitu
dengan
.
29
Estimasi fungsi penghalus pada kasus ini dilakukan dua kali, yaitu untuk yang diurutkan dan untuk
yang diurutkan. Proses iterasi ketika variabel
diurutkan dari kecil ke besar berhenti pada iterasi ke-2. Saat variabel
yang
diurutkan, proses iterasi juga berhenti pada iterasi ke-2. Hasil estimasi fungsi dan
dapat dilihat pada Lampiran 2.
Berdasarkan hasil estimasi untuk
dan
dalam Lampiran 2
diperoleh nilai MSE (Mean Square Error). MSE untuk variabel , dan MSE untuk variabel
diurutkan,
Sehingga model yang terbaik diperoleh ketika variabel
diurutkan, .
diurutkan. Oleh karena
itu, variabel yang memberikan pengaruh terbesar terhadap kenaikan konsumsi gas adalah pergantian oli mesin mobil.
BAB V PENUTUP
5.1 Kesimpulan Berdasarkan pembahasan pada skripsi ini, diperoleh kesimpulan sebagai berikut. 1. Estimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil diselesaikan melalui algoritma backfitting yaitu , dengan
dihitung menggunakan PAVA.
2. Secara geometri, estimasi fungsi penghalus dengan menggunakan metode kuadrat terkecil dapat dipandang sebagai masalah proyeksi dalam suatu ruang vektor
.
5.2 Saran Pada skripsi ini, hanya dibahas tentang estimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil dengan metode pendekatan
algoritma
backfitting.
Bagi
pembaca
yang
tertarik
untuk
mengembangkan skripsi ini disarankan untuk meneliti estimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil dengan metode pendekatan yang lain, misalnya estimator oracle.
30
