BAB III METODE RECURSIVE LEAST SQUARE
Pada bab ini akan dikemukakan secara rinci apa yang menjadi inti permasalahan dalam tulisan ini, yaitu penaksiran parameter koefisien persamaan regresi menggunakan metode Recursive Least Square dan pengujian kecocokan model persamaan regresi pada metode Recursive Least Square.
3.1
Pendahuluan Pollock dalam bukunya Time-Series Analysis Signal processing and
Dynamics menyatakan bahwa teori penaksiran Least Square pertama kali ditemukan oleh Gauss, namun Penemuan kembali yang pertama pada tahun 1950 oleh Plackett, sebelum kehadiran perhitungan elektronik on-line yang efisien, dan ini juga hampir terlewatkan. Penemuan kedua algoritma recursive pada tahun 1960, dalam konteks teori kontrol, mendapat perhatian yang sangat besar pada teori ini. Teori ini ditemukan pada kumpulan dokumen-dokumen Kalman dan Kalman and Bucy.
3.2
Penaksiran Koefisien Persamaan Regresi Linear Berganda dengan Menggunakan Metode Recursive Least Square Sebelumnya telah dikenal penaksiran koefisien persamaan regresi dengan
menggunakan metode Least Square untuk menaksir koefisien β pada model Yሺnሻ = β ሺnሻ + βଵ Xଵ ሺnሻ + βଶ Xଶ ሺnሻ + ⋯ +β୩ X୩ ሺnሻ + εሺnሻ
(3.1)
22
untuk berbagai nilai n. Persamaan ሺ3.1ሻ dapat dituliskan oleh notasi matriks ܆ = ܇+ ઽ
dengan
yሺ1ሻ yሺ2ሻ =܇൦ ൪ ⋮ yሺnሻ
Xଵ ሺ1ሻ Xଶ ሺ1ሻ … X୩ ሺ1ሻ X ሺ2ሻ Xଶ ሺ2ሻ … X୩ ሺ2ሻ =܆൦ ଵ ൪ ⋮ ⋮ ⋱ ⋮ Xଵ ሺnሻ Xଶ ሺnሻ … X୩ ሺnሻ
β ۍې β = ێଵۑ ۑ⋮ێ ۏβ ୩ ے
X୩ ᇱ ሺnሻ = ሾX1 ሺnሻ, X2 ሺnሻ, … , Xk ሺnሻሿ adalah vektor baris k koefisien yang diambil
pada saat data ke-n, kemudian sebuah informasi pengamatan baru, pada saat n + 1 yaitu Yሺn + 1ሻ dengan persamaan:
Yሺn + 1ሻ = β ሺn + 1ሻ + βଵ Xଵ ሺn + 1ሻ + βଶ Xଶ ሺn + 1ሻ + ⋯ +β୩ X୩ ሺn + 1ሻ X୩ ᇱ ሺnሻ = ሾX1 ሺnሻ, X2 ሺnሻ, … , Xk ሺnሻሿ
(3.2)
seperti pada persamaan ሺ2.13ሻ yang menghendaki penaksir Least square β
ditinjau kembali.
Dengan menggunakan metode Recursive Least Square dapat dihitung solusi baru dengan melibatkan solusi awal dengan langkah-langkah sebagai berikut: 1. Menentukan nilai ܆′ ܖ܇ ܖdari persamaan Least Square awal −1
= ቀ X′n Xn ቁ X′n Yn β n
−1 ′ Xn Yn
′ ′ ′ ቀ Xn Xn ቁβ n = ቀ Xn Xn ቁቀ Xn Xn ቁ
ቀ X′n Xn ቁβ n = X′n Yn
(3.3)
23 ഥ܇ܖ ഥܖ 2. Menentukan nilai ܆′ ܖ܇ ܖbaru yang dilambangkan dengan ܆ ′
Jika λ adalah suatu faktor pembobot dengan 0 < λ < 1, untuk t =
1,2, … , n digunakan untuk mengurangi pengaruh data lama (Haykin, 2002), sehingga dapat dituliskan:
ഥ n dan Yn ඥλn−t = Y ഥn Xn ඥλn−t = X ′
′
maka persamaan ሺ3.3ሻ dapat dituliskan kembali sebagai: −1
ഥn X ഥn ቁ β n = ቀ X ′
sehingga
ഥnY ഥn X ′
(3.5)
ഥn X ഥ n ቁ β = X ഥn Y ഥn ቀX n ′
′
3. Menentukan nilai ܖ+
(3.6)
ഥn X ഥ n dan q = X ഥn Y ഥ n, persamaan ሺ3.6ሻ ditulis Dengan memisalkan Mn = X n ′
sebagai:
′
Mn β n = qn
(3.7)
ഥ n+1 X ഥ n+1 dengan bentuk: Didefinisikan pula Mn+1 = X ′
Mn+1 = λMn + X′i ሺn + 1ሻXi ሺn + 1ሻ
dan
λM୬ = M୬ାଵ − X୧′ ሺn + 1ሻX୧ ሺn + 1ሻ qn+1 = λqn + X′i ሺn + 1ሻYሺn + 1ሻ
(3.8)
(3.9)
yang memuat data baru dapat dituliskan: sehingga persamaan untuk menaksir β Mn+1 β n+1 = qn+1
−1 β n+1 = Mn+1 qn+1
(3.10)
24
Dengan mensubstitusikan persamaan ሺ3.7ሻ kedalam persamaan ሺ3.9ሻ diperoleh: qn+1 = λqn + X′i ሺn + 1ሻYሺn + 1ሻ
= λM୬ β ୬ + X୧ᇱ ሺn + 1ሻYሺn + 1ሻ
Persamaan ሺ3.8ሻ disubstitusikan kedalam persamaan ሺ3.10ሻ diperoleh
(3.11)
qn+1 = ൬Mn − X′i ሺn + 1ሻXi ሺn + 1ሻ൰ β n + Xi ሺn + 1ሻYሺn + 1ሻ ′
= M୬ାଵ β ୬ − X୧ᇱ β ୬ ሺn + 1ሻX୧ ሺn + 1ሻ+X୧ᇱ ሺn + 1ሻYሺn + 1ሻ
sehingga
= M୬ାଵ β ୬ + X୧ᇱ ሺn + 1ሻൣYሺn + 1ሻ − X୧ ሺn + 1ሻβ ୬ ൧
(3.12)
−1 β n+1 = Mn+1 q1
ିଵ = M୬ାଵ ൣM୬ାଵ β ୬ + X୧ᇱ ሺn + 1ሻ൫Yሺn + 1ሻ − X୧ ሺn + 1ሻβ ୬ ൯൧ ିଵ ᇱ ሺn = β ୬ + M୬ାଵ X୧ + 1ሻൣYሺn + 1ሻ − X୧ ሺn + 1ሻβ ୬ ൧
(3.13)
Taksiran terbaru akan menghasilkan β n+1 berbeda dari taksiran βn sebelumnya
dengan sebuah fungsi galat gሺn + 1ሻ = Yሺn + 1ሻ − X୧ ሺn + 1ሻβ ୬ .
Beban penghitungan dapat lebih dipermudah dengan menerapkan sebuah
skema untuk menghitung matriks invers M−1 n+1 yang dilakukan dengan
memodifikasi nilai M−1 n . Skema ini didasarkan pada Lemma Matriks Inversi yang
memberikan invers pada penjumlahan matriks. Lemma 3.1 (Lemma Matriks Inversi) Jika
maka
A = Cᇱ DC + B
(3.14)
25 −1
A−1 = B−1 − B−1 C′ ቀCB−1 C′ + D−1 ቁ
dengan B dan D adalah matriks non singular.
CB−1
(3.15)
Bukti:
Diketahui: A = Cᇱ DC + B. Untuk memperoleh invers, kalikan penjumlahan awal
matriks A dengan A−1 dilanjutkan dengan mengalikan pada bagian akhir dengan B−1 , diperoleh
A−1 A = A−1 ቀC′ DC + Bቁ
I = Aିଵ Cᇱ DC + Aିଵ B
IB ିଵ = ሺAିଵ Cᇱ DC + Aିଵ BሻBିଵ
B−1 = A−1 C′ DCB−1 + A−1 BB−1 B−1 = A−1 C′ DCB−1 + A−1
(3.16)
Kemudian kalikan persamaan ሺ3.16ሻ dengan C′ , diperoleh: B−1 C′ = ቀA−1 C′ DCB−1 + A−1 ቁ C′ = Aିଵ Cᇱ DCBିଵ Cᇱ + Aିଵ Cᇱ
= Aିଵ Cᇱ DCBିଵ Cᇱ + Aିଵ Cᇱ DDିଵ
Bିଵ Cᇱ = Aିଵ Cᇱ DሺCBିଵ Cᇱ + Dିଵ ሻ
(3.17) −1
Kalikan kedua ruas persamaan ሺ3.17ሻ dengan ቀCB−1 C′ + D−1 ቁ , sehingga diperoleh: −1
B−1 C′ ቀCB−1 C′ + D−1 ቁ
−1
= A−1 C′ D ቀCB−1 C′ + D−1 ቁ ቀCB−1 C′ + D−1 ቁ
= Aିଵ Cᇱ D
Persamaan ሺ3.14ሻ dapat dituliskan kembali:
(3.18)
26
A = Cᇱ DC + B
(3.19)
Aିଵ = ሺCᇱ DC + Bሻିଵ
Persamaan ሺ3.16ሻ dapat dituliskan kembali:
B−1 = A−1 C′ DCB−1 + A−1 A−1 = B−1 − A−1 C′ DCB−1
(3.20)
Dengan mensubstitusikan persamaan ሺ3.17ሻ kedalam persamaan ሺ3.20ሻ, sehingga diperoleh:
−1
A−1 = B−1 − B−1 C′ ቀCB−1 C′ + D−1 ቁ
CB−1
(3.21)
Sehingga Lemma Matriks Inversi pada persamaan (3.15) terbukti.
Lemma Matriks Inversi dapat digunakan untuk bentuk M−1 n+1 . Persamaan
ሺ3.8ሻ dapat dituliskan:
−1
′ M−1 n+1 = ቀλMn + Xi ሺn + 1ሻXi ሺn + 1ሻቁ
(3.22)
Jika A = M୬ାଵ , B = λM୬ , C = X୧ ሺn + 1ሻ, D = 1 maka dengan mensubstitusikan persamaan ሺ3.21ሻ, dapat dituliskan bentuk dari M−1 n+1 , yaitu:
−1
−1 − ሾሺλM ሻ−1 X′ ሺn + 1ሻቀX ሺn + 1ሻሺλM ሻ−1 X′ ሺn + 1ሻ + 1ቁ M−1 n+1 = ሺλMn ሻ n i i n i
Xi ሺn + 1ሻሺλMn ሻ−1 ሿ
(3.23)
Dengan mensubstitusikan persamaan (3.22) dan persamaan (3.23) kedalam persamaan ሺ3.18ሻ, diperoleh:
−1
ቀλMn + X′i ሺn + 1ሻXi ሺn + 1ሻቁ
X′i ሺn + 1ሻ = ሺλMn ሻ−1 X′i ሺn + 1ሻሺXi ሺn + 1ሻ −1 ሺλMn ሻ−1 X′i ሺn + 1ሻ + 1ሻ
Sehingga persamaan ሺ3.10ሻ dapat dituliskan sebagai:
(3.24)
27 −1 ′ ሺ ሻൣ ሺ ሻ ሺ ሻ β n+1 = βn + Mn+1 Xi n + 1 Y n + 1 − Xi n + 1 βn ൧
= β୬ + ൣሺλM୬ ሻିଵ X୧′ ሺn + 1ሻሺX୧ ሺn + 1ሻሺλM୬ ሻିଵ X୧′ ሺn + 1ሻ + 1ሻ൧ሾYሺn + 1ሻ −X୧ ሺn + 1ሻβn ሿ
ሺ ሻൣ ሺ ሻ ሺ ሻ β n+1 = βn + k n + 1 Y n + 1 − Xi n + 1 βn ൧
dengan
3.3
(3.25)
kሺn + 1ሻ = ሺλM୬ ሻିଵ X୧′ ሺn + 1ሻሺX୧ ሺn + 1ሻሺλM୬ ሻିଵ X୧′ ሺn + 1ሻ + 1ሻ
Pengujian Kecocokan Model Persamaan Regresi Linear Berganda pada Metode Recursive Least Square Dalam tugas akhir ini, pengujian yang akan dilakukan adalah:
1.
Menguji setiap koefisien persamaan regresi yang bertujuan untuk mengetahui apakah nilai-nilai koefisien tersebut memiliki pengaruh yang signifikan sehingga dapat diambil langkah efektif dengan menambah atau mengurangi variabel-variabel bebas yang digunakan untuk model regresi berganda. Langkah-langkah pengujian tersebut sebagai berikut: a. Perumusan Hipotesis
H0 : β i = 0
H1 : β i ≠ 0
i = 0,1,2, … , n
b. Besaran-Besaran yang diperlukan
i = 0,1,2, … , n
Menghitung nilai sb
c. Statistik Uji
t= d. Kriteria Pengujian
b − b sୠ
Dengan mengambil taraf signifikansi α, maka:
28
H0 diterima jika −tଵିൗଶ,୬ିଵ < t < tଵିൗଶ,୬ିଵ
dengan t1−αൗ
2,n−1
diperoleh dari Tabel Distribusi t dengan peluang
1 − αൗ2 dan derajat kebebasan (dk) = n-1.
e. Kesimpulan
Penafsiran dari ditolak atau diterima.
2.
Pengujian pengaruh variabel bebas secara bersama-sama terhadap variabel terikat. Langkah-langkah pengujian tersebut sebagai berikut: a
b
Perumusan Hipotesis
H0 : β i = 0
i = 0,1,2, … , n
H1 : salah satu tanda “=” tidak berlaku
Besaran-Besaran yang diperlukan ୬
୬
୬
JK ୰ୣ = a୧ xଵ୧ y୧ + aଶ xଶ୧ y୧ + ⋯ + a୩ x୩୧ y୧ ୬
ଵ
୧ ൯ JK ୰ୣୱ = ൫Y୧ − Y ଵ
c
Statistik Uji F=
d
Kriteria Pengujian
ଶ
ଵ
ଵ
JK ୰ୣ /k JK ୰ୣୱ /ሺn − k − 1ሻ
Dengan mengambil taraf nyata α, maka:
H0 ditolak jika Fhitung > Fα,k,n−k−1.
dengan Fα,1,n−2 diperoleh dari Tabel Distribusi F dengan peluang = α, dk
pembilang = k, dan dk penyebut = n-k-1.
29
e
3.
Kesimpulan
Penafsiran dari H0 ditolak atau diterima.
Model regresi linear berganda dapat disebut sebagai model yang baik, jika model tersebut memenuhi beberapa asumsi yang kemudian disebut dengan asumsi klasik. Proses pengujian asumsi klasik dilakukan bersama dengan proses uji persamaan regresi, sehingga langkah-langkah yang dilakukan dalam pengujian asumsi klasik menggunakan langkah kerja yang sama dengan uji regresi. Pengujian asumsi regresi klasik, yaitu: a. Pengujian Normalitas Pengujian normalitas ini bertujuan untuk menguji apakah dalam model regresi, galat atau residual memiliki distribusi normal. Seperti diketahui, bahwa uji t dan uji F mengasumsikan bahwa nilai residual mengikuti distribusi normal. Jika asumsi ini dilanggar maka uji statistik menjadi tidak valid untuk jumlah sampel kecil. b. Pengujian Autokorelasi Pengujian autokorelasi bertujuan untuk menguji apakah dalam model regresi linear ada korelasi antara galat pada periode t dengan kesalahan pengganggu pada periode t-1 (sebelumnya), jika terjadi korelasi, maka dinamakan ada masalah autokorelasi. Autokorelasi muncul karena observasi yang berurutan sepanjang waktu berkaitan satu sama lainnya. Masalah ini timbul karena galat (kesalahan pengganggu) tidak bebas dari satu observasi ke observasi lainnya. Model regresi yang baik seharusnya tidak terjadi autokorelasi.
30
c. Pengujian Heteroskedastisitas Pengujian heteroskedastisitas bertujuan menguji apakah dalam model regresi terjadi ketidaksamaan variansi dari residual satu pengamatan ke pengamatan yang lain. Jika variansi dari galat satu pengamatan ke pengamatan lain tetap, maka disebut homoskedastisitas dan jika berbeda disebut heteroskedastisitas. d. Pengujian Multikolinearitas Pengujian multikolinearitas bertujuan untuk menguji apakah model regresi ditemukan adanya korelasi antar variabel bebas. Model regresi yang baik seharusnya tidak terjadi korelasi diantara variabel bebas. Jika variabel bebas saling berkorelasi, maka variabel-variabel ini tidak ortogonal. Variabel ortogonal adalah variabel bebas yang nilai korelasi antar sesama variabel independen sama dengan nol.
