REGRESI NON LINIER
ANALISIS REGRESI
REGRESI LINEAR
REGRESI LINEAR SEDERHANA
REGRESI LINEAR BERGANDA
Membentuk garis lurus
REGRESI NONLINEAR
REGRESI KUADRATIK
REGRESI KUBIK
Membentuk Garis Lengkung
• Regresi non linier adalah suatu metode untuk mendapatkan model non linier yang menyatakan hubungan variabel dependen dan variabel independen • Regresi nonlinier dapat mengestimasi model hubungan variabel dependen dan independen dalam bentuk non linier dengan keakuratan yang lebih baik daripada regresi linier, karena dalam mengestimasi model dipakai iterasi algoritma
• Secara umum model regresi non linear dapat dinyatakan dalam persamaan :
y f (x, )
Langkah Analisis 1. Melakukan penaksiran garis regresi untuk memprediksi pola hubungan antara variabel respon (y) dan variabel prediktor (x). Hal ini dapat dilakukan dengan melihat scatter plot antara y dan x. Model linear memiliki kurva yang membentuk garis lurus, sedangkan untuk model non linear memiliki kurva yang membentuk garis lengkung. Bentuk persamaan matematis model regresi non linear ada beberapa jenis, diantaranya : 2 Polinomial, contoh : (kuadratik) 0 1 2
y x x
y 0 1x 2 x 3 x 2
Exponensial, contoh :
y 0 e
3
1 x
(kubik)
2. Melakukan transformasi dari bentuk non linier ke bentuk linier untuk mendapatkan linieritas dari hubungan non linier
Continued… Beberapa bentuk model nonlinier yang dapat dan tidak dapat ditransformasikan ke model linier adalah sebagai berikut : Model
Persamaan
Bentuk Linier
Linear
Y = a + bx
-
Quadratik
Y = a + bx + cx2
-
Cubic
Y = a + bx + cx2 + dx3
-
Logarithm
Y = a + b ln x
-
Inverse
Y = a + b/x
-
Compound
Y = abx
ln Y = ln a + x ln b
Power
Y = axb
ln Y = ln a + b ln x
S
Y = ea+b/t
ln Y = a + b/t
Growth
Y = ea+bx
ln Y = a + bx
Exponential
Y = a(ebx)
ln Y = ln a + bx
Logistic
Y = (1/u + abx)-1
ln (1/Y-1/u) = ln a + x ln b
Continued… • Selanjutnya setelah diperoleh persamaan linier dari hasil transformasi maka langkah analisisnya sama dengan regresi linier. Namun Jika suatu model tidak dapat dilinearkan, maka nilai β dapat diduga dengan dengan cara meminimumkan jumlah kuadrat residual. Jumlah kuadrat ini dapat diminimukan jika turunan pertama terhadap β sama dengan nol atau n
2
SSE yi f ( xi , ) i 1
n f ( xi , ) SSE yi f ( xi , ) 0 i 1
Continued… • Hasil turunan pertama terhadap β sama dengan nol membentuk suatu sistem persamaan non-linear yang tidak dapat diselesaikan secara langsung tetapi dapat didekati secara iteratif dengan menggunakan metode numerik, salah satu metode numerik yang dapat menyelesaikan hal ini adalah metode GaussNewton. • Metode Gauss-Newton ini bekerja dengan menggunakan pendekatan deret Taylor dari fungsi
SSE
sampai suku kedua.
Continued… • Nilai dugaan β pada iterasi ke i+1 adalah :
ˆ
i 1
' 1 ˆ i ( i i ) i ' ei
dimana f ( x1 , ) 0 f ( x2 , ) 0 ... f ( xn , ) 0
f ( x1 , ) f ( x1 , ) ... 1 k f ( x2 , ) f ( x2 , ) ... 1 k
f ( xn , ) f ( xn , ) ... 1 k
Iterasi dihentikan jika nilai :
ˆi 1 ˆi
atau
ˆi 1 ˆi 0.0000
Continued… • Levenberg-Marquardt menyempurnakan metode Gauss-Newton dengan memasukkan konstanta β (nilai awal βi+1 yang besarnya berubah-ubah mengikuti perubahan SSE. Nilai β akan diperkecil sepersepuluh kali dan iterasi diteruskan jika SSE turun serta nilai β akan meningkat sepuluh kali dan kembali ke iterasi awal jika SSE meningkat. Formula Levenberg-Marquardt adalah :
ˆi 1 ˆi ( i' i diag 'i i ) 1 i ' ei Analisis ini bisa dilakukan dengan bantuan macro Minitab atau SPSS
1.
2.
3.
Prosedur linearisasi ini memiliki kelemahan untuk masalah-masalah tertentu, yaitu: Proses kekonvergenannya mungkin berjalan sangat lambat, dengan kata lain dibutuhkan langkah iterasi yang sangat banyak sebelum solusinya stabil. Perilaku ini tidak sering, namun dapat terjadi. Adakalanya solusinya berosilasi, terus bergantiganti arah, dan sering menaik turunkan jumlah kuadrat tersebut, walaupun pada akhirnya solusi mencapai kestabilan. Proses iterasi tidak konvergen sama sekali atau bahkan divergen sehingga jumlah kuadrat galat ini naik terus tanpa batas.
Contoh 1 • Suatu penelitian mengetahui bahwa nikotin menyebabkan gangguan kesehatan berupa karbon monoksida yang merupakan racun bagi manusia. Kandungan nikotin dalam rokok digunakan untuk mengukur karbon monoksida. Oleh karena itu, nikotin bertindak sebagai variabel prediktor (x) dan karbon monoksida sebagai variabel respons (y). Berikut adalah data mengenai jumlah nikotin dalam rokok dan karbon monoksida yang dihasilkan rokok pada 25 merek rokok.
Data y
x
y
x
y
x
y
x
y
x
13.6
0.86
15.0
1.04
13.0
1.01
1.5
0.13
15.9
1.01
16.6
1.06
9.0
0.76
14.4
0.90
18.5
1.26
8.5
0.61
23.5
2.03
12.3
0.95
10.0
0.57
12.6
1.08
10.6
0.69
10.2
0.67
16.3
1.12
10.2
0.78
17.5
0.96
13.9
1.02
5.4
0.40
15.4
1.02
9.5
0.74
4.9
0.42
14.9
0.82
Y = karbon monoksida X = kadar nikotin
• Membuat plot antara variabel dependen dan variabel independen Fitted Line Plot
Penyelesaian
karbon monoksida (mg) = 1.665 + 12.40 nikotin (mg) 30
S R-Sq R-Sq(adj)
karbon monoksida (mg)
25 20 15 10 5 0 0.0
0.5
1.0 nikotin (mg)
1.5
2.0
1.82845 85.7% 85.1%
Model Kuadratik F itte d L in e P lo t
k a r b o n m o n o k s id a ( m g ) = - 1 .7 8 4 + 2 0 .1 1 n ik o tin ( m g ) - 3 .7 3 0 n ik o tin ( m g ) * * 2
karbon monoksida (mg)
25
S R-S q R - S q (ad j)
20 15 10 5 0 0 .0
0 .5
1 .0 n ik o t in ( m g )
1 .5
2 .0
1 .5 8 3 3 6 8 9 .8 % 8 8 .8 %
Model Kubik F itte d L in e P lo t
k a r b o n m o n o k s id a ( m g ) = - 0 .8 5 8 + 1 5 .9 5 n ik o tin ( m g ) + 1 .0 3 7 n ik o tin ( m g ) * * 2 - 1 .4 7 1 n ik o tin ( m g ) * * 3
karbon monoksida (mg)
25
S R-S q R - S q (ad j)
20 15
10 5 0 0 .0
0 .5
1 .0 n ik o t in ( m g )
1 .5
2 .0
1 .6 1 1 3 7 8 9 .9 % 8 8 .4 %
Continued…
• Dari fitted line plot di atas dapat diketahui nilai-nilai sebagai berikut : Statistik
linier
Kuadratik
Kubik
S
1.82845
1.58336
1.61137
R-Sq
85.7%
89.8%
89.9%
R-Sq(adj)
85.1%
88.8%
88.4%
Dari hasil fitted line plot diatas dapat diketahui bahwa model terbaik adalah model kuadratik dengan nilai S yang paling kecil dan nilai R-Sq (adj) yang besar.
Continued…
• Untuk tahapan pada ANOVA adalah sebagai berikut : 1. mendapatkan nilai kuadrat dari variabel nikotin. 2. meregresikan variabel karbon monoksida dengan variabel nikotin dan nikotin^2
• Hasil dari output minitab adalah sebagai berikut :
Continued… Regression Analysis: karbon monoksida versus nikotin (mg), nikotin^2 The regression equation is karbon monoksida (mg) = - 1.78 + 20.1 nikotin (mg) - 3.73 nikotin^2 Predictor Constant nikotin (mg) nikotin^2
Coef -1.784 20.111 -3.730
SE Coef 1.453 2.775 1.267
S = 1.58336
R-Sq = 89.8%
Analysis of Variance Source DF SS Regression 2 484.00 Residual Error 22 55.15 Total 24 539.15 Source nikotin (mg) nikotin^2
DF 1 1
T -1.23 7.25 -2.94
P 0.233 0.000 0.007
R-Sq(adj) = 88.8%
MS 242.00 2.51
F 96.53
P 0.000
Seq SS 462.26 21.74
Unusual Observations karbon nikotin monoksida Obs (mg) (mg) 3 2.03 23.500 16 0.13 1.500 19 0.96 17.500
Fit 23.670 0.768 14.086
SE Fit 1.536 1.136 0.371
Residual -0.170 0.732 3.414
St Resid -0.44 X 0.66 X 2.22R
R denotes an observation with a large standardized residual. X denotes an observation whose X value gives it large influence.
Continued…
• Pada fitted line plot dan hasil regresi dengan menggunakan variabel yang dikuadratkan, hasil R-Sq, S, dan R-Sq (adj) adalah sama. Sehingga dapat disimpulkan bahwa regresi kuadratik lebih baik daripada regresi linier biasa dengan satu variabel biasa tanpa di kuadratkan. • Dari hasil uji serentak, dapat diketahui bahwa persamaan regresinya diterima dengan melihat nilai p value = 0.
TERIMA KASIH
