Topik Model Regresi Nonlinear Transformasi Model Nonlinear ke Linear Estimasi Parameter dalam Sistem Nonlinear
Analisis Regresi Nonlinear (I) I Wayan Sumarjaya
9 Oktober 2013
I Wayan Sumarjaya
Analisis Regresi Nonlinear (I)
Topik Model Regresi Nonlinear Transformasi Model Nonlinear ke Linear Estimasi Parameter dalam Sistem Nonlinear
Topik
Model Regresi Nonlinear Transformasi Model Nonlinear ke Linear Estimasi Parameter dalam Sistem Nonlinear Inferensi dalam Regresi Nonlinear Contoh Kasus
I Wayan Sumarjaya
Analisis Regresi Nonlinear (I)
Topik Model Regresi Nonlinear Transformasi Model Nonlinear ke Linear Estimasi Parameter dalam Sistem Nonlinear
Regresi linear berganda secara umum sesuai untuk kebanyakan kasus. Namun, banyak kasus peubah respons dan bebas berhubungan melalui fungsi nonlinear. Banyak terjadi dalam bidang kimia, biologi, kependudukan, dll. Contoh: model regresi eksponensial Yi = γ0 exp(γ1 Xi ) + ε i dengan γ0 dan γ1 adalah parameter, Xi konstanta ang diketahui dan ε i saling bebas N(0, σ 2 ).
I Wayan Sumarjaya
Analisis Regresi Nonlinear (I)
(1)
Topik Model Regresi Nonlinear Transformasi Model Nonlinear ke Linear Estimasi Parameter dalam Sistem Nonlinear
Contoh: model regresi logistik Yi =
γ0 + εi 1 + γ1 exp(γ2 Xi )
dengan galat ε i saling bebas N(0, σ 2 ). Apa yang bisa kita amati dari kedua contoh di atas?
I Wayan Sumarjaya
Analisis Regresi Nonlinear (I)
(2)
Topik Model Regresi Nonlinear Transformasi Model Nonlinear ke Linear Estimasi Parameter dalam Sistem Nonlinear
Bagaimana memodelkan regresi nonlinear? Idealnya berdasarkan pertimbangan teoretis (theoretical consideration). Artinya berdasarkan pengetahuan secara kimiawi, fisika, atau biologi. Berdasarkan pengetahuan ini dibuat model mekanistik (mechanistic model ). Contoh: model pertumbuhan Gompertz Yi = β1 exp(−β2 exp(−β3 Xi )) + ε
(3)
atau model pertumbuhan Weibull Yi = β1 − β2 exp(−β3 Xiβ4 ) + ε.
I Wayan Sumarjaya
Analisis Regresi Nonlinear (I)
(4)
Topik Model Regresi Nonlinear Transformasi Model Nonlinear ke Linear Estimasi Parameter dalam Sistem Nonlinear
Bagaimana memodelkan regresi nonlinear? Dalam sejumlah aplikasi model harapan respons berupa solusi dari persamaan diferensial. Model ini sering disebut model kompartemen (compartment model ). Contoh: model kinetika tingkat kedua yang dinyatakan oleh dAt = −kA2t dt
(5)
dengan solusi At = A0 /(1 + A0 tk) dan k = C1 exp(−Ea /RT ). Selanjutnya diperoleh model regresi nonlinear berbentuk At =
β1 +ε 1 + β2 t exp(−β3 /T )
dengan β1 = A0 , β2 = C1 A0 , dan β3 = Ea /R. I Wayan Sumarjaya
Analisis Regresi Nonlinear (I)
(6)
Topik Model Regresi Nonlinear Transformasi Model Nonlinear ke Linear Estimasi Parameter dalam Sistem Nonlinear
Model umum Dari urain di atas secara umum dapat dituliskan model regresi nonlinear: Y = f (X, β ) + ε
(7)
dengan β adalah vektor parameter yang tidak diketahui berdimensi p × 1 dan ε adalah galat acak yang tidak berkorelasi dengan E(ε) = 0 dan var(ε) = σ 2 . Fungsi harapan E(Y ) = E[f (X, β ) + ε] = f (X, β ).
I Wayan Sumarjaya
Analisis Regresi Nonlinear (I)
(8)
Topik Model Regresi Nonlinear Transformasi Model Nonlinear ke Linear Estimasi Parameter dalam Sistem Nonlinear
Misalkan terdapat model Y = β1 exp(β2 )X ε. Fungsi harapannya E(Y ) = β1 exp(β2 )X ε
(9)
Ambil logaritma pada kedua sisi log E(Y ) = log β1 + β2 )X + log ε = α0 + α2 X + ε∗
(10)
Selanjutnya? Jika ε∗ ∼ N dengan varians konstan semua prosedur regresi linear yang telah dipelajari bisa digunakan!
I Wayan Sumarjaya
Analisis Regresi Nonlinear (I)
Topik Model Regresi Nonlinear Transformasi Model Nonlinear ke Linear Estimasi Parameter dalam Sistem Nonlinear
Model regresi nonlinear yang bisa distransformasikan menjadi model regresi linear disebut linear secara intrinsik (intrinsically linear ). Bagaimana kalau kita memiliki model Y = β1 exp(β2 X ) + ε?
I Wayan Sumarjaya
Analisis Regresi Nonlinear (I)
(11)
Topik Model Regresi Nonlinear Transformasi Model Nonlinear ke Linear Estimasi Parameter dalam Sistem Nonlinear
Bagaimana estimasi parameter? Misalkan model regresi nonlinear: Yi = f (Xi , β ) + εi ,
i = 1, 2, . . . , n.
(12)
Fungsi kuadrat terkecil β) = S(β
n X (Yi − f (Xi , β ))2 .
(13)
i=1
Untuk mencari β yang meminimumkan kita akan punya persamaan normal sebanyak p: n X
2
(Yi − f (Xi , β ))
i=1
I Wayan Sumarjaya
∂f (Xi , β ) ∂βj
= 0. β =b
Analisis Regresi Nonlinear (I)
(14)
Topik Model Regresi Nonlinear Transformasi Model Nonlinear ke Linear Estimasi Parameter dalam Sistem Nonlinear
Secara umum fungsi harapannya adalah juga fungsi nonlinear! Contoh misalkan model regresi Y = β1 exp(β2 X ) + ε Hitung normal kuadrat terkecilnya!
I Wayan Sumarjaya
Analisis Regresi Nonlinear (I)
(15)
Topik Model Regresi Nonlinear Transformasi Model Nonlinear ke Linear Estimasi Parameter dalam Sistem Nonlinear
Metode lain adalah metode kemungkinan maksimum. Jika galat berdistribusi normal dan saling bebas dengan rata-rata nol dan varians σ 2 maka fungsi likelihoodnya adalah n 1 X 1 n/2 2 β, σ ) = exp − 2 (Yi − f (Xi , β )) L(β 2πσ 2 σ 2
(16)
i=1
dan log-likelihoodnya n 1 X n 2 β, σ ) = ln(2πσ − 2 (Yi − f (Xi , β ))2 ln L(β 2 σ 2
i=1
I Wayan Sumarjaya
Analisis Regresi Nonlinear (I)
(17)
Topik Model Regresi Nonlinear Transformasi Model Nonlinear ke Linear Estimasi Parameter dalam Sistem Nonlinear
Selanjutnya diperoleh fungsi skor (scor function): n 1 X 2 ∂f (Xi , β ) (Yi − f (Xi , β )) = 0. σ2 ∂βj β =b
(18)
i=1
Apabila µi = f (Xi , β ) dan Dij =
∂f (Xi , β ) ∂βj
(19)
kita dapat tuliskan dalam bentuk matriks persamaan skor di atas sebagai: 1 T D (Y − µi ) = 0 (20) σ2
I Wayan Sumarjaya
Analisis Regresi Nonlinear (I)
Topik Model Regresi Nonlinear Transformasi Model Nonlinear ke Linear Estimasi Parameter dalam Sistem Nonlinear
Ada pertanyaan?
I Wayan Sumarjaya
Analisis Regresi Nonlinear (I)