Analisis Regresi Nonlinear (I)

Topik Model Regresi Nonlinear Transformasi Model Nonlinear ke Linear Estimasi Parameter dalam Sistem Nonlinear

Analisis Regresi Nonlinear (I) I Wayan Sumarjaya

9 Oktober 2013

I Wayan Sumarjaya

Analisis Regresi Nonlinear (I)


Topik

Model Regresi Nonlinear Transformasi Model Nonlinear ke Linear Estimasi Parameter dalam Sistem Nonlinear Inferensi dalam Regresi Nonlinear Contoh Kasus

I Wayan Sumarjaya



Regresi linear berganda secara umum sesuai untuk kebanyakan kasus. Namun, banyak kasus peubah respons dan bebas berhubungan melalui fungsi nonlinear. Banyak terjadi dalam bidang kimia, biologi, kependudukan, dll. Contoh: model regresi eksponensial Yi = γ0 exp(γ1 Xi ) + ε i dengan γ0 dan γ1 adalah parameter, Xi konstanta ang diketahui dan ε i saling bebas N(0, σ 2 ).

I Wayan Sumarjaya


(1)


Contoh: model regresi logistik Yi =

γ0 + εi 1 + γ1 exp(γ2 Xi )

dengan galat ε i saling bebas N(0, σ 2 ). Apa yang bisa kita amati dari kedua contoh di atas?

I Wayan Sumarjaya


(2)


Bagaimana memodelkan regresi nonlinear? Idealnya berdasarkan pertimbangan teoretis (theoretical consideration). Artinya berdasarkan pengetahuan secara kimiawi, fisika, atau biologi. Berdasarkan pengetahuan ini dibuat model mekanistik (mechanistic model ). Contoh: model pertumbuhan Gompertz Yi = β1 exp(−β2 exp(−β3 Xi )) + ε

(3)

atau model pertumbuhan Weibull Yi = β1 − β2 exp(−β3 Xiβ4 ) + ε.

I Wayan Sumarjaya


(4)


Bagaimana memodelkan regresi nonlinear? Dalam sejumlah aplikasi model harapan respons berupa solusi dari persamaan diferensial. Model ini sering disebut model kompartemen (compartment model ). Contoh: model kinetika tingkat kedua yang dinyatakan oleh dAt = −kA2t dt

(5)

dengan solusi At = A0 /(1 + A0 tk) dan k = C1 exp(−Ea /RT ). Selanjutnya diperoleh model regresi nonlinear berbentuk At =

β1 +ε 1 + β2 t exp(−β3 /T )

dengan β1 = A0 , β2 = C1 A0 , dan β3 = Ea /R. I Wayan Sumarjaya


(6)


Model umum Dari urain di atas secara umum dapat dituliskan model regresi nonlinear: Y = f (X, β ) + ε

(7)

dengan β adalah vektor parameter yang tidak diketahui berdimensi p × 1 dan ε adalah galat acak yang tidak berkorelasi dengan E(ε) = 0 dan var(ε) = σ 2 . Fungsi harapan E(Y ) = E[f (X, β ) + ε] = f (X, β ).

I Wayan Sumarjaya


(8)


Misalkan terdapat model Y = β1 exp(β2 )X ε. Fungsi harapannya E(Y ) = β1 exp(β2 )X ε

(9)

Ambil logaritma pada kedua sisi log E(Y ) = log β1 + β2 )X + log ε = α0 + α2 X + ε∗

(10)

Selanjutnya? Jika ε∗ ∼ N dengan varians konstan semua prosedur regresi linear yang telah dipelajari bisa digunakan!

I Wayan Sumarjaya



Model regresi nonlinear yang bisa distransformasikan menjadi model regresi linear disebut linear secara intrinsik (intrinsically linear ). Bagaimana kalau kita memiliki model Y = β1 exp(β2 X ) + ε?

I Wayan Sumarjaya


(11)


Bagaimana estimasi parameter? Misalkan model regresi nonlinear: Yi = f (Xi , β ) + εi ,

i = 1, 2, . . . , n.

(12)

Fungsi kuadrat terkecil β) = S(β

n X (Yi − f (Xi , β ))2 .

(13)

i=1

Untuk mencari β yang meminimumkan kita akan punya persamaan normal sebanyak p: n X

2

(Yi − f (Xi , β ))

i=1

I Wayan Sumarjaya

∂f (Xi , β ) ∂βj

= 0. β =b


(14)


Secara umum fungsi harapannya adalah juga fungsi nonlinear! Contoh misalkan model regresi Y = β1 exp(β2 X ) + ε Hitung normal kuadrat terkecilnya!

I Wayan Sumarjaya


(15)


Metode lain adalah metode kemungkinan maksimum. Jika galat berdistribusi normal dan saling bebas dengan rata-rata nol dan varians σ 2 maka fungsi likelihoodnya adalah n 1 X 1 n/2 2 β, σ ) = exp − 2 (Yi − f (Xi , β )) L(β 2πσ 2 σ 2

(16)

i=1

dan log-likelihoodnya n 1 X n 2 β, σ ) = ln(2πσ − 2 (Yi − f (Xi , β ))2 ln L(β 2 σ 2

i=1

I Wayan Sumarjaya


(17)


Selanjutnya diperoleh fungsi skor (scor function): n 1 X 2 ∂f (Xi , β ) (Yi − f (Xi , β )) = 0. σ2 ∂βj β =b

(18)

i=1

Apabila µi = f (Xi , β ) dan Dij =

∂f (Xi , β ) ∂βj

(19)

kita dapat tuliskan dalam bentuk matriks persamaan skor di atas sebagai: 1 T D (Y − µi ) = 0 (20) σ2

I Wayan Sumarjaya



Ada pertanyaan?

I Wayan Sumarjaya


Analisis Regresi Nonlinear (I)

Recommend Documents