Non Linear Estimation and Maximum Likelihood Estimation
Non Linear Estimation and Maximum Likelihood Estimation Non Linear Estimation We have studied linear models in the sense that the parameters are linear even when the variables are non linear. In addition, we also have studied non linear models that can be transformed into linear models. Thus, the models can be estimated using linear regression technique.
However, sometimes, we are encountered models that can not be linearized and therefore we can not estimate them using linear regression technique.
Examples of models that can not be linearized
(i). Y = α0 + α1 X1β1 + α2 X2β2 + ε (ii). Y = α1 eβ1X1 + α2 eβ2X2 + ε
In general, if we have a regression model in the form of Y= f (X1, X2, ..., Xk, β1,β2,...βp ) + ε f is a non linear function in X and β How to estimate estimators parameters β1,β2,...βp.
b1,b2,...bp
of
In principle, if we have T observations of Xk and Y, non linear least square estimator can obtained by minimizing: T
S = Σ (Yt – f (X1t . . . Xkt, β1, . . . βp)2 ; t=1
deviation sum squares. How?
Non Linear Estimation Methods There are several methods to estimate parameter of non linear models. Choice of methods, usually, based on types of equation and numbers of parameters to be estimated.
1. Direct Search (i). Several values of parameters are evaluated / tried to the parameters to be estimated. (ii). Values of parameters that minimize sum square of deviations are selected to be the estimator.
Comments: (i). This technique is easy if the number of parameters are no more than two. (ii). If the number of parameters is plenty and if the range of the estimators values is wide than this technique is not efficient. (iii). As an illustration, if there are 4 parameters and each parameter has 20 possible values, then, S should be calculated (20)4 or 160000 times. (iv). This technique is rarely used.
2. Direct Optimization Estimator diperoleh dengan menggunakan metode optimisasi yaitu menurunkan fungsi S terhadap semua parameter dan turunan-turunan tsb. disamakan dengan nol. Kemudian estimator merupakan solusi dari sistem persamaan tsb.
Bila
S = Σt=1T { Yt – f (X1t,. . ., Xkt, β1, . . . ,βp) }2
Syarat agar S minimum: ∂S / ∂βi = 0 atau Σ { Yt – f(X1t,. . . ,Xkt , β1,. . .,βp) } ∂f / ∂βi = 0 ; i = 1,2,. . . . P Teknik inipun susah untuk diimplementasikan.
3. Iterative Linearization Method Stages: (i). Pada prinsipnya, model yang tidak linier di linierkan disekitar nilai awal dari parameter. (ii).Kemudian OLS digunakkan untuk mencari estimator pada fungsi yang sudah dilinierkan tsb. Nilai baru dari parameter diperoleh. (iii).Model tidak linier tsb.dilinierkan lagi disekitar nilai parameter yang baru tsb.
(iv).OLS digunakan lagi untuk mencari estimator pada fungsi yang dilinierkan ini. Nilai baru parameter diperoleh lagi. (v). Proses dilanjutkan sampai nilai parameternya konvergen (tidak berubah lagi atau perubahannya hanya sedikit sekali).
Comments: (i). Bila model yang tidak linier ini dapat diproxi dengan model linier secara tepat, prosedur tsb. hanya memerlukan beberapa iterasi saja. (ii). R2 dapat dihitung pada tiap-tiap OLS digunakan .Hal ini dpt digunakan untuk melihat ketepatan fungsi linier tsb. (iii).Banyak software econometrik yang menggunakan teknik ini.
Teknik linierisasi ini menggunakan konsep ekspansi Deret Taylor. Secara umum, jika ada sebarang fungsi (linier atau tidak linier) dapat di ekspansikan menjadi fungsi polinomial menggunakan Deret Taylor sbb: f(X) = f(X0) / 0! + f ' (X0) / 1! (X – X0) + f " (X0) / 2! (X – X0)2+ . . . . + f (n) / n! (X – X0)n
Dalam hal Y = f(X1, X2,. . ,Xk, β1, β2 . . .βp); fungsi ini dapat dilinierkan dengan ekspansi Taylor menjadi: Y = f (X1, X2,. . ., Xk, β10, . . .βp0) + Σ (∂f / ∂βi )0 (βi - βi0) + ½ Σ Σ (∂2f / ∂βi ∂βj )0 (βi - βi0)(βj - βj0) +...+ε
Jika fungsi tersebut disederhanakan dengan tidak memperhatikan turunan ke dua dan selanjutnya, fungsi tersebut menjadi: Y - f(X1, X2,. . ., Xk, β10, . . .,βp0) + Σ βi0 ( ∂f / ∂βi )0 = Σ βi ( ∂f / ∂βi )0 + ε atau Y* = Σ βi X*i + ε yang berbentuk model regresi linier
dengan Y* variabel terikat X* variabel bebas βi parameter yang dicari Dengan menggunakan OLS, βi dapat dicari Secara iterasi, βi yang baru saja diperoleh digunakan sebagai parameter awal dalam proses linierisasi berikutnya. Dengan cara yang sama, proses dilanjutkan sampai βi konvergen.
Comments: (i). Tidak ada jaminan bahwa metode tsb. Akan konvergen; artinya βi dapat diperoleh dengan cara tsb. (ii). Bila hal ini terjadi, lakukan estimasi dari awal lagi dengan nilai dugaan parameter awal yang berbeda. (iii). Bila masih divergen juga, cari βi dengan cara estimasi lain.
Evaluation of Non Linear Regression Equation Pada regresi linier, suatu model yang terestimasi dapat dikatakan dapat menjelaskan dengan baik bila R2 mendekati 100%. Apakah ada ukuran goodness of fit untuk regresi tidak linier? Bagaimana dengan statistik t dan F apakah masih dapat digunakan?
Beberapa software menyajikan statistik t, beserta standard errornya beserta statistik F dari hasil OLS pada proses linierisasi terakhir (pada saat konvergen).
Ternyata, R2 juga dapat dihitung pada model tidak linier dengan cara berikut: R2 = 1 - Σ et2 / Σ yt2 et = Yt – f( Xit, . . .Xkt, β1, . . .βp ). yt = Yt – Yrata-rata
Non Linear Consumption Function Berikut ini akan disajikan fungsi konsumsi yang tidak linier dalam parameter. Fungsi konsumsi ini akan menggambarkan hubungan antara konsumsi agregat (C) dengan pendapatan setelah pajak secara agregat (YD - disposable income). Selain itu, dalam model ini juga akan diuji suatu hipotesis yang mengatakan bahwa MPC (Marginal Propensity to Consume) menurun bila pendapatan meningkat.
Analysis 1. Bila kita menganalisis masalah tsb. menggunakan model linier, kita akan mendapatkan MPC yang konstan seperti yang telah kita pelajari pada kuliah-kuliah yang lalu.
(i). Observe the following model: C = α + β YD + ε Bila kita estimasi model tersebut dengan OLS, kita akan memperoleh: C = a + b YD;
a estimator dari α dan b estimator dari β
akibatnya MPC = dC/ dYD = b konstan dan kita harapkan b < 1 dan b > 0
(ii). Observe the other model: C = α + β YD + δ YD2 + ε Bila model ini diestimasi dengan OLS, kita akan memperoleh: C = a + b YD + d YD2 MPC = b + 2d YD Jika b > 0 dan d < 0, MPC akan menurun bila pendapatan meningkat. Akan tetapi, bila d >0, hipotesis tersebut tidak dapat dibuktikan.
2. Sebagai alternatif, digunakan model tidak linier dalam parameter berikut: C = α + β YDδ + ε Bila α , β dan δ sudah terestimasi masing-masing dengan a, b dan d, maka, persamaannya menjadi: C = a + b YDd ;akibatnya, MPC = b d YDd-1 ;tidak konstan
Dengan menggunakan data-data kuartalan dari 1947(1) s/d 1995(3) dan dengan menggunakan teknik linierisasi serta nilai awal parameter (α0, β0, δ0) = (1,1,1) diperoleh: a = 256,33 b = 0,195 d = 1,180
; standard error SE (a) = 16,71 SE (b) = 0,0211 SE (d) = 0,0126
Sehingga persamaannya menjadi C = 256,33 +
0.195 YD 1,180
Semua parameter signifikan pada kepercayaan 5% dan R2 = 0,999
tingkat
MPC = (0,195)(1,180) YD0,180 = 0,2301 YD0,180
Comments: 1.
MPC menurun(?) pada saat YD meningkat 2. Pada saat YD = 600, MPC=0,805 3. Dengan menggunakan data yang sama, MPC untuk model linier = 0.918 (konstan)
Maximum Likelihood Estimation Perhatikan model regresi linier Yi = α + β Xi + εi Yi berdistribusikan normal dengan mean α + β Xi dan varians σ2. Distribusi probabilitas, P(Yi ) = (2πσ2)-1/2 exp { - (Yi - α - β Xi)2 /2σ2} Fungsi likelihood merupakan perkalian masingmasing probabilitas dan untuk model ini besarannya adalah:
L( Y1,Y2, . . . , YN , α, β, σ2) = = P(Y1) P(Y2). . ., P(YN) (2πσ2)-N/2 exp [ - Σ {(Yi - α - β Xi) /(2σ2)}2 ]
Fungsi log likelihood: ln L= - (N/2) ln (2π) - (N/2) ln(σ2) - { Σ (Yi - α - β Xi)2} / 2σ2
Akan di cari estimator α, β dan σ2 yang memaksimumkan fungsi likelihood atau fungsi ln likelihood dengan cara:
∂ln L / ∂α = 0 Æ1/σ2 Σ (Yi - α - β Xi) = 0 ∂ln L / ∂β = 0 Æ1/σ2 Σ [ Xi (Yi - α - β Xi)] = 0 ∂ln L / ∂σ2 = 0 Æ-N/2σ2 + 1/2σ4 Σ (Yi -α -β Xi)2 = 0
Estimator yang diperoleh: a = Yrata – b Xrata b = Σ (Xi - Xrata ) (Yi - Yrata) / Σ (Xi - Xrata )2 S2 = Σ (Yi - a - b Xi)2 / N Ternyata Estimator ini sama dengan estimator OLS. Apakah selalu sama?
Comments (i). Bila ada asumsi bahwa εi berdistribusi normal dengan mean 0 dan varians σ2, maka estimator yang diperoleh dengan metode OLS akan sama dengan estimator yang diperoleh dengan metode maksimum likelihood (ii). Sifat-sifat estimator yang dicari dengan Maximum Likelihood (a) konsisten (b) Efisien asimptotis
Likelihood Ratio Test Model 1: Yi = β0 + β1Xi + β2X2i +β3X3i + εi ; UR ; R 2: Yi = β0 + εi Perhatikan bahwa Model 2 adalah model 1 bila β 1 = β2 = β3 = 0 Untuk mengetes apakah memang benar β1 = β2 = β3 = 0, lakukanlah tes berikut λ = L(Model 2) / L(Model 1 ) L (Model i): fungsi likelihood model i.
Comments 1. Kalau H0 benar, β1 = β2 = β3 = 0, maka λ akan mendekati 1 2. Bila H0 tidak benar, λ akan mendekati nol 3. Kita akan menolak H0 bila λ kecil sekali 4. Tes rasio ini dapat digunakan dengan memperhatikan hasil / fakta berikut: G = - 2 ( L(Model 2) – L(Model 1) ) ∼ X2m Khi kuadrat dengan derajat bebas m; m: banyaknya restriksi, banyaknya parameter yang diduga sama dengan nol.
5. Bila hasil perhitungan G > tabel X2m,α , tolak
H0; berarti tidak semua βi = 0 pada tingkat signifikansi α 6. Uji ini disebut juga uji G dan mempunyai kesamaan dengan uji F dalam OLS.
WALD TEST Uji Wald: Uji signifikansi tiap-tiap parameter. H0 : βj = 0 untuk suatu j tertentu H 1 : βj ≠ 0 Statistik uji yang digunakan: Wj = [ βj / SE ( βj ) ]2 Fakta: Wj ∼ X21 ; Khi Kuadrat dgn derajat bebas 1 H0 ditolak jika Wj > X2α,1 ; α = tingkat signifikansi yang dipilih
The end of the lesson Prepared by Nachrowi D Nachrowi
