Heteroscedasticity Before discussing ARCH (AutoRegressive Conditional Heteroscedasticity) and GARCH (Generalized AutoRegressive Conditional Heteroscedasticity) models, we need to review the concept of heteroscedasticity. Recall that one of the requirements of Gauss Markov Theorem is that the variance of the residual is constant. But, for some cases this requirement is difficult to be satisfied. See the following example.
Review Coverage How do we know that we have heteroscedasticity in our model? What is the impact of existing heteroscedasticity in our model to the parameter estimators How to fix it ? Illustration
y = a + bx + e (i). Bila y merupakan sales dari suatu industri; sudah barang tentu varians dari sales untuk industri besar akan beda dengan varians dari sales untuk industri kecil. (ii).Bila y merupakan pengeluaran dari suatu keluarga, maka volatilitas pengeluaran untuk keluarga dengan pendapatan tinggi akan lebih besar dari volatilitas pengeluaran untuk keluarga dengan pendapatan rendah.
Pada umumnya, data cross-section sering memunculkan varians error yang heteroskedastis. Meskipun demikian, data time series juga dapat mengakibatkan adanya heteroskedastisitas. Dalam kasus-kasus terjadinya heteroskedastisitas, var(ei) = σi2; varians error tidak konstan melainkan berubah-ubah tergantung individu yang diamati.
Dampak adanya heteroskedastisitas pada estimator OLS 1. Estimator masih tidak bias 2. Estimator masih konsisten 3. Estimator tidak efisien yaitu varians dari estimator tidak minimum yang berakibat kurang tepatnya uji t dan lain-lain ukuran. Bagaimana mengatasi adanya heteroskedastisitas. (a). Bila σi dapat diketahui (dari pengalaman masa lalu) yi = a + bxi + ei
masing-masing data pengamatan dikalikan dengan 1/σi yi/σi = a/σi + b xi/σi + ei/σi yi* = a* + b x*i + e*i var (e*i) = σi2 / σi2 = 1 homoskedastis Cara ini menjamin hilangnya heteroskedastisitas; akan tetapi, prosedur ini susah diimplementasikan karena tidak mudah mencari varians dari tiap-tiap pengamatan.
(b).Bila varians error berubah sejalan dengan perubahan Xi misalnya Var (ei) = k Xi2 ; k ≠ 0 Kalau sifat ini terpenuhi, masing-masing pengamatan dikalikan dengan 1/Xi sebagai berikut: yi/ Xi = a/Xi + b + ei/Xi ei* = ei/Xi Var (ei*) = 1/Xi2 Var(ei) = k konstan Transformasi ini dapat menghilangkan heteroskedastisitas.
Example: Housing Expenses We will investigate relationships between yearly income and yearly payment for housing. There are four groups of income observed: Gropus 1 2 3 4
$000 Income 5 10 15 20
1.8 3.0 4.2 5.0
Model offered: y = a + bX + e
$000 Housing Expenses 2.0 2.0 2.0 3.2 3.5 3.5 4.2 4.5 4.8 5.0 5.7 6.0
2.1 3.6 5.0 6.2
y: pengeluaran untuk rumah; X: pendapatan. Dugaan: Var (e) tidak konstan karena volatilitas pengeluaran untuk rumah lebih besar untuk kelompok pendapatan lebih tinggi. Bila model tersebut diestimasi dengan OLS, hasilnya sebagai berikut: yi = 0.89 + 0.273 Xi ; R2 = 0.93; F = 252.7 t: (4.4) (15.9) Karena diduga ada heteroskedastisitas, estimator tersebut di atas diduga tidak efisien atau varians dari estimator tidak efisien.
Akan dicoba dihilangkan heteroskedastisitasnya dengan cara: yi/ Xi = b + a/Xi + ei* ; ei* = ei/Xi Setelah transformasi ini, Var(ei*) menjadi konstan dan model tersebut di atas diestimasi dengan OLS dengan hasil estimasi sebagai berikut: yi/Xi = 0.249 + 0.7529/Xi ; R2 = 0.76 ; F=58.7 t: (21.3) (7.7) atau: yi = 0.7529 + 0.249Xi
Komentar: 1. Besaran estimator pada model hetero dan model homo berbeda. R2 juga beda. 2. Model yang mana yang lebih layak digunakan? Apakah kita dapat mengatakan bahwa model hetero lebih baik karena R2 lebih besar. 3. R2 model hetero mencerminkan hubungan antara y dan X sedangkan R2 model homo mencerminkan hubungan antara y/x dan 1/x. 4. Analisis/Interpretasi model selayaknya mengacu kepada model yang sudah tidak ada heteroskedastisitasnya.
Beberapa Tes Heteroskedastisitas 1. Tes Goldfeld-Quandt H0 : σ12 = σ22 = .... =σN2 H1 : σ12 = c Xi2 Tahapan: (1). Urutkan variabel yang dicurigai berhubungan dengan Var (ei) dari kecil ke besar (2). Buang tengahnya sebanyak d pengamatan. d sekitar N/5. (3). Lakukan regresi dengan data yang kecil; (N-d)/2 pertama. Hitung Residual Sum Square, ESS1. (4). Lakukan regresi dengan data yang besar; (N-d)/2 kedua. Hitung Residual Sum Square, ESS2 (5). ESS2 / ESS1 ∼ F(N-d-4)/2 (6). H0 ditolak bila ESS2 / ESS1 terhitung > nilai dari Tabel F
Contoh: Pengeluaran untuk rumah dan Pendapatan. Data dibagi menjadi dua berdasarkan pendapatannya. Data I terdiri dari keluarga dengan pendapatan $5000 dan $10000 sedangkan data II terdiri dari keluarga dengan pendapatan $15000 dan $20000. Hasil dua regresi dengan menggunakan masingmasing data tersebut disajikan sebagai berikut:
(1). Pendapatan Rendah y = 0.600 + 0.276 X; R2 = 0.94; ESS1 = 0.300 t: (3.1) (11.3) (2). Pendapatan Tinggi Y = 1.54 + 0.20 X; R2 = 0.55; t : (1.4) (3.1)
ESS2 = 2.024
ESS2 / ESS1 = 6.7 Dari Tabel F dengan degrees of freedom 8 dan α = 5% diperoleh angka 3.44 dengan demikian, H0 ditolak yang berarti ada heteroskedastisitas pada data tersebut
2. Tes Breusch-Pagan Yi = a + b Xi + ei σi2 = f(γ + δ Zi) Diasumsikan ada relasi antara Var (ei) = σi2 dengan variabel bebas Zi. Zi dapat berupa variabel bebas Xi atau variabel bebas lainnya. Untuk mengetes adanya heteroskedastisitas, (i). hitung residual ei dari regresi tersebut di atas (ii). estimate, varians, σ2 = ∑ ei2 /N (iii). regresikan: ei2 / σ2 = γ + δZi + νi ; hitung RSS (iv). Bila RSS/2 terhitung > nilai Tabel X12 tolak hipotesis homoskedastis. Berarti ada heteroskedastisitas.
Fakta: 1.Bila e ∼ normal dan tidak ada heteroskedastisitas, maka Regression Sum Square (dibagai dua), RSS/2 ∼ X21 2. Scara umum, bila ada p variabel bebas Zi, RSS/2 ∼ X2p Ilustrasi Lihat kembali contoh Kasus Perumahan dan Pendapatan Misalkan: σi2 = γ + δXi (i). Lakukan regresi Yi = a + bXi + ei, hitung ei (ii). Hitung σ2 = ∑ ei2 /N = 0.12523 (iii). Regresikan: ei2/ σ2 = -0.853 + 0.148Xi , RSS = 13.732 (iv). RSS/2 = 6.866 Tabel X12 = 3.84 ( α = 5%) Berarti RSS/2 terhitung > nilai Tabel X12 Artinya: hipotesis bahwa varians homoskedastis ditolak dan ada heteroskedastisitas pada data.
3.Tes White Hampir sama dengan Tes Breusch-Pagan Yi = a + b Xi + ei σi2 = f(γ + δ Zi) (i). Hitung residual ei dari regresi tersebut di atas (ii). Regresikan ei2 = γ + δ Zi + νi , hitung R2 (iii). N R2 terhitung > nilai Tabel X12 , Tolak hipotesis varians homoskedastis.
Ilustrasi Kembali ke contoh Pendapatan vs Perumahan. Asumsi σi2 = γ + δ Xi (i). Hitung residual, ei dari Yi = a + bXi + ei (ii). Regresikan ei2 = γ + δ Xi + νi ; R2 = 0.36 (iii). N R2 = 7.2 karena N = 20 Dari Tabel X12 diperoleh angka 3.84 (α = 5%) Akibatnya, hipotesis homoskedastis ditolak, berarti ada heteroskedastisitas pada data.
Komentar Bila Zi = melibatkan Xi dan Xi 2, akan diperoleh: ei2 = 0.0922 – 0.0212 Xi + 0.0016 Xi2 dan R2 = 0.4130 Akibatnya, N R2 = 20 (0.4130) = 8.260 (ingat: N R2 ∼ X22) Padahal dari Tabel X22 diperoleh angka 5.99 (α = 5%) Artinya, hipotesis homoskedastisitas ditolak juga
End of Lesson
