LECTURE NOTES #2 Model Regresi Sederhana I.
Pengantar Analisa regresi merupakan salah satu topik utama ekonometrika. Dengan regresi, kita berupaya mengungkapkan hubungan antar variabel dengan memasukkan unsur kausalitas. Dengan kata lain kita ingin mengetahui jika suatu variabel berubah (misalnya x=tingkat pendidikan) maka apa yang terjadi dengan variabel lainnya (misalnya y=tingkat gaji/upah). Analisa regresi dalam pengembangannya dapat bersifat sangat kompleks disebabkan karakteristik data, pelanggaran asumsi statistik, non stationarity, dsb. Untuk memperoleh pemahaman yang baik maka pelajaran mengenai analisa regresi akan dimulai dengan model yang paling sederhana. Model ini hanya melibatkan 2 variabel, yakni 1 variabel bebas dan 1 variabel tergantung.
II.
Representasi Regresi Sederhana Dalam analisa regresi sederhana, kita ingin mengetahui perubahan variabel tergantung (disebut y) yang disebabkan oleh berubahnya variabel bebas (disebut x). Dalam representasi model regresi tersebut terdapat tiga aspek yang perlu diperhatikan, yakni a. Non deterministic relation. Analisa regresi tidak pernah bersifat deterministic. Dengan demikian kita memerlukan suatu perlakuan terhadap variabel-variabel yang tidak dimasukkan kedalam model. b. Functional form. Bagaimana bentuk fungsional antara variabel y dan x, apakah selalu linier? c. Ceteris Paribus. Bagaimana kita dapat memasukkan asumsi ceteris paribus (lihat lecture notes 1) kedalam model? Suatu model regresi sederhana dapat direpresentasikan sbb:
y = β 0 + β1 x + u
………………………1)
Dimana y adalah variabel tergantung dan x variabel bebas. Sebelum melanjutkan ada baiknya mengetahui terminology lain yang sering digunakan untuk x dan y . y Dependent Variable Explained Variable Response Variable Predicted Variable Regressand
x Independent Variable Explanatory Variable Control Variable Predictor Variable Regressor
1
Variabel u disebut sebagai error term atau disturbances yang berfungsi untuk menampung seluruh factor yang mempengaruhi y selain x (tidak terbatas pada variabel lain namun mungkin juga kesalahan bentuk fungsional, kesalahan pengukuran, dsb). Variabel u juga sering disebut sebagai variabel tak terobservasi (unobserved). Parameter β1 disebut slope, dalam analisa ekonometri parameter ini adalah focus utama. Sedangkan parameter β0 disebut dengan intersep, dalam kebanyakan analisa ekonometris tidak terlalu menjadi perhatian. Parameter β1 menunjukkan kuantitas hubungan antara variabel bebas dengan variabel tergantung dengan mengasumsikan seluruh factor lain (yang tercakup dalam u) adalah konstan. Dalam persamaan 1, β1 adalah linear dengan demikian perubahan x sebesar ∆x akan berimplikasi pada perubahan y sebesar ∆y. Sebagai suatu ilustrasi kita dapat menggunakan persamaan 1 untuk mengestimasi hubungan antara gaji dengan pendidikan. Hal ini dirumuskan dalam model sbb:
Gaji = β 0 + β1 Didik + u
………………………2)
Katakanlah kita mengukur gaji dalam satuan ribuan rupiah dan didik sebagai jumlah bulan sekolah (termasuk training). Dengan demikian perubahan 1 bulan sekolah akan berimplikasi pada perubahan gaji sebesar β1 ribuan rupiah. Analisa regresi seperti yang ditunjukkan persamaan 1 dan 2 adalah sangat sederhana. Beberapa permasalahan yang timbul dari pemodelan seperti ini adalah: 1. Beberapa hubungan ekonomi tidak dapat dideskripsikan secara linier. Sebagai contoh hubungan antara pendidikan dan gaji memiliki sifat increasing return, dengan demikian tambahan 1 unit pendidikan akan bernilai berbeda dengan 1 unit sebelumnya. 2. Permasalahan dalam implementasi ceteris paribus. Bagaimana kita akan menerapkan ceteris paribus (dampak perubahan variabel tergantung akibat berubahnya satu variabel bebas dengan asumsi variabel lain adalah konstan) sementara tidak ada satupun variabel lain ada dalam model. 3. Persamaan 1 dan 2 diestimasi dari data, dengan demikian perlu diperhatikan asumsi statistik yang mendasari prosedur pengambilan kesimpulan induktif semacam ini. Tiga asumsi yang terpenting diantaranya
2
E (u ) = 0
………………………3)
E (u x) = E (u ) = 0
………………………4)
E ( y x) = β 0 + β1 x
………………………5)
Persamaan 3 menyatakan bahwa, rata-rata dari residual adalah nol. Asumsi ini tercapai khususnya jika kita mengasumsikan bahwa parameter intersep adalah bukan nol. Persamaan 4 menyatakan bahwa tidak ada dampak (korelasi) dari variabel bebas terhadap residual. Sebagai suatu ilustrasi, pada persamaan 2 jika kita mengasumsikan bahwa u mencakup variabel yang disebut skill, maka persamaan 4 berimplikasi bahwa skill tidak berubah dengan bertambahnya pendidikan. Persamaan 4 sering disebut sebagai zero conditional mean assumption. Terpenuhinya persamaan 3 dan 4 memungkinkan kita untuk menggunakanpersamaan 5 didalam mengintrepretasikan persamaan 1. Dengan kata lain rata-rata y pada x yang tertentu dapat diberikan sebagai E(y| x). Persamaan 5 ini disebut sebagai population regression function (PRF). Secara grafik hal ini digambarkan pada grafik 1.
Grafik 1. Population Regression Function Sumber: Wooldridge (2005) hal 26.
3
III. Penurunan Estimator Ordinary Least Squares Seperti yang telah diuraikan didepan kita mengestimasi population regression function/PRF (persamaan 5) dari suatu sampel. Hasil dari estimasi ini disebut dengan sample regression function/SRF yang berbentuk persamaan 1. Error term diperlukan mengingat hasil yang diperoleh dari sampel ini hanya merupakan suatu dugaan yang diharapkan berlaku atas dasar asumsi/prinsip statistik tertentu. Dengan kata lain selalu terdapat kemungkinan kesalahan atas dugaan populasi karena menggunakan data dari sample. Prinsip ini adalah umum digunakan dalam statistik induktif. Terdapat beberapa metoda untuk mengestimasi parameter β0 dan β1 misalnya ordinary least squares, maximum likelihood dan methods of moments. Dalam diktat ini akan diilustrasikan suatu metoda yang paling sederhana dan paling banyak digunakan yakni ordinary least squares (OLS). Intuisi penggunaan metoda OLS dapat diberikan dengan mempelajari grafik 2. Penggunaan OLS dalam mengestimasi parameter SRF adalah berupaya meminimumkan kuadrat residual. Jika kita memiliki data variabel y dan x sebanyak n, maka parameter β0 dan β1 , dapat diperoleh dengan menyelesaikan masalah berikut:
⎛ n ⎞ Min ∑ ui ⎜ = ∑ ( y − β 0 − β1 x) 2 ⎟ β 0 ; β1 i =1 ⎝ i =1 ⎠ n
2
………………………6)
Grafik 2. Prinsip OLS Sumber: Wooldridge (2005), hal 31 Secara intuitif, penyelesaian persamaan 6 adalah mencari berbagai garis linier yang melewati titik-titik data pada grafik 2 sedemikian rupa sehingga
4
jumlah kuadrat residualnya adalah yang paling kecil. Dengan menggunakan teknik kalkulus dan penerapan aturan penjumlahan dapat ditunjukkan bahwa parameter β0 dan β1 adalah (lihat appendiks 1 untuk derivasi): n
^
β1 =
_
_
∑ ( x − x)( y − y) i
i =1
i
n
_
∑ ( x − x) _
2
Cov( x, y ) Var ( x)
………………………7)
i
i =1
^
=
_
β 0 = y − β1 x
………………………8)
Parameter yang diperoleh dari persamaan 7 dan 8 disebut dengan estimator OLS. Dari estimator ini kita dapat memperoleh fitted value dari y ketika x = xi, yang diberikan sebagai ^
^
^
y i = β 0 + β 1 xi
………………………9)
Ini adalah nilai prediksi dari y jika kita mengetahui nilai x adalah tertentu. Selanjutnya residual dari observasi ke i dapat dihitung dengan cara ^
^
^
^
u i = yi − y i = yi − β 0 − β 1 xi
……………………10)
Contoh 1. Sebagai suatu ilustrasi cara kerja prinsip OLS berikut disajikan suatu contoh yang diberikan oleh Wooldridge (2005). File CEOSAL1.RAW berisi data gaji CEO dan berbagai variabel lainnya (misalnya ROE, Sales, dummy kategori perusahaan, dsb) dengan jumlah observasi sebanyak 209. Disini kita akan mencoba melihat regresi antara gaji CEO (diukur dalam satuan ribu USD) terhadap Return On Equity (diukur dalam poin persentase). Dengan menggunakan software EVIEWS ver. 5.10 dan menjalankan perintah: ls salary c roe pada command window maka diperoleh output sbb:
5
Dependent Variable: SALARY Method: Least Squares Date: 05/06/08 Time: 07:54 Sample: 1 209 Included observations: 209 Variable
Coefficient
Std. Error
t-Statistic
Prob.
C ROE
963.1913 18.50119
213.2403 11.12325
4.516930 1.663290
0.0000 0.0978
R-squared Adjusted R-squared S.E. of regression Sum squared resid Log likelihood Durbin-Watson stat
0.013189 0.008421 1366.555 3.87E+08 -1804.543 2.104990
Mean dependent var S.D. dependent var Akaike info criterion Schwarz criterion F-statistic Prob(F-statistic)
1281.120 1372.345 17.28750 17.31948 2.766532 0.097768
Tabel1. Output Regresi Salary Terhadap ROE
Dari kolom dengan header: coefficient, kita dapat menuliskan SRF bagi regresi ini sebagai (dengan pembulatan) ^
Salary = 963,191 + 18,501ROE
……………………11)
Beberapa intrepretasi yang dapat dilakukan terkait dengan persamaan 11 adalah: a. Jika ROE=0, maka prediksi dari gaji CEO adalah 963,191 ribu USD. b. Jika ROE naik 1 persen maka gaji CEO akan naik sebesar 18,501 ribu USD (dan sebaliknya jika turun). Karena kita mengestimasi bentuk linier maka perubahan ini tidak dipengaruhi oleh posisi awal gaji CEO. c. Jika ROE=30% maka gaji CEO adalah 963,191 + 18,501(30) = 1518,221 (ribu USD). Secara grafis regresi yang diperoleh dapat digambarkan sbb:
6
Grafik 3. SRF dan PRF regresi Gaji CEO terhadap ROE Sumber: Wooldridge (2005), hal 33. Perlu diperhatikan bahwa regresi yang diperoleh diatas (persamaan 11) adalah estimasi dari PRF. Kita tidak akan pernah tahu PRF yang sebenarnya (kecuali kita bekerja pada data populasi, yang hampir tidak pernah ditemui pada kenyataan). Data sampel yang lain akan memberikan SRF yang berbeda, yang mungkin lebih dekat (atau mungkin juga tidak) dengan PRF. IV. Karakteristik OLS Terdapat beberapa karakter yang berguna dari estimator OLS, diantaranya: 1. Jumlah (dan dengan demikian rata-rata) dari residual adalah nol, atau n
^
∑ ui = 0
……………………12)
i =1
Karakteristik ini adalah implikasi otomatis dari OLS. 2. Kovariansi dari regresor dan residual adalah nol. n
^
∑ xi u i = 0
……………………13)
i =1
−
−
3. Titik rata-rata ( x, y) selalu berada pada garis regresi, dengan kata lain _
^
^
_
yi = β 0 + β 1 x
……………………14)
7
Selanjutnya kita dapat memandang OLS sebagai mendekomposisi yi kedalam 2 bagian, yakni fitted value dan suatu residual. Fitted value dan residual tidak memiliki korelasi pada sampel. Untuk melihat hal ini dapat merujuk pada terminology sebagai berikut: n
_
Sum Square Total (SST) = ∑ ( yi − y )2
……………………15)
i =1
n
_
^
Sum Square Explained (SSE) = ∑ ( y i − y ) 2
……………………16)
i =1
⎛ n 2⎞ Sum Square Residual (SSR) = ∑ ( yi − y i ) ⎜ = ∑ ui ⎟ ………17) i =1 ⎝ i =1 ⎠ n
^
2
SST adalah ukuran variasi sample yi (menunjukkan seberapa besar dispersi ^ sample yi disekitar rata-ratanya). SSE menunjukkan variasi sample pada yi ˆ u dan SSR mengukur variasi dari i . Dapat ditunjukkan disini bahwa total variasi pada y adalah sama dengan jumlah SSE dan SSR, atau
SST = SSE + SSR
……………………19)
Pembuktian terhadap pernyataan ini dapat dilihat pada appendiks. Selanjutnya dengan membagi persamaan 19 dengan SST kita dapat memperoleh
1=
SSE SSR + SST SST
……………………20)
Kita dapat mendefinisikan R2, koefisien determinasi (R2) sebagai
R2 =
SSE SSR = 1− SST SST
……………………21)
Seperti yang dapat dilihat pada persamaan 21, koefisien determinasi menunjukkan proporsi variasi variabel tergantung (y) yang dapat dijelaskan oleh variasi variabel bebas (x). Nilai R2 selalu terletak antara 0 dan 1 karena SSE dan SSR tidak mungkin melebihi nilai SST. R2 adalah suatu ukuran kesuaian model (model fit).
8
Kembali pada contoh regresi gaji CEO dan ROE diatas (tabel 1), dapat dilihat disini bahwa nilai R2 adalah 0.0131. Dengan kata lain variasi pada variabel ROE menjelaskan 1.31% variasi pada gaji CEO. Perlu dicatat disini bahwa meskipun R2 adalah suatu ukuran kesuaian model, ia bukan satu-satunya ukuran. Penekanan yang berlebih pada koefisien ini dapat memberikan hasil yang misleading. Pada contoh diatas nilai R2 adalah sangat rendah namun tidak menutup kemungkinan bahwa model yang diperoleh adalah mencerminkan populasi. Pada penelitian ilmu sosial, nilai R2 yang rendah pada suatu model adalah bukan fenonema yang jarang (Wooldridge, 2005, hal 40).
9
