Pendugaan Parameter Regresi. Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Pendugaan Parameter Regresi

Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Menduga garis regresi  Menduga garis regresi linier sederhana = menduga parameter-parameter regresi β0 dan β1 :  Penduga parameter yang dihasilkan harus merupakan penduga yang baik

 Software statistik, seperti Minitab, SAS, SPSS, dll. banyak digunakan Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Metode Kuadrat Terkecil  b0 dan b1 adalah dugaan bagi parameter regresi β0 dan β1 yang didapat salah satunya dengan cara meminimumkan jumlah kuadrat galat (JKG). ˆ  Metode Galat/sisaan = selisih antara y dan y Kuadrat Terkecil (MKT) :

min JKG  min  min  min

  (y  [y

e i2 i i

 yˆ i ) 2

 (b 0  b 1 x i )] 2

Teknik kalkulus digunakan untuk mendapatkan nilai bo dan b1 sedemikian hingga meminimumkan JKG


Metode Kuadrat Terkecil

(lanjutan)

 Penduga bagi koefisien kemiringan garis β1 ialah:

 (x n

b1 

i 1

SXY

i

 x)(yi  y)

2 (x  x )  i n

i 1

S XY sY   rxy S XX sX

SXX

 Penduga bagi intersep β0 ialah:

b0  y  b1x

 Garis regresi selalu melalui titik x, y Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Koefisien Korelasi Pearson

Asumsi Metode Kuadrat Terkecil (MKT) Kondisi Gauss - Markov Agar penduga bagi parameter regresi yang didapatkan dengan menggunakan MKT merupakan penduga yang baik maka sisaan/galat harus memenuhi kondisi Gauss-Markov berikut ini : 1. E[ i ]  0

nilai - harapan/rataan sisaan  nol

3. E[ i j ]  0, i  j

( homoscedasticity )  i dan  j saling bebas

2. E[ i ]   2 2


ragam sisaan homogen untuk setiap nilai x

Contoh Regresi Linier Sederhana  Sebuah agen real-estate ingin mengetahui hubungan antara harga jual sebuah rumah dengan luas lantainya (diukur dalam m2) 10 buah rumah diambil secara acak sebagai contoh  Peubah tak bebas (Y) = harga rumah (juta rupiah)  Peubah bebas (X) = luas lantai (m2)


Data contoh Harga Rumah Harga Rumah (Rp.juta) (Y)

Luas Lantai (m2) (X)

312

1600

245 279 308 199

1400 1700 1875 1100

219

1550

324

2450

405 319 255 Itasia & Y Angraini, Dep Statistika FMIPA - IPB

2350 1425 1700

Tampilan Grafik

Harga Jual Rumah (Rp juta)

 Model Harga Jual Rumah: scatter plot 450 400 350 300 250 200 150 100 50 0

0

500


1000

1500

2000

Luas Lantai (m2)

2500

3000



312

1600

245 279 308 199

1400 1700 1875 1100

219

1550

324

2450

405 319 255

2350 1425 1700


FILM : MEMBUAT TEBARAN ANTARA “HARGA RUMAH” dengan “LUAS LANTAI” MENGGUNAKAN MINITAB Klik di sini

Excel Output Regression Statistics

Multiple R R Square

Adjusted R Square Standard Error Observations

ANOVA Regression Residual Total

Intercept

Luas lantai

0.76211

0.58082

0.52842

41.33032

Persamaan garis regresi-nya:

harga rumah  98.24833  0.10977 (luas lantai)

10

df

SS

1

18934.9348

9

32600.5000

8

Coefficients

98.24833

0.10977


13665.5652

Standard Error

58.03348

0.03297

MS

18934.9348

1708.1957

t Stat

1.69296 3.32938

F

Significance F

P-value

Lower 95%

11.0848

0.12892 0.01039

0.01039

-35.57720

0.03374

Upper 95%

232.07386

0.18580

Tampilan Grafik

Intersep = 98.248

Harga Jual Rumah (Rp.juta)

 Model Harga Rumah: scatter plot dan garis regresi 450 400 350 300 250 200 150 100 50 0

Kemiringan = 0.10977

0

500

1000

1500

2000

Luas Lantai (m2)

2500

3000

harga rumah  98.24833  0.10977 (luas lantai) Itasia & Y Angraini, Dep Statistika FMIPA - IPB



312

1600

245 279 308 199

1400 1700 1875 1100

219

1550

324

2450

405 319 255

2350 1425 1700


FILM : MEMBUAT TEBARAN ANTARA “HARGA RUMAH” dengan “LUAS LANTAI” & GARIS REGRESI-nya MENGGUNAKAN MINITAB Klik di sini



312

1600

245 279 308 199

1400 1700 1875 1100

219

1550

324

2450

405 319 255

2350 1425 1700


FILM : MENDUGA PARAMETER REGRESI dengan MENGGUNAKAN MINITAB Klik di sini

Interpretasi Intersep b0 harga rumah  98.24833  0.10977 (luas lantai)  b0 adalah nilai dugaan bagi nilai rataan Y ketika X bernilai nol (jika X = 0 di dalam selang pengamatan)

 Dalam hal ini tidak ada rumah yang memiliki luas lantai=0, jadi b0 = 98.24833 hanya mengindikasikan bahwa : untuk luas lantai yang berada dalam selang pengamatan, Rp 98.248.330,adalah bagian harga rumah yang tidak diterangkan oleh luas lantai


Interpretasi koefisien kemiringan, b1 harga rumah 98.24833 0.10977 (luaslantai)  b1 mengukur dugaan perubahan rataan nilai Y jika X berubah satu satuan

 Dalam hal ini b1 = .10977 menggambarkan bahwa setiap penambahan satu m2 luas lantai rataan harga rumah akan naik sebesar 0,10977 juta rupiah


Apakah b0 dan b1 yang didapat merupakan penduga yang baik ?  Pertanyaan di atas = pertanyaan bahwa: “apakah sisaan yang dihasilkan oleh dugaan persamaan garis regresi nya menghasilkan sisaan yang memenuhi kondisi Gauss-Markov?”

 Untuk sementara ini kita yakini saja dulu bahwa sisaan yang dihasilkan memenuhi kondisi tersebut  Penjelasan bagaimana cara memeriksanya akan dijelaskan pada pokok bahasan “Diagnosa model melalui pemeriksaan sisaan” Itasia & Y Angraini, Dep Statistika FMIPA - IPB

PENGURAIAN KERAGAMAN TOTAL


JKReg JKsisa

Sumber Keragaman Regresi

 Nilai pengamatan yi yang dihasilkan beragam. Keragaman ini disebabkan oleh ?


Sumber Keragaman Regresi

(lanjutan)

 Untuk suatu nilai xi keragaman nilai pengamatan disebabkan oleh :

 Menyimpangnya nilai amatan yi terhadap dugaan nilai    harapannya E [Y | x i ]  E [Y | x i ]  yi  b 0  b1x i

 yi  yi  ei  karena eror/galat/sisaan

 b 0 dan b1 beragam  menghasilkan dugaan garis regresi yang beragam  memiliki rataan Y

Menyimpangnya suatu dugaan garis regresi terhadap rataannya menyebabkan beragamnya data.

yˆ i  y  b0  b1 xi  yˆ i


,y  yˆ i  karena model regresi

Mengukur Keragaman  Total Keragaman disebabkan oleh dua bagian ini :

JKT 

Jumlah Kuadrat Total

JKT   (y i  y) 2 dengan:

=

y

JKR 

Jumlah Kuadrat Regresi

JKR   (yˆ i  y) 2

JKG

+

Jumlah Kuadrat Galat/Sisaan

JKG   (y i  yˆ i ) 2

= nilai rata-rata peubah tak bebas Y yi = nilai pengamatan ke-i peubah tak bebas Y yˆ i = nilai dugaan y untuk suatu nilai xi


Ukuran Keragaman

(lanjutan)

 JKT = Jumlah Kuadrat Total

 Mengukur keragaman nilai yi di sekitar nilai rataannya y

 JKR = Jumlah Kuadrat Regresi

 Menjelaskan keragaman karena adanya hubungan linier antara x dan y

 JKS = jumlah Kuadrat Sisa

 Menjelaskan keragaman yang disebabkan oleh faktor-faktor selain faktor hubungan linier x dan y


Y yi  yi

Ukuran Keragaman  2 JKG = (yi - yi )

_

JKT = (yi - y)2

 _ 2 JKR = (yi – y )

_ y


xi

(lanjutan)

 y

_ y X

Derajat Bebas Jumlah Kuadrat  Ukuran keragaman adalah ragam

Ragam 

Jumlah Kuadrat (JK) derajat bebas (db)

 Derajat bebas bagi  Derajat bebas bagi


JK Sisaan  n - 2 JK Regresi  1

Tabel Sidik Ragam Sumber Keragaman Regresi Sisaan

Total (terkoreksi)

Derajat Bebas (db) 1

n-2 n-1

Jumlah Kuadrat (JK)

 yˆ  y  n

i 1 n

i

2

2 ˆ   y  y  i i

 y  y 

i 1

n

i 1

i

Kuadrat Tengah (KT) JK Regresi 1

JK sisaan n  2 

2

Pada analisis regresi ini tentunya diharapkan JK regresi lebih besar dari JK sisaan  sehingga dapat dikatakan bahwa keragaman nilai y disebabkan oleh perubahan nilai x. Itasia & Y Angraini, Dep Statistika FMIPA - IPB

S2, jika model nya pas

Penduga bagi Ragam Sisaan/galat  Penduga bagi ragam eror/sisaan dari model populasi adalah : n Dengan asumsi bahwa modelnya pas/cocok

σˆ  s  KTsisaan 2

2 e

2 e i

JKS i 1   n2 n2

 Dibagi dengan n – 2 bukan dengan n – 1 karena model regresi linier sederhana menggunakan 2 penduga parameter yaitu, b0 dan b1, bukan satu.

s e  s e2

adalah penduga simpangan baku


Excel Output s e  41.33032

Regression Statistics

Multiple R R Square



Intercept

Luas Lantai

0.76211

0.58082

0.52842

41.33032

10

df

SS

1

18934.9348

9

32600.5000

8

Coefficients

98.24833

0.10977


13665.5652

Standard Error

58.03348

0.03297

MS

18934.9348

1708.1957

t Stat

1.69296

3.32938

F

Significance F

P-value

Lower 95%

11.0848

0.12892

0.01039

0.01039

-35.57720

0.03374

Upper 95%

232.07386

0.18580

Perbandingan Galat Baku Y

se mengukur keragaman penyimpangan nilai pengamatan y terhadap garis regresi Y

s e kecil

X

s e besar

X

The magnitude of se should always be judged relative to the size of the y values in the sample data


 0 1

0

Pengujian Hipotesis Terhadap Slope dan Intersep

Diperlukan asumsi bahwa εi menyebar Normal εi ~ N ( 0,σ2 )


Ragam Koefisien Kemiringan Garis Regresi (b1)  Ragam dari koefisien kemiringan garis regresi (b1) diduga sbb :

dengan:

sb1

2 2 s s e e s 2b   2 2 1  (xi  x) (n  1)s x

= dugaan simpangan baku kemiringan garis regresi

SSE = akar KTG = akar Kuadrat Tengah Galat = dugaan se  n2 simpangan baku sisaan


Membandingkan Simpangan Baku Koefisien Kemiringan Garis Regresi (b1) Sb1 mengukur keragaman koefisien kemiringan garis

regresi dari berbagai contoh (set data) yang mungkin. Y

Y

Sb1 kecil


X

Sb1 besar

X

Excel Output Regression Statistics

Multiple R R Square



Intercept

Luas Lantai

0.76211

0.58082

sb1  0.03297

0.52842

41.33032

10

df

SS

1

18934.9348

9

32600.5000

8

Coefficients

98.24833

0.10977


13665.5652

Standard Error

58.03348

0.03297

MS

18934.9348

1708.1957

t Stat

1.69296

3.32938

F

Significance F

P-value

Lower 95%

11.0848

0.12892

0.01039

0.01039

-35.57720

0.03374

Upper 95%

232.07386

0.18580

Inferensia Koefisien Kemiringan Garis Regresi (b1): t Test

Pada model regresi linier sederhana :

Uji t untuk koefisien kemiringan garis regresi populasi (β1)  Apakah ada hubungan linier antara X dan Y?  Hipotesis Nol dan hipotesis tandingan H 0 : β1 = 0 H 1 : β1  0

(tidak ada hubungan linier antara X dan Y) (ada hubungan linier antara X dan Y)

 Uji Statistik t 

b1  β1 sb1

d.b.  n  2


dengan:

b1 = koefisien kemiringan regresi

β1 = kemiringan yg dihipotesiskan sb1 = simpangan baku kemiringan

Contoh Inferensia Koefisien Kemiringan Garis (b1): t Test

(lanjutan)

Harga Rumah (Rp.juta) (y)

Luas Lantai (m2) (x)

312

1600

245 279 308 199

1400 1700 1875 1100

219

1550

324

2450

405 319 255

2350 1425 1700


Dugaan persamaan garis regresi:


Koefisien kemiringan garis pada model ini adalah 0.1098

Apakah luas lantai mempengaruhi harga jual?

Contoh Inferensia Koefisien Kemiringan Garis (b1): uji t H0: β1 = 0 H1: β1  0

Output dari Excel Intercept

Luas lantai

Coefficients

98.24833

0.10977

b1 Standard Error

58.03348

0.03297

sb1 t Stat

P-value

3.32938

0.01039

1.69296

b1  β1 0.10977  0 t   3.32938 t sb1 0.03297


0.12892

Contoh Inferensia Koefisien Kemiringan Garis (b1): t Test Statistik Uji-nya : t = 3.329

H0: β1 = 0 H1: β1  0

output dari Excel : Intercept

d.b. = 10-2 = 8

Luas lantai

t8,.025 = 2.3060 a/2=.025

Tolak H0

a/2=.025

Terima H0

-tn-2,α/2 -2.3060

0

Tolak H0

tn-2,α/2 2.3060 3.329


Coefficients

98.24833

0.10977

(lanjutan)

b1 Standard Error

58.03348

0.03297

sb1

t

t Stat

P-value

3.32938

0.01039

1.69296

0.12892

Keputusan : Tolak H0 Kesimpulan :

Cukup bukti untuk mengatakan bahwa luas lantai mempengaruhi harga jual

Contoh Inferensia Koefisien Kemiringan Garis (b1): t Test H0: β1 = 0 H1: β1  0

Nilai peluang P = 0.01039

Excel output: Intercept

Luas Lantai

Ini adalah uji dua arah, jadi p-valuenya adalah

P(t > 3.329)+P(t < -3.329) = 0.01039 (db. 8)


Coefficients

98.24833 0.10977

Standard Error

58.03348 0.03297

(lanjutan)

t Stat

P-value

3.32938

0.01039

1.69296

0.12892

Keputusan: P-value < α jadi Tolak H0

Kesimpulan:

Cukup bukti untuk mengatakan bahwa luas lantai mempengaruhi harga rumah

Ragam Intersep Garis Regresi (b0)  Ragam dari intersep garis regresi (b0) diduga sbb :

s  2 b0

Keterangan:

s

2 e

x

2

n (x i  x) i

2

s b 0 = dugaan simpangan baku intersep garis regresi

SSE = akar KTG = akar Kuadrat Tengah Galat = dugaan se  n2 simpangan baku sisaan Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Inferensia Intersep Garis Regresi (b0): t Test Pada model regresi linier sederhana :

Uji t untuk intersep garis regresi populasi (β0)  Apakah ada nilai Y yang tidak dapat dijelaskan oleh x?  Hipotesis Nol dan hipotesis tandingan

H0: β0 = 0 (semua nilai Y dapat dijelaskan oleh x) H1: β0  0 (ada nilai Y yg tidak dapat dijelaskan oleh x)

 Statistik uji t 

b0  β 0 s b0

d.b.  1


dengan:

b0 = intersep garis regresi

β0 = intersep yg dihipotesiskan

sb0 = dugaan simp. baku intersep

Contoh Inferensia Intersep Garis Regresi (b0): t Test

(lanjutan)

Harga Rumah (Rp. Juta) (y)

Luas Lantai (m2) (x)

312

1600

245 279 308 199

1400 1700 1875 1100

219

1550

324

2450

405 319 255

2350 1425 1700


Dugaan persamaan garis regresi:


Intersep garis pada model ini adalah 98.25 Apakah ada harga rumah yang tidak dapat dijelaskan oleh luas lantai? Apakah ada harga rumah yang tidak dipengaruhi oleh luas lantai?

Contoh Inferensia Intersep Garis Regresi (b0): uji-t H0: β0 = 0 H1: β0  0

b0

Excel output: Intercept

Luas Lantai

Coefficients

98.24833 0.10977

Standard Error

58.03348 0.03297

s b0 t Stat

P-value

3.32938

0.01039

1.69296

b 0  β 0 98.24833  0 t   1.69296 t s b0 58.03348


0.12892

Contoh Inferensia Intersep Garis Regresi (b0): uji-t H0: β0 = 0 H1: β0  0

Statistik uji: t = 1.69296 Excel output: Intercept

Luas lantai

d.b. = 1

t1, .025 = 12,706 a/2=.025

Tolak H0

Coefficients

a/2=.025

Terima H0

-t1,α/2

-12.706

0

t1,α/2

12.706


Tolak H0

1.69296

98.24833

0.10977

(lanjutan)

b0

Standard Error

58.03348

0.03297

s b0

t

t Stat

P-value

3.32938

0.01039

1.69296

0.12892

Keputusan: Terima H0 Kesimpulan :

Tidak cukup bukti untuk mengatakan bahwa : ada harga rumah yang tidak dapat dijelaskan oleh luas lantai

Uji F bagi parameter regresi : Tabel Sidik Ragam Derajat Sumber Keragaman Bebas (db) Regresi (b1| b0)

Sisaan Total (terkoreksi)

1 n-2 n-1

Jumlah Kuadrat (JK)

 yˆ n

i 1

i

y



2

2 ˆ   y  y  i i n

 y

i 1

n

i 1

i

y



2



Statistik ujinya :

Fhit 

KTRe gresi KTSisaan

Ragam Reg

Ragam Sisaan

S2, jika

modelnya pas

Statistik uji F tersebut memiliki derajat bebas db1=1 dan db2=n-2 Jika Fhit <1  KTRegresi < KTSisaan Ragam Regresi < Ragam Sisaan  pengaruh regresi tdk nyata  pengaruh x tdk nyata  b1 = 0 (tdk perlu tabel)


Uji F bagi parameter regresi : Tabel Sidik Ragam This image cannot currently be display ed.

(lanjutan)

Jika model yang kita pilih di awal ternyata tidak pas

1. Bolehkah kita menggunakan KT sisaan sebagai penduga bagi ragam sisaan ? 2. Masih relevankah kita melakukan uji F ?

Agar uji F pada tabel Sidik Ragam dapat digunakan, maka model yang dipilih harus pas.  uji lack of fit atau periksa pola sisaannya  akan dibahas pada sub pokok bahasan “ Kualitas Fitted Model “ Untuk sementara anggaplah model yang kita pilih pas. Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Contoh Uji F : data harga rumah Excel Output

Regression Statistics

Multiple R R Square



Intercept

Luas Lantai

0.76211

0.58082

0.52842

41.33032

10

df

KTR 18934.9348 F   11.0848 KTG 1708.1957

Db 1,8 SS

1

18934.9348

9

32600.5000

8

Coefficients

98.24833

0.10977


13665.5652

Standard Error

58.03348

0.03297

P-value untuk uji-F MS

18934.9348

1708.1957

t Stat

1.69296

3.32938

F

Significance F

P-value

Lower 95%

11.0848

0.12892

0.01039

0.01039

-35.57720

0.03374

Upper 95%

232.07386

0.18580

Contoh Uji F : data harga rumah

a = .05 df1= 1

Statistik Uji:

H0: β1 = 0 H1: β1 ≠ 0

KTR F  11.08 KTG

df2 = 8

Keputusan: Tolak H0 dg a = 0.05

Nilai kritis: Fa = 5.32

Kesimpulan:

a = .05

0

terima H0

F.05 = 5.32

(lanjutan)

Tolak H0


F

Cukup bukti bahwa luas lantai mempengaruhi harga rumah

Perbandingan Tabel Sidik Ragam Terkoreksi dan Tidak Terkoreksi Sumber Keragaman

Regresi (b1| b0)

Derajat Bebas (db)

Sisaan

Total (terkoreksi) Regresi Sisaan Total Itasia & Y Angraini, Dep Statistika FMIPA - IPB

1

n-2 n-1 2

Jumlah Kuadrat (JK)

 yˆ  y  n

i 1

i

 y n

2

i

 yˆ i 

2

 y  y  i 1

n

i 1

2

i

b1xi yi  b0 yi

n-2

2   yi  yˆ i 

n

yi

n

i 1



2



H 0 : 1  0 H1 : 1  0 Sudah dikurangi dg faktor koreksi ny

H0 : 0  1  0

s

2

H1 : min ada  j  0, j  0,1

Tidak bisa memberikan jawaban apkh x berpengaruh/tidak

Pendugaan Parameter Regresi. Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Recommend Documents