ANALISIS REGRESI 1. Pokok Bahasan : REGRESI LINIER SEDERHANA

ANALISIS REGRESI 1

Pokok Bahasan :

REGRESI LINIER SEDERHANA

Deskripsi Model

Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Macam-macam Model Regresi Model Regresi

1 peubah penjelas

> 1 peubah penjelas Berganda

Sederhana

Linier

Polinom

Non Linier

Multiplikatif


Non Linier

Linier

Reciprocal

Log

Eksponensial

Contoh : Macam-macam Model Regresi  Sederhana  Linier  Hubungannya linier

Y  β0  β1x  ε

 Non Linier  Polinom

Y  β0  β1x 2  ε

 Multiplikatif

Y  β0 x

 Eksponensial

Y  β 0eβ1 x .ε

 Reciprocal

1 β 0  β1x  ε


β1

ε Y  β0 e

β1

x

ε

Model Regresi Linier Sederhana (yang hubungannya linier     

ordo x=1 )

Linier dalam parameter Sederhana = banyaknya peubah bebas/penjelas hanya satu Hubungan antara X dan Y dinyatakan dalam fungsi linier/ordo 1 Perubahan Y diasumsikan karena adanya perubahan X Model populasi regresi linier sederhana yang hubungannya linier (selanjutnya cukup sebut “regresi linier sederhana”) :

Y  β0  β1x  ε Dengan : 0 dan 1 adalah parameter regresi  adalah galat/eror (peubah acak) Y adalah peubah tak bebas (peubah acak) X adalah peubah bebas yang nilainya diketahui dan presisinya sangat tinggi (bukan peubah acak) Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Dugaan dan Interpretasi Parameter Model


Asumsi Model Regresi Linier  Bentuk hubungannya linear (Y merupakan fungsi linier dari X, plus galat yang acak)  Galat εi adalah peubah acak yang bebas thdp nilai x  Galat merupakan peubah acak yang menyebar Normal dengan rataan 0 dan memiliki ragam konstan, σ2 (sifat ragam yang konstan/homogen ini disebut homoscedasticity)

E[ε i ]  0 dan

E[ε i ]  σ 2 2

untuk (i  1, , n)

 Galat εi, tidak berkorelasi satu dengan yang lainnya, sehingga E[ε ε ]  0 , i  j atau cov[ε , ε ]  0 , i  j i j


i

j

Interpretasi Parameter Model Regresi Linier Sederhana Model Regresi Linier Sederhana (populasi) : Peubah tak bebas/ Peubah respon

Intersep Y populasi

Koefisien Peubah bebas/ kemiringan Peubah penjelas populasi

Galat/eror

Y  β 0  β1X  ε Komponen linier (fix)

Komponen acak

Y : peubah tak bebas/respon merupakan peubah acak dengan pusat/ nilai harapan di β 0  β1X dan ragam  2


Interpretasi Parameter Model Regresi Linier Sederhana (lanjutan)

Y Nilai pengamatan Y untuk Xi

Y  β0  β1X  ε

yi

εi

Nilai E[Y | xi ] harapan/rataan Y untuk xi

Sisaan/galat untuk xi

yi  β 0  β1xi  εi

Intersep = β0

E[Y | x i ]  β0  β1 xi

xi Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Slope = β1

yi  E[Y | xi ]   i

X

Dugaan Persamaan Garis Regresi Linier Sederhana Dugaan persamaan garis regresi linier sederhana Nilai dugaan y pada pengamatan ke - i

Dugaan bagi intersep β0

Dugaan bagi kemiringan garis regresi β1

yˆ i  b0  b1x i

Nilai x pada pengamatan ke - i

Sisaan ei mempunyai rataan sebesar nol

ei  (yi - yˆ i )  yi - (b0  b1xi ) Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Interpretasi koefisien kemiringan dan intersep  b0 adalah nilai dugaan rataan y ketika x bernilai nol (jika x = 0 dalam selang pengamatan)

 b1 adalah nilai dugaan perubahan rataan y (nilai harapan Y) jika x berubah satu satuan Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Pendugaan Parameter Regresi


Menduga Persamaan Regresi  Menduga persamaan regresi linier sederhana = menduga parameter-parameter regresi β0 dan β1 :  Penduga parameter yang dihasilkan harus merupakan penduga yang baik  Software statistik, seperti Minitab, SAS, SPSS, dll. banyak digunakan


Menduga Persamaan Regresi (lanjutan)

Metode Kuadrat Terkecil  b0 dan b1 adalah dugaan bagi parameter regresi β0 dan β1 yang didapat salah satunya dengan cara meminimumkan jumlah kuadrat galat (JKG). Galat/sisaan = selisih antara y dan yˆ  Metode Kuadrat Terkecil (MKT) :

e  min  (y  min  [y

min JKG  min

2 i i

ˆ i )2 y

i

 (b 0  b1x i )]2

Teknik kalkulus digunakan untuk mendapatkan nilai bo dan b1 sedemikian hingga meminimumkan JKG Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Menduga Persamaan Regresi (lanjutan) Metode Kuadrat Terkecil

 Penduga bagi koefisien kemiringan garis β1 ialah: Koefisien Korelasi Pearson

SXY n

b1 

 (x i 1

i

 x)(yi  y)

n

2 (x  x )  i

S XY sY   rxy S XX sX

i 1

SXX

 Penduga bagi intersep β0 ialah:

b0  y  b1x  Garis regresi selalu melalui titik x, y Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Menduga Persamaan Regresi (lanjutan)

Asumsi Metode Kuadrat Terkecil (MKT)

Kondisi Gauss - Markov Agar penduga bagi parameter regresi yang didapatkan dengan menggunakan MKT merupakan penduga yang baik maka sisaan/galat harus memenuhi kondisi Gauss-Markov berikut ini : 1. E[ i ]  0

nilai - harapan/rataan sisaan  nol

2. E[ i ]   2

ragam sisaan homogen untuk setiap nilai x

3. E[ i j ]  0, i  j

( homoscedas ticity )  i dan  j saling bebas

2


Contoh Regresi Linier Sederhana  Sebuah agen real-estate ingin mengetahui hubungan antara harga jual sebuah rumah dengan luas lantainya (diukur dalam m2) 10 buah rumah diambil secara acak sebagai contoh  Peubah tak bebas (Y) = harga rumah (juta rupiah)  Peubah bebas (X) = luas lantai (m2)


Contoh Regresi Linier Sederhana (lanjutan)

Data contoh Harga Rumah Harga Rumah (Rp.juta) (Y)

Luas Lantai (m2) (X)

245

1400

312

1600

279

1700

308

1875

199

1100

219

1550

405

2350

324

2450

319

1425

255

1700



Tebaran Harga Rumah vs Luas Lantai Model Regresi-nya

Scatterplot of Harga Rumah vs Luas Lantai

Y   0  1 x  

800 700

Harga Rumah

600

Persamaan Garis Regresi-nya

500 400

Y   0  1 x

300 200 100 0 1000

Diduga dengan : 1200

1400

1600


1800 2000 Luas Lantai

2200

2400

2600

Yˆ  b0  b1 x




245

1400

312

1600

279

1700

308

1875

199

1100

219

1550

405

2350

324

2450

319

1425

255

1700


FILM : MEMBUAT TEBARAN “HARGA RUMAH” vs ”LUAS LANTAI” MENGGUNAKAN MINITAB

Klik di sini


MENDUGA PARAMETER REGRESI : OUTPUT MINITAB Regression Analysis: Harga Rumah versus Luas Lantai The regression equation is Harga Rumah = 98,2 + 0,110 Luas Lantai b Predictor 0 Coef SE Coef T P Constant 98,25 58,03 1,69 0,129 Luas Lantai 0,10977 0,03297 3,33 0,010 b S = 41,3303 R-Sq1 = 58,1% R-Sq(adj) = 52,8%


Dugaan Persamaan Garis Regresinya




245

1400

312

1600

279

1700

308

1875

199

1100

219

1550

405

2350

324

2450

319

1425

255

1700


FILM : MENDUGA GARIS REGRESI MENGGUNAKAN MINITAB

Klik di sini


Tampilan Grafik

Intersep = 98.248

Harga Jual Rumah (Rp.juta)

 Model Harga Rumah: scatter plot dan garis regresi 450 400 350 300 250 200 150 100 50 0

Kemiringan = 0.10977

0

500

1000

1500

2000

2500

3000

Luas Lantai (m2)

harga rumah  98.24833  0.10977 (luas lantai) Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Contoh Regresi Linier Sederhana (lanjutan) Data contoh Harga Rumah Harga Rumah (Rp.juta) (Y)


245

1400

312

1600

279

1700

308

1875

199

1100

219

1550

405

2350

324

2450

319

1425

255

1700


FILM : MEMBUAT TEBARAN ANTARA “HARGA RUMAH” dengan “LUAS LANTAI” & GARIS REGRESI-nya MENGGUNAKAN MINITAB Klik di sini


Interpretasi Intersep b0

harga rumah  98.24833  0.10977 (luas lantai)

 b0 adalah nilai dugaan bagi nilai rataan Y ketika X bernilai nol (jika X = 0 di dalam selang pengamatan)  Dalam hal ini tidak ada rumah yang memiliki luas lantai=0, jadi b0 = 98.24833 hanya mengindikasikan bahwa : untuk luas lantai yang berada dalam selang pengamatan, Rp 98.248.330,- adalah bagian harga rumah yang tidak diterangkan oleh luas lantai Itasia & Y Angraini, Dep Statistika FMIPA - IPB


Interpretasi koefisien kemiringan, b1

harga rumah  98.24833  0.10977 (luas lantai)  b1 mengukur dugaan perubahan rataan nilai Y jika X berubah satu satuan  Dalam hal ini b1 = .10977 menggambarkan bahwa setiap penambahan satu m2 luas lantai rataan harga rumah akan naik sebesar 0,10977 juta rupiah Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Apakah b0 dan b1 yang didapat merupakan penduga yang baik ?  Pertanyaan di atas = pertanyaan bahwa: “apakah sisaan yang dihasilkan oleh dugaan persamaan garis regresi nya menghasilkan sisaan yang memenuhi kondisi Gauss-Markov?”  Untuk sementara ini kita yakini saja dulu bahwa sisaan yang dihasilkan memenuhi kondisi tersebut  Penjelasan bagaimana cara memeriksanya akan dijelaskan pada pokok bahasan “Diagnosa model melalui pemeriksaan sisaan” Itasia & Y Angraini, Dep Statistika FMIPA - IPB

PENGURAIAN KERAGAMAN TOTAL JKReg JKsisa


Sumber Keragaman Regresi  Nilai pengamatan yi yang dihasilkan beragam. Keragaman ini disebabkan oleh ?


Sumber Keragaman Regresi Y yi

 Nilai pengamatan yi yang dihasilkan beragam. Keragaman ini disebabkan oleh ?

 2 JKG = (yi - yi )

 y

_

 yi

JKT = (yi - y)2  _ 2 JKR = (yi – y )

_ y

xi Itasia & Y Angraini, Dep Statistika FMIPA - IPB

_ y

X

Sumber Keragaman Regresi (lanjutan)

 Untuk suatu nilai xi keragaman nilai pengamatan yi disebabkan oleh :  Menyimpangnya yi terhadap dugaan nilai  nilai amatan   harapannya E [Y | x i ]  E [Y | x i ]  yi  b0  b1x i

 yi  yi  ei  karena eror/galat /sisaan

 b0 dan b1 beragam  menghasilkan dugaan garis regresi yang beragam  memiliki rataan Y Menyimpangnya suatu dugaan garis regresi terhadap rataannya menyebabkan beragamnya data.

yˆi  y  b0  b1 xi  yˆ i Itasia & Y Angraini, Dep Statistika FMIPA - IPB

,y  yˆ i  karena model regresi

Mengukur Keragaman  Total Keragaman disebabkan oleh dua bagian ini :

JKT  JKR  JKG Jumlah Kuadrat Total

=

JKT   (yi  y) 2

Jumlah Kuadrat Regresi

JKR   (yˆ i  y) 2

+

Jumlah Kuadrat Galat/Sisaan

JKG   (yi  yˆ i ) 2

dengan:

y

= nilai rata-rata peubah tak bebas Y yi = nilai pengamatan ke-i peubah tak bebas Y yˆ i = nilai dugaan y untuk suatu nilai xi Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Ukuran Keragaman (lanjutan)

 JKT = Jumlah Kuadrat Total  Mengukur keragaman nilai yi di sekitar nilai rataannya y  JKR = Jumlah Kuadrat Regresi  Menjelaskan keragaman karena adanya hubungan linier antara x dan y  JKS = jumlah Kuadrat Sisa  Menjelaskan keragaman yang disebabkan oleh faktor-faktor selain faktor hubungan linier x dan y Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Derajat Bebas Jumlah Kuadrat  Ukuran keragaman adalah ragam

Ragam 

Jumlah Kuadrat (JK) derajat bebas (db)

 Derajat bebas bagi

JKSisaan  n - 2

 Derajat bebas bagi

JK Regresi|b0  1


Tabel Sidik Ragam Sumber Keragaman

Derajat Bebas (db) 1

 yˆ  y 

n-2

2 ˆ   y  y  i i

n-1

 y  y 

n

Regresi Sisaan Total (terkoreksi)

Kuadrat Tengah (KT)

Jumlah Kuadrat (JK) i 1 n

2

i

1

i 1

n

i 1

JK Regresi

JK sisaan n  2

2

i

Pada analisis regresi ini tentunya diharapkan JK regresi lebih besar dari JK sisaan  sehingga dapat dikatakan bahwa keragaman nilai y disebabkan oleh perubahan nilai x. Itasia & Y Angraini, Dep Statistika FMIPA - IPB

S2, jika model nya pas

Tabel Sidik Ragam

(lanjutan)

OUTPUT MINITAB Regression Analysis: Harga Rumah versus Luas Lantai The regression equation is Harga Rumah = 98,2 + 0,110 Luas Lantai

Predictor Coef SE Coef Constant 98,25 58,03 Luas Lantai 0,10977 0,03297

T 1,69 3,33

P 0,129 0,010

S = 41,3303 R-Sq = 58,1% R-Sq(adj) = 52,8%

Analysis of Variance db Source DF SS Regression 1 18935 Residual Error 8 13666 Total 9 32600 Itasia & Y Angraini, Dep Statistika FMIPA - IPB

JK

KT

MS 18935 1708

F 11,08

P 0,010

TABEL SIDIK RAGAM

Penduga bagi Ragam Sisaan/galat  Penduga bagi ragam eror/sisaan dari model populasi adalah : n Dengan asumsi bahwa modelnya pas/cocok

2 e i

JKS i 1 σˆ  s  KTsisaan   n2 n2 2

2 e

 Dibagi dengan n – 2 bukan dengan n – 1 karena model regresi linier sederhana menggunakan 2 penduga parameter yaitu, b0 dan b1, bukan satu.

s e  s e2

adalah penduga simpangan baku


Penduga bagi Ragam Sisaan/galat (lanjutan) OUTPUT MINITAB Regression Analysis: Harga Rumah versus Luas Lantai The regression equation is Harga Rumah = 98,2 + 0,110 Luas Lantai


se

T 1,69 3,33

P 0,129 0,010

S = 41,3303 R-Sq = 58,1% R-Sq(adj) = 52,8%

Analysis of Variance Source DF SS Regression 1 18935 Residual Error 8 13666 Total 9 32600 Itasia & Y Angraini, Dep Statistika FMIPA - IPB

MS 18935 1708

F 11,08

P 0,010

Dugaan Ragam Sisaan = s2 (JIKA MODELNYA PAS)

Perbandingan Simpangan Baku se mengukur keragaman penyimpangan nilai pengamatan yi terhadap garis regresi Y

Y

s e kecil


X

s e besar

X

 0 1

0

Pengujian Hipotesis Terhadap Slope dan Intersep

Diperlukan asumsi bahwa εi menyebar Normal εi ~ N ( 0,σ2 )


Ragam Koefisien Kemiringan Garis Regresi (b1)  Ragam dari koefisien kemiringan garis regresi (b1) diduga sbb : 2 2 s s e e s2b1   2 2 (x  x ) (n  1)s  i x

dengan:

sb1

= dugaan simpangan baku kemiringan garis regresi

s 2x

= dugaan ragam x

JKsisa se  = akar KTG = akar Kuadrat Tengah Galat = dugaan n2 simpangan baku sisaan


Membandingkan Simpangan Baku Koefisien Kemiringan Garis Regresi (b1) Sb1 mengukur keragaman koefisien kemiringan garis

regresi dari berbagai contoh (set data) yang mungkin. Y

Y

X Sb1 kecil


X Sb1 besar


SIMPANGAN BAKU b1 : OUTPUT MINITAB Regression Analysis: Harga Rumah versus Luas Lantai The regression equation is Harga Rumah = 98,2 + 0,110 Luas Lantai

Predictor Coef SE Coef T P Constant 98,25 58,03 1,69 0,129 Luas Lantai 0,10977 0,03297 3,33 0,010 Simpangan Baku b1 = sb1 S = 41,3303 R-Sq = 58,1% R-Sq(adj) = 52,8%


Inferensia Koefisien Kemiringan Garis Regresi (b1): Uji t Pada model regresi linier sederhana : Uji t untuk koefisien kemiringan garis regresi populasi (β1)  Apakah ada hubungan linier antara X dan Y?  Hipotesis Nol dan hipotesis tandingan H0: β1 = 0 H1: β1  0

(tidak ada hubungan linier antara X dan Y) (ada hubungan linier antara X dan Y)

 Uji Statistik t 

b1  β1 sb1

d.b.  n  2 Itasia & Y Angraini, Dep Statistika FMIPA - IPB

dengan: b1 = koefisien kemiringan regresi β1 = kemiringan yg dihipotesiskan sb1 = simpangan baku kemiringan

Contoh Inferensia Koefisien Kemiringan Garis (b1): Uji t Harga Rumah (Rp.juta) (y)

Luas Lantai (m2) (x)

245

1400

312

1600

279

1700

308

1875

199

1100

219

1550

405

2350

324

2450

319

1425

255

1700


Dugaan persamaan garis regresi: harga rumah  98.25  0.1098 (luas lantai)

Koefisien kemiringan garis pada model ini adalah 0.1098 Meskipun demikian, “apakah luas lantai mempengaruhi harga jual?”

Contoh Inferensia Koefisien Kemiringan Garis (b1): uji t (lanjutan)

H0: β1 = 0 H1: β1  0 Apakah luas lantai mempengaruhi harga jual (secara linier)?


OUTPUT MINITAB

b1

sb1

Predictor Coef SE Coef T P Constant 98,25 58,03 1,69 0,129 Luas Lantai 0,10977 0,03297 3,33 0,010

b1  β1 0.10977  0 t   3.32938 sb1 0.03297


Statistik Uji-nya : t = 3.329 H0: β1 = 0 H1: β1  0

output MINITAB :

b1

sb1

t


d.b. = 10-2 = 8 t8,.025 = 2.3060 a/2=.025

a/2=.025

Keputusan : Tolak H0

Kesimpulan : Tolak H0

Terima H0

-tn-2,α/2 -2.3060

0

Tolak H0

tn-2,α/2 2.3060 3.329


Cukup bukti untuk mengatakan bahwa luas lantai mempengaruhi harga jual secara linier


Nilai peluang P = 0.01039 H0: β1 = 0 H1: β1  0 thit = 3.329

output MINITAB : Predictor Coef SE Coef T P Constant 98,25 58,03 1,69 0,129 Luas Lantai 0,10977 0,03297 3,33 0,010

Ini adalah uji dua arah, jadi p-valuenya adalah

Keputusan: P-value < α jadi

P(t > 3.329)+P(t < -3.329) = 0.01039 (db. 8)

Kesimpulan:


Tolak H0

Cukup bukti untuk mengatakan bahwa luas lantai mempengaruhi harga rumah

Ragam Intersep Garis Regresi (b0)  Ragam dari intersep garis regresi (b0) diduga sbb :

s  2 b0

s

2 e

x

2

i

n (x i  x)

2

Keterangan:

s b 0 = dugaan simpangan baku intersep garis regresi SSE = akar KTG = akar Kuadrat Tengah Galat = dugaan se  n2 simpangan baku sisaan Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Inferensia Intersep Garis Regresi (b0): uji t Pada model regresi linier sederhana : Uji t untuk intersep garis regresi populasi (β0)  Apakah ada nilai Y yang tidak dapat dijelaskan oleh x?  Hipotesis Nol dan hipotesis tandingan H0: β0 = 0 (semua nilai Y dapat dijelaskan oleh x) H1: β0  0 (ada nilai Y yg tidak dapat dijelaskan oleh x)

b0  β0  Statistik uji t  s b0

d.b.  1 Itasia & Y Angraini, Dep Statistika FMIPA - IPB

dengan: b0 = intersep garis regresi β0 = intersep yg dihipotesiskan sb0 = dugaan simp. baku intersep

Contoh Inferensia Intersep Garis Regresi (b0): uji t Harga Rumah (Rp. Juta) (y)

Luas Lantai (m2) (x)

245

1400

312

1600

279

1700

308

1875

199

1100

219

1550

405

2350

324

2450

319

1425

255

1700


Dugaan persamaan garis regresi: harga rumah  98.25  0.1098 (luas lantai)

Intersep garis pada model ini adalah 98.25 Apakah ada bagian harga rumah yang tidak dapat dijelaskan oleh luas lantai?

Apakah ada bagian harga rumah yang tidak dipengaruhi oleh luas lantai?

Contoh Inferensia Intersep Garis Regresi (b0): uji-t H0: β0 = 0 H1: β0  0 Apakah ada harga rumah yg tdk dpt dijelaskan (tdk dipengaruhi) oleh luas lantai

(lanjutan)

output MINITAB :

b0

s b0


b 0  β 0 98.24833  0 t   1.69296 s b0 58.03348


Contoh Inferensia Intersep Garis Regresi (b0): uji-t (lanjutan)

Statistik uji: thit = 1.69296 H0: β0 = 0 H1: β0  0 d.b. = 1

output MINITAB :

b0

s b0

t


t1, .025 = 12,706

Keputusan: Terima H0 a/2=.025

a/2=.025

Kesimpulan : Tolak H0

Terima H0

-t1,α/2 -12.706

0

t1,α/2 12.706


Tolak H0

1.69296

Tidak cukup bukti untuk mengatakan bahwa : ada harga rumah yang tidak dapat dijelaskan oleh luas lantai

Uji F bagi parameter regresi : Tabel Sidik Ragam Derajat Sumber Keragaman Bebas (db) Regresi (b1| b0)

Kuadrat Tengah (KT)

Jumlah Kuadrat (JK)

 yˆ  y  n

1

i 1

2

i

n

Sisaan

n-2

2 ˆ   y  y  i i

n-1

 y  y 

i 1

n

Total (terkoreksi)

i 1

2

i

JK Regresi 1


H 0 : 1  0 H1 : 1  0 Statistik uji-nya :

Fhit 

KTRegresi KTSisaan

= Ragam Reg Ragam Sisaan

S2, jika modelnya pas

Statistik uji F tersebut memiliki derajat bebas db1=1 dan db2=n-2 Jika Fhit <1  KTRegresi < KTSisaan Ragam Regresi < Ragam Sisaan  pengaruh regresi tdk nyata  pengaruh x tdk nyata  b1 = 0 (tdk perlu tabel) Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Contoh Uji F bagi parameter regresi : Tabel Sidik Ragam (lanjutan)

OUTPUT MINITAB

Regression Analysis: Harga Rumah versus Luas Lantai The regression equation is Harga Rumah = 98,2 + 0,110 Luas Lantai


T 1,69 3,33

P 0,129 0,010

Fhit 

S = 41,3303 R-Sq = 58,1% R-Sq(adj) = 52,8%


 MS 18935 1708

db: 1,8

F 11,08

P 0,010

KTreg KTsisaan 18935 1708

P-value untuk uji F

Contoh Uji F bagi parameter regresi : Tabel Sidik Ragam (lanjutan)

Y   0  1 x   a = .05 db1= 1

Statistik Uji:

H0: β1 = 0 H1: β1 ≠ 0

F

db2 = 8

Kesimpulan:

a = .05

terima H0

F.05 = 5.32

KTsisaan

 11.08

Keputusan: Tolak H0 dg a = 0.05

Nilai kritis: Fa = 5.32

0

KTregresi

Tolak H0


F

Cukup bukti bahwa luas lantai mempengaruhi harga rumah

Uji F bagi parameter regresi : Tabel Sidik Ragam (lanjutan)

Jika model yang kita pilih di awal ternyata tidak pas 1. Bolehkah kita menggunakan KT sisaan sebagai penduga bagi ragam sisaan ? 2. Masih relevankah kita melakukan uji F ? Agar uji F pada tabel Sidik Ragam dapat digunakan, maka model yang dipilih harus pas.  uji lack of fit atau periksa pola sisaannya  akan dibahas pada sub pokok bahasan “ Kualitas Fitted Model “ Untuk sementara anggaplah model yang kita pilih pas. Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Perbandingan Tabel Sidik Ragam Terkoreksi dan Tidak Terkoreksi Sumber Keragaman

Derajat Bebas (db)

Jumlah Kuadrat (JK)

1

 yˆ  y 

Regresi (b1| b0)

n

2

i

i 1 n

Sisaan

Total (terkoreksi) Regresi (b0,b1)

n-2

  y  yˆ 

n-1

 y  y 

2

i

i 1

i

n

2

Total Itasia & Y Angraini, Dep Statistika FMIPA - IPB

n-2 n

JK Regresi 1


2

i

i 1

  y  yˆ  i 1

2

i

i

y

i

2

H 0 : 1  0 H1 : 1  0 Sudah dikurangi dg faktor koreksi ny

H 0 :  0  1  0

b1  x i yi  b0  yi n

Sisaan

Kuadrat Tengah (KT)

H1 : min ada satu

s

2

 j  0, j  0,1 Tidak bisa memberikan jawaban apkh x berpengaruh/tidak

Kualitas Fitted Model

• Apakah model regresi sudah cukup pas mewakili data? • Apakah model regresi cukup baik untuk model prediksi?


Tebaran titik amatan / scatter plot

a.

Mana di antara gambar–gambar ini yang mo- b. delnya cukup pas/sesuai ?

y

x

c.

y

x Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Perlu diuji y apakah modelnya sudah pas d. atau belum  uji lack of fit atau secara eksploratif plot sisaan

y

x

x

Tebaran titik amatan / scatter plot a.

y

x

c.

Mana di antara gambar–gambar ini yang modelnya cukup baik untuk prediksi?

b.

x y

y


y

Perlu suatu besaran yang dapat mengukur jauh /dekatnya titik pengamatan x thdp garis regresi

d.

x

Koefisien Determinasi, R2  Koefisien determinasi mengukur proporsi keragaman atau variasi total di sekitar nilai tengah (Y) yang dapat dijelaskan oleh garis regresi

 secara grafis mengukur jauh/dekatnya titik pengamatan thdp garis regresi

 Koefisien determinasi juga disebut R-kuadrat dan dinotasikan sebagai R2

R  2

JK Reg JK Tot

( yˆ   (y

CATATAN: Itasia & Y Angraini, Dep Statistika FMIPA - IPB

i

 y)2

2  y ) i

2 atau R  1 

0  R2 1

JK Sisa JK Total

Koefisien Determinasi, R2 (lanjutan) OUTPUT MINITAB Regression Analysis: Harga Rumah versus Luas Lantai The regression equation is Harga Rumah = 98,2 + 0,110 Luas Lantai Predictor Coef SE Coef Constant 98,25 58,03 Luas Lantai 0,10977 0,03297

T 1,69 3,33

P 0,129 0,010

S = 41,3303 R-Sq = 58,1% R-Sq(adj) = 52,8%


MS 18935 1708

F 11,08

P 0,010

R2 

18935  0,5808 32600

58.08% keragaman harga rumah dijelaskan oleh keragaman luas lantai

Analisis Korelasi  Analisis korelasi digunakan untuk mengukur kekuatan hubungan (hubungan linier) antara dua peubah  Korelasi hanya khusus untuk kekuatan hubungan  Mengukur arah hubungan  Tidak berdampak pada sebab akibat


Analisis Korelasi (lanjutan)

 Koefisien korelasi populasi dinotasikan dengan ρ (huruf Greek rho)

 Koefisien korelasi contoh adalah :

ˆ  rXY 

s xy s xs y

Koefisien korelasi Pearson

s xy

(x  x)(y  y)   i

i

n 1

Pada Model Regresi Linier Sederhana yg hub.nya linier : 2 R2 = r2  rXY = (tanda b1) R Pada sembarang regresi linier berlaku:

rYYˆ  R


Uji Hipotesis untuk Korelasi (lanjutan)

 Untuk melakukan tes bahwa tidak ada hubungan linier, Hipotesis nol nya :

H0 : ρ  0 Statistik ujinya mengikuti sebaran t Student dengan derajad bebas (n – 2 )

t Itasia & Y Angraini, Dep Statistika FMIPA - IPB

r (n  2) (1 r 2 )

Uji Hipotesis untuk Korelasi (lanjutan)

Kaidah Keputusan

H0: ρ  0 H1: ρ < 0

H0: ρ ≤ 0 H1: ρ > 0

H0: ρ = 0 H1: ρ ≠ 0

a

a -ta

ta

tolak H0 jika t < -tn-2, a

Tolak H0 jika t > tn-2, a

dengan t  Itasia & Y Angraini, Dep Statistika FMIPA - IPB

r (n  2) (1  r ) 2

, d.b  n - 2

a/2 -ta/2

a/2 ta/2

Tolak H0 jika t < -tn-2, a/2 atau t > tn-2, a/2

Uji Hipotesis untuk Korelasi OUTPUT MINITAB

Correlations: Harga Rumah; Luas Lantai

Pearson correlation of Harga Rumah and Luas Lantai = 0,762 P-Value = 0,010 P-value < 0,025  Tolak H0  ρ ≠ 0


(lanjutan)

APLIKASI DENGAN MINITAB DUGAAN BAGI KOEFISIEN KORELASI

Data contoh Harga Rumah OUTPUT MINITAB

Harga Rumah (Rp.juta) (Y)


245

1400

312

1600

279

1700

308

1875

199

1100

219

1550

405

2350

324

2450

319

1425

255

1700


Correlations: Harga Rumah; Luas Lantai

Pearson correlation of Harga Rumah and Luas Lantai = 0,762 P-Value = 0,010

rXY

FILM : MENDUGA KOEFISIEN KORELASI PEARSON dengan MENGGUNAKAN MINITAB

Klik di sini

Interpretasi beberapa nilai r2 Y

r2 = 1 dapat diinterpretasikan sbb. : Adanya hubungan linier yang tepat antara X dan Y: r2 = 1

X 100% keragaman Y dijelaskan oleh keragaman X

Y

r2

=1


X

Interpretasi beberapa nilai r2 Y 0 < r2 < 1 dapat diinterpretasikan sbb. :

X

Sebagian (tidak semuanya) keragaman Y dijelaskan oleh keragaman X

Y

X Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Adanya hubungan linier yang lemah antara X dan Y:

Interpretasi beberapa nilai r2 r2 = 0 dapat diinterpretasikan sbb. :

Y

Tidak ada hubungan linier antara X dan Y:

r2 = 0


X

Nilai Y tidak bergantung pada nilai X. (Tidak ada keragaman Y yang dapat diterangkan oleh keragaman X)

Korelasi dan Koefisien Determinasi R2  Koefisien determinasi, R2, untuk regresi linier sederhana yang hubungannya linier (ordo X = 1) sama dengan koefisien korelasi kuadrat

R r 2

rxy  R  (tanda b1 )(R )

2 xy

2 1/ 2

^

 Korelasi antara amatan Yi dengan nilai dugaannya Yi untuk sembarang regresi linier dengan berapapun banyaknya peubah bebas

r

^

YY


R

Berbagai Kondisi yg Menggambarkan Perbedaan antara R2 dan rXY Fitted Line Plot Scatterplot of Y2 vs C1

Scatterplot of Y1 vs C1 35

100 100

30

R2 = 1 r=1

80

20

Y2 Y2

Y1

25

R2 = 1 r=0

60

40

15 10

20

b1 = 3

5

b1 = 0

0 0

2

4

6

8

10

C1

-10

-5

0 X2 C1

5

10

rXY

Correlations: X1; Y1 Pearson correlation of X1 and Y1 = 1,000 P-Value = *

R2

The regression equation is Y1 = 2,00 + 3,00 X1

The regression equation is Y2 = 4,000 + 0,00 X2 + 1,000 X2**2

S = 0 R-Sq = 100,0% R-Sq(adj) = 100,0%

S = 0 R-Sq = 100,0% R-Sq(adj) = 100,0%


Correlations: X2; Y2 Pearson correlation of X2 and Y2 = 0,000 P-Value = 1,000

Berbagai Kondisi yg Menggambarkan Perbedaan antara R2 dan rXY (lanjutan) Scatterplot of Y3 vs X1

Scatterplot of Y4 vs X1

35

35

30

30

R2

= 97,7% r = 0,988

25

R2 = 88,7% r = 0,942

25

20 Y4

Y3

20

15

15

10

10

b1 = 3,1

5

b1 = 3,01

5

0

0 0

2

4

6

8

10

X1

0

2

4

6

8

10

X1

Correlations: Y3; X1 Pearson correlation of Y3 and X1 = 0,988




S = 1,53396 R-Sq = 97,7% R-Sq(adj) = 97,4%

S = 3,44414 R-Sq = 88,7% R-Sq(adj) = 87,3%


Berbagai Kondisi yg Menggambarkan Perbedaan antara b1 dan rXY Scatterplot of Y6 vs X1

Scatterplot of C7 vs X1 10

40

R2 = 76,0% r = -0,872

30

R2 = 64,8% r = 0,805

8

20

Y6

C7

6

4 10

2

b1 = 0,116

b1 = -3,38 0 0

2

4

6

8

10

X1

0

0

2

4

6

8

10

X1

Correlations: C7; X1 Pearson correlation of C7 and X1 = -0,872


The regression equation is C7 = 37,7 - 3,38 X1


S = 6,09048 R-Sq = 76,0% R-Sq(adj) = 73,0%

S = 0,275434 R-Sq = 64,8% R-Sq(adj) = 60,4%


Berbagai Kondisi yg Menggambarkan Perbedaan antara b1 dan rXY (lanjutan) Scatterplot of Y vs X

Scatterplot of Y1 vs X1 17,5

10

R2 = 93,5% r = 0,967

8

R2 = 53,3% r = 0,730

15,0

12,5

Y

Y1

6

10,0

4 7,5

2

0

b1 = 0,00914 0

2

4

6

8

10

X1

Pearson correlation of X1 and Y1 = 0,967 The regression equation is Y1 = 3,99 + 0,00914 X1 S = 0,0077338 R-Sq = 93,5% R-Sq(adj) = 92,7% Analysis of Variance Source DF SS MS F P Regression 1 0,0068911 0,00689 115,21 0,000 Resd Error 8 0,0004785 0,00005 Total 9 0,0073696 Itasia & Y Angraini, Dep Statistika FMIPA - IPB

b1 = 4,67

5,0 0

1

2

3

4

5

X

Pearson correlation of X and Y = 0,730 The regression equation is S = 2,06491 R-Sq = 53,3% Analysis of Variance Source DF SS Regression 1 184,94 Residual Error 38 162,03 Total 39 346,97

Y = 1,06 + 4,67 X R-Sq(adj) = 52,1% MS F P 184,94 43,37 0,000 4,26

Uji Ketidakpasan Model  Harus ada ulangan pengamatan yi pada nilai xi yang sama. Mis. : x

y

x1

y11 y12

x2

y21 y22

y23 y24 x3

y31 y32 y33

x4

y41 y42


Untuk data contoh di samping dapat dinotasikan : m = 4, n1=2, n2=4, n3=3, n4=2 m

n   n j  2  4  3  2  11 j 1

Uji ketidakpasan model : Tabel Sidik Ragam Derajat Sumber Keragaman Bebas (db)

Regresi

1

(b1| b0)

Jumlah Kuadrat (JK)

Kuadrat Tengah (KT)

n

JK Regresi

 yˆ  y 

2

i 1

i

n

Sisaan

n-2

Ketidakpasan db -db sisa GM model (KM) Galat murni (GM)

m

nj  m j 1

2 ˆ   y  y  i i i 1

JKsisa – JKGM m

nj

 ( y ju  y j )2 j 1 u 1

 y  y  n

Total (terkoreksi) Itasia & Y Angraini, Dep Statistika FMIPA - IPB

n-1

i 1

2

i

1

JK sisaan n  2 KTKM 

JK KM db KM

KTGM 

JK GM db GM

H0: model pas H1: model tdk pas Statistik ujinya :

Fhit 

KTKM KTGM

F tabel : db1=dbKM db2=dbGM

Contoh : Uji ketidakpasan model Tabel Sidik Ragam X

Y

X

Y

1

5,135

6

67,586

1

30,846

6

47,441

1

32,977

6

32,919

2

14,142

7

78,804

2

20,785

7

78,202

2

-1,499

7

73,846

3

13,463

8

154,158

3

30,391

8

114,145

3

-21,254

8

110,077

4

31,095

9

139,573

4

6,542

9

154,735

4

35,466

9

151,428

5

-5,419

10

163,649

5

59,32

10

189,114

5

73,178

10

214,504


Untuk data contoh di samping dapat dinotasikan : m = 10, n1 = n2 =…..= n10 = 3

n = 30

db sisaan

= n – 2 = 28 m

db galat murni =

n j 1

j

m

= 30 – 10 = 20 db ketidakpasan model = 28 – 20 = 8

Contoh : Uji ketidakpasan model Tabel Sidik Ragam OUTPUT MINITAB

(lanjutan)

The regression equation is y = - 37,3 + 19,5 x Predictor Coef SE Coef Constant -37,31 11,70 x 19,483 1,885

T -3,19 10,33

P 0,003 0,000

H0: model pas H1: model tdk pas

S = 29,6616 R-Sq = 79,2% R-Sq(adj) = 78,5% Analysis of Variance Source DF

SS

MS

Regression

1

93945

93945

28

24635

880

8 20

15272 9363

1909 468

29

118580

Residual Error Lack of Fit Pure Error Total


F

P

106,78

0,000

4,08

0,005

Phit < 0,05 KEPUTUSAN : Tolak H0 KESIMPULAN: Model tidak pas

 Pada contoh tersebut meskipun P-value untuk pengaruh linier x dan regresi sangat kecil (0,000…) namun kita tidak memperhatikan hal ini terlebih dahulu. Kita perhatikan uji ketidakpasan modelnya dulu, disimpulkan bahwa model tidak pas.  Selanjutnya kita periksa pola tebaran datanya. Scatterplot of y vs x

Pada tebaran data-nya terlihat adanya pola kuadratik  model yang digunakan diubah menjadi :

200

y

150

100

50

Y  β0  β1x  β11x 2  ε

0

0

2

4

6 x


8

10

Contoh : Uji ketidakpasan model (lanjutan) Tabel Sidik Ragam OUTPUT MINITAB

Scatterplot y vs x Fitted LineofPlot 200 200

The regression equation is y = 28,32 - 13,33 x + 2,983 x**2

y y

150 150

100 100

S = 19,7555 R-Sq = 91,1% R-Sq(adj) = 90,5%

5050

00

00

22

44

66

88

1010

xx

• Dengan mengubah model regresi dari linier ke kuadratik, R2 meningkat dari 79,2% menjadi 91,1% • Dari tabel Sidik Ragam didapat bhw pengaruh X kuadrat nyata dg a = 0,05 Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Analysis of Variance Source DF SS MS F P Regression 2 108043 54021,3 138,42 0,00 Error 27 10538 390,3 Total 29 118580 Sequential Analysis of Variance Source DF SS F P Linear 1 93945,5 106,78 0,000 Quadratic 1 14097,2 36,12 0,000

MODEL YG DIGUNAKAN : Y duga = 28,32 - 13,33 x + 2,983 x**2

Contoh : Uji ketidakpasan model Tabel Sidik Ragam X

Y

X

Y

1

5,135

6

67,586

1

30,846

6

47,441

1

32,977

6

32,919

2

14,142

7

78,804

2

20,785

7

78,202

2

-1,499

7

73,846

3

13,463

8

154,158

3

30,391

8

114,145

3

-21,254

8

110,077

4

31,095

9

139,573

4

6,542

9

154,735

4

35,466

9

151,428

5

-5,419

10

163,649

5

59,32

10

189,114

5

73,178

10

214,504


FILM : MENGUJI KETIDAKPASAN MODEL dengan MENGGUNAKAN MINITAB Klik di sini

Langkah-langkah Pemilihan Model yang Pas 1. Tentukan model, dapatkan dugaan persamaan garis regresinya, susun tabel Sidik Ragam, jangan dulu melakukan uji F untuk regresi keseluruhan 2. Lakukan uji ketidakpasan model. Jika tidak ada ulangan, cek secara eksploratif : plot sisaan-nya (akan dijelaskan pada pokok bahasan: Diagnosa Model). Jika nyata : lanjut ke langkah 3 Jika tidak nyata : gunakan KT sisaan s2 sebagai dugaan bagi Rag(Y) = σ2 , lakukan uji F secara keseluruhan, hitung R2, periksa asumsi untuk MKT melalui plot sisaan (Diagnosa Model) 3. Hentikan analisis, perbaiki modelnya (lihat pola plot sisaannya). Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Selang Kepercayaan bagi koefisien kemiringan b1 Selang kepercayaan bagi koefisien kemiringan adalah :

b1  t n2,α/2sb1  β1  b1  t n2,α/2sb1 Output Excel untuk contoh kasus harga rumah: Intercept Luas Lantai

Coefficients

Standard Error

98.24833 0.10977

d.b. = n - 2

t Stat

P-value

Lower 95%

Upper 95%

58.03348

1.69296

0.12892

-35.57720

232.07386

0.03297

3.32938

0.01039

0.03374

0.18580

Pada tingkat kepercayaan 95%, selang kepercayaan bagi koefisien kemiringan garis adalah (0.0337, 0.1858) Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Selang Kepercayaan bagi koefisien kemiringan b1 (lanjutan) Intercept Luas Lantai

Coefficients

Standard Error

t Stat

P-value

98.24833 0.10977

Lower 95%

Upper 95%

58.03348

1.69296

0.12892

-35.57720

232.07386

0.03297

3.32938

0.01039

0.03374

0.18580

Selama satuan peubah tak bebas (harga rumah) dalam juta rupiah, kita percaya 95% bahwa rata-rata pengaruh penambahan harga rumah berada antara Rp. 0,03374 juta sampai dengan Rp.0,18580 juta setiap penambahan satu m2 luas lantai

Selang kepercayaan 95% ini tidak memuat angka 0. Kesimpulan : Ada hubungan linier yang nyata antara harga rumah dengan luas lantai dengan tingkat nyata sebesar 95% Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Peramalan  Dugaan persamaan garis regresi dapat digunakan untuk memprediksi/meramal nilai Y jika x diketahui (hati-hati hanya untuk x yang berada dalam selang pengamatan)  Untuk suatu nilai, xn+1 , nilai prediksi bagi Y adalah

yˆ n1  b0  b1xn1


Memprediksi dengan menggunakan persamaan garis regresi Berapa kira-kira harga rumah yang luas lantainya 2000 m2 ! (2000 bukan titik pengamatan, namun masih dalam selang pengamatan). interpolasi

harga rumah  98.25  0.1098 (luas lantai)  98.25  0.1098(2000)  317.85 Prediksi harga rumah dengan luas lantai 2000 m2 adalah Rp 317,85 juta Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Selang data yang relevan  Ketika menggunakan garis regresi sebagai alat untuk memprediksi, x yang boleh digunakan adalah x yang nilainya dalam selang pengamatan

Harga Rumah (juta Rp)

Selang yang relevan 450 400 350 300 250 200 150 100 50 0

Sangat riskan untuk melakukan ekstrapolasi X di luar selang pengamatan 0

500

1000

1500

2000

Itasia & Y Angraini, Dep Statistika FMIPA - IPB(m2) Luas Lantai

2500

3000

Selang kepercayaan rataan respon dan dugaan individu

Selang kepercayaan bagi rataan Y, untuk xi

Y

 y

yi = b0 + b1 xi

Selang kepercayaan bagi nilai pengamatan y, untuk xi Itasia & Y Angraini, Dep Statistika FMIPA - IPB

xi

X

Selang Kepercayaan bagi nilai harapan Y, untuk suatu X Selang kepercayaan bagi dugaan nilai harapan/rataan y jika diketahui xn+1

Selang kepercayaan bagi E(Yn 1 | X n 1 ) : yˆ n 1  t n 2,α/2s e

 1 (x n 1  x) 2    2  n  (x i  x) 

Perhatikan bahwa rumus tersebut mengandung (xn1  x)2 Jadi beragamnya lebar selang bergantung pada jarak antara xn+1 terhadap nilai rataan, x Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Selang Kepercayaan bagi individu Y, untuk suatu nilai x Selang kepercayaan individu y untuk suatu nilai xn+1 Selang kepercayaan bagi yˆ n 1 : yˆ n 1  t n  2,α/2s e


 1 (x n 1  x) 2  1   2  n  (x i  x) 

Dugaan bagi Nilai Tengah/Rataan: Contoh harga rumah Selang kepercayaan bagi E(Yn+1|Xn+1) Dapatkan selang kepercayaan 95% bagi rataan harga rumah dengan luas lantai 2.000 m2  harga rumah yi = 317,85 (Rp. juta) yˆ n 1  t n -2,α/2s e

1 (x n 1  x) 2   317.85  37.12 2 n  (x i  x)

Selang kepercayaan 95% bagi rataan harga rumah adalah dari Rp 280.660.000,- sampai Rp. 354.900.000,Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Dugaan bagi Nilai Tengah/Rataan: Contoh harga rumah (lanjutan) OUTPUT MINITAB

Predicted Values for New Observations Dugaan Nilai Tengah untuk x = 2000

New Obs 1

Fit SE Fit 317,8 16,1

95% CI (280,7; 354,9)

95% PI (215,5; 420,1)

Values of Predictors for New Observations New Obs 1

Luas Lantai 2000


Selang Kepercayaan 95% bagi dugaan nilai tengah/Rataan untuk suatu nilai x tertentu yg tidak ada pada pengamatan, namun masih dalam selang pengamatan x = 2000

Dugaan bagi individu/respon: contoh harga rumah 

Selang kepercayaan bagi individu yn+1 Dapatkan selang kepercayaan 95% bagi respon individu harga rumah untuk rumah dengan luas lantai 2.000 m2  yi = 317,85 (Rp. juta)

yˆ n 1  t n -1,α/2s e

1 (X n 1  X) 2 1   317.85  102.28 2 n  (Xi  X)

Selang kepercayaan 95% bagi harga rumah dengan luas lantai 2000m2 ialah dari Rp 215.500.000,- sampai Rp 420.070.000,-. Itasia & Y Angraini, Dep Statistika FMIPA - IPB

Dugaan bagi individu/respon: contoh harga rumah (lanjutan) OUTPUT MINITAB

Predicted Values for New Observations New Obs 1

Fit SE Fit 317,8 16,1

95% CI (280,7; 354,9)

95% PI (215,5; 420,1)

Values of Predictors for New Observations New Obs 1

Luas Lantai 2000


Selang Kepercayaan 95% bagi dugaan individu/respon untuk suatu nilai x tertentu yg tidak ada pada pengamatan, namun masih dalam selang pengamatan x = 2000



245

1400

312

1600

279

1700

308

1875

199

1100

219

1550

405

2350

324

2450

319

1425

255

1700


FILM : MENGHITUNG SELANG KEPERCAYAAN BAGI RAMALAN NILAI TENGAH & RAMALAN NILAI INDIVIDU dengan MENGGUNAKAN MINITAB

Klik di sini

ANALISIS REGRESI 1. Pokok Bahasan : REGRESI LINIER SEDERHANA

Recommend Documents