Analisis Regresi 2. Pokok Bahasan : Review Regresi Linier Sederhana dan Berganda

Analisis Regresi 2 Pokok Bahasan :

Review Regresi Linier Sederhana dan Berganda Tujuan Instruksional Khusus : Mahasiswa dapat menjelaskan regresi linier sederhana dan berganda dan asumsi-asumsi yang mendasarinya

Regresi Linier Sederhana  Model Regresi Linier Sederhana (1 peubah penjelas)

Y  β0  β1x1  ε  Model Regresi Linier Berganda ( k peubah penjelas )

Y  β0  β1 x1  β2 x2  .....  βk xk  ε Dengan notasi matriks dapat dituliskan : n

y1 n Xk 1 k 1  1  n  1

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

, k  banyaknya p penjelas

Ringkasan Regresi Linier Berganda  Model Regresi Linier Berganda dengan 2 peubah penjelas :

Y  β 0  β1x1  β 2 x 2  ε  Model umum Regresi Berganda dengan k peubah penjelas dalam notasi matriks :

y  X    n k  1 n 1 k 1 1 n 1


Ringkasan Regresi Linier Berganda lanjutan

 Nilai dugaan

yˆ  Xb  H y

H  X(X' X) 1 X'

 Matriks dugaan ragam peragam bagi b : Vˆ (b0 ) cov (b0 , b1 ) ....... cov (b0 , bk )    ˆ ....... cov (b1 , bk ) cov(b1 , b0 ) V (b1 ) 1 2 ˆ   V (b)    X ' X s  ... ...  ...  cov(b , b ) cov(b , b ) ............Vˆ (b )  k 0 k 1 k   dengan : s2 = KT sisaan Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

Ringkasan Regresi Linier Berganda lanjutan

 KOEFISIEN DETERMINASI b' X ' Y R  Y 'Y 2

b' X ' Y  nY R adj  Y ' Y  nY 2

2

2

 Dugaan simpangan baku

sb j  c( j 1)( j 1) s

dengan : s2 = KT sisaan

c(j1)(j1)  unsur ke j  1 diagonal matriks (X' X) 1


Pendugaan model regresi linier berganda dengan notasi matriks  Notasi Matriks pada Model Regresi Linier Berganda dengan k = 2

y  X  

 y1  1 x11 y  1 x  2  12 .   . .    .  . .  yn  1 x1n   

x 21  x 22  .   .  x 2n 

 1     0   2     .   1     2  .   n   

 Penduga parameter regresi berganda dg notasi matriks : 1 ( k 1)

b1 ( k 1) (X' X)


( k 1)

(k 1)

X'n

y n 1

Contoh: model regresi linier berganda dalam notasi matriks Data :

Model Regresi dalam notasi Matriks : y  X  

y

x1

x2

3.5

3.1

30

3.2

3.4

25

3.0

3.0

20

2.9

3.2

30

4.0

3.9

40

2.5

2.8

25

2.3

2.2

30


3.5  3.2    3.0    y  2.9 4.0   2.5 2.3  

1 1  1  X  1 1  1 1 

3.1 30  3.4 25 3.0 20  3.2 30  3.9 40  2.8 25 2.2 30

 0     1    2 

Contoh : Menduga parameter regresi linier berganda dg matriks Dugaan bagi parameter regresi : 1 b  ( X ' X ) ( k 1) ( k 1) 1 ( k 1)

(k 1)

X'n

y n 1

Dari data contoh tsb. didapat : X’X =

1 1 1 1 1 1 1  1 3.1 3.4 3.0 3.2 3.9 2.8 2.2    1 30 25 20 30 40 25 30  1  1 3x7 1  1 1 

3.1 30  3.4 25 3.0 20  3.2 30  3.9 40  2.8 25 2.2 30 7x3


Contoh : Menduga parameter regresi linier berganda dg matriks lanjutan

Dengan perhitungan cara matriks didapat :  7.0 216 . 200.0    X  X   216 . 68.3 626.0  200.0 626.0 5950.0

b

 6.683 - 1.529 - 0.064  ( X' X) 1  - 1.529 0.760 - 0.028  - 0.064 - 0.028 0.005

 0.214   6.683 - 1.529 - 0.064  1 1 1 1 1 1 1  3.5  - 1.529 0.760 - 0.028  3.1 3.4 3.0 3.2 3.9 2.8 2.2 3.2    0.898  =         0.017  - 0.064 - 0.028 0.005 30 25 20 30 40 25 30  3.0     2.9 (X’X) -1 X’  4.0    2.5 Dugaan persamaan garis regresinya :  2.3  

yˆ  0.214  0.898x1  0.017 x2

y Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

Pemeriksaan Model Regresi Berganda :

uji-t  Uji-t dimaksudkan untuk menguji pengaruh setiap peubah penjelas secara satu per satu terhadap peubah responnya Model Regresi Berganda dg 2 peubah penjelas :

Y  β 0  β1x1  β 2 x 2  ε H0 :  j  0

Peubah penjelas Xj tidak berhubungan linier dg Y

H1 :  j  0

Peubah penjelas Xj berhubungan linier dg Y

atau  j  0

Peubah penjelas Xj berhubungan linier positif dg Y

atau  j  0

Peubah penjelas Xj berhubungan linier negatif dg Y


Pemeriksaan Model untuk Regresi Berganda : uji-t lanjutan

Hipotesis : 1. H 0 : 1  0 H 1 : 1  0 atau 1  0 atau 1  0

2. H 0 :  2  0 H1 :  2  0 atau  2  0 atau  2  0


Statistik uji-nya :

t hit 

bj   j sb j

, sb j  c( j 1)( j 1) s

Derajat bebasnya = n – k - 1 Unsur ke (j+1) diagonal (X’X)-1 Akar dari KT sisaan k = banyaknya peubah penjelas

Contoh : uji-t dengan notasi matriks  Dengan menggunakan data contoh pada slide sebelumnya ingin diuji apakah X1 dan atau X2 berpengaruh linier thdp Y  Didapatkan bahwa

 6.683 - 1.529 - 0.064  ( X' X) 1  - 1.529 0.760 - 0.028  - 0.064 - 0.028 0.005

Dugaan garis regresi-nya: yˆ  0.214  0.898x1  0.017 x2  Hipotesisnya : Peubah penjelas Xj tidak berhubungan linier dg Y H0 :  j  0 H1 :  j  0

Peubah penjelas Xj berhubungan linier dg Y


Contoh : uji-t dengan notasi matriks lanjutan

 Statistik uji-nya :

t hit  S2=

bj   j

 2 

sb j

, sb j  c( j 1)( j 1) s

1  67.44  671031   0.08422 . 4

untuk j  1, s b1  0.76 x 0.2902  0.2530  t hit  untuk j  2, s b 2  0.005 x 0.2902  0.0205  thit


0.898  3.55 0.253

0.017   0.829 0.0205

Contoh : uji-t dengan notasi matriks (lanjutan) d.b. = 7 - 3 = 4 a/2=.025

a/2=.025

t4,.025 = 2.776

Untuk j=1  t hit = 3.55  tolak H0 Untuk j=2  t hit = 0.829  terima H0

-tn-3,α/2 Tolak H0

-2.776

0

KESIMPULAN :

tn-3,α/2

Terima H0

Tolak H0

2.776


1. Cukup bukti untuk mengatakan bahwa ada hub linier antara x1 dan Y

2. Tidak cukup bukti untuk mengatakan bahwa ada hub linier antara x2 dan Y

Contoh : uji-t dengan Minitab lanjutan Regression Analysis: Y versus X1, X2 The regression equation is Y = - 0.214 + 0.898 X1 + 0.0175 X2 Predictor Constant X1 X2

Coef SE Coef -0.2138 0.7502 0.8984 0.2530 0.01745 0.02116

T -0.29 3.55 0.82

S = 0.290208 R-Sq = 83.3% R-Sq(adj) = 74.9%


P 0.790 0.024 0.456

> 0.05

Terima H0

Pemeriksaan Model Regresi Berganda : uji-F Dengan uji F ini kita dapat mengetahui :  peubah-peubah penjelas yang ada dalam model berpengaruh secara serempak terhadap respon atau tidak. (model regresi layak atau tidak)  Penambahan satu peubah penjelas ke dalam model setelah peubah penjelas lainnya ada dalam model berpengaruh nyata atau tidak terhadap respon  Penambahan sekelompok peubah penjelas ke dalam model setelah peubah penjelas lainnya ada dalam model berpengaruh nyata atau tidak terhadap respon


Uji Parameter Regresi Linier Berganda : uji-F untuk model keseluruhan H 0 : 1   2  ...   k  0 H1 : min ada satu  j  0, j  1,2,....., k Sumber Keragaman

b1, b2,..,bk| b0

H0 : peubah respon tidak memp hub linier dg peubah penjelas ke-1 s.d ke-k

Derajat Bebas (db)

Jumlah Kuadrat (JK)

k

b’X’Y – Y’11’Y/n

Kuadrat Tengah (KT)

JK Regresi k

Sisaan Total (terkoreksi)

n – k-1 n-1

KRITERIA PENOLAKAN : Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

Y’Y – b’X’Y Y’Y – Y’11’Y/n

JKsisaan n  k -1

H1 : peubah respon memp hub linier dg min 1 peubah penjelas ke-1 s.d ke-k

Fhit 

Tolak H 0 jika F  Fk,n k 1,α

KTregresi KTsisaan

Uji Parameter Regresi Linier Berganda : uji-F untuk model keseluruhan lanjutan

OUT PUT MINITAB : DATA TEKANAN DARAH The regression equation is Tekanan Darah = 50,5 + 12,8 Ukuran Tubuh + 0,848 Umur + 9,11 Merokok S = 7,88677 R-Sq = 72,6% R-Sq(adj) = 69,6% Analysis of Variance Source DF SS Regression 3 4610,3 Residual Error 28 1741,6 Total 31 6352,0

MS 1536,8 62,2


(3,28), 5%

H1 : min ada 1  j  0, j  1,2,.., k

KEPUTUSAN: tolak H0. a = 5%

KESIMPULAN: Tekanan darah memiliki hubungan linier dg min satu peubah penjelas

F P 24,71 0,000

F tabel : F

H 0 : 1   2  ...   k  0

=2,95

Uji Parameter Regresi Linier Berganda : uji-F untuk model keseluruhan lanjutan

H 0 : 1   2   3  0

Statistik uji-nya: H1 : min ada satu  j  0, j  1,2,3 Fhit  KTregresi  24,71 KTsisaan F tabel : F

(3,28), 5%

=2,95

Keputusan: Tolak H0

Kesimpulan:

a = .05

0

Terima H0

F.05 = 2,95

Tolak H0


F

Cukup bukti untuk mengatakan bahwa minimum ada satu peubah penjelas yg berhubungan linier dg Y

Uji-F Parsial dan uji-F Sekuensial PADA ANALISIS REGRESI LINIER BERGANDA : Terhadap semua peubah penjelas yang tersedia :  Diuji peubah penjelas apa yg berpengaruh nyata thd respon.  Dari yang ada dalam model, usahakan yang dipakai hanya peubah penjelas yang keberadaannya dalam model menyumbangkan keragaman kepada garis regresi cukup besar  Jika suatu peubah penjelas keberadaannya dalam model sudah dapat diwakili oleh yg lainnya, maka peubah penjelas tsb tidak perlu lagi digunakan dlm model  Lebih disenangi model yang memiliki banyaknya peubah penjelas yang lebih sedikit. Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

Pemeriksaan Model Regresi Berganda : uji-F Apakah penambahan X2 ke dalam model berpengaruh terhadap Y

Y  β0  β1x1  ε

H 0 :  2  0 dalam model Y   0  1 x1   2 x2   H1 :  2  0 Sumber Keragaman

b1, b2 | b0

Derajat Bebas (db)

Jumlah Kuadrat (JK)

2

b’X’Y – Y’11’Y/n

1

JKb1 ,b2 | b0  JKb1| b0

Sisaan

n–3

Y’Y – b’X’Y

Total (terkoreksi)

n-1

Y’Y – Y’11’Y/n

b 2 b 0 , b1


Kuadrat Tengah (KT)

JK b 2 | b 0 ,b1 JK sisaan JKsisaan

n -3

Fhit 

KTb 2 |b0 ,b1 KTsisaan

Pemeriksaan Model Regresi Berganda : KOEFISIEN DETERMINASI BERGANDA KOEFISIEN DETERMINASI BERGANDA  Proporsi keragaman pada Y dijelaskan oleh semua peubah X secara bersama-sama Keragaman yg dijelaskan SS yy  SSE SSE R    1 Total Keragaman SS yy SS yy 2


Pemeriksaan Model Regresi Berganda : Adjusted R2  R2 besarnya tidak pernah turun ketika peubah X ditambahkan ke dalam model  Hanya nilai Y yang menentukan besarnya SSyy  Tidak ada gunanya kalau membandingkan model yg satu dg yg sdh ditambah peubah penjelasnya.

 Solusi: Adjusted R2  Setiap penambahan peubah penjelas akan menurunkan nilai adjusted R2.

n  1  SSE SSE 2  1 R  SSyy  n  k  1 SS yy

 2 Ra  1  


Validitas Model PRESS = Prediction Sum of Squares, adalah prosedur yang merupakan kombinasi dari: semua kemungkinan regresi, analisis sisaan, dan teknik validasi. Digunakan untuk mengukur validitas model.

PRESS    yi  yˆ i , i 

2

  ei,-i 

2

yi

: nilai respon pada x=xi (data lengkap) yˆ i , i : nilai ramalan y pd x=xi yg diramal melalui dugaan persamaan regresi dari data tanpa amatan ke-i Model valid jika memiliki PRESS yg kecil Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

2

 ei  R 2 PRED  1  PRESS =  2  1  h   yi  y  i 1  ii  n



R2pred adalah statistik lainnya yg berhub dg PRESS. Model valid jika R2pred besar.

Validitas Model (lanjutan)

PROSEDUR PRESS

Mis. k adalah banyaknya peubah dalam suatu persamaan regresi, n adalah banyaknya amatan Langkah-langkahnya: 1. Sisihkan amatan ke-1, amatan ke-1 tidak digunakan, data tinggal n-1. 2. Dugalah semua ”kemungkinan model regresi” thdp n-1 data tersebut. (jika k=1 banyaknya ”kemungkinan model” hanya 1) 3. Ramal y1 dengan model yang didapat pd no.2. (lakukan untuk semua kemungkinan model  hanya 1 jika k=1) ˆ 4. Hitung perbedaan y1 yg disisihkan tadi dengan hasil no.3.  y1  y1k 5. Ulangi langkah 1-4 dengan menyisihkan amatan ke-2, ke-3,...., ke-n. Didapat y2  yˆ 2k , y3  yˆ3k , ..., yn  yˆ nk n

2

6. Untuk setiap model regresi yang mungkin hitung : PRESS    yi  yˆ ik  i 1

7. Pilih model yang relatif memiliki nilai PRESS terkecil, dan melibatkan peubah penjelas sedikit. Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

Validitas Model (lanjutan) Contoh Proses PRESS, untuk n=11 dan k=1 Y

X

Dugaan Garis Regresi dg Data tanpa amatan ke-i

7,46

10

Y tnp 1 = 3,01 + 0,505 X tnp 1

8,06

-0,6

0,36

6,77

8

Y tnp 2 = 3,05 + 0,497 X tnp 2

7,026

-0,256

0,06553

12,74

13

Y tnp 3 = 4,01 + 0,345 X tnp 3

8,495

4,245

18,02003

7,11

9

Y tnp 4 = 3,04 + 0,500 X tnp 4

7,54

-0,43

0,18490

7,81

11

Y tnp 5 = 2,95 + 0,514 X tnp 5

8,604

-0,794

0,63043

8,84

14

Y tnp 6 = 2,46 + 0,577 X tnp 6

10,538

-1,698

2,88320

6,08

6

Y tnp 7 = 2,97 + 0,502 X tnp 7

5,982

0,098

0,00960

5,39

4

Y tnp 8 = 2,72 + 0,526 X tnp 8

4,824

0,566

0,32035

8,15

12

Y tnp 9 = 2,84 + 0,528 X tnp 9

9,176

-1,026

1,05267

6,42

7

Y tnp 10 = 3,03 + 0,498 X tnp10

6,516

-0,096

0,00921

5,73

5

Y tnp 11 = 2,88 + 0,511 X tnp11

5,435

0,295

0,08703

ramalan Yi tnp amatan ke-i

ei,-i

e i,-i kuadrat

Total = PRESS =


23,6229

Validitas Model Output Minitab untuk data contoh tsb The regression equation is Y = 3,00 + 0,500 X Predictor Constant X

Coef SE Coef 3,002 1,124 0,4997 0,1179

T 2,67 4,24

P 0,026 0,002

S = 1,23631 R-Sq = 66,6% R-Sq(adj) = 62,9% PRESS = 23,6210 R-Sq(pred) = 42,70% Analysis of Variance Source DF SS Regression 1 27,470 Residual Error 9 13,756 Total 10 41,226


MS F P 27,470 17,97 0,002 1,528

(lanjutan)

• Hasil PRESS melalui proses = hasil Minitab • Untuk k=1 hanya ada 1 model • Amatan ke-3 memberikan simpangan ramalan terbesar • Amatan ke-3 dapat dipandang sebagai amatan berpengaruh • Dugaan parameter regresi tanpa amatan ke-3 sangat berbeda dg lainnya dugaan yg ini relatif yg benar/baik

Keluarkan amatan ke-3 dari analisis. Cek nilai PRESS-nya. Cek nilai R2nya

Validitas Model Output Minitab data lengkap The regression equation is Y = 3,00 + 0,500 X Predictor Constant X

(lanjutan)

Output Minitab data tanpa amatan ke-3 The regression equation is Y tnp 3 = 4,01 + 0,345 X tnp 3

Coef SE Coef 3,002 1,124 0,4997 0,1179

T P 2,67 0,026 4,24 0,002

Predictor Coef SE Coef T Constant 4,00619 0,00221 1811,78 X tnp 3 0,345334 0,000237 1454,74

P 0,000 0,000

S = 1,23631 R-Sq = 66,6%

S = 0,00308655 R-Sq = 100,0

PRESS = 23,6210 R-Sq(pred) = 42,70%

PRESS = 0,000174853 R-Sq(pred) = 100,00%

Analysis of Variance Source DF SS Regression 1 27,470 Residual Error 9 13,756 Total 10 41,226

Analysis of Variance Source DF SS MS F P Regression 1 20,161 20,161 2116264,34 0,000 Residual Error 15 0,000 0,000 Total 16 20,161

MS F P 27,470 17,97 0,002 1,528

Menyisihkan amatan ke-3 mempengaruhi dugaan parameter, menurunkan nilai PRESS Dari sisi model, “persamaan tanpa amatan ke-3” yg terbaik. R-Sq(pred)=100,00%  model sangat valid  PELUANG salah memprediksi = 0 Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

Validitas Model (lanjutan) Dugaan garis regresi dg data lengkap

Dugaan garis regresi tanpa amatan ke-3

PRESS = 23,6210

PRESS = 0,000174853

R-Sq(pred) = 42,70% Fitted Line Plot

R-Sq(pred) = 100,0%

Fitted Line Plot

Y = 3,002 + 0,4997 X

Y tnp 3 = 4,006 + 0,3453 X tnp 3

13

9

12 11

8

10 Y

Y tnp 3

9 8

7

7

6

6 5 4

5 5,0

7,5

10,0 X

12,5

15,0

5,0

7,5

10,0 X tnp 3

12,5

Semakin kecil nilai PRESS-nya  model semakin valid  semakin baik untuk memprediksi. Setiap 1 model regresi thdp 1 set data memiliki 1 nilai PRESS Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

15,0

ASUMSI ASUMSI YANG HARUS DIPENUHI DALAM ANALISIS REGRESI BERGANDA :

1. Kondisi Gauss-Marcov

1. E[ i ]  0

nilai - harapan/rataan sisaan  nol

2. E[ i ]  var [ ]   2 , ragam sisaan homogen untuk setiap nilai x 2

3. E[ i j ]  0, i  j

( homoscedas ticity ) sisaan saling bebas/tdk ada autokorelasi

2. Galat menyebar Normal 3. Galat bebas terhadap peubah bebas, cov(x i ,  j )  0, i 4. Tidak ada multikolinieritas pd peubah bebas, cov(x i , x j )  0, i  j


Analisis Regresi 2. Pokok Bahasan : Review Regresi Linier Sederhana dan Berganda

Recommend Documents