LOGO ANALISIS REGRESI LINIER

LOGO

ANALISIS REGRESI LINIER BERGANDA

Hazmira Yozza Jur.. Matematika FMIPA Univ. Andalas Jur

KOMPETENSI 1

mengidentifikasikan model regresi linier berganda (dalam notasi aljabar biasa maupun notasi matriks) dan asumsinya

2

mendapatkan model regresi linier berganda dengan menggunakan metode kuadrat terkecil

3

menjelaskan sifat-sifat penduga kuadrat terkecil

4

membentuk tabel analisis ragam, menghitung nilai R² dan dugaan σ² dari suatu model regresi linier berganda

5

melakukan pengujian hipotesis mengenai satu para meter regresi, semua parameter regresi dan beberapa parameter regresi pada analisis regresi linier berganda

6

menemukan model regresi linier berganda jika salah satu variabel penjelas merupakan variabel kategori

www.themegallery.com

Hazmira YozzaYozza-Jur Jur.. Matematika FMIPA Univ. Andalas

Company Logo

D A T A DATA Y

X1

X2

…

Xk

y1

x11

x21

…

xk1

y2

x12

x22

…

xk2

y3

x13

x23

…

xk3

:

:

:

:

:

yn

x1n

x2n

…

xkn


MODEL LINIER

yi = β0 + β1x1i +...+ βk xki + εi

ASUMSI

1. X1, , Xp bukanlan peubah acak 2.. ε i

2

~ N (0, σ )

INTERPRETASI β Besarnya perubahan respons yang diharapkan bila peubah Xi berubah sebesar 1 unit dengan asumsi peubah-peubah lain konstan. Hazmira Yozza Yozza--Jur Jur.. Matematika FMIPA Univ. Andalas

MODEL LINIER

yi = β 0 + β1 x1i + ... + β p x pi + ε i i =1

y1 = β 0 + β1 x11 + ... + β k xk1 + ε 1

i=2

y2 = β 0 + β1 x12 + ... + β k xk 2 + ε 2

: i=n

: y2 = β 0 + β1 x1n + ... + β k xkn + ε n :

 y1  1 x11  y  1 x 12  2 =   :  : :     yn  1 x1n

Y=

X

... x p1   β 0   ε 1  ... x p 2   β1  ε 2  +  ... :   :   :      ... x pn   β p  ε n 

β + ε


MODEL LINIER

Y = Xβ + ε

V.Galat

V.respon Matriks Rancangan

ASUMSI

V.Koefisien

ε ~ MVN (0,Iσ2)


Metode Kuadrat Terkecil Model Dugaan

Y = Xb + e e = Y − Xb

JKS = e t e = (Y − Xb ) (Y − Xb ) t

= Y tY − Y t Xb − b t X tY + b t X t Xb = Y tY − 2Y t Xb + b t X t Xb

Dengan MKT, b diperoleh dengan meminimumkan JKS

( )

d ete =0 db − 2(Y t X ) t + 2 X t Xb = −2 X tY + 2 X t Xb = 0 X t Xb

= X tY

b

= ( X t X ) −1 ( X tY )

Persamaan Normal dalam Analisis Regresi Linier Berganda


b = ( X ' X ) −1 ( X ' Y )

Penduga MKT  1 x X ' X =  11 M  x p1

1 x 12 M x p2

 n ∑ x 1i  2 x ∑ 1i  =    simetris 

 1 x 11 X 'Y =   M   x p1

1 x12 M x p2

L L O L

1  1 x 1 n  1 M  M x pn  1 

∑x ∑x x ∑x

2i

1i

2i

2 2i

1  L x1n  O M   L x pn  L

x 11 x 12 M x 1n L L L O

x p1  x p2   M  x pn 

L L O L

  1i pi   2i pi  M  2 ∑ x pi 

∑x ∑x x ∑x x pi

 y1   ∑ yi  y   x y   2  =  ∑ 1i i   M  :      yn  ∑ x pi yi 


Penyekatan Keragaman JKT

= JKR

2 ( ) y − y ∑ i

+ JKS

= ∑ ( yˆ i − y )

+ ∑ ( yi − yˆ i )

2

2

(Y 'Y − nY ) = (b' X 'Y − nY ) + (Y 'Y − b' X 'Y ) 2

2

KOEFISIEN DETERMINASI R

2

JKR = 100 % JKT b ' X 'Y − n Y = Y 'Y − n Y 2

(

(

2

)

)

100 %


ASUMSI

ε ~ MVM (0,Iσ2) Diduga dari :

( JKS Y − Xb ) (Y − Xb ) 2 2 = s = σˆ = n − p −1 n − p −1 t


Pengujian Hipotesis Keberartian Model Regresi

Hipotesis H0 : β1=β2=…= βp=0 (Semua Peubah tidak berpengaruh terhadap Y) H1 : Ada βi ≠ 0 (Ada peubah yang berpengaruh terhadap Y) Sumber

Der. bebas (db)

Regresi

dbr = p

Sisaan Total

Jumlah Kuadrat (JK)

(

JKR= b ' X ' Y − n Y

2

)

dbs = n-p-1 JKS = (Y 'Y − b' X 'Y ) dbt = n-1

(

JKT = Y ' Y − nY 2

Kuadrat Tengah (KT)

Fhitung

KTR = JKR/dbr

KTR / KTS

KTS = JKS/dbs

)

Fhitung > F,p,n-p-1 → Tolak H0 → Ada peubah yang berpengaruh terhadap Y Hazmira YozzaYozza-Jur Jur.. Matematika FMIPA Univ. Andalas

Fhitung > F,p,n-p-1

Tolak H0 : β1=β2=…= βp=0

Ada βi≠0

βi yang mana???

Lakukan pengujian masingmasing peubah (masing-masing parameter regresi) Hazmira YozzaYozza-Jur Jur.. Matematika FMIPA Univ. Andalas

Sifat-sifat penduga Kuadrat Terkecil

ASUMSI

ε ~ MVM (0,Iσ2)

E (ε ) = 0 Var (ε) = Iσ 2

Y = Xβ + ε E (Y ) = E ( Xβ + ε) = E ( Xβ) + E (ε) = Xβ Var (Y ) = Var ( Xβ + ε) = Var (ε) = Iσ 2

Y = Xβ + ε E (Y ) = Xβ

Var (Y ) = Iσ 2

b = ( X t X )−1 ( X tY ) E (b) = E (( X t X ) −1 ( X tY )) = ( X t X ) −1 X t E (Y ) = ( X t X ) −1 X t Xβ = β Var ( b ) = Var (( X t X ) − 1 ( X t Y )) = ( X t X ) −1 X t )Var (Y )( X t X ) −1 X t ) t = ( X t X ) −1 X t ) I σ 2 ( X ( X t X ) −1 ) = ( X t X ) −1 X t X ( X t X ) −1 ) σ 2 = ( X t X ) −1 ) σ 2

b = ( X t X ) −1 ( X tY )

E (b) = E (( X t X ) −1 ( X tY )) = β

Var(b) = ( X t X )−1 )σ 2

Jika

maka

 c00  c10 ( X t X ) −1 =  c20   : c k 0

c01 c02 ... c0 k  c11 c12 ... c1k  c21 c22 ... c2 k   : : O :  ck1 ck 2 ... ckk 

Var (bi ) = σ 2 (bi ) = cii σ 2

s 2 (bi ) = cii s 2

Pengujian Hipotesis Satu Parameter Regresi Hipotesis H0 : βi = 0 H1 : βi ≠ 0

(Peubah ke i tidak berpengaruh terhadap Y) (Peubah ke i berpengaruh terhadap Y)

Statistik Uji Bila dinyatakan :

Var (b) = σ 2 ( X ' X ) −1 dan Maka statistik uji adalah : bi bi t hit = = Vaˆr (bi ) s cii

( X ' X ) −1

 c00 c  10 =  c 20   M c p 0 

c 01 c11

c 02 c12

L L

c 21

c 22

L

M

M

c p1

c p2

O L

c0 p  c1 p  c2 p   M  c pp 

JKS (Y ' Y − b' X ' Y ) s = KTS = = dbs (n − p − 1) 2

Tolak H0 jika thit > t/2,n-p-1 Hazmira YozzaYozza-Jur Jur.. Matematika FMIPA Univ. Andalas

Pengujian Beberapa Parameter Regresi

Misal ingin diuji, apakah secara bersama-sama menambahkan peubah X3 dan X4 berpengaruh dalam menerangkan keragaman Y

Analog dengan menguji hipotesis H0 : β3 = β4 = 0 (X3 dan X4 berpengaruh terhadap Y) H1 : Ada βi ≠ 0 (Paling tidak salah satu dari X3 dan X4 (i=3,4) berpengaruh terhadap Y)

JUMLAH KUADRAT REGRESI SEKUENSIAL Hazmira YozzaYozza-Jur Jur.. Matematika FMIPA Univ. Andalas

Penyekatan Keragaman

JUMLAH KUADRAT TOTAL (JKT)

(Y 'Y − nY ) 2

JUMLAH KUADRAT REGRESI (JKR)

(b' X 'Y − nY ) 2

JUMLAH KUADRAT SISAAN (JKS)

(Y ' Y − b' X ' Y )

JKR akan selalu bertambah jika suatu peubah ditambahkan lagi ke dalam sebuah model, paling tidak, tidak berkurang Hazmira YozzaYozza-Jur Jur.. Matematika FMIPA Univ. Andalas


X1 masuk model X2 ditambahkan. Dalam model terdapat X1 dan X2

JKR JKR(X1)

≤

JK SEKUENSIAL

JKR JKR(X1,X2)

≤ X3 ditambahkan. Dalam model terdapat X1, X2 dan X3

JKR(X2|X1)= JKR(X1,X2)--JKR(X1) JKR(X1,X2) JKR(X1,X2)--JKR(X1) JKR(X1,X2)

JKR(X3|X1,X2)= JKR(X1,X2,X3)--JKR(X1,X2) JKR(X1,X2,X3) JKR(X1,X2,X3)--JKR(X1,X2) JKR(X1,X2,X3)

JKR(X1,X2,X3)

JUMLAH KUADRAT TAMBAHAN AKIBAT MASUKNYA X3 X2 KE DALAM KE DALAM MODEL MODEL YANG YANG TELAH TELAH MENGANDUNG MENGANDUNG X1&X2 X1



X1 masuk model

JKR JKR(X1) JKR(X2,X3|X1)= JKR(X1,X2,X3)--JKR(X1) JKR(X1,X2,X3)

X2 ditambahkan. Dalam model terdapat X1 dan X2

JKR JKR(X1,X2)

X3 ditambahkan. Dalam model terdapat X1, X2 dan X3

JKR(X1,X2,X3)

JKR(X1,X2,X3)--JKR(X1) JKR(X1,X2,X3)

JUMLAH KUADRAT TAMBAHAN AKIBAT MASUKNYA X2 DAN X3 KE DALAM MODEL YANG TELAH MENGANDUNG X1


Peubah dlm model

Contoh JKR

X1

79.35

X2

22.31

X3

632.73

X4

102.33

X1,X2

128.73

X1,X3

650.51

X1,X4

211.31

X2,X3

634.43

X2,X4

122.77

X3,X4

632.73

X1,X2,X3

656.57

X1,X2,X4

262.39

X1,X3,X4

652.31

X2,X3,X4

634.43

X1,X2,X3,X4

658.37

JKR(X3|X1) = JKR(X1,X3) JKR(X1,X3)--JKR(X1) = 650.51650.51-79.35=571.16 JKR(X4|X1,X2) = JKR(X1,X2,X4)JKR(X1,X2,X4)-JKR(X1,X2) = 262.39262.39-128.73=133.66

JK TAMBAHAN AKIBAT MASUKNYA X4 X3 KE DALAM MODEL YANG TELAH MENGANDUNG X1 DAN X2


Pengujian Beberapa Parameter Regresi

Misal ingin diuji, apakah secara bersama-sama menambahkan peubah X3 dan X4 berpengaruh dalam menerangkan keragaman Y

Hipotesis H0 : β3 = β4 = 0 H1 : Ada βi ≠ 0 (i=3,4)

(X3 dan X4 berpengaruh terhadap Y) (Paling tidak salah satu dari X3 dan X4 berpengaruh terhadap Y)

Statistik Uji JKR ( X 3, X 4 | X 1, X 2) / db ( JKR ( X 1, X 2, X 3, X 4) − JKR ( X 1, X 2) ) / db F= = KTS KTS db

: derajat bebas dari JKR sekuensial

KTS : KTS dari model yang mengandung peubah X1,X2,X3,X4 (model penuh) www.themegallery.com

Company Logo

Pengujian Beberapa Parameter Regresi Peubah

JKR

Statistik Uji

X1

79.35

( JKR ( X 1, X 2, X 3, X 4) − JKR ( X 1, X 2) ) / db F=

X2

22.31

X3

632.73

X4

102.33

X1,X2

128.73

X1,X3

650.51

X1,X4

211.31

X2,X3

634.43

X2,X4

122.77

X3,X4

632.73

X1,X2,X3

656.57

X1,X2,X4

262.39

X1,X3,X4

652.31

X2,X3,X4

634.43

X1,X2,X3,X4

658.37

KTS

=

(658 .37 − 128 .73 ) / 2 7 . 423

= 35 . 67

db = 2 JKS = JKT – JKR = 851.38 – 658.37 = 193.01 KTS = JKS/(nJKS/(n-p-1) = 193.01/(31 193.01/(31--4-1) = 193.01/26 = 7.423 www.themegallery.com

JKT = 851.38

Company Logo

n = 31

Pengujian Beberapa Parameter Regresi Statistik Uji

( JKR ( X 1, X 2, X 3, X 4) − JKR ( X 1, X 2) ) / db F= = 35.67 KTS

Titik Kritis : F,db,dbs F0.05, 2, 26 = 3.37 Fhit =35.67 > 3.37

→tolak Ho → paling tidak salah satu dari X3 atau X4 berpengaruh terhadap Y

www.themegallery.com

Company Logo

Y = β0 + β1

X1 + β2 X2 + …+ βk

Xk

ANREG BIASA → PEUBAH BEBAS DAN TAK BEBAS : PEUBAH SELANG ATAU RASIO

?

PEUBAH BEBAS atau TAK BEBAS bukan PEUBAH SELANG ATAU RASIO tapi PEUBAH KATEGORIK PEUBAH TAK BEBAS KATEGORIK KATEGORIK: KATEGORIK: ANALISIS REGRESI LOGISTIK


ANALISIS REGRESI dengan PEUBAH KATEGORIK

PEUBAH BEBAS KATEGORIK Y : denyut nadi setelah lari X1 : lama lari, lari, X2 : usia . X3 : jenis kelamin

ANALISIS REGRESI dengan PEUBAH KATEGORIK •Sama dengan analisis regresi biasa •Peubah Kategori ditransformasi menjadi Peubah Boneka (Dummy Variable)


Satu peubah Kategorik dengan Dua Kategori (tanpa interaksi)

• Misal ingin dimodelkan hubungan antara Y dengan X1 dan X2; X2 merupakan peubah kategorik dengan dua kategori (seperti Jenis Kelamin : L/P) • Pada prinsipnya, prinsipnya, analisis yang dilakukan sama dengan analisis regresi biasa • Peubah yang bukan selang atau rasio ditransformasi menjadi peubah boneka (dummy variables) z = 0 untuk kategori 1 z = 1 untuk kategori 2 • Selanjutnya lakukan analisis regresi linier biasa • Model

y i = β 0 + β1 x i + β 2 z i + ε i Hazmira YozzaYozza-Jur Jur.. Matematika FMIPA Univ. Andalas

Satu peubah Kategorik dengan Dua Kategori

X

=

              

1 1 1 :

x 11 x 12 x 13 :

1 1 : : 1

x x

1 n

1 ( n

1

: : x

1 n

0 0 0 : 1

+ 1 )

0 1 1 : 1

              

    Kategori        Kategori  

pertama

kedua


MATRIKS RANCANGAN

DATA Y

X1

X2

Z 0 0

1

2

A

3

-1

A

2

2

B

-1

-3

A

0

0

B

2

2

B

1 1

1

3

B

1

1 0

1 2 1 − 1  1 2  X = 1 − 3 1 0  1 2 1 3 


0 0  1  0 1  1 1 


  n  n  ' X X = ∑ x1i  i=1  n  2 

n

∑x

1i

i =1 n

∑x

2 1i

i =1 n

∑x

1i

i =n1 +1

 n2   n  x1i  ∑ i =n1 +1   n2  



 n   ∑ yi   ni =1    ' X Y =  ∑ x1 i y i  i =1  n   ∑ yi   i = n1 + 1  Hazmira YozzaYozza-Jur Jur.. Matematika FMIPA Univ. Andalas

Interpretasi yˆ i = β 0 + β1 xi + β 2 zi Z=0 Z=1

Kategori 2 (z = 1)

yî = (β0 + β 2 ) + β1 xi

yˆ i = β 0 + β1 xi yˆ i = β 0 + β1 xi + β 2 = ( β 0 + β 2 ) + β1 xi

Kategori 1 (z = 0)

β0 + β2   β2    β0

  β2   

yˆ i = β 0 + β1 xi

x0

Jadi β2 adalah perbedaan respons Y dari dua pengamatan yang berbeda kategori namun memiliki nilai X1 yang sama www.themegallery.com

Company Logo

Satu peubah Kategorik dengan Lebih dari dua Kategori

• Y = f(X1,X2) ; X2 peubah kategorik dengan > 2 kategori (Contoh tingkat pendidikan : TS, SD, SMP, SMA, PT) • Analisis sama dengan analisis regresi biasa • X2 dengan m kategori) kategori) ditransformasi menjadi (m(m-1) peubah boneka,, Z1, Z2, …, Zmboneka Zm-1 Kategori

Z1

Z2

Z3

Kategori

Z1

Z2

Z3

A

0

0

0

A

0

1

0

B

1

0

0

B

0

0

0

C

0

1

0

C

1

0

0

D

0

0

1

D

0

0

1

Model : Y = β0 + β1 X1 + β2 Z1 + β3 Z2 + β4 Z3 + ε Selanjutnya analisis seperti biasa

Kat

Z1

Z2

Z3

Y = β0 + β1 X1 + β2 Z1

+ β3 Z2 + β4 Z3

A

0

0

0

Y = β0 + β1 X1

B

1

0

0

Y = β0 + β1 X1 + β2 = (β0 + β2) + β1 X1

C

0

1

0

Y = β0 + β1 X1 + β3 = (β0 + β3) + β1 X1

D

0

0

1

Y = β0 + β1 X1 + β4 = (β0 + β4) + β1 X1

yî =(β0 + β3 ) + β1xi

Kat. 3 (z = 2)

yî =(β0 + β2 ) + β1xi

Kat. 2 (z = 1)

yˆ i = ( β 0 + β 3 ) + β1 xi

β0 + β4 β0 + β3 β0 + β2

β0

yˆ i = β 0 + β1 xi

Kat. 1 (z = 0)

LOGO

LOGO ANALISIS REGRESI LINIER

Recommend Documents