STATISTICAL STUDENT OF IST AKPRIND

SSI STATISTICAL STUDENT OF IST AKPRIND Sekretariat : Jln. Bimasakti No:3 Pengok Yogyakarta 55222 Tlp. (0274) 544504 E-mail : [email protected] Blog : http://ssista.wordpress.com/

Analisis Regresi Lisensi Dokumen: Copyright © 2010 ssista.wordpress.com Seluruh dokumen di ssista.wordpress.com dapat digunakan dan disebarkan secara bebas untuk tujuan bukan komersial (nonprofit), dengan syarat tidak menghapus atau merubah atribut penulis dan pernyataan copyright yang disertakan dalam setiap dokumen. Tidak diperbolehkan melakukan penulisan ulang, kecuali mendapatkan ijin terlebih dahulu dari ssista.wordpress.com.

I.

Analisa Regresi Linier Sederhana Dalam beberapa masalah terdapat dua atau lebih variabel yang hubungannya tidak dapat dipisahkan, dan hal ini diselidiki sifat hubungannya. Jika salah satu variabel (tunggal) dikatakan variabel tak bebas(terikat), maka variabel lainnya bersifat bebas (independent). Analisa regresi adalah sebuah teknik statistik untuk membuat model dan menyelidiki hubungan antara dua atau lebih variabel yang dimaksud diatas. Model ini untuk memprediksi variabel tersebut. Pada umumnya, variabel tak bebas (dependent) dinyatakan dengan Y sebagai variabel respon. Jika ada sebanyak k-variabel bebas (independent) misalnya X1, X2, …, Xk maka kvariabel ini disebut variabel prediktor. Persamaan garis regresi yang dibentuk adalah:

Y = α + β1X1 +β 2 X 2 + .....+β k X k + ε

, dikatakan sebagai

persamaanregresi linier

ganda. Jika variabel prediktornya hanya satu persamaannya menjadi Y = α + β X + ε , disebut persamaan regresi linier sederhana. Dalam regresi linier, untuk setiap pasangan observasi (x i , yi ); i = 1, 2,..., n akan memenuhi persamaan yi = a + bx i + ei ; dimana ei adalah galat/eror atau kesalahan ukur. Persamaan garis yang melalui titik–titik koordinat pada diagram pencar dinamakan penduga garis linier atau regresi linier. Secara matematis dinyatakan dengan persamaan

:

yˆ = a + bx , dimana: 1 http://ssista.wordpress.com/

Please purchase 'e-PDF Converter and Creator' on http://www.e-pdfconverter.com to remove this message.


n ∑ x i yi - ∑ x i ∑ y i ∑ yi ∑ x i - ∑ x i ∑ yi dan b= 2 2 2 n ∑ xi - ( ∑ xi ) n ∑ x i - ( ∑ x i )2 2

a=

Dalam perkenbangannya, sejalan dengan kemajuan dibidang komputer statistik, analisis regresi telah menjadi sangat bervariasi: •

Regresi sederhana, untuk sebuah variabel dependent dan satu buah variabel independent.

•

Regresi berganda, untuk lebih dari satu variabel independent an satu variabel dependent.

•

Regresi dengan Dummy variabel, yaitu jika data variabel independent ada yang bertipe nominal.

II.

•

Regresi ordinal, untuk data variabel dependent yang berjenis ordinal.

•

Log regresion, untuk data variabel dependent yang berjenis nominal.

•

Regresi polinomial, yaitu model regresi yang tidak berbebntuk linier.

Analisa Regresi Linier Berganda

Analisis regresi linier berganda adalah suatu metode statistik umum yang digunakan untuk meneliti hubungan antara sebuah variable dependen dengan beberapa variable independen. Tujuan analisis berganda adalah menggunakan nilai-nilai variable independen yang diketahui untuk meramalkan nilai variable dependen. Bentuk regresi linier berganda diilustrsikan dalam bagan berikut :

Y1

X11 X22 ... ... ... ... X1k

Y2

X21 X22 ... ... ... ... X2k

.

..

...

...

.

..

...

...

Yn

Xn1 Xn2 ... ... ... ... Xnk

2 http://ssista.wordpress.com/



Jika suatu variable dependen bergantung pada lebih dari satu variable independen, maka hubungan antara keduanya adalah Regresi Berganda (multiple regression). Misalnya, tingkat penjumlahan produk sebagai fugsi dari promosi, pelayanan, dan harga produksi. Gaji sekarang merupakan fungsi dari gaji mula-mula, tingkat pendidikan, posisi pekerjaan, dan pengalaman kerja. Bentuk matematis dari analisis linier berganda adalah : Y = β 0 + β 1 X1 + β 2 X2 + …..+ β k Xk + ε Dengan :

β

0, β 1, β 2 ……, β k adalah

koefisien regresi

X1,X2………………… Xk adalah variable independen

ε adalah suatu variable random yang berdistribusi normal dengan nilai rata-rata (rata-rata ε ) dan merupakan Varians ε . 1. Pengujian Kelinieran Model

Pengujian ini digunakan untuk mengetahui apakah ada hubungan linier antara variabel dependen (Y) dengan variable independen X1,X2,X3……… Xk. hipotesis yang digunakan adalah : H0 : b1 = b2 … = bk = 0 (model regresi berganda tidak signifikan, atau tidak ada hubungan antara kedua variabel). H1 : bi ≠ 0 (model regresi berganda signifikan, atau ada hubungan linier antara kedua variabel) Hipotesis diatas dikaitkan dengan uji nyata regresi yang diperoleh, maka sttistik uji yang digunakan adalah : Fhit =

MSregresi MSresidual

Pengambilan keputusan sebagai berikut : Bila : Fhit > Ftabel tolah H0 Fhit < Ftabel terima H0 3 http://ssista.wordpress.com/



Bila kita menggunakan software SPSS, maka pengambilan keputusan sebagai berikut : Nilai Sig. < α tolak H0 Nilai Sig. ≥ α terima H0 2. Hipotesis dan Pengujian Koefisien Regresi Parsial

Hipotesisnya sebagai berikut : H0 : b1 = b2 … = bk = 0 (model regresi berganda tidak signifikan, atau tidak ada hubungan antara kedua variabel). a. H1 : bi ≠ 0 (ada hubungan linier antara variabel independen dan dependen) b. H1 : bi > 0 (ada hubungan linier antara variabel independen dan dependen secara positif) c. H1 : bi < 0 d. (ada hubungan linier antara variabel independen dan dependen secara negatif) Selain uji diatas, kita masih menguji nilai koefisien dari nilai b hasil prediksi nilai

β yang diperoleh dari sample. Dengan hipotesisnya adalah : H0 : b = β (koefisien regresi tidak signifikan) H0 : b ≠ β (koefisien regresi signifikan) Pengambilan Keputusan pada pengujian hipotesis dilakukan sebagai berikut : 1. Kalau thit < -t α /2 atau thit > t α /2

/2

kesimpulannya H0 ditola. Kalau -t α

kesimpulan terima H0. Nilai t α

/2

/2

≤ thit ≤ t α

diperoleh dari tabel t dengan nilai α

/2

pada

derajat bebas n – 2 dimana α /2 adalah taraf nyata. 2. Kalau thit > t α kesimpulannya H0 ditolak. Kalau thit ≤ t α kesimpulannya terima H0. 3. Kalau thit < -t α kesimpulan H0 ditolak, sedangkan thit ≥ -t α kesimpulannya terima H0. 3. Multiple Regression Dengan formulasi matrik




Dengan notsi mtriks analisis regresi berganda dapat ditulis sebagai : Y=XB+ ε Y1  Y   2 Y=   B=     Yn   

β o  β   1 .  ε =   .  β k   

1 X 11 X 21 ε 1  ε  1 X 12 X 22  2 .  X =   .  ε k  1 X 1n X 2 n  

X k1 X k2

X kn

Asumsi 1. E (Si) = 0 nilai harapan untuk seti variabel pengganggu = 0  E (ε 1 )   E (ε ) 2   =      E (ε i ) 

0  0   =0     0 

2. E( ε i. ε j) = 0, i ≠ j E ( ε i2) = ∂ 2 3. Matrik X merupakan rank k
4. Pendugaan Koefisien Regresi (Metode Blue) b1  b  b =  2  Y = xb + e = e = Y – xb     bn  e1   y1  1 x11 x 21 x31 e   y   2  =  2  - 1 x12 x 22 x32         en   y n  1 x1n x 2 n x3n e ei

y

x

x k1 b0  x k 2 b1      x kn bk 

b

= yi – b0 – b1x11 – b2x22........bk.xki




Σ ei = Σ (yi – b0 – b1x1i – b2x2i…….bkxki)2 ∂Σei 2 = 2. Σ (yi – b0 – b1x1i – b2x2i…….bkxki) (-1) ∂b0 ∂Σei 2 = 2. Σ (yi – b0 – b1x1i – b2x2i…….bkxki) (-x1i) ∂b1 ∂Σei 2 = 2. Σ (yi – b0 – b1x1i – b2x2i…….bkxki) (-xki) ∂bbk Disederhnakan n b0 + b1 Σ x1i + b2 Σ x2i + ………. + bk Σ ki = Σ yi b0 Σ x1i + b1 Σ x1i + b2 Σ x1i x2i + …….. + bk Σ x1ixk = Σ x1iyi b0 Σ xki + b1x1i xki + b2 Σ x2ixki + ……. + bk Σ x2ki = Σ xkiyi b = (x’x)-1x’y nb0 + b1 Σ x1 + b2 Σ x2 = Σ yi b0 Σ x1 + b1 Σ x12 + b2 Σ x1x2 = Σ x1y b0 Σ x2 + b1 Σ x1x2 + b2 Σ x22 = Σ x2y b0 = y - b1 x1 - b2 x 2 var (b) = ∂ 2(x’x)-1 var (b) = s2b = s2e (x’x)-1 Se 2 =

Σei 2 n − k −1

n = jumlah observasi k = dalam variabel bebas

contoh : x1 = index pendapatan nasional x2 = index harga impor suatu komoditi y = idex impor suatu komoditi X1 100

104

106

111

111

115

120

124

126

X2 100

99

110

126

113

103

102

103

98

Y

106

107

120

110

116

123

133

137

100




Σ

x1 : 1017

Σ

x2 : 954

Σ y : 1052

Σ x12 : 115571 Σ x22 : 124288 Σ x1y : 119750

Σ x2y : 111433 Σ x1x2: 107690 Pertanyaan : carilah persamaan regresi linier berganda yˆ = b0 + b1 x1 + b2 x2 + e Penyelesaian : Dengan b0 = -49.341, b1 = 1, 364, b2 = 0, 114 Maka : yˆ = -49.341 + 1, 364 x1 + 0, 114 x2 (24,061)

(0,143)

(0,143)

Sb0

Sb1

Sb2

Hipotesis : H0 : β 1 = 0 H1 : β 1 ≠ 0 thit =

1,364 = 9,5385 0,143

α = 5% t 0,025 (9-2-1) = 2,447 (tabel t) thit > ttabel

maka kesimpulannya H0 ditolak. Berarti ada hubungan antara index

pendapatan suatu negara dengan index harga impor.

5. Koefisien determinasi Berganda R2y. x1x2 = 1 – JKgalat (n − 1) S 2 y n

JK galat =

∑(y i =1

i

− yˆ i ) 2




n

n

n

n

i =1

i =1

i =1

i =1

∑ yi 2 − bo ∑ yi − b1 ∑ x11 yi − b2 ∑ x2i yi

JK galat = Contoh :

Nilai mahasiswa dipengaruhi oleh frekuensi membolos dan nilai ujian. Σ x1 : 725

Σ x2y : 3581

Σ x12 : 44475

Σ x1x2 : 2540

Σ x1y : 61685

Σy

: 1011

Σ x2 : 43

Σ y2

: 85905

x22

: 195

n

: 12

carilah R2 determinasinya. penyelesaian : 2

s2 y =

(Σy i ) 2 (1011) 2 85905 − n 12 = n −1 11

Σy i −

s2y = 66,2045 JK galat =

n

n

n

n

i =1

i =1

i =1

i =1

∑ yi 2 − bo ∑ yi − b1 ∑ x11 yi − b2 ∑ x2i yi

= 85905 – 27.547.1011 – 0,922.61685 – 0,284.3581 = 164.409

164.409 R2y. x1x2 = 1 – JKgalat2 = 1 − (11)66,045 (n − 1) S y = 0,7742 artinya 77,42 % total keragaman y dapat dijelaskan oleh model

yˆ = 27.547 + 0,922 x1 + 0,284x2 6. Koefisien Korelasi Parsial ryx2.x 1 variabel kontrol




ryx2 .x1 =

ryx2 − ryxi .ry 2 x1 (1 − r 2 yxi )(1 − r 2 x 2 x1 )

contoh : diketahui : misalnya y : berat bayi x1: pajang bayi x2 : ukuran dada bayi ryx1y : 0,2627 rx1x2 : 0,1549 rx2y : 0,7845 r2yx1 : 0,0690 r2yx2 : 0,0240 ryx2 .x1 =

ryx2 − ryxi .ry 2 x1 (1 − r yxi )(1 − r x 2 x1 ) 2

2

=

=

0,7845.0,2627.0,1540 (1 − 0,0690)(1 − 0,0240)

0,7438 = 0,7803 0,9532

contoh :

Misalnya ada contoh acak dan pengamatan dengan k buah nilai yang berbeda, yaitu x1,x2,.........xk Misalkan ada n1 pengamatan untuk x = x1 n2 pengamatan untuk x = x2 nk pengamatan untuk x = xk k

k buah nilai yang berbentuk yaitu x1,x2,.........xk n = ∑ ni i =1

yij : nilai k-j bagi peubah acak yi yi : jumlah nilai-nilai dalam contoh




λi 2 Fhit =

λi 2

λ = Σyij 2

(Σy ij ) yi − − b 2 (n − 1) s 2 x ~ Ftabel (k-2),(n-k) dimana λ = Σ nj n 2

2

( k − 2)

2

(n − k ) 2

2

y −Σ i nj

H0 : garis regresi linier Hi : garis regresi tidak linier Contoh :

Hubungan antara skor test (x) dengan nilai (y) X:

50

55

65

55

70

65

70

55

70

50

55

Y:

74

76

90

85

87

94

98

91

91

76

74

x1 : 50

n1 : 2

y1 : 150

x2 : 55

n2 : 4

y2 : 316

x3 : 65

n3 : 3

y3 : 269

x4 : 70

n4 : 3

y4 : 276

269 2

276 2  10112

 150 2

316 2

 − λ2 =  + + + − (0,897) 2 (11)(61,174) = 8,1506 4 3 3  12  2

λ 2 2 = Σy ij 2 − Σ y i 2 n j = 852+....+742 – (150 2 2 + 316 2 4 + 269 2 3 + 276 2 3) = 178,6667 Fhit =

8,1506 (4 − 2) = 0,1825 178,6667 (12 − 4)

Ftabel = F0,05 (2,8)

Kesimpulannya : Karena Fhit < Ftabel maka H0 diterima, artinya garis regresinya linier 7. Pemeriksan sisaan

Tujuan pemeriksan sisaan adalah :




Untuk memeriksa apakah asumsi regresi itu dipenuhi dan apakah ada data yang tidak mengikuti pola umum. Plot. 1. Plot sisaan menurut besarnya • •

X

xxx x x x xxx X X X X X X

xxxxxx

•

x xxxxx

•

x xx xxx xxx

x sisaan

2. Plot sisaan menurut pengambilan “waktu” 3. Plot sisaan dengan yˆ i 4. Plot sisaan terhadap s i 5. Plot sisaan menurut setiap cara yang wajar sesuai dengan masalah yang dihadapi. 8. Autokorelasi

Adalah korelasi antara urutan sesama urutan catatan dari waktu ke waktu. Yang sangat terkait denan autokorelasi adalah data yang berhubungan dengan waktu, misalnya data tentang ekspor dan impor Fhit

KTregresi KTsisaan

= . Semakin kecil KTsisaan maka Fhit menjadi besar dan ditolak.

Pengaruh Autokorelasi •

Anggapan ε i ~N(0, ∂ )2 merupakan normal baku

•

KT sisaan yang merupakan penduga ragam lebih kecil dari sesungguhnya, sehingga selang kepecayan yang dihasilkan lebih pendek, akibatnya uji statistik yang tidak signifikan menjadi signifikan.

•

Penduga β merupakan variasi kecil tidak berlaku.

Dalam model : y i = β 0 + β 1 x1 + ε 1 Misal : ε 1 = ρε i −1 + v i 11 http://ssista.wordpress.com/



ρ < 1 vi bebas satu dengan yang lain vi ~ N(0, ∂ 2)

ε i = vi + ρε i −1 = vi + ρ (vi −1 + ρ εi −1 ) = vi + ρvi −1 + ρ 2ε i −1 + ..... + .... ~

∑ρ v t

=

i =0

i −t

~

Jadi :

∑ρ

t

i =0

E ( vi −t ) = 0

Variance- variance dari matrik kesalahan pengganggu  E (ε i 2 ) E (ε 1ε 2 ) .... E (ε i ε n )    2 E (ε 2 ε i ) E (ε i ) .... E (ε 2 ε n )  vc.E (Σ _ Σ T ) =   ....     2 E (ε n )   E (ε n ε i ) E (ε n ε 2 ) E( ε i2) = E (ερ t vi −t ) 2 = E (vi ) + ρ 2 E (vi −1 + ρ 2 v1− 2 + .......) 2 2

= E (vi ) + ρ 2 E (vi −1 ) + ρ 4 vi −1 + ......... 2

= (1 + ρ 2 + ρ 4 + .....)∂ 2 v =

∂2 = ∂e 2 2 1− ρ

Jika s = 1 + ρ 2 + ρ 4 + ....

ρ 2 s = ρ 2 + ρ 4 + ρ 8 + ........ dan s − ρ 2 s = (1 + ρ 2 + ρ 4 + .....) − ( ρ 2 + ρ 4 + ρ 8 + .......) = 1 jadi : s − ρ 2 s = (1 − ρ 2 ) s = 1




sehingga : s =

1 1− ρ 2

 1  2 jadi : E (ΣΣT ) = ∂  ρ ~~~  ρ n −1 

ρ 1

ρ n−2

ρ2 ρ ρ n −3

ρ n −1   ρ n− 2  1 

9. Peemeriksaan Autokorelasi

1. Autokorelasi Positif H0 : ρ = 0 H1 : ρ > 0 •

d > du H0 diterima

•

d < dl H0 ditolak

•

dl ≤ du tidak dapat disimpulkan

2. Autokorelasi Negatif H0 : ρ = 0 H1 : ρ < 0 •

(4-d) > du H0 diterima

•

(4-d) < dl H0 ditolak

•

dl ≤ (4-d) ≤ du tidak dapat disimpulkan

3. H0 : ρ = 0 H1 : ρ ≠ 0 •

Jika d > dl atau 4-d < dl H0 ditolak

•

Jika d > du atau 4-d > du H0 diterima

•

Selainyya tidak dapat didefenisikan

Taraf nyata 2 α , du dan dl dari tabel Contoh : Dik : yˆ = 20,8545 + 1,9419 xt : Σ xt

= 83 13 http://ssista.wordpress.com/



: Σ yt

= 515,7

: Σ xt2

= 463

: Σ xtyt

= 2630

: Σ et2

= 42,140

: Σ e2t-1

= 41,86

: Σ (et-et-1)2

= 23,491

: Σ et.et-1

= 29,969

ujilah apakah ada uji auto korelasi positif? n

d=

∑ (e t −2

t

− et −1 ) 2

Σet

2

=

23,491 = 0,5575 42,140

H0 : ρ = 0

α : 5%

dl : 1,13

H1 : ρ > 0

k=1

du : 1,38

d : 0,5575

n

k =1

15

dl

du

1,3

1,38

16 17

d > du d < dl ya kesimpulan tolah H0 ada hubungan Autokorelasi positif. 10. Prosedur Iterasi




y = β 0 + β 1 x1 + ε i

ε i = ρε i −1 + v i , maka y i = β 0 + β 1 x1 + ε i menjadi... y i = β 0 + β 1 x1 + ρε i −1 +v i ε i −1 = y i −1 − β 0 − β 1 x1−1 y i = β 0 + β 1 x1 + ρ ( y i −1 − β 0 − β 1 x1−1 ) + v1 ( y i − ρy i −1 ) = ( β 0 − ρβ 0 ) + β i ( x i − ρx i −1 ) + v i y i ' = β 0 '+ β 1 x1 + vi

i = 2,3,......n

β 0 ' = β 0 − ρβ 0 y i ' = y i − ρy i −1 xi ' = xi − ρxi −1

E (vi ) = 0, E (vi ) = ∂ 2 e 2

dan...E (vi − vi −1 ) = 0

untuk semua

sisa ei digunakan untuk memperkirakan autokorelasi ρ untuk auto regresi tingkat

Σe e pertama ρˆ = i i −1 , Σei −1

xi = xi − ρˆxi −1 2

y i = y i − ρˆy i −1 2

11. Kolinearitas

Penyebabnya : 1. Hubungan dalam satu fariabel hampir sempurna 2. Suatu faktor dukur labih dari satu kali, dalam inci maupun meter. 3. Terlalu banyak variabel bebas yang kita masukkan meskipun model tersebut sdah jenuh. Akibat Kolinieritas Dua peubah atau lebih dalam satu regresi, maka penduga koefisien dari peubah yang bersangkutan tidak lagi tunggal, melainkan tak tehingga, sehingga tidak mungkin lagi kita menafsirkan. Misalkan : x1,x2 merupakan hubungan x2 = kx1, k, bilangan konstanta




x1 x2 y

x11 x 21 y1

x12 x 22 y2

... x1n ... x 2 n ... y n

Metode kuadrat terkecil tidak dapat menghasilkan penduga b0,b1,...bk yang BLUE karena r(x’x)
1 x12 x 22

 n  =  Σ x11  Σ x 21

... 1  ... x 1n  ... x 2 n 

Σ x11 2 Σ x11 Σ x11 x 21

1 x11 1 x 12  1 x1n

x 21  x 22  x 2 n 

Σ x 21  Σ x11 x 21  2 Σ x 21 

b2 x k  n (x’x) = k .Σx11   Σx 21

Σx11 2 k .Σx11 k .Σx11 x 21

Σx 21  k .Σx11 x12  2 Σx 21 

x2 = kx11  n (x’x) = k .Σx11  k .Σx11

Σx11 k .Σx11 2 kΣx11

2

k .Σx11  2 k 2 .Σx11  2 k 2 Σx11 

b3 - b2  n (x’x) = k .Σx11   0

Σx11 2 k .Σx11 0

k .Σx11  2 k 2 Σx11  0 



STATISTICAL STUDENT OF IST AKPRIND

Recommend Documents