REGRESI LINEAR SEDERHANA

REGRESI LINEAR SEDERHANA

MODUL

1

Dra. Sri Pangesti, S.U.



PENDAHULUAN

 nalisis regresi merupakan analisis statistik yang mempelajari hubungan antara

A

dua variabel atau lebih. Dalam analisis regresi linear diasumsikan berlakunya bentuk hubungan linear dalam parameter. Modul regresi linear yang paling sederhana adalah regresi linear dengan satu variabel bebas (independent variable). Pokok bahasan dalam modul ini terdiri atas dua kegiatan belajar, pertama, tentang regresi linear dengan satu variabel bebas dan kedua, tentang inferensi dalam analisis regresi. Pada Kegiatan Belajar 1, Anda akan mempelajari penaksiran (estimasi) fungsi regresi dan variansi suku sesatan  2  dengan distribusi suku sesatan belum ditentukan (diasumsikan). Pada Kegiatan Belajar 2, Anda akan mempelajari inferensi pada model regresi dengan suku sesatan berdistribusi normal. Setelah mempelajari modul ini, secara umum Anda diharapkan dapat memahami dasar-dasar pemikiran dalam analisis regresi dan dapat melakukan inferensi model regresi linear sederhana secara tepat. Secara khusus, Anda diharapkan dapat: 1. menentukan penaksir parameter model regresi dengan metode kuadrat terkecil, 2. menentukan penaksir parameter model regresi dengan metode maksimum likelihood, 3. menentukan selang kepercayaan untuk parameter model regresi, 4. menghitung koefisien korelasi dan determinasi, 5. melakukan analisis regresi dengan pendekatan analisis variansi.

1.1

Kegiatan Belajar 1

Regresi Linear dengan Satu Variabel Bebas

A

nalisis regresi adalah analisis statistik yang mempelajari hubungan antara dua atau lebih variabel kuantitatif sehingga satu variabel dapat diramalkan (predicted) dari variabel lainnya. Hubungan antara dua variabel dapat dibedakan menjadi dua, yaitu hubungan fungsional dan hubungan statistik. Hubungan fungsional antara dua variabel dapat dinyatakan secara matematis; jika X variabel bebas (indenpendent variable) dan Y variabel tak bebas (dependent variable), hubungan fungsional ditulis dalam bentuk

Y  f X Jika diketahui nilai X tertentu, fungsi f akan memberikan nilai Y yang bersesuaian. Contoh 1.1 Misalkan Y = total nilai penjualan suatu produk (dalam ribuan rupiah) dan X = jumlah unit produk yang terjual. Jika harga jual Rp 5.000,00 per unit produk maka hubungan antara Y dan X dapat dinyatakan dalam Gambar 1.1. Y 150

Y=5X 100

50

10

20

Gambar 1.1.

1.2

X

SATS4312/MODUL 1

Hubungan statistik antara dua variabel tidak sempurna. Pada umumnya pada hubungan statistik, pengamatan tidak tepat jatuh pada kurve hubungan. Contoh 1.2 Jika hubungan antara X yang menyatakan usia (dalam tahun) dan Y yang menyatakan tingkat steroid dinyatakan dalam Gambar 1.2. Y

30 25 20 15 10 5 0

10

15

20

25

X

Gambar 1.2.

Model regresi secara formal menyatakan dua hal tentang hubungan statistik, yaitu: kecenderungan variabel tak bebas Y  berubah-ubah terhadap variabel bebas  X  dalam bentuk yang sistematik dan tersebarnya titik-titik di sekitar kurve hubungan statistik. Kedua hal tersebut dinyatakan dalam suatu model regresi yaitu: untuk setiap nilai X terdapat distribusi probabilitas dari Y dan mean dari distribusi probabilitas Y berubahubah secara sistematik terhadap perubahan nilai X .

Model Regresi Linear Sederhana Model regresi dengan satu variabel bebas X dapat ditulis dalam bentuk Yi   0  1 X i   i

, i  1, 2,

n

dengan Yi

: nilai variabel tak bebas dalam trial ke-i,  0 , 1 : parameter, Xi : konstanta yang diketahui nilainya, yakni nilai variabel bebas dalam trial ke-i, i : suku sesatan random dengan E  i   0 ,   i ,  j    2 ,  i dan

 j tidak berkorelasi, kovariansi   i ,  j   0 untuk semua i, j, i  j

1.3

Model Linear Terapan

Sifat-sifat dari Model Regresi 1. Yi merupakan jumlah dari dua komponen, yaitu suku konstan  0  1 X i dan suku random  i . 2. Karena E  i   0 maka E Yi   E  0  1 X i  i   0  1 X i . Hal ini berarti distribusi

dari

E Yi   0  1 X i

Yi

pada tingkat

X

dalam trial

ke-i

mempunyai

mean

3. Nilai pengamatan Y pada trial ke-i jatuh pada jarak  i dari nilai fungsi regresinya

 E Y  atau Y  E Y    . i

i

i

i

4. Suku sesatan   i  diasumsikan mempunyai variansi konstan  2  . Oleh karena itu,

 2 Yi    2 . 5. Suku sesatan diasumsikan tidak berkorelasi. Karena  i dan  j tidak berkorelasi untuk

i  j , maka Yi dan Y j tidak berkorelasi. Contoh 1.3 Diketahui model regresi Yi  9,5  2,1 X   i . Misalkan dalam trial ke-i diperoleh nilai-nilai X i  45 , Yi  108 , dan suku sesatan  i  4 maka E Yi   9,5  2,1 45  104

dan Yi  104  4  108 . Visual model regresi tersebut dapat dilihat pada Gambar 1.3 berikut. Y

Yi  108 i  4 E (Yi )  104 E (Yi )  9,5  2,1 X i

0

25

45

X

Gambar 1.3.

Model regresi linear sederhana Yi   0  1 X i   i dapat ditulis dalam bentuk lain Yi   0 X 0  1 X i   i dengan X 0  1 . Model ini dapat kita ubah menjadi:

Yi   0  1  X i  X   1 X      0  1 X   1  X i  X      0*  1  X i  X    i Jadi model regresi alternatif Yi  0*  1  X i  X    i dengan  0*   0  1 X

1.4

SATS4312/MODUL 1

Penaksiran Fungsi Regresi Untuk mendapatkan penaksir yang baik bagi parameter regresi  0 dan 1  dapat digunakan metode kuadrat terkecil. Untuk setiap pasangan pengamatan  Xi , Yi  , i  1, 2, n pandang nilai simpangan Yi terhadap E Yi  , yaitu:

Yi  E Yi   Yi   0  0 X i  Jumlah kuadrat dari n simpangan ini ditulis dengan notasi Q, yakni n

Q

 Y   i

 1 X i 

0

2

i 1

Penaksir b0 dan b1 diperoleh dengan mendeferensialkan Q terhadap  0 dan 1 .

meminimumkan

Q,

yaitu

dengan

Q  2 Yi   0  1 X i   0 i 1 n



Q  2 X i Yi   0  1 X i  1 i 1 n



Selanjutnya masing-masing persamaan kita samakan dengan nol serta mengganti  0 dengan b0 dan 1 dengan b1 . n

n

Y  nb  b  X i

0

1

i 1 n



i

0

i 1

n

X iYi  b0

i 1



n

X i  b1

i 1

X

2 i

0

i 1

Kedua persamaan ini kita sebut sebagai persamaan normal. Penyelesaian persamaan normal untuk b1 dan b0 adalah n

n

XY 

n

 Y Xi

i 1

i i

b1 

n

 i 1

i

n

 Xi  i 1  n n



  X  X Y  Y  i

n

i 1

  2 X 

i

i 1

 2

i

i 1

n

 X  X 

2

i

i 1

1.5

Model Linear Terapan

1 b0   n

n





n

Yi  b1

i 1

 X   Y  b X i

1

i 1

Notasi-notasi berikut dapat dipergunakan untuk menyederhanakan penulisan rumus: n

SYX 

 X

i

n

 X

 X Yi  Y  

i 1

n

i



X i Yi 

S XX 

 X

n

X 

i 1

 SYY 

X Y n X Y i i

 X

i

 X  Xi

i 1

  2 Xi  

2

n

n

n



n

X

n X2

2 i

i 1

 Y  Y    Y  Y  Y 2

i

i

i 1

n



n

i 1



i

i 1

 Xi  i 1   n

n

i

i 1

n



i 1

2

i

i

i 1

i 1 n

 X Y  Y 

n

 X Y

n



 X  Yi 

i

i 1

n



i

i 1

  2 Yi  

i 1

2

 Yi  i 1   n n



n

Y

2

i

n Y2

i 1

Sehingga rumus untuk b1 dapat ditulis dalam bentuk lebih sederhana b1  persamaan regresi taksiran Yˆi  Y  b1  X i  X  . Contoh 1.4 Data berikut menunjukkan jumlah unit yang diproduksi

X

S XY S XX

dan

dan jumlah jam kerja

karyawan Y  . 30 73

X Y

20 50

60 128

80 170

n

Dari data dihitung

X i 1

40 87

50 108

60 135

n

i

 500 ;

X i 1

30 69 n

2 i

 28.400 ;

70 148

60 132 n

 X Y  61.800 ; Y i i

i 1

i

 1.100 ;

i 1

n

Y

i

2

 134.660 ; n  10; X  50; Y  110 . Dengan menggunakan rumus yang ada,

i 1

diperoleh:

1.6

SATS4312/MODUL 1

n

b1 

 X Y i

n



n

X iYi 

i 1

n

i 1

  2 X 

n



i

n

 i 1

 Xi  i 1  n n



i 1

1 b0   n

i

i 1



n

Yi  b1

 2

500 1.100  10 2 2 500   28.400  10

61.800 

 X   10 1.100  2 500  10 1

i

i 1

Sehingga persamaan regresi taksirannya adalah Yˆ  10  2 X , artinya kita taksir rata-rata jam kerja bertambah dengan 2 jam untuk setiap pertambahan 1 unit produk. Untuk model alternatif: Yi  0*  1  X i  X    i dengan  0*   0  1 X , penaksir

kuadrat terkecil untuk b0 adalah b0*  b0  b1 X  Y  b1 X   b1 X  Y . Sehingga

persamaan regresi taksiran untuk model alternatif adalah Yˆ  Y  b1  X  X  . Persamaan regresi taksiran untuk contoh di atas adalah Yˆ  110  2  X  50 .

Residual Kesalahan (residual) ke-i adalah selisih antara nilai pengamatan Yi dengan nilai taksirannya Yˆ , ditulis dengan notasi ei . i

ei  Yi  Yˆi  Yi  b0  b1 X i Kita perlu membedakan antara nilai suku sesatan i  Yi  E Yi  dengan ei  Yi  Yˆi . Residual kita gunakan untuk mempelajari ketepatan model regresi untuk data. Contoh 1.5 Dari Contoh 1.4 telah dihitung persamaan regresi Yˆ  10  2 X . Nilai taksiran Yˆi , ei , dan ei2 dapat diperoleh dengan cara sebagai berikut. Misalkan untuk X1  30 dan Y1  73 , maka diperoleh nilai-nilai Yˆ1  10  2  30  70 , e1  73  70  3 , dan e12  9 . Untuk nilai-nilai X i dan Yi lainnya, diperoleh nilai taksiran Yˆ , ei , dan ei2 sebagai i

berikut.

1.7

Model Linear Terapan

No. 1 2 3 4 5 6 7 8 9 10 Total

Xi

Yˆi

Yi

30 20 60 80 40 50 60 30 70 60 500

73 50 128 170 87 108 135 69 148 132 1.100

ei2

ei

70 50 130 170 90 110 130 70 150 130 1.100

3 0 -2 0 -3 -2 5 -1 -2 2 0

9 0 4 0 9 4 25 1 4 4 60

Sifat-Sifat Garis Regresi Taksiran (Fitted) Persamaan garis regresi yang dihitung dengan metode kuadrat terkecil memenuhi sifat-sifat berikut: n

e  0

1. Jumlah residual sama dengan nol, yakni

i

i 1

Bukti: n

n

  Y  b  b X  ei 

i

i 1

0

1

1

i 1 n





n

Yi  nb0  b1

i 1

X

i

 0 (dari persamaan normal)

i 1

n

e

2 i

2. Jumlah kuadrat residual,

adalah minimum. Hal ini sesuai dengan syarat dalam

i 1

penghitungan penaksir kuadrat terkecil untuk parameter regresi. sama dengan jumlah nilai taksiran Yˆi ,

3. Jumlah nilai observasi Yi n

n

Y Yˆ i

i

i 1

i 1

Bukti: Dari persamaan normal diperoleh n

n

n

n

Y  nb  b  X   b   b X i

0

i 1

i

i 1



1.8

1

0

i 1

n

n

i 1

i 1

 b0  b1 X i   Yˆi

1

i 1

i

yakni

SATS4312/MODUL 1

4. Jumlah residual tertimbang sama dengan nol jika angka timbang adalah X i , yakni n

X e  0 i

i

i 1

Bukti: Dari persamaan normal dapat diturunkan n

n

 X e   X Y  b  b X  i

i

i

i 1

i

0

1

i

i 1 n





n



X i Yi  b0

i 1

n

X i  b1

i 1

X

2 i

0

i 1

5. Jumlah residual tertimbang dengan angka timbang Yˆi sama dengan nol, yaitu n

Yˆ e  0 i

i

i 1

6. Garis regresi selalu melalui titik  X , Y  . Bukti: Untuk X  X , diperoleh Yˆ  Y  b1  X  X   Y  b1  X  X   Y

Penaksiran Variansi Suku Sesatan Variansi suku sesatan  2  kita taksir untuk mengetahui keragaman dari distribusi Y. Penaksir titik untuk  2 dapat dihitung dari residual ei . Jumlah kuadrat dari ei adalah n

e   n

JKS 

2 i

i 1

Y

i

   Y  b i

n

2

 b0

i 1

n

2

0

 b1 X i 

2

i 1

i 1

n



Yi  Yˆ

n

Y  b  X Y i

1

i 1

i i

i 1

Rumus lain untuk menghitung JKS adalah

JKS  SYY 

 S XY  S XX

2

n



 i 1

Yi  Y 

2

 n    X i  X Yi  Y      i 1



n

 X

i

X

2

2

i 1

1.9

Model Linear Terapan

atau

   JKS   

n

 i 1

n n   X Y 2   i i n n     i 1 i 1  X i Yi   Yi    n   Yi 2   i 1     i 1 2 n    n    Xi     n i 1    2 Xi    n  i 1 



 



2





JKS mempunyai derajat bebas n  2 , dua derajat bebas hilang karena dalam perhitungan kita gunakan penaksir untuk  0 dan 1 . Kuadrat rata-rata sesatan (KRS) dirumuskan sebagai:

e  n

n

2 i

KRS 

JKS  i 1  n2 n2

Yi  Yˆi

i 1

  Y  b n

2

n2

i



0

 b1 X i 

2

i 1

n2

KRS merupakan taksiran tak bias dari  2 , yakni E  KRS    2 Contoh 1.5 Kita tinjau kembali Contoh 1.4

   JKS   

n

 i 1

n n   X Y 2   i i n n     i 1 i 1  X i Yi   Yi    n   Yi 2   i 1     i 1 2 n    n    Xi     n i  1    X i2    n  i 1 







 

2



  500 1.100   61.800  2    10 1.100       13.660  13.600  60  134.660   2 10   500   28.400  10 JKS 60   7,5 dan KRS  n2 8 2

1.10

SATS4312/MODUL 1



LATIHAN

Untuk memperdalam pemahaman Anda mengenai materi di atas, silakan Anda mengerjakan latihan berikut ini! 1) Suatu eksperimen dilakukan untuk melihat hubungan antara dosis pemupukan

X

dan hasil panen Y  . Dari hasil perhitungan didapat nilai-nilai n

 X

 X   70,6; 2

i

i 1

n

 Y  Y 

2

i

 98,5

i 1

n

  X  X Y  Y   68,3 ; n  15; i

i

X  10,8; Y  122, 7

i 1

Jika hubungan antara Y dan X diasumsikan linear, maka a) dengan metode kuadrat terkecil, hitunglah garis regresi Yˆ  b0  b1 X b) hitunglah nilai JKS dan selanjutnya hitung taksiran untuk  2 2) Diketahui observasi berpasangan  X , Y  sebagai berikut: X Y

1 0,9

2 2,1

3 2,5

4 3,3

5 3,8

a) Buat diagram titik b) Hitunglah penduga kuadrat terkecil b0 dan b1 c) Hitunglah nilai taksiran dari  2

Petunjuk Jawaban Latihan n

  X  X Y  Y  i

1) a) b1 

i

i

n

 X  X 

2



68,3  0,9674 70, 6

i

i 1

b0  Y  b1 X  122,7   0,967410,8  112, 2518 sehingga garis regresi Yˆ  112, 2518  0,9674 X

1.11

Model Linear Terapan

n

b) JKS 

 Y  Y 

2

 n    X i  X Yi  Y  2 68,3  i 1     98,5   32, 4251 n 70,6 2  Xi  X 



2

i



i 1

i 1

ˆ 2 

JKS 32, 4251   2, 4942 n2 13

2) a)

n

  X  X Y  Y  i

b) b1 

i

i

n

 X  X 



44,8 

1512, 6 

5 2 15  55  5

2

i

i 1



7  0, 7 10

b0  Y  b1 X  2,52   0,73  0, 42 n

c) JKS 

 i 1

n

Yi 2  b0

 i 1

n

Yi  b1

X Y

i i

i 1

 36,8   0, 4212,6   0,7  44,8  0,148

ˆ 2 

1.12

JKS 0,148   0, 0493 n2 3

SATS4312/MODUL 1



RANGKUMAN

1. Dalam modul ini dipelajari hubungan statistik antara variabel bebas  X  dan variabel tak bebas Y  . Dalam analisis linear sederhana bentuk hubungannya adalah garis lurus dengan model Yi   0  1 X i   i ;  i

N  0,  2  dan

independen. 2. Untuk mencari estimasi dari  0 dan 1 digunakan metode kuadrat terkecil dan didapat penaksir titik: n

  X  X Y  Y  i

b1 

i

i 1

n

 X  X 

dan b0  Y  b1 X

2

i

i 1

3. Selanjutnya didefinisikan:

n

JKS 

 Y  Y  i

i 1

2

 n    X i  X Yi  Y     i 1 n 2  Xi  X 



2

 i 1

dan sebagai estimasi titik untuk  2 adalah: KRS 

JKS  s2 n2

1.13

Model Linear Terapan



TES FORMATIF 1

Pilih satu jawaban yang paling tepat dari beberapa alternatif jawaban yang disediakan! 1) Tabel berikut ini menunjukkan tinggi badan

X

dalam cm dan berat badan Y 

dalam kg dari 10 orang dewasa. X Y

150 55

162 67

160 60

162 70

165 65

160 79

172 79

170 76

180 89

182 90

Jika X sebagai variabel independen Y sebagai variabel dependen dalam model regresi Yi   0  1 X   i . Dari data ini dapat dihitung nilai b0 sama dengan …. A. -103,63 B. -130,63 C. -103,36 D. -130,36 2) Lihat soal nomor 1, nilai b1 sama dengan …. A. 1,052 B. 1,521 C. 1,062 D. 1,620 3) Lihat soal nomor 1, untuk X k  175 , nilai terhitung Yˆk sama dengan …. A. 81,28 B. 82,18 C. 82,84 D. 81,81 4) Lihat soal nomor 1, nilai variansi ( s 2 ) sama dengan …. A. 32,61 B. 31,16 C. 32,26 D. 31,59 5) Diketahui 10 observasi berpasangan  X , Y  . 54,5 56,4 43,2 65,2 45,5 47,5 65,0 66,5 57,3 68,0 X 61,5 61,2 32,0 52,5 31,5 22,5 53,0 56,8 34,8 52,7 Y Jika digunakan model regresi Yi   0  1 X i   i ; dari data di atas dihitung nilai b0 sama dengan ….

1.14

SATS4312/MODUL 1

A. B. C. D.

-15,19 -15,20 -15,09 -15,92

6) Lihat soal nomor 5, nilai b1 sama dengan …. A. 1,073 B. 1,072 C. 1,721 D. 1,722 7) Lihat soal nomor 5, nilai estimasi dari variansi Y, yakni s 2 sama dengan …. A. 931,46 B. 913,46 C. 116,37 D. 116,44 n

8) Diketahui:

n  277; X  65; Y  72 ;

 X  X 

2

i

 1600;

i 1

n

n

 X  X Y  Y   2000 ; Y  Y  i

i 1

i

i

2

 3600

i 1

Jika digunakan model regresi Yi   0  1 X i   i ; nilai b0 sama dengan …. A. -9,27 B. -9,25 C. -9,15 D. -9,52 9) Lihat soal nomor 8, nilai b1 sama dengan …. A. -1,25 B. 1,25 C. -1,35 D. 1,53 10) Lihat soal nomor 8, nilai s 2 sama dengan …. A. 3,99 B. 3,98 C. 3,97 D. 4,00 Cocokkanlah jawaban Anda dengan Kunci Jawaban Tes Formatif 1 yang terdapat di bagian akhir modul ini. Hitunglah jawaban Anda yang benar. Kemudian gunakan rumus di bawah ini untuk mengetahui tingkat penguasaan Anda terhadap materi Kegiatan Belajar 1.

1.15

Model Linear Terapan

Rumus: Jumlah jawaban Anda yang benar Tingkat penguasaan =

× 100% 10

Arti tingkat penguasaan yang Anda capai: 90 - 100% = baik sekali 80 - 89% = baik 70 - 79% = cukup < 70% = kurang Bila Anda mencapai tingkat penguasaan 80% atau lebih, Anda dapat meneruskan dengan Kegiatan Belajar 2. Bagus! Tetapi bila tingkat penguasaan Anda masih di bawah 80%, Anda harus mengulangi Kegiatan Belajar 1, terutama bagian yang belum Anda kuasai.

1.16

Kegiatan Belajar 2

Inferensi dalam Analisis Regresi anpa memperhatikan bentuk fungsional distribusi dari  i , penaksir kuadrat terkecil b0 dan b1 selalu bersifat tak bias dan mempunyai variansi minimum dibandingkan penaksir-penaksir tak bias linear lainnya. Untuk inferensi, kita memerlukan asumsi tentang bentuk fungsional distribusi dari  i . Salah satu asumsi baku

T

N  0,  2  . Secara umum model regresi dengan sesatan

yang diperlukan adalah  i normal dinyatakan sebagai

Yi   0  1 X i   i

dengan Yi

: hasil observasi pada trial ke- i

Xi

: konstanta yang diketahui nilainya, yakni tingkat variabel X dalam trial ke- i : parameter

 0 , 1

i

N  0,  2  independen; i  1, 2,

n

Salah satu alasan digunakannya asumsi i N  0, 2  karena prosedur inferensi didasarkan pada distribusi t yang tidak peka terhadap penyimpangan normalitas yang tidak besar (modurate).

Penaksiran Parameter dengan Metode Kemungkinan Maksimum Apabila bentuk fungsional dari distribusi probabilitas suku sesatan tertentu, penaksir untuk  0 , 1 , dan  2 dapat dihitung dengan metode kemungkinan maksimum (maximum likelihood). Fungsi likelihood untuk model regresi sesatan normal adalah: L   0 , 1 , 

n

2

 i 1

1 1 2 2

 2 

2 exp   1 2 Yi   0  1 X i    2 

1.17

Model Linear Terapan

Nilai-nilai  0 , 1 , dan  2 yang memaksimumkan fungsi likelihood merupakan penaksir-penaksir maximum likelihood yang diperoleh dengan mendeferensialkan L   0 , 1 ,  2  terhadap  0 , 1 , dan  2 ; kemudian masing-masing disamakan dengan nol. Untuk menyederhanakan perhitungan, kita dapat menggunakan ln L karena L dan ln L akan maksimum untuk nilai-nilai yang sama dari  0 , 1 , dan  2 . Dengan

n n 1 ln L   ln  2   ln  2  2 2 2 2

mendeferensialkan

n

 Y   i

0

 1 X i 

2

terhadap

i 1

 0 , 1 , dan  2 diperoleh:  ln L 1  2  0   ln L 1  2 1 

n

 Y   i

0

 1 X i 

i 1 n

 X Y   i

i

0

 1 X i 

i 1

 ln L n 1  2  2  2 2 4

n

 Y   i

0

 1 X i 

2

i 1

Jika  0 , 1 , dan  2 masing-masing diganti dengan b0 , b1 dan ˆ 2 serta disamakan dengan nol, maka diperoleh persamaan n

 Y  b  b X   0 i

0

1

i

i 1 n

 X Y  b X  b X   0 i i

0

i

2 i

1

i 1

1 n

n

 Y  b  b X  i

0

1

i

2

 ˆ 2

i 1

Dua persamaan pertama, sama dengan persamaan normal, sehingga penaksir maximum likelihood untuk masing-masing parameter adalah sebagai berikut. n

b1 

 X

i

 X i Yi  Yi 

i 1

n

 X

i

 Xi 

i 1

b0  Y  b1 X

 Y  Yˆ  n

i

ˆ 2 

1.18

i 1

n

i

2

2

SATS4312/MODUL 1

Jadi penaksir maksimum likelihood untuk  0 dan 1 sama dengan penaksir kuadrat terkecil yakni b0 dan b1 . Penaksir maksimum likelihood ˆ 2 adalah bias sehingga untuk mendapatkan penaksir tak bias untuk  2 digunakan KRS (Kuadrat Rata-rata Sesatan). Inferensi tentang  1 Sering kali kita tertarik untuk melakukan inferensi tentang 1 , yaitu kemiringan (slope) dari garis regresi Yi  0  1 X i   i dengan  0 dan 1 adalah parameter, X i adalah konstanta yang diketahui, dan  i

N  0,  2  adalah independen. Sebelum kita

pelajari inferensi tentang 1 , kita bahas terlebih dahulu tentang distribusi sampling penaksir titik untuk 1 yaitu n

  X  X Y  Y  i

b1 

i

i 1

n

 X  X  i

2

i

i 1

Dari pengambilan sampel berulang pada nilai X tetap, diperoleh nilai b1 yang bervariasi. Untuk model regresi sesatan normal akan dibuktikan bahwa

b1

2

 N  1 ;   

n

 i 1

  2  X i  X i   

Bukti: b1 dapat dinyatakan sebagai kombinasi linear dari Yi yaitu: n

n

  X  X Y  Y    X  X Y i

b1 

i

i



i 1

n



 Xi  X 

i 1

2

i 1 n



 Xi  X 

i

2

n



k Y

i i

i 1

i 1

dengan

ki 

Xi  X n

(X

i

 X )2

i 1

Untuk X i tetap, ki merupakan kuantitas tetap. Oleh karena itu, b1 merupakan kombinasi linear dari Yi . Koefisien ki mempunyai sifat-sifat sebagai berikut.

1.19

Model Linear Terapan

n

1.

k  0 i

i 1

n

n

n

k  

Bukti:

i

i 1

i 1

    

  2  (Xi  X )  

 X  X 

Xi  X n

 i 1

i

i 1 n

0



n

 X  X   X  X  2

i

0 2

i

i 1

i 1

n

2.

k X i

i

1

i 1

n

n



Bukti:

n

ki X i 

i 1

n

3.

k

2 i

i 1



 i 1

  Xi  X  Xi  n  ( X i  X )2   i 1



    

n

 i 1

    

 X i  X    n  ( X i  X )2  i 1  2



 X

i

X

i

X

i 1 n

 X

2

1 2

i 1

1 n

(X

i

 X )2

i 1

n

Bukti:

n

k   2 i

i 1

i 1



    

X n

 i 1

X

   ( X i  X )2   i

n

1  n 2   Xi  X    i 1 



2

2

 X

X 

1

2

i

i 1

n

 X

i

X

2

i 1

Kembali kita perhatikan distribusi sampling dari b1 pada model regresi linear dengan

i

N  0,  2  . Distribusi sampling dari b1 adalah normal, hal ini akibat dari b1

merupakan kombinasi linear dari Yi . Akan kita buktikan b1 merupakan penaksir tak bias untuk 1 atau E  b1   1 . Bukti:

 E  b1   E  

n

 i 1

 kiYi   ki E Yi  

n



k  i

i 1

1.20

0

 1 X i    0

n

n

k   k X i

i 1

1

i

i 1

i

 1

SATS4312/MODUL 1

Selanjutnya variansi dari b1 dijabarkan sebagai berikut.



n

 

 2  b1    2 

i 1

 kiYi   

n

k 



2 i

2



i 1

n

k  2 i

Yi 

i 1

n

2

2

k

2

2 i

i 1

1 n

 X  X 

2

i

i 1

Penaksir untuk  2  b1  diperoleh dengan mengganti  2 dengan KRS sehingga penaksir tak bias untuk  2  b1  adalah:

s 2  b1  

KRS n



 Xi  X 

KRS

 2 n



i 1

  2 X 

 Xi  i 1  n n



i

i 1

2

Untuk membuktikan bahwa b1 mempunyai variansi minimum di antara semua penaksir tak bias linear, kita nyatakan penaksir linear tak bias untuk 1 dalam bentuk:

1 

n

c Y i

dengan ci adalah konstanta sembarang.

i

i 1

Jika 1 penaksir tak bias maka:  E 1  E  

 

n

 i 1

 ciYi   

n

 c E Y    . i

i

1

i 1

Karena E Yi   0  1 X i , maka syarat tak bias di atas menjadi: n

  c  

E 1 

i

0  1 X i    0

i 1

n



ci  1

i 1



c X i

i

 1.

i 1

n

Agar syarat tak bias berlaku maka haruslah

n

n

ci  0 dan

i 1

c X i

i

 1.

i 1

Variansi dari 1 adalah:

 2  1  

n

 i 1

ci2 2 Yi    2

n

c

2 i

.

i 1

1.21

Model Linear Terapan

Kita definisikan: Xi  X

ci  ki  di ; ki 

n

 X  X 

; d i adalah konstanta sembarang, 2

i

i 1

sehingga

 2  1    2 

n

c

2 i

i 1 n

2

k  d  i

2

i

i 1

    2

n



n

k  2 i

i 1



n



d 2 2 i

i 1

i 1

 ki d i  

Telah kita buktikan bahwa n

k



2 i

i 1

1

dan 

n

(X

i

 b1   

2

 X )2

n

2

k

2 i

i 1

i 1

sehingga n

k d i

n

i



i 1

n

 k c  k    c k   k i

i

i

i

i 1



 c  i

i 1

 

 i 1

c X i

  2  (Xi  X )  

i

X

c

 X

i

X



2

i 1

X

2

i 1

n

d

1 n

 X

i

X

0 2

2 i

 

, sehingga terbukti  2 1   2  b1  . Nilai

i 1



n

di2  0 atau semua

i 1

merupakan nilai terkecil untuk 

1.22

i

i 1

n

terkecil diperoleh jika

 X

i

i 1

n

 

1 n

n

i 1

Kita peroleh  2 1   2  b1    2

2 i

i 1

Xi  X n

n



i

i 1

n



n

2

 . 1

 d  0 sehingga c  k . i

i 1

i

i

Jadi,  2  b1 

SATS4312/MODUL 1

Distribusi Sampling dari

 b1  1  s  b1  2

N  1 ,  2  b1   dengan  2  b1  

Diketahui b1

n

 X  X 

, sehingga statistik 2

i

b1  1   b1 

Statistik

i 1

N  0, 1 . Pada umumnya  2  b1  tidak diketahui, diganti dengan s  b1  . b1  1 b  dapat ditulis dalam bentuk 1 1 s  b1    b1  KRS n

s  b1    2  b1  2

 X  X 

2

i

i 1



JKS KRS  2  n 22 



2

n

 X  X 



s  b1  b  . Diketahui 1 1   b1    b1 

JKS 2   n  2

 2n2  n2

sehingga

b1  1 s  b1 

z dan

z

2n2 n2

2

i

i 1

Karena b1 dan

JKS



2

independen maka z dan  2 independen, sehingga

b1  1 s  b1 

t n  2 .

Selang Kepercayaan untuk  1 b  1 t n  2 maka kita dapat menyatakan Karena 1 s  b1    b  1 P  t    1  t     1   1 ; n  2     2 ; n  2  s  b1   2 

Karena distribusi t simetri, maka ketidaksamaan di atas dapat kita tulis sebagai berikut.   P b1  t   s  b1   1  b1  t   s  b1    1    ; n2   ; n2    2  2 

Karena probabilitas ini berlaku untuk semua nilai yang mungkin dari 1 maka batas kepercayaan untuk 1 adalah: b1  t 

  ; n2  2 

s  b1 

1.23

Model Linear Terapan

Contoh 1.6 Diketahui data sebagai berikut. Xi

1,5

1,8

2,4 3,0

Yi

4,8

5,7

7,0 8,3 10,9 12,4 13,1 13,6 15,3

3,5

3,9

4,4

4,8

5,0

Jika digunakan model regresi linear Yi   0  1 X i   i

dengan  i

N  0,  2  ,

independen. Untuk menaksir 1 dengan selang kepercayaan 95%, dari data diperoleh: n

n  9;

X

n

 30,3 ; X  3,3667 ;

i

i 1

n



X i2  115,11 ; n

X iYi 

 X Y i 1



  2 X  i

i 1

   JKS   

n

 i 1

i

i 1

n  Xi  i 1  n n



  2 Y  i

i i

n

i 1

n

 X Y  345,09 i 1

i

n



Y  10,1222 ;

n

Yi 2  1036, 65 ;

i 1

i 1

b1 

i

i 1

n



Y  91,1 ;

2



345, 09 

 30,3 91,1

9 2  30,3 115,11  9

 2,9303

n n   X Yi  2  i n n   i 1  Yi    X iYi  i 1   n i 1     i 1  2 n   n     n Xi       X i2   i 1   n  i 1 







 

2



  30,3 91,1  345, 09  2    9  91,1      2, 026  1036, 65   2 9   30,3  115,11  9 JKS 2, 026 KRS    0, 289 n2 7 2

Selanjutnya kita hitung

1.24

SATS4312/MODUL 1

s 2  b1  

KRS     

n



  2 X  i

i 1

 Xi  i 1  n n



2

    



KRS  S XX

0, 289 115,11 

 30,3

2



0, 289  0, 02206 13,1

9

s  b1   0,02206  0,1485 dan t(0,025; 7)  2,365 Selang kepercayaan 95% untuk 1 adalah

2,9303  2,365  0,1485  1  2,9303  2,365 0,1485 atau 2,579  1  3, 282

Uji tentang  1 Karena

 b1  1  s  b1 

t n2 , uji tentang 1 dapat kita lakukan berdasarkan distribusi t.

Contoh 1.7 Jika kita hanya ingin menguji apakah ada ( atau tidak) hubungan linear antara Y dan X maka hipotesis kita rumuskan sebagai: H 0 : 1  0 dan H1 : 1  0

Untuk   0,05 , kesimpulan tentang H 0 dapat diperoleh dengan menggunakan selang kepercayaan 95% untuk 1 . Untuk Contoh 1.6, selang kepercayaan 95% untuk 1 adalah 2,579  1  3, 282 tidak memuat 0 (batas kepercayaan kiri dan kanan positif) sehingga diperoleh kesimpulan menolak H 0 . b Uji yang lebih tegas dapat dilakukan berdasarkan statistik uji t   1 . Aturan s  b1  pengambilan kesimpulan untuk taraf nyata  adalah menerima H 0 jika t   t 

  ; n2  2 

menolak H 0 jika t   t 

  ; n2  2 

dan

.

Contoh 1.8 Dari Contoh 1.6, hipotesis kita tulis sebagai H 0 : 1  0 dan H1 : 1  0 . Selanjutnya b 2,9303  19, 73 . Untuk taraf nyata   0,05 , kita hitung statistik uji t   1  s  b1  0,1485 diperoleh nilai t0,025;7  2,365 . Karena

t   2,365 maka kita menolak H 0 : 1  0 ,

berarti ada hubungan linear antara Y dan X.

1.25

Model Linear Terapan

Sering kali kita ingin menguji apakah 1 sama dengan nilai tertentu, hipotesis kita rumuskan sebagai: H 0 : 1  10 dan H1 : 1  10

Statistik uji: t 

b1  1 s  b1 

Jika kita ingin menguji apakah 1 positif, hipotesis dinyatakan sebagai: H 0 : 1  0 dan H1 : 1  0

Kesimpulan untuk taraf nyata  adalah menerima H 0 jika t   t ; n2 dan menolak H 0 jika t   t ; n2 . Contoh 1.9 Dari Contoh 1.8 diperoleh t  

b1  1  19, 73 . Untuk   0,05 , diperoleh nilai s  b1 

t0,05;7  1,895 . Karena t   1,895 , maka H 0 ditolak, berarti 1 positif. Inferensi tentang  0 Sebelum kita melakukan inferensi untuk  0 , kita pelajari terlebih dahulu tentang distribusi sampling dari b0 . Penaksir titik untuk  0 adalah: b0  Y  b1 X

dapat dinyatakan sebagai kombinasi linear dari Yi yaitu: n

b0 

l Y i

i

dengan li 

i 1

dan ki 

Xi  X n

 X  X  i

i 1

1.26

2

1  X ki n

SATS4312/MODUL 1

Distribusi sampling untuk b0 adalah normal dan b0 merupakan penaksir tak bias dari  0 atau E  b0   0 . Bukti:

b0  Y  b1 X

E  b0   E Y   E  b1 X   0  1 X  1 X  0

Variansi dari b0 kita peroleh sebagi berikut. n

b0 

l Y

i i

i 1

 2  b0  

n



li2 2 Yi    2

i 1

n

 i 1

1 li2   2   n  

  2  (Xi  X )   X2

n

 i 1

Sehingga untuk model regresi linear dengan sesatan normal, diperoleh:

b0

N  0 ,  2  b0 

dengan

1 n  

 2  b0    2  

dan distribusi sampling untuk

  2  (Xi  X )   X2

n

 i 1

b0   0 b  0 adalah normal standar atau 0   b0    b0 

N  0,1 .

Penaksir untuk  2  b0  adalah:

1 s 2  b0   KRS   n  dan

b0   0 s  b0 

n

 i 1

  2  X   KRS   2  X i  X   n  

  i 1  n 2  Xi  X   i 1  n

X

2 i



t n 2

Selang kepercayaan untuk  0 pada taraf kepercayaan 1    adalah: b0  t 

  ; n2  2 

s  b0    0  b0  t 

  ; n2  2 

s  b0 

1.27

Model Linear Terapan

Contoh 1.10 Dari data pada Contoh 1.6 diperoleh: n



n

X i  30,3 ;

i 1

X

2 i

 115,11 ; X  3,3667 ; Y  10,1222 ; n = 9; b1  2,9303 ; dan

i 1

KRS  0, 289 . Selanjutnya kita hitung:

b0  Y  b1 X  10,1222  2,93033,3667   0, 2568 n   X i2   2 i 1    0, 289 s  b0   KRS  n  2  n (Xi  X )   i 1  s  b0   0, 282  0,531





 115,11     0, 282  9 13,1 

Untuk taraf kepercayaan 90%, diperoleh t0,05; 7  1,895 sehingga selang kepercayaan untuk  0 adalah:

0, 2568  1,895 0,531  0  0, 2568  1,895 0,531 atau  0,749  0  1, 263

Penaksir Selang untuk E Yh  Salah satu tujuan utama analisis regresi adalah untuk menaksir mean dari satu atau lebih distribusi probabilitas dari Y. Misalkan X h adalah taraf dari X di mana kita ingin menaksir mean dari Y dan X h merupakan salah satu nilai sampel atau suatu nilai lain dari X, maka untuk X  X diperoleh mean Yˆ  E Y  . h

h

h

Untuk model regresi dengan sesatan normal, distribusi sampling dari Yˆh  b0  b1 X h adalah normal dengan mean dan variansi masing-masing adalah:

 

E Yˆh  E Yh 

dan



2

1 Yˆh     n  

 

2

X n

 i 1

X

  2  Xi  X    h

2

Yˆh merupakan penaksir titik tak bias dari E Yh  yang ditunjukkan sebagai berikut.

 

E Yˆh  E  b0  b1 X h   E  b0   X h E  b1    0  1 X h  E Yh 

1.28

SATS4312/MODUL 1

Keragaman dari distribusi sampling Yˆh dipengaruhi oleh besarnya simpangan X h dari X . Makin jauh X h dari X , nilai  2 Yˆh makin besar. Untuk menentukan  2 Yˆh , kita

 

 

buktikan dulu bahwa b1 dan Y tidak berkorelasi. Bukti: n

Y 

 i 1

1Y ; b  1 n i

n

k Y

i i

i 1

dengan

ki 

Xi  X

dan Yi independen.

n

(X

 X)

i

2

i 1

 2 Y , b1  

n

 i 1

1 2 2   ki  Yi   n n

n



n

ki  0, karena

i 1

k  0 i

i 1

Sekarang kita hitung variansi Yˆh , yaitu:

 

 2 Yˆh   2 Y  b1  X h  X   Karena Y dan b1 independen serta X h dan X konstan maka diperoleh:

 

 2 Yˆh   2 Y    X h  X   2  b1  2

 

 2 Yi  n



2

n

  X h  X   2  b1  2

  Xh  X 

2

2 n

 X

i

X

2

i 1

1    n   adalah: 2

Penaksir untuk 

2

Yˆ  h

1 s Yˆh  KRS   n   2

 

X n

 i 1

X n

 i 1

X

  2   Xi  X    h

2

X

  2  Xi  X    h

2

1.29

Model Linear Terapan

Untuk model regresi dengan sesatan normal, distribusi sampling

Yˆh  E Yh  adalah s Yˆ

  h

distribusi t n2 , sehingga selang kepercayaan 1    100% untuk E Yh  adalah:

Yˆh  t 

  ; n2  2 

 

s Yˆh  E Yh   Yˆh  t 

  ; n2  2 

 

s Yˆh

Contoh 1.11 Dari data pada Contoh 1.6 diperoleh: n

b0  0, 2568 ; b1  2,93 ;

 X  X  i

2

 13,1 ; KRS  0, 289 ; n = 9; X  3,3667

i 1

Untuk X h  4 diperoleh: Yˆ  0, 2568   2,93 4  11,977 h

 1  4  3,3667 2  ˆ s Yh  0, 289     0, 04096 atau s Yˆh  0, 202 9 13,1   t0,025; 7  2,365 2

 

 

Selang kepercayaan 95% untuk E Yh  adalah: 11,977  2,365  0, 202   E Yh   11,977  2,365  0, 202  11, 499  E Yh   12, 455

Peramalan Pengamatan Baru Pengamatan baru Yhbaru  dipandang sebagi hasil dari suatu trial baru yang bebas terhadap trial lain. Jika parameter  0 dan 1 diketahui maka selang peramalan

1  100% untuk Yhbaru 

adalah:

E Yh   z   Yh (baru )  E Yh   z  2

2

Contoh 1.12 Misalkan diketahui  0  9,5 ; 1  2,1 ;  2  10 .

Untuk X h  40 didapat E Y40   9,5   2,1 40  93,5 . Selang peramalan 95% untuk Y40 adalah: 93,5  1,96 10  Y40  93,5  1,96 10 atau 87,30  Y40  99, 70

1.30

SATS4312/MODUL 1

Jika parameter  0 dan 1 tidak diketahui, kita gunakan penaksir b0 dan b1 . Selang peramalan di atas tidak dapat kita gunakan karena kita hanya menggunakan taksiran dari E Yh  . Dalam penaksiran untuk E Yh  , kita gunakan selang kepercayaan sehingga letak distribusi dari Y tidak dapat ditentukan dengan tepat. Dengan menganggap pengamatan baru independen terhadap sampel yang digunakan untuk menaksir garis regresi, maka variansi dari Yhbaru  terdiri dari variansi distribusi sampling Yˆh dan variansi distribusi Y pada X  X h , yaitu:





 

 2 Yh (baru )    2 Yˆh  Y   2 Yˆh   2 Y 





Penaksir tak bias dari  2 Yh baru  adalah:

2



s Yhbaru 



 1 ˆ  s Yh  KRS  KRS 1    n   2

 

X n

 i 1

X

  2  Xi  X    h

2

Contoh 1.13 Dari data pada Contoh 1.6 diperoleh: n

X  3,3667 ;

 X  X 

2

i

KRS  0, 289 ; n = 9; b0  0, 2568 ;

 13,1 ;

b1  2,93

i 1

Sehingga untuk X h  2 diperoleh Yˆh  0, 2568  2,93  2   6,117 , t0,025; 7  2,365 ; dan

 1  2  3,3667 2  ˆ s Y2  0, 289 1     0,362 . 13,1  9  Selang peramalan 95% untuk Yhbaru  adalah: 2

 

6,117  2,365 0,362  Yhbaru   6,117  2,365 0,362 atau 4,693  Yhbaru   7,541

Ramalan Mean dari m Pengamatan Baru Sering kali diinginkan meramal mean dari m pengamatan baru untuk taraf variabel bebas, X tertentu. Nilai ramalan mean dari Y ditulis sebagai Yhbaru  . Batas ramalan

1  100% untuk Yhbaru 

adalah:

Yˆh  t 

  ; n 2  2 

dengan







s Yhbaru 



 

s 2 Yhbaru   s 2 Yˆh  KRS m 1.31

Model Linear Terapan

atau ekuivalen dengan

 1 1 s Yh baru   KRS    m n   2







Dari rumus diketahui bahwa s 2 Yhbaru 



 Xh  X 

  n   X i  X 2  i 1  2



mempunyai dua komponen yaitu variansi

distribusi sampling dari Yh dan variansi mean m pengamatan dari distribusi probabilitas Y pada X  X h . Contoh 1.14 Kita tinjau kembali Contoh 1.6. Jika m  3 , untuk X h  2 akan dihitung selang ramalan 90% untuk Yhbaru  . Dari data yang ada telah dihitung:

Yˆh  6,117 ;



s Yh baru 





 



0, 289  0, 458 atau s 2 Yˆh  0,362 ; KRS  0, 289 ; s 2 Yhbaru   0,362  3

 0, 677 dan t0,05; 7  1,895 .

Sehingga selang ramalan 90% untuk Yhbaru  adalah:

6,117  1,895  0,677   Yhbaru   6,117  1,895  0,677  atau 4,834  Yhbaru   7,399

Selang ramalan Yhbaru  lebih sempit dibandingkan dengan selang ramalan untuk Yhbaru  karena selang ramalan untuk Yhbaru  memuat Yhbaru  .

Pendekatan Analisis Variansi untuk Analisis Regresi Dasar pendekatan analisis variansi adalah pemecahan jumlah kuadrat dan derajat bebas yang berkaitan dengan Y. Pandang simpangan total Yi  Y  pada Gambar 1.4 berikut ini. Yi

Y

Yi  Yˆi Yi  Y

Yˆi  Y

Y Yˆ  b0  b1 X

X

Gambar 1.4.

1.32

SATS4312/MODUL 1

Pemecahan simpangan:

Yˆi

Yi  Y  simpangan total

 Y



 Yˆi

Yi

simpangan nilai regresi taksiran sekitar mean

simpangan sekitar garis regresi taksiran

sehingga pemecahan JK menjadi: n

 Y  Y 

2

i

 n



i 1

Yˆi  Y

i 1

jumlah kuadrat sekitar mean



 Y  Yˆ  n

2



i

2

i

i 1

jumlah kuadrat karena regresi

jumlah kuadrat sekitar regresi

atau JK = JKR + JKS JK adalah jumlah kuadrat total, JK  0 berarti semua pengamatan sama. Makin besar nilai JK makin besar variasi (keragaman) nilai-nilai Yi . JKR adalah jumlah kuadrat regresi merupakan ukuran keragaman pengamatan yang diterangkan oleh garis regresi. JKS adalah jumlah kuadrat sesatan merupakan ukuran keragaman pengamatan terhadap garis regresinya. Jika JKS = 0, semua pengamatan jatuh pada garis regresi. Rumus-rumus untuk menghitung jumlah kuadrat adalah:

n

JK 



  2 Yi  



i 1

  JKR  b1  

n

Y

n

X Y 

i 1



n

  Y  Xi

i 1

i i

i

  b1 S XY 

i 1

n

i 1

 X

 nY 2  SYY

2

i

n

n

 b12

2

 Yi  i 1   n n

 X   b12 S XX 2

i

i 1

   JKS   

n

 i 1

 2  n       Yi    Yi 2   i 1     n      



n

 i 1

n

 i 1

2

 X i Yi   X i Yi  i 1 2  n   S   S XY  YY 2 S XX  n   Xi      X i2   i 1  n  n





1.33

Model Linear Terapan

Pemecahan derajat bebas sesuai dengan pemecahan jumlah kuadrat total. Derajat bebas untuk JK sama dengan n  1 . Satu derajat bebas hilang karena simpangan Yi  Y n

tidak independen, yakni

Y  Y   0 atau ekuivalen satu derajat bebas hilang karena i

i 1

mean sampel Y digunakan untuk menaksir mean pupolasi  . JKS mempunyai derajat bebas n  2 atau dua derajat bebas hilang karena dalam menghitung nilai Yˆ digunakan i

taksiran untuk parameter  0 dan 1 . JKR mempunyai derajat bebas satu. Ada dua parameter dalam persamaan regresi, tetapi simpangan Yi  Y

Yˆ  Y   0

tidak bebas, yakni

n

i

sehingga satu derajat bebas hilang. Secara singkat, derajat bebas dari

i 1

masing-masing jumlah kuadrat adalah n 1  1   n  2 dan tabel analisis variansi (ANAVA) untuk regresi linear sederhana diberikan oleh Tabel 1.1 berikut. Tabel 1.1. ANAVA untuk Regresi Linear Sederhana

Derajat Bebas (db)

Jumlah Kuadrat (JK)

Kuadrat Rata-rata (KR)

Regresi

1

JKR

KRR

Sesatan

n2

JKS

KRS

Total

n 1

JK

Sumber Variasi

Harapan Kuadrat Rata-rata Agar dapat melakukan inferensi berdasarkan pendekatan analisis variansi, kita perlu mengetahui nilai harapan dari kuadrat rata-rata, yaitu: E  KRS    2 E  KRR      2

2 1

n

 X

i

X

2

i 1

Bukti: Untuk model regresi dengan sesatan normal  JKS  E 2   n2   

atau  JKS  2 E   E  KRS     n2

1.34

JKS



2

 2n  2  , maka

SATS4312/MODUL 1

Untuk mendapatkan E  KRR  , kita tulis JKR dalam bentuk sebagai berikut. n

JKR  b12

 X

i

X

2

i 1

Karena

 2  b1   E b1  E  b1  

2

 E  b12    E  b1  

2

 E  b12   12 atau

E  b12    2  b1   12 

2 n

 X

i

X

 12 2

i 1

maka

 E  JKR   E b12   E b

2 1

n

 X

i

i 1

2 X  

n

 X

i

X

2

i 1

   

2 n

 X

i

X

2

i 1

   2

2 1

n

 X

i

  12    X

n

 X

i

X

2

i 1

2

i 1

Jadi

 JKR  2 2 E  KRR   E      1  1 

n

 X

i

X

2

i 1

Uji Hipotesis Pendekatan analisis variansi dengan uji F dapat dilakukan untuk menguji hipotesis: H 0 : 1  0 terhadap H1 : 1  0

Pada regresi linear sederhana dan statistik ujinya adalah: F 

KRR KRS

1.35

Model Linear Terapan

Jika 1  0 maka semua Yi mempunyai mean sama yaitu    0 dan variansi sama yaitu JKS JKR  2 . Variabel 2 dan 2 adalah independen dan berdistribusi  2 sehingga, statistik   * uji F dapat ditulis dalam bentuk:

JKR

2



F 

JKS

2

1



n2

KRR KRS

Jika H 0 benar, maka

F

 21



 2n  2

1 n2

Karena 21 dan 2n2 independen sehingga F 

F1, n2 . Kesimpulan yang diperoleh

yakni menerima H 0 jika F   F ; 1; n2 dan menolak H 0 jika F   F ; 1; n2 dengan

F ; 1; n2 adalah persentase 1   100 dari distribusi F.

Contoh 1.15 Diketahui data sebagai berikut: 1 2,1

X Y

1 2,5

2 3,1

3 3

4 3,8

4 3,2

5 4,3

6 3,9

6 4,4

7 4,8

Jika digunakan model regresi linear sederhana Y   0  1 X   dengan sesatan normal

N  0,  2  independen, maka untuk menguji H 0 : 1  0 terhadap H1 : 1  0

i

dengan uji F, dari data kita hitung: n





  2 Yi  

 Yi  2 i 1   130, 05   35,1  6,85 n 10

i 1

n



2

  2 Xi  

i 1

 Xi  2 i 1   193   39   40,9 n 10 n

2

n

 n

n

X Y  i i

i 1

1.36

n

 Y Xi

i 1

i

i 1

n

 152, 7 

 39  35,1 10

 15,81

SATS4312/MODUL 1

sehingga n

JK  SYY 



  2 Yi  

i 1

2

 Yi  i 1   6,85 n n

 n

n

S b1  XY  S XX

X Y 

n

 Y Xi

i 1

i i

n

i 1

n



i

i 1

  2 Xi  



n

 X 



2

15,81  0,387 40,9

i

i 1

i 1

n

2   n   Xi    n i 1   2 2 2 JKR  b1 S XX  b1  Xi  n  i 1 JKS  JK  JKR  6,85  6,13  0,72





   2    0,387   40,9   6,13 

Selanjutnya hasil hitungan, kita susun dalam tabel ANAVA sebagai berikut. Tabel 1.2. ANAVA

Sumber Variasi Regresi Sesatan Total

db

JK

KR

1

6,13

6,13

8

0,72

0,09

9

6,85

F

F 

6,13  68,1 0, 09

Untuk   0,05 , dari tabel distribusi F diperoleh nilai F0,05; 1,8  5,32 , sehingga diperoleh kesimpulan menolak H 0 karena F   5,32 , artinya ada hubungan linear antara Y dan X atau garis regresi nyata.

Kesetaraan Uji F dan Uji t Pada taraf nyata  , uji F untuk hipotesis H 0 :  0  0 terhadap H1 : 1  0 secara aljabar setara dengan uji t dua sisi. Hal ini dapat kita tunjukkan sebagai berikut. n

F 

JKR 1  JKS n  2

2 1

b

 X

i

X

2

i 1

KRS

1.37

Model Linear Terapan

Karena diketahui s  b1  

KRS

2

n

 X

i

X

 b  b2 , maka kita peroleh F  2 1   1  s  b1   s  b1  

2



2

i 1

Statistik t  untuk uji H 0 : 1  0 terhadap H1 : 1  0 adalah: t 

b1 s  b1 

atau

t 

 2

2

 b    1   F   s  b1  

Dari hubungan antara t  dan F  , kita peroleh hubungan antara persentil distribusi t dan F sebagai



t 

  ; n2  2 

 F 2

 ; 1; n  2 

Contoh 1.16 Kita tinjau kembali Contoh 1.15. Dari data yang ada diperoleh F   68,1; b1  0,387 ;

0,09 s  b1    0,0022 ; s  b1   0,047 sehingga 40,9 2

t

0,025; 8



2

t 

 2

2

 0,387     68, 06  68,1 dan  0, 047 

  2,306   5,32  F 0,05; 1;8 . 2

Pendekatan Uji Linear Umum Analisis variansi untuk menguji H 0 : 1  0 terhadap H1 : 1  0 merupakan pengujian untuk model statistik linear. Akan kita pelajari pendekatan uji (linear) secara umum, yang dapat kita gunakan untuk pengujian model-model linear. Tiga langkah dalam pengujian ini adalah: 1. Menentukan model yang dipandang sesuai untuk data. Model ini kita sebut model lengkap. Untuk regresi linear sederhana, model lengkap: Yi   0  1 X i   i

Penaksir parameter dihitung dengan metode kuadrat terkecil. Kemudian kita hitung jumlah kuadrat sesatan untuk model lengkap, yang ditulis dengan notasi JKS  L sebagai:

1.38

SATS4312/MODUL 1

JKS  L  

n

 Y   b

0  b1 X i   

i

2

i 1

 Y  Yˆ  n

i

2

i

i 1

JKS  L mengukur keragaman pengamatan Yi sekitar garis regresi. 2. Perhatikan hipotesis H 0 : 1  0 dan H1 : 1  0 model di bawah H 0 disebut model tereduksi. Maksudnya jika 1  0 , model lengkap tereduksi menjadi Yi   0   i . Penaksir parameter untuk model tereduksi dihitung dengan metode kuadrat terkecil, didapat b0  Y dan jumlah kuadrat sesatan untuk model tereduksi, adalah:

JKS  R  

n

n

  Y  b    Y  Y  2

i

0

i 1

3. Sekarang

kita

2

 JK

i

i 1

bandingkan

JKS  L

dengan

JKS  R .

Tampak

bahwa

JKS  L  JKS  R  . Apabila JKS  R   JKS  L  terkecil maka kita cenderung untuk menerima H 0 dan jika sebaliknya maka H 0 kita tolak. Dengan menggunakan statistik uji:  JKS  R   JKS  L    dbR  dbL  F  JKS  L  dbL Diperoleh kesimpulan menerima H 0 jika F *  F ; dbR dbL , dbL  dan menolak H 0 jika

F *  F ; dbR dbL , dbL  . Untuk

pengujian

hipotesis

H 0 : 1  0

terhadap

H1 : 1  0 ,

kita

peroleh

JKS  R   JK dengan d .b  n  1 ; JKS  L   JKS dengan d .b  n  2 ; dan statistik uji F* 

 JK  JKS 

 n 1   n  2 

JKS  n  2 

JKR 1 KRR  JKS  n  2  KRS

Jadi F  sama dengan statistik uji analisis variansi.

Ukuran Deskriptif untuk Hubungan antara X dan Y Dalam taksiran dan ramalan, untuk mengukur ketepatan hanya panjang interval yang diperhatikan, tetapi derajat hubungan variabel X dan variabel Y tidak diperhatikan. Sebagai ukuran deskriptif, dapat digunakan koefisien determinasi dan koefisien korelasi. Koefisien determinasi didefinisikan sebagai r2 

JK  JKS JKR JKS   1 JK JK JK

1.39

Model Linear Terapan

Karena 0  JKS  JK maka 0  r 2  1. Makin besar harga r 2 , berarti makin besar pengaruh variabel X terhadap variasi harga Y. Y Y

Yˆ  Y

Yˆ  b0  b1 X

X

X

(a) r  1 2

(b) r

2

0

Gambar 1.5.

Apabila semua observasi terletak pada garis regresinya, maka JKS  0 sehingga n 2 0 2 ˆ  1 . Apabila b1  0 berarti Yi  Y dan JKR  didapat r  1  Yˆi  Y  0 atau JK i 1





JKS  JK sehingga didapat r 2  0 . Koefisien korelasi didefinisikan sebagai r   r 2 . Tanda dari koefisien korelasi sesuai dengan tanda dari b1 . Nilai dari r selalu terletak

dalam  1, 1 atau 1  r  1 . Untuk menghitung koefisien korelasi digunakan rumus sebagai berikut. n

  X  X Y  Y  i

r 

  

n

 X

i  X

2

i 1

        

n



n

 Y  Y 

2

i

i 1



 12  

n

n

XY  i i

i

i 1

  Y  i 1

n   X i   i 1     n 





n

Xi

i

i 1

i 1

  2 X 

Hubungan antara b1 dan r adalah:

1.40

i

i 1

n



  Yi  

2 n    Yi   i 1     n 

1

2

n

 i 1



2

SATS4312/MODUL 1

  b1     

1

2 Yi  Y   i 1  r n 2   Xi  X   i 1  n



2



Jika r  0 maka b1  0 dan sebaliknya jika nilai r dan r 2 mendekati 1 maka dapat dilakukan inferensi yang cukup tepat terhadap Y. Contoh 1.17 Diketahui data pengamatan sampel sebagai berikut. 1,5 4,8

X Y

1,8 5,7

2,4 7,0

3,0 8,3

3,5 10,9

3,9 12,4

4,4 13,1

4,8 13,6

5,0 15,3

Akan dihitung nilai r 2 dan r dari data tersebut dan diperoleh:



  2 Y 

 Yi  2 i 1   1036, 65   91,1  114,52 n 9

n



 Xi  2 i 1   115,11   30,3  13,10 n 9 n

i

i 1

n



2

  2 X 

2

n



i

i 1

n

n

X Y 

n

 X Y i

i 1

i

i 1

i i

n

i 1

 345, 09 

 30,3 91,1  38,39 9

Selanjutnya kita hitung n

  X  Y Y  X  i

b1 

i

i 1

n

 X  X 

2



38,39  2,9303 13,10

i

i 1

JK  114,52 JKS  114,52  (2,9303)(38,39)  2,026 r2 

JK  JKS 114,52  2,026   0,9823 JK 114,52

Hal ini berarti 98,23 persen variasi-variasi variabel Y disebabkan oleh hubungannya dengan variabel X. Sedangkan koefisien korelasi r  r 2  0,9823  0,99 (tanda +

1.41

Model Linear Terapan

sesuai dengan tanda b1 ) atau dengan menggunakan rumus untuk koefisien korelasi n

  X  X Y  Y  i

didapat r 

i



i 1

  

n

n

  X  X   Y  Y  2

i

i

i 1



i 1

2

  

1 2

38,39 13,10 114,52  

1 2

 0,99 .

LATIHAN

Untuk memperdalam pemahaman Anda mengenai materi di atas, silakan Anda mengerjakan latihan berikut ini! 1) Jika penduga kuadrat terkecil b1 merupakan linear dari Yi , yakni: Xi  X

n

b1 

k Y

i i

dengan ki 

i 1

n

(X  X )

2

i

i 1

n

Tunjukkan bahwa

n

 k Y  1 dan  k

2 i

i i



i 1

i 1

1 n

 X  X 

2

i

i 1

2) Data dalam tabel berikut menunjukkan periode waktu yang digunakan dalam suatu percobaan pengeringan bahan  X  dalam jam dan berkurangnya berat bahan Y  dalam gram. X Y

4,4 13,1

4,5 11,5

4,8 10,8

5,5 13,8

5,7 15,1

5,9 12,7

6,3 12,7

6,9 13,8

7,5 17,6

7,8 18,8

Jika digunakan model regresi linear dengan sesatan normal, a) carilah persamaan regresi taksiran b) carilah selang kepercayaan 90% untuk 1 c) ujilah H 0 : 1  0 terhadap H1 : 1  0 pada tingkat signifikansi   10% d) carilah selang kepercayaan 95% untuk E Y7 

e) untuk X h  8 , carilah selang ramalan 90% untuk Y8 f) untuk X h  8 , m = 5, carilah selang ramalan 90% mean dari m observasi baru, yakni Y8baru  g) hitunglah koefisien determinasi r 2

1.42

SATS4312/MODUL 1

3) Diketahu tabel ANAVA sebagai berikut. Sumber Variasi Regresi Sesatan

db 1 50

JK 40 -

KR -

Total

51

240

a) Lengkapilah tabel ANAVA tersebut. b) Uji H 0 : 1  0 terhadap H1 : 1  0 pada tingkat signifikansi   0,05 c) Hitunglah nilai koefisien determinasi dan kesimpulan apa yang diperoleh dari hasil perhitungan tersebut.

Petunjuk Jawaban Latihan 1) Lihat penjelasan sifat-sifat koefisien ki . n

2) Dari data yang ada diperoleh: n  10;



n

X i  59,3;

i 1

n

 i 1

n

Yi  139,9;

 X i2  364,59; i 1

n

 Yi2  2015,17;  X iYi  852 i 1

i 1

n

n

n

n

 X Y   X Y i i

i

i

 1, 7304 dan b0  Y  b1 X  3, 7288 2 n   n X i2   Xi  i 1  i 1  Persamaan regresi taksiran Yˆi  3,7288  1,7304 X i

a) b1 

i 1

i 1

n





n

b) JKS 

i 1

Y

n

2

i

i 1

 b0

n

Y  b  X Y  19, 2203 i

i 1

1

i i

i 1

JKS 19, 2203   2, 4025 n2 8 s2 s 2  b1   n  0,1857 atau s  b1   0,1857  0, 4309 2 (Xi  X ) s2 

 i 1

t 

  ; n2  2 

 t 0,05;8  1,860

Selang kepercayaan 90% untuk 1 adalah:

1,7304  1,860 0, 4309  1  1,7304  1,860 0, 4309 atau 0,929  1  2,532 1.43

Model Linear Terapan

c) Untuk uji H 0 : 1  0 terhadap H1 : 1  0 diperoleh statistik uji: b 1, 7304 t  1   4, 0158 s  b1  0, 4309 Karena t   t 

  ; n2  2 

maka H 0 ditolak

d) Yˆ7  3,7288  1,7304  7   15,8415 2   1  7  5,932  7 X    2 1 ˆ    2, 4025   s Y7  s   n   0, 4528 ; 10 12,941 n   2  (Xi  X )   i 1   ˆ s Y7  0, 6729 dan t0,025;8  2,306 2

 



 

Selang kepercayaan 95% untuk E Y7  adalah:

15,8415   2,306  0, 6729   E Y7   15,8415   2,306  0, 6729  14, 29  E Y7   17,39

e) Yˆ8  3,7288  1,7304 8  17,5719

2



s Y8baru 



s Y8baru 





 1  s 1    n  

8  X 

2

n

 i 1

2   8  5,93     2, 4025  1  1    3, 4382 12,941   10 2   (Xi  X )   2

 1,8542

Selang ramalan 90% untuk Y8baru  adalah:

17,5719  1,86 1,8542   Y8 baru   17,5719  1,86 1,8542  14,123  Y8 baru   21, 021

f)

2



s Y8baru 



s Y8baru 





1 1 s    m n    1, 2314

8  X 

2

n

 i 1

2   8  5,93   1,5162    2, 4025   1  1   5 10 12,941   2  (Xi  X )   2

Selang ramalan 90% untuk Y8baru  adalah:

17,5719  1,86 1, 2314   Y8baru   17,5719  1,86 1, 2314  atau 15, 2816  Y8baru   19,8622

1.44

SATS4312/MODUL 1

n

g) Koefisien determinasi r 2  b12

(X i 1 n

i

 X )2

 Y  Y  i 1

 0, 668 2

i

3) a) Tabel ANAVA Sumber Variasi Regresi Sesatan

db 1 50

JK 40 200

Total

51

240

KR 40 4

KRR 40   10 KRS 4 Dari tabel diperoleh F1;50;0,05  4,04 , karena

b) Statistik Uji: F  

F   4, 04 maka diperoleh

kesimpulan tolak H 0 . JKR 40   0,167 JK 240 Artinya 16,7% variasi variabel Y disebabkan oleh hubungannya dengan variabel X.

c) Koefisien determinasi r 2 



RANGKUMAN

1. Untuk dapat melakukan inferensi dalam analisis regresi, terutama jika sampel yang digunakan kecil diperlukan asumsi  i N  0,  2  . 2. Inferensi untuk 1 dan  0 dilakukan dengan menghitung selang kepercayaan

1 100% dari 0 dan 1 , yakni: b1  t   s  b1   1  b1  t   s  b1  ; n2 ; n2  2

b0  t 

 

  ; n2  2 

 2

s  b0    0  b0  t 

 

  ; n2  2 

s  b0 

1.45

Model Linear Terapan

dengan

s  b1  

KRS n

(X i 1



2 i  X)

s2 n

(X i 1

i

 X )2

1  X2 s  b0   KRS   n   n  ( X i  X )2    i 1

3. Untuk X  X h , inferensi untuk mean respons E Yh  dilakukan dengan menghitung selang kepercayaan 1   100% , yakni

Yˆh  t 

  ; n2  2 

 

s Yˆh  E Yh   Yˆh  t 

  ; n2  2 

 

s Yˆh

dengan 2 1 Xh  X     Yˆh  b0  b1 X h dan s Yˆh  KRS   n n 2 (Xi  X )    i 1 

 

4. Dalam peramalan observasi baru Yh , jika parameter  0 , 1 ,  diketahui dan

E Yh   0  1 X h , maka selang ramalan 1   100% untuk Yh adalah: E Yh   z   Yhbaru   E Yh   z  ,. 2

2

Jika parameter-parameter  0 , 1 dan  tidak diketahui, digunakan selang ramalan 1   100% :

Yˆh  t 

  ; n2  2 





s Yhbaru   Yˆhbaru   Yh  t 

  ; n 2  2 



s Yhbaru 



dengan

Yˆh  b0  b1 X h dan s

2

Y   h baru

2  1 Xh  X      KRS 1   n  n 2 (Xi  X )    i 1 

Jika ada m pengamatan baru, digunakan selang ramalan 1   100%

Yˆh  t 

  ; n2  2 

1.46





s Yhbaru   Yhbaru   Yˆ  t 

  ; n 2  2 





s Yhbaru  .

SATS4312/MODUL 1

dengan

s

2

Y   h baru

2 1 1 Xh  X      KRS    n m n 2 (Xi  X )    i 1 

5. Sebagai ukuran deskriptif, didefinisikan koefisien determinasi r2 

JK  JKS JKR JKS  1  ; 0  r2  1 JK JK JK

yang mengukur besarnya pengaruh variabel X terhadap variabel Y. Ukuran lain adalah koefisien korelasi, yakni: n

n

r

XY  i 1

n

 X i  Yi i 1

i 1

i i

2   n   X  n  i    X 2   i 1   i    n i 1

n 2   n   Y  n  i    Y 2   i 1   i    n i 1

; 1  r  1

Tanda dari r sesuai dengan tanda dari b1 .



TES FORMATIF 2

Pilih satu jawaban yang paling tepat dari beberapa alternatif jawaban yang disediakan! 1) Dari pasangan data X (variabel independen) dan Y (variabel respons), dihitung nilai sebagai berikut. n

X i 1

2 i

n

n

n

n

i 1

i 1

i 1

i 1

 121,  X i  20;  X iYi  82;  Yi 2  516;  Yi  40; n  40

Jika digunakan model regresi linear sederhana, maka nilai variansi s 2 sama dengan …. A. 4,48 B. 4,00 C. 4,49 D. 3,89

1.47

Model Linear Terapan

2) Lihat soal nomor 1, nilai s 2  b1  sama dengan …. A. 0,04938 B. 0,05531 C. 0,04310 D. 0,04792 3) Lihat soal nomor 1, selang kepercayaan 95% untuk 1 adalah …. A. 2, 495  1   1,505 B. 2,512  1   1, 488 C. 2, 437  1   1,563 D. 2, 402  1   1,598 4) Data berikut menunjukkan jumlah senyawa kimia yang larut dalam 100 gram air (Y) pada berbagai temperatur (X) dalam  0 C  . X Y

0 8

15 12

30 24

45 33

50 39

75 44

Dari data dapat dihitung nilai s 2 sama dengan …. A. 4,38 B. 5,48 C. 3,64 D. 4,84 5) Lihat soal nomor 4, nilai s 2  b1  sama dengan …. A. 0,0011 B. 0,0093 C. 0,0014 D. 0,0012 6) Lihat soal nomor 4, untuk uji H 0 : 1  0 terhadap H1 : 1  0, statistik penguji t  sama dengan …. A. 17,934 B. 13,794 C. 12,794 D. 4,794 7) Lihat soal nomor 4, untuk uji H 0 : 1  0 terhadap H1 : 1  0 

variansi dihitung statistik penguji F sama dengan …. A. 285,84 B. 190,17 C. 0,9794 D. 0,4948

1.48

dengan analisis

SATS4312/MODUL 1

8) Lihat soal nomor 4, selang kepercayaan 95% untuk E Yk  yang bersesuai dengan X k  35 adalah ….

A. 23, 46  E Yk   27,30 B. 23,71  E Yk   27,05 C. 23,55  E Yk   27, 21 D. 23,33  E Yk   27, 43 9) Lihat soal nomor 4, koefisien determinasi r 2 sama dengan …. A. 0,98 B. 0,90 C. 0,92 D. 0,95 Cocokkanlah jawaban Anda dengan Kunci Jawaban Tes Formatif 2 yang terdapat di bagian akhir modul ini. Hitunglah jawaban Anda yang benar. Kemudian gunakan rumus di bawah ini untuk mengetahui tingkat penguasaan Anda terhadap materi Kegiatan Belajar 2. Rumus: Jumlah jawaban Anda yang benar  100%

Tingkat penguasaan = 9 Arti tingkat penguasaan yang Anda capai: 90 - 100% = baik sekali 80 - 89% = baik 70 - 79% = cukup < 70% = kurang

Bila Anda mencapai tingkat penguasaan 80% atau lebih, Anda dapat meneruskan dengan modul selanjutnya. Bagus! Tetapi bila tingkat penguasaan Anda masih di bawah 80%, Anda harus mengulangi Kegiatan Belajar 2, terutama bagian yang belum Anda kuasai.

1.49

Kunci Jawaban Tes Formatif Tes Formatif 1 1) 2) 3)

4)

A C B

D

untuk X k  175, Yˆk  b0  b1 X k  n     X i  X Yi  Y   n  JKS   (Yi  Y ) 2   i 1 n i 1  ( X i  X )2 i 1

5) 6) 7) 8)

B A C B n

9)

B

b1 

 X i 1

 X Yi  Y 

n

(X i 1

10)

i

i

 X )2

D

Tes Formatif 2 1)

B

hitung dengan rumus s 2 

2)

A

gunakan rumus s 2  b1  

JKS n2 s2

n

(X i 1

3) 4) 5)

1.50

B B C

i

 X )2

2

dan s 2  KRS 

JKS n2

SATS4312/MODUL 1

b1 s  b1 

6)

B

statistik penguji t  

7)

B

statistik penguji F  

8)

D

9)

A

gunakan rumus r 2 

KRR KRS

JK  JKS JKR  JK JK

1.51

Daftar Pustaka Draper, N. & Smith, H. (1998). Applied Regression Analysis. New York: Wiley. Montgomery, D.C. & Peck, E. A. (1992). Introduction to Linear Regression Analysis. New York: Wiley. Neter, J., Wasserman, W. & Kutner, M. H. (1990). Applied Linear Statistical Models. Irwin.

1.52