Universitas Gadjah Mada Fakultas Teknik Departemen Teknik Sipil dan Lingkungan REGRESI DAN KORELASI. Statistika dan Probabilitas

Universitas Gadjah Mada Fakultas Teknik Departemen Teknik Sipil dan Lingkungan

REGRESI DAN KORELASI Statistika dan Probabilitas

Kurva Regresi 2

q 

Mencari garis/kurva yang mewakili serangkaian titik data

q 

Ada dua cara untuk melakukannya, yaitu q  q 

q 

Regresi Interpolasi

Aplikasi di bidang enjiniring q  q 

Pola perilaku data (trend analysis) Uji hipotesis (hypothesis testing)

http://istiarto.staff.ugm.ac.id

Regresi dan Korelasi

18-Oct-16

Kurva Regresi 3

q 

Pemakaian regresi q 

q  q 

Apabila data menunjukkan tingkat kesalahan yang cukup signifikan atau menunjukkan adanya noise Untuk mencari satu kurva tunggal yang mewakili pola umum perilaku data Kurva yang dicari tidak perlu melewati setiap titik data



18-Oct-16

Kurva Regresi 4

q 

Interpolasi q  q  q 

q 

Diketahui bahwa data sangat akurat Untuk mencari satu atau serangkaian kurva yang melewati setiap titik data Untuk memperkirakan nilai-nilai di antara titik-titik data

Extrapolasi q 

Mirip dengan interpolasi, tetapi untuk memperkirakan nilai-nilai di luar range titik-titik data



18-Oct-16

Kurva Regresi terhadap Data Pengukuran 5

q 

Analisis pola perilaku data q  q  q 

q 

Pemanfaatan pola data (pengukuran, eksperimen) untuk melakukan perkiraan Apabila data persis (akurat): interpolasi Apabila data tak persis (tak akurat): regresi

Uji hipotesis q 

Pembandingan antara hasil teori atau hasil hitungan dengan hasil pengukuran



18-Oct-16

Beberapa Parameter Statistik merepresentasikan sebaran data

6

q 

q 

Rata-rata aritmatik, mean

y=

1 yi ∑ n

Deviasi standar, simpangan baku, standard deviation

sy =

St n −1

q 

Varian (‘ragam’), variance

q 

Coefficient of variation


St = ∑ ( y i − y )

2

St n −1 s cv = y 100% y sy 2 =


18-Oct-16

Distribusi Probabilitas 7

frek

Distribusi Normal salah satu distribusi/sebaran data yang sering dijumpai adalah distribusi normal

X http://istiarto.staff.ugm.ac.id


18-Oct-16

8

Regresi Regresi linear: metode kuadrat terkecil Regresi hubungan tak-linear yang dilinearkan



18-Oct-16

Regresi: Metode Kuadrat Terkecil 9

q 

Mencari satu kurva atau satu fungsi (pendekatan) yang sesuai dengan pola umum yang ditunjukkan oleh data q  q 

Datanya menunjukkan kesalahan yang cukup signifikan Kurva tidak perlu memotong setiap titik data

q 

Regresi linear

q 

Regresi persamaan-persamaan tak-linear yang dilinearkan

q 

Regresi tak-linear



18-Oct-16

Regresi: Metode Kuadrat Terkecil 10

q 

Bagaimana caranya? q  q  q 

Program komputer Spreadsheet (Microsoft Excel) Program aplikasi: Matlab, Octave, Scilab



18-Oct-16

Regresi Linear 11

q 

Mencari suatu kurva lurus yang cocok menggambarkan pola serangkaian titik data: (x1,y1), (x2,y2) … (xn,yn)

yreg = a0 + a1x a0 : intercept a1 : slope, gradien q 

Microsoft Excel q  q 

INTERCEPT(y1:yn;x1:xn) SLOPE(y1:yn;x1:xn)



18-Oct-16

Regresi Linear 12

q 

Kesalahan atau residu (e) adalah perbedaan antara nilai y sesungguhnya (data y) dan y nilai pendekatan (yreg) menurut persamaan linear a0 + a1x.

e = y − y reg = y − a0 − a1x q 

Meminimumkan jumlah kuadrat residu tersebut 2 min !" Sr #$ = min !" ∑ ei 2 #$ = min !' ∑ ( y i − a0 − a1xi ) #( " $



18-Oct-16

Regresi Linear 13

q 

Bagaimana cara mencari koefisien a0 dan a1? q 

q 

Diferensialkan persamaan tersebut dua kali, masing-masing terhadap a0 dan a1. Samakan kedua persamaan hasil diferensiasi tersebut dengan nol.


∂Sr = −2∑ ( y i − a0 − a1xi ) = 0 ∂a0 ∂Sr = −2∑ ( y i − a0 − a1xi ) xi = 0 ∂a1


18-Oct-16

Regresi Linear 14

q 

Selesaikan persamaan yang didapat untuk mencari a0 dan a1

a1 =

n∑ xi y i − ∑ xi ∑ y i 2

n∑ xi −

(∑ x )

2

i

a0 = y − a1x q 

dalam hal ini, y dan x masing-masing adalah nilai y rata-rata x rata-rata



18-Oct-16

Contoh Regresi Linear 15

Tabel data

Grafik/kurva data xi 1 2 3 4 5

yi = f(xi) 0.5 2.5 2 4 3.5

5 6

6 7

6 5.5


8 6 y = f(x)

i 0 1 2 3 4

4 2 0 0

1

2

3

4

5

6

7

X Regresi dan Korelasi

18-Oct-16

Hitungan Regresi Linear 16

i

xi

yi

xi y i

xi2

yreg

(yi−yreg)2

(yi−ymean)2

0

1

0.5

0.5

1

0.910714

0.168686

8.576531

1

2

2.5

5

4

1.75

0.5625

0.862245

2

3

2.0

6

9

2.589286

0.347258

2.040816

3

4

4.0

16

16

3.428571

0.326531

0.326531

4

5

3.5

17.5

25

4.267857

0.589605

0.005102

5

6

6.0

36

36

5.107143

0.797194

6.612245

6

7

5.5

38.5

49

5.946429

0.199298

4.290816

∑=

28

24.0

119.5

140

∑=

2.991071

22.71429



18-Oct-16

Hitungan Regresi Linear 17

a1 =

n∑ xi y i − ∑ xi ∑ y i 2

n∑ xi −

(∑ x ) i

2

=

7 (119.5) − 28 (24) 7 (140) − (28)

2

= 0.839286

24 = 3.4 7 28 x= =4 7 a0 = 3.4 − 0.839286 ( 4) = 0.071429 y=



18-Oct-16

Hitungan Regresi Linear

Y

18

7 6 5 4 3 2 1 0

data regresi 0

1


2

3

4 X

5

6

7

8


18-Oct-16

Regresi Linear 19

q 

Kuantifikasi kesalahan q 

Kesalahan standar

sy x = q 

Sr n −2

2

Sr = ∑ (yi − a0 − a1xi )

Perhatikan kemiripannya dengan simpangan baku

sy =

St n −1


2

St = ∑ (y i − y )


18-Oct-16

Regresi Linear 20

q 

Beda antara kedua kesalahan tersebut menunjukkan perbaikan atau pengurangan kesalahan

r2 =

St − S r St

r=

(∑ x ) (∑ y ) n∑ x − (∑ x ) n∑ y − (∑ y )

koefisien determinasi (coefficient of determination)

n∑ xi y i −

i

2

2

i

i

i

2

i

2

koefisien korelasi (correlation coefficient)

i

−1 ≤ r ≤ +1 http://istiarto.staff.ugm.ac.id


18-Oct-16

Hitungan regresi linear 21

2

Sr = ∑ ( y i − a0 − a1xi ) = 2.991071 2

St = ∑ ( y i − y ) = 22.71429

r2 =

St − Sr 22.71429 − 2.991071 = = 0.868318 St 22.71429

r = 0.931836 −1 ≤ r ≤ +1 http://istiarto.staff.ugm.ac.id


18-Oct-16

22

Regresi Linearisasi persamaan tak-linear



18-Oct-16

Regresi Linear 23

q 

Linearisasi persamaan-persamaan tak-linear q  q  q  q 

Logaritmik menjadi linear Eksponensial menjadi linear Pangkat (polinomial tingkat n > 1) menjadi linear (polinomial tingkat 1) Dll.



18-Oct-16

Linearisasi Persamaan Tak-Linear 24

ln y

y

ln y = ln a1 + b1 x b1

y = a1 eb1x

1

ln a1 x http://istiarto.staff.ugm.ac.id

x Regresi dan Korelasi

18-Oct-16


log y

y

log y = log a2 + b2 log x

b2

y = a2 xb2 1

x http://istiarto.staff.ugm.ac.id

log x

logb2 Regresi dan Korelasi

18-Oct-16


1/y

y

y = a3

x b3 + x

1 a3

1 b3 + x 1 b3 1 = = + y a3 x a3 a3 x

1

b3 a3

x http://istiarto.staff.ugm.ac.id

1/x Regresi dan Korelasi

18-Oct-16

27

Korelasi Korelasi Korelasi serial (auto korelasi)



18-Oct-16

Koefisien Korelasi 28

r2 =

St − S r S = 1− r St St

St − S r Sr r= = 1− St St

2

St = ∑ (y i − y )

r = 1−

∑ (y − y ) ∑ (y − y ) i

q 

koefisien korelasi

2

reg

2

i

2

Sr = ∑ (yi − a0 − a1xi )

r = 1−

∑ (y − a − a x ) ∑ (y − y ) i

0

2

1 i 2

i



18-Oct-16


r = 1−

∑ (y i − a0 − a1xi ) ∑ (y − y )

2

i


2

r=

(∑ x ) (∑ y ) n∑ x − (∑ x ) n∑ y − (∑ y ) n∑ xi y i −

i

2

2

i

i

i

2

i


2

i

18-Oct-16


r=

(∑ x ) (∑ y ) n∑ x − (∑ x ) n∑ y − (∑ y ) n∑ xi y i −

i

sX ,Y !

i

2

2

∑ ( =

i

2

i

)(

X i − X Yi −Y n−1

kovarian X dan Y http://istiarto.staff.ugm.ac.id

i

)

sX =

2

i

∑(

Xi − X

n−1

)

2

simpangan baku X

sY =

∑(

Yi −Y

n−1

)

2

simpangan baku Y Regresi dan Korelasi

18-Oct-16


sX ,Y

r = rX ,Y = sX sY !

rX ,Y

= COVARIANCE. S(X,Y) ← = STDEV . S(X) × STDEV . S(Y)

MS Excel

r ← = CORREL(X ,Y ) ! X ,Y q 

koefisien korelasi antara variabel random X dan Y



18-Oct-16


q 

Pengertian koefisien korelasi q 

Koefisien korelasi menunjukkan tingkat keeratan hubungan linear antara suatu variabel random Y dan suatu variabel kedua yang merupakan fungsi linear dari satu atau lebih variabel(-variabel) X n 

Setiap variabel X dapat berupa variabel random atau bukan variabel random



18-Oct-16


q 

Nilai koefisien korelasi adalah −1 < rX,Y < 1 q 

rX,Y = ±1 rX,Y = 0

q 

Jika X dan Y tidak saling bergantung (independent), maka rX,Y = 0

q 

q 

menunjukkan hubungan linear sempurna antara X dan Y menunjukkan independensi (ketidak-gantungan) linear, namun dapat saja keduanya memiliki hubungan (kebergantungan) yang lain, yang tidak linear

Koefisien korelasi sampel dan populasi q 

rX,Y

koefisien korelasi sampel

q 

ρX,Y

koefisien korelasi populasi



18-Oct-16

Inferensi terhadap Koefisien Korelasi Populasi 34

q 

q 

Dua variabel random q  tak berkorelasi, ρX,Y = 0 q  berkorelasi, ρX,Y ≠ 0 Situasi q  Sampel yang diperoleh dari variabel random yang tidak berkorelasi n  n  q 

jarang menunjukkan nilai rX,Y = 0 koefisien korelasi sering rX,Y ≠ 0, karena kebetulan

Oleh karena itu perlu pengujian n  n 

untuk mengetahui penyimpangan koefisien korelasi dari nol tersebut benar disebabkan oleh kebetulan, atau penyimpangan tersebut terlalu besar untuk dikatakan sebagai akibat kebetulan



18-Oct-16

Inferensi terhadap ρ 35

q 

Uji hipotesis q  q 

H0: ρX,Y = 0 Ha: ρX,Y ≠ 0 12

statistik uji

" n−2 % t = r$ ' 2 #1−r & !


|t|> t1−α 2,n−2 !


H0 ditolak

18-Oct-16

Inferensi terhadap ρ 36

q 

Uji hipotesis q  q 

H0: ρX,Y = ρ* (ρ* konstanta) Ha: ρX,Y ≠ ρ* 12

|z|> z1−α 2 H0 ditolak statistik uji z = W −ω n−3 ! ! ⎡ 1+ r ⎤ $ 1+ρ ' 1 1 W = 2 ln⎢ ω = 2 ln& ⎥ = arctanh r ) = arctanhρ ⎣1− r ⎦ %1−ρ ( ! # & # & z z Rentang keyakinan ρ: l = tanh%%W − 1−α 21 2 (( u = tanh%%W + 1−α 21 2 (( n−3 (' n−3 (' %$ %$ ! !

(

q 

ukuran sampel n > 25

)(

)

(



)

(

)

18-Oct-16

Korelasi Serial 37

q 

Korelasi serial (serial correlation) q  q 

q 

dikenal pula sebagai autokorelasi (autocorrelation) yaitu korelasi antara data hasil pengukuran pada suatu waktu dengan data hasil pengukuran pada waktu sebelumnya elemen dalam sampel yang memiliki korelasi serial bukan elemen random (ingat definisi variabel random)



18-Oct-16

Korelasi Serial 38

q 

Pada korelasi serial, dengan demikian q 

q 

sampel berukuran n yang memiliki korelasi serial akan memberikan informasi yang lebih sedikit dibandingkan dengan informasi yang dimiliki oleh sampel random berukuran n sebagian informasi pada sampel yang memiliki korelasi serial dapat diperoleh dari atau telah diketahui dalam data hasil pengukuran pada waktu sebelumnya



18-Oct-16

Korelasi Serial 39

q 

Korelasi serial (serial correlation) q 

q 

Dapat pula dijumpai antara suatu pengukuran pada waktu tertentu dengan pengukuran pada waktu k periode waktu sebelumnya (terdahulu), k = 1,2, … Asumsi n 

Selang waktu antar pengukuran adalah sama (seragam)

n 

Sifat-sifat statistis proses atau peristiwa yang diukur tidak berubah terhadap waktu (bersifat permanen) ρ(k) koefisien korelasi serial populasi r(k) koefisien korelasi serial sampel

n 



18-Oct-16

Korelasi Serial 40

n−k

r(k) =

!

∑x x i=1

2 ) n−k # n−k & + x 2 −% x ( i %∑ i ( +∑ $ i=1 ' * i=1

r(k) = rX ,X = !

i

i+k

sX ,X i

i+k

sX sX i

i+k


i i+k

(

n−k

n−k

i=1 12

i=1

− ∑ xi ∑ xi+k

, n−k . . -

)

(n−k )

2 ) n−k # n−k & + x 2 −% x ( i+k %∑ i+k ( +∑ $ i=1 ' * i=1

r (k) ←

xi = X i − X i 12

(

, n−k . . -

)

x = X i+k − X i+k ! i+k

= COVARIANCE. S (X I , X i+k ) = STDEV . S (X I ) × STDEV . S (X i+k )

r ( k ) ← = CORREL (X I , X I+K ) Regresi dan Korelasi

18-Oct-16

Korelasi Serial 41

q 

q 

q  q 

r(0) = 1 korelasi suatu elemen data dengan dirinya sendiri adalah sama dengan satu semakin besar k, jumlah pasangan data untuk menghitung r(k) semakin sedikit; r(k) adalah nilai estimasi ρ(k) oleh karena itu, k << n jika ρ(k) = 0 untuk semua k, maka proses atau peristiwa atau populasi tersebut bersifat random murni



18-Oct-16

42

Regresi Regresi linear ganda (multiple linear regression)



18-Oct-16

Regresi Linear Ganda 43

q 

Misal variabel y adalah fungsi linear dua variabel bebas x1 dan x2

y = a0 + a1x1 + a2x2 q 

Koefisien a0, a1, a2 pada persamaan di atas dapat ditemukan dengan metode kuadrat terkecil kesalahan (error) n

Sr = ∑ ( y i − a0 − a1x1i − a2x2i )

2

i=1



18-Oct-16


q 

Diferensial parsial persamaan tersebut terhadap masing-masing koefisien adalah sbb.

∂Sr ∂a0 ∂Sr ∂a1 ∂Sr ∂a 2

n

(

= −2∑ yi −a0 −a1 x1i −a2 x2i i=1 n

q 

)

(

= −2∑ x1i yi −a0 −a1 x1i −a2 x2i i=1 n

(

= −2∑ x2i yi −a0 −a1 x1i −a2 x2i i=1


Samakan persamaan diferensial tsb dengan nol dan atur suku-suku dalam persamaan n

n

n

i=1

i=1

i=1

na0 + ∑ x1i a1 + ∑ x2i a2 = ∑ yi

) )

n

∑x i=1 n

1i

n

2

n

n

i=1

i=1 n

a0 + ∑ x1i a1 + ∑ x1i x2i a2 = ∑ x1i yi i=1 n

n

2 x a + x x a + x ∑ 2i 0 ∑ 1i 2i 1 ∑ 2i a2 = ∑ x2i yi i=1 i=1 i=1 ! i=1


18-Oct-16


q 

Persamaan-persamaan linear tersebut dapat dituliskan dalam bentuk persamaan matriks sbb.

⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣

n

n

∑x

n

1i

i=1

n

∑x

n

∑x

1i

i=1

∑x i=1

n

2i

∑x i=1


1i

2i

i=1

2 1i

i=1

n

∑x n

∑x

1i

x2i

i=1

x2i

n

∑x i=1

2 2

⎤ ⎧ ⎥ ⎪ ⎥⎧ ⎫ ⎪ a ⎥⎪ 0 ⎪ ⎪ ⎥⎪⎨ a ⎪⎬ = ⎪⎨ ⎥⎪ 1 ⎪ ⎪ ⎥⎪⎩ a2 ⎪⎭ ⎪ ⎥ ⎪ ⎥ ⎪⎩ ⎦

⎫ ∑ yi ⎪⎪ i=1 ⎪⎪ n ∑ x1i yi ⎬ ⎪ i=1 ⎪ n ∑ x2i yi ⎪⎪ i=1 ⎭ n


18-Oct-16

Contoh 46

q 

q 

Temukanlah persamaan linear yang mewakili pola sebaran data dalam tabel di samping ini.

x1

x2

y

0

0

5

2

1

10

Jawab

2.5

2

9

1

3

0

4

6

3

7

2

27

y = 5+ 4x1 − 3x2 r2 = 1



18-Oct-16

47



18-Oct-16

Universitas Gadjah Mada Fakultas Teknik Departemen Teknik Sipil dan Lingkungan REGRESI DAN KORELASI. Statistika dan Probabilitas

Recommend Documents