Pengenalan Pola. Regresi Linier

Pengenalan Pola Regresi Linier

PTIIK - 2014

Course Contents 1

Definisi Regresi Linier

2

Model Regresi Linear

3

Estimasi Regresi Linear

4

Studi Kasus dan Latihan

Definisi Regresi Linier  Regresi adalah membangun model untuk memprediksi nilai dari data masukan yang diberikan.  Prediksi berbeda dengan klasifikasi (catatan: dalam machine learning, klasifikasi dianggap sebagai salah satu jenis dari prediksi).  Klasifikasi digunakan untuk memprediksi label kelas/kategori.  Metode utama untuk melakukan prediksi : Membangun model regresi yaitu dengan mencari hubungan antara satu atau lebih variabel independen atau prediktor (X) dengan variabel dependen atau respon (Y).

Definisi Regresi Linier  Macam-Macam Analisis Regresi : • Linear and multiple regression. • Non-linear regression (neural networks, support vector machines). • Other regression methods : generalized linear model, Poisson regression, log-linear models, regression trees.

Model Regresi Linier  Model regresi linier sederhana mendefinisikan hubungan linier yang tepat antara nilai yang diharapkan atau rata-rata Y, variabel terikat Y, dan variabel independen atau prediktor X:

my|x= a+b x  Nilai yang diamati Realisasi Y (y) berbeda dari nilai yang diharapkan (my|x) dengan kesalahan yang tak dapat dijelaskan atau acak ():

y

= my|x +  = a+b x + 

Model Regresi Linier  Model Regresi Linier Sederhana :

y= a + b x + 

dengan

my|x=a+b x

 y adalah variabel respon (dependent), atau variabel yang ingin kita prediksi, x adalah variabel prediktor (independen) dan  adalah variabel tingkat kesalahan yang merupakan satu-satunya komponen acak dalam model regresi. a adalah titik potong garis regresi pada sumbu koordinat. b adalah besarnya gradien/kemiringan garis regresi.  my|x adalah mean dari y dengan syarat x telah ditentukan, atau disebut sebagai rata-rata bersyarat y.

Model Regresi Linier  Model Umum Regresi Linier :

y= a + b x + 

 Keterangan :  a dan b adalah parameter yang akan ditentukan nilainya untuk membangun persamaan regresi. Parameter tersebut tidak diketahui sebelumnya. Kita perkirakan nilainya dengan menghitung dari data yang ada.  b menunjukkan tingkat perubahan untuk setiap kenaikan nilai X.  X telah diketahui sebelumnya dan bernilai konstan.  Deviasi/Penyimpangan nilai  bersifat independent dan berdistribusi Normal  ~ N(0,2).  Hasil Estimasi Persamaan Regresi : y ˆ  b b x 0

1

Visualisasi Regresi Linier Y

LINE assumptions of the Simple Linear Regression Model

my|x=a + b x

y Identical normal distributions of errors, all centered on the regression line.

N(my|x, y|x2)

x

X

 Hubungan antara X dan Y adalah Stright-Line (linear).  Nilai-nilai variabel X independen diasumsikan tetap (tidak acak), satu-satunya keacakan dalam nilai-nilai Y berasal dari kesalahan   Kesalahan  tidak berkorelasi (yaitu Independent) dalam pengamatan berturut-turut. Kesalahan  biasanya didistribusikan dengan mean 0 dan varians 2 yaitu: ~ N(0,2)

Estimasi Regresi Linier  Estimasi Persamaan Umum Regresi : yˆ  b0  b1 x  Menghitung sum of squared errors (SSE): n

n

i 1

i 1

2

SSE   ( yi  yˆ i ) 2   y  b0  b1 x 

 Metode least squares/ kuadrat terkecil memberikan kita hasil estimasi "terbaik" untuk kita set pada data sampel.  Metode least squares / kuadrat terkecil memilih nilai-nilai b0 dan b1 untuk meminimalkan sum of squared errors (SSE).  y - b1  x  n  xy -  x  y   b 0  y  b1 x  b1  2 2 n n  x   x 

Y

.

yi Error ei  yi  yˆi

yˆi

yˆ  a  bx

{

yˆ

the predicted value of Y for x

X

xi

the fitted regression line

Y

Y

Data Three errors from the least squares regression line X

X Y

e

Three errors from a fitted line X

Errors from the least squares regression line are minimized X

Contoh Studi Kasus  Perhatikan data biaya iklan yang digunakan (X) dan hubungannya dengan Tingkat penjualan (Y) diberikan dalam dataset berikut : No

X

Y

1

1250

41

2

1380

54

3

1425

63

4

1425

54

5

1450

48

6

1300

46

7

1400

62

Tentukan persamaan Regresinya!



Penyelesaian :  Mengestimasi least squares/kuadrat terkecil dari koefisien Regresi :

 x  9630  x  13280650  y  368  xy  508695 n  xy   x  y 7(508695)  (9630)(368) b    0.075 n  x  ( x ) 7(13280650)  (9630) n7

1

b0

2

2

2

2

 y - b  x  368  0.075(9630)     50.3125 1

n

7

yˆ  b0  b1 x ˆ  0.075x - 50.3125  Hasil Estimasi Persamaan Regresinya adalah : y

Latihan Individu 

Perhatikan dataset berikut : No

(X)

(Y)

1

40

450

2

52

480

3

60

425

4

50

420

Tentukan persamaan Regresinya dan hitung SSE-nya!

[email protected] 081 331 834 734 / 088 160 127 40