STK511 Analisis Statistika. Pertemuan 10 Analisis Korelasi & Regresi (1)

STK511 Analisis Statistika Pertemuan – 10 Analisis Korelasi & Regresi (1)

10. Analisis Korelasi & Regresi

Analisis Hubungan

Jenis/tipe hubungan Ukuran Keterkaitan

Skala pengukuran peubah

Pemodelan Keterkaitan anang kurnia ([email protected])

2


Relationship vs Causal Relationship • Tidak semua hubungan (relationship) berupa hubungan sebab-akibat • Penentuan suatu hubungan bersifat sebab-akibat memerlukan well-argued position dari bidang ilmu terkait

anang kurnia ([email protected])

3


Skala Pengukuran

Data/Variabel Categorical Nominal

Ordinal

Numeric Interval

Ratio

Hanya mengukur selisih tidak mampu mengukur Nisbah/rasio Ordered: A>B>C>D>E Hanya nama/lambang anang kurnia ([email protected])

Mampu Mengukur Nisbah/rasio 4


Alat Analisis Pola Hubungan Ditentukan oleh: 1. Skala pengukuran data/peubah 2. Jenis hubungan antar peubah Relationship

Numerik

Kategorik

Numerik

Korelasi PEARSON, SPEARMAN

Tabel Ringkasan Korelasi Biserial

Kategorik

Tabel Ringkasan Korelasi Biserial

SPEARMAN (ordinal), CHI SQUARE Korelasi Tetrachoric

Causal relationship X Y Numerik Kategorik

Numerik

Kategorik

Regresi Linier

ANOVA

Regresi Logistik, Diskriminan,

Regresi Logistik Classification and

Classification and Regression Tree, anang kurnia ([email protected]) Neural Network

Regression Tree Neural Network


Hubungan Keterkaitan Peubah Secara Linier

Analisis Korelasi


• tidak menggambarkan hubungan sebab akibat • nilainya berkisar antara -1 dan 1 • tanda (+) / (-)  arah hubungan – (+) searah; – (-) berlawanan arah

Peubah kontinu

Koefisien Korelasi (linier)

Peubah kontinu


7


Koefisien korelasi (linier)


8


Pola hubungan peubah vs koefisien korelasi


9


Parametrik vs Nonparametrik • LINEAR RELATIONSHIP

PEARSON CORRELATION

• TREND RELATIONSHIP  RANK CORRELATION

SPEARMAN CORRELATION


10


Parametrik vs Nonparametrik Pearson correlation

rxy  S xy  Sx 

Spearman correlation

S xy SxS y

 ( x  x )( y i

i

 y)

n 1

 (x  x) i

n 1

2

dan S y 

(y

i

 y)2

n 1

R = peringkat dari X S = peringkat dari Y = rataan peringkat X = rataan peringkat Y


11


Parametrik vs Nonparametrik

20

Pearson: rp = 0.95

16 12

Spearman: rs = 1

8 4 0 0

2

4


6

12


Pengujian Korelasi • Ho : tidak ada Korelasi ( = 0) • H1 : Ada korelasi ( ≠ 0) • Statistik uji : t

r n2 1 r 2

, db = n-2 Hipotesis nol lebih umum(Ho :  = p) : z (r )  z ( p) z 1 /( n  3)

1 (1  r ) z (r )  ln( ) 2 (1  r )


13


Ilustrasi: Hubungan antara usia dengan pendapatan 220

Correlations: Usia, Pendapatan

PENDAPATAN

200

Pearson correlation of Usia and Pendapatan = 0.693 P-Value = 0.000

180

160

140

120

100 52

56

60

64

68

72

76

USIA


14


Analisis Regresi Linier


Regresi Linier

Mendapatkan model hubungan antar peubah

Menganalisis hubungan/pengaruh antara satu atau lebih peubah numerik terhadap sebuah peubah numerik lain

Menduga nilai suatu peubah berdasarkan nilai peubah lainnya

Model Umum Y = b0 + b1X1 + b2X2 + … + bkXk + e Y  peubah respon X  peubah bebas b0, …, bk  koefisien regresi anang kurnia ([email protected])

16


Regresi Linier Pengertian regresi : 1. Tempat kedudukan nilai tengah dari peubah Y (peubah respon) untuk berbagai nilai atau selang nilai peubah X

(peubah bebas).  membentuk garis atau kurva 2. Usaha mengepas suatu fungsi atau kurva terhadap pencaran titik-titik pada sistem salib sumbu X-Y.  jika data terbatas, hanya ada beberapa nilai Y untuk setiap nilai X


17


Regresi Linier

• Plot antara umur vs berat badan • Plot antara kelembaban ruang penyimpanan vs kandungan air bahan


18


Regresi Linier : tujuan • Deskripsi data: penyarian data dan pembandingan • Gambaran hubungan sebab akibat: X menyebabkan Y dengan kontrol yang baik terhadap faktor lain

• Peningkatan ketelitian dalam pembandingan:  ANCOVA • Prediksi: memperkirakan nilai Y berdasarkan nilai X tertentu, diperlukan hubungan sebab akibat yang cukup tepat • Penyusunan model dugaan: pola hubungan antara peubah penjelas dengan peubah respon.


19


Model Regresi • Model Linier  peubah respon merupakan kombinasi linier dari parameter-parameter – Regresi Linier Sederhana Yi = 0 + 1Xi + i

– Regresi Linier Berganda Yi = 0 + 1X1i + … + kXki + i – Regresi Polynomial Yi = 0 + 1Xi + 2X2i + i • Model Non Linier  peubah respon bukan merupakan kombinasi linier dari parameter-parameter – Model Cobb-Douglas Yi = 0 Li1 Ki2 anang kurnia ([email protected])

20


Analisis Regresi Linier Sederhana • Perhatikan hubungan linier Y dengansatu X berdasarkan model Yi = 0 + 1Xi + i

0 adalah nilai Y ketika X = 0, sedangkan 1 adalah perubahan nilai Y untuk setiap perubahan 1 satuan X. anang kurnia ([email protected])

21


Penduga OLS (ordinary least squares) • Mencari penduga koefisien regresi sehingga jumlah kuadrat dari residual (error) sekecil-kecilnya. • Meminimumkan e2

• Merupakan penduga yang bersifat tak bias dan terbaik (minimum variance) jika error bersifat independently and identically distributed (iid).


22


Sedikit tentang OLS


23


Ilustrasi Model hubungan antara besarnya saldo di bulan tertentu dengan jumlah nasabah dari berbagai kantor cabang suatu bank 1,200

Persamaan Regresi Linier Y  349.79  0.093  X

1,000

SALDO

800

Konstanta/intersep Nilai Y saat X=0

600

400

Slope: Besar perubahan Y akibat kenaikan satuan X

200 0

2,000

4,000

6,000

8,000

10,000

JMLNASABAH anang kurnia ([email protected])

24


Ilustrasi Regression Analysis: Saldo versus Jumlah Nasabah The regression equation is Saldo = 350 + 0.0929 Jumlah Nasabah Predictor Constant Jumlah Nasabah S = 162.079

Coef 349.79 0.09286

SE Coef 61.81 0.01705

R-Sq = 67.9%

Analysis of Variance Source DF SS Regression 1 778763 Residual Error 14 367774 Total 15 1146537

T 5.66 5.44

P 0.000 0.000

R-Sq(adj) = 65.6%

MS 778763 26270

F 29.65


P 0.000

25


Uji dan Kebaikan Model Regresi

Bagaimana Pengujian terhadap model regresi ?? • parsial (per koefisien)  uji-t • bersama  uji-F (Anova) Bagaimana menilai kesesuaian model ?? R2  Koef. Determinasi (% keragaman Y yang mampu dijelaskan oleh X)


26


Uji Hipotesis

H0 : 1=0 vs H1: 10 ANOVA (Analysis of Variance)  Uji F n

n

n

i 1

i 1

i 1

2 2 2 ˆ ˆ ( y  y )  ( y  y )  ( y  y )  i  i  i i

JK total = JK regresi + JK error Keragaman total = keragaman yang dapat dijelaskan oleh model + keragaman yang tidak dapat dijelaskan oleh model Anova Sumber

db

JK

KT

F

Regresi

1

JKR

KTR

KTR/KTE

Error

n-2

JKE

KTE

Total

n-1

JKT anang kurnia ([email protected])

F~F

(1,n-2) 27


Uji Hipotesis

H0 : 1=0 vs H1: 10 Uji Parsial b1 Statistik uji: thit 

sb 1

2 ˆ ( y  y ) s  i i sb1  , s  2 ( x  x ) n2  i

Selang kepercayaan:

b1  t /1,( n2) sb 1 anang kurnia ([email protected])

28


Kebaikan Model • Dilihat dari nilai koefisien determinasi (R2)  merupakan ukuran seberapa besar keragaman dari peubah respon (y) dapat dijelaskan oleh model (peubah penjelas (x))

• Nilainya antara 0 - 100%, semakin mendekati 100% maka semakin bagus

SSR R  SST 2

SSE / dfe MSE R adj  1   1 SST / dft MST 2


29


Ilustrasi Regression Analysis: Saldo versus Jumlah Nasabah The regression equation is Saldo = 350 + 0.0929 Jumlah Nasabah Predictor Constant Jumlah Nasabah S = 162.079

Coef 349.79 0.09286

SE Coef 61.81 0.01705

R-Sq = 67.9%

T 5.66 5.44

P 0.000 0.000

R-Sq(adj) = 65.6%

R2 =67.9 artinya keragaman dari total saldo dapat diterangkan oleh besarnya jumlah nasabah sebesar 67.9% sedangkan sisanya diterangkan oleh faktor lain anang kurnia ([email protected])

30


Asumsi Model Regresi

• Nilai mean dari peubahpeubah Y dimodelkan secara akurat oleh fungsi linier dari peubah-peubah X. • Istilah galat acak, , diasumsikan menyebar normal dengan nilai tengah nol dan memiliki ragam yang konstan, 2. • Galat bersifat independen/saling bebas anang kurnia ([email protected])

31


Diagnostik Model • Melakukan pengecekan terhadap asumsi dapat dilakukan melalui evaluasi residual

Konsep Analisis Residual dalam Regresi anang kurnia ([email protected])

32


Pemeriksaan Pelanggaran Asumsi • Diagnostic Plots – Plot antara Standardized Residuals vs Predicted Values – Plot Peluang Normal (normal probability plot) dari Residual – Histogram Residual • Uji Formal


33


Pemeriksaan Pelanggaran Asumsi

Heterogen

Homogen


34



Masih terlihat pola, tidak linear?

Terlihat acak sisaannya


35



Tidak normal

Normal


36

Bersambung …….


37

STK511 Analisis Statistika. Pertemuan 10 Analisis Korelasi & Regresi (1)

Recommend Documents