Korelasi & Regresi
Oleh: Kukuh Winarso
Klasifikasi Pemodelan Regresi
REGRESI SKALA PENGUKURAN DATA PADA VARIABEL RESPON
NOMINAL, ORDINAL
INTERVAL, RASIO REGRESI LOGISTIK
REGRESI LINIER SEDERHANA
REGRESI ORDINAL/ MULTINOMIAL LOGIT
REGRESI LINIER BERGANDA
REGRESI BETA BINOMIAL
REGRESI PROBIT
REGRESI TOBIT
Probabilistic interpretation
0 0
Likelihood
20
Model Regresi: Satu variabel independent Regresi Linear Sederhana Lebih dari satu variabel independent Regresi Linear Berganda.
Tujuan: • • •
mendapatkan pola hubungan secara matematis antara variabel X dan Y mengetahui besarnya perubahan variabel X terhadap Y memprediksi Y jika nilai X diketahui
Tahap-Tahap dalam Analisis Regresi
1.
2.
Plot data identifikasi bentuk hubungan secara grafik Koefisien Korelasi identifikasi hubungan linear dengan suatu angka n
( xi
rxy
y)
i 1 n
( xi i 1
3. 4. 5.
x )( y i x) 2
, -1
n
( yi
rxy
y) 2
i 1
Pendugaan (estimasi) model regresi Evaluasi (diagnostic check) kesesuain model regresi Prediksi (forecast) suatu nilai Y pada suatu X tertentu
1
Korelasi :
. Hubungan
antara dua variabel (misal X dengan Y) n
rxy
X i Yi
S xy SxSy
nXY
i 1 n
X i 1
2 i
nX
2
n
Yi 2
nY
2
i 1
Nilai Korelasi: • Bila r = 0, atau mendekati 0, Berarti hubungan antara variabel independen dengan variabel dependen sangat lemah atau tidak terdapat hubungan sama sekali. • Bila r = 1, atau mendekati 1, Berarti terdapat hubungan positif antara variabel independen dengan variabel dependen yang sangat kuat. • Bila r = –1, atau mendekati – 1, Berarti terdapat hubungan negatif antara variabel independen dengan variabel dependen yang sangat kuat.
Pengujian Koefisien Korelasi ( r ) Hipotesis Ho : = 0 H1 : 0 Statistik Uji
to
r n 2 1 r2
dimana : r = koefisien korelasi n = jumlah sampel Daerah Penolakan Mencari nilai t tabel untuk tingkat signifikansi ( ) dan derajat bebas sebesar n-2. Sehingga | t0 | > t ( /2, n-2) Kesimpulan: Ho ditolak jika t0 > t ( Ho diterima jika t0 >
/2, n-2)
t
atau t0 < t
( /2,n-2)
( /2,n-2)
atau t0 < t (
/2,n-2)
Korelasi Korelasi Plot antara X dengan Y
n
40
rxy
X i Yi n X Y
S xy SxSy
i 1 n
X i 1
2 i
nX
2
n
Yi 2 nY
2
i 1
20
Uji Korelasi 0 0
10
20
to
r n 2 1 r2
[start Matlab demo lecture2.m]
REGRESI LINIER SEDERHANA
Yi
Xi
i
dimana: Yi = variabel dependent/respon/output Xi = variabel independent/prediktor/input/fixed = intercept i = slope/gradien/koefisien regresi i = unsur gangguan yang diasumsikan identik, independen dan berdistribusi normal atau 2) i ~ IIDN(0,
DENGAN Ordinary Least Squares (OLS):
Persamaan Regresi:
yˆi
ˆ
ˆX i
PENGUJIAN KOEFISIEN REGRESI SECARA SERENTAK HO : model tidak signifikan H1 : model signifikan Statistik Uji:
Tolak Ho, jika F-Rasio > F(1,n-2;
)
Pengujian Koefisien Regresi untuk
Problem: Regresi Linear Sederhana Bagaimana pengaruh harga terhadap sales suatu produk ? Dapatkah meramal sales suatu produk berdasarkan harganya ?
Input (X)
Harga Produk
Controllable Factors F1, F2, …, Fq
Process
(Model Regresi)
Z1, Z2, …, Zq
Biaya Iklan, Jumlah Outlet, Area Pemasaran dan faktor lain yang dapat dikontrol dalam kondisi TETAP
Output (Y)
Sales Produk
Uncontrollable Factors Harga Pesaing, Selera Konsumen, Kondisi Ekonomi Nasional (inflasi dll) dan faktor lain yang tidak dapat dikontrol dalam kondisi TETAP
13
Regresi Linier Temperature
40
20
26 24 22 20 30 40
20 0 0
30 20
10 10
20
10 0
0
Given examples Predict
given a new point [start Matlab demo lecture2.m]
Temperature
40
20
26 24 22 20 30
40
20 0 0
20
30
20
10
10 0
Prediction
0
Ordinary Least Squares (OLS) Error or “residual”
Observation Prediction
0 0
Sum squared error
20
Probabilistic interpretation
0 0
Likelihood
20
Minimize the sum squared error Sum squared error
Linear equation
Linear system
Problem : Data hasil pengamatan … Minggu
Sales (ribu unit)
Harga (ribu rupiah)
1.
10
1.3
2.
6
2.0
3.
5
1.7
4.
12
1.5
5.
10
1.6
6.
15
1.2
7.
5
1.6
8.
12
1.4
9.
17
1.0
10.
20
1.1
Pengamatan dilakukan dengan mengambil secara random data 10 minggu penjualan
(continued)
Plot antara Harga dan Sales
Problem : MINITAB output …
(continued)
MTB > Correlation 'Harga' 'Sales'. Pearson correlation of Harga and Sales = -0.863 P-Value = 0.001 MTB > Regress 'Sales' 1 'Harga' The regression equation is Sales = 32.1 – 14.5 Harga Predictor Constant Harga
Coef 32.136 -14.539
S = 2.725
SE Coef 4.409 3.002
R-Sq = 74.6%
T 7.29 -4.84
P 0.000 0.001
R-Sq(adj) = 71.4%
Analysis of Variance Source Regression Residual Error Total
DF 1 8 9
SS 174.18 59.42 233.60
MS 174.18 7.43
F 23.45
P 0.001
Model Regresi Linier Berganda Y Y
Yi
f( X ) f ( X1 , X 2 ,..., X n ) 0
1
X 1i
2
X 2i ...
k
X ki
i
dimana: Yi = variabel dependent/respon/output Xi = variabel independent/prediktor/input/fixed i = parameter/koefisien regresi i = unsur gangguan yang diasumsikan identik, independen dan berdistribusi normal atau 2) i ~ IIDN(0,
DENGAN Ordinary Least Squares (OLS):
PENGUJIAN KOEFISIEN REGRESI SECARA SERENTAK
PENGUJIAN KOEFISIEN REGRESI SECARA INDIVIDU
KOEFISIEN DETERMINASI
R
2
SSR x100% SST
2
1 (1 R 2 )
R
n 1 n k 1
x 100%
KEGUNAAN: • Mengukur ketepatan atau kecocokan suatu garis regresi yang diterapkan terhadap suatu kelompok data hasil observasi. Makin besar nilai R2 dikatakan model regresi semakin tepat atau cocok, sebaliknya makin kecil nilai R2 dikatakan model regresi tidak tepat untuk mewakili data hasil observasi. • Mengukur proporsi atau prosentase dari jumlah variasi Y yang dapat diterangkan oleh model regresi.
KOEFISIEN KORELASI PARSIAL ry1,2
ry 2,1
ry 1 ry 2r12 2 (1 ry22 )(1 r12 )
ry 2 ry 1r12 2 (1 ry21 )(1 r12 )
Korelasi parsial merupakan ukuran hubungan linier antara variabel Y dengan X1 dan X2 dibuat tetap atau sebaliknya. Nilai koefisien korelasi parsial ry1,2 artinya korelasi Y dengan X1 dikontrol dengan X2.
RESIDUAL
ei
IDENTIK
Yi
Yi
INDEPENDEN
DISTRIBUSI NORMAL
DISTRIBUSI NORMAL • Penerapan metode kuadrat terkecil (Ordinary Least Squares/OLS) tidak memerlukan / membuat asumsi apapun mengenai distribusi pada residualnya. Asumsi pada residual yang diperoleh diharapkan mempunyai nilai (rata-rata) nol, tak berkorelasi dan mempunyai varians konstan. Dengan adanya asumsi ini, penaksir OLS memenuhi beberapa sifat statistik yang diinginkan, seperti ketidakbiasan (unbiased) dan varians minimum. • Karena hal tersebut di atas dan tujuan penarikan kesimpulan mengenai persamaan regresi populasi, dalam konteks regresi biasanya resudal diasumsikan mengikuti distribusi normal. • Pengujian ini dilakukan untuk mengetahui apakah residual dari model berdistribusi normal dengan mean nol dan varians 2.
i
~ N (0,
2
)
PEMERIKSAAN DISTRIBUSI NORMAL
1. Tentukan residual ei dari persamaan regresi 2. Sortir ei dari urutan yang terkecil sampai yang besar 3. Hitung Pi yang sesuai dengan ei yang telah disortir
Pi
(i 0,5) 100% n
4. Plot Pi dengan ei Jika pola tersebut membentuk sudut mendekati 450, maka asumsi normal terpenuhi.
PEMERIKSAAN IDENTIK (HOMOSKEDASTISITAS)
HOMOSKEDASTISITAS HETEROSKEDASTISITAS
Apakah Y=Perubahan Laba Bank dipengaruhi Oleh:X1 = Gross Profit Margin X2 = Interest Margin on Loans X3 = Operating Efficiency Ratio X4 = Ratio Non Performing Loans to Total Loans Des criptive Statistics Perubahan Laba Bank Gros s Prof it Margin Interes t Margin on Loans Operating Ef f ic iency Ratio Ratio Non Perf orming Loans to Total Loans
Mean 1.19808 .29611 .12470 .96362
Std. Deviation 2.998614 .299745 .094526 .407539
.16785
.157325
N 104 104 104 104 104
Cor relations
Pearson Correlation
Sig. (1-tailed)
N
Perubahan Laba Bank Gros s Prof it Margin Interes t Margin on Loans Operating Ef f ic iency Ratio Ratio Non Perf orming Loans to Total Loans Perubahan Laba Bank Gros s Prof it Margin Interes t Margin on Loans Operating Ef f ic iency Ratio Ratio Non Perf orming Loans to Total Loans Perubahan Laba Bank Gros s Prof it Margin Interes t Margin on Loans Operating Ef f ic iency Ratio Ratio Non Perf orming Loans to Total Loans
Operating Ef f icienc y Ratio .972 .951 .915 1.000
Ratio Non Perf orming Loans to Total Loans .854 .967 .990 .881
Perubahan Laba Bank 1.000 .915 .873 .972
Gros s Prof it Margin .915 1.000 .984 .951
Interes t Margin on Loans .873 .984 1.000 .915
.854
.967
.990
.881
1.000
. .000 .000 .000
.000 . .000 .000
.000 .000 . .000
.000 .000 .000 .
.000 .000 .000 .000
.000
.000
.000
.000
.
104 104 104 104
104 104 104 104
104 104 104 104
104 104 104 104
104 104 104 104
104
104
104
104
104
b Model Summ ary
Change Statis tics Model 1
R .980 a
R Square .960
Adjusted R Square .959
Std. Error of the Estimate .610612
R Square Change .960
F Change 596.244
df 1
df 2 4
99
Sig. F Change .000
DurbinWats on 2.120
a. Predictors: (Constant), Ratio Non Perf orming Loans to Total Loans, Operating Ef f iciency Ratio, Gros s Prof it Margin, Interes t Margin on Loans b. Dependent Variable: Perubahan Laba Bank
ANOVAb Model 1
Regression Residual Total
Sum of Squares 889.232 36.912 926.144
df 4 99 103
Mean Square 222.308 .373
F 596.244
Sig. .000 a
a. Predictors: (Constant), Ratio Non Perf orming Loans to Total Loans, Operating Ef f icienc y Ratio, Gross Prof it Margin, Interest Margin on Loans b. Dependent Variable: Perubahan Laba Bank
Coe fficientsa
Model 1
(Constant) Gross Profit Margin Interest Margin on Loans Operating Efficiency Ratio Ratio Non Performing Loans to Total Loans
Unstandardized Coefficients B Std. Error -5.633 .373 .637 1.574 -37.410 6.611 8.680 .549 17.531
2.990
Standardized Coefficients Beta .064 -1.179 1.180
t -15.094 .405 -5.659 15.816
Sig. .000 .687 .000 .000
.920
5.864
.000
95% Confidence Interval for B Correlations Low er Bound Upper Bound Zero-order Partial -6.373 -4.892 -2.486 3.759 .915 .041 -50.527 -24.293 .873 -.494 7.591 9.769 .972 .846 11.599
23.463
.854
Part
.508
a. Dependent Variable: Perubahan Laba Bank
Persamaan Regresi: Y=-5,633 + 0,637X1 – 37,41X2 + 8,680 X3 + 17,531X4
Collinearity Statistics Tolerance VIF
.008 -.114 .317
.016 .009 .072
61.470 107.871 13.820
.118
.016
61.114
Histogram
Pemeriksaan
Dependent Variable: Perubahan Laba Bank
40
ASUMSI pada Error
Frequency
30
20
10
Mean = 8E-15 Std. Dev. = 0.98 N = 104
0 -4
-2
0
2
4
6
Regression Standardized Residual
Normal P-P Plot of Regression Standardized Residual
Scatterplot
Dependent Variable: Perubahan Laba Bank
Dependent Variable: Perubahan Laba Bank
1.0
Regression Studentized Residual
6
Expected Cum Prob
0.8
0.6
0.4
0.2
0.0 0.0
0.2
0.4
0.6
0.8
1.0
4
2
0
-2
-4
Observed Cum Prob -5.000
0.000
5.000
10.000
Perubahan Laba Bank
15.000
20.000
DAFTAR PUSTAKA Mason Robert D, 1996, Teknik Statistika untuk BISNIS & EKONOMI, Jilid I dan II, PT Gelora Aksara Pratama Spiegel, M.R., 1961, Theory and Problem of Statistics, McGraw-Hill. Company.
William Mendenhall dan James E.R., 1993, Statistik untuk Manajemen dan Ekonomi, penerbit Erlangga, Jilid I dan II. Suharyadi & Purwanto, S.K.2000. Statistika Untuk Ekonomi & Keuangan Modern, Salemba Empat.
T E R I M A K A S I H
