19/04/2016
Pertemuan 10 • Outline:
STATISTIKA INDUSTRI 2
– Multiple Linear Regression and Correlation – Non Linear Regression
• Referensi:
TIN 4004
Multiple Linear Regression
– Montgomery, D.C., Runger, G.C., Applied Statistic and Probability for Engineers, 5th Ed. John Wiley & Sons, Inc., 2011. – Walpole, R.E., Myers, R.H., Myers, S.L., Ye, K., Probability & Statistics for Engineers & Scientists , 9th Ed. Prentice Hall, 2012.
Multiple Linear Regression
• Terdiri atas lebih dari satu independent variable
• Terdiri atas lebih dari satu independent variable
• Metode yang digunakan untuk estimasi koefisien:
• Metode yang digunakan untuk estimasi koefisien:
– Least square estimation (metode kuadarat terkecil) – Normal equation (Persamaan Normal) – Matrix approach (Sistem Matriks)
Multiple Linear Regression
– Least square estimation (metode kuadarat terkecil) – Normal equation (Persamaan Normal) – Matrix approach (Sistem Matriks)
Multiple Linear Regression Estimator of Variance • Residual: – the difference between the observation 𝑦𝑖 dengan nilai 𝑦𝑖 –
1
19/04/2016
Multiple Linear Regression Estimator of Variance • Residual:
Multiple Linear Regression Estimator of Variance • Variance Estimator
– Contoh soal: Error atau Residual Sum of Squares
Multiple Linear Regression Estimator of Variance
Interval Keyakinan Bagi penduga B1 dan B2 Pengujian menggunakan distribusi t dengan derajat bebas (db) = n – m, Dengan contoh soal sebelumnya, dgn ∝ =5%, db = n – m = n – k -1 = 10 – 2 - 1 = 7, maka:
• Variance Estimator Contoh soal:
Interval keyakinan bagi penduga B1 adalah b1 – t(α/2, n-k-1).Sb1< B1 < b1 + t(α/2, n-k-1).Sb1 0,564 – (2,365)(0,303) < B1 < 0,564 + (2,365)(0,303) -0,153 < B1 < 1,281
𝜎 2 = 𝑠 2 =? ? ? ?
Interval keyakinan bagi penduga B2 adalah b2 – t(α/2, n-k-1).Sb2 < B2 < b2 + t(α/2, n-k-1).Sb2 1,099 – (2,365)(0,313) < B2 < 1,099 – (2,365)(0,313) 0,359 < B2 < 1,839 SI 2 - Regresi & Korelasi Berganda
Pengujian Parameter Koefisien Regresi Berganda Bertujuan untuk menentukan apakah ada sebuah hubungan linear antar variabel tidak bebas Y dengan variabel bebas X1, X2,… ,Xk. Ada 2 bentuk pengujian hipotesis bagi koefisien regresi berganda: 1. Pengujian hipotesis serentak 2. Pengujian hipotesis individual
Pengujian Hipotesis Serentak Merupakan pengujian hipotesis koefisien regresi berganda dengan B1 dan B2 serentak atau secara bersama-sama mempengaruhi Y. Pengujian Hipotesis individual Merupakan pengujian hipotesis koefisien regresi berganda dengan hanya satu B (B1 atau B2 ) yang mempengaruhi Y. SI 2 - Regresi & Korelasi Berganda
11
10
Pengujian Hipotesis Serentak Langkah-langkah pengujian: 1. Menentukan formulasi hipotesis » H0 : B1 = B2 = 0 (X1 dan X2 tidak mempengaruhi Y) » H1 : B1 B2 0 (X1 dan X2 mempengaruhi Y atau paling tidak ada X yang mempengaruhi Y 2. Menentukan taraf nyata () dan nilai F tabel » Taraf () dan nilai F tabel ditentukan dengan derajat bebas 1 = k dan 2 = n - k -1
F(1)(2) = ……. SI 2 - Regresi & Korelasi Berganda
12
2
19/04/2016
Pengujian Hipotesis Serentak - lanjutan Langkah-langkah pengujian: 3. Menentukan kriteria pengujian H0 diterima jika F0 ≤ F(1)(2) H0 ditolak jika F0 > F(1)(2) 4. Menentukan nilai uji statistik dengan tabel ANOVA Sumber Variasi
Jumlah Kuadrat
Derajat Bebas
Rata-rata Kuadrat
F0
Regresi (X1, X2) Error
JKR
k
JKR k
RKR RKE
JKE
n–k-1
JKE n - k -1
Total
JKT
n-1
SI 2 - Regresi & Korelasi Berganda
13
Pengujian Hipotesis Serentak - lanjutan KPB = (R2) = koefisien penentu atau koefisien determinasi berganda
𝑅2 =
𝑏1 𝑥1 𝑦 + 𝑏2 𝑥2 𝑦 𝑦2
5. Membuat kesimpulan Menyimpulkan apakah H0 diterima atau ditolak
SI 2 - Regresi & Korelasi Berganda
15
Pengujian Hipotesis Individual - lanjutan Langkah-langkah pengujian: 3. Menentukan kriteria pengujian H0 diterima jika t0 ≥ t (n-m) H0 ditolak jika t0 < t (n-m)
Pengujian Hipotesis Serentak - lanjutan JKT = ∑y 2 = ∑Y 2 - nY
2
JKR b1 x1 y b2 x2 y
atau
JKR = b1 (∑X 1Y - n X 1Y ) + b2 (∑X 2Y - n∑X 2 Y ) JKE = JKT - JKR
Selain menggunakan tabel ANOVA di atas, nilai Fo dapat pula ditentukan dengan menggunakan rumus:
F0
KPB 2 1 KPB (n 3)
Dimana: KPB = (R2) = koefisien penentu atau koefisien determinasi berganda n = jumlah sampel SI 2 - Regresi & Korelasi Berganda
14
Pengujian Hipotesis Individual Langkah-langkah pengujian: 1. Menentukan formulasi hipotesis H0 : Bi = 0 (tidak ada pengaruh Xi terhadap Y) H1 : Bi > 0 (ada pengaruh positif Xi terhadap Y) Bi < 0 (ada pengaruh negatif Xi terhadap Y) Bi ≠ 0 (ada pengaruh Xi terhadap Y) 2. Menentukan taraf nyata () dan nilai t tabel db = n – k – 1 SI 2 - Regresi & Korelasi Berganda
16
Latihan • Coba uji secara 2 arah parameter B1 dan B2 dengan menggunakan taraf nyata sebesar = 0,05 dari soal di atas secara individual maupun serentak!
4. Menentukan nilai uji statistik
5. Membuat kesimpulan SI 2 - Regresi & Korelasi Berganda
17
SI 2 - Regresi & Korelasi Berganda
18
3
19/04/2016
Jawab (pengujian individual) 1. Menentukan formulasi hipotesis H0 : B1 = 0 (tidak ada pengaruh X1 terhadap Y) H1 : B1 ≠ 0 (ada pengaruh X1 terhadap Y) Dan H0 : B2 = 0 (tidak ada pengaruh X2 terhadap Y) H1 : B2 ≠ 0 (ada pengaruh X2 terhadap Y)
Jawab (pengujian individual)- lanjutan 3. Menentukan kriteria pengujian H0 diterima jika ti < t (0,025;7) = 2,365 dan ti > t (0,025;7) = - 2,365 H0 ditolak jika ti > t (0,025;7) = 2,365 dan ti < t (0,025;7) = - 2,365
4. Menentukan nilai uji statistik Untuk uji B1
Untuk uji B2
2. Menentukan taraf nyata () dan nilai t tabel ∝ = 0,05 derajat bebas = 10 – 3 =7 t (0,025;7) = 2,365
SI 2 - Regresi & Korelasi Berganda
19
Jawab (pengujian individual)- lanjutan
SI 2 - Regresi & Korelasi Berganda
20
Multiple Linear Regression Correlation
5. Kesimpulan Karena t1 1,859 < 2,365 Maka terima hipotesis H0 : B1 = 0 Karena t2 3,511 > 2,365 Maka tolak Ho : B2 = 0 Berarti: tidak ada hubungan linier antara variabel X1 dgn Y ada hubungan linier antara variabel X2 dgn Y SI 2 - Regresi & Korelasi Berganda
21
Multiple Linear Regression Correlation • Coefficient of multiple determination 𝑅2
• Adjoint 𝑅2
Multiple Linear Regression Multicollinearity • strong dependencies among regressor variables 𝑥𝑗 – The estimates of the regression coefficients are very imprecise and affects the stability of the regression coefficients. – To detect: • Variance inflation factors > 1 • Significant F-test of significance of regression, but tests on the individual regression coefficients are not significant
4
19/04/2016
Multiple Linear Regression Uji Hipotesa • Uji Koefisien Subset
Multiple Linear Regression Uji Hipotesa • Uji Koefisien Subset
– Test the siginificance of a set of variables. Test contribution of new variables. – Menggunakan uji F Partial F-test – Area Penolakan: 𝒇 > 𝒇𝜶(𝒗𝟏=𝒓,𝒗𝟐=𝒏−𝒑) 𝒇= =
𝑺𝑺𝑹 (𝜷𝒋 |𝜷𝟎 , 𝜷𝟏 , … , 𝜷𝒋−𝟏 , 𝜷𝒋+𝟏 , … , 𝜷𝒌 )/𝒓 𝑺𝑺𝑬 /(𝒏 − 𝒑) (𝑺𝑺𝑹 𝜷𝟏 , 𝜷𝟐 , … , 𝜷𝒌 𝜷𝟎 −𝑺𝑺𝑹 𝜷𝒋 𝜷𝟎 )/𝒓 𝒔𝟐
– Contoh: Kasus Wire Bond Strength
𝒇=
𝟑𝟑. 𝟐/𝟐 = 𝟒. 𝟎𝟓 𝟒. 𝟏
General Linear Model (GLM) • GLM is the mathematical framework used in many common statistical analysis, including multiple regression and ANOVA – ANOVA is typically prsented as distinct from multiple regression but it IS a multiple regression
NOTE: partial F-test to a single variable = t-test
Characteristics of GLM • Linear, pairs of variables are assumed to have linear relations • Additive, if one set of variables predict another variable, the effect are thought to be additive • BUT! This does not preclude testing non-linear or non additive effects (by doing some transformations)
Analysis of Variance (ANOVA) • Appropriate when the predictors (independent variables) are all categorical and the outcome (dependent variable) is continous – Most common application is to analyze data from randomized experiments
• More specifically, randomized experiments that generate more than 2 means – If only 2 means thes use: • Independent t-test • Dependent (paired) t-test
5
19/04/2016
Nonlinear Regression Beberapa Jenis Nonlinear Regression: • Polynomial Regression Models – Bersifat curvilinear
• Logistic Regression
NONLINEAR REGRESSION
– For non normal distribution data, binary responses
TUGAS KELOMPOK • Cari kasus permasalahan yang diselesaikan dengan: – Multiple Linear Regression – Non Linear Regression
• Selesaikan dengan menggunakan software statistik • Interpretasikan hasil output software tersebut • Catatan: – Kasus yang digunakan tidak boleh sama antar kelompok
6