Pemodelan tujuan
“The model should be complex enough to fit the data well,”
“but simpler models
are easier to interpret”
Study
Confirmatory
Exploratory
How Many Predictors Can You Use?
Strategi Pemilihan Model
Strategi pemilihan model
• Evaluasi variabel bebas : Ideal : 10 respon untuk 1 prediktor
Example : Jika n = 1000 hanya ada 30 pengamatan dengan Y = 1 Idealnya hanya ada≤ 3 prediktor
Prediktor yang banyak rentan dengan kasus MULTIKOLINIERITAS
CONTOH KASUS
• Studi mengenai faktor yang mempengaruhi banyaknya satellite kepiting betina.
X
• Berat • Lebar cangkang • Warna 1 = agak terang 2 = sedang 3 = agak gelap 4 = gelap • Kondisi Capit 1 = kedua-duanya baik, 0 selainnya 2 = salah satunya cacat, 0 selainnya
Y
1 = memiliki satellite ≥ 1 0 = tidak memiliki satellite
: MODEL LOGITNYA : Menggunakan peubah boneka
Logit [P(Y=1)] = α +β1Weight +β2Width + β3C1 + β4C2 + β5C3 + β6S1 + β7S2
X 1 = Berat X2 = Lebar Cangkang C1 = 1 untuk warna agak terang, 0 selainnya C2 = 1 untuk warna sedang, 0 selainnya C3 = 1 untuk warna agak gelap, 0 selainnya S1 = 1 untuk kondisi capit yang kedua-duanya baik, 0 selainnya S2 = 1 untuk kondisi capit yang salah satunya jelek, 0 selainnya
Parameter
HASIL ANALISIS Estimate
SE
Intercept
-9.273
3.838
Color (2)
1.506
Color (1) Color (3)
Spine (1)
1.609
0.936
1.120
0.593
-0.400
0.567 0.503
Spine (2)
-0.496
0.629
Width
0.263
0.195
Weight
0.826
0.704
Testing Global Null Hypothesis: BETA=0 • Test Chi-Square Likelihood Ratio 40.5595 Score 36.3085 Wald 29.4758
DF 7 7 7
Pr > ChiSq <.0001 <.0001 0.0001
Uji likelihood-ratio (simultan)
• Hipotesis Uji H0 : β1 = · · · = β7 = 0. H1 : minimal ada βi ≠ 0, i = 1, 2,…,7 • Statistik Uji • G = −2(L0 − L1) = 40.6 db = 7, Pvalue < 0.0001. • Yang berarti tolak H0 didapatkan kesimpulan bahwa minimal ada 1 prediktor yang mempengaruhi banyaknya satellite pada kepiting betina.
Parameter
UJI PARSIAL (WALD) Estimate
Std Error
Wald Chi Square
Pr> Chisq
Intercept
-9.273
3.838
5.835
0.0157
Color (2)
1.506
0.567
7.063
0.0079
Color (1) Color (3)
Spine (1)
1.609 1.120
0.593
2.959 3.565
-0.400
0.503
0.634
0.826
0.704
1.379
Spine (2)
-0.496
Width
0.263
Weight
0.936
0.629
0.195
0.0854 0.0590
0.4259
0.623
0.4301
1.813
0.1781
0.2402
Uji Parsial
lanjutan
Catatan : • Walaupun secara simultan hasilnya signifikan, tetapi secara parsial hanya color yang sedang yang signifikan, ini mengindikasikan adanya multikolinieritas. • Telah diuji dan dibuktikan bahwa width berpengaruh signifikan terhadap model, sehingga variabel width digunakan untuk analisis. Sedangkan variabel weight dibuang. • weight and width have a strong correlation (0.887). For practical purposes they are equally good predictors, but it is nearly redundant to use them both. • width (W), Color (C) dan spine (S).
SELEKSI MODEL
• Stepwise untuk menyeleksi variabel prediktor yang masuk dalam model : 1.Forward : Menyeleksi satu persatu variabel yang masuk dalam model secara sequential 2. Backward : Dimulai dengan memasukkan semua variabel prediktor, kemudian dibuang satu persatu secara sequential, sampai didapatkan model yang paling layak digunakan
CONTOH KASUS : METODE BACKWARD
• Data Kepiting
Model
Prediktor
Deviance
df
AIC
1
C*S+C*W+S*W
173.7
155
209.7
3a
C+S
2
3b
C+S+W
194.4
C
212.1
C+W
4b 5 6
208.8
S+W
3c
4a
186.6
166
167
200.6
220.8
Model Banding
Beda Deviance
(2)-(1)
12.9 (df=11) 7.8 (df=3)
-
(3a)-(2)
169
202.4
(3b)-(2)
169
220.1
(4a)-(3c)
24.6 (df=1)
(5)-(3c)
0.5 (df=2)
187.5
168
W
194.5
171
198.5
(4b)-(3c)
None
225.8
172
227.8
(6)-(5)
C = dark + W
188.0
22.2 (df=1)
170
197.5
194.0
(3c)-(2)
0.9 (df=2) 7.0 (df=3)
37.8 (df=2)
Memilih model l.
UJI signifikansi MODEL : Hipotesis Ujinya : Ho : model sederhana lebih baik Ha : model Yang lebih Lengkap yang lebih baik Model 2 (C+S+W) Vs Model 1 (C*S+C*W+S*W)
Beda Deviance = 186.6 - 173.7 = 12.9 db = 166-155 = 11, P-value = 0.30, Tolak Ha : Tidak diperlukan interaksi pada semua factor dalam model
Model 4b (W) Vs Model 3c ( C+W)
Beda deviance = 194.5 - 187.5 = 7.0 Db = 171-168 = 3, P-value = 0.07 Tolak Ha : untuk model ini tidak perlu memasukan variabel Color
MEMILIH model lanjutan
• Akaike information criterion (AIC) AIC = -2 (log likelihood – jumlah parameter dalam model)
= -2 log likelihood + 2 (jumlah parameter dalam model)
Model C + W didapat -2 log likelihood = 187.5 Jumlah parameter 5 ( 1 intercept, width, dan 3 color), AIC = 187.5 + 2(5) = 197.5 Model yang lebih sederhana C = dark + W didapat -2 log likelihood = 188 Jumlah parameter 3 ( 1 intercept, color, width) AIC = 188 + 2(3) = 194.0
TINGKAT KEBAIKAN PREDIKSI MODEL
• TABEL KLASIFIKASI
ŷ = 1 ketika πi > π o dan ŷ =0 ketika πi ≤ π o untuk beberapa nilaicut off pada π 0
Untuk model (C + W)sebagai prediktor, dari data 173 kepiting sebanyak 111 memiliki satellite dengan proporsi sampel = 111 / 173 = 0.64.
Uji Diagnostik
• Semakin sensitif uji diagnostik, semakin besar kemungkinan Anda akan mengklasifikasikan individu dengan penyakit sebagai positif. • Semakin spesifik uji diagnostik, semakin besar kemungkinan Anda akan mengklasifikasikan individu tanpa penyakit sebagai negatif. • Agar uji diagnostik untuk menjadi akurat, uji tersebut HARUS sensitive DAN spesifik.
Hasil uji
Tabel Uji Diagnostik Positif
Negatif
Ya
Sakit
TP (a) FN(c)
Tidak FP(b)
TN(d)
a= TP=True Positive b=FP = False Positive c =FN = False Negative d= TN = True Negative
Sensitivitas = proporsi pasien dengan penyakit yang memiliki hasil tes positif = a / (a + c) Spesifisitas = proporsi pasien tanpa penyakit yang memiliki hasil tes negatif = d / (b + d) Positif Predictive Value (PPV) = proporsi pasien dengan hasil tes positif yang memiliki penyakit = a / (a + b)
Negatif Nilai prediktif (NPV) = proporsi pasien dengan hasil tes negatif yang tidak memiliki penyakit = d / (c + d)
• A classification table has limitations: It collapses continuous predictive values πˆ into binary ones. • The choice of π0 is arbitrary. • Results are sensitive to the relative numbers of times that y = 1 and y = 0.
PREDIKSI MODEL
• Table klasifikasi π0 = 0.50 dan π0 = 0.64
TABEL KLASIFIKASI
lanjutan
• Sensitivitas = P yˆ 1 | y 1 • Spesifisitas = P yˆ 0 | y 0 • Ketika π0 = 0.642 dugaan sensitivitasnya = 74 / 111 = 0.667 dan dugaan spesifisitasnya = 42/62 = 0.677. • Proporsi keseluruhan untuk kebenaran klasifikasi • = (74 + 42) / 173 = 0.671
Kurva ROC
• ROC menggambarkan hubungan antara sensitivitas dan spesifisitas (lihat slide berikutnya). ROC berhubungan sensitivitas disumbu x dan 1-spesifisitas pada sumbu y.
Kurva ROC (A receiver operating charateristic)
1 - Specificity
ROC curve for the model for the horseshoe crabs using width and color as predictors
• Ketika π0 mendekati 0, hampir semua prediksi y = 1;
sensitivitas dekat 1, spesifisitas dekat 0, dan titik untuk (1 spesifisitas, sensitivitas) memiliki koordinat dekat (1, 1).
• Ketika π0 mendekati 1, hampir semua prediksi y = 0;
sensitivitas dekat 0, spesifisitas dekat 1, dan titik untuk (1 spesifisitas, sensitivitas) memiliki koordinat dekat (0, 0).
• Untuk spesifisitas, daya prediksi yang lebih baik adalah yang memiliki sensitivitas lebih tinggi.
• Jadi, semakin baik daya prediksi, semakin tinggi kurva ROC.
• When π0 = 0.642, specificity = 0.68, sensitivity = 0.67, and the point plotted has coordinates (0.32, 0.67). • The area under the ROC curve is identical to the value of a measure of predictive power called the concordance index. • Consider all pairs of observations (i, j ) such that yi = 1 and yj = 0. • The concordance index c estimates the probability that the predictions and the outcomes are concordant, which means that the observation with the larger y also has the larger πˆ .
• A value c = 0.50 means predictions were no better than random guessing. This corresponds to a model having only an intercept term. Its ROC curve is a straight line connecting the points (0, 0) and (1, 1). • For the horseshoe crab data, c = 0.639 with color alone as a predictor, 0.742 with width alone, 0.771 with width and color, and 0.772 with width and an indicator for whether a crab has dark color.
ilustrasi
Sumber: https://rossisanusi.files.wordpress.com
Gambar A menunjukkan bahwa dengan titik cut-off dari CK> = 280 IU, sensitivitas sedikit rendah sementara spesifisitas tinggi.
Gambar B menunjukan bahwa dengan cut-off point >=80 IU, sensitivitas dan spesifisitas tinggi.
Sumber: https://rossisanusi.files.wordpress.com
Gambar C menunjukkan bahwa dengan cut-off point >=40 IU, sensitivitas tinggi dan spesifisitas agak rendah. Intinya, cut-off point yang dipilih menentukan sensitivitas dan spesififitas tes
Ketepatan (akurasi) keseluruhan tes diagnostik dapat diterangkan oleh luasnya area di bawah kurva ROC; makin luas area makin bertambah baik hasil tesnya (terbaik adalah area ROC pada Gambar B).
Sumber: https://rossisanusi.files.wordpress.com
Choose Sensitive or Specific Test?
• Sebuah uji yang ideal sangat sensitif dan spesifik. Namun, karena baik sensitivitas dan spesifisitas yang dibingkai tabel kontingensi 2x2, kenaikan sensitivitas akan menyebabkan penurunan spesifisitas, dan sebaliknya. • Pilih tes yang sangat sensitif jika pengobatan yang efektif tersedia untuk TP(mis tuberkulosis,syphillis, dll). Selain menjadi efektif, perawatan ini mungkin murah, dan non-ekspansif, sehingga efek samping diabaikan.
• Di sisi lain, temuan FN akan merugikan pasien dan komunitas yang lebih besar dan menempatkan mereka pada risiko tinggi untuksuatu penyakit karena mereka tidak diobati dengan tersedia pengobatan yang efektif. • Pilih uji yang sangat spesifik jika tes invasif, mahal, dan mengakibatkan efek samping banyak (kemoterapi misalnya untuk kanker) untuk temuan TN, sementara temuan FP akan menstigmatisasi pasien (mis HV / AIDS) Sumber: https://rossisanusi.files.wordpress.com
PEMERIKSAAN MODEL
• Uji Likelihood-ratio yaitu : membandingkan model yang sederhana dengan model yang lebih kompleks Model kompleks kemungkinan mengandung efek non linier
PERBANDINGAN MODEL
Mis : X = width sebagai prediktor Modelnya : logit[π(x)] = α + βx Dibandingkan dengan unsur Kuadrat Modelnya : logit[ (x)] = α + β1x + β2x 2 Hipotesis Uji : Ho : β2 = 0 Ha : β2 ≠ 0
• Statistik Uji : • Uji Likelihood Ratio =0.83 dengan db=1, P-Value = 0.36 Kesimpulan : Terima Ho yang artinya Model sederhana lebih baik atau tidak perlu menggunakan unsur kuadrat dalam model.
GOODNESS Of FIT dan DEVIANCE
• Deviance dapat dicari dengan rumus : G2(M) = 2 observed [log(observed/fitted)] Statistic pearson dengan rumus : X2(M) =(observed − fitted)2/fitted dengan; M = model yang diduga
CONTOH KASUS
Suatu studi ingin mengetahui apakah AZT dapat memperlambat gejala AIDS
Logit() = -1.074 – 0.720X + 0.056z
• Peluang gejala AIDS-nya akan terus meningkat bagi subjek yang menggunakan AZT secepatnya yaitu : • Proporsi Ras putih yang menggunakan AZT Proporsi = 14/107 = 0.131 Peluangnya = 0.131/(1 - 0.131) = 0.150 Karena ada 107veteran kulit putih yang menggunakan AZT maka Dugaannya : 107 (0.150) = 16 Dugaan veteran yang gejala AIDSnya tidak meningkat = 107 (0.85) = 91.
• G2 = 1.38 dan X2 = 1.39. • G2 dan X2 yang kecil mengindikasikan bahwa model yang didapatkan cocok.
RESIDUAL MODEL LOGIT
CONTOH KASUS
Pelamar yang diterima (Y), gender (G) dan Departemen (D). nik adalah Jumlah gender i dalam departemen k, Yik adalah jumlah pelamar yang lulus dan πik adalah peluang sukses.
contoh departemen astronomi menerima 6 wanita dengan standar deviasi = 2.87 departemen memiliki standar residual yang paling besar yang diduga oleh model.
•the model may be inadequate, perhaps because a gender effect exists in •some departments or because the binomial assumption of an identical probability •of admission for all applicants of a given gender to a department is unrealistic. Its •goodness-of-fit statistics are G2 = 44.7 and X2 = 40.9, both with df = 23. This •model fits rather poorly (P-values = 0.004 and 0.012).
• Departments with large standardized residuals are responsible for the lack of fit.
• Significantly more females were admitted than the model predicts in the Astronomy and Geography departments, and fewer were admitted in the Psychology department. • Without these three departments, the model fits adequately (G2 = 24.4,X2 = 22.8, df = 20).
• For the complete data, next we consider the model that also has a gender effect. It does not provide an improved fit (G2 = 42.4,X2 = 39.0, df = 22),
DIAGNOSTIK PENGARUH Identifikasi pengamatan berpengaruh dapat dilakukan dengan statistic D f beta, DifChisq, dan C bar (mirip dengan cook’s distance pada regresi linear).
Contoh kasus
• Suatu studi dengan subyek pria berusia 40-59 digolongkan : • x = tekanan darah • y = sakit jantungnya meningkat atau tidak selama periode pengamatan. • Πi = peluang sakit jantung untuk tekanan darah kategori i • Modelnya : • logit(πi ) = α + βxi • xi memiliki skor (111.5, 121.5, 131.5, 141.5, 151.5, 161.5, 176.5, 191.5)
HASIL ANALISIS
• Untuk data ini didapatkan G2 = 5.9, X2 = 6.3 dengan df = 6 tidak mengindikasikan lack of fit ( ketidakcocokan model).
