22/10/2012
Penentuan Batas Kelulusan (Standard Setting) UKDI
Gandes Retno Rahayu * Komite Bersama Uji Kompetensi Dokter Indonesia * Bagian Pendidikan Kedokteran Fakultas Kedokteran UGM
pass
fail
competent incompetent
Avoid false positive or false negative
1
22/10/2012
A standard is a statement about whether performance is good enough for a particular purpose
The standard defines the boundary between passing and failing; separates candidates who are competent from those who are not competent The numerical answer to: “How much is enough?” “How good is good enough?”
A Policy Decision The standard is based on judgments about examinees‟ performances. Judgments are an expression of our professional, social and educational values.
2
22/10/2012
C H A R A C T E R I S T I C S
The method has to be: Defensible Credible Supported by a body of evidence Feasible Acceptable to all stakeholders
6 Langkah Penentuan Batas Kelulusan 1. Menentukan tipe standar 2. Menentukan metode penentuan nilai batas kelulusan 3. Memilih „judges‟ 4. Proses penentuan batas kelulusan oleh „judges‟ 5. Menghitung batas kelulusan 6. Menentukan follow up (Norcini, 2003)
3
22/10/2012
1. Menentukan tipe standar
• Relative standards • Norm-referenced • Patokan Acuan Normal / PAN
• Absolute standards • Criterion-referenced • Patokan Acuan Baku / PAB
Relative standards
Absolute standards
Features • Dinyatakan dalam jumlah atau persentase peserta yang lulus (mis: 100 peserta terbaik, 30% terbaik) • Performan seorang peserta tergantung pada performan peserta lain • Menstimulus kompetisi • Lebih mudah dilakukan
• Dinyatakan dalam persentase jawaban benar (mis: 65% jawaban benar)
• Tidak tepat untuk ujian berbasis kompetnsi
• Tepat untuk ujian berbasis kompetensi
• Performan seorang peserta tidak tergantung pada performan peserta lain • Menstimulus kolaborasi • Lebih sulit dilakukan
4
22/10/2012
2. Menentukan metode penentuan nilai batas kelulusan Relative standards
Relative methods
Absolute standards
Absolute methods 1. Keputusan didasarkan pada item soal 2. Keputusan didasarkan pada peserta ujian
Compromise Methods Contoh Hofstee’s method
2. Menentukan metode penentuan nilai batas kelulusan Relative standards
Contoh relative method Five Scale Type 1: A: Above M + 1.5SD B: Between M + 0.5SD and M + 1.5SD C: Between M – 0.5SD and M + 0.5SD D:Between M – 1.5SD and M – 0.5SD E: Below M – 1.5SD
5
22/10/2012
2. Menentukan metode penentuan nilai batas kelulusan Absolute standards
Contoh: Absolute methods 1. Keputusan didasarkan pada item soal: Metode Angoff dengan berbagai modifikasi Metode Ebel 2. Keputusan didasarkan pada peserta ujian Contrasting Group Method
3. Memilih „judges‟ •
Kredibilitas nilai batas kelulusan sangat tergantung pada kredibilitas panel ‘judges‟, sehingga perlu diperhatikan:
1. Kapabilitas, komitmen dan kredibilitas judges 2. Aspek keterwakilan dari judges
6
22/10/2012
Step: 4. Proses penentuan batas kelulusan oleh „judges‟ 5. Menghitung batas kelulusan 6. Menentukan follow up Dijelaskan secara detail dalam sesi-sesi selanjutnya bersama penjelasan metode Angoff dan Ebel
Penentuan Batas Kelulusan dengan Modifikasi Metode Angoff
Gandes Retno Rahayu * Komite Bersama Uji Kompetensi Dokter Indonesia * Bagian Pendidikan Kedokteran Fakultas Kedokteran UGM
7
22/10/2012
Versi 1
Langkah awal • Memilih panel juri / judges dengan baik • Panel juri mendiskusikan tentang: ▫ Tujuan ujian ▫ Karakteristik peserta ujian ▫ Adequate/inadequate knowledge • Panel juri mendiskusikan dan menyepakati apa yang disebut dengan borderline group /minimally competent candidates
8
22/10/2012
Contoh definisi Borderline Group UKDGI • Mahasiswa yang lulus pada tahap akademik melewati batas masa studi. • Mahasiswa yang perlu kasus lebih banyak untuk mencapai standard kompetensi. • Mahasiswa yang ujian tertulis di setiap departemen biasanya mengulang sampai 2x. • Peserta UKDGI retaker yang kedua. • Peserta UKDGI baru (first taker) yang lulusan lama. • Mahasiswa dengan IPK 2.00-2.49 atau 2.50-2.74 (tergantung kondisi di institusinya). • Mahasiswa yang nilai ujiannya berada antara C dan D.
Definisi Borderline UKDI ▫ Masa studi tidak tepat waktu (plus 3-4 semester) ▫ IPK Sked dan profesi = syarat minimal IPK untuk lulus ▫ Nilai rata-rata ujian blok/modul = syarat minimal untuk lulus ujian blok ▫ Mampu lulus UKDI setelah mengikuti ujian maksimal 2x UKDI ▫ Nilai rata-rata ujian klinik = syarat minimal untuk lulus ujian klinik ▫ Remediasi ujian blok/modul dan ujian ketrampilan klinik berkisar sepertiga dari keseluruhan blok/modul/ujian ketrampilan
9
22/10/2012
Round 1: • Secara individual setiap juri membaca setiap soal dengan baik, dan untuk setiap soal juri menjawab pertanyaan berikut: “Apakah borderline group/minimally competent students dapat menjawab soal tersebut dengan benar?” Jawaban: Ya / Tidak (ditulis didalam lembar yang telah disediakan)
No Soal
Apakah mahasiswa borderline dapat menjawab soal tersebut dengan benar? Y/T Round 1 Round 2
1
Y
2
T
3
Y
4
Y
5
Y
6
T
dst
10
22/10/2012
Umpan balik • Dipresentasikan indeks kesulitan butir soal / item difficulty index / p-value dari soal-soal yang dipakai
22 22/10/2012
Ingat… p=
Jumlah peserta yang menjawab benar Jumlah seluruh peserta
p antara 0.00 dan 0.25 p antara 0.26 dan 0.75 p antara 0.76 dan 1.00
sulit sedang mudah
11
22/10/2012
Round 2: • Setiap juri boleh mengganti jawaban ataupun tetap pada pendirian semula setelah melihat indeks kesulitan butir soal atau setelah diskusi
No Soal
Apakah mahasiswa borderline dapat menjawab soal tersebut dengan benar? Y/T Round 1 Round 2
1
Y
Y
2
T
T
3
Y
Y
4
Y
Y
5
Y
Y
6
T
T
dst
12
22/10/2012
No Soal
Apakah mahasiswa borderline dapat menjawab soal tersebut dengan benar? Y/T Round 1 Round 2
1
Y
Y
2
T
Y
3
Y
Y
4
Y
Y
5
Y
Y
6
T
T
dst
Penentuan Nilai Batas Lulus • Konversikan setiap jawaban pada round kedua sbb: Ya =1 Tidak =0 • Hitung rata-rata jawaban dari seluruh juri untuk masing-masing butir soal. • Jumlah dari rata-rata tersebut merupakan nilai batas lulus (NBL/cut score)
13
22/10/2012
Soal 1 2 3 4 5 6 7 8 9 10
J1
J2 1 1 0 1 0 1 0 1 0 0
J3 0 0 1 1 1 1 1 1 0 1
J4 1 0 0 1 1 1 1 1 0 1
J5 0 1 1 1 1 1 1 0 1 1
J6 1 0 0 1 1 0 0 1 0 0
J7 1 1 1 0 0 0 1 0 1 1
J8 1 1 1 1 1 0 1 0 1 1
J9 1 1 1 0 0 1 0 1 1 1
J10 1 1 1 0 1 1 0 0 1 1
0 1 0 0 1 1 1 1 1 1
Mean 0.7 0.7 0.6 0.6 0.7 0.7 0.6 0.6 0.6 0.8 6.6
Versi 2
14
22/10/2012
Langkah awal • Memilih panel juri / judges dengan baik • Panel juri mendiskusikan tentang: ▫ Tujuan ujian ▫ Karakteristik peserta ujian ▫ Adequate/inadequate knowledge • Panel juri mendiskusikan dan menyepakati apa yang disebut dengan borderline group /minimally competent candidates
Round 1: • Secara individual setiap juri membaca setiap soal dengan baik, dan untuk setiap soal juri menjawab pertanyaan berikut: “Berapa persen borderline group/minimally competent students dapat menjawab soal tersebut dengan benar?” Jawaban: misalnya 60%, 70% dst (ditulis didalam lembar yang telah disediakan)
15
22/10/2012
No Soal
Berapa persen borderline group/minimally competent students dapat menjawab soal tersebut dengan benar? (%)
Round 1 1
70
2
80
3
60
4
75
5
65
6
70
Round 2
dst
Umpan balik • Dipresentasikan indeks kesulitan butir soal / item difficulty index / p-value dari soal-soal yang dipakai
16
22/10/2012
33 22/10/2012
Ingat… p=
Jumlah peserta yang menjawab benar Jumlah seluruh peserta
p antara 0.00 dan 0.25 p antara 0.26 dan 0.75 p antara 0.76 dan 1.00
sulit sedang mudah
Round 2: • Setiap juri boleh mengganti jawaban ataupun tetap pada pendirian semula setelah melihat indeks kesulitan butir soal atau setelah diskusi
17
22/10/2012
No Soal
Berapa persen borderline group/minimally competent students dapat menjawab soal tersebut dengan benar? (%)
Round 1
Round 2
1
70
70
2
80
80
3
60
60
4
75
75
5
65
65
6
70
70
dst
No Soal
Berapa persen borderline group/minimally competent students dapat menjawab soal tersebut dengan benar? (%) Round 1 Round 2
1
70
75
2
80
75
3
60
60
4
75
75
5
65
65
6
70
70
dst
18
22/10/2012
Penentuan Nilai Batas Lulus • Hitung rata-rata jawaban dari seluruh juri untuk masing-masing butir soal. • Jumlah dari rata-rata tersebut merupakan nilai batas lulus (NBL/cut score)
median
SOAL 1 2 3 4 5 6 7 8 9 10
J1 70 80 60 50 70 80 60 50 55 80
J2 70 60 65 55 75 60 65 60 60 80
J3 70 65 60 55 75 65 55 55 65 87
J4 70 70 60 60 75 70 60 60 65 80
J5 75 80 65 65 80 80 80 65 60 85
J6 75 80 70 70 85 80 70 60 65 65
J7 60 70 70 70 60 70 70 70 70 60
J8 65 75 60 75 60 75 60 75 65 70
J9 J10 Mean 65 70 69 60 60 70 50 65 62.5 55 55 61 65 65 71 60 60 70 50 65 63.5 55 55 60.5 70 70 64.5 75 70 75.2 667.2
19
22/10/2012
1. Kurang sensitif sebagai judge untuk memposisikan sebagai borderline 2. Sulit membayangkan sebagai borderline 3. Belum familiar sebagai judge 4. Belum dapat memisahkan diri sebagai dosen atau judge sehingga sulit memposisikan diri sebagai borderline/minimally competence student 5. Judge harus lebih menghayati soal sehingga konsistensi dalam penentuan batas lulus 6. Pemahaman kriteria dokter kompeten Indonesia harus dimiliki oleh judge
Kerugian • Jika mengetahui triknya maka masih bisa subyektif
20
22/10/2012
Syarat Judge • Dokter yang sudah lulus ukdi • Terlibat aktif pada proses pembelajaran pendidikan klinik • Paham standar kompetensi minimal • Mengenal karakteristik borderline student • Paham metode standard setting Angoff • Telah mengikuti pelatihan serta memiliki sertifikat judge
Terima kasih Partisipasi baik Ibu Bapak sangat menentukan value dari profesi kedokteran Indonesia
21
