Evaluasi Uji Coba OSCE UKDI Forum Dekan AIPKI HPEQ Project Komponen 2 31 Agustus – 1 September 2012
Road Map Try Out OSCE UKDI Sept & Nov 2012 April 2012 Januari 2012
Oktober 2011
Juli 2011
II: Evaluasi Soal
I: Ujud Pelaksanaan OSCE
III: + Evaluasi Penguji, pelatih PS, PS, IT
IV: + Standard Setting OSCE
V-VI: + Penanganan Retaker & General
Persyaratan OSCE Center Mempunyai fasilitas OSCE sesuai standar UKDI Mempunyai penguji OSCE yang terstandar nasional min 15
3
orang Mempunyai pelatih SP yang terstandar nasional min 3 orang Mempunyai PS yang terlatih min 11 orang Mengajukan permohonan sebagai OSCE Center Bersedia berkontribusi menanggung sebagian biaya pelaksanaan
Profil OSCE Center Kriteria
TO 1
TO 2
TO 3
TO 4
TO 5
Prasarana
Baik
Beberapa center ruangan tidak sesuai
Baik
Baik
?
Sarana
Lengkap
Beberapa manekin Beberapa tidak ada/tidak manekin tidak sesuai ada/tidak sesuai
Beberapa manekin tidak ada/tidak sesuai
?
Fasilitas Penunjang
Baik
Sebagian center Genset & akses internet tidak tersedia
Sebagian center Genset & akses internet tidak tersedia
Sebagian center Genset & akses internet tidak tersedia
?
Komitmen pimpinan
Baik
Baik
Baik
Baik
?
Ketersediaan SDM
Baik
Baik
SDM tidak sesuai kriteria
SDM tidak sesuai kriteria
?
KETERLIBATAN OSCE CENTER PADA TRY OUT UKDI TO 1
OSCE Center UNSYIAH USU UNAND UNSRI UI YARSI UAJ USAKTI UPN UKRIDA UKI UNPAD UKM UNJANI UNILA UGM UMY UII UNDIP UMS UNS UNSOED UNMUL UNAIR UB UNUD UNRAM UWKS UNHAS UMI UNSRAT
TO 2 1 set 1 set 1 set 1 set
1 set 1 set
3 set
1 set
1 set
1 set 1 set 1 set
1 set
TO 3
TO 4
TO 5
1 set 1 set 1 set 1 set 1 set 1 set 1 set 1 set 1 set 1 set 1 set 1 set 1 set
1 set 1 set 1 set 1 set 1 set 1 set 1 set 1 set 1 set 1 set 1 set 1 set 1 set 1 set
1 set 1 set 1 set 2 set 1 set 1 set 1 set 1 set 1 set 1 set 1 set 1 set 1 set 1 set
1 set
1 set
1 set
1 set 1 set 1 set 1 set
1 set 1 set 1 set 1 set
1 set 1 set 1 set 1 set 1 set 1 set 1 set 1 set 1 set 2 set
1 set
1 set 1 set 1 set 1 set 1 set 1 set 1 set 1 set
1 set
1 set
1 set 1 set 1 set 1 set 1 set
1 set 1 set 1 set 1 set 1 set
Profil Penguji Kriteria
TO 1
TO 2
TO 3
TO 4
TO 5
Dokter, min S2/Sp
95%
95%
95%
100%
?
Telah dilatih sesuai standar nasional
90%
90%
90%
100%
?
Komitmen mematuhi tata tertib OSCE
90%
90%
90%
90%
?
Target jumlah penguji setiap center
15
15
15
15
15/30*
Persentase kehadiran Penguji
90%
90%
90%
90%
?
Bahan Ujian
Jumlah station 12 @ 15 menit + 2 station istirahat Blue print Template Soal Rubric & Global Performance
Kasus 1. Anamnesis
4
2. Pemeriksaan Fisik
4
3. Melakukan tes/prosedur klinik atau interpretasi data untuk menunjang diagnosis banding/diagnosis
3
4. Menentukan diagnosis atau diagnosis banding
3
5. Penatalaksanaan: a. Non Farmakoterapi
3
b. Farmakoterapi
3
6. Komunikasi & Pendidikan Pasien
7
7. Perilaku Profesional 12
Phsyciatry
Special Sensory
Head & Neck
Gnitourinary system
Oncology
Hematology/
Endocrin e & Metabolic
tal system
Musculoscele
Reproductive system
nal system
Gastrointesti
behaviour
Neuro-
Respiratory system
CVS
Minimal
Kategori Kompetensi
Format Penilaian OSCE
Pencatatan manual Computer based scoring
c. Setelah login, maka akan ditampilkan mahasiswa pertama yang akan diuji pada stasion tersebut. Setiap station mempunyai tampilan mahasiswa yang berbeda untuk tiap satation di setiap
universitas. Diharapkan penguji dapat mencocokkan foto dan nama mahasiswa yang diujikan.
COMPUTER BASED SCORING N = 341
N = 344
N = 342
N = 334
N = 328
Profil Peserta Try Out OSCE Mekanisme penjaringan calon peserta: 1. Melalui registrasi online TO atau UKDI keberhasilan rendah 2. Melalui penjaringan langsung oleh institusi Kriteria
TO 1
TO 2
TO 3
TO 4
TO 5
Dokter baru Mahasiswa (dominan)
Mahasiswa (dominan)
Mahasiswa (dominan)
Mahasiswa (dominan)
?
Ikut UKDI
Minimal
Minimal
Minimal
Minimal
?
Pernah OSCE
50%
50%
50%
55%
?
Kriteria mahasiswa: 1. Sudah menyelesaikan seluruh rotasi, tetapi belum yudisium 2. Sudah melewati 2 rotasi bagian besar 3. Mahasiswa PSPD
KETERLIBATAN OSCE CENTER PADA TRY OUT UKDI OSCE Center UNSYIAH USU UNAND UNSRI UI YARSI UAJ USAKTI UPN UKRIDA UKI UNPAD UKM UNJANI UNILA UGM UMY UII UNDIP UMS UNS UNSOED UNMUL UNAIR UB UNUD UNRAM UWKS UNHAS UMI UNSRAT PESERTA
TO 1
TO 2
11 14 14 12
14 10
14
14
14
14 14 14 14 14
TO 4 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14
13
14
14 14 14 14 14 14 14 14
157
14 350
14 392
13 14 14
14
TO 3 14 14 14 14 14 14 14 14 14 14 14 14 14
14 14 14 14 14
TO 5 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 420
Troubleshooting 1.
2. 3. 4. 5. 6.
Penguji tidak hadir/terlambat Penguji melakukan kegiatan lain Penguji belum memahami role sebagai penguji Peserta belum memiliki kompetensi sebagai dokter Aspek pencegahan infeksi tidak dilaksanakan peserta Alat tidak berfungsi, cadangan tidak tersedia
Pembiayaan
Sumber pembiayaan untuk try out: 1. 2.
KBUKDI HPEQ Project
Unit Cost OSCE untuk 1 set Rp 24.000.000,- sd. Rp 26.000.000,-
Rincian pembiayaan Try Out 1 – 5 Item
Kuantitas Unit Cost
TO 1-4
TO 5
Honor KOC
1 Orang
Rp 1.250.000
HPEQ
HPEQ
Honor Penguji
12 orang 3 orang
Rp 675.000
HPEQ
HPEQ KDI & AIPKI
Honor Pelatih PS 3 orang
Rp 570.000
HPEQ
HPEQ
Honor PS
9 orang
Rp 390.000
HPEQ
HPEQ
Honor PS Cadangan
2 orang
Rp 280.000
HPEQ
KDI & AIPKI
Honor IT Lokal
2 orang
Rp 470.000
HPEQ
KDI & AIPKI
Honor Laboran
3 orang
Rp 280.000
HPEQ
KDI & AIPKI
Honor Administrasi
2 orang
Rp 523.750
HPEQ
KDI & AIPKI
Institusi
Institusi
Bahan Habis Pakai
Sesuai keperluan
TO 6
HPEQ, Institusi, KDI & AIPKI
Lesson Learnt
Standarisasi kurikulum skill training ISLAND Standarisasi fasilitas (Skill Lab) variasi & spesifikasi Standarisasi penguji Standarisasi PS Persyaratan OSCE Center ?
Uji Coba Pertama OSCE UKDI 22-24 Juli 2011
Tujuan 1. Melakukan uji coba formatOSCE UKDI
mulai H-1 sampai H
Uji Coba Kedua OSCE UKDI 14 -15 Oktober 2011 Tujuan: Apakah soal yang direview dapat mendrive proses persiapan dan pelaksanaan yang baik
Fokus Evaluasi: Perangkat soal 20
Peserta TO II OSCE UKDI CENTER
JUMLAH PESERTA
USU
11
UNAND
14
UI
14
YARSI
12
UKM
10
UNPAD
14
UNDIP
14
UGM
14
UB
14
UNAIR
13
UNUD
14
UNHAS
13
TOTAL PESERTA
157
4. Menentukan diagnosis atau diagnosis banding
3
5. Penatalaksanaan: a. Non Farmakoterapi
3
V
b. Farmakoterapi
3
V
V
6. Komunikasi & Pendidikan Pasien
7
V
V
V
7. Perilaku Profesional
12
V
V
V
Phsyciatry
V
Special Sensory
V
Head & Neck
3
Gnitourinary system
3. Melakukan tes/prosedur klinik atau interpretasi data untuk menunjang diagnosis banding/diagnosis
Oncology
V
Hematology/
V
Endocrin e & Metabolic
V
tal system
4
Musculoscele
2. Pemeriksaan Fisik
Reproductive system
V
nal system
V
Gastrointesti
Respiratory system
V
behaviour
CVS
4
Neuro-
Minimal
1. Anamnesis
Kategori Kompetensi
V
V
Kasus
V
V
V
V
V
V
V
V
V
V
22
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
Uji Coba Ketiga OSCE UKDI 24 -25 Februari 2012
23
Tujuan: • • • •
Evaluasi Perangkat Soal Evaluasi Kinerja Penguji Evaluasi Kinerja PS Evaluasi Kinerja IT
24
Lokasi TO III OSCE UKDI No
CENTER
No
CENTER
1
USU
13
UNSYIAH
2
UNAND
14
UNSRI
3
UI
15
UAJ
4
YARSI
16
UKI
5
UKM
17
USAKTI
6
UNPAD
18
UKRIDA
7
UNDIP
19
UPN
8
UGM
20
UNILA
9
UB
21
UNMUL
10
UNAIR
22
UMY
11
UNUD
23
UII
12
UNHAS
24
UNRAM
25
UNSRAT
• 12 soal OSCE-12 station • 9 station dgn pasien standar • 15 menit tiap station: Sekitar 1 menit untuk membaca soal Sekitar 1 menit untuk perpindahan Sekitar 12-13 menit waktu efektif • 2 station istirahat Antara station 6 dan 7 Antara station 12 dan 1
• Rehat penguji dan PS setelah station ke-4 selama 8 menit (ada musik). • Saat Rehat peserta duduk di station berikutnya • Peserta diijinkan ke toilet saat di berada di station istirahat, dengan ditemani petugas
27
• Pasien Standar (PS): Skenario diberikan H-1; pelatihan dilakukan H-1 • Peserta Ujian: Sebagian yang ikut CBT; Sebagian dokter muda yang telah menyelesaikan 3 rotasi • Peralatan: Diberikan ke KOC saat H-10; di set H-1 28
Uji Coba Keempat OSCE UKDI 28 April 2012
29
Lokasi TO IV OSCE UKDI No
CENTER
No
CENTER
1
USU
15
UAJ
2
UNAND
16
UKI
3
UI
17
USAKTI
4
YARSI
18
UKRIDA
5
UKM
19
UPN
6
UNPAD
20
UNILA
7
UNDIP
21
UNMUL
8
UGM
22
UMY
9
UB
23
UII
10
UNAIR
24
UNRAM
11
UNUD
25
UNSRAT
12
UNHAS
26
UNSOED
13
UNSYIAH
27
14
UNSRI
28
UWKS UNJANI
Evaluasi Perangkat Soal
Invited Item Writers Dokter Spesialis
Invited Item Reviewers Dokter Spesialis + Praktek Umum
Technical editing OSCE Team
32
BRIEFING PENGUJI DILAKUKAN DENGAN BAIK
1%
SETUJU TIDAK SETUJU
99%
N = 355
KECUKUPAN WAKTU (Penguji)
N = 349
N = 351
KECUKUPAN WAKTU (Peserta) 84%
83%
90%
80% 70% 60% 50% 40%
17%
30% 20%
15%
10% 0%
Waktu yang dialokasikan cukup
tidak
ya
Alokasi waktu membaca skenario dan instruksi cukup
PESERTA TO OSCE IV = 387
KESESUAIAN SKDI (Penguji) SETUJU
TIDAK SETUJU 96%
94%
N = 341
N = 342
6% Tujuan sta on terujikan
4% Kompetensi yang diujikan sesuai SKDI
KESESUAIAN SKDI (Peserta) Tujuan station terujikan
Kompetensi yang diujikan sesuai dengan SKDI 12%
13%
86%
tidak ya
88%
PESERTA TO OSCE IV = 387
tidak ya
PESERTA TO OSCE IV = 387
Kejelasan instruksi peserta (Penguji) N = 348
N = 347
N = 349
N = 341
N = 341
Kejelasan instruksi peserta (Peserta) 90%
80%
78%
80% 70%
84% 74%
59%
60%
41%
50% 40%
20%
30%
22%
25% 14%
20% 10% 0%
Instruksi untuk peserta terlalu sulit
tidak
ya
Instruksi untuk peserta terlalu mudah
Skenario klinik dalam instruksi peserta mudah dimengerti
Instruksi peserta mudah dimengerti
Penekanan (BOLD dsb) membantu pemahaman instruksi
PESERTA TO OSCE IV = 387
Kejelasan instruksi penguji N = 349
N = 348
N = 351
N = 346
N = 337
ALAT DAN MANIKIN N = 317
N = 310
N = 308
N = 314
TIMER Timer berfungsi baik 3%
SETUJU TIDAK SETUJU 97% N = 348
COMPUTER BASED SCORING N = 341
N = 344
N = 342
N = 334
N = 328
PETUGAS Petugas membantu saat dibutuhkan 1%
SETUJU TIDAK SETUJU 99%
N = 349
KELANCARAN
N = 350
PENGUJI TIDAK MELAKUKAN KEGIATAN LAIN
11%
89%
tidak
ya
PESERTA TO OSCE IV = 387
Tersedia waktu istirahat yang cukup
13%
87%
tidak
ya
PESERTA TO OSCE IV = 387
FASILITAS PENDUKUNG DI LOKASI UJIAN 88%
88%
88%
90% 80% 70% 60% 50% 40% 30%
12%
20%
12%
12%
10% 0%
Ruangan transit nyaman dan tenang
tidak
ya
Toilet bersih dan nyaman
Tersedia fasilitas penyimpanan barang pribadi
PESERTA TO OSCE IV = 387
PERSEPSI PENGUJI MENGENAI OSCE N = 333
N = 347
SETUJU
N = 349
TIDAK SETUJU 100%
99%
N = 348
99%
86%
333 347 349 348
14% 1% Sebelum TO ini, saya pernah OSCE di ins tusi saya
OSCE tepat dipakai sbg slh satu metodi penilaian kompetensi
0% Penerapan OSCE memacu peserta belajar dan menguasai keterampilan klinik
1% Penerapan OSCE memacu perbaikan penilaian klinik
49
PERSEPSI PESERTA MENGENAI OSCE 84%
90%
80%
80% 70%
55% 45%
60% 50%
53% 47%
40% 30%
15%
20%
18%
10% 0%
Saya pernah mengikuti ujian OSCE di institusi saya
tidak
ya
OSCE tepat untuk menilai kompetensi Dokter Indonesia
Penerapan OSCE menstimulus peserta untuk belajar dan menguasai ketrampilan klinik
Penerapan OSCE menstimulus perbaikan pendidikan klinik
PESERTA TO OSCE IV = 387
50
Evaluasi Kinerja PS
PERBANDINGAN SKOR PS DINILAI OLEH PELATIH PS DAN PENGUJI N
Mean
SD
Penguji
282
7,71
1,063
Pelatih
301
8,11
0,789
Pengalaman PS - Kinerja Pengalaman PS
Skor Kinerja
≤ 5 tahun
7,58
6-10 tahun
8,13
> 10 tahun
7,73 p = 0,337
Variasi Kasus - Kinerja Variasi Kasus
Skor Kinerja
≤ 5 kasus
7,55
6-10 kasus
8,14
> 10 kasus
7,65 p = 0,168
Latar Belakang PS - Kinerja Latar Belakang Seni Peran
Skor Kinerja
Teater/ Akting
7,95
Umum
7,50 p = 0,55
Tingkat Pendidikan PS - Kinerja Tingkat Pendidikan
Skor Kinerja
SD
7,33
SMP
8
SMA
7,55
S1
8,07 p = 0,408
Usia PS - Kinerja Usia PS
Skor Kinerja
≤ 30 tahun
7,72
30-40 tahun
7,44
> 40 tahun
7,71 p = 0,509
