Uji Coba Ketiga OSCE UKDI Komite Bersama Uji Kompetensi Dokter Indonesia HPEQ Project Komponen 2 24-25 Februari 2012
Uji Coba Pertama OSCE UKDI 22-24 Juli 2011 Tujuan 1. Melakukan uji coba formatOSCE UKDI
mulai H-1 sampai H
Uji Coba Kedua OSCE UKDI 14 -15 Oktober 2011 Tujuan: Apakah soal yang direview dapat mendrive proses persiapan dan pelaksanaan yang baik
Fokus Evaluasi: Perangkat soal 4
Peserta TO II OSCE UKDI CENTER
JUMLAH PESERTA
USU
11
UNAND
14
UI
14
YARSI
12
UKM
10
UNPAD
14
UNDIP
14
UGM
14
UB
14
UNAIR
13
UNUD
14
UNHAS
13
TOTAL PESERTA
157
1. Anamnesis
4
V
V
V
2. Pemeriksaan Fisik
4
V
V
V
3. Melakukan tes/prosedur klinik atau interpretasi data untuk menunjang diagnosis banding/diagnosis
3
V
V
4. Menentukan diagnosis atau diagnosis banding
3
5. Penatalaksanaan: a. Non Farmakoterapi
3
V
b. Farmakoterapi
3
V
V
6. Komunikasi & Pendidikan Pasien
7
V
V
V
7. Perilaku Profesional
12
V
V
V
V
V
V
V
V
V
V
V
V
6
V
V
DM
Anemia
V
V
V
V
V
V
OMA
Katarak Depre V
V
V
Phsyciatry
BPH
Special Sensory
Oncology
Hematology/
Endocrin e & Metabolic
tal system
Musculoscele
Fraktur Tibia
Head & Neck
Baby Delivery
Gnitourinary system
Diare
Reproductive system
nal system
Stroke
Gastrointesti
TBC
behaviour
Hiper tensi
Neuro-
Respiratory system
Kasus
CVS
Minimal
Kategori Kompetensi
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
V
Uji Coba Ketiga OSCE UKDI 24 -25 Februari 2012
7
Tujuan: • • • •
Evaluasi Perangkat Soal Evaluasi Kinerja Penguji Evaluasi Kinerja PS Evaluasi Kinerja IT
8
Lokasi TO III OSCE UKDI No
CENTER
No
CENTER
1
USU
13
UNSYIAH
2
UNAND
14
UNSRI
3
UI
15
UAJ
4
YARSI
16
UKI
5
UKM
17
USAKTI
6
UNPAD
18
UKRIDA
7
UNDIP
19
UPN
8
UGM
20
UNILA
9
UB
21
UNMUL
10
UNAIR
22
UMY
11
UNUD
23
UII
12
UNHAS
24
UNRAM
25
UNSRAT
• 12 soal OSCE-12 station • 9 station dgn pasien standar • 15 menit tiap station: Sekitar 1 menit untuk membaca soal Sekitar 1 menit untuk perpindahan Sekitar 12-13 menit waktu efektif • 2 station istirahat Antara station 6 dan 7 Antara station 12 dan 1
• Rehat penguji dan PS setelah station ke-4 selama 8 menit (ada musik). • Saat Rehat peserta duduk di station berikutnya • Peserta diijinkan ke toilet saat di berada di station istirahat, dengan ditemani petugas
11
• Pasien Standar (PS): Skenario diberikan H-1; pelatihan dilakukan H-1 • Peserta Ujian: Sebagian yang ikut CBT; Sebagian dokter muda yang telah menyelesaikan 3 rotasi • Peralatan: Diberikan ke KOC saat H-10; di set H-1 12
Evaluasi Perangkat Soal
Invited Item Writers Dokter Spesialis
Invited Item Reviewers Dokter Spesialis + Praktek Umum
Technical editing OSCE Team
14
BRIEFING
N = 242
KECUKUPAN WAKTU (Penguji) N = 243
N = 244
KECUKUPAN WAKTU (Peserta) N = 344
N = 341
KESESUAIAN SKDI (Penguji) N = 240
N = 240
KESESUAIAN SKDI (Peserta) N = 335
N = 341
Kejelasan instruksi peserta (Penguji) N = 243
N = 244
N = 241
N = 237
N = 236
Kejelasan instruksi peserta (Peserta) N = 343 N = 338
N = 343
N = 339
N = 340
Kejelasan instruksi penguji N = 241
N = 241
N = 241
N = 244
N = 241
ALAT DAN MANIKIN N = 239
N = 234
N = 234
N = 235
TIMER
N = 241
COMPUTER BASED SCORING N = 242
N = 243
N = 242
N = 240 N = 242
PETUGAS
N = 243
KELANCARAN
N = 242
Penguji tidak melakukan kegiatan lain
N = 338
WAKTU ISTIRAHAT PESERTA CUKUP
N = 343
FASILITAS PENDUKUNG DI LOKASI UJIAN N = 341
N = 340
N = 341
Evaluasi Kinerja PS
PERBANDINGAN SKOR PS DINILAI OLEH PELATIH DAN PENGUJI N
Mean
SD
Penguji
160
7,64
1,389
Pelatih
218
8,13
0,789
Pengalaman PS - Kinerja Pengalaman PS
Skor Kinerja
≤ 5 tahun
7,58
6-10 tahun
8,13
> 10 tahun
7,73 p = 0,337
Variasi Kasus - Kinerja Variasi Kasus
Skor Kinerja
≤ 5 kasus
7,55
6-10 kasus
8,14
> 10 kasus
7,65 p = 0,168
Latar Belakang PS - Kinerja Latar Belakang Seni Peran
Skor Kinerja
Teater/ Akting
7,95
Umum
7,50 p = 0,55
Tingkat Pendidikan PS - Kinerja Tingkat Pendidikan
Skor Kinerja
SD
7,33
SMP
8
SMA
7,55
S1
8,07 p = 0,408
Usia PS - Kinerja Usia PS
Skor Kinerja
≤ 30 tahun
7,72
30-40 tahun
7,44
> 40 tahun
7,71 p = 0,509
Evaluasi Kinerja Penguji
Spesialisasi Sesuai Kasus VS Spesialisasi Lain OSCE Center
Station
USU
Station 1
UNAND
Latar Belakang Penguji 1
Latar Belakang Penguji 2
Koefisien Alpha
Spesialisasi lain
0,92
Station 2
Anestesi Penyakit Dalam
Spesialisasi lain
0,73
UKM
Station 3
Saraf
Spesialisasi lain
0,66
YARSI
Station 4
Penyakit Dalam
Spesialisasi lain
0,82
UNPAD
Station 5
Obsgyn
Spesialisasi lain
0,91
UI
Station 6
Bedah
Spesialisasi lain
0,51
UGM
Station 7
Penyakit Dalam
Spesialisasi lain
0,95
UNDIP
Station 8
Kesehatan Anak
Spesialisasi lain
0,96
UNAIR
Station 9
Penyakit Dalam
Spesialisasi lain
0,92
UB
Station 10
THT
Spesialisasi lain
0,97
UNUD
Station 11
DV
Spesialisasi lain
0,83
UNHAS
Station 12
Jiwa
Spesialisasi lain
0,68
39
Spesialisasi Sesuai Kasus VS Dokter Praktek Umum OSCE Center UNSYIAH UNMUL UAJ UMY USAKTI UKRIDA UNRAM UNILA UNSRI UII UPN UNSRAT
Station Station 1 Station 2
Station 3 Station 4 Station 5 Station 6 Station 7 Station 8 Station 9 Station 11 Station 12 Station 1
Latar Belakang Penguji 1 Anestesi Penyakit Dalam/Paru Saraf Penyakit Dalam Obsgyn Bedah Penyakit Dalam Kesehatan Anak Penyakit Dalam DV Jiwa Jantung
Latar Belakang Penguji 2 Dokter Praktek Umum Dokter Praktek Umum
Koefisien Alpha 0,49 0,62
Dokter Praktek Umum Dokter Praktek Umum Dokter Praktek Umum Dokter Praktek Umum Dokter Praktek Umum Dokter Praktek Umum Dokter Praktek Umum Dokter Praktek Umum Dokter Praktek Umum Dokter Praktek Umum
0,73 0,72 0,76 0,63 0,91 0,42 0,64 0,88 0,72 0,79
40
Evaluasi Kinerja IT
Persiapan CBS • Trial dilakukan pada hari rabu, 22 Feb 2012 • Problem: – Jaringan overload untuk menangani 25 Institusi
• Problem Solving: – Merouting ulang jaringan menuju ke server OSCE – Menambah alokasi bandwidth ke server
Problem saat Tryout • Problem – Ketika menekan tombol beri nilai, form penilaian muncul berupa 1 halaman web, bukan berupa pop-up. Oleh karena itu, penguji tidak dapat kembali ke lembar penilaian dan harus logout terlebih dahulu. Hal ini cukup mengganggu bagi penguji dalam memberikan penilaian, sehingga penilaian memakai kertas.:
• Analisa masalah – Perbedaan konfigurasi server yang mengakibatkan beberapa fungsi pada program tidak berjalan dengan baik
Roadmap • Uji coba pertama Juli 2011(1 institusi): Ujud pelaksanaan OSCE • Uji coba kedua Oktober 2011 (12 institusi): + Apakah soal yang direview dapat mendrive proses persiapan dan pelaksanaan • Uji coba ketiga Januari 2012 (18-24 institusi): + Performance penguji dan SP + IT
Roadmap • Uji coba keempat 28 April 2012 (36 institusi) + standard setting • Uji coba kelima 8 September 2012 (48 institusi) + Retaker • Uji coba keenam 3 November 2012 (60 institusi) + General
Unsyiah
46
UNSRI
47
UKI
48
USAKTI
49
UII
50
UNRAM
51
