HPEQ PROJECT 2010 WO
LAPORAN WORKSHOP NASIONAL ITEM DEVELOPMENT OSCE KEDOKTERAN
Hotel Grand Aquila Bandung, 17 – 18 Mei 2010
Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional
WORKSHOP KOMPONEN 2 – MEI 2010
Page 1
HPEQ PROJECT 2010 WO
1. Pendahuluan Upaya peningkatan sistem ujian pada pendidikan dokter yang menjadi fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif, dan sesuai dengan tingkat kompetensi yang diharapkan. Salah satu metode ujian yang akan digunakan adalah ujian praktik dengan dukungan teknologi berbasiskan komputer yang disebut juga sebagai Objective Structured Clinical Examination (OSCE). Untuk itu maka diperlukan suatu upaya untuk membuat suatu Bank Soal yang sangat kredibel baik dari segi sistemnya maupun soal – soal yang terkandung di dalamnya. Di samping pengembangan infrastruktur, aplikasi, pelatihan untuk standardized patient (SP), serta standarisasi para penguji yang diperlukan untuk melaksanakan OSCE, tentu saja hal yang diperlukan secara mendasar adalah pembuatan soal – soal OSCE itu sendiri. Hal ini menjadi sangat mendasar karena penyiapan unsur – unsur lainnya didasari atas soal - soal yang akan diujikan dalam ujian praktik ini. Mengingat kepentingan hal itu maka diperlukan serangkaian workshop pembuatan soal OSCE (OSCE Item Development) yang diselenggarakan secara luas dan berkesinambungan. Kegiatan ini juga harus melibatkan seluruh klinisi yang terkait dari berbagai Institusi Pendidikan sebagai upaya peningkatan sumber daya manusia dalam hal ini staf pengajar, dalam pembuatan soal. Dengan demikian maka proses ujian di tingkat nasional dapat diiringi dengan berkembangnya sistem ujian di setiap institusi pendidikan yang pada akhirnya diharapkan dapat meningkatkan proses belajar peserta didik dan meningkatkan nilai capaian dari ujian ini. 2. Tujuan Tujuan dilaksanakannya workshop nasional item development nasional kedokteran ini adalah : 1. Terkumpulnya soal - soal OSCE yang berkualitas sebagai bahan untuk proses selanjutnya dalam penyiapan OSCE yakni pelatihan SP dan standarisasi para penguji. 2.
Meningkatnya jumlah dan kemampuan para pembuat soal dalam membuat soal OSCE yang memenuhi syarat untuk digunakan sebagai ujian yang bersifat nasional.
3.
Terkumpulkannya nama pembuat soal yang berbakat dan berkapasitas dari berbagai bidang ilmu yang terkait secara menyeluruh yang dapat mewakili kepentingan para pemangkunnya.
3. Output Workshop Output yang diharapkan dari workshop ini adalah : 1. 2. 3.
Jumlah soal OSCE berkualitas baik yang dapat digunakan untuk ujian nasional dan mengisi bank soal di tingkat nasional Jumlah pembuat soal OSCE yang berkualitas dari berbagai bidang ilmu yang terkait secara menyeluruh yang dapat mewakili kepentingan para pemangku dan kisi-kisi soal ujian. Kualitas soal ujian OSCE lebih baik sehingga jumlah peserta ujian yang lulus dapat meningkat.
WORKSHOP KOMPONEN 2 – MEI 2010
Page 2
HPEQ PROJECT 2010 WO
4. Metode Pelaksanaan Workshop Workshop nasional item development OSCE kedokteran ini dilaksanakan pada tanggal 17 – 18 Mei 2010 di Hotel Grand Aquila Bandung. Workshop ini diikuti oleh 10 item writer terpilih dari tingkat regional, yaitu : No
Nama
Institusi
Email
1.
David Wither
FK Univ. HKBP Nommensen
[email protected]
2.
Tri Juli Edi Tarigan
FK UI
[email protected]
3.
Riva Auda
FK UIN
[email protected]
4.
Tita Husnitawati
FK UNPAD
5.
Heddy Herdiman
FK Maranatha
[email protected]
6.
Cut Aria Arina
FK USU
[email protected]
7.
Farokah
FK UNDIP
[email protected]
8.
Nelly Al Audhah
FK UNLAM
[email protected]
9.
Suliati P Amir
FK UMI MAKASSAR
[email protected]
10.
Paulina W
FK UNCEN
[email protected]
Dalam menyusun dan merevier soal, para item writer dipandu dan didampingi oleh 3 orang fasilitator dari KB UKDI, yaitu Susi Susannah, Faturrahman dan Mohammad Ghozali. Pada pelaksanaannya, rundown acara workshop nasional item development OSCE kedokteran tersebut adalah sebagai berikut : Hari ke-1 : WAKTU 14.30 – 14.45 14.45 – 15.00
15.00 – 17.00 17.00- 18.00 18.00 – 19.30 19.30 – 20.30 20.30 – 22.00
EVENT Pembukaan Sesi I : -Perkenalan peserta dan fasilitator -Pengarahan Workshop Sesi 2 : Pengarahan Pembuatan Blueprint baru Pembuatan soal OSCE berdasarkan template Break Sesi 3 : Pembuatan soal OSCE berdasarkan template Sesi 4 : Simulasi Review Soal
WORKSHOP KOMPONEN 2 – MEI 2010
PIC / NARASUMBER Ramdan Panigoro Susi Susannah
Susi Susannah Fasilitator
Fasilitator Fasilitator
Page 3
HPEQ PROJECT 2010 WO Hari ke-2: WAKTU 08.30 – 09.30 09.30 – 12.00 12.00 – 12.15
EVENT Review all about OSCE Melanjutkan simulasi review soal Pleno, Wrap Up dan penutupan
PIC / NARASUMBER Fasilitator Fasilitator Susi Susannah
5. Hasil Kegiatan Pada sesi kedua setelah pembukaan dan pengarahan, peserta diarahkan oleh fasilitator untuk membuat blue print baru yang disesuaikan dengan perkembangan terkini. Berikut adalah blue print baru yang berhasil tersusun :
Setelah blue print baru tersusun, selanjutnya peserta diarahkan untuk membuat soal OSCE berdasarkan blue print dan template baru tersebut. Masing-masing item writer diberi tugas untuk membuat soal berdasarkan kategori kompetensi sebagai berikut :
WORKSHOP KOMPONEN 2 – MEI 2010
Page 4
HPEQ PROJECT 2010 WO
Setelah itu, dilakukan simulasi review soal yang didampingi oleh fasilitator. Pada tahap ini, beberapa isu yang perlu menjadi perhatian adalah pembagian tugas kepada peserta sebaiknya spesifik mengenai procedural skill pemeriksaan fisik (pemeriksaan abdomen). Selain itu, peserta juga masih perlu pemahaman lebih lanjut mengenai metode global rating score dan penilaian professional behavior (aspek yang dinilai dan standarisasinya). Secara umum, berikut adalah output dari workshop nasional item development OSCE kedokteran : No.
KOMPONEN
TARGET
REALISASI
1.
Jumlah soal OSCE yang terkumpul
12
15
2.
Jumlah soal OSCE yang berkualitas baik
12
3
3.
Jumlah peserta workshop
12
10
4.
Jumlah pembuat soal OSCE yang berkualitas
12
10
5.
Jumlah narasumber
3
3
Berdasarkan rekap tersebut, dapat dilihat bahwa jumlah soal OSCE yang terkumpul melebihi target, yaitu 15 soal. Akan tetapi, dari 15 soal yang berhasil dikumpulkan, baru 3 soal OSCE yang dinilai berkualitas baik. Jumlah peserta workshop kurang dari target, karena peserta regional 5 belum ada yang dapat mengikuti workshop nasional ini. Selanjutnya, beberapa hal penting terkait penilaian OSCE, diantaranya adalah : OSCE yang dimaksud dalam workshop ini adalah instrumen untuk mengukur output proses pendidikan dokter secara komprehensif, mulai dari fase preklinik hingga rotasi klinik yang meliputi: knowledge, skills, dan attitude. OSCE yang dirancang bukanlah sistem yang “terisolasi” seperti pada blok-blok (fase pre-klinik). Penggunaan global rating score dengan skala dari 0, 1, 2, 3 sebagai alat ukur utama -Penilaian OSCE di Indonesia menggabungkan antara global rating scale dan Mini-CEX sehingga bisa dalam bentuk kuantitatif. -Pass-failed criteria perlu dituliskan dalam template (dibawah lembar penilaian global rating scale) termasuk adanya pembobotan/weighting disertakan juga adanya kolom komentar. -Standard setting diimplementasikan untuk menentukan jumlah station uji yang harus dilewati supaya dapat dinyatakan lulus. Penggunaan weighting/pembobotan. Perlu standard setting untuk menentukan nilai batas kelulusan. Hal yang paling mendasar dari penyelenggaraan OSCE adalah standarisasi dalam segala aspek penyelenggaraan, sehingga OSCE dapat menjadi suatu alat ukur yang reliable dalam menilai kompetensi seorang dokter.
WORKSHOP KOMPONEN 2 – MEI 2010
Page 5
HPEQ PROJECT 2010 WO 6. Evaluasi Kegiatan Evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator dan tim monev secara umum. Berikut adalah evaluasi workshop dari beberapa perspektif tersebut : Gambaran Umum Peserta cukup antusias mengikuti rangkaian sesi workshop dari awal sampai akhir. Perlu adanya perbaikan SKDI (Standar Kompetensi Dokter Indonesia) yang disesuaikan dengan perkembangan kedokteran Indonesia saat ini. Jumlah fasilitator yang sedikit mengakibatkan workshop berjalan kurang efektif, terutama dalam sesi review soal Beberapa hal yang perlu diimprove dari pelaksanaan workshop ini adalah : Perlu adanya standarisasi dan sosialisasi mengenai global rating scale sebagai metode penilaian OSCE Perlu adanya pelatihan yang berkelanjutan berkaitan dengan OSCE Fasilitator yang mendampingi diharapkan dapat diperbanyak agar workshop dapat berjalan lebih efektif, terutama dalam proses pendampingan mereview soal Perlu adanya textbook tentang teknik review OSCE Perlu adanya surat penunjukan dari Dikti untuk peserta workshop, sehingga ada legalitas untuk melaksanakan workshop Panitia HPEQ (PIC persidangan) seharusnya selalu stand by ditempat workshop, sehingga dapat selalu menjaga kelancaran workshop, terutama terkait hal-hal teknis Fasilitator Penilaian narasumber terhadap kemampuan peserta dalam workshop ini sudah baik dikarenakan semua institusi sudah menyelenggarakan kegiatan OSCE meskipun masih dalam tingkat pre-klinis/ pendidikan S1 (terdapat dalam sistem blok) Berdasarkan soal-soal yang dihasilkan, terdapat peningkatan kemampuan para item writer dalam menulis soal terutama dalam penggunaan template form Semua peserta dinilai sudah mampu menjadi pelatih OSCE item development di institusi masingmasing Manfaat utama dari kegiatan ini adalah para item writer mampu membuat soal yang terstandar Peserta Ada beberapa peserta yang terlambat dikarenakan undangan yang sangat mendadak dan juga beberapa peserta tidak mengikuti hingga akhir sesi dikarenakan masalah jadwal penerbangan. Sebagian besar peserta mengaku tidak mempersiapkan diri secara khusus untuk mengikuti workshop ini, namun demikian mereka sudah mengerti maksud dan tujuan diadakannya workshop ini. Hampir semua peserta mengakui bahwa workshop ini meningkatkan kemampuannya sebagai item writer dan item reviewer untuk bekal melatih di institusinya masing-masing dan bermanfaat dalam pengembangan sistem uji kompetensi dokter. Setelah melakukan review soal, hampir semua peserta menyatakan bahwa pembuat soal memiliki kemampuan yang baik dalam membuat soal.
WORKSHOP KOMPONEN 2 – MEI 2010
Page 6
HPEQ PROJECT 2010 WO
Semua peserta mengakui bahwa narasumber memfasilitasi workshop dengan baik bahkan sangat baik, pelayanan dan fasilitas pada workshop ini juga dinilai cukup memadai. Beberapa peserta juga menyatakan siap untuk melatih di institusi masing-masing setelah mengikuti workshop ini.
Tim Monev : Feedback Peserta Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring “voice of customer” peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari 10 kuesioner yang kembali ke tim monev, 56 % responden menyatakan pelaksanaan workshop sangat memuaskan, dan tidak ada responden yang menyatakan kurang puas. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama fasilitator, panitia dan peserta yang sangat cooperative.
Analisa lebih lanjut terhadap feedback peserta, kepuasan terbesar peserta dirasakan terhadap materi workshop dan performa fasilitator yang membawakan materi tersebut. Materi komprehensif dan dapat disampaikan dengan interaktif oleh para fasilitator. Berdasarkan feedback tersebut, peserta menyatakan bahwa workshop ini sangat bermanfaat dalam pengembangan sistem uji kompetensi dokter. 7. Rencana Tindak Lanjut Berdasarkan hasil evaluasi pelaksanaan workshop nasional item development OSCE kedokteran, beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut :
Soal-soal OSCE yang telah direview sebaiknya dapat dikirimkan ke tiap-tiap sentra pendidikan kedoktera sebagai bahan acuan di masing-masing IPD Perlunya standarisasi metode scoring OSCE
WORKSHOP KOMPONEN 2 – MEI 2010
Page 7
HPEQ PROJECT 2010 WO
Akan dilaksanakan workshop-workshop lanjutan terkait dengan pengembangan OSCE , seperti standard setting dan standarisasi penguji OSCE Peserta dapat melakukan pelatihan kepada item writer dan item reviewer di tingkat regional dan institusi masing-masing untuk mempersiapkan penyelenggaraan OSCE, khususnya OSCE untuk UKDI. Penyelenggaraan OSCE membutuhkan manequin dan Standardized Patient (SP) yang membutuhkan biaya besar. Hal ini akan menjadi masalah untuk IPD yang belum well-established. Untuk itu, diharapkan DIKTI dapat membantu penyiapan OSCE untuk tiap IPD tersebut.
8. Penutup Upaya peningkatan kualitas dan kuantitas pembuatan soal diharapkan dapat terjadi bukan hanya di tingkat nasional, tapi lebih jauh sampai ke tingkat Institusi Pendidikan. Untuk itu diharapkan bahwa para peserta workshop yang terpilih dapat menjadi calon narasumber untuk pelatihan yang diadakan di tingkat regional dan lokal. Dengan demikian upaya percepatan pembuatan soal yang berkualitas ini dapat berjalan dengan baik dan memiliki dampak yang lebih bermakna. 9. Lampiran Materi workshop
WORKSHOP KOMPONEN 2 – MEI 2010
Page 8