LAPORAN WORKSHOP STANDARD SETTING KEDOKTERAN GELOMBANG 2 KOMPONEN 2 PROYEK HPEQ

HPEQ Project 2010

MONEV

LAPORAN WORKSHOP STANDARD SETTING KEDOKTERAN GELOMBANG 2 KOMPONEN 2 PROYEK HPEQ

Hotel Ambhara Jakarta, 25- 26 & 27- 28 Agustus 2010 Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional

Component 2 – HPEQ Project

Page 1

HPEQ Project 2010

MONEV

1.

Pendahuluan Komponen 2 proyek HPEQ mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Dalam upaya penjaminan mutu sistem ujian salah satunya yang dilakukan adalah proses penetapan batas lulus (standard setting). Mengingat status ujian nasional sebagai ujian yang bersifat high-stake dan menentukan seseorang apakah dapat melakukan profesinya, penetapan batas lulus ini harus adil dan dapat dipertanggungjawabkan. Untuk itu telah terdapat berbagai metode yang telah teruji secara ilmiah dan dilaksanakan secara internasional. Secara umum terdapat 2 pengelompokan metoda yang dapat digunakan, yaitu metoda relatif dan metoda absolut. Dalam kerangka Uji Kompetensi Dokter Indonesia (UKDI) yang dilaksanakan oleh AIPKI bekerjasama dengan Kolegium Dokter Indonesia, selama ini telah dilakukan standard setting untuk penentuan batas lulus peserta UKDI. Sampai dengan UKDI ke-12 telah dilaksanakan metoda Hofstee (compromised method) yang perlu ditingkatkan kualitasnya dengan melaksanakan metoda absolut, apakah Ebel atau Modified Angoff. Dalam melaksanakan metode yang baru ini diperlukan Judge yang perlu dilatih untuk penyamaan pemahaman secara teknis maupun filosofis. Pemahaman ini penting karena dalam penentuan batas lulus dilakukan penilaian oleh ahli secara panel. Hal inilah yang ikut berkontribusi terhadap validitas dan pertanggungjawaban penentuan batas lulus yang dilakukan. Mengingat hal tersebut, sebagai bagian dari penjaminan mutu output berupa penentuan batas lulus yang menentukan kelulusan peserta ujian, serta peningkatan kualitas SDM dalam penentuan batas lulus yang dapat dilaksanakan di setiap institusi, perlu dilakukan Workshop Standard Setting. Sebelumnya, proyek HPEQ telah melaksanakan Workshop Standard Setting gelombang 1 pada tanggal 26-27 Mei 2010. Untuk memperbaiki metode standard setting yang digunakan untuk periode UKDI selanjutnya, perlu dilaksanakan Workshop Standard Setting gelombang 2. Tantangan lain terkait UKDI adalah perubahan metode dari paper-based menjadi computer-based pada tahun 2011. Perubahan ini memerlukan komitmen dari seluruh institusi pendidikan kedokteran menyangkut sarana prasarana dan pengelolaan CBT yang akan berbasis ke institusi. Demikian pula diperlukan penyiapan mahasiswa secara dini sehingga tidak ada lagi permasalahan menyangkut non-teknis akademis dari para calon peserta UKDI dengan CBT. Selanjutnya pada tahun 2012 akan diberlakukan ujian OSCE yang sangat memerlukan pengerahan SDM yang sangat banyak, baik sebagai penguji, pembuat soal dan sebagainya. Mengingat hal di atas, maka tindak lanjut hasil standard setting dan rencana pengembangan UKDI yang melibatkan para Dekan FK/Ketua Prodi Pendidikan Dokter sangat diperlukan. Dengan pertemuan ini maka pemahaman dan komitmen pimpinan sebagai salah satu prasyarat keberhasilan UKDI ke depan mudah-mudahan bisa tercapai dengan baik.

2. Tujuan Tujuan dari workshop standard setting bagi para judges adalah : 1. Dipahaminya berbagai metode penentuan batas lulus yang adil dan dapat dipertanggungjawabkan secara ilmiah. 2. Diperolehnya judge yang akan terlibat dalam pengembangan metoda standard setting ke arah metode absolut. 3. Dilaksanakannya metode penentuan batas lulus untuk ujian nasional maupun ujian yang dilaksanakan secara lokal untuk meningkatkan penjaminan mutu sistem ujian.


Page 2

HPEQ Project 2010

MONEV

1. 2. 3. 4. 5.

4.

Sedangkan tujuan dilaksanakannya workshop hasil standard setting dan dan pengembangan UKDI adalah : Disampaikannya hasil standard setting berdasarkan metoda absolut Modified Angoff kepada para Dekan FK/Ketua PSPD. Disepakatinya strategi tindak lanjut terhadap hasil standard setting yang diberikan, dengan berdasarkan pada praktik baik yang berjalan pada beberapa institusi pendidikan kedokteran. Menyepakati strategi pembianaan retaker UKDI Tersosialisasikannya rencana pengembangan UKDI pada tahun 2011 dan 2012. Dipahami dan disepakatinya kontribusi institusi pendidikan dalam rencana pengembangan UKDI pada tahun 2011 dan 2012 Expected Output Workshop Expected output dari workshop standard setting bagi para judges adalah : 1. 50 Judge dari 69 institusi pendidikan yang telah dilatih. 2. Kesepakatan nasional metode penentuan batas lulus yang akan digunakan Sedangkan expected output dari workshop hasil standard setting dan dan pengembangan UKDI adalah : 1. Hasil standard setting dengan Metoda Absolut Modified Angoff (hasil workshop standard setting judge, 25-26 Agustus 2010) 2. Rencana operasional strategis pada tingkat institusi, regional dan nasional terkait hasil standard setting yang ada 3. Perencanaan strategis terkait pembinaan retaker UKDI 4. Perencanaan implementasi pengembangan UKDI tahun 2011 berupa CBT dan 2012 berupa OSCE

5.

Metode Pelaksanaan Workshop Workshop standard setting ini dilaksanakan dalam 2 tahap, yaitu workshop bagi para judges yang dilaksanakan pada tanggal 25 – 26 Agustus 2010 dan dilanjutkan dengan pertemuan dekan FK/ Ketua PSPD untuk melaporkan hasil standard setting dan membahas isu-isu strategis lain terkait UKDI pada tanggal 27 – 28 Agustus 2010 di Hotel Ambhara, Jakarta. Workshop standard setting mengundang judges dari 69 IPD di Indonesia. Antusiasme peserta cukup baik, hal ini dapat dilihat dari participation rate yang mencapai 81 % (60 institusi) dari jumlah undangan yang seharusnya. 9 IPD yang tidak berpartisipasi pada workshop kali ini adalah sebagai berikut : 1. Universitas Abulyatama 2. Universitas Bengkulu 3. Universitas Abdurrab 4. UIN Syarif Hidayatullah 5. Universitas Muhammadiyah Surakarta 6. Universitas Tadulako 7. Universitas Hasanuddin 8. Universitas Nomensen 9. Universitas Kristen Duta Wacana Workshop standard setting untuk judges ini dilaksanakan dalam 2 tahap, yaitu pelatihan menentukan nilai batas lulus (NBL) dengan metode standard setting yang baru, yaitu modified angoff dan tahap ke-2 adalah penentuan NBL yang sebenarnya oleh judges terpilih.


Page 3

HPEQ Project 2010

MONEV

Pada workshop tahap ke-1, beberapa narasumber dari KB UKDI memberikan materi pengantar pelatihan dan pengarahan untuk kerja kelompok. Untuk mempermudah proses transfer knowledge dan diskusi antar peserta, maka judges dibagi dalam 8 kelompok besar, dimana masing-masing kelompok didampingi fasilitator dari KB UKDI sebagai berikut : Gandes Rahayu, Setiawan, Sari Puspa Dewi, Yulherina, Moh. Ghozali, Riyani Wikaningrum, Erial Bahar, Cholis Abrori, Abraham Simatupang dan Suryani As’ad. Pembagian kelompok judges beserta fasilitator yang mendampingi adalah : 1) Kelompok 1 Judges perwakilan dari : UMP, Yarsi, UPH, UGM, UMM, UNHALU, UNSYIAH, UNIMAL Fasilitator: Abraham Simatupang 2) Kelompok 2 Judges perwakilan dari : UNBAT, UKRIDA, UNISBA, UNS, UNEJ, UNISMUH, UWKS, USU Fasilitator: Erial Bahar 3) Kelompok 3 Judges perwakilan dari : UNAND, UI, UNJANI, UMY, UNRAM, UNCEN, UMSU Fasilitator: Yulherina 4) Kelompok 4 Judges perwakilan dari : UNISMA, UMJ, UKM, UNISSULA, UB, UNSRAT, UNTAR, UNSOED Fasilitator: Setiawan 5) Kelompok 5 Judges perwakilan dari : UNRI, USAKTI, UNILA, Al-Khairat, UNTAN, UM Makassar, UNDIP Fasilitator: Sari Puspa Dewi 6) Kelompok 6 Judges perwakilan dari : UNJA, UAJ, UNMAL, UMS, UNISMA, UNPATTI, UNAIR Fasilitator: Cholis Abrori 7) Kelompok 7 Judges perwakilan dari : UNSRI, UPN, UNPAD, UII, UNWAR, UHT Fasilitator: Gandes Rahayu 8) Kelompok 8 Judges perwakilan dari : UMI Medan, UKI, UNSWAGATI, UNDANA, UNUD, UNBRAH, UNLAM Fasilitator: Riyani Wikaningrum Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan agak terlambat dari jadwal dikarenakan waktu mulainya acara terlambat sekitar setengah jam. Meskipun demikian, nilai substansi dari tiap materi yang diberikan oleh narasumber dan diskusi tidak berkurang. Berikut adalah rundown acara workshop pada kondisi riil : Waktu 09.30 – 09.40

09.40 – 10.30 10.30 – 11.30

Acara Rabu, 25 Agustus 2010 Pembukaan Materi Standard Kompetensi Dokter Indonesia (SKDI) sebagai Dasar Uji Kompetensi Dokter Indonesia Penentuan Batas Kelulusan (Standard Setting) UKDI


Pelaksana Arsitawati/ Sekertaris Eksekutif Proyek HPEQ Setiawan

Gandes Rahayu

Page 4

HPEQ Project 2010

MONEV

11.30 – 11.35

Pembagian Kelompok menjadi 8 kelompok

Sari PD

11.35 – 13.00 13.00 - 16.50 16.50 – 19.30

Break Latihan dengan standard setting metode Angoff ISHOMA

Fasilitator

19.30 – 20.20

Diskusi Borderline

Gandes Rahayu

20.20 – 20.50

Presentasi hasil kerja kelompok – Nilai batas lulus per kelompok

Setiawan

20.50 – 21.00

Penutupan

Setiawan dan Yulherina

08.00 – 08.30 08.30 – 11.30 11.30 – 11.50 11.50 – 12.10

Kamis, 26 Agustus 2010 Persiapan, pembagian kelompok dan pengumuman ketentuan pada saat standard setting Penentuan Standars Setting Pengumuman hasil dan penandatangan berita acara Penutup dan hasil monev

M. Ghozali Fasilitator Gandes Rahayu Tatong H

Di sisi lain, workshop tindak lanjut standard setting dan pembahasan rencana strategis UKDI pada hari berikutnya mengundang 69 dekan FK dan Kaprodi dari seluruh IPD. Pada pelaksanaannya, tidak semua dekan / kepala PSPD yang hadir. Participation rate kurang memuaskan, yaitu hanya 55% (hanya 38 peserta dari 38 IPD). Selain itu, beberapa peserta yang hadir adalah perwakilan dekan atau ketua PSPD. 31 perwakilan institusi yang tidak hadir adalah : USU, UNSRI, UNBRAH, UNAYA, Methodis, UNMAL, Nomensen, UNJA, UNIB, Abdurab, UNBAT, UNTAR, UPH, UNISBA, UNMAL, UGM, UNLAM, UNSOED, UM Surakarta, UM Semarang, UHT, UNIZAR, UNISMA, UNWAR, UNHAS, UNSRAT, UNTAD, UNHALU, AL-khairat, UNCEN dan UMI Medan. Metode workshop yang digunakan adalah presentasi narasumber yang dilanjutkan dengan diskusi pleno untuk menjaring aspirasi para ketua IPD terkait hasil standard setting dan isu-su lain terkait pengembangan UKDI, terutama untuk penanganan retaker. Sesi workshop diawali dengan laporan hasil standard setting dan laporan perkembangan kegiatan AIPKI hingga saat ini. Detail rundown acara workshop yang juga merupakan acara forum dekan AIPKI ini adalah sebagai berikut : WAKTU

AGENDA

PELAKSANA

Hari ke-1 (Jumat, 27 Agustus 2010) 14.30 – 14.35

Pembukaan

14.35 – 15.10 15.10 – 15.30 15.30 – 15.45

Penyampaian Laporan Hasil standard setting Diskusi Arahan Manajer Proyek

15.45 – 16.00 16.00 – 16.40 16.40 – 17.05

Laporan UKDI ke-13 Presentasi progress kegiatan AIPKI Diskusi

Exam Manager UKDI (Yulherina) Ketua AIPKI (Samsul Islam) Setiawan dan Samsul Islam

17.05 – 19.40 19.40 – 19.55

ISHOMA Diskusi

Ketua AIPKI

19.55 – 20.00 20.00 – 21.30

Pembagian hasil ujian Diskusi pleno : -revisi nomenkaltur SK 163 -penanganan retaker


Koordinator Komponen 2 (Tri Hanggono) Sekum AIPKI (Setiawan) Manajer Proyek (Illah Sailah)

Sekum AIPKI Ketua & Sekum AIPKI

Page 5

HPEQ Project 2010

MONEV

21.30 – 22.00

Pembahasan beasiswa PPDS dan cross check Sekum AIPKI data Hari ke-2 (28 Agustus 2010)

Waktu 08.15 – 08.30 08.30 – 08.40 08.40 – 08.55 08.55 – 09.40

Agenda

Pelaksana

Rekap hasil survey kebutuhan pengembangan Ketua AIPKI manajemen pendidikan tinggi kedokteran Pengembangan dan pelatihan manajemen untuk Sekum AIPKI tenaga administratif Program Penerbitan Jurnal Sekum AIPKI

09.40 – 10.00

Re-check kesiapan sarana & prasarana OSCE di Sekum AIPKI tiap IPD Diskusi Ketua AIPKI

10.00 – 10.30

Wrap Up & Rencana Tindak Lanjut

Ketua AIPKI

Pada implementasinya, banyak hidden agenda yang belum tercantum pada TOR workshop sebelumnya. Akan tetapi, beberapa hidden agenda tersebut memang dinilai sangat penting untuk dibahas pada forum dekan ini, supaya para dekan / Ketua PSPD dapat lebih aware pada program-program AIPKI. Beberapa hidden agenda tersebut adalah pembahasan nomenklatur prodi kedokteran yang disounding oleh manajer proyek HPEQ yang merupakan Direktur Akademik Dikti,pembahasan beasiswa PPDS, pembahasan hasil survey, pelatihan manajemen, penerbitan jurnal dan rencana strategis persiapan OSCE di tiap IPD. 6.

Hasil Kegiatan

A.Workshop Standard Setting Judges Pada hari pertama, agenda utama workshop adalah pelatihan untuk menghitung NBL dengan menggunakan metode modified angoff. Paparan dari narasumber sebagai arahan kerja kelompok diberikan oleh tim KB UKDI, yaitu konsep awal Standar Kompetensi Dokter Indonesia (SKDI) sebagai dasar UKDI yang diberikan oleh Setiawan dan penelaahan metode standard setting modified angoff yang dibawakan oleh Gandes Rahayu. Sesi presentasi narasumber dilikuti dilanjutkan dengan diskusi interaktif. Beberapa catatan penting selama diskusi adalah sebagai berikut : •

• •

SKDI memberikan landasan untuk keputusan terkait kualitas item. Pada UKDI ke-12, sudah mempertimbangkan blue print uji, tidak hanya level of competence. Selain itu, kualitas item dapat teruji melalui item analysis. Untuk mengakomodir perkembangan kurikulum pendidikan kedokteran, maka perlu sedang disusun revisi SKDI untuk penyusunan soal. Hal-hal yang dinilai sangat penting pada uji kompetensi adalah kualitas item, kualitas peserta dan penentuan borderline participants (jangan sampai jauh dari ideal).

Pada workshop kali ini, telah disepakati bersama definisi borderline UKDI, yaitu sebagai berikut : 1. 2. 3. 4. 5.

Masa studi tidak tepat waktu ( plus 3-4 semester) IPK Sked dan profesi = syarat minimal IPK untuk lulus Nilai rata-rata ujian blok/modul = syarat minimal untuk lulus ujian blok Mampu lulus UKDI setelah mengikuti ujian maksimal 2x UKDI Nilai rata-rata ujian klinik = syarat minimal untuk lulus ujian klinik


Page 6

HPEQ Project 2010

MONEV

6. Remediasi ujian blok/modul dan ujian ketrampilan klinik berkisar sepertiga dari keseluruhan blok/modu/ujian ketrampilan Setelah itu, para judges telah dibagi ke dalam beberapa kelompok untuk berlatih menentukan NBL dengan menggunakan 25 soal UKDI 12. Dari 25 soal tersebut, diharapkan setiap kelompok dapat mendiskusikan dan menganalisa 3 – 5 soal. Selanjutnya, latihan penentuan NBL dengan metode modified angoff dibagi menjadi 2 round. Setiap judges harus menempatkan diri sebagai borderline student, sehingga nilai batas lulus yang didapat adalah nilai rata-rata kelulusan borderline student. Berdasarkan hasil kerja kelompok, berikut adalah grafik rekapitulasi NBL dengan menggunakan metode modified angoff dengan 2 versi (versi 1 dengan jawaban ya dan tidak, sedangkan versi 2 dengan persentase)

Analisa lebih lanjut terhadap NBL yang ditetapkan per kelompok adalah dengan membandingkannya dengan difficulty index berdasarkan hasil item analysis UKDI 12. Hingga UKDI 12, perhitungan difficulty index telah dilakukan oleh tim KB UKDI dengan sistem scanable, tidak dengan perhitungan manual. Idealnya, NBL yang didapat setara dengan difficulty index-nya, karena difficulty index merepresentasikan prosentase mahasiswa yang dapat menjawab soal uji dengan benar. Berdasarkan grafik diatas, hanya kelompok 2 yang dapat menghasilkan perhitungan NBL ideal. Untuk kelompok yang menghasilkan perhitungan NBL dibawah nilai difficulty index, dapat disimpulkan bahwa para judges masih “bermain aman” dan terkesan under estimate. Sebaliknya, untuk NBL yang berada diatas difficulty index, judges terkesan over estimate dan dinilai belum dapat memposisikan diri dengan baik sebagai borderline student. Sedangkan dari sisi metode yang digunakan, sebagian besar kelompok menghasilkan perhitungan NBL yang lebih tinggi dengan menggunakan metode angoff versi 1.


Page 7

HPEQ Project 2010

MONEV

Selanjutnya, perhitungan dari tiap kelompok direkapitulasi untuk mendapatkan NBL yang disepakati bersama. Berdasarkan hasil perhitungan melalui dengan menggunakan 2 versi Angoff, NBL yang didapatkan adalah 55 dan 52, untuk versi 1 dan 2. Apabila dibandingkan dengan real cutting score UKDI 12, para judges cenderung terlalu optimis terhadap NBL. Hal ini dapat disebabkan juga karena para judges masih belum bisa memposisikan diri sebagai borderline student dengan baik.

Selain penentuan NBL, para judges juga mendapat pengetahuan mengenai successful rate UKDI 12 untuk first taker dan retaker dengan menggunakan beberapa metode standard setting, yaitu angoff versi 1 (jawaban ya dan tidak) dan versi 2 (persentase) dibandingkan dengan real cut score.

Analisa lebih lanjut terhadap hasil perhitungan successful rate, penggunaan metode angoff versi 2 menghasilkan estimasi successful rate yang lebih tinggi, baik untuk first taker maupun untuk retaker, meskipun perhitungan dengan metode ini pun masih lebih rendah dari real cut score. Hal ini dkarenakan NBL yang ditetapkan oleh para judges terlalu tinggi. Setelah sesi pelatihan pada hari ke-1, selanjutnya tim KB UKDI memilih judges yang akan melakukan penilaian riil terhadap hasil UKDI 13. Selain itu, pemilihan judges ini juga ditujukan untuk menambah bank judges UKDI. Pada awalnya, target judges yang akan terpilih adalah 50


Page 8

HPEQ Project 2010

MONEV

judges, tetapi pada akhirnya seluruh judges yang hadir dipilih sebagai judges riil yang akan melakukan standard setting UKDI 13. Rules of the game bagi para judges adalah sebagai berikut : 1.Bagi judges yang terlambat datang pada sesi hari ke-2 hanya akan menjadi observer 2.Selama melakukan penilaian, tidak melakukan komunikasi dengan handphone dan alat komunikasi lainnya 3.Menandatangani formulir standard setting 4.Tidak mencatat soal pada buku ujian yang dibagikan 5.Mengisi formulir pengisian metode angoff Pada pelaksanaannya, ada 2 judges yang terlambat hadir, yaitu dari UNTAN dan UNPATTI. Dengan demikian, total judges yang terpilih untuk melakukan standard setting UKDI 13 sejumlah 58 judges. Pada workshop hari ke-2, para judges melakukan standard setting yang sebenarnya untuk pelaksanaan UKDI 13. 58 judges dari 58 IPD melakukan langkah-langkah standard setting seperti pada sesi latihan hari sebelumnya, mulai dari menentukan NBL hingga estimasi successful rate pesertaUKDI 13. Penentuan NBL dengan metode modified angoff dibagi menjadi 2 round. Setiap judges harus menempatkan diri sebagai borderline student, sehingga nilai batas lulus yang didapat adalah nilai rata-rata kelulusan borderline student. Berdasarkan hasil kerja kelompok, berikut adalah grafik rekapitulasi NBL dengan menggunakan metode modified angoff pada round 1 dan 2.

Analisa lebih lanjut terhadap NBL yang ditetapkan per kelompok adalah dengan membandingkannya dengan difficulty index berdasarkan hasil item analysis UKDI 12. Idealnya, NBL yang didapat setara dengan difficulty index-nya, karena difficulty index merepresentasikan prosentase mahasiswa yang dapat menjawab soal uji dengan benar. Berdasarkan grafik diatas, hanya kelompok 6 yang dapat menghasilkan perhitungan NBL ideal. Untuk kelompok yang menghasilkan perhitungan NBL dibawah nilai difficulty index, dapat disimpulkan bahwa para judges masih “bermain aman” dan terkesan under estimate. Sebaliknya, untuk NBL yang berada


Page 9

HPEQ Project 2010

MONEV

diatas difficulty index, judges terkesan over estimate dan dinilai belum dapat memposisikan diri dengan baik sebagai borderline student. Selanjutnya, perhitungan dari tiap kelompok direkapitulasi untuk mendapatkan NBL yang disepakati bersama. Berdasarkan hasil perhitungan melalui 2 round, NBL yang didapatkan adalah 53, 99 dan 53, 14. Forum menyepakati NBL 53, 14 untuk UKDI 13. Selain menyepakati NBL, para judges dapat mengestimasi successful rate UKDI 13 untuk first taker dan retaker dengan menggunakan beberapa metode standard setting, yang telah disepakati, yaitu modified angoff versi 2, karena dinilai dapat menghasilkan successful rate yang lebih tinggi.

Analisa lebih lanjut terhadap hasil perhitungan successful rate, dihasilkan nilai successful rate yang lebih tinggi untuk first taker, yaitu 70, 69 %. Pencapaian ini juga meningkat dari hasil UKDI 12. Akan tetapi, successful rate retaker menurun, yaitu 27,5 %. Hal ini menyebabkan cumulative successful rate menjadi menurun, yaitu 53,28 %. Berdasarkan hasil perhitungan judges ini, beberapa kesepakatan yang dituangkan pada Berita Acara Standard Setting UKDI 13, dan akan menjadi acuan bagi seluruh IPD adalah sebagai berikut : Metode standard setting yang digunakan untuk UKDI 13 adalah modified angoff dengan NBL yang disepakati adalah 53, 14 dan successful rate 70,69 % untuk first taker serta 27,5 % untuk retaker. B.

Workshop Tindak Lanjut Standard Setting dan Pengembangan UKDI ke Depan Berbeda dengan pelaksanaan workshop-workshop standard setting sebelumnya, para pimpinan IPD belum dilibatkan pada penentuan standard setting, supaya para judges bisa benar-benar fokus


Page 10

HPEQ Project 2010

MONEV

untuk menjalankan tugasnya. Para pimpinan IPD diundang untuk menyepakati hasil standard setting UKDI 13 pada pertemuan hari berikutnya, yaitu tanggal 27 – 28 Agustus 2010. Workshop dibuka oleh koordinator komponen 2 dan dilanjutkan dengan laporan tim KB UKDI terkait hasil standard setting UKDI 13 yang disampaikan oleh Setiawan (merangkap sebagai Sekjen AIPKI). Pada dasarnya, para pimpinan IPD telah setuju dan sepakat dengan hasil standard setting UKDI 13. Akan tetapi, masih ada beberapa input terkait hasil standard setting tersebut, diantaranya adalah sebagai berikut : Perlu disusun suatu SOP untuk mekanisme penentuan judges? Perlu diperhitungkan pula standard deviasi nilai peserta uji pada saat item analysis agar dapat dilihat pula validitasnya Perlu diobservasi lebih lanjut terkait jumlah peserta uji yang memenuhi syarat borderline Perlu strategi yang jitu untuk pemetaan retaker, karena banyak retaker yang tidak kembali ke institusinya masing-masing Permasalahan retaker UKDI sudah menjadi permasalahan pendidikan nasional. Oleh karena itu, perlu sinkronisasi dengan berbagai stakeholder terkait untuk menyusun strategi penyelesaian masalah ini. Selain itu, stakeholder yang hadir, yaitu ketua KKI dan Ketua IDI juga turut memberikan input terhadap UKDI secara keseluruhan : AIPKI perlu memegang komitmen semua dekan agar konsisten dan taat pada kesepakatan UKDI AIPKI perlu melaporkan hasil UKDI secara transparan Akan dibentuk forum khusus untuk menyusun roadmap pendidikan profesi kedokteran KKI akan tetapmemberikan rekomendasi kepada Dikti untuk membuka/ menutup prodi kedokteran Perlu dihimbau kepada seluruh IPD agar kuota mahasiswa baru disesuaikan dengan rasio dosen dan mahasiswa yang ideal. Untuk melengkapi laporan UKDI 13, exam manager KB UKDI, Yulherina juga melaporkan rekapitulasi peserta UKDI 13. Dari 3350 peserta yang mendaftar, hanya 3338 peserta yang mengambil kartu uji dan pada akhirnya hanya 99 % peserta yang mengikuti uji, yaitu 3321 peserta dari 15 lokasi uji. Distribusi peserta berdasarkan kategori first taker dan retaker adalah 60 % berbanding 40 %. Disisi lain, distribusi peserta berdasarkan lokasi uji dapat dilihat pada tabel dan grafik berikut :


Page 11

HPEQ Project 2010

MONEV

Berdasarkan grafik dan tabel dapat dilihat bahwa participation rate tertinggi tetap dicapai oleh lokasi uji Jakarta, yaitu mencapai 1109 atau sekitar 33 % dari total peserta uji. Hal ini berbanding terbalik dengan lokasi Samarinda dan Jayapura, yang hanya memiliki peserta uji 14 orang saja. Dengan ketidakmerataan distribusi peserta ini, KB UKDI perlu memikirkan strategi untuk pemerataan lokasi uji supaya workload tiap lokasi dapat merata. Hal ini memang perlu pemikiran yang matang, karena perlu kesiapan saraa dan prasarana dari tiap lokasi uji. Secara lebih detail, berikut adalah distribusi peserta per institusi dari tiap wilayah :

Sumatera No Institusi 1 Universitas Syiah Kuala 2 Universitas Abulyatama 3 Universitas Sumatera Utara 4 Universitas Islam Sumatera Utara 5 Universitas Methodist Indonesia 6 Universitas Andalas 7 Universitas Baiturrahman 8 Universitas Riau 9 Universitas Lampung 10 Universitas Malahayati 11 Universitas Sriwijaya Sub Total Sumatera

Jawa No

Institusi 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37

Peserta 96 75 158 169 144 58 63 25 17 134 52 991

38 39 40 41 43 44 45 46 47 48

Universitas Udayana Universitas Mataram Universitas Lambung Mangkurat Universitas Mulawarman Universitas Hassanudin Universitas Muslim Indonesia Universitas Sam Ratulangie Universitas Cendrawasih Quangxi Medical University University Of Karachi Sub Total lain

Peserta

181 Universitas Trisakti 23 Universitas Kristen Krida Wacana 4 Universitas Pelita Harapan 440 Universitas Indonesia 25 Universitas Katolik Atmajaya 132 Universitas YARSI 38 Universitas Muhammadiyah Jakarta 106 Universitas Kristen Indonesia 31 Universitas Taruma Negara 56 Universitas Pembangunan Nasional Veteran 19 Universitas Padjajaran 57 Universitas Kristen Maranatha 35 Universitas Jenderal Ahmad Yani 6 Universitas Diponegoro 162 Universitas Islam Sultan Agung 25 Universitas Jenderal Soedirman 21 Universitas Gadjah Mada 82 Universitas Muhammadiyah Yogyakarta 30 Universitas Sebelas Maret 34 Universitas Islam Indonesia 80 Universitas Brawijaya 20 Universitas Muhammadiyah Malang 37 Universitas Jember 21 Universitas Airlangga 85 Universitas Hang Tuah 138 Universitas Wijaya Kusuma 1,888 Sub Total Jawa


Bali, NTB, Kalimantan dan Sulawesi No Institusi Peserta

Berdasarkan rekapitulasi peserta per institusi, diketahui ada 2 mahasiswa asing yang mengikuti UKDI, yaitu 1 orang berasal dari Quangxi Medical University dan 1 orang berasal dari University of Karachi.

Page 12

4 5 60 8 92 108 183 9 1 1 471

MONEV

HPEQ Project 2010

Selain itu, pemetaan juga dilakukan terhadap persentase kelulusan berdasarkan kategori peserta uji. Kategori 1 adalah 1st taker, kategori 2 adalah 2nd taker, kategori 3 adalah 3rd taker, dan seterusnya. Berikut adalah persentase kelulusan dari tiap kategori tersebut. Berdasarkan tabel rekapitulasi, masih ada 55 mahasiswa yang telah mengulang UKDI sebanyak 7 kali, dan yang mengkhawatirkan adalah tingkat kelulusannya pun sangat rendah, yaitu 11,5 %.

Setelah itu, ketua AIPKI memimpin diskusi untuk membahas salah satu agenda utama pada workshop, yaitu penanganan retaker. Beberapa input dari para pimpinan IPD terkait strategi penanganan retaker adalah sebagai berikut : Strategi Penyikapan UKDI - Implementasi metode standard setting baru - Menyusun aksi pereventif (upaya jangka panjang dan jangka pendek) terhadap resiko meningkatnya retaker - Menyikapi aksi forum dokter muda indonesia tentang eksistensi UKDI - Perlu segera disusun milestone pengembangan UKDI 2010 - 2014 - Umpan balik lengkap (berdasarkan tinjauan) terhadap hasil UKDI akan dikeluarkan oleh KB UKDI oleh KB UKDI Problem Solving Retaker - Pemberdayaan institusi melalui AIPKI wilayah - Sumpah dokter dilaksanakan setelah lulus UKDI - Sertifikat lulus diambil di masing-masing institusi - Capacity building 69 IPD untuk menangani retaker - Setiap IPD diwajibkan untuk melaporkan apa yang sudah dilakukan masing-masing institusi dalam menangani retaker • Isu-isu terkait UKDI & penanganan retaker : - Pembiayaan manajemen retaker apabila dibebankan ke tiap institusi - Saat ini banyak dokter yang tidak punya STR (surat tanda registrasi) bisa praktek. Untuk menangani hal tersebut perlu ditelusuri dari database mahasiswa tiap IPD - Untuk ke depan, website AIPKI akan mengakomodir data-data kelulusan UKDI. Mulai UKDI 13, hasil UKDI akan dipublikasikan kepada tiap institusi - Mulai UKDI 14 akan dilakukan pendaftaran UKDI secara online. - Setelah implementasi OSCE dan CBT, UKDI akan dilaksanakan dalam 8 periode uji. Pada workshop kali ini, ada beberapa hidden agenda AIPKI yang cukup krusial, yaitu terkait pembenahan penamaan prodi kedokteran untuk revisi SK 163, pembenahan data penerima beasiswa PPDS dari tiap IPD dan penyampaian rencana strategis program kerja AIPKI. Beberapa isu penting dari beberapa agenda AIPKI tersebut adalah sebagai berikut : Kesepakatan penamaan : program studi profesi dokter dan program studi kedokteran Sistem akademik-profesi : akan dikeluarkan 2 ijin dalam satu surat dan tidak perlu diubah namanya, agar tidak menyalahi undang-undang (jenjang profesi harus sesudah sarjana) PPDS : tiap FK melengkapai surat pengantar dari dekan


Page 13

HPEQ Project 2010

MONEV

Setiap judge standard setting akan mendapatkan SK dari AIPKI Penanganan retaker yang lebih dari 5 kali mengikuti UKDI perlu disinkronisasi dengn KKI Regional/ wilayah AIPKI akan lebih diberdayakan untuk menjalankan proker AIPKI dengan menunjuk PIC di tiap wilayah sebagai berikut : - Wil 1 : Isti Fujiati - Wil 2 : Slamet B Santoso - Wil 3 : Evi Yuniawati - Wil 4 : Hartono - Wil 5 : Sumardike - Wil 6 : Maesuriyani RPP mengenai RSP sedang disusun, oleh karena itu perlu masukan dari seluruh dekan Perlu persiapan yang intensif untuk implementasi OSCE & CBT, terutama dari segi sarana dan prasarana yang meliput jumlah komputer, daya tampung ruangan, jumlah station OSCE, Daya dan rencana pengembangan program Untuk memperlancar komunikasi, akan diinstall hotline dekan dengan pengurus AIPKI Akan dilaksanakan pelatihan manajemen untuk Dekanat Pemberdayaan Majalah dan Jurnal Kedokteran Manajemen retaker sebagai dasar pijakan untuk mengurangi jumlah retaker di setiap IPD

Selain itu, take home message dari pertemuan ini adalah : Menurut KKI semua dokter harus memiliki STR meskipun tidak praktek. Hal ini perlu di cross check pda kebijakan KKI Manajemen retaker sebagai dasar pijakan untuk mengurangi jumlah retaker di setiap IPD. Perlu kesiapan tiap wilayah AIPKI untuk membina IPD dalam manajemen retaker 7. Refleksi Setelah dilakukan analisa terhadap hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif substansi maupun teknis. Melalui refleksi ini diharapkan akan teridentifikasi hal-hal yang perlu diimprove ataupun ditindaklanjuti. Berikut adalah parameter penilaian monev dari berbagai perspektif tersebut. A. ASPEK SUBTANSI No. Parameter Input Workshop Standard Setting 1. Standard setting telah mempertimbangkan kepentingan stakeholder 2. Di institusi asal sebelumnya telah ada sosialisasi tentang standard setting ini 3. Tujuan dan manfaat standard setting telah dipahami Proses Workshop Standard Setting 4. Orientasi di awal memberikan kejelasan tujuan workshop 5. Praktik dalam workshop memberi pemahaman standard setting 6. Workshop ini memberikan pemahaman tentang cara asesmen/penilaian 7. Definisi bordenline cukup jelas dan bermanfaat dalam standard setting 8. Diskusi kelompok dan pleno memberikan pemahaman tentang standard setting 9. Informasi tentang indeks kesukaran soal bermanfaat dalam standard setting 10. Peserta memiliki kesempatan yang sama dalam menyampaikan ide & pendapat 11. Narasumber telah menyampaikan materi dengan jelas 12. Fasilitator memandu diskusi dalam kelompok dengan baik


Page 14

MONEV

HPEQ Project 2010

13. Waktu yang disediakan dalam workshop ini cukup memadai Output Workshop Standard Setting 14. Nilai batas lulus yang disimulasikan dalam workshop ini ideal 15. Kegiatan ini akan disosialisasikan/didesiminasikan ke institusi asal B. ASPEK TEKNIS No. Parameter 16. TOR workshop memberi gambaran pelaksanaan dan target yang hendak dicapai 17. Metode pelaksanaan workshop efektif dalam menghasilkan output sesuai target 18. Output workshop menjadi referensi untuk workshop selanjutnya 19. Responsiveness pelayanan yang diberikan oleh panitia 20. Kenyamanan tempat pelaksanaan workshop menunjang produktivitas ASPEK SUBSTANSI Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring “voice of customer” peserta terkait satisfaction level terhadap aspek-aspek yang menjadi parameter penilaian monev terkait pelaksanaan workshop. Dari 46 kuesioner yang kembali ke tim monev, 80 % peserta menyatakan pencapaian parameter penilaian workshop telah sangat sesuai dengan target yang diharapkan. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama peserta workshop, narasumber maupun panitia pelaksana yang sangat cooperative. Analisa lebih lanjut terhadap feedback peserta dilakukan untuk menjaring persepsi peserta terhadap faktor-faktor apa saja yang dinilai penting dan telah sesuai dengan harapan peserta terkait workshop standard setting kedokteran.

Analisa didasarkan dilakukan pada parameter-parameter yang krusial untuk segara improved ataupun parameter yang dinilai excellent. Parameter yang dinilai excellent adalah parameter yang dinilai sangat penting dan dirasakan telah sangat sesuai dengan yang diharapkan oleh peserta workshop. Disisi lain, parameter yang dinilai dalam kategori urgently improved adalah parameter yang dinilai sangat penting, tapi masih dirasakan belum sesuai dengan yang diharapkan. Oleh karena itu, parameter-parameter yang masuk ke dalam kategori ini harus segera ditindaklanjuti untuk diperbaiki. Parameter yang dinilai excellent dari sisi substansi : Peserta memiliki kesempatan yang sama dalam menyampaikan pendapat Narasumber telah menyampaikan materi dengan jelas Fasilitator memandu diskusi kelompok dengan baik Praktik dalam workshop memberi pemahaman standard setting Kinerja fasilitator dan narasumber dinilai excellent oleh peserta, terutama dalam memberikan pengarahan dan bimbingan untuk berlatih metode standard setting. Disisi lain, beberapa hal yang dinilai sangat penting dan dirasakan masih belum sesuai sehingga perlu segera dilakukan improvement adalah sebagai berikut : Di institusi asal, telah ada sosialisasi tentang standard setting Workshop ini memberikan pemahaman tentang asesmen / penilaian


Page 15

MONEV

HPEQ Project 2010

Defini borderline cukup jelas dan bermanfaat dalam standard setting Nilai batas lulus yang disimulasikan dalam workshop ini ideal

Menurut para judges, di tiap IPD belum ada sosialisasi yang baik terkait perhitungan standard setting. Workshop ini juga dirasakan belum cukup untuk memberikan pemahaman tentang asesmen. Selain itu, definisi borderline belum dipahami secara mendalam oleh para judges. Terkait output perhitungan standard setting, NBL yang dihasilkan dari hasil pelatihan masih dinilai belum ideal.


Page 16

HPEQ Project 2010

MONEV

Selain itu, feedback dari fasilitator dan narasumber terhadap beberapa aspek penilaian terhadap peserta adalah sebagai berikut : 1.

Penilaian terhadap peserta workshop standard setting secara umum : • Peserta workshop standard setting telah siap menjadi judge • Peserta cukup serius dalam mengikuti workshop, walaupun yang datang terlambat pun berusaha untuk mengikuti dengan baik • Peserta cukup antusias, interaktif dan saling mendukung

2.

Hal-hal yang mendukung peserta dalam workshop : • Suasana kondusif • Penjelasan dari narasumber dan fasilitator • Homogenitas sebagai dosen

3.

Hal-hal yang menghambat kelancaran workshop : • Penggantian judge oleh institusi • Pemberitahuan waktu penyelenggaran yang mendadak • Perbedaan variasi proses pendidikan di tiap institusi

4.

Apakah peserta akan mendiseminasikan kegiatan ini di institusi asalnya dengan baik? • Sebagian besar peserta siap, mungkin karena sudah pernah mengikuti pelatihan-pelatihan sebelumnya

5.

Kesiapan peserta untuk menjadi judge dalam standard setting UKDI : • belum semua siap, terutama bagi judge baru

6.

Saran untuk memperbaiki kualitas peserta workshop standard setting : • penentuan judge yang permanen dari tiap institusi • jadwal kegiatan sebaiknya telah direncanakan jauh hari sebelumnya • bila tujuannya untuk merekrut judge, maka perlu diterapkan beberapa pra syarat mendapatkan calon yang sedikit banyak homogen • diberikan SK untuk para judge, yang dikeluarkan oleh AIPKI

Selain menjaring feedback narasumber, dilakukan juga penjaringan feedback dari para judges : 1.Pendapat judges bile metode Angoff diterapkan dalam penentuan kelulusan UKDI : • • • • • • • •

Setuju bila metode Angoff 2 diterapkan lebih lanjut Akan sangat baik, tetapi untuk FK yang baru harus tetap/menjaga mutu agar lulusannya dapat mengikuti Sesuai dengan standard pendidikan Sangat baik bila telah ditetapkan padaUKDI Setuju, terutama versi 2 Meningkatkan objektifitas Setuju dan mendukung sepenuhnya Metode Absolut ini baik untuk dilakukan


Page 17

HPEQ Project 2010

MONEV

• • •

Metode ini lebih baik dari hoffstee Setuju asalkan menggunakan Angoff versi 2 karena lebih fleksibel Baik, karena bisa meminimalisir subyektifitas

2. Kesiapan untuk menjadi judge dalam standard setting UKDI : • Bersedia • Sangat siap • Perlu banyak pengalaman • Siap, tetapi perlu banyak pelatihan untuk calon judge yang waktu mengajarnya tidak terlalu lama • Siap dan akan meningkatkan kapasitas ataupun kemampuan yg telah dimiliki • Demi kemajuan dokter Indonesia harus siap • Siap dan berkomitmen untuk menjadi judges standard setting 3. Usulan / saran untuk memperbaiki pelaksanaan workshop : • Jangan saat bulan puasa, konsentrasi berkurang • Agar lebih tepat waktu • Agar yang datang sesuai syarat yang diharapkan • Pelaksanaan sudah baik • Informasi/undangan lebih cepat • Dalam surat undangan, sebaiknya penitia langsung menunjuk/menuliskan nama wakil dari masing-masing institusi • Untuk pelaksanaan selanjutnya mohon disediakan buku standar kompetensi dokter agar dalam menilai soal dapat mempertimbangkan kompetensi dokter • Pemberitahuan jangan mendadak, untuk pengaturan jawal institusi • Perlu mengaturkan pemahaman bersama lebih dahulu diantara peserta workshop • Diberi waktu yang lebih panjang untuk mempelajari soal • Pemberitahuan awal akan sangat membantu • Manajemen waktu lebih ditingkatkan • Mohon dapat diberitahu untuk membawa buku standar setting 8. Rencana Tindak Lanjut Manajemen UKDI : • Meeting di wilayah untuk penanganan retaker. Total retaker untuk UKDI 13 adalah 455 dengan kontribusi retaker dari tiap wilayah adalah sebagai berikut : Wil 1 = 186 Wil 2 = 56 wil 3 = 39 wil 4 = 31 Wil 5 = 44 Wil 6 = 99 Standar pembiayaan penanganan retaker : tidak dibebankan kepada peserta. 4 kali retaker ke bawah ditangani masing-masing institusi sedangkan retaker yang sudah melaksanakan UKDI lebih dari 5 kali akan menjadi tanggung jawab wilayah AIPKI Retaker yang telah melaksanakan UKDI lebih dari 5 kali, untuk selanjutnya tidak boleh ikut lagi, kecuali mengikuti program pembinaan


Page 18

HPEQ Project 2010

MONEV

Perlu ditentukan passing grade khusus untuk retaker UKDI akan mengeluarkan form khusus untuk pembinaan retaker (yang sudah 5 kali ujian atau lebih)

Selanjutnya, untuk menyusun program kerja baru AIPKI, maka akan dilaksanakan Muktamar AIPKI pada minggu ke -3 Juli 2010. 9. Penutup Penentuan batas lulus merupakan kegiatan akhir dari rangkaian sistem ujian. Keseluruhan aspek dalam pelaksanaannya memerlukan proses penjaminan mutu. Dalam penentuan batas lulus ini yang sangat menentukan kelulusan terutama pada kelompok borderline sangat krusial. Oleh karena itu, pemahaman dan peningkatan kemampuan standard setter dalam panel expert sangat diperlukan melalui kegiatan workshop. Oleh karena itu, dukungan semua fihak terhadap keberhasilan workshop ini sangat diperlukan. 10. Lampiran • Materi presentasi narasumber • Data judges dan pimpinan IPD


Page 19

MONEV


HPEQ Project 2010

Page 20

LAPORAN WORKSHOP STANDARD SETTING KEDOKTERAN GELOMBANG 2 KOMPONEN 2 PROYEK HPEQ

Recommend Documents