HPEQ PROJECT 2012
LAPORAN
WORKSHOP PANEL EXPERT UKDGI GELOMBANG 2 Komponen 2-‐ Health Professional Education Quality (HPEQ Project)
Hotel Santika Jogjakarta, 15-‐16 Juni 2012
Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan dan Kebudayaan
WORKSHOP KOMPONEN 2 – JUNI 2012
Page 1
HPEQ PROJECT 2012
1. Pendahuluan HPEQ Project mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Dalam upaya penjaminan mutu sistem ujian ini, salah satunya dilakukan melalui proses review soal yang dilakukan secara berjenjang, mulai dari tahap institusi, wilayah, dan pusat. Pada proses review tingkat nasional akan dilakukan 2 tahap kegiatan. Pertama, review dilakukan oleh wakil-‐wakil institusi yang mewakili keahlian yang berbeda. Kedua, soal yang telah di-‐review oleh pakar pakar dalam bidang keahliannya akan direview kembali oleh tim pusat untuk memastikan bahwa soal soal tersebut sesuai dengan kompetensi dokter gigi umum. Proses review ini sangat penting pula untuk pengembangan bank soal. Soal-‐soal yang tidak masuk kategori pada skala nasional akan dikembalikan ke wilayah dan institusi untuk mendapat perbaikan dan dapat dimasukkan ke dalam bank soal institusi dan wilayah. Sementara itu, soal yang telah lolos melalui berbagai tahap review akan meningkatkan jumlah dan kualitas soal yang masuk bank soal pusat yang selanjutnya akan diujikan dalam uji kompetensi nasional (UKDGI). Pada tahap implementasi, setiap UKDGI akan mengujikan 120 soal yang terdiri dari 100 soal untuk UKDGI, dan 20 soal untuk diujicobakan tanpa dilakukan penghitungan terhadap nilai akhir, dengan tujuan untuk menentukan standard setting dan kemudian soal-‐soal yang sudah diujicobakan dan telah dianggap baik pada saat uji coba akan dimasukkan ke dalam bank soal. Pada sisi lain, proses review yang dilakukan oleh panel expert merupakan upaya untuk lebih meningkatkan kemampuan dan kapasitas sumber daya manusia dalam bidang review soal. Keikutsertaan seseorang dalam proses ini dipengaruhi oleh tingkat keaktifan peserta dalam kontribusi pembuatan soal dan review soal sebelumnya pada tingkat institusi dan wilayah serta nasional. Dengan kesempatan review akhir ini akan terjalin kerjasama reviewer tingkat nasional yang akan menambah jumlah dan kualitas serta cakupan keilmuan reviewer yang ada. Keseluruhan proses ini akan tetap dimonitoring dan dievaluasi oleh penjamin mutu agar keberlangsungan kegiatan tetap efektif , efisien dan sesuai dengan luaran yang akan dicapai. Mengingat urgensi output yang diharapkan dari program ini, maka proyek HPEQ telah memfasilitasi serangkaian workshop panel expert. Selanjutnya untuk menambah bank soal UKDGI periode berikutnya, perlu dilaksanakan workshop panel expert secara kontiniu menjelang pelaksanaan UKDGI.
WORKSHOP KOMPONEN 2 – JUNI 2012
Page 2
HPEQ PROJECT 2012
2. Tujuan
1. Mereview ulang 200 soal CBT yang telah direview pada saat item review oleh pakar tiap bidang ilmu untuk menghasilkan soal yang sesuai dengan standar kompetensi dokter gigi Indonesia dan blue print CBT yang siap diujikan pada UKDGI periode Juli 2012. 2. Mereview ulang 2 paket soal OSCE yang telah direview pada saat item review oleh pakar tiap bidang ilmu untuk menghasilkan soal yang sesuai dengan standar kompetensi dokter dan blue print OSCE yang siap diujikan pada UKDGI periode Juli 2012. 3. Meningkatkan kemampuan tim review pusat dalam menelaah soal yang layak untuk diinputkan pada bank soal UKDGI 4. Memberikan input kepada IPDG dan stakeholder profesi dokter gigi dalam hal pengembangan soal UKDGI yang berkualitas 3. Output Workshop 1. Diperoleh 100 soal CBT dan 2 Paket soal OSCE yang baik sesuai standar kompetensi dokter gigi Indonesia yang siap diujikan pada UKDGI Periode Juli 2012 2. Meningkatnya kemampuan reviewer tingkat pusat yang dapat melakukan proses review final dengan baik 3. Rekomendasi pengembangan soal UKDGI yang berkualitas 4. Metode Pelaksanaan Workshop Workshop Panel Expert Uji Kompetensi Dokter Gigi Indonesia Gelombang 2 ini dilaksanakan pada tanggal 15-‐16 Juni 2012 di Santika, Jogjakarta. Workshop dilakukan dengan metode diskusi kelompok kecil/ pribadi untuk memperbaiki soal sesuai dengan keahlian masing-‐masing yang dilanjutkan dengan diskusi kelompok besar (10 orang). Dibawah ini susunan acara kegiatan panel expert dalam kondisi riil: Jumat, 15 Juni 2012 15.00 – 15.15
Pembukaan dan Pengarahan
15.15 – 18.00
Diskusi kelompok kecil: review soal OSCE
18.00 – 20.30
ISHOMA
20.30 – 22.00
Panel expert OSCE
Ketua KDGI Core Team UKDGI Panitia Core Team UKDGI
Sabtu, 16 Juni 2012 08.30 – 10.30
Panel expert OSCE
Core Team UKDGI
10.30 – 11.00
Wrap Up dan rencana tindak lanjut
Prof Mei Syafriadi
WORKSHOP KOMPONEN 2 – JUNI 2012
Page 3
HPEQ PROJECT 2012
5. Peserta Peserta Panel Expert UKDGI kali ini terdiri dari 10 orang dari total 13 undangan (participation rate 77%). Berikut adalah daftar peserta yang dapat hadir: No
Nama
Keterangan
1
Boedi Oetomo Roeslan Ketua KDGI
2
Melanie S. Djamil
KDGI/ Coreteam
3
Haslinda Z. Tamin
FKG USU/ Coreteam
4
Iwan Dewanto
FKG UMY/ Coreteam
5
Indri Kurniasih
FKG UMY/ Coreteam
6
Wiwiek P.
KDGI/ Coreteam
7
Utmi Arma
FKG UNBRAH/ Coreteam
8
Mei Syafriadi
FKG UNEJ/ Coreteam
9
Adam Malik
FKG UNHAS/ Coreteam
10 Mia Damiyanti
FKG UI/ Coreteam
6. Hasil Kegiatan Kegiatan panel expert diawali dengan pengarahan dan penjelasan dari Ketua KDGI mengenai tujuan dan target yang harus dicapai kali ini. Setelah pengarahan dan diskusi didapatkan kesepakatan terkait CBT yaitu untuk CBT UKDGI pada bulan Juli 2012 akan menggunakan 100 soal dengan komposisi: • 25 soal baru dari simpanan item pada workshop bulan April 2012 yang akan dikirim ke drg Wiwiek untuk di periksa/ review kembali. • 50 soal lama yang telah masuk bank soal dengan kategori “check” • 25 soal lama yang telah masuk bank soal dengan kategori “baik” Setelah terbentuk kesepakatan terkait CBT, acara dilanjutkan dengan review soal dalam kelompok kecil/ perorangan dengan tujuan meminimalisir perubahan dan mempercepat waktu review dalam kelompok besar (panel review). Berdasarkan hasil workshop yang telah dilaksanakan selama 2 hari, output dari workshop Panel Expert UKDGI Gelombang 2 adalah sebagai berikut:
WORKSHOP KOMPONEN 2 – JUNI 2012
Page 4
HPEQ PROJECT 2012
NO KOMPONEN 1. Jumlah soal CBT yang direview 2. Jumlah soal OSCE yang didapat dari item review sebelumnya 3. Jumlah soal OSCE yang direview dalam panel expert 4. Jumlah soal OSCE yang memenuhi kriteria soal baik 5. Jumlah soal OSCE yang ditolak 6. Jumlah peserta workshop
TARGET
REALISASI
200 -‐
* 21
21 21 0 13
12 12 0 10
Grafik Pencapaian Target Workshop Panel Expert UKDGI Gelombang 2 Hotel SanVka Jogjakarta, 15-‐16 Juli 2012 250 200
200
150 100 50
Target 21
21
12
0
21
12
0 0
13 10
Realisasi
Jumlah soal Jumlah soal Jumlah soal Jumlah soal Jumlah soal Jumlah CBT yang OSCE yang OSCE yang OSCE yang OSCE yang peserta direview didapat dari direview memenuhi ditolak workshop item review dalam panel kriteria soal sebelumnya expert baik
Target soal CBT yang seharusnya direview dalam workshop kali ini berdasarkan TOR adalah sejumlah 200 soal dimana 100 di antaranya akan digunakan sebagai soal CBT UKDGI. Setelah dilakukan diskusi, disepakati bahwa terdapat perubahan cara pemilihan soal yaitu dari 100 soal, 25 diantaranya adalah soal baru dari simpanan item pada workshop bulan April 2012 yang akan dikirim ke drg Wiwiek untuk di periksa/ review kembali, 50 buah soal lama yang telah masuk bank soal dengan kategori “check”, dan 25 soal lama yang telah masuk bank soal dengan kategori “baik”. Dari 21 soal OSCE yang didapat dari hasil workshop item review sebelumnya, workshop panel expert kali ini berhasil mereview 12 soal (57% dari keseluruhan soal yang tersedia) dan semuanya diterima masuk kategori soal OSCE yang memenuhi kriteria baik. Delapan soal yang sesuai dengan blue print dari total 12 soal yang diterima akan digunakan untuk
WORKSHOP KOMPONEN 2 – JUNI 2012
Page 5
HPEQ PROJECT 2012
UKDGI periode Juli 2012. Tidak ada soal yang ditolak dalam workshop ini. Partisipation rate pada workshop ini cukup baik (77%) yaitu 10 orang dari total 13 peserta yang diundang. Adapun 3 orang yang tidak dapat hadir ini berasal dari 1 institusi dan berhalangan hadir karena ada acara di fakultas. 7. Refleksi Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif tim monev secara umum dan juga dari peserta. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja peserta yang masih belum optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari perspektif tersebut : Gambaran Umum • Waktu kegiatan yang berjalan tidak sesuai dengan jadwal membuat proses panel review belum berjalan dengan efektif dan maksimal. • Meskipun demikian, mekanisme soal yang direview terlebih dulu dalam kelompok kecil/ perorangan sebelum dibahas dalam kelompok besar telah mempermudah proses review, sehingga dalam kelompok besar tidak terlalu banyak perubahan dari soal dan juga mempercepat waktu review. • Kesamaan persepsi dan juga pengalaman dalam review soal juga membuat proses review berjalan cukup lancar. • Hal yang menjadi catatan adalah adanya soal yang diprint selama proses review. Hal ini perlu diperhatikan mengingat hal ini tidak diijinkan dalam peraturan review soal terkait kerahasiaan soal. Beberapa hal yang perlu ditingkatkan dari pelaksanaan workshop ini adalah : • Kegiatan diharapkan lebih tepat waktu dan sesuai dengan jadwal agar target yang sudah dibuat dapat dicapai • Fokus pada kegiatan sehingga output yang dihasilkan dapat lebih maksimal • Reviewer diharapkan mengingat kembali peraturan dalam review soal terkait kerahasiaan soal. Peserta • Kesesuaian blue print OSCE untuk menyusun soal o Sudah cukup sesuai o Masih perlu penyempurnaan macam kelainan rongga mulut
WORKSHOP KOMPONEN 2 – JUNI 2012
Page 6
HPEQ PROJECT 2012
•
•
•
•
o Masih terlihat distribusi soal belum merata dan masih terlihat kendala dalam mengisi blue print o Saran: informasi ke institusi soal-‐soal yang masih dibutuhkan o Masih memerlukan penyempurnaan o Item review perlu dioptimalkan untuk mendaparkan set soal yang memenuhi blue print Kendala yang dihadapi dalam mereview soal o Masih ada soal yang kurang sesuai dengan blue print soal yang dibuat o Item review tidak dilakukan di tingkat institusi o Jumlah soal masih kurang untuk memenuhi tinjauan o Menyesuaikan antara soal yang sudah direview dengan blue print sebab ada soal yang dibutuhkan di blue print tapi soal yang berkualitas tidak ada jadi harus membuat atau memperbaiki ulang o Masih banyak soal yang multipersepsi o Masih diperlukan revisi soal yang sudah direview sebelumnya, hal ini menunjukkan soal belum direview secara maksimal o Peserta tidak memahami mekanisme dalam item yang diberikan o Format OSCE kadang tidak sesuai Kesesuaian format dan guideline review soal o Masih belum sesuai o Sudah cukup baik hanya perlu penyempurnaan check list yang sesuai dengan skenario dan tugas o Ada perbedaan persepsi dalam penggunaan istilah Rekomendasi perbaikan untuk menghasilkan soal OSCE yang berkualitas baik o Institusi lebih didorong untuk mengirimkan soal yang sudah direview dan diujicobakan o Waktu workshop diperpanjang karena review membutuhkan waktu yang cukup lama Rekomendasi untuk menjaga sustainability workshop ini di tingkat regional AFDOKGI dan institusi o Pertemuan berkala antara beberapa stakeholder o Menginformasikan laporan hasil review item OSCE ke masing-‐masing institusi dan AFDOKGI o Hal ini ditujukan juga agar institusi dapat memonitoring kegiatan dan staf yang dikirim
WORKSHOP KOMPONEN 2 – JUNI 2012
Page 7
HPEQ PROJECT 2012
o Misal pada kegiatan item review: dibuat laporan soal yang masuk dan soal yang diterima dan keaktifan peserta o Mengadakan pelatihan review OSCE di masing-‐masing institusi dengan teratur dan regular dengan monitoring dari PDGI dan AFDOKGI o Meningkatkan komunikasi 8. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : o Perlu dilakukan workshop item review oleh institusi sehingga masing-‐masing institusi memiliki kemampuan untuk melakukan item review dan memiliki bank soal yang dapat digunakan dalam uji kompetensi. o Item review ditingkat regional juga perlu lebih ditingkatkan. Dalam rangkaian kegiatan UKDGI selanjutnya, pertemuan selanjutnya direncanakan pada tanggal workshop koordinator CBT dan OSCE pada tanggal 4, 5 dan 6 Juli 2012. 9. Penutup Workshop panel expert tingkat pusat merupakan bagian penting dalam penjaminan mutu soal ujian. Kegiatan ini juga sangat penting untuk mendapatkan kualitas soal yang sesuai dengan standar kompetensi dokter gigi. Untuk itu, pelaksanaan workshop ini membutuhkan dukungan dari semua pihak, termasuk dari komitmen institusi dan peserta untuk mengikutinya dengan baik. Lampiran • Point of Discussion Workshop • Dokumentasi Kegiatan
WORKSHOP KOMPONEN 2 – JUNI 2012
Page 8
