LAPORAN Workshop Nasional Item Review Kedokteran Gigi Gelombang 1 Tahun 2011
Hotel Grand Sahid Jaya Jakarta, 10 – 11 Juli 2011
Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional
1. Pendahuluan Upaya peningkatan sistem ujian pada pendidikan dokter yang menjadi fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif, dan sesuai dengan tingkat kompetensi yang diharapkan. Salah satu metode ujian yang akan digunakan adalah ujian tertulis dengan dukungan teknologi berbasiskan computer atan disebut juga sebagai computer-based testing (CBT). Untuk itu, diperlukan suatu upaya untuk membuat suatu Bank Soal yang sangat kredibel baik dari segi sistemnya maupun soal – soal yang terkandung di dalamnya. Di samping pengembangan infrastruktur dan aplikasi untuk melaksanakan CBT, tentu saja di saat yang bersamaan diperlukan upaya intensif untuk membuat dan mengisi Bank Soal Ujian Tertulis. Mengingat kepentingan hal itu maka diperlukan serangkaian workshop pembuatan soal (Item Development) yang diselenggarakan secara luas dan berkesinambungan. Kegiatan ini juga harus melibatkan seluruh institusi pendidikan sebagai upaya peningkatan sumber daya manusia dalam hal ini staf pengajar dalam pembuatan soal dengan demikian maka proses ujian di tingkat nasional dapat diiringi dengan berkembangnya sistem ujian di setiap institusi pendidikan yang pada akhirnya diharapkan dapat meningkatkan proses belajar peserta didik dan meningkatkan nilai capaian dari ujian ini. Salah satu kegiatan yang akan dilakukan oleh Proyek HPEQ Komponen 2 adalah penyusunan bank soal. Hal ini sejalan dengan kebutuhan KDGI yang memerlukan soal (MCQ) untuk ujian Uji Kompetensi yang bersifat nasional dan dapat digunakan sebagai instrumen untuk mengukur standar kompetensi dokter gigi. Dalam rangka mempersiapkan bank soal (item bank), Proyek HPEQ Komponen 2 telah menyelenggarakan dua kali workhsop item review pada tahun 2010, yaitu pada tanggal 28-29 Juni 2010 dan 10-11 Oktober 2010. Berikut adalah output workhsop tersebut: NO 1. 2. 3.
KOMPONEN/ Workshop Item Review KG Jumlah soal yang direview dalam workshop Jumlah soal yang memenuhi kriteria soal yang baik Jumlah Peserta Item Writer
Gelombang 1 1584 437 22
Gelombang 2 582 575 23
Mengingat urgensi output yang diharapkan dari program ini, maka proyek HPEQ telah memfasilitasi kegiatan Item review kedokteran gigi pada tahun 2011 untuk menambah bank soal UKDGI.
2. Tujuan Tujuan dilaksanakannya workshop nasional ini adalah: 1. Mengumpulkan 140 soal CBT dan OSCE (70 soal OSCE dan 70 soal CBT) 2. 200 jumlah soal yang tereview untuk masuk dalam bank soal UKDGI 3. Output Workshop Output yang diharapkan dari workshop ini adalah tekumpul 70 soal UKDGI untuk CBT dan 70 soal OSCE berkualitas baik yang dapat digunakan untuk ujian nasional dan mengisi bank soal di tingkat nasional
4. Metode Pelaksanaan Workshop Workshop nasional item review kedokteran gigi ini dilaksanakan pada tanggal 10 –11 Juli 2011 di Hotel Grand Sahid Jaya, Jakarta. Peserta workshop adalah 22 item reviewer terpilih dari 6 institusi pendidikan dokter gigi, yaitu : PAKAR OSCE No.
Nama Lengkap
Pakar
Instansi
1
Irma Ervina
Periodonti
Univ.Sumatra Utara
2
Edrizal
Ortodonti
Univ.Baiturahmah
3
Siti Rusdiana P.D.
Konservasi
Univ.Sriwijaya
4
Menik Priaminiarti
Radiologi KG
Univ.Indonesia
5
tdk hadir
Prostodonti
Univ.Moestopo (B)
6
Indra H.
Bedah Mulut
Univ.Padjajaran
7
Yulita Hendrartini
IKGMP
Univ.Gadjah Mada
8
Tita R. Utari
Ortodonti
Univ.Muh.Yogyakarta
9
Diah Savitri
IPM
Univ.Airlangga
10
Aprilia
Konservasi
Unv.Hang Tuah
11
Desi Sandra Sari
Periodonti
Univ.Jember
12
Rasmidar Samad
IKGMP
Univ.Hasanudin
13
tdk hadir
Prostodonti
Univ.Mahasaraswati
CBT 1
Essie Octaria
Pedodonti
Univ.Sumatra Utara
2
tdk hadir
Periodonti
Univ.Baiturahmah
3
Maya Hudiyati
IKGMP
Univ.Sriwijaya
4
Vera Julia
Bedah Mulut
Univ.Indonesia
5
Anastasia Susetyo
IKGMP
Univ.Moestopo (B)
6
Suhardjo
Radiologi KG
Univ.Padjajaran
7
Erwan Sugiatno
Prostodonti
Univ.Gadjah Mada
8
Sartika Puspita
Biomedik
Univ.Muh.Yogyakarta
9
Adi Subianto
Prostodonti
Univ.Airlangga
10
Dian Mulawarmanti
Biomedik
Unv.Hang Tuah
11
Leliana Sandra Devi
Ortodonti
Univ.Jember
12
Sri Oktawati
Periodonti
Univ.Hasanudin
13
tdk hadir
IPM
Univ.Mahasaraswati
Narasumber, Core team, KDGI, IT & Monev 1
Melani S. Djamil
FKG USAKTI
2
Haslinda Z.Tamin
FKG USU
3
Iwan Dewanto
FKG UMY
4
Indri Kurniasih
FKG UMY
5
Wiwiek Pudjiastuti
FKG USAKTI
6
Utmi Arma
FKG UNBRAH
7
Mei Syafriadi
FKG UNEJ
8
Adam Malik
FKG UNHAS
9
Kosterman
FKG UNPAD
10
Gilang Yubliana
FKG UNPAD
11
Ariadna Djais
FKG UI
12
Peter Andreas
PDGI
13
Boedi Roeslan
KDGI
14
Beta Ahlam Gizela
FK UGM
15
Santoso
FK UNDIP
16
Sinta Setiadi
IT FK Univ.Padjajaran
17
Elsye Tanjaya
IT FK Univ.Padjajaran
18
Beny Setioko
IT FK Univ.Padjajaran
19
Muhammad Ary Zucha
FK Univ.Gadjah Mada
Pada pelaksanaannya, 4 orang peserta tidak dapat hadir, yang berasal dari Universitas Baiturrahmah, Universitas Moestopo dan Universitas Mahasaraswati (2 orang). Keempat peserta tersebut telah mengkonfirmasi kedatangan (melalui pengiriman nama wakil institusi) tetapi pada hari pelaksanaan tidak hadir tanpa ada keterangan. Dengan demikian perwakilan dari institusi tersebut tidak memberikan kontribusi soal untuk direview. Untuk mengoptimalkan proses review, peserta dibagi menjadi 5 kelompok berdasarkan peminatan/bidang keahlian. Kelompok 1 : periodonsi dan bedah mulut Kelompok 2 : berisi pedodonsi, konservasi, orthodonsi. Kelompok 3 : ilmu penyakit mulut dan biologi oral Kelompok 4 : Ilmu Kesehatan Gigi Masyarakat Kelompok 5 : materi prosthodonsi, radiologi dan dental material
5. Hasil Kegiatan Workshop ini diawali pengarahan dari perwakilan fasilitator mengenai hal-hal yang akan dikerjakan selama workshop beserta penentuan target yang akan dicapai.. Target yang ditetapkan bersama adalah penambahan soal untuk bank soal UKDGI, yaitu mereview 200 soal dan mendapatkan setidaknya 70 soal yang dinyatakan baik untuk CBT dan 70 soal untuk OSCE. Pada workshop kali ini, beberapa peserta yang diundang sebagai perwakilan OSCE tergabung dengan undangan CBT dan hanya akan membahas tentang CBT. Untuk pembahasan terkait OSCE akan dilakukan terpisah pada kesempatan lain, harapannya agar peserta dapat fokus untuk menyelesaikan target CBT. CBT ditargetkan dimulai pada Januari 2011. Sehingga acara kali ini untuk pematangan CBT sebelum ujicoba akan sangat baik, mendukung pelaksanaan CBT yang diharapkan. Untuk mengoptimalkan proses review, peserta dibagi menjadi 5 kelompok berdasarkan peminatan/bidang keahlian. Kelompok 1 : periodonsi dan bedah mulut Kelompok 2 : berisi pedodonsi, konservasi, orthodonsi. Kelompok 3 : ilmu penyakit mulut dan biologi oral Kelompok 4 : Ilmu Kesehatan Gigi Masyarakat Kelompok 5 : materi prosthodonsi, radiologi dan dental material Dengan pembagian kedalam 5 kelompok tersebut maka untuk mencapai target soal yang ter-review sejumlah 200 soal maka tiap kelompok memiliki target 40 soal. Tetapi pada pelaksanaannya, tiap kelompok menargetkan untuk mereview semua soal yang telah terkumpul sesuai bidang di kelompok masing-masing. Sehingga semua kelompok mereview lebih dari 40 soal. Rekapitulasi soal yang berhasil direview menurut kelompok dapat dilihat di tabel berikut
Kelompok
Jumlah soal yang direview
Jumlah soal yang diterima (dinyatakan baik)
Jumlah soal yang ditolak
Jumlah peserta dalam kelompok
Jumlah fasilitator
1
53
32
21
5
2
2
46
42
4
6
1
3
85
70
15
3
2
4
47
20
27
4
2
5
45
40
5
5
1
TOTAL
276
204
72
Untuk soal OSCE, baru terkumpul 35 soal. Padahal menurut TOR, jumlah soal yang ditargetkan untuk OSCE adalah 70 soal yang dinyatakan baik. Dari 35 soal yang terkumpul, belum ada satupun soal yang sempat direview. Berikut adalah grafik yang menggambarkan perbandingan antara target dan pencapaian untuk jumlah soal CBT yang ter-review.
Target minimal soal tereview
Berdasarkan rekapitulasi soal yang tereview dapat dilihat bahwa semua kelompok telah mencapai target, yaitu mereview lebih dari 40 soal. Kelompok 3 telah mereview 85 soal, menunjukkan jumlah soal terbanyak dibandingkan kelompok yang lain. Jumlah total soal yang tereview pada workshop ini adalah 276 soal. Dari seluruh soal yang tereview, 207 di antaranya dinyatakan baik dan siap dimasukkan ke dalam bank soal UKDGI. Sisanya 72 soal ditolak, beberapa di antaranya masih dimungkinkan untuk diterima setelah revisi oleh pembuat soal (dikembalikan lagi kepada pembuat soal) sedangkan beberapa yang lain tidak dapat diterima karena dinilai terlalu dalam (di luar SKDGI). Berdasarkan hasil tersebut, yang perlu ditingkatkan adalah proporsi jumlah soal yang dinyatakan baik dibanding dengan soal yang ditolak. Usulan yang bisa ditindaklanjuti adalah pengiriman modul atau panduan penyusunan soal yang baik, baik, sehingga harapannya adalah soal yang direview kedepan akan lebih berkualitas dan proporsi soal yang ditolak semakin kecil. Selain itu perlu ada diseminasi knowledge yang didapat dari workshop di tiap institusi sehingga soal yang dikirim oleh institusi telah te melewati proses review. 6. Refleksi Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi inii diharapkan akan teridentifikasi root of causes dari kinerja kelompok yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Gambaran Umum • Partisipasi peserta dalam workshop ini cukup baik, 4 dari 26 peerta menghadiri workshop dan telah membawa sejumlah soal yang diharuskan untuk dibawa di workshop ini. • Peserta berpartisipasi secara aktif dalam review soal ini sehingga target output workshop, workshop yaitu untuk jumlah soal CBT telah tercapai. • Dalam workshop ini belum ada review soal untuk OSCE, padahal dalam TOR telah disebutkan salah satu targetnya adalah terpilih 70 soal yang dinyatakan baik untuk OSCE. Untuk mencapai target tersebut, beberapa peserta peserta diundang untuk mereview soal OSCE (tertera dalam TOR). Tetapi dalam pelaksanaannya workshop ini baru membahas soal untuk CBT saja. Pencapaian jumlah soal untuk CBT dan OSCE sekaligus dinilai terlalu berat, sehingga dalam workshop ini
disepakati untuk membahas mengenai soal CBT saja, untuk itu sebaiknya ke depan target output workshop lebih terfokus dan memeprtimbangkan waktu yang tersedia. Jumlah soal OSCE yang dikumpulkan untuk direview juga masih sangat sedikit, yaitu 35 soal. Jumlah ini harus ditindaklanjuti dengan mendorong peserta untuk membuat soal OSCE seperti yang ditargetkan agar siap untuk direview jika workshop review soal OSCE diselenggarakan nantinya. Tim Monev menilai target dan koenten workshop kurang fokus, sehingga dapat membingungkan peserta dan pencapaian tidak optimal. Dalam TOR disebutkan target yang ingin dicapai di antaranya adalah pencapaian target jumlah soal CBT dan OSCE. Dalam acara juga ada materi yang berisi overview mengenai IBA yang ternyata dari KG sendiri merasa belum siap untuk melakukan review soal dengan menggunakan aplikasi yang disediakan oleh tim IT (review soal dilakukan secara manual). Fasilitator • Kemampuan dan partisipasi peserta sangat baik. Peserta juga dinilai sangat antusisas dan bersemangat dalam mengikui workshop ini • Usulan untuk perbaikan aplikasi IBA - Aplikasi dinilai belum maksimal, perlu ada beberapa penyesuaian untuk mempermudah pemanfaatan di UKDGI, misalnya dengan menyusun soal per bidang keilmuan - Pengisian data membuatuhkan waktu yang lama, perlu dipikirkan penggunaan aplikasi sesederhana mungkin sehingga proses menjadi lebih cepat - User interface perlu dibuat lebih mudah digunakan. Peserta
1. 2. -
Jelaskan kendala yang mungkin akan anda hadapi sebagai Item review KG! Waktu pemberitahuan yang terlalu mendadak sehingga menjadi keterbatasan untuk membuat soal yang baik Kesesuaian antara bidang keilmuan reviewer dengan soal yang direview Kesibukan dan tanggung jawab di luar sebagai item reviewer Penyusunan soal berdasarkan kisi-kisi (blue print) memerlukan waktu lama Bagaimana rencana untuk diseminasi kegiatan ini di institusi anda! Review rutin soal MCQ di institusi Menyiapkan soal-soal dengan format yang bak dan seragam Sosialisasi item development kepada sejawat dosen Mulai diterapkan segera mungkin Menyusun proposal pelatihan item review untuk soal-soal ujian di insitusi. sebagian soal di institusi selama ini sudah berupa kasus, tetapi kasus tersebut ternyata masih jauh dari soal yang baik dan benar
3.
Berikan komentar anda terhadap workshop Item review KG ini!
-
Dilanjutkan dengan penguatan lembaga dan sistem uji kompetensi perawat Sangat bagus untuk dapat saya sosialisasikan ke mahasiswa Undangan jangan mendadak Informasikan apa yang harus dibawa Target workshop terlalu banyak dan tidak fokus Fasilitas cukup baik
4.
Penggunaan aplikasi IBA menngkatkan efektivitas dan kinerja item reviewer? Berikan feedback anda untuk mengoptimalkan aplikasi IBA Perlu sosiasliasi aplikasi IBA untuk institusi
-
-
Perlu membuat manual procedure sehingga memudahkan penguasaan aplikasi tersebut Oleh karena keilmuan yang terus berkembang, maka seluruh soal di bank soal perlu direview secara periodik Perlu dipikirkan mengenai keamanan aplikasi, dan juga keamanan isi (soal) melalui aplikasi tersebut. Sehingga perlu didefinisikan siapa saja yang bisa membuka aplikasi tersebut dan sejauh mana kemampuan mengakses soal.
Tim Monev : Feedback Peserta Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring “voice “ of customer” peserta terkait satisfaction level terhadap aspek-aspek ek pelaksanaan workshop. Dari 13 dari 17 kuesioner yang kembali kemba ke tim monev menyatakan pelaksanaan workshop ini sangat bermanfaat bagi peserta. Tim Monev telah mengumpulkan persepsi peserta dan narasumber terkait dengan pelaksanaan workshop. Persepsi Persepsi peserta digambarkan dalam grafik sebagai berikut:
16REKAP REKAP FEEDBACK ITEM REVIEW KG
16
Jakarta, 10- 1114JuLi 2011
tidak sesuai kurang sesuai sesuai paling sesuai
13
8
4 1
00
13
12
9 6
00
13
12
00
3 00
7 4
3 1
0
1
4 00
5
4 00
1
00
00
7. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : • • • •
Soal yang telah direview dan dinyatakan dapat dimasukkan ke bank soal, menggunakan aplikasi yang tersedia Sejumlah soal yang belum dinyatakan baik dan masih memungkinkan untuk perbaikan oleh writer perlu dikembalikan agar dapat memperkaya bank soal Perlu penyempurnaan aplikasi IBA sesuai masukan yang didapat melalui workshop ini Untuk soal OSCE yang belum direview diusulkan untuk dibahas secara khusus di workshop yang berbeda
8. Penutup Standarisasi lulusan/ dokter gigi melalui uji kompetensi merupakan bagian penting dari upaya peningkatan kualitas lulusan/dokter gigi dan juga untuk institusi pendidikan dokter gigi. Kualitas lulusan/ dokter gigi yang baik dan kompeten sangat menguntungkan organisasi profesi dari sisi pembinaan, pemerintah pusat dan daerah selaku pengguna, serta untuk perlindungan masyarakat dari segi pelayanan. Mengingat fungsi dan perannya yang sangat besar, maka dukungan semua fihak terkait berkenaan kegiatan pada komponen sangat diperlukan
