HPEQ PROJECT 2010 WO
LAPORAN WORKSHOP NASIONAL PANEL EXPERT KEDOKTERAN GIGI GEL. 2
Hotel Santika Bogor, 13 – 14 Juli 2010
Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional
WORKSHOP KOMPONEN 2 – JULI 2010
Page 1
HPEQ PROJECT 2010 WO 1. Pendahuluan HPEQ Project komponen 2, khususnya sub komponen 2.2 mempunyai fokus memperbaiki metodologi dan manajemen ujian berbasis standar nasional. Dalam upaya peningkatan dan penjaminan mutu sistem ujian ini, salah satunya dilakukan melalui proses review soal yang dilakukan secara berjenjang, mulai dari tahap institusi, wilayah, dan pusat. Pada proses review tingkat nasional akan dilakukan 2 tahap kegiatan. Pertama, review dilakukan oleh wakil-wakil institusi yang mewakili keahlian yang berbeda. Kedua, soal yang telah di- review oleh pakar pakar dalam bidang keahliannya akan di review kembali oleh tim pusat untuk memastikan bahwa soal soal tersebut sesuai dengan kompetensi dokter gigi umum. Proses review ini sangat penting pula untuk pengembangan bank soal. Soal-soal yang tidak masuk kategori pada skala nasional akan dikembalikan ke wilayah dan institusi untuk mendapat perbaikan dan dapat dimasukkan ke dalam bank soal institusi dan wilayah. Sementara itu, soal yang telah lolos melalui berbagai tahap review akan meningkatkan jumlah dan kualitas soal yang masuk bank soal pusat yang selanjutnya akan diujikan dalam uji kompetensi nasional (UKGDI) sesungguhnya yang mulai bulan Juli 2010 . Pada tahap implementasi setiap UKGDI akan diujikan 120 soal yang mana terdiri dari 100 soal untuk UKDGI sesungguhnya, dan 20 soal untuk diujicobakan tanpa dilakukan penghitungan terhadap nilai akhir dengan tujuan untuk menentukan standart setting dan kemudian soal soal yang sudah diujicobakan yang telah dianggap baik pada saat uji coba akan di masukkan kedalam bank soal. Pada sisi lain, proses review yang dilakukan oleh panel expert merupakan upaya untuk lebih meningkatkan kemampuan dan kapasitas sumber daya manusia dalam bidang review soal. Keikutsertaan seseorang dalam proses ini dipengaruhi oleh tingkat keaktifan peserta dalam kontribusi pembuatan soal dan review soal sebelumnya pada tingkat institusi dan wilayah serta nasional. Dengan kesempatan review akhir ini akan terjalin kerjasama reviewer tingkat nasional yang akan menambah jumlah dan kualitas serta cakupan keilmuan reviewer yang ada. Keseluruhan proses ini akan tetap dimonitoring dan dievaluasi oleh penjamin mutu agar keberlangsungan kegiatan tetap efektif ,efisien dan sesuai dengan luaran yang akan dicapai. 2. Tujuan a. Tereviewnya soal yang telah direview oleh expert dari tiap bidang ilmu untuk menghasilkan soal yang sesuai dengan standar kompetensi dokter gigi Indonesia. b. Meningkatkan jumlah soal yang berkualitas baik dan selanjutnya dapat diimplementasikan pada UKGDI, mulai periode Juli 2010. c. Meningkatkan kemampuan tim review pusat dalam menelaah soal yang layak untuk diinputkan pada bank soal UKDGI. d. Menambah jumlah panel expert sesuai bidang keahlian yang diperlukan untuk selanjutnya menjadi tim review pusat. e. Memberikan input kepada IPDG dan stakeholder profesi dokter gigi dalam hal pengembangan soal UKDGI yang berkualitas.
WORKSHOP KOMPONEN 2 – JULI 2010
Page 2
HPEQ PROJECT 2010 WO
3. Output Workshop Output yang diharapkan dari workshop ini adalah : 1. Tersedianya jumlah soal yang tereview dengan baik sesuai standard kompetensi dokter gigi Indonesia yang siap diujikan pada UKDGI mulai bulan Juli 2010 2. Terkumpulnya soal soal yang sudah di ujicobakan pada setiap UKDGI ke dalam bank soal di KDGI. 3. Meningkatnya jumlah reviewer tingkat pusat yang dapat melakukan proses review final dengan baik. 4. Rekomendasi
4. Metode Pelaksanaan Workshop Workshop nasional Panel expert kedokteran gigi ini dilaksanakan pada tanggal 13 – 14 Juli 2010 di Hotel Santika Bogor. Workshop ini diikuti oleh 12 anggota core team UKDGI nasional, yaitu : Nama No. 1 Hazlinda Z Tamin 2 Utmi Arma
Institusi FKG USU FKG UNBRAH
Email
[email protected] [email protected]
3 Boedi Roeslan 4 Ariadna Djais 5 Sarworini
FKG USAKTI FKG UI PDGI/ FKG UI
6 Peter Andreas
PDGI/ FKG UI
[email protected] [email protected] [email protected] [email protected]
FKG USAKTI FKG USAKTI FKG UMY FKG UNEJ FKG USAKTI FKG USAKTI
[email protected] [email protected] [email protected] [email protected] [email protected] [email protected]
7 8 9 10 11 12
Rahmi Amtha Yohana Yusra Indri Kurniasih Mei Syafriadi Melanie S Djamil Wiwiek P
Pada pelaksanaannya, satu anggota core team tidak dapat hadir yaitu Adam Malik (FKG UNHAS). Rundown acara workshop nasional Panel expert kedokteran gigi tersebut adalah sebagai berikut : Hari ke-1 : WAKTU 14.30 – 15.00 15.00 – 15.45
EVENT Pembukaan dan Pengarahan Panel expert Diskusi tentang pembagian tugas mereview soal secara kelompok
PIC / NARASUMBER Boedi Utomo Roeslan Haslinda Tamin
15.45 – 18.00
Core team
18.00 – 20.00
Review soal per kelompok berdasarkan blue print yang disepakati Break
20.00 – 22.30
Review Soal dan rekap hasil
WORKSHOP KOMPONEN 2 – JULI 2010
Core team
Page 3
HPEQ PROJECT 2010 WO Hari ke-2: WAKTU 08.00 – 10.30 10.30 – 11.00 11.30 – 12.00
EVENT Penentuan Item Soal UKDGI Rekapitulasi Wrap Up dan penutupan
PIC / NARASUMBER Core team Core team Core team
5. Hasil Kegiatan Workshop ini diawali dengan pemaparan rekapitulasi soal dari 9 institusi yang telah berhasil di review sebelumnya (output workshop item review soal UKDGI, Bali, 25-26 Juni 2010) dan 100 item soal yang akan digunakan pada UKDGI periode Juli. Berdasarkan hasil review seluruh core team, dihasilkan 397 soal yang dianggap layak dan berkualitas. Disamping itu, dihasilkan 56 soal yang dinilai berkualitas namun belum mengikuti format soal UKDGI. Soal-soal tersebut direview berdasarkan tinjauan 5. Sebelum melaksanakan proses review, dilakukan diskusi antar core team untuk mendapatkan kesepakatan terkait prosedur review soal. Beberapa kesepakatan terkait proses review soal UKDGI adalah sebagai berikut : 1. Soal yang sudah direview pada workshop panel expert ini, akan direview ulang oleh KDGI berdasarkan enam tinjauan lainnya. 2. Istilah-istilah yang kurang umum dapat dijelaskan dengan menggunakan bahasa Ingris (bahasa asli). 3. Dalam mereview soal, core team dibagi menjadi 5 kelompok sebagai berikut: Kelompok I II III IV V
Kode Soal F1 F3 dan F11 F4 dan F5 F8 F9 dan F10
Panel expert / Reviewer Mei dan Yana Wiwik dan Mei Hazlinda dan Indri Rahmi dan Ariadna Utmi dan Peter
4. Rekapitulasi seluruh item soal berdasarkan blue print tinjauan. -Untuk soal mengenai profesionalisme masih sangat kurang 5. Penentuan 100 soal untuk UKDGI periode Juli 2010. Dalam perjalanan mereview soal, beberapa permasalahan yang berhasil teridentifikasi adalah sebagai berikut : 1. Pada tinjauan 5 poin ke-5 (terkait Ilmu Kedokteran gigi interdisiplin), masih belum dimasukkan dalam kurikulum dan masih menunggu persetujuan dari Kolegium Spesialis Kedokteran Gigi. Implikasinya, prosentase soal untuk tinjauan ini dialihkan ke tinjauan 5 poin 3 dan lainnya. 2. Masih ada perdebatan mengenai Standar Kompetensi Dokter Gigi Indonesia (SKDGI) yang dinilai perlu perbaikan dengan memasukkan tinjauan 5 poin kelima.
WORKSHOP KOMPONEN 2 – JULI 2010
Page 4
HPEQ PROJECT 2010 WO
Setelah dilakukan review soal pada workshop hari ke-1, selanjutnya dilakukan pemilihan soal untuk UKDGI bulan Juli 2010. Teknis pelaksanaannya adalah masing-masing core team diberi soal untuk kemudian dipilih dengan basis tinjauan I, V dan tinjauan lain. Berikut adalah alokasi soal yang akan diujikan pada UKDGI periode Juli 2010: No
Bidang Ilmu
1 2 3 4 5 6 7 8 9 10
BM Perio OM Konservasi Prostho Pedo Radent Ortho KGD (BO, DM) Paraklinik
11 12
Interdisiplin IKGMP/ Manajemen Total
Alokasi soal (item) 5 5 5 10 10 5 5 5 20 15
15
Keterangan
Tidak ada yang memberikan kategori ini sehingga diambilkan dari bagian lain. Dialihkan ke Klinis
100 Soal
Pada pelaksanaannya, terdapat masalah dalam pengorganisasian file soal, sehingga sedikit memperlambat proses pemilihan soal. Pada akhirnya, terpilih 90 soal, ditambah dengan 10 soal lain mengenai profesionalisme yang diambil dari Modul Pembekalan KDGI. Selain itu, dipilih juga 50 soal untuk cadangan. Analisa lebih lanjut terhadap pengalokasian soal adalah telah teridentifikasi beberapa bidang soal yang stock out dari item bank UKDGI. Persentase stock out terbesar terjadi pada bidang IKGMP. Hal ini perlu segera ditindaklanjuti, karena bidang soal ini bisa tidak keluar pada periode UKDGI selanjutnya. Berdasarkan penilaian tim monev secara keseluruhan, output dari workshop nasional Panel expert kedokteran gigi gelombang 2 ini adalah sebagai berikut : NO
PARAMETER PENILAIAN
TARGET
REALISASI
1.
Jumlah soal yang terkumpul dalam workshop
100
150 (untuk diedit lagi mEnjadi 100)
2.
Jumlah soal yang direview dalam workshop
453
453
3.
Jumlah panel expert yang terlibat
12
11
WORKSHOP KOMPONEN 2 – JULI 2010
Page 5
HPEQ PROJECT 2010 WO
6. Evaluasi Kegiatan Evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Berikut adalah evaluasi workshop dari beberapa perspektif tersebut: Gambaran Umum Secara umum, workshop berjalan lancar dan dipandang sangat produktif berkat kontribusi 12 panel expert dari core team UKDGI. Beberapa hal yang perlu di-improve dari pelaksanaan workshop ini diantaranya adalah : • Perlu adanya format penulisan dan review soal yang baku untuk selanjutnya perlu disosialisasikan kepada setiap item writer • Perlu dikembangkan software untuk mempermudah pengelompokan soal, karena proses manual dirasa sangat menyulitkan. • Karena banyaknya soal yang disusun belum sesuai format, maka perlu dilaksanakan pelatihan ulang untuk para item writer. Selama pelaksanaan workshop, tim monev berusaha mengidentifikasi problem utama yang dirasakan dalam proses review dan pemilihan soal, serta menjaring input dari para expert untuk rekomendasi improvement. 1.Kendala yang dihadapi dalam pemilihan soal : a. Belum ada sistem pemilihan soal yang lebih praktis (software) sesuai dengan blue print yang ada b. Format belum seragam c. Proses pemilihan soal masih manual, sehingga cukup menyulitkan dan takes time 2. Kesulitan yang dihadapi dalam mereview soal a. Masih ada soal yang belum disusun sesuai format, b. Penggunaan istilah yang belum seragam c. Penggunaan tata bahasa yang belum konsisten d. Masih ada vignette yang kurang berfungsi e. Masih ada tinjauan yang belum terimplementasikan f. Kurangnya item soal pada bidang tertentu dikarenakan proporsi jumlah soal tiap bidang tidak merata 3. Apakah soal dan blue print review soal sudah sesuai sehingga dapat terimplementasikan dengan baik ? Apabila belum optimal, parameter review apa yang masih harus dioptimalkan atau ditambahkan ? a. Sudah sesuai sehingga dapat diimplementasikan sesuai dengan kompetensi yang diharapkan b. Akan lebih baik lagi apabila didukung oleh sistem bank soal berbasis IT 4.Rekomendasi perbaikan untuk membuat soal yang lebih baik : a. Perlu latihan yang lebih intensif untuk para item writer, supaya lebih terkoordinasi dengan metode yang sudah terstandar (berpedoman pada buku panduan pelatihan) b. Perlu pelatihan item development lanjutan pada tiap IPDG c. Perlu ditentukan format bauk untuk penyusunan soal dan review soal
WORKSHOP KOMPONEN 2 – JULI 2010
Page 6
HPEQ PROJECT 2010 WO 5.Rekomendasi untuk meningkatkan jumlah soal yang dikumpulkan : a. Perlu pendekatan intensif kepada setiap IPDG agar dapat lebih produktif dalam menyusun dan mengirimkan soal untuk item bank UKDGI b. Sosialisasi kepada staf pengajar mengenai pentingnya peran item writer dan peningkatan produksi jumlah soal yang berkualitas terhadap kualitas lulusan dan pendidikan dokter gigi c. Pengiriman surat resmi KDGI ke tiap IPDG untuk mengirimkan soal dengan melampirkan pedoman pembuatan soal yang sudah terstandar 7. Rencana Tindak Lanjut Berdasarkan hasil evaluasi pelaksanaan workshop nasional Panel expert kedokteran gigi, beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : •
• •
• •
100 soal ditambah 50 soal cadangan yang merupakan output utama dari workshop ini akan di review ulang oleh ketua KDGI untuk selanjutnya dipilih sebagai soal UKDGI periode Juli 2010 (100 soal, termasuk didalamnya 5 soal dari Modul Pendalaman KDGI Penyesuaian waktu pelaksanaan uji kompetensi (maksimum waktu ujian adalah 180 menit) Rencana tindak lanjut terhadap bidang soal yang sudah stock out dapat dilakukan dengan 3 alternatif. Alternatif pertama adalah diadakan pertemuan pakar untuk menyusun soal sesuai bidang yang sudah stock out tersebut, sedangkan alternatif kedua adalah menggunakan soal cadangan yang belum direview atau menggunakan soal periode sebelumnya. Alternatif terakhir adalah bidang soal tersebut tidak masuk kedalam kaegori soal yang diujikan. Pengembangan software item bank dan perencanaan akselerasi pelatihan item bank administrator kedokteran gigi Workshop standard setting kedokteran gigi akan dilaksanakan pada tanggal 18 – 19 Agustus 2010 dengan basis hasil item analysis soal UKDGI periode Juli 2010.
8. Penutup Workshop panel expert tingkat pusat merupakan bagian penting dalam penjaminan mutu soal ujian. Kegiatan ini juga sangat penting untuk mendapatkan kualitas soal yang sesuai dengan standart kompetensi dokter gigi. Untuk itu, pelaksanaan workshop ini membutuhkan dukungan dari semua pihak, termasuk dari komitmen institusi dan peserta untuk mengikutinya dengan baik. 9. Lampiran •
Blue print UKDGI
WORKSHOP KOMPONEN 2 – JULI 2010
Page 7
HPEQ PROJECT 2010 WO
LAMPIRAN : BLUE PRINT UKDGI 13 – 14 Juli 2010
Tinjauan 1
Jumlah soal
% blue print
Profesionalisme
19
10
Penguasaan ilmu pengetahuan kedokteran dan kedokteran gigi
169
10
Pemeriksaan fisik secara umum dan system stomatognatik
124
25
Pemulihan fungsi sistem stomatognatik
117
25
Kesehatan gigi dan mulut masyarakat
44
20
Manajemen praktik kedokteran gigi
3
10
Tinjauan 2
Jumlah soal
% blue print
Kognitif
347
50
Procedural knowledge
105
25
Konatif
17
25
Tinjauan 3
Jumlah soal
% blue print
RECALL
79
40
REASONING
388
60
Tinjauan 4
Jumlah soal
% blue print
Pertumbuhan, perkembangan, dan degenerasi
87
10
WORKSHOP KOMPONEN 2 – JULI 2010
Page 8
HPEQ PROJECT 2010 WO
Kelainan genetic dan kongenital
18
10
Penyakit infeksi dan imunologi
234
40
Penyakit neoplasma
21
10
Penyakit akibat trauma atau kecelakaan
22
10
Lainnya: …… (sebutkan)
91
20
Tinjauan 5
Jumlah soal
% blue print
Kedokteran gigi dasar (Biologi Oral & Dental Material)
60
20
Kedokteran gigi para klinik (patologi mulut dan maksilofasial)
20
15
Kedokteran gigi klinik (ilmu periodonsia, ilmu Bedah Mulut, ilmu penyakit mulut, prostodonsia, othodonsia, konservasi gigi, pedodonsia, radiologi kedokteran gigi
351
50
Kedokteran gigi masyarakat & kedokteran gigi pencegahan (epidemiologi oral, perilakukesehatan gigi, manajemen/ administrasi kesehatan gigi, ilmu kesehatan gigi pencegahan, ilmu kedokteran gigi keluarga)
36
15
Ilmu kedokteran gigi interdisiplin (anestesi kedokteran gigi, gerodontologi, implan kedokteran gigi, kedokteran gigi estetik, kedokteran gigi forensik, kedokteran gigi khusus, kedokteran gigi militer, oklusi dan gangguan sendi rahang)
5
20
Tinjauan 6
Jumlah soal
% blue print
Promotif
28
20
Preventif
42
20
Kuratif/diagnose
315
20
WORKSHOP KOMPONEN 2 – JULI 2010
(nilai ini didistribusikan ke 4 point di atas)
Page 9
HPEQ PROJECT 2010 WO
Rehabilitatif
73
20
tambahan : Aspek lain ....(co etika & hkm)
12
20
Tinjauan 7
Jumlah soal
% blue print
Individu
435
60
Keluarga
3
20
Masyarakat
29
20
WORKSHOP KOMPONEN 2 – JULI 2010
Page 10
