LAPORAN WORKSHOP Item Analysis & Standard Setting Kedokteran Gigi Gelombang 3 KOMPONEN 2 PROYEK HPEQ
Hotel Sanur Paradise Bali 22 – 23 November 2010
Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional HPEQ Komponen 2
Page 1
1. Pendahuluan Komponen 2 proyek HPEQ mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Dalam upaya penjaminan mutu sistem ujian ini salah satunya dilakukan melalui proses penetapan batas lulus (standard setting). Mengingat status ujian nasional sebagai ujian yang bersifat high-stake dan menentukan seseorang apakah dapat melakukan profesinya, penetapan batas lulus ini harus adil dan dapat dipertanggungjawabkan. Untuk itu telah terdapat berbagai metode yang telah teruji secara ilmiah dan dilaksanakan secara internasional. Secara umum terdapat 2 pengelompokan metode yang dapat digunakan, yaitu metode relatif dan metode absolut. Mekanisme penentuan batas lulus yang saat ini berjalan masih menggunakan metode relatif. Bahkan pada kebanyakan praktek penentuan kelulusan dilakukan secara arbitrary yang tidak didasari oleh landasan ilmiah dan upaya keras untuk bersikap adil dan dapat dipertanggungjawabkan. Pemahaman tentang metodologi penentuan batas lulus ini masih kurang karena dalam prakteknya masih jarang digunakan. Pemahaman ini penting karena dalam penentuan batas lulus dilakukan penilaian oleh ahli secara panel. Hal inilah yang ikut berkontribusi terhadap validitas dan pertanggungjawaban penentuan batas lulus yang dilakukan. Mengingat hal di atas, sebagai bagian dari penjaminan mutu output berupa penentuan batas lulus yang menentukan kelulusan peserta ujian, serta peningkatan kualitas SDM dalam penentuan batas lulus yang dapat dilaksanakan di setiap institusi, perlu dilakukan Workshop Standard Setting Kedokteran Gigi secara kontinu setelah pelaksanaan uji kompetensi tiap periode. Pada tanggal 11-12 Mei 2010, untuk pertama kalinya telah dilaksanakan workshop standar setting untuk kedokteran gigi. Pada workshop tersebut, telah diperkenalkan 3 metode standard setting, yaitu Hofstee, Ebel dan Modified Angoff. Output yang dihasilkan dari workshop masih kurang optimal karena baseline data yang digunakan masih belum melalui tahap item analysis. Pada pelaksanaan workshop Standard Setting gelombang 2, tanggal 20-21 Agustus 2010 diperoleh output yang lebih optimal dengan persiapan yang lebih matang, sehingga pada workshop Standard Setting kali ini diharapkan seluruh unsur terkait memahami dan mengerti seluruh proses penentuan batas lulus yang disepakati oleh semua stakeholder dengan menggunakan metode Modified Angoff. 2. Tujuan 1. Dipahaminya berbagai metode penentuan batas lulus yang adil dan dapat dipertanggungjawabkan secara ilmiah 2. Meningkatnya jumlah dan kemampuan standard setter yang akan menjadi judge pada panel expert 3. Menyepakati metode penentuan batas lulus untuk ujian nasional maupun ujian yang dilaksanakan secara lokal untuk meningkatkan penjaminan mutu sistem ujian 4. Menentukan Nilai Batas Lulus (NBL) UKDGI periode selanjutnya 3.
4.
Output Workshop 1. Metode penentuan batas lulus yang dinilai paling sesuai diterapkan untuk institusi kedokteran gigi di Indonesia 2. Rencana implementasi metode penentuan batas lulus yang paling sesuai untuk uji Kompetensi baik lokal maupun nasional 3. Sejumlah judge yang handal untuk panel expert kedokteran gigi 4. NBL UKDGI periode selanjutnya Metode Pelaksanaan Workshop
Workshop ini dilaksanakan pada tanggal 22 – 23 November 2010 di Hotel Sanur Paradise, Bali dengan mengundang seluruh wakil dekan FKG/ sekretaris prodi di Indonesia.Dari 25 IPDG yang diundang, hanya institusi UNPAD, UGM yang berhalangan hadir, Sedang dari Jember, UMY dan UNBRAH diwakili oleh coreteam. Selain itu, workshop ini juga dihadiri oleh stakeholder profesi dokter gigi, yaitu ketua KDGI, PDGI, MKKGI, perwakilan KKG, 9 orang core team UKDGI, dan monev kedokteran gigi. Antusiasme peserta sangat baik, hal ini dapat dilihat dari participation rate yang mencapai 97 % (33 orang) dari jumlah undangan yang seharusnya 40 orang. Workshop dilaksanakan dengan 2 metode, yaitu diskusi pleno dan diskusi kelompok. Setelah sesi pleno sosialisasi progress report OSCE dan UKDGI Oktober lalu, selanjutnya acara dibagi menjadi
HPEQ Komponen 2
Page 2
3 kelompok judges, masing-masing kelompok mendapat masing-masing sekitar 35 soal. Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan agak terlambat dari jadwal dikarenakan waktu mulainya acara terlambat sekitar satu jam, hal ini dikarenakan diundangan waktu pelaksanaan menggunakan waktu WIB. Meskipun demikian, nilai substansi dari tiap materi yang diberikan oleh narasumber dan diskusi tidak berkurang. Berikut adalah rundown acara workshop pada kondisi riil:
15.30 - 17.00
HARI PERTAMA Pengarahan dan pembukaan Workshop Boedi O Roeslan -Sosialisasi Progress Report Kegiatan HPEQ Project - Mei Syafriadi untuk Kedokteran Gigi -- OSCE -Review hasil standard setting periode sebelumnya -Hazlinda Z Tamin Materi Standard Setting Indri Kurniasih
17.00 - 19.00
Istirahat, Sholat, Makan
19.00 - 22.00
1. Pelatihan standard setting (dibagi ke dalam 3 Peserta adalah Judges didampingi kelompok): coreteam b. Metode standard setting & item analysis c. Penentuan standard setting HARI KEDUA Acara Pelaksana/Fasilitator Diskusi pleno hasil pelatihan standard setting Indri Kurniasih Wrap up dan rencana tindak lanjut - Hazlinda Z Tamin - Wiwik P - Boedi O Roeslan
14.00 - 14.30 14.30 - 15.30
Waktu 08.30 - 11.00 11.00 - 11.30
5. Hasil Kegiatan Sesi Utama Workshop dilaksanakan dalam dua metode, yang pertama adalah penjelasan materi dari core team mengenai standard setting, metode modified angoff dan borderline. Beberapa catatan penting dari sesi materi dan diskusi interaktif adalah sebagai berikut: 1. Metode STANDARD SETTING yang dipilih untuk UKDGI Absolute methode : Modified Angoff method Dinyatakan dalam persentase jawaban benar Performan seorang peserta tidak tergantung pada performan peserta lain Tepat untuk ujian berbasis kompetensi 2. Definisi Borderline Group UKDGI Mahasiswa yang lulus pada tahap akademik melewati batas masa studi Mahasiswa yang perlu kasus lebih banyak untuk mencapai standard kompetensi Mahasiswa yang ujian tertulis di setiap departemen biasanya mengulang sampai 2x Peserta UKDGI retaker yang kedua Peserta UKDGI baru (first taker) yang lulusan lama Mahasiswa dengan IPK 2.00-2.49 atau 2.50-2.74 (tergantung kondisi di institusinya) Mahasiswa yang nilai ujiannya berada antara C dan D 3. Diangkatnya masalah pengumuman kelulusan AFDOGKI/ Kolegium kapan institusi siap membuka hasil ujian. Siapa yang ikut dan diapa yang lulus. Keterbukaan hasil ujian, Konsesus kolegium dengan AFDOGKI, beberapa masih keberatan. Pertimbangan sampai mana pengumuman itu dilakukan, apakah sampai ke masyarakat atau hanya sampai fakultas saja
HPEQ Komponen 2
Page 3
4. Kendala dalam pengumpulan soal di bank soal adalah masalah soal yang dikirim dari institusi adalah soal mentah, seharusnya soal sudah direview oleh institusi, baru dikirim ke workshop item review 5. Soal yang tidak terterima dikembalikan ke institusi agar merka ada triger untuk terus maju, sekaligus sebagai input kembali ke institusi 6. Keberlanjutan jika HPEQ tidak ada. Kolegium sudah memikirkan dan untuk melanjutkan. Kendalanya adalah kolegium tahun depan akan berganti struktur dan tidak tahu nantinya bagaimana Pada workshop ini peserta dibagi menjadi 3 kelompok selesai ISHOMA, yaitu:
Pada kelompok kerja tersebut, setiap wadek 1 yang bertindak sebagai judges berlatih menentukan nilai batas lulus (NBL) dengan metode modified angoff versi 2. Output yang diharapkan adalah mendapatkan metode penentuan batas lulus yang paling sesuai diterapkan untuk kedokteran gigi di indonesia Mekanisme yang dilakukan: Masing masing kelompok mengisi form score per item soal seperti pada step angoff modifikasi versi 1 Hasil akhir di rata rata menjadi NBL Kemudian mencoba mengisi form score per item soal seperti pada angoff modifikasi versi 2 Hasil akhir di rata-rata menjadi NBL Kemudian dipaparkan analisa terhadap Kesesuian Blueprint MCQ dengan soal UKDGI perbandingan periode juli & oktober 2010: Tinjauan 1
% juli 2010
% okt 2010
% blue print
Profesionalisme
3
16
10
Penguasaan ilmu pengetahuan kedokteran dan kedokteran gigi
42
39
10
Pemeriksaan fisik secara umum dan system stomatognatik
14
13
25
Pemulihan fungsi sistem stomatognatik
27
18
25
HPEQ Komponen 2
Page 4
Kesehatan gigi dan mulut masyarakat
14
9
20
Manajemen praktik kedokteran gigi
0
5
10
Kognitif
79
56
50
Procedural knowledge
18
33
25
Konatif
3
11
25
Tinjauan 2
Tinjauan 3
% Juli 2010
RECALL
25
REASONING
% Okt 2010 34
% blue print 40
75
66
60
21
16
10
Kelainan genetic dan kongenital
5
2
10
Penyakit infeksi dan imunologi
41
30
40
Penyakit neoplasma
1
2
10
Penyakit akibat trauma atau kecelakaan
2
6
10
Lainnya: …… (sebutkan)
30
44
20
Tinjauan 5
% Juli 2010
% Okt 2010
% blue print
kedokteran gigi dasar (Biologi Oral & Dental Material)
16
18
15
kedokteran gigi para klinik (patologi mulut dan maksilofasial)
2
0
15
Tinjauan 4 Pertumbuhan, degenerasi
HPEQ Komponen 2
perkembangan,
dan
Page 5
kedokteran gigi klinik (ilmu periodonsia, ilmu Bedah Mulut, ilmu penyakit mulut, prostodonsia, othodonsia, konservasi gigi, pedodonsia, radiologi kedokteran gigi
62
55
30
kedokteran gigi masyarakat & kedokteran gigi pencegahan (epidemiologi oral, perilakukesehatan gigi, manajemen/ administrasi kesehatan gigi, ilmu kesehatan gigi pencegahan, ilmu kedokteran gigi keluarga)
16
27
20
ilmu kedokteran gigi interdisiplin (anestesi kedokteran gigi, gerodontologi, implan kedokteran gigi, kedokteran gigi estetik, kedokteran gigi forensik, kedokteran gigi khusus, kedokteran gigi militer, oklusi dan gangguan sendi rahang)
4
0
20
Tinjauan 6
% Juli 2010
% Okt 2010
% blue print
Promotif
10
7
20
Preventif
13
15
20
Kuratif
51
53
20
Rehabilitatif
22
9
20
tambahan : Aspek lain ....(co etika & hkm)
4
16
20
Tinjauan 7 individu
% real 84
% 83
blue print 60
keluarga
3
3
20
masyarakat
13
14
20
Diskusi mengenai porsi soal ini disoroti pada tinjauan 5, yaitu ilmu kedokteran gigi interdisiplin, pada UKDGI oktober point untuk soal tersebut 0, sedang pada bulan juli sudah ada 4 soal. Dipertanyakan persentase blueprint pada ilmu tersebut sebesar 20%.
HPEQ Komponen 2
Page 6
Secara umum, output dari workshop Standard Setting kedokteran gigi gelombang 3 ini adalah sebagai berikut: 1. Hasil Perhitungan NBL Hasil perhitungan NBL menggunakan Percentage Angoff methode, dengan metode ini akan menghitung Berapa persen borderline group/minimally competent students dapat menjawab soal tersebut dengan benar? Berdasarkan hasil kerja judges, dengan jumlah judges 23 orang, NBL yang didapat adalah 49 2. Rekapitulasi tingkat kelulusan UKDGI periode juli 2010 Dengan metode angoff, jumlah peserta ujian sebanyak 563 peserta, yang dinyatakan lulus sebanyak 398 peserta, tidak lulus 165 peserta. Dengan persentase kelulusan 70,69%. Score tertinggi (max) 82 diraih oleh (UNAIR) ADELINE WIBOWO dan Score terendah (min) 15. Mean score = 53,3 dan Standar Deviasi 10,46. SUCCESSFUL RATE & RATA-RATA PER TEMPAT PENYELENGGARAAN
100 80 60
SUCCESSFUL RATE
40
MEAN
20 0 A B C D E F G H I
J
Berdasarkan hasil diskusi, berikut adalah beberapa kendala dalam penetuan NBL, yaitu: 1. Judge sulit membayangkan sebagai borderline 2. Belum familiar sebagai judge 3. Belum dapat memisahkan diri sebagai dosen atau judge sehingga sulit memposisikan diri sebagai borderline/minimally competence student 4. Judge harus lebih menghayati soal sehingga konsistensi dalam penentuan batas lulus Dan beberapa catatan yang berhasil dihimpun core team adalah: 1. Masih ada soal yang membingungkan sehingga sangat menyulitkan untuk memberikan score (10 soal) : salah cetak, jawaban double 2. Masih ada soal yang memerlukan revisi 6. Evaluasi Kegiatan Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja wilayah yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut :
HPEQ Komponen 2
Page 7
Gambaran Umum
Pada dasarnya workshop berjalan dengan baik. Hasil Nilai Batas Lulus yang ditetapkan telah sesuai dengan item analysis dan hasil standard setting Core team / tim teknis UKDGI memposisikan diri sebagai fasilitator dalam kelompok dan memberikan arahan yang jelas kepada para judges untuk melaksanakan tahapan-tahapan standard setting
Peserta
Usul dan saran Membuat syarat-syarat tertentu seperti tingkat jabatan/ golongan sebagai judge Perlu pelatihan lebih intensif untuk para judge Judge sebaiknya jangan berganti-ganti (judge orang yang sudah terlatih/ terbiasa menjadi judge) Perlu diberi sanksi bagi institusi yang mengirim judge tidak sesuai dengan kriteria Peserta yang ikut standard setting adalah wadek 1, tidak boleh diwakilkan Peserta yang ikut standard setting adalah institusi yang sudah ikut uji kompetensi Perlu terus diingatkan pada semua peserta bahwa harus bisa menempatkan diri sebagai borderline pada saat penentuan batas kelulusan Waktu yang disediakan kurang memadai sehingga waktu untuk diskusi kurang, agar dapat dipertimbangkan penambahan waktu Waktu perlu diefektifkan dan diefisienkan Judge tidak saling mempengaruhi dalam melakukan persentase Item analysis soal UKDGI dapat diberikan kepada seluruh institusi Adanya feedback untuk soal yang dianalisis Tentang permintaan soal dibuat jadwal tetap kapan soal harus sudah diserahkan Perlu adanya kontinuitas dari peserta workshop untuk dapat mengikuti acara serupa sehingga dapat lebih mahir dalam menilai sebagai judges
Tim Monev : Feedback Peserta Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring “voice of customer” peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari 24 kuesioner, 21 yang kembali ke tim monev. 94 % responden menyatakan parameter workshop yang dinilai sudah sesuai. Hanya 6 % responden yang menilai beberapa parameter workshop masih belum sesuai. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama fasilitator, materi yang sangat baik, tempat workshop, dan pelayanan konsumsi.
PROPORSI SATISFACTION LEVEL 6% sesuai tidak sesuai
94%
HPEQ Komponen 2
Page 8
Dengan parameter penilaian dibawah ini: Parameter Penilaian 1. 2. 3.
Orientasi di awal pertemuan memberikan kejelasan tujuan workshop Narasumber dalam workshop telah menguraikan tugas dengan jelas Pelatihan dan praktik dalam workshop ini sangat membantu dalam memahami bagaimana menjalankan standard setting 4. Latihan standard setting pada workshop ini sangat membantu dalam memahami asesmen/penilaian 5. Definisi borderline cukup jelas dan bermanfaat dalam standard setting 6. Diskusi dalam kelompok kecil dan pleno membantu untuk memahami standard setting 7. Informasi tentang indeks kesukaran soal sangat bermanfaat 8. Waktu yang disediakan dalam workshop ini cukup memadai 9. Setiap orang mendapatkan kesempatan yang sama dalam kelompok untuk menyampaikan ide dan pendapatnya 10. Saya yakin dengan kelayakan nilai batas lulus yang direkomendasikan dalam standard setting 11. Metode standard setting yang diterapkan pada UKDGI selama ini perlu diimprove Analisa lebih lanjut terhadap feedback peserta, kesesuaian terbesar peserta dirasakan dimana peserta merasa mendapatkan added value yang besar, sehingga workshop ini dinilai dapat meningkatkan kemampuan mereka dalam memahami metode assessment di masing-masing IPDG. Selain itu, narasumber yang memberikan materi dan metode pelatihan standard setting yang diimplementasikan pada workshop ini dinilai sangat sesuai oleh karena peserta, sehingga pemahaman peserta terhadap standard setting meningkat. Dapat dianalisa pula parameter-parameter yang dinilai masih kurang sesuai, yaitu waktu pelaksanaan workshop yang dinyatakan sangat kurang. Selain itu, definisi borderline masih perlu dijelaskan lebih detail kepada peserta, sehingga hasil NBL yang telah dihasilkan dapat maksimal.
REKAP FEEDBACK WORKSHOP STANDARD SETTING KEDOKTERAN GIGI GEL. 2 Surabaya, 22-23 November 2010
21
21
21
20
21
21
20
17
4 0
0
1
20
17
0
17
4 0
1
4 1
0
Ya
HPEQ Komponen 2
Page 9
Tidak
Berdasarkan input dari peserta, beberapa hal yang perlu diimprove dari pelaksanaan workshop ini adalah : • Waktunya supaya lebih diperpanjang, supaya latihannya tidak terburu-buru • Perlu pelatihan untuk tahap berikutnya, supaya menjadi judges yang expert Berdasarkan hasil pengisian kuisioner untuk menjaring aspirasi para judges mengenai penerapan metode standard setting secara nasional untuk seluruh IPDG di Indonesia, berikut adalah masukan dari peserta: Bisa asalkan semua IPDG mempunyai komitmen yang kuat untuk meningkatkan kualitas lulusan SDM merupakan permasalahan di IPDG baru Sedikit ragu, karena judge yang kurang bisa atau tidak dapat menempatkan diri sebagai borderline, sehingga nilai batas lulus bisa menjadi sangat tinggi Dapat diterapkan, tapi permasalahan adalah persepsi tentang borderline sulit sekali Bisa, asal judgenya betul-betul bisa berfungsi sebagi judge Standard setting sudah dapat digunakan. Permasalahan yang mungkin akan muncul banyak peserta yang belum berhasil walaupun standard yang ditetapkan sudah sangat minim Tidak bisa karena persepsi bordeline tidak homogen Ya, untuk metode modif angof (2) yang akan digunakan akan memiliki nilai batas lulus yang cukup tinggi apabila judges tidak dapat memposisikan diri sebagai borderline Permasalahan Juri bukan ahli dibidangnya Masih belum memposisikan diri sebagai bordeline group Dapat tapi harus ada kesamaan terminologi Banyak IPDG yang akan kesulitan untuk mencapai standard setting tersebut, terutama untuk IPDG yang masih baru Dapat saja, namun karena tiap institusi memiliki perbedaan dalam hal yang diajarkan kepada mahasiswa didik, maka mungkin akan menyebabkan perbedaan dari tingkat kelulusan 7. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut :
Penambahan bank soal UKDGI sesuai blue print dan porsi yang telah ditetapkan menentukan contact person tim kurikulum dari masing-masing pendidikan Diharapkan institusi pada bulan Januari sesudah melakukan workshop untuk dosen untuk membuat soal, kemudian di review di masing2 institusi dan hasilnya bisa dikirim ke Utmi (
[email protected]) atau Indri (
[email protected]), yang nantinya akan diproses dan jika layak dimasukkan dalam bank soal Item development OSCE, persiapan sudah memenuhi 4 set soal OSCE, dan direview ulang pada workshop sinkronisasi OSCE menghasilkan 2 set soal. Dimohon institusi untuk membuat soal OSCE dan persiapan try out di institusi
8. Penutup Penentuan batas lulus merupakan kegiatan akhir dari rangkaian sistem ujian. Keseluruhan aspek dalam pelaksanaannya memerlukan proses penjaminan mutu. Dalam penentuan batas lulus ini yang sangat menentukan kelulusan terutama pada kelompok borderline sangat krusial. Oleh karena itu, pemahaman dan peningkatan kemampuan judges dalam panel expert sangat diperlukan melalui kegiatan workshop. Oleh karena itu, dukungan semua pihak terhadap keberhasilan workshop ini sangat diperlukan.
HPEQ Komponen 2
Page 10
HPEQ PROJECT 2010 WO
WORKSHOP KOMPONEN 2 – SEPTEMBER 2010
Page 11
