LAPORAN WORKSHOP Rapat Evaluasi Pengawas Pusat Uji Coba Skala Penuh CBT-OSCE UKDGI

LAPORAN WORKSHOP Rapat Evaluasi Pengawas Pusat Uji Coba Skala Penuh CBT-OSCE UKDGI KOMPONEN 2 PROYEK HPEQ

Hotel Imperium Bandung, 9 November 2011 Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional

1. Pendahuluan Komponen 2 HPEQ Project mempunyai fokus kegiatan pada upaya peningkatan sistem ujian, yang salah satunya berupa pengembangan ujian bermetoda Computer-Based Testing (CBT) dan Objective Structured Clinical Examination (OSCE). Metode ini memerlukan kesiapan yang baik, menyangkut SDM, dukungan perangkat keras maupun lunak, serta prasarana tempat ujian, baik ditatanan lokal sebagai tempat pelaksanaan ujian maupun di tingkat pusat sebagai penyelenggara ujian. Sebagai langkah persiapan pelaksanaan Computer-Based Testing (CBT) dan Objective Structured Clinical Examination (OSCE) pada tanggal 24-27 Oktober 2011 telah dilaksanakan Uji Coba Skala Penuh CBT-OSCE Uji Kompetensi Dokter Gigi Indonesia (UKDGI) di 13 CBT/OSCE Center seluruh Indonesia. Untuk mengevaluasi penyelenggaraan uji coba tersebut dipandang perlu untuk menyelenggarakan workshop evaluasi, bukan hanya di tatanan CBT/OSCE Center tetapi juga di tatanan penyelenggara tingkat pusat, khususnya kinerja pengawas pusat. 2. Tujuan Kegiatan Tujuan dilaksanakannya workshop kali ini adalah: 1. Evaluasi dari aspek penyelenggaraan Uji Coba Skala Penuh CBT OSCE. 2. Evaluasi kinerja Pengawas Pusat. 3. Indikator Keluaran Indikator keluaran utama program ini adalah : 1. Adanya hasil evaluasi penyelenggaraan Uji Coba Skala Penuh CBT OSCE dari sudut pandang Pengawas Pusat. 2. Adanya hasil evaluasi kinerja Pengawas Pusat. 4. Metode Pelaksanaan Kegiatan Workshop ini dilaksanakan pada tanggal 9 November 2011 di Hotel Imperium Bandung. Workshop dilakukan melalui diskusi panel antara semua pengawas pusat dan Core team. Diskusi dilakukan dengan mendengarkan laporan dari setiap pengawas pusat yang terjun di setiap CBT-OSCE Center. Setiap pengawas memaparkan hasil pantauan mereka dalam pelaksanaan ujian PBT serta try out CBT-OSCE di masing-masing institusi. Workshop ini dihadiri oleh seluruh peserta rapat yang terdiri dari 12 pengawas pusat dan 7 anggota core team Kedokteran Gigi. Ada 1 pengawas pusat yang tidak hadir yaitu drg Neviyanti dari USU dan 4 anggota Core team Kedokteran Gigi yang tidak hadir yaitu prof Melanie, prof Haslinda, drg Utmi, dan drg Gilang. Antusiasme peserta workshop cukup baik, karena participation rate yang mencapai 79%.

Pada implementasinya, acara berjalan sesuai jadwal. Acara dimulai dengan pembukaan oleh pimpinan sidang yaitu Prof Boedi O Roeslan selaku Ketua KDGI. Berikut adalah rundown acara workshop pada kondisi riil : Rabu, 9 November 2011 Waktu 10.00-10.30

Acara

Pelaksana/ Fasilitator

Pembukaan

Boedi O Roeslan/ Ketua KDGI

10.30-11.00

Laporan Penyelenggaraan PBT, CBT, OSCE

12.40-13.30

ISHOMA

13.30-16.00

Mei Syafriadi/ Core Team

Laporan & Usulan Perbaikan dari Pengawas Core Team Pusat

5. Hasil Kegiatan Workshop dimulai dengan pembukaan oleh prof Boedi Roeslan dean dilanjutkan dengan pemaparan hasil evaluasi pelaksanaan PBT, CBT dan OSCE di setiap institusi. 1. Drg Ira Widjiastuti (FKG UNAIR ) mengawas di UNMAS - Pelaksanaan CBT  Penjemputan pengawas pusat berjalan lancara namun jarak antara hotel dan tempat ujian cukup jauh  Pelaksanaan ujian CBT berlangsung dalam 2 putaran (24 peserta dengan 15 komputer)  Didalam flashdisk berisi file UNBRAH  Membuka flashdisk lebih awal dari jadwal dan kesulitan dalam mengupload soal sehingga harus menunggu pengiriman sistem  Ada kandidat yang tidak bisa mengoperasikan komputer (tercatat ada kandidat “senior” sebanyak 5 orang)  Didalam flashdisk tidak ada dummy soal sehingga harus menunggu kiriman soal  Ada 1 soal yang jawabannya malah berisi soal juga  Sinyal di komputer peserta terkadang hilang 2. Drg. Jeti Erawati (KDGI Jakarta) mengawas di UNHAS - Pelaksanaan PBT  Ujian berjalan lancar  Lama ujian 180menit sementara yang tertulis di soal 120menit padahal seharusnya 150menit  Ada soal yang sama dan ada soal dengan pilihan yang salah ketik - Pelaksanaan CBT  Seluruh peserta ujian sebanyak 30 kandidat hadir semua  Upload soal tidak berhasil dan baru bisa setelah mendapat kiriman file terbaru via email  Rundown kegiatan belum dipasang sebelum ujian berlangsung  Ruang ujian CBT tidak steril karena ada mahasiswa yang bukan peserta ujian masuk kedalam ruangan (kemungkinan karena komputer masih sharing resource

-

dengan FK dan juga karena tidak ada petunjuk mengenai sedang diadakannya ujian di ruang komputer tersebut) Pelaksanaan OSCE  Hotel tempat pengawas pusat menginap jauh dari tempat ujian  Penjemputan dari hotel ke lokasi ujian terlambat  Ruang OSCE adalah ruangan tutorial dan tertutup sehingga pengawas pusat dan lokal sulit memantau penguji  Alat komunikasi tenaga penunjang berbunyi pada saat ujian berlangsung (tidak sesuai protap)  Beberapa penguji lupa mengisi GPS  Penguji membawa kertas khusus untuk membuat catatan penilaian dan mengisi lembar checklist setelah ujian selesai  Konsumsi untuk makan malam tidak jelas  Pengawas pusat belum mendapat honor  Pasien Standar diintervensi oleh kandidat

3. Drg. Endah Wahyuningsih (FKG UHT) mengawas ujian di UNEJ - Pelaksanaan PBT  Jumlah soal tidak sesuai dengan jumlah peserta PBT (jumlah soal 19 sementara jumlah peserta 28, namun hal ini telah diklarifikasi dengan KDGI bahwasanya laporan terakhir yang diterima oleh KDGI adalah 19). Keputusan yang diambil adalah memfotokopi soal sebanyak 10 (sementara kebutuhan hanya 9)  Amplop baru untuk lembar jawaban yang sudah diisi ada namun amplop lembar soal yang telah digunakan tidak ada  Sealnya sulit dibuka dan mudah sobek - Pelaksanaan CBT  Upload CBT tidak ada masalah namun ketika membuka soal mendapat kesulitan  Pengawas pusat tidak mengetahui jadwal atau rundown pelaksanaan ujian  Guidence untuk upload soal membingungkan - Pelaksanaan OSCE  Kesalahan soal masih ditemukan  Perlu recek soal dengan ceklist  Adanya kritis soal dari penguji lokal  Penguji lokal menggunakan alat komunikasi pada saat ujian berlangsung  Tidak ada segel untuk amplop ceklist  Tidak adanya petunjuk untuk lembar jawaban diluar ceklist tidak ada - Masukan  Adanya OSCE dan CBT sangat penting untuk kesetaraan lulusan PTN dan PTS  Penguji yang berasal dari institusi yang sama dikhawatirkan menjadi tidak objektif  Perlu pemberitahuan kepada IPDG bahwa penguji tidak harus dari klinik atau departemen yang sama 4. Drg. Tecky Indriani (FKG UNEJ) mengawas ujian di UNAIR - Pelaksanaan PBT  Jika ada kode soal naskah, apakah berarti soal tidak sama? - Pelaksanaan CBT  Ada komputer yang tidak bisa membuka dummy soal



-

-

Antar komputer terjadi selisih waktu hingga 5 menit dalam pelaksanaan CBT, apakah mungkin karena log in komputer yang tidak bersamaan sehingga menyebabkan awal mulai dan berakhir ujian berbeda? Pelaksanaan OSCE  Berjalan relatif lancar  Dari 40 kandidat yang terdaftar namun hanya 30 kandidat yang hadir  Ruang pengawas dan admin terlalu jauh  Adanya kritisi dari penguji terhadap soal-soal OSCE  Setiap satu putaran, Standar Pasien di OSCE Center UNAIR diganti  Penguji diganti setiap putaran dikarenakan jumlah kandidat yang terdaftar mencapai 30 orang Masukan :  Usulan supaya perlu penambahan pembekalan pengawas pusat mengenai tugas dan kewenangannya  Apakah memungkinkan jika pengawas pusat mendapat 1 set soal dan ceklist OSCE

5. Drg. Juni Handajani (FKG UGM) mengawas ujian di UMY - Pelaksanaan PBT  Kode nomor UMY tidak ada di lembar jawaban  Informasi mengenai lama ujian berbeda antara pengawas pusat dan panitia lokal  Karena tidak ada album peserta maka pengawas pusat mengambil keputusan bahwa nomor yang digunakan adalah nomor yang ada di meja  Tidak adanya soal cadangan padahal menurut workshop terakhir di Padang akan ada cadangan soal - Pelaksanaan CBT  Dikarenakan masih menggunakan IP Address yang lama sehingga ketika akan memulai ujian dengan sistem baru, ujian jadi tidak bisa dimulai. Hal ini menunjukkan tidak adanya koordinasi antara IT Pusat dan IT Lokal.  Flashdisk tertukar (tertulis UNEJ)  Tidak adanya komputer cadangan di UMY (menurut tata tertib, diharuskan adanya komputer cadangan sebesar 10% dari jumlah peserta ujian)  Ruang ujian CBT tidak steril karena mahasiswa FK dapat masuk ke ruang ujian ketika ujian sedang belangsung  Pengawas pusat beranggapan ada 100 soal sehingga waktu ujian diset 120mnt, padahal menurut info dari panitia lokal, soal hanya 20 sehingga harusnya waktu ujian hanya 30mnt. Jadi ada miskomunikasi antara panitia pusat dan pengawas pusat - Pelaksanaan OSCE  Koordinasi yang baik antara pengawas pusat dan koordinator OSCE  CCTV lengkap  Petugas timer tidak siap  Suara station masih terdengar di station lain - Masukan  Usulan agar packaging berkas ujian PBT diperbaiki  Panitia lokal sebaiknya memberitahu kandidat untuk hadir 30mnt sebeum ujian, karena masih ada peserta yang datang tepat waktu, padahal sebelum ujian ada acara pembacaan tata tertib  Jika memungkinkan, sebaiknya ujian CBT dan PBT satu gedung dan jangan terlalu berjauhan lokasinya. Di UMY, lokasi ujian CBT dan PBT berjarak 15mnt

  

Ada baiknya jika briefing mengenai ujian OSCE antara panitia lokal dan penguji diperpanjang Dalam pelaksanaan ujian OSCE, Pengawas pusat sebaiknya memiliki ceklist alat dan bahan yang ada disetiap station Perlu protap tata alur administrasi

6. Drg Agus Subiwahjudi (FKG UNAIR) mengawas ujian di UHT - Pelaksanaan CBT  Tidak ada kendala berarti  Amplop flashdisk dibuka dibuka didepan koordinator exam untuk dicoba  Flashdisk tertukar - Masukan  Lembar soal PBT terlalu baik kualitasnya sehingga sayang untuk dimusnahkan  Mohon diupayakan karton tebal didalam amplop lembar jawaban ujian PBT  Isi file dalam flashdisk harusnya hanya berisi hal-hal yang berkaitan dengan ujian (tidak boleh ada file lain)  Perlu antisipasi atau Protap pada kasus dimana ada kandidat yang datang terlambat. Jika pelaksanaan hanya satu putaran, bagaimana nasib kandidat tersebut.Jika ada 2 putaran, mungkin peserta bisa disisipkan namun jika putaran kedua terisi oleh jumlah kandidat yang pas juga bagaimana nasib kandidat yang terlambat tersebut.  Form isian pengawas mohon disederhanakan  Apa yang bisa dikerjakan oleh penguji pada station yang tidak ada kandidatnya  Ada saran dari drg Agus supaya ceklist Lulus/Tidak lulus/Borderline dijadikan 1 tabel dengan tabel ceklist penilaian (dibawah ceklist yang sudah ada) 7. Drg Endang Syamsudin (FKG UNPAD) mengawas ujian di UNBRAH - Pelaksanaan PBT  Jumlah nomor peserta di album peserta berbeda dengan jumlah kolom yang ada di lembar jawaban - Pelaksaaan CBT  Dari peserta yang terdaftar, ada 3 kandidat yang tidak dapat hadir - Pelaksanaan OSCE  Suara antar station masih terdengar  Akomodasi penginapan pengawas pusat jauh dari tempat ujian - Masukan  Perlu protap jika ada soal station yang kurang jumlahnya atau soal & bahan yang tidak sesuai mengingat soal baru dibuka pada saat ujian akan berlangsung 8. Drg Imam Sudjarwo (FKG) mengawas ujian di UPDMB - Pelaksanaan PBT  Tidak ada masalah  Peserta mengalami kesulitan dalam pengisian nomor ujian karena jumlah nomor peserta dan jumlah kolom di lembar jawaban berbeda  Jumlah naskah soal yang diterima dengan jumlah peserta tidak sama (jumlah naskah soal kurang satu). Hal ini setelah ditelusuri adalah kesalahan dalam packaging - Pelaksanaan CBT  Video tutorial terbalik pada saat ditayangkan  Soal dummy tidak keluar



Karena pelaksanaan ujian dilakukan 2 sesi maka pengawas pusat mengganti login (sesi 1 dan sesi 2)  Karena sulit mendapatkan Standar Pasien maka dipilih mahasiswa tingkat awal 9. Drg Dhona Afriza (FKG UNBRAH) mengawas ujian di UI - Pelaksanaan CBT  Tidak dijemput oleh institusi  Flashdisk tertukar dengan UPDMB  Soal diantar oleh kurir dari KDGI  Internet sempat down - Pelaksanaan OSCE  Pengawas tidak bisa melihat kesiapan ruang OSCE (karena ruang OSCE masih digunakan sebagai ruang tutorial)  Masih ditemukan penguji OSCE yang berbicara dengan kandidat  Kritisi soal dari para penguji  Penguji sempat keluar untuk ke toilet  Setting ruangan perlu diperjelas  Banyak penguji lokal yang tidak mengerti mengenai tatib penguji lokal - Masukan  Perlu amplop kosong untuk tempat soal dan lembar jawaban yang telah diisi  Perlu adanya briefing pengawas pusat dengan penguji  Usulan supaya bel/timer direkam dan ditambahkan suara petunjuk setelah bel berbunyi  Jika memungkinkan, pengawas bisa mempunyai soal OSCE  Perlu koordinasi dair pengambilan dan penyerahan berkas soal dan lembar jawaban ke KDGI 10. Drg. Edwyn Saleh (FKG UMY) mengawas di UNPAD - Pelaksanaan PBT  Berjalan lancar  Survei kesiapan juga lancar  Pengawas pusat memberikan pembekalan kepada kandidat  Pelaksanaan ujian dibantu oleh 2 panitia lokal  Tidak adanya amplop lembar jawaban, amplop soal tersendiri serta segel KDGI - Pelaksanaan CBT  Berjalan lancar  Dari 46 kandidat, ada beberapa kandidat yang merupakan lulusan lama sehingga kesulitan dalam mengikuti CBT  Kandidat belum sempat menyimpan hasil ujian nya namun waktu ujian sudah habis - Pelaksanaan OSCE  Terjadi kesalahan penulisan nama dan nomor kandidat oleh penguji  Flashdisk tertukar dengan UGM 11. Drg J Suryo Hadiprojo (FKG UPDMB) mengawas di USU - Pelaksanaan PBT  Pengawas Pusat tidak memiliki jadwal yang sama dengan panitia lokal  Karena miskomunikasi, maka panitia lokal tidak mengadakan pembekalan jadi pengawas pusat justru yang diminta memberikan pembekalan kepada kandidat  Naskah soal kurang karena jumlah peserta ujian bertambah (dari 51 menjadi 57) sementara yang tercatat oleh KDGI menurut laporan terakhir adalah 51

-

-

Pelaksanaan CBT  Ada jeda waktu ketika perpindahan soal dari flashdisk  Waktu pengambilan dan penyerahan soal terlalu singkat sementara panitia UKDGI cukup sibuk Masukan  Perlu adanya informasi atau kisi-kisi untuk dimiliki pengawas pusat meliputi jumlah soal, jenis file yang akan digunakan, lama pengerjaan, ada dummy soal/tidak  Sebaiknya petunjuk Tata Tertib dalam bentuk powerpoint bukan dalam bentuk video  Untuk menambah keamanan soalnya, sebaiknya menggunakan external hardisk dibanding flashdisk  Apakah memungkinkan jika IT pusat mendampingi pengawas pusat di lokasi ujian

12. Drg Anton Rahardjo (FKGUI) mengawas di UGM - Pelaksanaan PBT  Berjalan lancar  Tidak adanya kantong/amplop khusus untuk soal dan lembar jawaban yang telah diisi - Pelaksanaan CBT  Berjalan lancar  UGM masih menggunakan sistem lama/software lama sehingga menyebabkan tertundanya ujian selama 1 jam untuk menginstal software baru  Ada komputer yang mengalami hang sehingga kandidat pindah ke komputer cadangan dan mendapat kompensasi penambahan waktu  Flashdisk tertukar - Pelaksanaan OSCE  OSCE berjalan lancar  Ruangan OSCE steril lengkap dengan CCTV  Koneksi ke pusat masih ada kendala  Semua hasil CCTV direcord kedalam CD  Pelaksanaan OSCE dilakukan dalam 2 putaran - Masukan  Usulan supaya kode soal berurut dan kandidat menulis kode soal  Sebaiknya nametag untuk penguji, pengawas, dan tenaga pendukung lainnya menggunakan warna dan dibedakan untuk memudahkan pengenalan identitas Setelah pemaparan dari setiap pengawas pusat, ada pemaparan hasil evaluasi dari core team exam yaitu prof Mei mengenai pemaparan cek list. Berikut hasil pemaparan prof Mei : - Di UI penguji lokal tidak tertib dalam mengisi form OSCE peserta dengan baik, misal nama peserta tidak terisi di station 5 dan ada juga ceklist yang tidak diisi - Setiap jeda antar kandidat OSCE, lembar jawaban harus diambil supaya penguji tidak merubah hasil lembar penilaian. - Ada beberapa institusi yang tidak mengisi Global Performance Skill sehingga nilai akhir kurang jumlahnya - Penguji OSCE di UMY ragu-ragu dalam menentukan Lulus/Tidak Lulus/Borderline - Pengawas pusat diminta mendampingi penguji lokal - Menurut literatur, lebih baik menggunakan GPS untuk menentukan nilai akhir jadi bukan hanya nilai rata-rata

-

-

Masukan monev : Dimohon kepada para pengawas pusat diharapkan meneruskan hasil dari diskusi kepada institusi masing-masing mengingat waktu pelaksanaan UKDGI berikutnya akan diadakan bulan Januari 2012 sehingga segala persiapan diharapkan segera dilaksanakan (waktu tinggal + 2 bulan lagi) Ada masukan dari peserta mengenai call center HPEQ yang sulit untuk dihubungi Ada undangan workshop peserta yang tidak sampai ke peserta sehingga mempengaruhi kehadiran peserta seminar mengingat waktu pelaksanaan yang singkat (perlu update database peserta seminar)

Kesepakatan - Setting time ujian CBT dibuat agar selesai bersamaan - pengawas pusat memiliki kewenangan penuh untuk menunda/membatalkan pelaksanaan ujian CBT jika dirasa ujian CBT tidak bisa dilakukan - Jam di komputer client harus mengikuti server - Tugas pengawas pusat tidak sampai mengutak-atik IT karena hal tersebut kewenangan IT lokal dengan supervisi dari pengawas pusat. - Untuk IPDG yang belum tryout OSCE harus sudah melaksanakan pelatihan penguji sebelum Januari 2012 (Sebelum pelaksanaan UKDGI Januari 2012) - Jika ada masalah, koordinator OSCE menghubungi pengawas pusat jika tidak tertangani baru ke koordinator wilayah. 6. Rencana Tindak Lanjut - Akan dibentuk Call Center atau IT Center - Semua protap pengawas pusat, panitia lokal dan tenaga pendukung lainnya akan diperjelas dan terperinci - Semua hasil evaluasi dan masukan dari pengawas pusat akan dibawa ke Panitia Pusat untuk dibahas dan ditindaklanjuti Lampiran  Notulensi POD hasil diskusi panel