LAPORAN. WORKSHOP PENGGUNAAN APLIKASI SISTEM SOFTWARE OSCE KEDOKTERAN GIGI TAHUN 2012 Komponen 2 Proyek HPEQ

HPEQ PROJECT

LAPORAN WORKSHOP PENGGUNAAN APLIKASI SISTEM SOFTWARE OSCE KEDOKTERAN GIGI TAHUN 2012 Komponen 2 Proyek HPEQ

Hotel Alet Century Park, Jakarta, 3 Juli 2012 Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan dan Kebudayaan

HPEQ Project Komponen 2- Juli 2012

Page 1

HPEQ PROJECT

I. Pendahuluan Upaya peningkatan sistem ujian pada pendidikan kedokteran gigi yang menjadi focus komponen 2 HPEQ , mensyaratkan adanya suatu proses pembuatan soal yang berkualitas, komprehensif dan sesuai dengan tingkat kompetensi yang diharapkan. Salah satu metode ujian yang dikembangkan dalam Ujian Kompetensi Dokter Gigi (UKDGI) adalah Computer Based Test (CBT) dan Objective Structured Clinical Examination (OSCE) untuk mengukur kompetensi lulusan Dokter gigi Indonesia sehingga menghasilkan tenaga dokter gigi yang terstandarisasi. Untuk itu maka diperlukan suatu upaya untuk membuat dan mengembangkan suatu sistem ujian yang sangat kredibel, baik dari segi teknis maupun kualitas soal-soal yang dipergunakan untuk Uji Kompetensi tersebut. Pengembangan aplikasi untuk melaksanakan UKDGI menggunakan metode OSCE, diperlukan support system TI yang memudahkan proses ujian OSCE tersebut. Hal tersebut diperlukan agar proses ujian OSCE dapat dilaksanakan lebih akurat, konsisten dan kerahasiaan data dapat dilakukan. Sarana dan prasarana yang telah dipersiapkan untuk ujian CBT di masing-masing IPDG dapat digunakan untuk mendukung proses ujian OSCE. Kolegium Dokter Gigi Indonesia (KDGI) yang telah berhasil mengembangkan software CBT akan memfasilitasi pengembangkan sistem software OSCE yang diaplikasikan pada tahun 2012 ini. Hal ini sebagai pengembangan sistem back office yang telah dikembangkan sebelumnya. Kesiapan masing-masing IPDG yang secara mandiri telah mempersiapkan sarana dan prasarana untuk mendukung pelaksanaan CBT dan OSCE perlu di berikan support dan apresiasi oleh KDGI dalam bentuk pemberian software OSCE yang dapat dipergunakan di masing-masing IPDG. Kegiatan workshop ini sebagai upaya peningkatan sumber daya manusia dalam hal menggunakan sistem TI OSCE yang baru yang telah dipersiapkan. Harapannya koordinator CBT dan koordinator OSCE serta IT manajer di masing-masing IPDG dapat memadukan proses IT yang telah dipersiapkan dapat berjalan dengan baik.

II. Tujuan Tujuan Workshop adalah: 1. 2. 3.

Memberikan pelatihan pelaksanaan ujian OSCE dengan sistem TI terintegrasi Memberikan informasi kebutuhan sarana dan prasarana yang harus dipersiapkan di masing-masing IPDG Mengetahui dan mampu mengoperasikan program TI ujian OSCE yang telah dipersiapkan


Page 2

HPEQ PROJECT

III. Output Workshop Output dari workshop ini yaitu Koordinator OSCE, koordinator CBT dan manajer TI masing-masing IPDG dapat melaksanakan proses ujian OSCE dengan sistem TI baru di center ujian masing-masing.

IV. Metode Pelaksanaan Workshop Kegiatan workshop bertemakan penggunaan aplikasi sistem software OSCE ini merupakan kegiatan yang pertama kali diselenggarakan terkait aplikasi sistem software OSCE bagi pendidikan Kedokteran Gigi Indonesia. Workshop ini telah dilaksanakan pada tanggal 3 Juli 2012 di Hotel Atlet Century Park, Jakarta. Berikut adalah metode pelaksanaan kegiatan workshop ini :

1. 2. 3. 4. 5. 6.

Peserta terdiri dari koordinator OSCE, koordinator CBT dan manajer IT duduk sesuai kelompok IPDG masing-masing agar mudah dalam berkoordinasi Pemaparan tata kelola dan proses ujian OSCE dengan TI yang dipersiapkan oleh IT pusat Installing program oleh manajer TI di masing-masing laptop untuk latihan proses Koordinator CBT berperan sebagai pengawas pusat mencoba melakukan penilaian OSCE dengan program baru Pengkaji-ulangan pelaksanaan meliputi: installing, jalannya pelaksanaan ujian, proses penilaian OSCE, rekap dan kontrol hasil. Diharapkan seluruh peserta menjadi Tutor, sehingga dapat melaksanakan proses uji coba software OSCE tersebut di IPDG masing-masing

Jumlah peserta workshop adalah 34 dari 39 peserta, dengan komposisi : 12 perwakilan IPDG center dan KDGI, 10 orang core team serta 2 orang staf TI KDGI. Participation rate peserta workshop ini cukup baik yaitu sebesar 87%. Berikut adalah daftar peserta yang hadir: Peserta

Core team

IT Pusat

Erliera

Karlina Samadi

Boedi O. Roeslan

Anggit Wirasto

Citra Lestari

Syamsulina Revianti

Melanie S. Djamil

Herman Yuliansyah

Bramma Kiswanjaya

Agus Sumono

Mei Syafriadi

Irsan Ibrahim

Ni Putu Widani A

Wiwiek P

Dani R. Firman

Rasmidar Samad

Adam Malik

Dedy Kusuma

Dhyani Widianingsih

Iwan Dewanto

Dwi A. Nugroho

Armia Syahputra

Kosterman

Hendrik S. Budi

Empi Wahyudi

Anna Muryati

Dwi Heriyanto

Ahmad Romdhoni

Mia Damiyanti

Hafedz Maulana

Satya Adriansyah

Haslinda Z

Sumantri

Anzarudin

Rahmat

Adi Nugroho


Page 3

HPEQ PROJECT Essie Oktiara

Wahyudi Hidayat

Darmawangsa

Dedy Kristiawan

Anandina Irmagita

Widya Dwinoto

Beya Indriati

Dwis Syahrul

Emma Rachmawati

Acing Habibie

Berikut adalah susunan acara dalam kondisi yang sebenarnya.

V. Hasil Kegiatan Secara umum, berpedoman pada target luaran workshop ini yaitu bahwa koordinator OSCE, koordinator CBT dan manajer TI masing-masing IPDG dari 13 center yang hadir termasuk KDGI, dapat melaksanakan proses ujian OSCE dengan sistem TI baru di center ujian masing-masing, dapat dikatakan bahwa target luaran masih belum tercapai dikarenakan baru 3 dari 13 center yang berani menargetkan penggunaan aplikasi software OSCE tersebut. Adapun alasan yang dinyatakan oleh sebagian besar center IPDG yaitu belum tersedianya sarana dan prasarana dalam menunjang terselenggarannya penggunaan aplikasi software OSCE ini. Selain itu, alasan lainnya yaitu sempitnya waktu yang diberikan oleh core team dalam menyelenggarakan uji kompetensi dengan menggunakan software OSCE ini serta kurangnya SDM terlatih yang mampu menggunakan aplikasi ini.


Page 4

HPEQ PROJECT

Workshop ini diawali dengan pembukaan dan pengarahan oleh ketua KDGI, yaitu Boedi O. Roeslan. Dilanjutkan sesi ‘pemaparan proses OSCE’ oleh Iwan Dewanto, dimana pada sesi ini dapat ditarik tiga poin yaitu (1) pengurangan PBT dilakukan dengan soal ujian file HTML; (2) penambahan aset barang untuk hardware ujian; dan (3) pilot project untuk pelaksanaan OSCE center menggunakan software terbaru. Sesi berikutnya yaitu ‘Pemaparan software OSCE’ oleh Anggit Wirasto, staf TI pusat KDGI. Dikatakan bahwa inti tujuan terselenggaranya workshop ini yaitu upaya untuk mengubah PBT menjadi CBT. Pada sesi ini, narasumber telah menjelaskan tahapan-tahapan proses OSCE yang secara bersamaan juga memperlihatkan tampilan layout software kepada peserta. Adapun tahapan-tahapan proses OSCE yang dipaparkan yaitu dimulai dari login penguji, tampilan daftar peserta di station tempat penguji tersebut, adanya penanda warning untuk beberapa pemberitahuan seperti timer, lembar penilaian checklist, prosedur penyimpanan data checklist yang sudah selesai. Selama sesi ini berlangsung, peserta mengajukan berbagai permasalahan teknis perihal tampilan layout software OSCE dengan antusias. Adapun respon langsung dari core team dan staf TI yaitu langsung mengubah program software tersebut sesuai dengan masukan dari peserta. Berikutnya diadakan sesi ‘pemaparan HTML’ oleh Herman Yuliansyah, dimana telah diberitahukan bahwa HTML ini merupakan suatu program cadangan apabila uji kompetensi dengan menggunakan software OSCE tersebut tidak dapat terlaksana bagi 25 atau lebih peserta uji. Secara singkat, program HTML ini dapat diibaratkan seperti memindahkan lembar soal tertulis pada kertas ke tampilan layout softcopy yang dapat dibaca pada layar laptop. Peserta uji tetap menuliskan jawaban pada lembar jawaban komputer secara tertulis. Yang menarik untuk disimak bahwa yang menonjol pada diskusi antar peserta yaitu kurangnya kemampuan SDM dalam mengkonversikan soal dalam bentuk file word ke dalam program software. Hal ini kemungkinan menjadi penyebab timbulnya soal yang error pada saat item analysis. Adapun respon langsung daripada core team dan staf IT yaitu dilakukannya diskusi sharing oleh IPDG UGM dan UNPAD yang telah berhasil menyelenggarakan ujian berbasiskan computer based yang melibatkan proses item development dan item review. Acara dilanjutkan dengan sesi ‘review item analysis’ oleh Herman Yuliansyah. Pada sesi ini telah dipaparkan kembali tahapan-tahapan proses item analysis disertai penjelasan dengan tampilan layout. Dari hasil monitoring, dapat dikatakan sebagian besar peserta menyimak, namun tidak dipungkiri terdapat beberapa peserta yang masih berdiskusi dalam kelompok-kelompok kecil. Setelah ishoma siang, sesi berikutnya yaitu ‘proses simulasi OSCE dengan software baru’ oleh Anggit Wirasto. Pada sesi ini, narasumber terlebih dahulu mensimulasikan pengerjaan software ini dengan laptopnya, yang dapat dilihat oleh seluruh peserta di


Page 5

HPEQ PROJECT layar LCD. Kemudian peserta diajak untuk melakukan connect internet dan mensimulasikan software bersama-sama. Dikarenakan masalah teknis yaitu koneksi internet yang terbatas dan terputus-putus, simulasi berjalan tidak berjalan lancar. Yang menjadi catatan yaitu diberlakukannya ishoma dari pukul 16.06 – 20.10 WIB, dikarenakan staf TI membutuhkan waktu yang lebih panjang dari yang diprediksikan untuk copy software ke dalam USB yang akan dibawa pulang oleh peserta ke masingmasing IPDG center. Di sisi lain, untuk keperluan workshop, peserta mengharuskan installing software OSCE ke laptop masing-masing, demi berlangsungnya sesi berikutnya yaitu ‘proses installing, simulasi OSCE dengan softwarebaru, rekap hasil dan evaluasi’ yang dibawakan oleh Anggit Wirasto. Sesuai dengan judul sesi, masing-masing peserta dipersilakan melakukan installing dan simulasi software secara mandiri maupun berkelompok sesuai IPDG center masing-masing dengan para core team dan staf TI berkeliling untuk memberikan bantuan apabila peserta mengalami kesulitan saat simulasi tersebut. Tampak antusiasme para peserta yang begitu tinggi pada sesi ini. Sebagai sesi penutup, dilakukan wrap up oleh Iwan Dewanto dan Kosterman dengan poin sebagai berikut: o Center yang siap mengaplikasikan software OSCE mulai dari wifii, aset, hardware, SDM adalah Unpad, UGM, USAKTI o Pendamping : UGM (49 org) akan dibimbing oleh Herman, sedangkan Usakti akan dibimbing oleh Anggit o Pengawas pusat disiapkan dari KDGI, sehingga center hanya memfasilitasi transportasi (penjemputan dari bandara) dan konsumsi o Soal yang dikirim yaitu dalam bentuk PPT hanya untuk 25 soal, namun lembar jawaban diberikan sesuai jumlah peserta. o Kegagalan >25 org akan menggunakan HTML dengan lembar jawaban. Jika kegagalan <25 org, menggunakan CBT o Lembaran soal dan jawaban OSCE tetap diberikan penuh sesuai jumlah peserta. o Jika memang diperlukan pelatihan penguji, maka akan ditindaklanjuti oleh KDGI o Komunikasi koordinator OSCE sebaiknya diwadahi melalui grup BB / mailing list o Lebih mengefektifkan ujian dengan OSCE. Perbaikan selanjutnya akan difokuskan kepada komunikasi, ke depannya akan dibuat media komunikasi dengan smartphone (Bukan berarti harus siap 100%, tapi setidaknya ada niat untuk mempersiapkan aplikasi software OSCE ini)

VI. Refleksi Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Lembar kuesioner yang diterima kembali yaitu sejumlah 33


Page 6

HPEQ PROJECT dari 34 lembar kuesioner yang disebar ke peserta. Diketahui 1 peserta ijin tidak mengikuti workshop, saat workshop tengah berlangsung. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja peserta dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Gambaran Umum  Secara umum kegiatan berlangsung lancar namun tidak sesuai dengan jadwal acara yang telah ditetapkan pada ToR, terdapat beberapa sesi tambahan di luar ToR dan beberapa peserta datang terlambat pada sesi setelah ishoma baik ishoma yang pertama maupun yang kedua.  Presentasi peserta yang hadir pada acara ini sebesar 87%, dengan 3 dari 34 peserta yang hadir merupakan peserta pengganti, 10 orang core team serta 2 orang staf TI KDGI.  Partisipasi aktif dari para peserta selama workshop berlangsung.  Peran core team dan staf TI sangat penting selama workshop berlangsung.  Ketua Sidang tidak mengikuti workshop hingga selesai.


Page 7

HPEQ PROJECT

EVALUASI HASIL WORKSHOP PENGGUNAAN APLIKASI SOFTWARE OSCE KEDOKTERAN GIGI Jakarta, 3 Juli 2012

tidak sesuai

kurang sesuai

26

sesuai

paling sesuai

26 24 22

23

22

21

22

21 19 17 15 12 10 7

7

5

5

5

5

4 0

3 0

Pemaparan terkait proses OSCE secara umum dapat memberika n gambaran yang jelas terkait aplikasi sistem OSCE yang akan dijalankan

4 0

10

7

0

4 3 0

Pemapara Rancanga Sosialisasi Diskusi pedoman kelompo n n terkait Software pengguna k telah proses an OSCE installing berhasil software mengu bersifat dan OSCE user simulasi mpulkan telah friendly OSCE saran berjalan dengan dan efektif software usulan serta baru, perbaika berhasil n proses mudah memetaka dimengert penggun n i sehingga aan gambaran peserta aplikasi proses mampu OSCE di aplikasi melakukan tiap OSCE ujicoba IPDG secara software keseluruh OSCE an dengan baik dan benar

4

4

3 0

0

Referensi Setelah workshop, yang dibawa kemampuan peserta oleh narasumb meningkat dalam er sangat relevan mengoperasi kan aplikasi dan menduku software OSCE ng dalam pencapaia n output workshop yang efektif

0 TOR kegiatan memberi gambara n pelaksan aan dan target yang hendak dicapai

3 0

01

01

Output Responsiv Kenyamana pertemua eness n tempat n ini pelayanan pelaksanaa menjadi yang n referensi diberikan pertemuan uantuk oleh menunjang kegiatan panitia produktivit selanjutn as baik ya

Berdasarkan evaluasi feedback peserta workshop, dapat terlihat bahwa sebagian besar peserta (sekitar 76%) menilai bahwa pemaparan dari narasumber terkait proses installing dan simulasi OSCE dengan sistem baru sudah dapat disampaikan dengan baik. Selain itu, diskusi kelompok juga dinilai sangat efektif dalam mengumpulkan saran dan usulan perbaikan untuk aplikasi OSCE. Di sisi lain, sosialisasi pedoman penggunaan aplikasi OSCE dinilai masih belum efektif. Hal ini perlu menjadi cerminan bagi tim OSCE KDGI. HPEQ Project Komponen 2- Juli 2012

Page 8

HPEQ PROJECT Hal-hal apa yang masih perlu disempurnakan dari rancangan software OSCE o Bussiness process harus jelas di awal / mekanisme sistem harus established di awal o Nama peserta diberikan foto o Sulit membagi peserta menjadi 2 gelombang o Bel pada software belum terintegrasi o Checklist untuk penguji untuk mencegah human error dan tidak menyulitkan penguji maupun merugikan peserta o Integrasi ke DB peserta CBT o Contoh real soal-soal agar dapat menyesuaikan dengan item penilaiannya o Tampilan, huruf besar o Antisipasi jika hubungan internet tiba-tiba turun/mati o Tidak ada kolom untuk catatan khusus (seperti pada PBT) o Saran lebih simpel o Perlu ada countdown timer untuk tiap peserta di station o Countdown timer harus sinkron dengan timer man o Kunci jawaban sebaiknya dihilangkan karena hanya memperlambat atau membuat ragu penguji o Program yang telah disepakati oleh core team dan pembuat program o SOP bagi IPDG yang menggunakan sistem paralel ujian OSCE o Icon kunci pada checklist,autosave setelah dicek, notifikasi pada hal-hal yang sangat krusial, tes performa o Waktu disiapkan lebih lama o Kelengkapan data dan fleksibilitas o Open operating system, sebaiknya aplikasi bisa dijalankan multiple OS seperti LINUX SERVER, karena sampai sekarang CBT masih di WINDOWS o Multiple paralel station, agar didukung oleh aplikasi, bukan dengan server baru o Manual software (cetakan) o Waktu pergantian seksi o Apakah perlu ada pengambilan lembar jawaban Faktor yang menjadi kunci keberhasilan pengaplikasian software OSCE o Sering uji coba o Software dapat dipahami/digunakan oleh penguji o Tim penguji harus merasa friendly dengan aplikasi o Uji coba kestabilan aplikasi, kecepatan aplikasi dalam penyimpanan o Keseriusan penyempurnaan aplikasi o Tidak gaptek o SDM yang mampu melakukan/mengaplikasikan software o Sarana dan prasarana yang menunjang yaitu server, laptop, tablet o Kemampuan menggunakan IT o Kemudahan penggunaan o Kecepatan internet o Kemampuan dan kemauan para penguji yang mungkin saja tidak mau belajar o Pemilihan penguji yang biasa menggunakan komputer o Dokumentasi atau manual yang lengkap dengan troubleshooting


Page 9

HPEQ PROJECT o Penguji yang di training o Kemampuan sistem untuk mengadopsi semua hal teknis yang berkaitan dengan pelaksanaan OSCE o Kemampuan manajer IT o Kemampuan belajar dari penguji dan sarana yang memadai o Pemahaman alur pengoperasian aplikasi oleh pengawas dan IT lokal o Persamaan kesepakatan yang disosialisasikan ke pihak terkait o Komitmen, sarana prasarana, kerjasama dengan IT pusat o Software OSCE o Komitmen dan improvement o Pimpinan institusi mendukung ketersediaan peralatan pendukung OSCE Strategi yang dapat dijalankan untuk mensosialisasikan penggunaan software OSCE di tiap IPDG o Pelatihan penguji lokal o Sistem ujian UTS/UAS harus diupayakan menggunakan/mengadopsi sistem ini o Manual book o Tidak terlalu banyak tools pada aplikasi o Pelatihan / simulasi penggunaan software di tiap IPDG seperti try out nasional beberapa kali o Aplikasi software pada OSCE IPDG o Sebagai salah satu syarat penguji yang harus dipenuhi o Diadakan pra try out sebelum try out dan ujian o Melewati koordinator OSCE VII. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshopbeberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut :  Peserta harus dapat segera mengaplikasikan software OSCE ini pada masing-masing center  UNPAD, UGM, USAKTI akan mengaplikasikan software OSCE ini untuk uji kompetensi terdekat yaitu bulan Juli 2012  UGM akan dibantu dibimbing secara IT oleh Herman, sedangkan USAKTI akan dibantu dibimbing secara IT oleh Anggit  Akan dibuat wadah komunikasi baik untuk CBT dan OSCE dengan mengikutsertakan semua peserta via groups di internet server dan/atau smartphone  Pengawas pusat disiapkan dari KDGI untuk ditugaskan ke masing-masing center  Bila diperlukan, dapat diselenggarakan pelatihan lanjutan bagi koordinator  Contoh soal yang baik dan benar setelah item analysis akan dikirim via email kepada peserta


Page 10

HPEQ PROJECT

VI. Penutup Peningkatan proses ujian yang baik akan memberikan kemudahan bagi peserta ujian. Perbaikan proses ujian ini diharapkan dapat meningkatkan kualitas UKDGI sehingga dapat memberikan hasil lulusan yang dapat dipertanggung jawabkan untuk masyarakat. Dukungan dari seluruh pihak, yaitu masing-masing IPDG, HPEQ, KDGI, AFDOKGI dan organisasi profesi PDGI sangat diperlukan demi mewujudkan jaminan mutu UKDGI. Lampiran  Point of Discussion Workshop  Materi Workshop Jakarta, 5 Juli 2012 Asisten Monev, Fanny Evasari Supervisi oleh : Aprilia Ekawati Utami (Pengelola Monev Proyek HPEQ)


Page 11

LAPORAN. WORKSHOP PENGGUNAAN APLIKASI SISTEM SOFTWARE OSCE KEDOKTERAN GIGI TAHUN 2012 Komponen 2 Proyek HPEQ

Recommend Documents