HPEQ PROJECT 2011 WO
LAPORAN PELATIHAN PENGEMBANGAN SOAL UJIAN COMPUTER BASED TASTING (CBT) KEDOKTERAN REGIONAL 1-6 Komponen 2 Proyek HPEQ
Hotel Mercure Ancol Jakarta, 18– 19 Maret 2011
Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional
WORKSHOP KOMPONEN 2 – MARET 2011
Page 1
HPEQ PROJECT 2011 WO 1. Pendahuluan Pada tahun 2010, proyek HPEQ telah melaksanakan serangkaian kegiatan dalam rangka penyempurnaan implementasi sistem uji kompetensi secara komperehensif. Berawal dari peningkatan kapasitas sumber daya manusia dalam mengembangkan, menelaah dan mengelola soal, pembuatan sistem pengelolaan soal berbasis teknologi informasi-dengan luaran aplikasi sistem pengelolaan soal, penyusunan registrasi peserta berbasis teknologi informasi (secara online) serta implementasi dalam bentuk uji coba CBT yang pelaksanaannya diintegrasikan dalam try out Uji Kompetensi Dokter Indonesia (UKDI). Dari rangkaian kegiatan pelatihan komponen 2 tahun 2010 yang melibatkan seluruh institusi pendidikan dokter telah dihasilkan output sebagai berikut: Jumlah soal direview
Jumlah soal baik (masuk bank soal Nasional)
Jumlah Item Reviewer/ IBA Nasional
Jumlah Item Reviewer/ IBA Regional
1356
988
18
80
-
-
12
142
Program Workshop Panel Kedokteran Tahun 2010
Expert
Workshop Item Bank Administration Kedokteran Regional dan Nasional
Selanjutnya, dalam upaya penguatan terhadap penyempurnaan sistem uji yang menjadi fokus Proyek HPEQ komponen 2, dimana mensyaratkan adanya pembuatan soal yang berkualitas, komprehensif, dan dapat dikelola melalui mekanisme sistem informasi yang credible, maka diperlukan serangkaian pelatihan pengembangan soal CBT kedokteran yang meliputi pelatihan pembuatan dan penelaahan soal, untuk selanjutnya dimasukkan ke dalam bank soal dengan modul examination item management subsystem. Diharapkan pelatihan ini dapat dilaksanakan secara berkelanjutan. Disamping itu, pada dasarnya serangkaian pelatihan tersebut sekaligus ditujukan untuk pencapaian KPI komponen 2 proyek HPEQ tahun 2011 terkait implementasi CBT, yaitu menghasilkan 72 item writer dan review Nasional (18 per profesi), serta 1044 item writer dan review regional (261 per profesi). Mengingat urgensi output yang diharapkan, maka proyek HPEQ akan memfasilitasi pelatihan pengembangan soal CBT Regional Kedokteran dalam rangka penguatan implementasi uji kompetensi nasional tenaga kesehatan, yang merupakan bagian dari sub komponen 2.2.
WORKSHOP KOMPONEN 2 – MARET 2011
Page 2
HPEQ PROJECT 2011 WO 2. Tujuan 1. Meningkatkan kemampuan peserta dalam membuat dan menelaah soal ujian tulis tipe A (one best answer) yang baik, dengan menggunakan Sistem Informasi Uji Kompetensi Nasional, khususnya pada modul examination item management subsystem, sehingga nantinya dapat melatih pembuatan dan penelaahan soal di institusi wilayah masing-masing 2. Menghasilkan minimal 2875 soal yang memenuhi syarat untuk dimasukan ke dalam Bank Soal, dengan menggunakan Sistem Informasi Uji Kompetensi Nasional, khususnya pada modul examination item management subsystem 3. Standarisasi pengunaan Sistem Informasi Uji Kompetensi Nasional, khususnya pada modul examination item management subsystem oleh Administrator Bank Soal pada tingkat regional dan nasional 4. Sosialisasi update aplikasi Item Bank Administration (IBA)
3. Output Workshop 1. Peningkatan kemampuan peserta dalam membuat dan menelaah soal ujian tulis tipe A (one best answer) yang baik, dengan menggunakan Sistem Informasi Uji Kompetensi Nasional, khususnya pada modul examination item management subsystem, yang nantinya dapat melatih pembuatan dan penelaahan soal di institusi wilayah masing-masing. Pencapaian ini akan diinterprestasikan melalui feedback pelatihan 2. Dihasilkannya minimal 2875 soal CBT yang baik untuk menjadi input Bank Soal nasional 3. Input penyempurnaan Sistem Informasi Uji Kompetensi Nasional, khususnya pada modul examination item management subsystem 4. Tersosialisasikannya update aplikasi Item Bank Administration (IBA) kepada setiap item writer dan item bank administrator wilayah 4. Metode Pelaksanaan Workshop 1. 2. 3.
4.
Penyelenggaraan pelatihan dibagi menjadi 6 batch berdasarkan 6 wilayah regional AIPKI, dalam ruang yang berbeda dan dilaksanakan secara serentak Diskusi kelompok (peer review) yang difasilitasi oleh narasumber. Setiap kelompok terdiri 4 – 6 orang item reviewer yang difasilitasi oleh 1 orang narasumber Pada saat pelatihan berlangsung, soal yang dibawa oleh masing-masing item reviewer diekstraksi oleh administrator bank soal regional. Soal dibagi jumlah kelompok untuk kemudian ditelaah oleh item reviewer dalam kerja kelompok, dengan menggunakan aplikasi administrasi bank soal Secara ringkas tahapan persiapan dan pelaksanaan pelatihan disampaikan dalam gambar berikut ini:
WORKSHOP KOMPONEN 2 – MARET 2011
Page 3
HPEQ PROJECT 2011 WO
Tahapan kegiatan pengelolaan soal adalah sebagai berikut:
Pelatihan pengembangan soal ujian CBT kedokteran ini dilaksanakan secara pararel dari 6 wilayah kedokteran pada tanggal 18 – 19 Maret 2011 di Hotel Mercure Ancol, Jakarta. Peserta Workshop adalah 70 item writer yang telah mengikuti pelatihan yang telah diselenggarakan dari proyek HPEQ ataupun pelatihan yang pernah diselenggarakan AIPKI. Selain item writer, perwakilan item bank administrator dari 6 wilayah juga turut berpartisipasi untuk membantu mengentry soal yang dikerjakan oleh peserta item witer. Fasilitator adalah 24 orang item review nasional dari peserta nasional yang pernah mengikuti pelatihan dari proyek HPEQ Pada pelaksanaannya, 6 institusi FK tidak dapat hadir, yaitu Universitas Abulyatama, Universitas Malikusaleh,Universitas Trisakti, Universitas Islam Alazhar, Universitas Wijaya Kusuma, Universitas Halouleo. Univerisitas nHalouleo berhalangan hadir tetapi soal-soal yang dikumpulkan diemail.
WORKSHOP KOMPONEN 2 – MARET 2011
Page 4
HPEQ PROJECT 2011 WO Fasilitator dan Narasumber yang tidak dapat hadir adalah Gandes R Rahayu (FK UGM), Sri Asriyani (FK UNHAS), Ronald Sugiono (FK UNTAR), Sugito Wonodirekso (FK UNTAN), Tatong Haryanto (FK UB), Fentih (FK UKM), Iwan Dwi Prahasto (FK UGM) dan Sari Puspa Dewi (FK UNPAD). Peserta diwajibkan membawa 50 soal bagi institusi yang sudah meluluskan dan 25 soal bagi institusi yang belum meluluskan. Soal dikumpulkan pada saat registrasi untuk dimasukkan dalam aplikasi IBA dan soal siap untuk direview. Namun pada pelaksanaannya banyak peserta membwa soal tanpa menggunakan aplikasi IBA, sehingga soal kemudian direview dahulu, baru pada hari kedua soal dimasukkan dalam aplikasi IBA. Untuk mempermudah proses review soal, para item writer, setiap wilayahnya dibagi menjadi 3-5 kelompok kecil. Tiap kelompok didampingi seorang fasilitor. Berikut adalah pembagian kelompok tersebut:
No
kel.
fasilitator
peserta
institusi
1
1 Huriatul
Tilaili Ibrahim Arief Fadillah Lala Foresta
UNSYIAH Un. Abulyatama Un. Bengkulu
2
2 Amel Ynis
Almaycano Jaminsen Sinaga Linda Panjaitan
USU Methodis UNPRIMA
3
3 Dewi Masyitah
Fitri Kadarsih Nilas Warlem Yulis Hamidi
UNPATT UNBRAH UnRIAU
4
4 Ramzi Amin
Un. Abdurab Batam Un. Malikusalleh
5
5 Hemma Yulfi Indah
UNSRI Un. MUH Palembang Un. Wijaya Kusuma
Made Hartawan
UI Trisakti Nusa Cendana
6
6 Anna Rozaliyani
7
7 Hanna Yolanda
Okta Komang Ardi Elsye
Untar Atma Yarsi
8
8 Riwanti Estiasari
Marwito
UKI
WORKSHOP KOMPONEN 2 – MARET 2011
Page 5
HPEQ PROJECT 2011 WO
9
9 Ninik Sukartini
10
10 Yuni
11
11 Eka Hendryanny
12
12 Iis Inayati
Irma
Krida Wacana UPN
Tjahaya Haerani Erike Anggraini Sumarde
UMJ UIN UNUD
kartika Adrian Suhendra Welly
UNPAD UKM UNJANI
Susianti
UNISBA UPH UNLA
Fransisca Tisa Octavira Mitra Andini
Malahayati UNSWAGATI UNIZAR Un. Duta Wacana
13
13 Beta Ahlam
Setyo Purnomo Ardi pramono Wayan Sumitra
UGM UMY Warmadewa
14
14 Mahar
Yenny Dyah Intarniati
UII UNDIP Un. Muh Semarang Un. Muh. Surakarta Un. Sultan Agung Semarang UNSOED UN. Sebelas Maret
Endang Widyastuti 15
15 Ardiansyah
Wirastuti
16
16 M. Khotibuddin
Arief Samdei Nurul Hasanah
UNTAN UNCEN Mulawarman
17
17 Santoso ii Damayanti
Un. Lambung Mangkurat Un. Palangkaraya Un. Islam Malang
Weening
UB
18
18 Roostanti
WORKSHOP KOMPONEN 2 – MARET 2011
Page 6
HPEQ PROJECT 2011 WO
Budi Utomo Edy Junaidi
UNAIR UNEJ
19
19 Achmad Y Heryana
Gita Ida Lestari Vardianto
Un. Muh. Malang Un. Mataram UHT
20
20 Joel Herbet
Femy Syahrianti Jhon Wantania Achmad Syaefullah
UNHAS Un. Sam Ratulangi Un. AlKhairat
21
21 Mahmud Ghaznawi
Ummu Kalzum Aristo Andy Visi Kartika
Un. Muh. Makassar Un. Tadulako Un. Muslim Ind Makassar
Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan agak terlambat sekitar 30 menit, hal ini dikarenakan fasilitator ada rapat koordinasi terlebih dulu. Meskipun demikian tidak berdampak pada waktu pelaksanaan tiap sesi dari waktu yang dijadwalkan sebelumnya dan nilai substansi dari tiap materi yang diberikan oleh narasumber pun tidak berkurang. Berikut adalah rundown acara workshop pada kondisi riil : Jumat, 18 Maret 2011 Waktu
Agenda Acara
Pelaksana
13.00-14.00
Pendaftaran dan Makan Siang
Panitia
14.00-14.30
Pembukaan dan Pengarahan
Wakil Koordinator Komponen 2
15.30-17.30
Petunjuk telaah soal dan penggunaan aplikasi administrasi bank soal Tim KB UKDI Ekstraksi dan pengelompokan soal oleh Administrator Bank Soal Regional Telaah soal dalam kelompok (peer review) Fasilitator
18.00-19.30
Istirahat, Sholat, Makan
14.30-15.30
Panitia
- Telaah soal dalam kelompok (peer review) 19.30-22.00
Fasilitator - Tugas mandiri revisi soal Sabtu, 19 Maret 2011
08.00-11.00
Telaah soal dalam kelompok (peer review)
Fasilitator
11.00-12.00
Evaluasi dan rencana tindak lanjut
Wakil Koordinator Komponen 2
WORKSHOP KOMPONEN 2 – MARET 2011
Page 7
HPEQ PROJECT 2011 WO
5. Hasil Kegiatan Pelatihan ini diawali pengarahan dari perwakilan fasilitator mengenai: 1. Pengertian dasar dari student assessment 2. Petunjuk pelaksanaan pembuatan soal 3. Petunjuk pelaksanaan penelaahan soal 4. Petunjuk penggunaan aplikasi administrasi bank soal di tingkat institusi dan regional 5. Ekstraksi dan pengelompokan paket soal oleh administrator bank soal regional 6. Telaah soal dengan menggunakan perangkat administrasi bank soal Berdasarkan hasil pelatihan yang telah dilaksanakan selama 2 hari, output dari pelatihan pengembangan soal ujian CBT secara umum adalah sebagai berikut :
ASPEK PENILAIAN WIL 1 Jumlah soal yang terkumpul dalam workshop 600 Jumlah soal yang direview dalam workshop 600 Jumlah soal yang memenuhi kriteria soal yang baik 600 Jumlah institusi yang berkontribusi mengirim soal 17 Jumlah item writer 17 Jumlah item bank administrator 1 Jumlah fasilitator 5
WIL 2 475 400 10 10 1 4
TARGET WIL3 WIL4 150 700 150 700 150 270 3 14 14 13 1 6 1 5
REALISASI WIL WIL 3 4
9 4 2
WIL 1
WIL 2
Jumlah soal yang terkumpul dalam workshop
574
338
160
645
696
Jumlah soal yang direview dalam workshop Jumlah soal yang memenuhi kriteria soal yang baik Jumlah institusi yang berkontribusi mengirim soal Jumlah item writer Jumlah item bank administrator Jumlah fasilitator
115
236
110
270
83
95
190
102
199
50
WI L6 22 5 13 9 10 9
16 17 1 5
10 10 1 4
10 14 1 1
14 13 6 5
9 9 4 2
6 6 2 2
ASPEK PENILAIAN
WIL 5
WIL 5 400
WIL6 225 225 6 6 2 2
TOTAL 2638 953 745 65 69 15 19
TABEL REKAPITULASI SOAL PER INSTITUSI Wilayah 1 Wilayah 2 Wilayah 3 Wilayah 4 Wilayah 5 Wilayah 6
WORKSHOP KOMPONEN 2 – MARET 2011
Page 8
HPEQ PROJECT 2011 WO
6. Refleksi
7. Rencana Tindak Lanjut 8. Penutup Pengembangan sistem ujian menjadi CBT merupakan terobosan baru dan akan meningkatkan kualitas ujian itu sendiri. Dengan pelaksanaan pelatihan yang berkesinambungan maka tujuan peningkatan kualitas dokter melalui standarisasi ujian kompetensi diharapkan dapat tercapai.
WORKSHOP KOMPONEN 2 – MARET 2011
Page 9
