HPEQ PROJECT 2012
LAPORAN WORKSHOP NASIONAL ITEM REVIEW CBT BIDAN GELOMBANG 2 Komponen 2- Health Professional Education Quality (HPEQ Project)
Hotel Atlet Century Park Jakarta, 19-20 Juni 2012
Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan dan Kebudayaan
WORKSHOP KOMPONEN 2 – JUNI 2012
Page 1
HPEQ PROJECT 2012
1. Pendahuluan Dengan diterbitkannya Permenkes tentang registrasi tenaga kesehatan, maka Uji kompetensi akan segera diberlakukan mulai tahun 2013 bagi setiap calon tenaga kesehatan sebelum memasuki dunia kerja. Uji kompetensi tersebut akan dilakukan secara nasional. Untuk mempersiapkan setiap calon tenaga kesehatan menghadapi Uji kompetensi tersebut institusipendidikan perlu mempersiapkan dan menjamin setiap lulusannya mampu bekerja sesuai dengan kompetensinya. Salah satu upaya yang dapat dilakukan adalah meningkatkan mutu pendidikan melalui peningkatan sistem ujian yang terstandar. Upaya peningkatan sistem ujian pada pendidikan tenaga kesehatan khususnya bidan yang menjadi salah satu fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif, dan sesuai dengan tingkat kompetensi yang diharapkan. Untuk itu melalui proyek HPEQ telah dilakukanbeberapa kali pelatihan Item Development dan telah terkumpul sejumlah soal yang dapat menunjang pelaksanaan Uji kompetensi yang akan dilaksanakan pada tahun 2013. Dalam persiapan ujian CBT ini diperlukan soal yang kredibel, melalui satu proses pembuatan soal sesuai dengan kaidah dan standar. Soal yang telah dibuat harus ditelaah apakah merupakan kompetensi esensial dalam pekerjaan dan struktur soal terstandar dengan baik serta merujuk kepada standar kompetensi yang ada. Untuk Itu soal yang sudah terkumpul perlu direview untuk menghasilkan soal yang berkualitas dan sesuai dengan tujuan uji kompetensi. 2. Tujuan
a. Terkumpulnya 400 soal yang memenuhi syarat untuk digunakan sebagai soal uji kompetensi nasional b. Terbentuknya tim item reviewer tingkat nasional 3. Output Workshop a. 400 soal yang memenuhi syarat untuk digunakan sebagai ujian yang bersifat nasional b. Tim item reviewer tingkat nasional 4. Metode Pelaksanaan Workshop Workshop nasional item review CBT bidan gelombang 2 ini dilaksanakan pada tanggal 19-20 Juni 2012 di Hotel Atlet Century Park, Jakarta. Workshop dilakukan dengan metode diskusi kelompok kecil (8 kelompok) yang terdiri dari 3-4 orang untuk mereview
WORKSHOP KOMPONEN 2 – JUNI 2012
Page 2
HPEQ PROJECT 2012
soal – soal, setelah sebelumnya dilakukan pengarahan oleh ketua AIPKIND, ibu Jumiarni Ilyas, dan LO Bidan Komponen 2 yaitu ibu Yetty L Irawan. Dibawah ini susunan acara kegiatan item review dalam kondisi riil: Selasa, 19 Juni 2012 14.45 – 15.00
Pembukaan dan Pengarahan
15.15 – 18.00
Item Review (8 kelompok)
18.00 – 19.00
ISHOMA
19.00 – 22.15
Item Review (8 kelompok)
Ketua AIPKIND dan LO Komponen 2 Panitia
Rabu, 20 Juni 2012 08.00 – 12.00
Item Review (8 kelompok)
12.00 – 12.15
Wrap Up dan rencana tindak lanjut
Ketua AIPKIND
5. Peserta Peserta item review CBT bidan kali ini terdiri dari 29 orang item reviewer yang didampingi oleh ketua AIPKIND, 1 orang LO Komponen 2, 1 orang perwakilan IBI, dan 1 orang sekretariat AIPKIND. Dari total 33 undangan, hanya 1 orang yang tidak dapat hadir yaitu Ibu Dewi Purwaningsih (LO Komponen 2) sedangkan seluruh item reviewer dapat hadir atau digantikan (participation rate 94%). Selain itu, terdapat 1 orang peserta tambahan yaitu sekretariat AIPKIND untuk membantu kelancaran acara dan untuk membantu pendaftaran uji coba CBT bidan. Berikut adalah daftar peserta yang dapat hadir: No
Nama
Institusi
Tlp
Email
1
Adriana P
STIKES sari Mulia
085280209489
[email protected]
2
Lisma Evarany
Prodi Keb Bukittinggi Poltekkes Padang
082116038327
[email protected]
3
OD Sariningsih
STIKES Immanuel Bandung
081573252255
[email protected]
4
Rika Nurhasanah
STIKES Bhakti Kencana
08122234877
[email protected]
5
Siti Nur Endah
STIKES A Yani Cimahi
08122191980
[email protected]
6
Huda Hanum
Poltekkes Padang
08126755752
[email protected]
7
Sunesni
STIKES Mercu Bakti Jaya
085263234660
[email protected]
8
Mariana Theresiana T
STIK Sint Carolus
08161331574
[email protected]
9
Elda Yusefin
Jur Keb Poltekkes Padang
081321584556
[email protected]
10
Fatimah
Prodi D3 Ken RSIJ UMJ
08158938045
[email protected]
11
Ida Ariyanti
Prodi Keb Poltekkes Semarang
08122537509
[email protected]
12
Rinawati Sembiring
STIKES Mutiara Indonesia
085373885507
[email protected]
13
Risneni R
Akbid Panca Bhakti
08127214662
[email protected]
14
Dwi Izzati
PSPB FK Unair
081839810044
[email protected]
WORKSHOP KOMPONEN 2 – JUNI 2012
Page 3
HPEQ PROJECT 2012
15
Ni Nyoman Budiani
Poltekkes Denpasar
08563737097
[email protected]
16
Dewi Purnamawati
STIKES Kharisma Karawang
081319400463
[email protected]
17
Syafrani Ibrahim
Akbid Pelita Persada
0818171457
[email protected]
18
Yosi Oktri
STIKES Budi Luhur
085862625214
[email protected]
19
Sri Handayani
Akbid Estu Utomo Boyolali
08122508352
[email protected]
20
Tri Novi
S1 Kebidanan FKUB
0811303031
[email protected]
21
Sulastri
Poltekkes Aceh
081903169548
[email protected]
22
Asri Hidayat
STIKES Jogjakarta
081802143393
[email protected]
23
Klanting Kasiati
Poltekkes Surabaya
08123095650
[email protected]
24
Evi Hasnita
STIKES Fort De Kock Bukittinggi
081363046204
[email protected]
25
Nur Yaqin
Akbid Minasa Upa
085299218562
[email protected]
26
JM Metha
Poltekkes Riau
08127345657
[email protected]
27
Noviyanti
STIKES A Yani Cimahi
08164824824
[email protected]
28
Utin Siti Chandrasari
Poltekkes Pontianak
081522570519
[email protected]
29
Ratna Chairani
MTKI
08159898215
[email protected]
30
Ani Kusumastuti
IBI
081320385156
[email protected]
31
Yetty L. Irawan
AIPKIND
081315611155
[email protected]
32
Jumiarni Ilyas
AIPKIND
0811890515
[email protected]
33
Siti Mudrikah
AIPKIND
081294422043
[email protected]
6. Hasil Kegiatan Kegiatan item review diawali dengan pengarahan dan penjelasan dari Ketua AIPKIND dan LO Komponen 2 mengenai tujuan dan target kegiatan yang harus dicapai kali ini. Untuk memaksimalkan proses review, peserta dibagi menjadi 8 kelompok kecil yang terdiri dari 3-4 orang. Adapun berdasarkan pengarahan di awal acara, setiap kelompok diharapkan dapat mereview 100 soal. Berikut adalah daftar kelompok serta output dari masingmasing kelompok. Kelompok
1
2 3 4
Peserta
Jumlah Soal yang Berhasil Direview
Jumlah Soal yang Diterima
Jumlah Soal yang Ditolak
101
45
56
70
52
28
65
41
24
85
44
41
Syafrani Ibrahim Mariana T.H Risneni R Rinawati Sembiring Nuryaqin Evi Hasnita Fatimah Sri Handayani Ida Ariyanti Adriana Asri Hidayat JM Metha
WORKSHOP KOMPONEN 2 – JUNI 2012
Page 4
HPEQ PROJECT 2012
5
6
7
8
Sulastri Ratna Chairani Tri Novi Sunesni Elda Lisma Evareni Endah Dewi Rika Utin SC Sari Yosi Oktri Noviyanti OD Sariningsih Klanting Kasiati Huda Hanum Ni N. Budhiani Dwi Izzaty
60
51
9
55
40
15
85
57
28
70
61
9
Berikut adalah rekapitulasi keseluruhan output workshop: NO 1. 2. 3. 4.
KOMPONEN Jumlah soal CBT yang direview Jumlah soal CBT yang memenuhi kriteria soal baik Jumlah soal CBT yang ditolak Jumlah peserta workshop
TARGET
REALISASI
800 800 0 33
591 391 200 32
Grafik Pencapaian Target Workshop Item Review CBT Bidan Gelombang 2 Hotel Atlet Century Park, 19-20 Juni 2012 900
800
800
800 700 600
591
500
391
400
Target
300
Realisasi
200
200 100
0
33
32
0 Jumlah soal CBT yang direview
Jumlah soal CBT yang memenuhi kriteria baik
WORKSHOP KOMPONEN 2 – JUNI 2012
Jumlah soal CBT yang ditolak
Jumlah peserta workshop
Page 5
HPEQ PROJECT 2012
Target soal CBT yang seharusnya direview dalam workshop kali ini berdasarkan TOR adalah sejumlah 400 soal. Namun berdasarkan pengarahan pada awal acara, setiap kelompok diharapkan dapat mereview 100 soal sehingga target review menjadi 800 soal. Pencapaian pada workshop kali ini cukup baik bila dibandingkan dengan target pada TOR yaitu: soal yang berhasil direview adalah sebanyak 591 soal (148% dari target TOR dan 73% dari target pengarahan), dimana 391 diantaranya diterima dengan beberapa perubahan dan revisi soal (66% dari keseluruhan soal yang direview), sisanya sebanyak 200 soal (34% dari seluruh soal yang direview) ditolak. Jumlah peserta yang hadir mencapai 97% dari total keseluruhan undangan. Dari hasil rekapitulasi ini terdapat beberapa hal yang harus diperhatikan antara lain kinerja dari item reviewer yang sudah cukup baik namun masih belum ditunjang dari segi soal yang berkualitas. Hal ini dapat dilihat dari jumlah soal yang ditolak yaitu mencapai 34% dari total keseluruhan soal yang direview. Hal ini tentunya harus menjadi perhatian tersendiri bagi institusi pembuat dan pengirim soal agar meningkatkan kualitas soal yang dikirim ke tingkat nasional. 7. Refleksi Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif tim monev secara umum dan juga dari peserta. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari pencapaian target output yang masih belum optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari perspektif tersebut: Gambaran Umum
Workshop secara umum berjalan tepat waktu dan sesuai dengan jadwal yang terlampir pada TOR kecuali waktu pembukaan yang agak terlambat. Meskipun demikian, waktu yang tersedia selama workshop dimanfaatkan dengan baik oleh peserta dalam kelompok untuk mereview soal. Walaupun telah ditetapkan bahwa soal yang masuk merupakan soal yang telah melalui proses review di institusi namun mayoritas soal yang direview dalam workshop kali ini belum pernah direview di tingkat institusi sehingga membuat reviewer bekerja keras dan memakan waktu yang lama dalam mereview soal selain itu banyak soal yang ada menjadi tidak terpakai karena dianggap tidak layak.
WORKSHOP KOMPONEN 2 – JUNI 2012
Page 6
HPEQ PROJECT 2012
Beberapa hal yang perlu ditingkatkan dari pelaksanaan workshop ini adalah :
Pada tingkat institusi perlu dilakukan workshop item development dan review agar semakin banyak item writer yang berkualitas dalam menghasilkan soal yang sesuai dengan standar serta soal yang masuk ke dalam IBA merupakan soal yang telah terreview. Untuk memudahkan item review, dalam membuat soal dan soal yang dibuat sudah sesuai dengan target yang diharapkan maka setiap peserta harus lebih memahami blueprint uji kompetensi, Standar Pendidikan dan Standar Kompetensi Bidan.
Peserta Hal-hal yang perlu diperhatikan dalam mereview soal sehingga dihasilkan soal yang berkualitas o Ketelitian tim o Kualifikasi reviewer o Kerjasama tim o Bahasa yang digunakan harus dapat dipahami oleh semua daerah misal istilahistilah awam o Vignette atau kasus harus lebih jelas, sistemasis, data lengkap, sebaiknya kasus nyata; data sering mengada-ada. o Soal sebaiknya telah direview di tingkat institusi o Penulisan soal diupayakan sesuai dengan kaidah penulisan soal o Rambu-rambu daftar tilik soal/ review harus diperhatikan dengan benar o Kesiapan alat dan tempat o Penguasaan materi terkait soal yang direview o Relevansi dengan kompetensi bidan di Indonesia o Struktur vignette soal yang sesuai o Update buku-buku dan program-program yang sedang berjalan
Kendala yang dihadapi saat mereview soal o Vignette yang tidak berfungsi dan penggunaan bahasa yang tidak tepat o Perbedaan persepsi dalam tim baik dari segi materi maupun susunan kata o Soal yang menyimpang dari standar o Keterbatasan waktu o Panduan/ teknik review yang masih belum ditetapkan o Vignette terlalu panjang dan kompleks o Tata bahasa o Panitia dapat hadir lebih awal sehingga soal dapat didistribusikan segera o Soal belum pernah direview sebelumnya di tingkat institusi mapun regional o Masih ada soal tanpa kunci jawaban o Soal masih jauh dari sempurna o Soal tidak menggambarkan kasus nyata sengan bahasa yang berbelit
WORKSHOP KOMPONEN 2 – JUNI 2012
Page 7
HPEQ PROJECT 2012
o Harus memperbaiki kasus dan melengkapi data agar kasus lebih mudah dipahami o Sulit dalam menginterpretasikan apakah vignette atau option masuk criteria sulit, sedang atau mudah o Lupa akan konsep vignette o Soal masih sesuai dengan pedoman o Kurang soal kepemimpinan dan etiket legal
Kualifikasi yang harus dimiliki oleh seorang item reviewer CBT bidan yang baik o Komitmen dalam kerahasiaan soal o Pengalaman CBT dan item development o Kompeten (pernah mengikuti pelatihan) o Jujur o Komitmen o Memahami konsep item development dan item review o Kemampuan klinik di atas 3 tahun, karena tanpa pengalaman klinik akan sulit membuat soal kasus yang baik o Menjadi dosen tetap menimal 3 tahun o Memiliki pengetahuan tambahan yang berhubungan dengan evidence based kebidanan dan ketrampilan serta teori o Pendidikan minimal S2 o Pelatihan cara mengajar o Pelatihan pendukung materi
Strategi pengumpulan soal ditingkat institusi selama ini o Membiasakan tim dosen di institusi untuk membuat soal evaluasi pembelajaran mengikuti kaidah item development o Melalui workshop di tingkat regional o Masing-masing tim membuat soal lalu dikumpulkan oleh coordinator Mk o Sudah mulai aktif o Membuat soal dalam bentuk vignette setiap pelaksanaan UAS o Soal dibuat oleh coordinator dan team MA sesuai dengan soal CBT direview oleh team reviewer CBT yang telah mengikuti pelatihan diujicobakan, disimpan oleh bank soal o Dosen diwajibkan membuat soal sesuai mata kuliah yang diampu dan disesuaikan dengan blue print soal uji kompetensi dan disosialisasikan ke mahasiswa o Diseminasi tatacara item development o Masing-masing staf diberi tugas untuk pembuatan soal sesuai dengan tinjauan yang ada dan ada pembagian tugas yang bertanggung jawab mengumpulkan soal dan mereview soal o Setiap tengah semester selalu menghimbau untuk membuat soal dan mengumpulkan soal 2x dalam 1 semester o Belum terkoordinir secara baik
WORKSHOP KOMPONEN 2 – JUNI 2012
Page 8
HPEQ PROJECT 2012
o Berikan surat resmi dari AIPKIND/ HPEQ bahwa ini adalah keharusan supaya komitmen semua civitas akademik dan pemimpin institusi o Ka prodi menentukan seorang dosen sebagai pengumpul soal o Belum optimal, perlu sosialisasi berkesinambungan
Konsolidasi antara item reviewer dengan item bank administrator o Belum optimal o Sistem uji kompetensi belum terbentuk sehingga konsolidasi antara reviewer dan administrator belum baik o Belum pernah ada konsolidasi antara reviewer dengan IBA o Berjalan o Hari ini tim IBA tidak ada o Duduk bersama saat review o Komunikasi dengan IBA nasinal belum baik o Harus dilakukan secara berkesinambungan dan uraian tugas yang jelas.
Rencana tindak lanjut kegiatan ini di tingkat institusi o Menggunakan kaidah item development dan item review untuk evaluasi pembelajaran o Dilakukan item review o Membuat soal vignette pada setiap ujian MK (UTS, UAS) harus ada soal yang bersifat analisis kasus o Mengagalakkan dosen untuk membuat soal model vignette dan dipaparkan ke mahasiswa dalam bentuk UTS/ UAS, dll o Setiap dosen membuat soal vignette sesuai MK yang diampu o Mengumpulkan soal dari masing-masing koordinator MK o Akan dikerjakan secara rutin dan berkala o Mengadakan pelatihan item development dengan melibatkan semua dosen o Tetap diusahakan berjalan sesuai dengan tanggung jawab yang diberikan o Sosialisasi kepada seluruh dosen, mengumpulkan soal kemudian direview bersama dan diujicobakan kepada mahasiswa, direview ulang untuk dimasukkan dalam item bank o Secara periodik membuat soal untuk dapat dikirim untuk direview dengan catatan sudah dilakukan review di tingkat institusi o Sosialisasi, diseminasi mulai dari semua pengelola institusi; kendalanya: tidak cukup/ tidak ada materu/ hand out yang ditayangkan o Membentuk tim uji kompetensi item development, rev, dan bank dan dilakukan uji coba di institusi
8. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai
WORKSHOP KOMPONEN 2 – JUNI 2012
Page 9
HPEQ PROJECT 2012
bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : Perlu dilakukannya pelatihan-pelatihan sejenis item development dan item review di tingkat regional/ lokal dengan fasilitator dari peserta yang telah mengikuti pelatihan di tingkat pusat. Sehingga terjadi knowledge transfer mengenai proses item review yang baik hingga ke tingkat institusi. Penggunaan format item development untuk evaluasi hasil belajar di institusi. Hal ini dapat membuat kualitas soal lebih baik serta mahasiswa akan lebih terbiasa dengan soal sejenis. Perlunya mekanisme pengumpulan item yang berjenjang dari tingkat institusi ke tingkat regional hingga ke pusat dengan penegasan setiap soal yang dikirimkan merupakan soal yang telah direview di tingkat institusi. 9. Penutup Persiapan implementasi uji kompetensi untuk profesi Bidan diharapkan dapat diupayakan dengan peningkatan kualitas dan kuantitas pembuatan soal. Dengan demikian, upaya percepatan pembuatan soal yang berkualitas ini dapat berjalan dengan baik dan memiliki dampak yang lebih bermakna. Selain itu proses implementasi CBT akan dapat berjalan sesuai dengan yang telah direncanakan HPEQ.
Lampiran Point of Discussion Workshop Database peserta Dokumentasi Kegiatan
WORKSHOP KOMPONEN 2 – JUNI 2012
Page 10