HPEQ PROJECT 2012 WO
LAPORAN Pelatihan Standard Setting Ners Tahun 2012
Hotel Atlet Century Park, Jakarta 28 – 29 Juni 2012
Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan dan Kebudayaan
WORKSHOP KOMPONEN 2 28-29 JUNI 2012
Page 1
HPEQ PROJECT 2012 WO 1. Pendahuluan Komponen 2 Proyek HPEQ mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Dalam upaya penjaminan mutu sistem ujian ini salah satunya dilakukan melalui proses penetapan batas lulus (standard setting). Mengingat status ujian nasional sebagai ujian yang bersifat high stake exam dan menentukan seseorang apakah dapat melakukan profesinya, penetapan batas lulus ini harus adil dan dapat dipertanggungjawabkan. Secara umum terdapat 2 (dua) pengelompokan metoda yang dapat digunakan, yaitu metoda relatif dan metoda absolut. Mekanisme penentuan batas lulus yang saat ini berjalan masih menggunakan metoda relatif. Bahkan pada kebanyakan praktek penentuan kelulusan dilakukan secara arbitrary yang tidak didasari oleh landasan ilmiah dan upaya keras untuk bersikap adil dan dapat dipertanggungjawabkan. Pemahaman tentang metodologi penentuan batas lulus ini masih kurang karena dalam prakteknya masih jarang digunakan. Pemahaman ini penting karena dalam penentuan batas lulus dilakukan penilaian oleh ahli secara panel. Hal inilah yang ikut berkontribusi terhadap validitas dan pertanggungjawaban penentuan batas lulus yang dilakukan. Mengingat hal di atas, sebagai bagian dari penjaminan mutu output berupa penentuan batas lulus yang menentukan kelulusan peserta ujian, serta peningkatan kualitas SDM dalam penentuan batas lulus yang dapat dilaksanakan di setiap institusi, perlu dilakukan pelatihan standard setting sehingga setiap institusi pendidikan ners mengetahui metode yang sesuai dan adil dalam penentuan batas lulus. 2. Tujuan Tujuan dilaksanakannya pelatihan standard setting ners adalah: 1. Meningkatkan pemahaman institusi pendidikan terhadap berbagai metode penentuan batas lulus yang adil dan dapat dipertanggung jawabkan secara ilmiah 2. Meningkatnya jumlah dan kemampuan standard setter yang akan menjadi judge 3. Output Workshop Output serta dampak yang diharapkan dari pelatihan ini adalah: 1. Disepakatinya metode penentuan batas lulus yang dinilai paling sesuai diterapkan untuk institusi Ners di Indonesia 2. Rencana implementasi metode penentuan batas lulus yang paling sesuai untuk uji kompetensi baik lokal maupun nasional 3. Diperolehnya sejumlah judge untuk penentuan batas lulus pada uji kompetensi Ners
WORKSHOP KOMPONEN 2 28-29 JUNI 2012
Page 2
HPEQ PROJECT 2012 WO 4. Metode Pelaksanaan Workshop Pelatihan standard setting ners ini dilaksanakan pada tanggal 28-29 Juni 2012 di Hotel Atlet Century Park Jakarta. Peserta pelatihan No 1
Nama I Made Kariasa
Institusi AIPNI/ Jakarta
2
Masfuri
PPNI/ Jakarta
3
Riyani Wikaningrum
FK Yarsi/ Jakarta
[email protected]
4
Yulherina
KB UKDI/ Jakarta
[email protected]
5
Cholis Abrori
FK UNTAR/ Jakarta
[email protected]
6
Erial Bahar
FK UNSRI/ Palembang
7
Abraham Simatupang
FK UKI/ Jakarta
[email protected]/
[email protected] [email protected]
8
Agus Santoso
PSIK FK UNDIP/ Semarang
[email protected]
9
Ai Mardhiyah
FIK UNPAD/ Bandung
10
Ikhsannudin
FIK USU/ Medan
11
Intan Sri Rahayuningsih
12
Yuni Sufyani
PSIK FK Unsyah/ Banda Aceh F. Kep Unair/ Surabaya
13
Aulawi Khudazi
PSIK FK UGM/ Yogyakarta
14
Kumboyono
PSIK FK UB/ Malang
15
Takdir Tahir
PSIK FK UNHAS
16
Rika Sabri
PSIK FK UNAND/ Padang
17
Rohman Azzam
PSIK UMJ/ Jakarta
18
Ketut Suardana
PSIK FK UNUD/ Denpasar
WORKSHOP KOMPONEN 2 28-29 JUNI 2012
Email
[email protected] [email protected]
[email protected] [email protected] [email protected] [email protected] [email protected] [email protected] [email protected] [email protected] [email protected] [email protected]
Page 3
HPEQ PROJECT 2012 WO 19
Tuti Herawati
FIK UI/ Jakarta
20
Marthen Sagrim
Stikes Papua Sorong
21
Sriyono
F. Kep Unair/ Surabaya
22
Lutfatul Latifah
[email protected]
23
Herawati
24
Husin
25
Deni Suwardiman
PSIK FK Unsoed/ Purwokerto PSIK FK UNLAM/ Banjarmasin Stikes Sari Mulia/ Banjarmasin STIKES Faletehan/ Serang
26
Saefullah
STIKES Indramayu
27
Erwin
PSIK UNRI/ Pekanbaru
[email protected];
[email protected] [email protected]
28
Urip Rahayu
FIK UNPAD/ Bandung
29
Emiliana Tarigan
STIKES Sint Carolus/ Jakarta
[email protected]
30
Irma Nurbaeti
PSIK FK UIN SH/ Jakarta
31
Agus Pairi
STIKES Harapan Ibu/ Jambi
32
Endah Sulistiyani
STIKES Mataram
33
Gunawan
34
Harif Fadhillah
STIKES Malahayati/ Lampung MTKI/ Jakarta
[email protected],
[email protected] [email protected] [email protected]
[email protected] [email protected] [email protected]
[email protected]
[email protected] [email protected] [email protected] [email protected] [email protected]
Pada pelaksanaannya, ada 3 peserta yang tidak dapat hadir yaitu Wiwin Winarsih (FKUI), Syafwani (Stikes Muh. Banjarmasin), Tuti Nuraeni (FKUI) dan tidak mengirimkan penggantinya. Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan terlambat 1 jam dari waktu yang telah ditentukan. Berikut adalah rundown acara workshop pada kondisi riil :
WORKSHOP KOMPONEN 2 28-29 JUNI 2012
Page 4
HPEQ PROJECT 2012 WO
Waktu
Kamis, 28 Juni 2012 Agenda
Pelaksana/ Narumber
15.00 - 15.10
Pengarahan dan pembukaan pelatihan
Tuti Herawati
15.10 - 16.00 14.45 - 17. 50 17.50 - 19.30 19.30 - 23.00
Penjelasan standar setting Pengertian borderline dan judge ISHOMA Latihan Standard setting Jum’at, 29 Juni 2012 Pemaparani hasil latihan Standar Setting Evaluasi hasil latihan standar setting Penutupan
Yulherina/ Fasilitator Cholis Abrori
08.00-09.40 09.40-11.10 11.00-selesai
Fasilitator Cholis Abrori Rina / Fasilitator I Made/ LO
5. Hasil Kegiatan Workshop ini diawali dengan pembukaan oleh ibu Tuti Herawati dan dilanjutkan dengan penjelasan tentang standard setting oleh ibu Yulherina. Pada saat acara dimulai, peserta yang berjumlah 34 orang dibagi menjadi 4 kelompok dan didampingi dengan 1 orang fasilitator. Target setiap kelompok harus mengerjakan soal sebanyak 90 soal. Pada tahap pengerjaan soal, fasilitator mengingatkan kembali agar dalam mengerjakan soal peserta harus menempatkan diri sebagai borderline. Berdasarkan hasil pelatihan yang telah dilaksanakan selama 2 hari, output dari pelatihan standard setting ners secara umum adalah sebagai berikut: Kriteria Borderline 1. Menyelesaikan pendidikan profesi ners melebihi standar (1-2 semester) 2. IPK ners minimal lulus 3. Mengulang maksimal 2 stase untuk dapat lulus ujian profesi 4. IPK tahap akademik minimal lulus 5. Untuk lulus mata kuliah perlu mengikuti remedial 6. Dalam mengerjakan tugas perlu bimbingan tambahan 7. Untuk lulus uji kompetensi perlu mengulang Kriteria Judge 1. 2. 3. 4.
Minimal Ners/SKp Pengalaman mengajar atau pembimbing minimal 5 tahun atau Pengalaman membimbing dan praktek minimal 5 tahun Pengalaman membimbing klinik minimal 2 tahun dan aktif sampai sekarang (ada SK)
WORKSHOP KOMPONEN 2 28-29 JUNI 2012
Page 5
HPEQ PROJECT 2012 WO 5. Telah mengikuti salah satu pelatihan yang berisi student assesment (pekerti, AA, akta V, item development) 6. Pernah mengikuti pelatihan standard setting 7. Bersedia menjadi judge dan mematuhi kode etik
Hasil dari pengerjaan soal yang dilakukan oleh tiap kelompok adalah sebagai berikut :
BUKU 1
NBL Perkelompok 80,00 60,00
60,00 50,00
40,00
60,00 40,00
Kelompok 1 Kelompok 2
20,00 0,00 1
2
Berdasarkan hasil pengerjaan soal, didapatkan Nilai Batas Lulus (NBL) untuk kelompok 1 mencapai nilai 60,00, sedangkan pada kelompok 2 hanya mencapai 50,00. NBL per-round pada kelompok 1 dan 2 yang mengerjakan buku 1, hasilnya hampir tidak jauh beda, dengan perolehan nilai pada kelompok 1 (55,00) dan kelompok 2 lebih rendah yaitu (50,00).
NBL per-Round 60,00
55,00
50,00
40,00 Series1
20,00 0,00 1
WORKSHOP KOMPONEN 2 28-29 JUNI 2012
2
Page 6
HPEQ PROJECT 2012 WO
BUKU 2
NBL Perkelompok 80,00 60,00 40,00 20,00 0,00
60,00 50,00
50,0053,75 Kelompok 1 Kelompok 2
1
2
Di sisi lain, untuk pengerjaan soal buku 2, didapatkan NBL untuk kelompok 1 mencapai nilai 60,00, sedangkan pada kelompok 2 hanya mencapai 50,00. NBL per-round pada kelompok 1 dan 2 yang mengerjakan buku 2, hasilnya hampir tidak jauh beda, dengan perolehan nilai pada kelompok 1 (55,00) dan kelompok 2 lebih rendah yaitu (51,88).
NBL per-Round 100,00 50,00
55,00
51,88 Series1
0,00 1
WORKSHOP KOMPONEN 2 28-29 JUNI 2012
2
Page 7
HPEQ PROJECT 2012 WO
HASIL AKHIR
60,00 50,00
50,00
51,88
50,94
40,00 30,00
Series1
20,00 10,00 0,00 Buku 1
Buku 2
Hasil Akhir
Setelah dianalisis lebih lanjut, NBL akhir mencapai nilai (50,94) kemudian di bulatkan menjadi (51,00). Hasil Kelulusan • NBL = 51 • % Kelulusan – Buku 1 : 20,82% – Buku 2 : 22,35%
Persentase kelulusan dengan NBL 51 masih rendah. Hal ini menggambarkan bahwa kemampuan peserta uji harus ditingkatkan untuk dapat mengerjakan soal dengan kualitas yang baik. Perlu dipastikan bahwa NBL 51 dapat dijalankan sebagaimana yang diamanatkan oleh metode ini. Hasil uji harus dapat dianalisis dan dipertanggungjawabkan secara ilmiah. Di sisi lain, Dari 340 soal yang dikerjakan oleh para calon judges, hanya sejumlah 140 soal yang dinilai layak untuk masuk pada bank soal nasional. Hal ini dapat menjadi pelajaran bagi para item writer dan item reviewer ners dalam memperbaiki kualitas soal uji kompetensi ners.
Lesson learned dari pelatihan ini diharapkan dapat membuka wawasan calon judges ners lebih luas, dan menyiapkan tiap institusi atas pelaksanaan uji kompetensi ners dengan
WORKSHOP KOMPONEN 2 28-29 JUNI 2012
Page 8
HPEQ PROJECT 2012 WO standar nasional. Jika sistem assesment baik, diharapkan dapat meningkatkan kualitas lulusan ners. 6. Refleksi Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan pelatihan ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi borderline, jugde, dan metode yang paling sesuai untuk standard setting ners. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Fasilitator Secara umum pelaksanaan pelatihan standard setting ners sudah berjalan dengan baik dan peserta sangat antusias Pemahaman tentang tujuan dan metode standard setting sudah sangat baik, tetapi peserta perlu latihan lagi. Masih banyak yang terperangkap dengan review soal dan beberapa peserta belum memiliki pemahaman yang komprehensif Peserta sudah dapat menyepakati kriteria judge yang baik, walaupun di akhir sesi masih diperlukan penjelasan Kendala yang dihadapi peserta dalam melaksanakan tahapan standard setting di saat round-round adalah terpengaruh dengan difficulty index yang di bagikan Rekomendasi perbaikan pelaksanaan standard setting selanjutnya pelaksanaan dilakukan pagi hari. Yang terpenting dari pelatihan ini adalah seluruh proses dapat diterekam dengan baik. Diharapkan peserta dapat membagikan pengalaman ini di institusi masing-masing Peserta (Calon judges) Untuk menentukan metode standard setting yang ideal, perlu perhatian pada kelompok lulusan/mahasiswa yang borderline. Profil lulusan akan ujian, juga perlu di identifikasi atau digambarkan sebelum judging karena ada kemungkinan akan menguatkan kriteria borderline Akan menjadi lebih baik apabila keterwakilan seluruh komponen, baik dari variasi institusi pendidikan, wilayah dari indonesia dan pengambil keputusan berlatar belakang ners Setuju dengan metode angoff karena sesuai dengan kondisi judge, sehingga lebih ideal dengan penentuan berdasarkan median. Akan lebih baik menyetujui satu metode untuk bisa dilatih lebih sering, walaupun nanti perlu perbandingan dengan metode lain. Ideal adil dalam menentukan NBL dengan metode angoff Sangat setuju, hal tersebut akan menghasilkan NBL yang rasional dengan catatan judge harus bisa menempatkan bahwa yang diuji adalah kelompok borderline bukan judge
WORKSHOP KOMPONEN 2 28-29 JUNI 2012
Page 9
HPEQ PROJECT 2012 WO Dari yang dipelajari adalah angoff modifikasi. Untuk menjadi perhatian bersama adalah NBL, setidaknya mewakili kondisi di luar jawa yang upaya belajar mahasiswanya lebih rendah dibandingkan mahasiswa dari jawa Kriteria ideal untuk menjadi judge standar setting ners ini : komitmen, fokus, memahami kemampuan peserta borderline Pendidikan minimal ners. Pengalaman mengajar minimal 5 tahun. Bersedia memahami kode etis sebagai judge Kriteria ideal – sebagai judge adalah : orang yang komitmen, ikhlas, memiliki wawasan nasional, meninggalkan kepentingan pribadinya Judge benar-benar mempersiapkan diri dan tidak membawa nama institusi Kriteria judge merupakan kesepakatan bersama dan sebagai permulaan kriteria ini cukup dalam perkembangan mungkin akan disepakati kriteria tambahan Seluruh peserta sudah siap untuk menjadi judge Tindak lanjut dari pelatihan standar setting ners ini di buat standar setting training lanjut agar meningkatkan obyektifitas Kriteria judge di sebarluaskan ke seluruh institusi yang akan melakukan uji kompetensi/ mengikuti uji kompetensi sehingga keterwakilan judge di seluruh indonesia dapat terwakili dan judge tidak dianggap sesuatu yang ekslusif, melakukan workshop/ pelatihan untuk menjadi judge pada masing-masing regional Mengembangkan standar kompetensi ners yang lebih spesifik. Berlatih di institusi agar lebih memahami borderline Menyepakati standar kompetensi ners sebagai dasar penyusunan soal uji kompetensi. Sosialisasi standar kompetensi ke seluruh institusi pendidikan keperawatan di indonesia. Perlu diadakah pelatihan item development, item review dan standard setting di tingkat institusi. Menyiapkan jumlah judge. Menentukan NBL regional serta pelatihan judge untuk ujian nasional Kesepakatan dan sosialisasi standar kompetensi ners ke institusi pendidikan ners. Adanya standar setting ners lanjutan 7. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan pelatihan standard setting ners, refleksi dan feedback dari peserta pelatihan, beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari pelatihan ini adalah sebagai berikut : Pelatihan harus betul-betul memberi dampak positif untuk sub regional dan ke semua institusi. Untuk itu, perlu dilakukan diseminasi hasil pelatihan Akan disusun mapping judges untuk standard setting selanjutnya
WORKSHOP KOMPONEN 2 28-29 JUNI 2012
Page 10
HPEQ PROJECT 2012 WO Diharapkan setelah pelatihan ini peserta memberikan feedback ke institusinya masing-masing untuk membiasakan mahasiswa mengerjakan soal-soal yang di muat dalam blue print dan diterapkan ke institusi, sehingga identifikasi borderline dapat lebih akurat . 8.
Penutup Penentuan batas lulus merupakan kegiatan akhir dari rangkaian sistem ujian. Keseluruhan aspek dalam pelaksanaannya memerlukan proses penjaminan mutu. Dalam penentuan batas lulus ini, hal yang sangat krusial dalam menentukan kelulusan terutama adalah pada kelompok borderline. Oleh karena itu, pemahaman dan peningkatan kemampuan standard setter dalam panel expert sangat diperlukan. Harapannya, melalui workshop ini tujuan tersebut dapat tercapai dan output dari workshop ini dapat disosialisasikan di masing-masing institusi. Selain itu, hasil evaluasi dari workshop ini diharapkan dapat menjadi input untuk MTKI, AIPNI, AIPDIKI pada khususnya, dan institusi pendidikan keperawatan pada umumnya dalam usaha meningkatkan kualitas UKNI.
WORKSHOP KOMPONEN 2 28-29 JUNI 2012
Page 11