Panel Expert Computer Based Testing (CBT) Ners

HPEQ PROJECT 2012 WO

LAPORAN

Panel Expert Computer Based Testing (CBT) Ners Jakarta, 6-7 Agustus 2012

Hotel Atlet Century Park 6-7 Agustus 2012

Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan dan Kebudayaan

WORKSHOP KOMPONEN 6-7 AGUSTUS 2012

Page 1

HPEQ PROJECT 2012 WO 1. Pendahuluan Upaya peningkatan sistem ujian pada pendidikan keperawatan dan yang menjadi fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif, dan sesuai dengan kompetensi yang diharapkan. Salah satu metode ujian yang akan digunakan adalah ujian tulis. Dalam program ujian tulis ini diperlukan sumber daya manusia yang mempunyai kemampuan dalam mentranspormasi mengetahuan pembuatan soal yang saat ini masih belum memadai. Di lain pihak dalam upaya untuk membuat dan menganalisis serta review soal tulis sehingga didapatkan soal yang kredibel, melalui satu proses pembuatan soal yang sesuai dengan kaedah dan berstandar nasional dan internasional di perlukan SDM yang cukup banyak dan berkualitas di setiap institusi Ada tahapan yang harus dilalui dalam pembuatansoalang berkualitas sebelum soal itu dapat dianggap berkualitas aitu mulai dari penulisan soal, melakukan review soal dan panel expert. Dari hasil panel expert baru dapat di lakukan penyesuaian dengan blue print dan dilanjutkan dengan pembuatan buklet soal. Dalam penetapan kualitas soal dari sisi konten yang manan harus sesuai dengan kompetensi harus di lihat oleh para expert di perawatg keilmuan masing-masing dalam hal ini dapat di wakili oleh pada kolegium keperawatan sebagai representasi dari keahlian keilmuan yang mampu melihat kedalaman, esensial dari setiap soal. 2. Tujuan Setelah mengikuti kegiatan ini diharapkan: 1. Menghasilkan soal yang tereview dan berkualitas baik dan siap untuk diujikan sebanyak 1000 2. Meningkatkan jumlah SDM keperawatan yang kompeten dalam mereview soal 3. Teridentifikasi nama – nama panel expert yang juga mampu menghasilkan soal yang berkualitas 4. Menghasilkan soal yang telah di review expert 1000 soal dan memenuhi blue print untuk dijadikan paket buku soal ujian uji coba. 3. Output Workshop 1. Soal- soal yang berkualitas dari konten yang esensial sesuai dengan kompetensi memberikan umpan balik terhadap proses pembelajaran. 2. Kemandirian dan keberlangsungan (sustainability) pembuatan soal dan review akan terjamin 3. Terciptanya unit-unit assessment pada setiap institusi pendidikan semakin cepat 4. Metode Pelaksanaan Workshop Workshop item review CBT Perawat oleh panel expert ini dilaksanakan pada tanggal 6-7 Agustus 2012 di Hotel Atlet Century, Jakarta. Metode pelaksanaan workshop ini ialah dengan membahas soal secara bersama-sama dipimpin oleh Liaison Officer (LO). Peserta workshop yaitu 2 orang LO dan 30 orang peserta diskusi. Peserta diskusi merupakan expert yang memenuhi persyaratan sebagai berikut: 1. Sudah menjadi reviewer penulisan soal 2. Memahami dan sekaligus membawa standar kompetensi pendidikan Ners dan standar kompetensi perawat (PPNI) 3. Membawa referensi utama pada bidang keilmuan masing masing minimal satu referensi


Page 2

HPEQ PROJECT 2012 WO 4. Memahami secara baik blue print pembuatan soal pada bidang masing-masing dan membawa blue print yang dimaksud 5. Bersedia menanda tangani etika dalam review soal nasional untuk menjaga kredibilitas individu Tabel 1. Rencana rundown kegiatan Waktu 14.00 - 14.30 14.30 - 15.30 15.30 - 18.00 18.00 - 19.00 19.00 - 22.00 08.00 - 10.00 10.00 - 10.30 10.30 - 11.30 11.30 - 12.00

6 Agustus 2012 Kegiatan Pengarahan dan pembukaan Workshop Penjelasan mengenai Panel Expert Diskusi & Item Review Ishoma Diskusi & Item Review 7 Agustus 2012 Diskusi & Item Review Rehat kopi Diskusi & Item Review Rekapitulasi jumlah soal yang telah di review penyusunan rencana tindak lanjut

Pelaksana LO LO Peserta Panitia Peserta

dan

Peserta Panitia Peserta LO

Tabel 2. Daftar Undangan Peserta Workshop Liason Officer 1 I Made Kariasa 2 Masfuri Panel Expert 3 Khudazi Aulawi 4 Ikhsanuddin 5 Kumboyono 6 I Ketut Suardana 7 Takdir Tahir 8 Yuni Sufyanti 9 Mustikasari 10 Rohman 11 Ai Mardhiyah 12 Safwani 13 Agus Santoso 14 Gunawan 15 Tuti Herawati 16 M. Saifulloh 17 Rika Sabri 18 Elsi Dwi Hapsari 19 Dr. Yati Afiyanti 20 Erwin 21 Sri Rahayuningsing 22 Herawati 23 Husin 24 Sriyono 25 Luthfatul Latifah

AIPNI PPNI PSIK UGM F.Kep USU PSIK UB PSIK UNUD PSIK UNHAS F. Kep. UNAIR PPNI PSIK UMJ F. Kep. UNPAD Stikes Muh. Banjarmasin PSIK UNDIP STIKES Malahayati FIK UI Stikes Indramayu PSIK UNAND PSIK UGM FIK UI PSIK UNRI PSIK UNSYIAH PSIK UNLAM STIKES Sari Mulia F. Kep. UNAIR PSIK UNSOED


Page 3


26 27 28 29 30 31 32

Urip Rahayu Edy Soesanto Perwakilan Perwakilan Perwakilan Perwakilan Perwakilan

F. Kep. UNPAD PSIK UNIMUS Kolegium Anak Kolegium Marternitas Kolegium Medikal Bedah Kolegium Gerontik Kolegium Man. Pend. Kep.

5. Capaian Kegiatan 5.1. Peserta Kegiatan Secara umum, peserta kegiatan ini terdiri atas peserta workshop, liaison officer, dan panitia pelaksana kegiatan. Participation rate secara keseluruhan sebesar 100%. Peserta Workshop Peserta yang diundang merupakan orang-orang pilihan yang dianggap sudah ahli dalam membuat dan mereview soal. Peserta yang ikut serta juga memenuhi persyaratan yang sudah ditentukan sebelumnya untuk reviewer. Dengan demikian, diharapkan peserta sudah memiliki kemampuan sehingga dapat menghasilkan soal yang baik pada tahapan panel expert ini. Peserta pada workshop ini sengaja diundang untuk menghasilkan soal yang akan dijadikan buku soal dan digunakan pada try out uji kompetensi perawat yang akan diadakan dalam waktu dekat. Selain karena keahlian dalam review soal, peserta juga dipilih karena komitmen dan kepeduliannya pada peningkatan kualitas lulusan perawat. Hal ini tampak dari participation rate peserta workshop yang mencapai 100% dan keaktifan saat mengikuti rangkaian kegiatan. Peserta workshop juga memenuhi permintaan untuk tetap profesional dan menjaga kerahasiaan soal. Liaison Officer (LO) Seluruh LO dapat hadir pada kegiatan ini. Hal tersebut sangat membantu jalannya acara yang berlangsung dua hari. Peran LO dapat dirasakan saat memberikan pengarahan dan informasi-informasi mengenai uji kompetensi yang akan diberikan, juga dalam menjawab pertanyaan-pertanyaan yang diajukan peserta mengenai lokasi-lokasi CBT. Panitia Panitia sudah mempersiapkan sarana dan prasarana yang dibutuhkan untuk melaksanakan kegiatan. Pada proses kegiatan, panitia memberikan respon yang baik terhadap kebutuhan peserta. Satu hal yang menjadi hambatan adalah persiapan printer yang ternyata tintanya habis dan menghambat kegiatan yang membutuhkan daftar tilik.


Page 4

HPEQ PROJECT 2012 WO Tabel 3. Database Peserta Kegiatan No.

Nama

Institusi

Email

Hp

1. 2. 3. 4 5

I Made Kariasa Masfuri Haryani Kumboyono I Ketut Suardana

AIPNI/ Jakarta PPNI/ Jakarta PSIK FK UGM PSIK UB/ Malang PSIK UNUD/ Denpasar

[email protected] [email protected]

0813 1829 3627 08138765892

[email protected] [email protected] [email protected]

08122959256 081805004106 081338071751

6

Takdir Tahir

PSIK UNHAS/ Makassar

[email protected]

08164384948

7

Yuni Sufyanti

F. Kep. UNAIR/ Surabaya

8

Mustikasari

PPNI/ Jakarta


08123106365 08128014472

9

Rohman

PSIK UMJ/ Jakarta

[email protected]

081585358977

10

Solikin

[email protected]

08164554775

11

Agus Santoso

Stikes Muh. Banjarmasin/ Banjarmasin PSIK UNDIP/ Semarang

[email protected];

081325202683

12

Gunawan

STIKES Malahayati/ Lampung

13

Tuti Herawati

FIK UI/ Jakarta

[email protected], [email protected]

14

M. Saifulloh

Stikes Indramayu/ Indramayu

15

Elsi Dwi Hapsari

PSIK UGM/ Yogyakarta

[email protected]; [email protected] [email protected]

16

Yati Afiyanti

FIK UI/ Jakarta

17 18 19 20

Erwin Sri Rahayuningsing Herawati Husin


0819776983 08126916203

[email protected]

081351277114, 087814533367

21 22

Sriyono Luthfatul Latifah

PSIK UNRI/ Pekanbaru PSIK UNSYIAH/ Banda Aceh PSIK UNLAM/ Banjarbaru STIKES Sari Mulia/ Banjarmasin F. Kep. UNAIR/ Surabaya PSIK UNSOED/ Purwokerto


081231448219 087737081658/0 81229671050

23 24 25

Urip Rahayu Edy Soesanto Yeni Rustina, PhD

F. Kep. UNPAD/ Bandung PSIK UNIMUS/ Semarang Kolegium Anak

[email protected] [email protected] [email protected]

08562034606 08122806764 08561851955

26

Agung Waluyo

FIK UI

[email protected]

0812 1910 1276

27

Dewi Irawaty

Kolegium Man. Pend. Kep.

[email protected]

0812 9104773

28

Tien Gartinah,NM

[email protected]

08131508929

29

Herawani

[email protected]

0811184119

30 31

Astuti Yuni Yossie Susanti Eka Putri Rita Sekarsari

Kolegium Keperawatan Kritikal Kolegium Manajemen pelayanan Keperawatan Kolegium Kep. Keluarga Ketua Kol Kep Jiwa


08567891775 08129966927

Kolegium Kardiovaskuler

[email protected]

08151626004

32


[email protected]

08170887544 / 082176936146 08111893213 082127454378 085868342930

Page 5

HPEQ PROJECT 2012 WO 5.2. Proses Pelaksanaan Kegiatan Kegiatan dibuka oleh I Made Kariasa agak terlambat dari jadwal yang ditetapkan selama empat puluh menit. Setelah dibuka, diberikan pengarahan kepada peserta workshop mengenai sasaran yang hendak dicapai dalam kegiatan dan teknis proses pelaksanaan kegiatan. Sejak pertama kegiatan dimulai, ditekankan akan pentingnya soal yang baik setelah di-review dan kian dekatnya waktu pelaksanaan uji kompetensi. Kegiatan item review oleh panel expert ini dilakukan dalam kelompok-kelompok kecil. LO dengan membagi kelompok kecil yang terdiri atas 3 orang yang memang sedah ditentukan sebelumnya berdasarkan perawatg keilmuan masing-masing. Hal ini cukup baik karena memang soal yang harus direview memang lebih baik di-review sesuai perawatg keilmuan agar tingkat keabsahannya lebih terjamin. Peserta kemudian berkumpul berdasarkan kelompok masing-masing. Peserta dalam kelompok bekerja (melakukan review) dengan posisi duduk sejajar dan menggunakan 1 laptop yang diletakan di tengah kelompok. Jumlah 3 orang panel expert dirasakan cukup efektif. Selama diskusi kelompok berlangsung, peserta cukup fokus ke dalam diskusi dan tampak antusisme dari para peserta. Terdapat beberapa kelompok yang sering melakukan diskusi dengan jumlah expert 2 orang saja. Hal ini dirasakan lebih efisien dalam hal pencapaian target jumlah soal, namun tidak dapat menghindari subyektivitas saat mereview soal. Setelah istirahat buka puasa, peserta baru berkumpul kembali ke ruangan 30 menit lebih lambat dari jadwal yang telah ditentukan. Peserta dan LO tampak saling bahu-membahu dalam me-review soal-soal demi target yang ditetapkan pada TOR kegiatan, yaitu 1000 soal. Pukul sepuluh malam kegiatan dihentikan sementara karena Pak Made ingin mengumumkan tempat-tempat CBT yang tersedia untk uji kompetensi. Acara hari pertama selesai pukul 24:00. Pada hari kedua, kegiatan dimulai pada jam 08:30 dan berlangsung tertib dan baik hingga ditutup pada pukul 13:00. Tabel 4. Rundown Kegiatan Riil Waktu

Agenda

Narasumber/Pelaksana

Senin, 6 Agustus 2012 14.30 – 15.19

Pembukaan dan pengarahan workshop

15.19 – 18.00

Diskusi dan Review soal

18.00 – 19.30

ISHOMA Diskusi dan Review soal + Pengarahan Lanjutan

19.30 – 23.00

I Made Kariasa Tuti Herawati Peserta (dalam Kelompok kecil) Peserta + LO

Selasa, 7 Agustus 2012 08.20 – 10.00 10.00 – 11.45

Diskusi dan review soal Diskusi dan review soal

Peserta Peserta

11.45 – 13.00

Rencana tindak lanjut dan penutup

Masfuri


Page 6

HPEQ PROJECT 2012 WO 5.3. Hasil Kegiatan Dari 30 peserta yang dibagi menjadi 6 kelompok kecil, berhasil me-review 638 soal atau sebanyak 63,8% dari 1000 soal yang menjadi target. Salah satu jalan keluar dari kurangnya soal yang ter-review adalah menambah peserta kegiatan atau menambah waktu diskusi. Pada TOR kegiatan, diharapkan kegiatan ini berhasil me-review 1000 soal dan menghasilkan 1000 soal yang baik. Namun pada kenyataannya, kegiatan ini hanya menghasilkan 462 soal yang baik atau hanya sebanyak 46,2% dari 1000 soal baik yang menjadi target. Rendahnya angka perbandingan soal ter-review dengan soal yang baik menjadi kendala, terbukti hanya 72% soal yang ter-review dinilai baik oleh reviewer. Tabel 5. Rekapitulasi Jumlah Soal dalam Workshop Kelompok

Jumlah soal yang diberikan

Jumlah soal tereview (realisasi)

Soal tereview dibanding soal diberikan (%)

Jumlah soal yang baik (realisasi)

Soal baik dibanding soal tereview

1

56

56

100%

37

66%

2

124

94

76%

30

32%

3 4

76

76

100%

36

47%

60

60

100%

56

93%

5

138

138

100%

126

91%

6

214

214

100%

177

83%

TOTAL

668

638

96%

462

72%

Target soal tereview

1000

Keberhasilan (%)

63.80%

Target soal yang baik

Keberhasilan (%)

1000

46.20%

Terkait dengan kualitas dan kuantitas soal yang dihasilkan, dibutuhkan peningkatan pemahaman akan soal-soal yang baik dari para pembuat soal di institusi. Pelatihan pembuatan soal menjadi hal yang signifikan, mengingat masih ada soal yang masuk kriteria tidak baik. Selain itu, dibutuhkan komitmen dari LO dan institusi masing-masing untuk ikut serta dalam pengembangan kemampuan staf pengajar institusi tersebut dalam membuat dan mereview soal. 6. Refleksi Setelah dilakukan analisis hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari liaison officer (LO), peserta, dan tim monev secara umum. Melalui refleksi ini diharapkan kendala yang dihadapi dalam melakukan review soal oleh panel expert dan rekomendasi dapat terjaring sehingga dapat diambil solusi yang paling tepat agar dapat menghasilkan persiapan yang baik terutama soal untuk tryout uji kompetensi perawat. Gambaran Umum Pelaksanaan kegiatan berlangsung dengan baik walaupun kurang tepat waktu karena masalah transportasi dan kendala teknis. Para peserta memiliki komitmen dan kepedulian dalam melaksanakan kegiatan sesuai dengan kesepakatan dan mereview soal.


Page 7

HPEQ PROJECT 2012 WO Hal-hal yang masih perlu ditingkatkan dari workshop ini adalah: 1. Komunikasi dengan panitia mengenai perangkat yang dibutuhkan saat kegiatan 2. Jumlah kelompok panel expert dibandingkan dengan target jumlah soal yang dihasilkan 3. Ketepatan waktu menghadiri seluruh jadwal kegiatan Liaison Officer (LO)  Menurut LO, kendala yang dihadapi peserta saat mereview soal yaitu: Hampir tidak ada  Metode pelaksanaan Metode pelaksanaan dengan membagi dalam kelompok kecil dengan satu laptop dinilai sudah tepat guna dan efektif  Rekomendasi perbaikan untuk meningkatkan jumlah soal berkualitas dalam workshop serupa yaitu: Pengembangan regional dan review regional sehingga soal yang dihasilkan lebih baik Peserta Hal-hal yang perlu diperhatikan dalam melakukan review soal ialah: 1. Blue print dan kompetensi 2. Memahami substansi dan cara penulisan vignette 3. Setting sesuai dengan keadaan riil di klinik atau rumah sakit 4. Option yang tidak sesuai 5. Penggunaan Bahasa Indonesia yang baik dan benar, 6. Konten yang sesuai dengan kompetensi perawat 7. Pemahaman pada daftar tilik dan target review 8. Pertimbangan waktu untuk merevisi/menolak soal 9. Sarana dari panitia 10. Konsentrasi para peserta 11. Kemampuan reviewer dalam me-review Kendala yang dihadapi dalam mereview soal, yaitu: 1. Beberapa soal review masih harus diperbaiki 2. Waktu terbatas jika dibandingkan jumlah soal yang direview 3. Buku referensi tidak tersedia saat me-review 4. Soal kurang fokus pada suatu permasalahan Rekomendasi yang diberikan untuk meningkatkan keterampilan dalam melakukan review soal sehingga dapat meningkatkan kualitas soal yaitu: 1. Kesepakatan kompetensi ners, dari “sekedar tahu” sampai yang harus dikuasai


Page 8

HPEQ PROJECT 2012 WO 2. Membiasakan me-review soal-soal yang akan digunakan dalam ujian semster dari institusi masing-masing 3. Memahami blueprint kompetensi ners 4. Perlu ada kajian lebih banyak untuk me-review 5. Menyediakan buku referensi 6. Batasan kompetensi S1 dan spesialis 7. Sebaiknya harus diambil dari kondisi nyata 8. Pemahaman reviewer terkait materi 9. Dibuat level kemampuan dalam review soal Hal-hal yang perlu diperhatikan untuk meningkatkan kualitas profesi perawat ialah: Standar kompetensi, sistem evaluasi, dan proses pendidikan perawat Menurut peserta, pelaksanaan workshop sudah baik, namun terdapat beberapa saran untuk pelaksanaan berikutnya. TOR workshop dan arahan pada awal workshop memberikan big picture mapping pelaksanaan workshop dan target yang hendak dicapai

Metode pelaksanaan workshop (diskusi kelompok kecil) dinilai efektif dalam menghasilkan output sesuai target 52% 48%

sangat tidak setuju

43%

sangat tidak setuju tidak setuju

tidak setuju setuju

setuju

sangat setuju

57%

sangat setuju

Output workshop telah optimal dan sesuai dengan yang diarahkan pada TOR sangat tidak setuju

tidak setuju

43%

setuju

57% sangat setuju


Page 9


Responsiveness pelayanan yang diberikan oleh panitia telah optimal

Kenyamanan tempat pelaksanaan workshop menunjang produktivitas workshop

10%

sangat tidak setuju

sangat tidak setuju tidak setuju

33% 57%

52% 48%

tidak setuju

setuju

setuju

sangat setuju sangat setuju

Saran untuk pelaksanaan workshop berikutnya, yaitu: 1. Ganti tempat 2. Pemberitahuan yang dari jauh-jauh hari 3. Waktu dimulainya kegiatan jangan terlambat Pencapaian yang dirasakan peserta setelah workshop ini sangat baik lebih dari sebagian peserta sudah mampu mereview soal dengan baik serta soal yang dihasilkan sudah cukup baik dan menggambarkan kompetensi perawat dan meningkatkan kualitas calon profesional perawat. Pencapaian tersebut dapat dilihat pada grafik di bawah ini.

Peserta sudah mampu mereview soal dengan baik

Soal yang dihasilkan sudah memenuhi syarat soal yang baik 14%

5% sangat tidak setuju

sangat tidak setuju

43%

tidak setuju

tidak setuju

57%

setuju

setuju sangat setuju


81% sangat setuju

Page 10


Soal yang dikumpulkan sudah dapat menggambarkan kompetensi ners dan meningkatkan kualitas calon profesional ners sangat tidak setuju tidak setuju

33% 67%

setuju sangat setuju

7. Rekomendasi Tindak Lanjut Berdasarkan analisis output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rekomendasi tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : 1. Perlu diadakan workshop panel expert gelombang 2 sebelum tryout uji kompetensi perawat 2. Pembuatan buku panduan pembuatan soal, review soal, dan penggunaan Bahasa Indonesia yang baik dan benar. 3. Diperlukan adanya pelatihan secara berkala untuk pembuat soal dan reviewer 4. Diperlukan adanya pemahaman yang mendalam dari panel expert dan reviewer dalam kompetensi perawat 5. Dibutuhkan adanya komunikasi yang intensif antar institusi karena waktu uji kompetensi semakin dekat Daftar Lampiran: 1. Database peserta kegiatan 2. Point of Discussion 3. Foto kegiatan

Jakarta, 10 Agustus 2012

Addys Rino Hariar Asisten Monev Proyek HPEQ

Supervisi oleh : Aprilia Ekawati Utami (Pengelola Monev HPEQ)


Page 11

Panel Expert Computer Based Testing (CBT) Ners

Recommend Documents