Item Development and Review Workshop
Health Professional Education Quality Project (HPEQ-Nurse)
Objektif Memahami prinsip: 1. Dasar-dasar ujian regional/nasional 2. Dasar prinsip assesment 3. Standar kualitas soal MCQ (type A) 4. Prinsip-prinsip proses review Mampu melakukan 1. Self review 2. Review soal orang lain
LATAR BELAKANG • Era perdagangan bebas barang & jasa • Dampak ganda: kesempatan kerja yang luas dan persaingan yang semakin ketat TANTANGAN MENINGKATKAN DAYA SAING & KEUNGGULAN KOMPETETITIF YANG MEMENUHI STANDARD KEBUTUHAN GLOBAL
ISU STRATEGIS
1
2 3
4
• Kompetensi lulusan baru dan perawat yang telah bekerja sangat bervariasi dan belum terstandard • Pelayanan keperawatan belum secara umum dipandang sebagai penentu mutu pelayanan kesehatan
• Lemahnya perlindungan profesi terhadap kemungkinan tuntuan hukum akibat semakin tingginya kesadaran masyarakat
• Peran nyata perawat di masyarakat dan pengakuan profesionalismenya semakin banyak dipertanyakan (dunia?)
Kelulusan Ujian lab. Sebagai Syarat masuk Klinik (WHO, 2012) NO 35%
Nursing
MIdwife
YES 65%
NO 40%
YES 60%
Clinical competency target achievement (WHO, 2012) 120
100
80
Poor
Series3 60
Good
Series2 Series1
Very good 40
20
0
Midwife 1 School
2 Nursing school
Urgensi ujian nasional • Uji nasional adalah proses standarisasi penilaian kemampuan • Menegakan akuntabilitas profesional • Menegakan standard dan ethik profesi • Melindungi kepercayaan publik • Melindungi pemberi jasa
Tahapan uji nasional 1. Pembentukan dan validasi standar kompetensi oleh stakeholders 2. Menentukan kompetensi dasar yang diujikan 3. Pembuatan blue print sesuai objektif dari pendidikan (kriteria lulusan Perawat) 4. Menentukan model test yang efektif dan efisien 5. Membuat instrument test yang valid/reliable (psychometric principles) 6. Membuat standard setting dan proses pengambilan putusan
MEKANISME PEMBUATAN SOAL UJI PROFESI (central) Perwakilan di bidang keilmuan
Narasumber Pengembang Soal
Set Booklet Soal Ujian
Merakit Soal
Pelatihan Pembuatan soal
Revisi soal Sub.Bid. PS
Bank soal
Uji coba soal
Pembuatan soal Sesuai keilmuan
Kumpulan soal
Edit
Bank soal Sementara
Item Review Oleh Dewan Profesi
Mekanisme Soal Institusi? • • • •
Kisi-kisi untuk mecapai ‘graduate attribute’ Standarisasi pengetahuan ‘pembuatan soal’ Pembuatan soal peer review Telaah soal setelah diujikan perbaikan
ASSESMENT UNIT
Pengembangan Bank Soal Bottom Up Semi Transparent (fungsi pengembangan) Soal Institusi
Reviewer Propinsi
Bank Soal Propinsi
Bank Soal Nasional
Reviewer Nasional
Highly Confidential (fungsi credential)
Langkah Pengembangan Soal Tes
1. 2. 3. 4. 5. 6. 7. 8. 9.
menyusun spesifikasi tes, menulis soal, menelaah soal tes, melakukan uji coba tes, menganalisis butir soal, memperbaiki tes, marakit tes, melaksanakan tes, menafsirkan hasil tes
Pilihan assessment • Menentukan level kompetensi lulusan baru • Menentukan kompetensi mana yang paling penting dalam perspektif public safety • Menetukan apa yang bisa di tes dengan alat ukur yang telah ditetapkan
Blue Print Assessment Program Study (contoh) Kompetensi Tahun I
Tahun II
Tahun III
Komunikasi
MCQ/OSCE
OSCE
OSCE
Ketrampilan Klinis
OSCE
OSCE
Mini CEX, Direct observation
Manajemen kasus
MCQ
MCQ, MINI CEX, log MCQ,, MINI CEX, book log book, portfolio, Clinical rating form
Pengembang an prof.
PBL/tutor/peer rating
PBL/tutor/peer rating Masfuri
PBL/tutor/peer rating 15
Blue print: Manajemen Kasus (contoh MCQ) Level Kognitif Kompetensi Pengetahuan
Aplikasi
Berpikir Kritis
AnFisPatkon 4
4
0
Farmakologi 5
5
3
Kompre.
Pengkajian
8
10
3
Rencana
5
8
3
Implemen
10
14
5
Evaluasi
5
5
3
PENYELESAIAN MASALAH
Berbagai Tahap Pembelajaran dan Soal Kuliah
Memberi Framework
Knowledge Compre.
Tugas
Penerapan Prinsip
?
Laborat
Dasar Ketrampilan
?
Klinik
Aplikasi & Journey
?
Apa yang akan diujikan ? Kompetensi Perawat Berpengalaman
Kompetensi Lulusan Kompetensi Transisi (menengah) Kompetensi awal (masuk)
Proporsi & Sebaran Soal
Kedalam (kompleksitas) Soal No.
Level Kompetensi
Contoh Kedalam Kajian
1
Kompetensi perawat profesional berpengalaman
Mampu melakukan setting ventilator berdasarkan hasil analisa gasa darah dan tanda-tanda vital pasien
2
Kompetensi lulusan perawat (diujikan)
Mampu melakukan monitoring tandatanda vital non invasive pada pasien syok dan melakukan tindakan awal yang Diperlukan
3
Kompetensi transisi (mahasiswa perawat)
Mampu melakukan berbagai cara pengukuran tanda-tanda vital
4
Kompetensi awal (saat masuk kuliah)
Mampu menjelaskan anatomi dasar tubuh manusia.
Kenapa MCQ A type ? • Paling umum digunakan ujian lisensi oleh profesi-profesi (standardized test) • Sejarah panjang riset tentang psychometric • Cost effective untuk skala besar • Paling objektif & reliable (tanpa halo effect) • Memungkinkan berbagai variasi dan topik • Sulit & memakan waktu untuk dibuat
Evidence… • Health Education Institution Exit exam (HESI E2) predictor of NCLEX RN employment success (Reiter, 2005; Joho, 2007) • HESI Exit Exam (E2) was 96.30% to 98.30% accurate in predicting NCLEX-RN success (Britt, 2007) • E2 scores are potentially useful determinants of the new graduate nurses’ ability to assume entrylevel positions within the practice setting (Pine, 2007)
Masalah Ujian • • • • • •
Isi yang diujikan kurang relevan Dominasi soal recalling Proporsi tidak konsisten Soal ada yg terlalu mudah/sulit Soal yang tidak layak masih sering keluar Tidak ada review thd soal yang digunakan
Tahap Penjaminan Mutu Input
Process
Output
1. Review Process 1. Blueprinting 2. Item Writer Standard 3. Item Reviewer Standard 4. ICT support
2. Try-out 3. Examination guideline 4. Report on Examination 5. Feedback process. 6. Item Bank
•
Criterionreference.
•
Standard setting exercise
Kompetensi Esensial Terujikan Ujian diharapkan memenuhi tingkat safety Bagi PWT baru lulus: • Penciri PWT (Kompetensi Inti) • Sangat penting dan prinsip untuk dikuasai • Sangat sering dilakukan
SEBUTKAN KOMPETENSINYA?
Materi uji dan Kompetensi
MATERI Ter U J I A N kan KOMPETENSI LULUSAN BARU
KOMPETENSI PERAWAT
Ujian Tulis Multiple Choice Question
One Best Answer
Why… One Best Answer
Jenis soal 1-2-3-4 lebih mudah ditebak Soal sebab akibat sering membingungkan, aspek bahasanya terlalu rumit Satu pilihan terbaik, mencerminkan peran profesional yang harus mencari alternatif terbaik bagi klien
Membuat Soal MCQ UNTUK LEVEL TINGGI (PROVINSI/NASIONAL)
Tidak semudah yang dibayangkan Kedalam, aplikasi, berpikir kritis sesuai kompetensi Perlu sounding multidiscipline team Perlu ketetapan istilah bersama Perlu Standarisasi bahasa Perlu Standarisasi struktur
Ciri Soal Uji Nasional
Taxonomy Cognitive Bloom:
C1 X
Mengetahui (menyebutkan) Pengethuan umum, konsep umum, nilai/fakta
Memahami (menjelaskan) Interprestasi chart, grafik, nilai, justifikasi C1. C2 Urutan C. 3prosedur
C2 X C3
Menerapkan (menghubungkan) Aplikasi konsep dlm situasi baru, aplikasi prosedur, memecahkan hitungan matematika
Bloom …
C4
Menganalisa (membandingkan) Menggunakan logika untuk pemecahan masalah, mengevaluasi relevansi data
C5
Mensintesa (menyimpulkan, menyusun) mengungkap sebuah konsepsi dengan baik, merumuskan konsepsi baru,
C6
Mengevaluasi (mengkritik, SOAP) Menyesuaikan, menjustifikasi suatu pekerjaan
RANAH KOGNITIF dlm UJIAN Penggabungan: • Pengetahuan komprehensif (C1-C2) (nilai normal, definisi, konsep, dasar patofisiologi, dll) • Aplikasi klinis (C3) (ketrampilan prosedural, diagram masalah, tetesan, dosis) • Berpikir kritis (C4-C6) (menegakan masalah, prioritas, analisa hubungan, prediksi, evaluasi perkembangan, dll) • Afektif (A1-A5) (sikap dalam bekerja bersama klien/keluarga, tim kes)
Langkah pengembangan soal Lihat blue print (kisi-kisi) 2. Gunakan tinjauan2 dlm blue print dalam mengkonstruksikan soal 3. Buat soal sesuai panduan no 1 dan 2 diatas 1.
Kasus/vignet Pertanyaan Pilihan jawaban
4. Review soal sendiri, review soal oleh orang lain (tim)
Tinjauan dalam Blue Print 1. 2. 3. 4. 5. 6. 7.
Domain kompetensi Domain kognitif Sistem tubuh Kebutuhan dasar Jenis upaya kesehatan Proses keperawatan Keilmuan
1. 2. 3. 4. 5. 6. 7.
Etik/legal, askep, prof Kritis, prosedur, afek Cardio, respirasi, dll Rasa nyaman, oksi, dll Promotive, kuratif, dll Pengkajian, diag., dll Anak, dewasa, dll
Domain Kompetens i
•Etik/legal/bud •Praktek/mng keperawatan •Pengembangan profesional
Level Kognitif
•Kognitif •Konatif •procedural
Upaya
Kebutuhan
•Promotiv •Preventif •Kuratif •rehabilitatif
•Oksigenasi •Cairan dan el •Nutrisi •Mobilisasi •dll
Setiap soal harus memiliki semua tinjauan Blue Print
Contoh penggunaan tinjauan: KMB Managemen Keperawatan
Berpikir Kritis
Kuratif
Pengkajian
Oksigenasi
Seorang pria berusia 45 tahun, dirawat dengan keluhan sesak dan batuk darah. Klien terlihat kurus, kelelahan, dan terlihat retraksi dada saat bernafas. Manakah data penting yang harus dicari untuk bisa menegakan masalah prioritas klien diatas?
Tahap Pengembangan Soal Pikirkan sesuatu yg Essensial dlm pekerjaan perawat baru lulus Buat Vignet yang runtut dan logis
Buat Pertanyaan yang fokus
Buat pilihan jawaban yang HOMOGEN
ISI • Apakah secara isi, topik soal yang ditanyakan esensial dalam menjalankan pekerjaan ? • Rujukan: Standard Kompetensi
STOP: Baca Soal Anda
… !
Apakah soal anda sangat penting untuk dapat menjalankan pekerjaan sehari-hari? Menanyakan hal yang bermanfaat untuk ditanyakan dalam pekerjaan?
Struktur Soal 1. Vignet/Kasus/Pernyataan
2. Pertanyaan soal
3. Pilihan jawaban
Vignete Bisa Berisi: • Pernyataan • Situasi • Kasus pasien
Ketentuan: • Fokus • Logis • Sistematis
Jangan terlalu panjang / pendek
Vignette / kasus / stem (klinis) • Jenis kelamin, Umur (e.g. laki-laki 25 tahun) – Kasus spesifik wanita kehamilan – Kasus anak-anak, dewasa, geriatri?
• • • • • •
Tempat pelayanan/setting (IGD, poli, puskesmas) Keluhan Utama Lama atau derajat keluhan Gejala penyerta dan keterangan lainnya Pemeriksaan fisik Pemeriksaan penunjang
Kasus / vignete Seorang pasien datang ke puskesmas dengan keluhan anemia. Tekanan darah 110/80mmHg, •Apakah ada pasien mengeluh anemia? •Apakah ada hubunganya antara anemia dengan tekanan darah? •Apakah ada arah yang jelas dari kasus? •Kasus terlalu pendek, tidak lengkap
• Ny TR, 46 tahun dirawat di Rumah Sakit Cepat Sehat dengan riwayat multiple trauma akibat kecelakaan lalulintas. Terdapat fraktur humerus dextra post ORIF (open reduction internal fixation), post amputasi jari manis dan saat ini (hari ke 50) terpasang external fixation untuk stabilisasi fraktur tibia fibula sinistra dengan bone loss dan fraktur terbuka. Keluhan saat ini adalah nyeri hebat, terutama pada tungkai kirinya. Mengatakan”para suster tidak mengerti betapa sakitnya saya.” Tungkai kiri terlihat mengecil, kondisi luka terbuka menembus tulang, infeksi minimal. Kesan Kasus Ini?: •Kasus terlalu panjang dan terlalu kompleks •Bahasa tidak efisien •Hubungan antara diagnosa medik dan keluhan pasien terlalu kompleks •Arah kasus menjadi tidak fokus
Lead in (pertanyaan) • Kata tanya di depan (apakah, manakah, dll) • Diakhiri dengan tanda tanya (?) • Terpisah satu baris dari kasus (vignette) agar jelas terlihat
Contoh Pertanyaan yang Kurang tepat • Penyebab klien tidak bisa BAB sejak masuk kemungkinan disebabkan oleh: • Apakah penyebab klien tidak bisa BAB? • Dari kasus diatas terdapat …….. masalah utama • Manakah masalah utama pada kasus diatas?
Tip ! • Vignette / kasus dianggap berfungsi jika tanpa vignete, pertanyaan tidak berfungsi dengan jelas • Pertanyaan baik, terlihat bila peserta pintar bisa menebak jawaban tanpa melihat pilihan jawaban
Controh kasus tidak berfungsi • Seorang anak usia 13 bulan dengan berat badan 15 kg masuk rumah sakit untuk dirawat dengan diagnosa typhoid. Anak tidak mau makan dan minum. Suhu tubuh 38,8C. Sesuai order dokter, anak tersebut dipasang infus. • Bagimanakah cara fiksasi infus yang tepat untuk anak diatas?
Pilihan Jawaban • Homogen: topik, gramatikal, semantik, panjang-pendek. • Hindari absolutisme: selalu, tidak pernah. • Hindari konvergensi. • Hindari kesamaan istilah dengan vignette. • Hindari urutan yang tidak sistematis menyulitkan. • Hindari kalimat: bukan salah satu di atas
Contoh pilihan kurang baik a. b. c. d.
End colostomy Simple colostomy Double barrel colostomy Loop colostomy
Simple colostomy tidak ada dalam terminology
Contoh pilihan yang kurang baik a. Pernah mengalami cedera kepala b. Adanya luka pada telinga tengah atau penyakit telinga lainnya. c. Sering mengalami ISPA d. Mungkin secara hematogen e. Benar semua 1. Jawaban b panjang tidak homogen 2. Benar semua, tidak diperkenankan
•
A. B. C. D.
Seorang ibu, perempuan, 32 tahun, membawa anaknya ke Unit Rawat Jalan RS Jiwa Soeharto Heerdjan. Keluhan ibu bahwa anaknya sering menyendiri, mulut komat-kamit, dan pernah marah-marah sampai merusak diri. Apakah tindakan keperawatan yang bukan prioritas dilakukan perawat pada saat awal melakukan proses keperawatan? Melakukan pengkajian terhadap isi halusinasi Melakukan pengkajian terhadap frekwensi halusinasi Memberikan dukungan kepada keluarga karena teridentifikasi beban merawat pasien yang sangat berat Melakukan pengkajian terhadap terapi psikofarmaka sebelumnya
Cermati dan komentari! Kasus (vignette) Case Based 1 • Ny. Ahmad umur 70 tahun masuk RS karena mempunyai tandatanda gagal ginjal akut. Saat ini dia dalam keadaan fase oligouri dan mengeluh mual (nausea) dan pusing. Pertanyaan soal • Hasil pemeriksaan urine gravitas rendah dan data lab memperlihatkan hiponatremia dan hiperkalemia. Apa pengkajian yang dilakukan ners Pilihan jawaban • a. mendengarkan bunyi paru-paru* • b. memperhatikan tanda-tanda hipokalemia • c. mengobservasi hipotensi postural • d. mengkaji kekurangan volume cairan
Cermati dan komentari! • Seorang perawat komunitas bekerja pada daerah pinggiran kota Jakarta. Selama ini anak-anak balitanya terbiasa melakukan aktivitas di gang perkampungan dan pinggiran sungai, tanpa alas kaki. Berdasarkan pengamatan tampak anak balita bermain tanpa alas kaki dan kuku tangan kotor dan panjang.
• Apa tindakan yang harus dilakukan perawat untuk menyelesaikan permasalahan di atas? a. Advokasi pentingnya sistem rujukan b. Surveilans epidemiologi c. Penyuluhan hygiene dan sanitasi d. Pengobatan diare secara massal e. Pemberdayaan kader kesehatan
Cermati dan komentari! •
•
Seorang pasien dirawat di Ruang ICU setelah dilakukan laparatomi. Pasien kemudian dilakukan pemasangan cateter vena central, perawat kemudian melakukan pengukuran tekanan vena sentral didapatkan nilai 15 cm H2O. Saat ini pasien terpasang Infus RL 20 tts/mnt. Apa tindakan yang anda lakukan sehubungan kasus tersebut ? A. Memasang infus tambahan B. Memonitor turgor kulit C. Melakukan auskultasi suara jantung D. Mengusulkan pemasangan NGT E. Memantau balance cairan secara ketat
Merubah Soal ingatan agar lebih baik (contoh) • Apakah efek samping dari obat Capoten (captopril) yang harus diwaspadai? Bisa dirubah menjadi: • Klien dengan hipertensi diberikan dosis awal Capoten 12,5mg. Apakah data penting yang harus diwapadai dari terapi tersebut?
Refleksi • Berdasarkan diskusi sebelumnya, apakah yang bapak ibu pikirkan dan rasakan? • Apa yang bapak/ibu inginkan hari ini?
D Kompetensi Tingkat kognitif Area keilmuan Kompetensi
: Askep : Berpikir kritis : Medikal-bedah : Diagnosa keperawatan
KUK: Mampu menentukan prioritas diagnosa kep. Seorang wanita berusia 37 tahun di rawat di bansal bedah, 1 hari Paska operasi histerektomy selesai jam 12 siang. Jam 3 pagi ia Memanggil perawat mengeluh kesakitan dan tidak bisa tidur nyenyak. Ekpresi wajah tampak menahan nyeri dan kelelahan. Nyeri skala 6-7 di bagian abdomen. Saat diperiksa, klien takut untuk bergerak miring kiri/kanan. Balutan operasi kering, tanda vital stabil. Apakah masalah keperawatan utama klien di atas? a. Gangguan pola tidur b. Nyeri sedang-berat c. Cemas sedang-berat d. Gangguan mobilisasi
D Kompetensi Tingkat kognitif Area keilmuan Kompetensi
: Asuhan dan manajemen keperawatan : berpikir kritis : KMB : Memasang Kateter Urine Pria
KUK: Seorang pria (44 thn) direncanakan dipasang Voley chat. Anamnesa status urologi tidak ada abnormalitas . Ketika anda memasang kateter, saat selang kateter masuk ±10 cm terasa ada tahanan lunak. Apakah reaksi pertama anda sebaiknya? a. Menambahkan cylocain jelly diujung meatus urinarius b. Menekan dengan keras ujung kateter hingga masuk c. Menganjurkan klien menarik nafas dalam d. Sedikit menegakan penis sambil memasukan kateter
Checkpoint • Bagaimanakah step mereview soal?
Apa saja yang perlu ditelaah ? • Materi : – Relevansi dengan pekerjaan (esensial) – Bahasa – Tingkat kesulitan – Tinjauan lengkap dan sesuai – Klasifikasi : sesuai blue print
Apa saja yang perlu ditelaah ? • Struktur : – Stem – Lead in – Option
• Kesimpulan – Komentar umum dan saran – Diterima/revisi/dikembalikan
kasus Ya Logika kasus linear sesuai konsep dan klinis
Bahasa sesuai EYD dan istilah baku
Fokus pada masalah yang akan ditanyakan (tidak terlalu panjang dan kompleks)
Tdk
Pertanyaan Ya Diawali dengan kalimat tanya dan diakhiri dengan tanda tanya Bahasa fokus dan tidak ambugue
Menghubungkan kasus dan pilihan jawaban
Tdk
Pilihan Ya Semua pilihan berpeluang di pilih mhs
Homogen dari sisi isi, gramatikal dan panjang pendek Urutan yang logis dan tidak membingungkan Tidak ada perulangan kata Tidak ada double negative atau BSSD atau jawaban diatas semua benar
Tdk
Kesimpulan Hasil Review •Diterima tanpa perbaikan
•Diterima dengan perbaikan •Perlu konfirmasi pembuat soal •Tidak perlu konfirmasi (langsung edit) •Dikembalikan kepada pembuat soal •Berpotensi diterima dengan perbaikan
Komentar
Alasan penolakan • Isi tidak esensial • Isi terlalu spesialistis. • Isi tidak realistis, terlalu teoritis • Tidak ada vignette. • Vignette tidak berfungsi
Next step? Bekerja dalam kelompok untuk mereview soal-soal menggunakan formulir review yang ada.
Feedback
terhadap pembuat soal?
KNUKP
Terima Kasih
Masfuri, SKp, MN Pendidikan: SKp: Univ Indonesia, 1997 MN: Univ. of Technology Sydney, 2006 Pekerjaan (saat ini): Dosen FIK UI Organisasi (saat ini): Ka dept. Kerjasama PP PPNI Wakil Ketua KNUKP Wakil Ketua HIPGABI Liaison officer HPEQ komponen 2
[email protected]
