Item Development and Review
LATAR BELAKANG • Era perdagangan bebas barang & jasa • Dampak ganda: kesempatan kerja yang luas dan persaingan yang semakin ketat TANTANGAN MENINGKATKAN DAYA SAING & KEUNGGULAN KOMPETETITIF YANG MEMENUHI STANDARD KEBUTUHAN GLOBAL
Kenapa MCQ A type ? • Paling umum digunakan ujian lisensi oleh profesi-profesi (standardized test) • Sejarah panjang riset tentang psychometric • Cost effective untuk skala besar • Paling objektif & reliable (tanpa halo effect) • Memungkinkan berbagai variasi dan topik • Sulit & memakan waktu untuk dibuat
Masalah Ujian • • • •
Isi yang diujikan tidak konsisten Proporsi tidak konsisten Soal ada yg terlalu mudah/sulit Soal yang tidak layak masih sering keluar
Tahap Penjaminan Mutu Input
Process
Output
1. Review Process 1. Blueprinting 2. Item Writer Standard 3. Item Reviewer Standard 4. ICT support
2. Try-out 3. Examination guideline 4. Report on Examination 5. Feedback process. 6. Item Bank
•
Criterionreference.
•
Standard setting exercise
Kompetensi Esensial Terujikan Ujian diharapkan memenuhi tingkat safety Bagi Nakes pemula: • Penciri nakes (Kompetensi Inti) • Sangat penting dan prinsip untuk dikuasai oleh lulusan baru • Sangat sering dilakukan oleh Nakes baru
Ujian Tulis Multiple Choice Question
One Best Answer
Why… One Best Answer • Jenis soal 1-2-3-4 lebih mudah ditebak • Soal sebab akibat sering membingungkan, aspek bahasanya terlalu rumit • Satu pilihan terbaik, mencerminkan peran profesional yang harus mencari alternatif terbaik bagi klien
Membuat Soal MCQ UNTUK LEVEL TINGGI (PROVINSI/NASIONAL) • Tidak semudah yang dibayangkan • Kedalam, aplikasi, berpikir kritis sesuai kompetensi • Perlu sounding multidiscipline team • Perlu ketetapan istilah bersama • Perlu Standarisasi bahasa • Perlu Standarisasi struktur
Ciri Soal Kelas Tinggi Bukan soal ingatan sederhana (recall)
Menggabungkan berbagai data Menggambarkan situasi nyata praktek (pekerjaan) Bisa menjadi prediktor terhadap kemampuan kinerja
Taxonomy Cognitive Bloom:
C1
Mengetahui (menyebutkan) Pengethuan umum, konsep umum, nilai/fakta
Memahami (menjelaskan) Interprestasi chart, grafik, nilai, justifikasi C1. C2 Urutan C. 3 prosedur
C2 C3
Menerapkan (menghubungkan) Aplikasi konsep dlm situasi baru, aplikasi prosedur, memecahkan hitungan matematika
Bloom …
C4
Menganalisa (membandingkan) Menggunakan logika untuk pemecahan masalah, mengevaluasi relevansi data
C5
Mensintesa (menyimpulkan, menyusun) mengungkap sebuah konsepsi dengan baik, merumuskan konsepsi baru,
C6
Mengevaluasi (mengkritik, SOAP) Menyesuaikan, menjustifikasi suatu pekerjaan
RANAH KOGNITIF dlm UJIAN Penggabungan: • Pengetahuan komprehensif (C1-C2) (nilai normal, definisi, konsep, dasar patofisiologi, dll) • Aplikasi klinis (C3) (ilmu terapan, diagram masalah, tindakan, tetesan, dosis) • Berpikir kritis (C4-C6) (menegakan masalah, prioritas, analisa hubungan, prediksi, evaluasi perkembangan, dll) • Afektif (A1-A5) (sikap dalam bekerja bersama klien/keluarga, tim kes)
Tahap Telaah soal (Review) Apakah isi soal Essensial dlm pekerjaan
Apakah struktur soal terstandar baik
Bila keduanya Baik: DITERIMA
ISI • Apakah secara isi, topik soal yang ditanyakan esensial dalam menjalankan pekerjaan ? • Rujukan: Standard Kompetensi
Struktur Soal
Vignette/kasus/pernyataan Pertanyaan Pilihan jawaban
Vignete Bisa Berisi: • Pernyataan • Situasi • Kasus pasien
Ketentuan: • Logis • Sistematis
Jangan terlalu panjang / pendek
Vignette / kasus / stem (klinis) • Jenis kelamin, Umur (e.g. laki-laki 25 tahun) – Kasus spesifik wanita kehamilan – Kasus anak-anak, dewasa, geriatri?
• • • • • •
Tempat pelayanan/setting (IGD, poli, puskesmas) Keluhan Utama Lama atau derajat keluhan Gejala penyerta dan keterangan lainnya Pemeriksaan fisik Pemeriksaan penunjang
Jenis Soal • Berupa soal pilihan berganda dengan lima pilihan jawaban soal. • Soal terdiri dari stem soal yang berbentuk skenario (vignette), pertanyaan, dan lima pilihan jawaban dengan satu jawaban benar. • Untuk memudahkan penulisan soal, pada petunjuk ini juga mencantumkan pola redaksional soal yang dapat digunakan sebagai “template” pembuatan soal.
Kadiah Umum • Yakinkan bahwa setiap soal dapat diduga jenis jawabannya tanpa harus melihat pilihan jawaban atau yakinkan bahwa pilihan jawaban adalah 100 % benar atau salah. • Usahakan agar data atau informasi penting seoptimal mungkin dicantumkan pada soal (stem), sedangkan pilihan jawaban usahakan sesingkat mungkin
lanjutan • Hindari informasi berlebihan pada soal • Hindari soal-soal yang bersifat menjebak dan terlalu kompleks serta tidak relevan. • Gunakan pilihan jawaban yang secara gramatikal konsisten dan secara logis kompatibel dengan soal. • Hindari kata-kata absolut seperti, selalu, tidak pernah, dan semua pada pilihan jawaban, dan hindari pula istilah yang tidak jelas (meragukan) seperti biasanya atau sering.
lanjutan • Hindari kalimat atau frase negatif seperti KECUALI, TIDAK, atau BUKAN. • Fokuskan soal pada konsep-konsep penting, dan hindari hanya menguji kemampuan mengingat fakta • Fokuskan soal-soal pada konsep penting dan kasus-kasus yang sering serta memiliki potensi masalah serius.
lanjutan • Setiap soal diusahakan agar menilai aplikasi pengetahuan, tidak hanya menguji daya ingat terhadap fakta terisolasi • Setiap soal tidak terlalu menekankan aspek klinik yang subspesialis • Setiap soal lebih baik menekankan pada pertanyaan mengenai pengambilan keputusan klinik.
lanjutan • Setiap soal dibuat pada satu lembar formulir, jika soal dalam bentuk berangkai maka masing-masing kasus dicantumkan pada setiap formulir. • Setiap soal mencantumkan tinjauan yang terkait dengan soal tersebut
Kesalahan struktur soal • testwiseness” suatu keadaan di mana peserta ujian dapat menjawab satu soal bukan karena penguasaannya terhadap isi materi yang ditanyakan pada soal tersebut, tetapi karena kepintarannya dalam menebak jawaban yang benar.
• irrelevant difficulty” berkaitan dengan kesulitan yang dihadapi peserta ujian untuk menjawab suatu soal, bukan karena sulitnya materi yang diujikan, namun lebih ke arah sulitnya mahasiswa menjawab, yang ditimbulkan oleh struktur soal tersebut.
Kesalahan yang berkaitan dengan testwiseness: • • • • • •
Grammatical Cues Logical Cues Istilah yang absolut Jawaban benar yang panjang Pengulangan kata dari badan soal ke jawaban Konvergensi soal
Kesalahan yang berkaitan dengan kesulitan yang tidak perlu/relevan • Pilihan jawaban yang panjang, kompleks, atau duplikasi • Pilihan yang berupa angka tidak diurut sesuai dengan besarnya • Pilihan yang mengandung unsur frekuensi suatu kejadian bersifat multi interpretasi
lanjutan • Pilihan jawaban tidak parallel dan urutan tidak logis • Penggunaan BSSD (bukan salah satu diatas) pada pilihan jawaban • Badan soal terlalu panjang, sulit, dan kompleks
Kaidah Penulisan Stem • Skenario klinik (”vignette”) terdiri dari deskripsi data pasien dan skenario kliniknya dengan beberapa atau seluruh informasi di bawah ini: – Umur dan jenis kelamin – Tempat perawatan (contoh, Unit Emergensi) – Keluhan utama – Durasi dari keluhan
Lanjutan – Riwayat pasien lainnya yang berhubungan dengan keluhan – Temuan Pemeriksaan Fisik – Hasil-hasil pemeriksaan investigasi diagnostik – Hasil-hasil terapi sebelumnya, atau penemuan selanjutnya.
Penulisan Lead In Berbagai contoh Jenis Pertanyaan • Memperkirakan obat yang dikonsumsi • Memperkirakan paparan zat beracun • Memperkirakan jenis diet • Memperkirakan mood • Memprediksi hasil pemeriksaan fisik • Memprediksi hasil lab • Memprediksi sekuel yang timbul • Mengidentifikasi penyebab/diagnosis • Mengidentifikasi sebab reaksi terhadap obat • Mengidentifikasi obat yang harus diberikan
Lead in (pertanyaan) • Kata tanya di depan (apakah, manakah, dll) • Diakhiri dengan tanda tanya (?) • Terpisah satu baris dari kasus (vignette) agar jelas terlihat
Kaidah Penulisan Opsi • Opsi yang salah disebut distraktor. • Opsi sebaiknya terdiri dari pilihan dengan masalah yang homogen (semuanya merupakan diagnosis, langkah – langkah penanganan pasien, dan lain - lain). • Berbeda dari jawaban yang benar • Merupakan opsi yang masuk akal dan membuat mahasiswa yang tidak tahu akan memilihnya.
Lanjutan • Memiliki bentuk maupun panjang yang menyerupai jawaban yang benar • Tidak mengandung kesalahan susunan kalimat dan sesuai dengan bentuk kalimat pada stem.
Tip ! • Vignette / kasus dianggap berfungsi jika tanpa vignete, pertanyaan tidak berfungsi dengan jelas • Pertanyaan baik, terlihat bila peserta pintar bisa menebak jawaban tanpa melihat pilihan jawaban
Checkpoint • Bagaimanakah step mereview soal?
Apa saja yang perlu ditelaah ? • Materi : – Relevansi dengan pekerjaan inti – Bahasa – Tingkat kesulitan – Klasifikasi : sesuai blue print
Apa saja yang perlu ditelaah ? • Struktur : – Stem – Lead in – Option
• Kesimpulan – Komentar umum dan saran – Diterima/revisi/dikembalikan
Kesimpulan Hasil Review •Diterima tanpa perbaikan •Diterima dengan perbaikan •Perlu Perlu konfirmasi pembuat soal •Tidak perlu konfirmasi (langsung edit) •Dikembalikan kepada pembuat soal •Berpotensi diterima dengan perbaikan
Alasan penolakan • Isi tidak esensial • Isi terlalu spesialistis. • Isi tidak realistis, terlalu teoritis • Tidak ada vignette. • Vignette tidak berfungsi
Next step? Bekerja dalam kelompok untuk mereview soalsoal menggunakan formulir review yang ada.
• Feedback terhadap pembuat soal?
