24/10/2012
Bagaimanakah step mereview soal?
Tahap Telaah soal (Review) Apakah isi soal Essensial dlm pekerjaan
Apakah struktur soal terstandar baik
Bila keduanya Baik: DITERIMA
1
24/10/2012
Struktur Soal
Vignette/kasus/pernyataan Pertanyaan Pilihan jawaban
ISI • Apakah secara isi, topik soal yang ditanyakan esensial dalam menjalankan pekerjaan ? • Rujukan: Standard Kompetensi
Baca soal sekilas, ambil kesan umum, Tentukan relevansi isi dengan Pekerjaan sebagai perawat (D III/Ners) Baru Lulus
2
24/10/2012
STOP: Baca Soal Anda … ! • Apakah soal anda sangat penting untuk dapat menjalankan pekerjaan sehari-hari? • Menanyakan hal yang bermanfaat untuk ditanyakan?
Contoh : Untuk calon Nakes baru ???? Berapakah jumlah tulang diseluruh tubuh Manusia? Apakah mode yang tepat diberikan untuk kasus post op craniotomy? Apakah pertanyaan diatas pantas dan cocok ??
3
24/10/2012
Vignete Bisa Berisi: • Pernyataan • Situasi • Kasus pasien
Ketentuan: • Logis • Sistematis
Jangan terlalu panjang / pendek
Apa saja yang perlu ditelaah ? • Materi : – Relevansi dengan pekerjaan inti – Bahasa – Tingkat kesulitan – Klasifikasi : sesuai blue print
4
24/10/2012
Apa saja yang perlu ditelaah ? • Struktur : – Stem (vignette) – Lead in – Option
• Kesimpulan – Komentar umum dan saran – Diterima/revisi/dikembalikan
Kesalahan umum dalam pembuatan soal yang perlu diwaspadai • Ketidak sesuaian antara pertanyaan dengan kompetensi • Ketidak sesuaian tingkat kesulitan soal dengan tingkat kognitif • Kemaknaan klinis yang tidak relevan dengan kompetensi • Bahasa dan kalimat tidak logis atau multi interprestasi • Menanyakan sesuatu yang bersifat hafalan (recall) sederhana • Kasus (vignette) tidak menggambarkan suasana klinis yang sebenarnya • Substansi tidak logis (misalnya data pemeriksaan klinik dan atau laboratorium) • Pilihan jawaban tidak homogen
5
24/10/2012
Evaluasi butir soal secara umum • Apakah butir soal relevan untuk menilai learning objectives atau kompetensi ? • Apakah tata bahasa, penulisan dan ejaan sudah benar? • Apakah kosa kata yang tidak perlu dan sulit dipahami sudah dihindari? • Apakah menggunakan kalimat-kalimat yang ringkas, berisi dan mudah dipahami?
Evaluasi butir soal secara spesifik • menggunakan stem/vignette • Apakah stem butir soal tidak mengandung materi yang tidak relevan? • Apakah vignette berisi informasi/data yang memungkinkan mahasiswa yang kompeten mampu menjawab dengan benar? • Apakah vignette merepresentasikan keadaan yang mungkin terjadi di konteks nyata? • Apakah vignette memfoskuskan prinsip atau konsep penting/esensial yang perlu dimengerti oleh mahasiswa, bukan hanya soal hafalan? • Apakah stem bisa dijawab oleh mahasiswa yang kompeten tanpa melihat jawaban yang tersedia? • Apakah stem tidak menjebak dan juga tidak terlalu rumit?
6
24/10/2012
Evaluasi Lead in Question: • Apakah dibuat dengan kalimat tanya? • Apakah telah dihindari menanyakan tentang opini? • Apakah pertanyaan berhubungan dengan stem? • Apakah telah dihindari penggunaan kata “kecuali”?
Evaluasi Pilihan Jawaban • Apakah alternatif jawaban sudah dibuat jelas dan singkat? • Apakah alternatif jawaban sudah homogen? • Apakah alternatif jawaban mempunyai panjang yang hampir sama dengan jawaban kunci? • Apakah alternatif jawaban sudah menghindari alternatif yang tidak rasional? • Apakah alternatif jawaban merupakan jawaban yang tidak benar atau kurang benar dibandingkan dengan jawaban kunci?
7
24/10/2012
Lanjut ….. • Apakah alternatif jawaban cukup menarik mahasiswa yang tidak kompeten untuk memilihnya? • Apakah alternatif jawaban secara tata bahasa konsisten dan cocok dengan stem dan lead in question? • Apakah alternatif jawaban sudah menghindari penggunaan “salah satu di atas” dan “bukan salah satu di atas”? • Apakah alternatif jawaban sudah menghindari kata “selalu”, “jarang”, “kadang-kadang”? • Apakah poin jawaban yang benar sudah diletakkan posisinya secara acak terhadap distractornya?
Kesimpulan Hasil Review •Diterima tanpa perbaikan •Diterima dengan perbaikan •Perlu konfirmasi pembuat soal •Tidak perlu konfirmasi (langsung edit) •Dikembalikan kepada pembuat soal •Berpotensi diterima dengan perbaikan
8
24/10/2012
Alasan penolakan • Isi tidak esensial • Isi terlalu spesialistis. • Isi tidak realistis, terlalu teoritis • Tidak ada vignette. • Vignette tidak berfungsi
Daftar Tilik Soal/Item (Untuk Reviewer) Catatan: satu set daftar tilik berlaku untuk tiap satu soal/item Diisi dengan tanda silang (X) ID Soal : Isi soal Relevansi dan kesesuaian terhadap kompetensi ners Indonesia ( ) Sangat Relevan ( ) Relevan ( ) Ragu – ragu ( ) Kurang relevan ( ) Tidak relevan Bahasa yang digunakan ( ) Sulit dimengerti ( ) Kurang dimengerti ( ) Mudah dimengerti
Struktur Soal Vignette Terdapat Berfungsi
Badan soal terlalu panjang, sulit, dan kompleks
Tingkat kesulitan soal ( ) Sangat sulit ( ) Sulit ( ) Sedang ( ) Mudah ( ) Sangat Mudah
( ) Ya ( ) Ya
( ) Tidak ( ) Tidak
( ) Ya
( ) Tidak
9
24/10/2012
Lead in Memenuhi Close the option rules
( ) Ya
( ) Tidak
Pertanyaan/pernyataan negatif
( ) Ya
( ) Tidak
Option Kesalahan tata bahasa Penggunaan istilah yang absolut Jawaban benar yang panjang
( ) Ya ( ) Ya ( ) Ya
( ) Tidak ( ) Tidak ( ) Tidak
Pengulangan kata dari badan soal ke jawaban Konvergensi option Pilihan jawaban yang panjang, kompleks, atau duplikasi Pilihan yang mengandung unsur frekuensi suatu kejadian bersifat multi interpretasi Pilihan jawaban tidak paralel dan urutan tidak logis Penggunaan BSSD (bukan salah satu diatas) pada pilihan jawaban
( ) Ya ( ) Ya ( ) Ya ( ) Ya ( ) Ya ( ) Ya ( ) Ya
( ) Tidak ( ) Tidak ( ) Tidak ( ) Tidak ( ) Tidak ( ) Tidak ( ) Tidak
Komentar Umum Reviewer
Kesimpulan Hasil Review ( ) Diterima tanpa perbaikan ( ) Diterima dengan perbaikan ( ) Tidak perlu konfirmasi dengan pembuat soal ( ) Perlu konfirmasi pembuat soal ( ) Dikembalikan kepada pembuat soal ( ) Berpotensi diterima dengan perbaikan ( ) Memerlukan perbaikan keseluruhan Saran Perbaikan Tanda Tangan Reviewer Tanggal: (DD) / (MM) / (YY)
Nama Jelas :
Dengan ini menyatakan bahwa proses review soal di atas telah benar – benar telah dilakukan oleh nama yang bertanda tangan di atas, tidak dilakukan oleh orang lain atau juga tidak dilakukan oleh orang lain yang mengatasnamakan nama di atas.
10
24/10/2012
Next step? Bekerja dalam kelompok untuk mereview soalsoal menggunakan formulir review yang ada.
11
