TECHNICAL ITEM FLAWS (KESALAHAN STRUKTUR SOAL)
WORKSHOP NASIONAL ITEM DEVELOPMENT & REVIEW KEBIDANAN HPEQ KOMPONEN 2 JW MARIOT MEDAN
TEST WISENESS
IRRELEVANT DIFFICULTY 7/22/2010
• Keadaan dmn peserta ujian dapat menjawab suatu soal bukan karena penguasaannya thdp isi materi yg ditanyakan pd soal tsbt, tapi krn kepintarannya dlm menebak jawaban yg benar.
• Berkaitan dgn kesulitan yg dihadapi peserta ujian menjawab suatu soal, bukan krn sulitnya materi yg diujikan, namun lebih ke arah kesulitan yg ditimbulkan oleh struktur soal tsbt. 2
Grammatical Cues Logical Cues Istilah yang absolut Jawaban benar yang panjang Pengulangan kata dari badan soal ke jawaban Konvergensi soal 7/22/2010
3
Satu atau lebih dari opsi jawaban tidak cocok dgn kalimat pertanyaan yg disusun dlm suatu soal • Hal ini tjd krn penulis hanya memfokuskan diri dlm pembuatan atau pemilihan jawaban yang benar. • Sementara itu jawaban yg salah/distraktor tidak diperhatikan dlm pembuatannya. 7/22/2010
4
Seorang pria, berusia 60 thn, dibawa ke bagian gawat darurat oleh seorang polisi, yg menemukannya dlm keadaan tergeletak tak sadarkan diri di sisi jalan. Setelah memastikan bahwa saluran pernafasan tidak tersumbat, langkah pertama dlm manajemen adalah administrasi intravena: A. pemeriksaan cairan serebrospinal B. glukosa dengan vitamin B1 (thiamine) C. CT scan kepala D. fenitoin 7/22/2010 5 E. diazepam
• Pada contoh pertanyaan tsb mahasiswa
dapat dgn mudah menyingkirkan A & C sebagai jawaban yang benar krn secara logika tidak mungkin benar berdasarkan kalimat pertanyaan yg diajukan (dlm hal ini menanyakan terapi), sementara A & C jelas tidak termasuk suatu terapi . 7/22/2010
6
Sebagian opsi jawaban telah memperlihatkan kemungkinan jawaban yg benar Kejahatan adalah : A. terjadi secara merata pd berbagai kelas sosial B. lebih sering muncul pd golongan orang miskin C. lebih sering muncul pd kelompok masyarakat menengah sampai kaya. D. pada dasarnya merupakan suatu indikasi psychosexual maladjustment E. mencapai keadaan toleransi yang plateau terhadap negara 7/22/2010
7
• Pd soal di atas mahasiswa yg cukup cerdas dpt melihat bahwa kemungkinan besar dari jawaban A, B, atau C terdapat jawaban yg benar • Sementara mahasiswa yg tidak terlalu cerdas menghabiskan lebih banyak waktunya untuk mempertimbangkan opsi D & E. • Seringkali, jawaban2 ini pun sbgn mengandung kebenaran & membingungkan krn tidak terlihat dlm dimensi yg sama atau tidak bisa diurutkan kedudukannya. • Kesalahan ini sering tjd apabila menggunakan opsi yg mengandung kata2: “bertambah”, “berkurang”, atau 7/22/2010 8 “tetap”
Kata “selalu” atau “tidak pernah” digunakan dlm opsi jawaban Pada pasien dgn demensia lanjut,tipe Alzheimer, defek memori yg terjadi: A. Dapat diberikan terapi secara adekuat dgn fosfatidilkolin (lesitin) B. Dapat merupakan sekuel dari parkinsonism dini C. Tidak pernah terjadi pada pasien dgn neurofibrillary tangles pd otopsi D. Tidak pernah menjadi berat 9 E. Mungkin melibatkan sistem kolinergik
• Pd soal di atas, opsi A, B, & E mengandung makna yg tidak mutlak sebagaimana opsi C & D. • Mahasiswa yg cerdas akan menyingkirkan jawaban C & D krn kedua opsi itu terlihat lebih tidak mungkin sebagai jawaban yg benar krn sifatnya yg cenderung mutlak tersebut. • Kesalahan semacam ini tidak akan tjd jika kalimat pertanyaan terfokus dan opsi jawabannya pendek hal ini muncul saat kata kerja dimasukan kedlm opsi jawaban dan bukan di dlm pertanyaan „lead-in“ 10
Secondary gain adalah: A. synonym dgn malingering B. Problem yg biasa timbul pd orang dgn gangguan obsessive-compulsive C. Komplikasi dari berbagai penyakit & cenderung untuk memperlama waktu penyakit D. Tidak pernah timbul pd gangguan otak organic 11
• Pada soal tsb pilihan jawaban C lebih panjang dari yg lain • Selain itu tdpt 2 hal pd pilihan tsbt Penulis soal kadang terlalu memberi perhatian lebih pada jawaban yg benar shg tidak memikirkan distraktor atau pilihan yg salah. • Sehingga maka muncul banyak pernyataan pd jawaban yg benar secara berlebihan, sementara pd pilihan yg salah/distraktor lebih pendek pernyataannya. 12
Seorang pria usia 58 thn dgn riwayat penggunaan alkohol yg berat & sebelumnya pernah dirawat krn gangguan psychiatric mengalami kebingungan & agitasi. Dia mengatakan bahwa dunia ini tidak nyata (unreal). Keadaan ini disebut: A. Depersonalisasi D. focal memory deficit B. Derailment E. tanda anxietas C. Derealisasi
13
• Pada soal di atas, digunakan kata „unreal“, sementara itu muncul kata „derealisasi“ pada pilihan jawaban C sebagai jawaban yg benar. • Kadang hal ini tjd & peserta ujian dpt mencoba menebak jawaban yg mempunyai kaitan kata dgn badan soalnya, sehingga hal ini harus dihindari. 14
Jawaban yg benar mengandung komponen2 yg paling sering muncul pd pilihan2 yg lain (distraktor) • Hal ini tidak terlalu kentara terlihat, tapi dpt tjd ketika penulis soal mencoba membuat jawaban yg benar, kemudian membuat jawaban yg salah dgn membuat kombinasi dari jawaban yg benar dgn suatu elemen yg salah.
15
Anestesi lokal akan bekerja paling efektif pd kondisi: A. Dalam bentuk anionic, bekerja dari dlm membrane syaraf B. Dalam bentuk Kationic, bekerja dari dlm membrane syaraf C. Dalam bentuk Kationic, bekerja dari luar membrane syaraf D. Dalam bentuk tidak bermuatan, bekerja dari dlm membrane syaraf E. Dalam bentuk tidak bermuatan, bekerja dari luar 16 membrane syaraf
• Dari soal di atas peserta dapat mengeliminasi „bentuk anionic“ sebagai jawaban yg benar, demikian pula dgn „dari luar membrane syaraf“ yang lebih jarang muncul dibandingkan dgn „dari dalam membrane syaraf“. • Sehingga hanya pilihan B dan D yg mungkin benar, & krn tiga pilihan mengandung „tidak bermuatan“ maka peserta akan menebak jawabanya adalah B 17
Pilihan jawaban yg panjang, kompleks, atau duplikasi Pilihan yg berupa angka tidak diurut sesuai dgn besarnya Pilihan yg mengandung unsur frekuensi suatu kejadian bersifat multi interpretasi Pilihan jawaban tidak parallel & urutan tidak logis Penggunaan BSSD (bukan salah satu diatas) pd pilihan jawaban Badan soal terlalu panjang, sulit & kompleks 18
Komite Peer review di HMO bisa menolak keputusan dokter dlm penanganan kesehatan anggotanya. Berkaitan dgn hal ini dokter sblmnya harus telah menerima proses klarifikasi. Proses klarifikasi tsbt termasuk apa saja? A. Peringatan, sebuah forum tertutup, pengadilan, kesempatan untuk didengar & ditunjukkan bukti yg memberatkan. B. Peringatan yg tepat, pengadilan pengambilan keputusan, kesempatan untuk bertemu di pengadilan dgn saksi yg memberatkan & kesempatan untuk menunjukkan bukti yg meringankannya. C. Peringatan yg tepat waktu & dipercaya, pengadilan tertutup untuk pengambilan keputusan, kesempatan untuk mendengarkan bukti yg memberatkan & bertatap muka dgn saksi yg memberatkan & kesempatan untuk menunjukkan bukti yg meringankan. 19
Apabila terjadi infeksi pd rongga pelvis yg berulang (kedua kalinya), berapa kemungkinan seorang wanita mengalami keadaan infertile?
A. kurang dari 20% B. 20 - 30% C. Lebih dari 50% D. 90% E. 75% 20
Penderita obesitas berat dewasa muda: A. Biasanya berespon secara dramatis thdp regimen diet B. Sering berkaitan dgn kelainan hormon C. Memiliki kemungkinan 75 % untuk kembali normal secara spontan D. Mempunyai prognosis yg buruk E. Biasanya berespon thdp terapi obat & psikoterapi intensif 21
• Pada soal di atas dapat terlihat pilihan jawaban mengandung unsur frekuensi yg mengundang perdebatan, seperti „biasanya“, „sering“, dll. • Hal ini sebaiknya dihindari karena jawabannya bisa bersifat subjektif
22
Pd penelitian thdp suatu vaksin, 200 anak laki2 yg berusia 2 thn diberikan vaksin thdp suatu penyakit tertentu lalu diikuti selama 5 thn untuk melihat apakah penyakit tsbt muncul atau tidak. Dari kelompok ini, 85 % tidak pernah bersinggungan dgn penyakit ini. Manakah dari pernyataan di bawah ini yg benar untuk hasil penelitian tsbt? A. Tidak ada kesimpulan yg dapat diambil karena follow – up dilakukan terhadap anak2 yg tidak divaksinasi. B. Jumlah kasus yg diteliti (30 kasus selama 5 tahun) terlalu sedikit untuk menghasilkan kesimpulan yg secara statistik bermakna C. Tidak ada kesimpulan yg dapat diambil krn percobaan hanya melibatkan anak laki – laki. 23 D. Vaccine efficacy (%) dihitung dgn 85-15/100
• Kota apa yang terdekat dengan kota New York? A. B. C. D. E.
Boston Chicago Dallas Los Angeles bukan salah satu di atas 24
Di bawah ini merupakan orang tua yg memiliki anak dgn Sindroma Down dgn urutan risiko muncul dari yg tertinggi sampai terendah. Diasumsikan umur wanita pd waktu hamil pd semua kasus adalah 22 tahun & kehamilan tjd dgn jarak lima tahun. Karyotype anak perempuan adalah: I: 46, XX, -14, +T (14q21q) pat II: 46, XX, -14, +T (14q21q) de novo III: 46, XX, -14, +T (14q21q) mat IV: 46, XX, -21, +T (14q21q) pat V: 47, XX, -21, +T (21q21q) (orang tua tidak karyotyped)
A. B. C. D. E.
III, IV, I, V, II IV, III, V, I, II III, I, IV, V, II IV, III, I, V, II III, IV, I, II, V 25
• “Membuat soal yang baik tidak bisa mendadak” • “Soal yang baik diperoleh melalui proses review”
26
Referensi: • Susan M. Case & David B. Swanson. Constructing Written Test Questions for the Basic and Clinical Sciences, Third ed. Philadelphia: National Board of Medical Examiners (NBME), 2001
27
