Item Development and Review

6/22/12

Item Development and Review Oleh : I MADE KARIASA ,SKp.,MM.,MKep.,SpKMB.,PG.Cert

Objektif

 Memahami
prinsip:
 1. Dasar‐dasar
ujian
regional/nasional
 2. Dasar
prinsip
assesment
 3. Standar
kualitas
soal
MCQ
(type
A)
 4. Prinsip‐prinsip
proses
review

 Mampu
melakukan
 1. Self
review
 2. Review
soal
orang
lain


1

6/22/12

LATAR BELAKANG •  Era
perdagangan
bebas
barang
&
jasa
 •  Dampak
ganda:
kesempatan
kerja
yang
luas
dan


persaingan
yang
semakin
ketat


MENINGKATKAN DAYA SAING & KEUNGGULAN KOMPETETITIF YANG MEMENUHI STANDARD KEBUTUHAN GLOBAL

Urgensi
ujian
nasional
   Uji
nasional
adalah
proses
standarisasi


penilaian
kemampuan
   Menegakan
akuntabilitas
profesional
   Menegakan
standard
dan
ethik
profesi
   Melindungi
kepercayaan
publik
   Melindungi
pemberi
jasa


2

6/22/12

Tahapan
uji
nasional
 1.  Pembentukan
dan
validasi
standar
kompetensi
 2.  3.  4.  5.  6. 

oleh
stakeholders
 Menentukan
kompetensi
dasar
yang
diujikan
 Pembuatan
blue
print
sesuai
objektif
dari
 pendidikan
(kriteria
lulusan

Perawat)
 Menentukan
model
test
yang
efektif
dan
efisien
 Membuat
instrument
test
yang
valid/reliable
 (psychometric
principles)
 Membuat
standard
setting
dan
proses
 pengambilan
putusan


Langkah Pengembangan uji

1.  2.  3.  4.  5.  6.  7.  8.  9. 

menyusun
spesifikasi
test,

 menulis
soal,

 menelaah
soal
test,

 melakukan
uji
coba
test,

 menganalisis
butir
soal,

 memperbaiki
test,

 marakit
test,

 melaksanakan
test,

 menafsirkan
hasil
test


3

6/22/12

Pilihan
assessment

   Menentukan
level
kompetensi
lulusan


baru
   Menentukan
kompetensi
mana
yang
 paling
penting
dan
esensial

dalam
 perspektif

public

safety
   Menentukan
apa
yang
bisa

di
ujikan
 dengan
alat
ukur
yang
telah
ditetapkan


4

6/22/12

Kenapa
MCQ
type
A
?
   Paling
umum
digunakan
pada
ujian
lisensi


oleh
profesi‐profesi
(standardized
test)
   Sejarah
panjang
riset
tentang
psychometric

   Cost
effective
untuk
skala
besar

   Paling
objektif
&
reliable
(tanpa
halo
effect)
   Memungkinkan
berbagai
variasi
dan
topik
   Sulit
&
memakan
waktu
untuk
dibuat


Evidence…
 •  Health
Education
Institution
Exit
exam
(HESI
E2)



predictor
of
NCLEX
RN

employment
 success
(Reiter,
2005;
Joho,
2007)
 •  HESI
Exit
Exam
(E2)
was
96.30%
to
98.30%
 accurate
in
predicting
NCLEX‐RN
success
(Britt,
 2007)
 •  E2
scores
are
potentially
useful
determinants
of
 the
new
graduate
nurses’
ability
to
assume
 entry‐level
positions
within
the
practice
setting
 (Pine,
2007)


5

6/22/12

Masalah Ujian •  Isi yang diujikan tidak konsisten •  Proporsi tidak konsisten •  Soal ada yg terlalu mudah/sulit •  Soal yang tidak layak masih sering keluar

Tahap Penjaminan Mutu Input

Process

Output

1.  Review Process 1.  Blueprinting

2.  Try-out

2.  Item Writer Standard

3.  Examination guideline

3.  Item Reviewer Standard

4.  Report on Examination

4.  ICT support

5.  Feedback process.

•  Criterionreference. •  Standard setting exercise

6.  Item Bank

6

6/22/12

Kompetensi Esensial Terujikan Ujian diharapkan memenuhi tingkat safety Bagi tenaga kesehatan pemula:

• Penciri nakes (Kompetensi Inti) • Sangat penting dan prinsip untuk dikuasai oleh lulusan baru • Sangat sering dilakukan oleh Nakes baru

Ujian Tulis Multiple Choice Question

One Best Answer

7

6/22/12

Why… One Best Answer Jenis soal 1-2-3-4 lebih mudah ditebak   Soal sebab akibat sering membingungkan, aspek bahasanya terlalu rumit   Satu pilihan terbaik, mencerminkan peran profesional yang harus mencari alternatif terbaik bagi klien  

Membuat Soal MCQ UNTUK LEVEL TINGGI (PROVINSI/NASIONAL)

Tidak semudah yang dibayangkan   Kedalam, aplikasi, berpikir kritis sesuai kompetensi   Perlu sounding multidiscipline team   Perlu ketetapan istilah bersama   Perlu Standarisasi bahasa   Perlu Standarisasi struktur  

8

6/22/12

Ciri
Soal
Kelas
Tinggi

 Bukan
soal
ingatan
sederhana
(recall)
 Menggabungkan
berbagai
data
 Menggambarkan
situasi
nyata
praktek
 (pekerjaan)
 Bisa
menjadi
prediktor
terhadap
 kemampuan
kinerja


Taxonomy Cognitive Bloom:

C1

Mengetahui (menyebutkan) Pengethuan umum, konsep umum, nilai/fakta

C2

Memahami (menjelaskan) Interprestasi chart, grafik, nilai, justifikasi Urutan prosedur

C1. C2 Menerapkan C. 3 (menghubungkan)

C3

Aplikasi konsep dlm situasi baru, aplikasi prosedur, memecahkan hitungan matematika

9

6/22/12

Bloom …

C4

Menganalisa (membandingkan) Menggunakan logika untuk pemecahan masalah, mengevaluasi relevansi data

C5

Mensintesa (menyimpulkan, menyusun) mengungkap sebuah konsepsi dengan baik, merumuskan konsepsi baru,

C6

Mengevaluasi (mengkritik, SOAP) Menyesuaikan, menjustifikasi suatu pekerjaan

RANAH KOGNITIF dlm UJIAN Penggabungan: •  Pengetahuan komprehensif (C1-C2) (nilai normal, definisi, konsep, dasar patofisiologi, dll) •  Aplikasi klinis (C3) (ilmu terapan, diagram masalah, tindakan, tetesan, dosis) •  Berpikir kritis (C4-C6) (menegakan masalah, prioritas, analisa hubungan, prediksi, evaluasi perkembangan, dll) •  Afektif (A1-A5) (sikap dalam bekerja bersama klien/keluarga, tim kes)

10

6/22/12

•  •  •  •  •  • 

Kaidah – kaidah umum pembuatan soal (penting) Yakinkan bahwa setiap soal dapat diduga jenis

jawabannya tanpa harus melihat pilihan jawaban Usahakan agar data atau informasi penting seoptimal mungkin dicantumkan pada soal (stem), sedangkan pilihan jawaban usahakan sesingkat mungkin Hindari informasi berlebihan pada soal. Hindari soal-soal yang bersifat menjebak dan terlalu kompleks serta tidak relevan. Gunakan pilihan jawaban yang secara gramatikal konsisten dan secara logis kompatibel dengan soal. Hindari kata-kata absolut seperti, selalu, tidak pernah, dan semua pada pilihan jawaban, dan hindari pula istilah yang tidak jelas (meragukan) seperti biasanya atau sering.

•  Hindari kalimat atau frase negatif seperti KECUALI, TIDAK, atau BUKAN. •  Fokuskan soal pada konsep-konsep penting, dan hindari hanya menguji kemampuan mengingat fakta. •  Fokuskan soal-soal pada konsep penting dan kasus-kasus yang sering serta memiliki potensi masalah serius. •  Setiap soal diusahakan agar menilai aplikasi pengetahuan, tidak hanya menguji daya ingat terhadap fakta terisolasi. •  Setiap soal tidak terlalu menekankan aspek klinik yang subspesialis. •  Setiap soal lebih baik menekankan pada pertanyaan mengenai pengambilan keputusan klinik

11

6/22/12

Kaidah Penulisan Stem •  Skenario klinik (”vignette”) terdiri dari deskripsi data pasien dan skenario kliniknya dengan beberapa atau seluruh informasi di bawah ini: –  Umur dan jenis kelamin –  Tempat perawatan (contoh, Unit Emergensi) –  Keluhan utama –  Durasi dari keluhan –  Riwayat pasien lainnya yang berhubungan dengan keluhan –  Temuan Pemeriksaan Fisik –  Hasil-hasil pemeriksaan investigasi diagnostik –  Hasil-hasil terapi sebelumnya, atau penemuan selanjutnya.

Lead in (pertanyaan) •  Kata tanya di depan (apakah, manakah, dll) •  Diakhiri dengan tanda tanya (?) •  Terpisah satu baris dari kasus (vignette) agar jelas terlihat

12

6/22/12

Kaidah Penulisan Option •  Option yang salah disebut distractor. •  Option sebaiknya terdiri dari pilihan dengan masalah yang homogen (semuanya merupakan diagnosis, langkah – langkah penanganan pasien, dan lain - lain). •  Berbeda dari jawaban yang benar •  Merupakan option yang masuk akal dan membuat mahasiswa yang tidak tahu akan memilihnya. •  Memiliki bentuk maupun panjang yang menyerupai jawaban yang benar •  Tidak mengandung kesalahan susunan kalimat dan sesuai dengan bentuk kalimat pada stem.

Kesalahan struktur soal

•  Hindari kesalahan jenis , “testwiseness” dan “irrelevant difficulty”. •  “Testwiseness” dapat menjawab soal bukan karena penguasaan materi tetapi karena kepintaran dalam menebak jawaban yang benar. •  “irrelevant difficulty” kesulitan menjawab soal, bukan karena materi sulit tapi karena struktur soal buruk .

13

6/22/12

Kesalahan testwiseness: •  Grammatical Cues •  Logical Cues •  Istilah yang absolut •  Jawaban benar yang panjang •  Pengulangan kata dari badan soal ke jawaban •  Konvergensi soal

Kesalahan “irrelevant difficulty” •  Pilihan jawaban yang panjang, kompleks, atau duplikasi •  Pilihan yang berupa angka tidak diurut sesuai dengan besarnya •  Pilihan yang mengandung unsur frekuensi suatu kejadian bersifat multi interpretasi •  Pilihan jawaban tidak parallel dan urutan tidak logis •  Penggunaan BSSD (bukan salah satu diatas) •  Badan soal terlalu panjang, sulit, dan kompleks

14

6/22/12

Grammatical Cues

Contoh soal : Seorang pria, berusia 60 tahun, dibawa ke bagian gawat darurat oleh seorang polisi, yang menemukannya dalam keadaan tergeletak tidak sadarkan diri di sisi jalan. Setelah memastikan bahwa saluran pernafasan dalam keadaan tidak tersumbat. Apakah langkah pertama dalam manajemen administrasi intravena? A. pemeriksaan cairan serebrospinal B. glukosa dengan vitamin B1 (thiamine) C. CT scan kepala D. fenitoin E. diazepam Cat: lihat yang berwarna merah. Apakah cocok dg pertanyaan ?

Logical Cues Contoh Kejahatan adalah A. terjadi secara merata pada berbagai kelas social B. lebih sering muncul pada golongan orang miskin C. lebih sering muncul pada kelompok masyarakat menengah sampai kaya. D. pada dasarnya merupakan suatu indikasi psychosexual maladjustment E. mencapai keadaan toleransi yang plateau terhadap negara Cat: A,B,C : orang pintar mungkin akan benar D & E, orang kurang mampu sering berfikir ini

15

6/22/12

Istilah yang absolut

Contoh soal : •  Pada pasien dengan demensia lanjut, tipe Alzheimer, defek memori yang terjadi A. dapat diberikan terapi secara adekuat dengan fosfatidilkolin (lesitin) B. dapat merupakan sekuel dari parkinsonism dini C. tidak pernah terjadi pada pasien dengan neurofibrillary tangles pada otopsi D.tidak pernah menjadi berat E.mungkin melibatkan sistem kolinergik

Istilah yang absolut: kata “selalu” atau “tidak pernah” digunakan dalam opsi jawaban •  Pada soal di atas, opsi A, B, dan E mengandung makna yang tidak mutlak sebagaimana opsi C dan D. Mahasiswa yang cerdas akan menyingkirkan jawaban C dan D karena kedua opsi itu terlihat lebih tidak mungkin sebagai jawaban yang benar karena sifatnya yang cenderung mutlak tersebut. Perlu dicatat bahwa kesalahan semacam ini tidak akan terjadi apabila kalimat pertanyaan terfokus dan opsi jawabannya pendek, hal ini muncul ketika kata kerja dimasukan kedalam opsi jawaban dan bukan di dalam pertanyaan „leadin“ • 

Jawaban benar yang panjang

Contoh soal :

Secondary gain adalah A. synonym dengan malingering B. Problem yang biasa timbul pada orang dengan gangguan obsessive-compulsive C. Komplikasi dari berbagai penyakit dan cenderung untuk memperlama waktu penyakit D. Tidak pernah timbul pada gangguan otak organic

Jawaban benar yang panjang: jawaban C lebih panjang dari yang lain. terdapat 2 hal : 1. pilihan benar di beri perhatian yang terlalu berlebih 2. Distraktornya sangat tidak mendapat perhatian, sehingga pernyataan pendek

16

6/22/12

Pengulangan kata dari badan soal ke jawaban Contoh soal:

Seorang pria berusia 58 tahun dengan riwayat penggunaan alkohol yang berat dan sebelumnya pernah dirawat karena gangguan psychiatric mengalami kebingungan dan agitasi. Dia mengatakan bahwa dunia ini tidak nyata (unreal). Keadaan ini disebut: A. depersonalisasi B. derailment C. derealisasi D. focal memory deficit E. tanda anxietas

Konvergensi soal

Anestesi lokal akan bekerja paling efektif pada kondisi: A. dalam bentuk anionic, bekerja dari dalam membrane syaraf B. dalam bentuk cationic, bekerja dari dalam membrane syaraf C. dalam bentuk cationic, bekerja dari luar membrane syaraf D. dalam bentuk tidak bermuatan, bekerja dari dalam membrane syaraf E. dalam bentuk tidak bermuatan, bekerja dari luar membrane syaraf

17

6/22/12

Kesalahan “irrelevant difficulty”

Pilihan jawaban panjang, kompleks, atau duplikasi Komite Peer review di HMO bisa menolak keputusan dokter dalam penanganan kesehatan anggotanya. Berkaitan dengan hal ini dokter sebelumnya harus telah menerima proses klarifikasi. Proses kalrifikasi tersebut termasuk apa saja? A. Peringatan, sebuah forum tertutup, pengadilan, kesempatan untuk didengar dan ditunjukkan bukti yang memberatkan. B. Peringatan yang tepat, pengadilan pengambilan keputusan, kesempatan untuk bertemu di pengadilan dengan saksi yang memberatkan dan kesempatan untuk menunjukkan bukti yang meringankannya. C. Peringatan yang tepat waktu dan dipercaya, pengadilan tertutup untuk pengambilan keputusan, kesempatan untuk mendengarkan bukti yang memberatkan dan bertatap muka dengan saksi yang memberatkan dan kesempatan untuk menunjukkan bukti yang meringankan.

• 

Pilihan jawaban yang panjang, dan kompleks: pada soal di atas dapat terlihat bahwa pilihan jawaban terlalu panjang sehingga menimbulkan kesulitan bagi peserta untuk menjawabnya karena hal teknis tersebut.

18

6/22/12

Pilihan berupa angka tidak diurut sesuai dengan besarnya Apabila terjadi infeksi pada rongga pelvis yang berulang ( kedua kalinya), berapa kemungkinan seorang wanita mengalami keadaan infertile? A. kurang dari 20% B. 20 - 30% C. Lebih dari 50% D. 90% E. 75%

Pilihan mengandung unsur frekuensi suatu kejadian bersifat multi interpretative

Penderita obesitas berat dewasa muda: A. biasanya berrespon secara dramatis terhadap regimen diet B. sering berkaitan dengan kelainan hormon C. memiliki kemungkinan 75 % untuk kembali normal secara spontan D. mempunyai prognosis yang buruks E. biasanya berrespon terhadap terapi obat dan psikoterapi intensif Pakai kata kata : „biasanya“, „sering“, dll. Multi tafsir

19

6/22/12

Pilihan jawaban tidak paralel dan urutan tidak logis •  Pada penilitian terhadap suatu vaksin, 200 anak laki – laki yang berusia 2 tahun diberikan vaksin terhadap suatu penyakit tertentu kemudian diikuti selama 5 tahun untuk melihat apakah penyakit tersebut muncul atau tidak. Dari kelompok ini, 85 % tidak pernah bersinggungan dengan penyakit ini.

Manakah dari pernyataan di bawah ini yang benar untuk hasil penelitian tersebut? a.  Tidak ada kesimpulan yang dapat diambil karena follow – up dilakukan terhadap anak – anak yang tidak divaksinasi b.  Jumlah kasus yang diteliti (30 kasus selama 5 tahun) terlalu sedikit untuk menghasilkan kesimpulan yang secara statistic c.  Tidak ada kesimpulan yang dapat diambil karena percobaan hanya melibatkan anak laki – laki d.  Vaccine efficacy (%) dihitung dengan 85-15/100

• 

Penggunaan BSSD (bukan salah satu di atas) pada pilihan jawaban

•  Kota apa yang terdekat dengan kota New York? a.  b.  c.  d.  e. 

Boston Chicago Dallas Los Angeles bukan salah satu di atas

20

6/22/12

Vignette / kasus / stem (klinis) •  Jenis kelamin, Umur (e.g. laki-laki 25 tahun) –  Kasus spesifik wanita  kehamilan –  Kasus anak-anak, dewasa, geriatri?

•  •  •  •  •  • 

Tempat pelayanan/setting (IGD, poli, puskesmas) Keluhan Utama Lama atau derajat keluhan Gejala penyerta dan keterangan lainnya Pemeriksaan fisik Pemeriksaan penunjang

Kasus / vignete Seorang pasien datang dengan keluhan anemia. Tekanan darah 110/80mmHg, • Apakah ada pasien mengeluh anemia? • Apakah ada hubunganya antara anemia dengan tekanan darah? • Apakah ada arah yang jelas dari kasus? • Kasus terlalu pendek, tidak lengkap

21

6/22/12

Kasus (Vignete) •  Seorang pria berusia 70 tahun datang ke poliklinik dengan keluhan tidak mampu mengontrol pengeluaran urine. Keluhan ini menyebabkan pasien merasa malu dengan kondisinya dan membatasi aktifitas normalnya. Sebelumnya pernah dilakukan tindakan operasi prostat

1. Apakah ini penting untuk menjalankan tugas sebagai perawat baru ? 2. Apakah ini bermanfaat? Seorang ibu membawa bayinya berusia 15 bulan kerumah sakit dengan keluhan buang air besar 10 kali disertai muntah-muntah. Ibu mengatakan bayinya sering menangis dan tidak mau makan dan minum. Hasil pemeriksaan fisik di dapat : ubun-ubun cekung, kulit kering, mata cekung. Ibu gelisah melihat kondisi bayinyanya.

22

6/22/12

Kasus (vignete) Seorang laki-laki berusia 34 tahun dilakukan pemasangan kateter urine (Foley chateter) untuk persiapan operasi pemasangan plate and screw tibia dextra, data status urinarius tidak ada kelainan. Setelah pelumasan kateter dengan jelly, kateter dimasukan dengan mudah dan tanpa hambatan, segera urin terlihat keluar dan ditampung dalam bengkok/penampung yang telah disiapkan. Pertanyaan soal •  Apakah tindakan yang harus dilakukan perawat selanjutnya ? Pilihan jawaban : A.  Menekan pubis pasien dengan lembut B.  Menggembungkan balon dengan NaCl 0,9 % C. Menyambungkan kateter ke kantung urin D. Memfiksasi kateter dengan penis menghadap keatas E.  Meneruskan pemasukan kateter sampai percabangannya

Contoh Pertanyaan yang Kurang tepat •  Penyebab klien tidak bisa BAB sejak masuk kemungkinan disebabkan oleh •  Dari kasus diatas terdapat …….. masalah utama

23

6/22/12

Tip ! •  Vignette / kasus dianggap berfungsi jika tanpa vignete, pertanyaan tidak berfungsi dengan jelas •  Pertanyaan baik, terlihat bila peserta pintar bisa menebak jawaban tanpa melihat pilihan jawaban

Pilihan Jawaban •  Homogen: gramatikal, semantik, panjangpendek. •  Hindari absolutisme: selalu, tidak pernah. •  Hindari konvergensi. •  Hindari kesamaan istilah dengan vignette. •  Hindari urutan yang tidak sistematis  menyulitkan. •  Hindari kalimat: bukan salah satu di atas

24

6/22/12

Contoh pilihan kurang baik a.  Telkomsel b.  Exelcomindo c.  Satelindo d.  simPATI

Contoh pilihan yang kurang baik a. Pernah mengalami cedera kepala b. Adanya luka pada telinga tengah atau penyakit telinga lainnya. c. Sering mengalami ISPA d. Mungkin secara hematogen e. Benar semua

25

6/22/12

Refleksi •  Berdasarkan diskusi …….., apakah yang bapak ibu pikirkan dan rasakan? •  Apa yang bapak/ibu inginkan hari ini?

D Kompetensi Tingkat kognitif Area keilmuan Kompetensi

: Askep : Berpikir kritis : Medikal-bedah : Diagnosa keperawatan

KUK: Mampu menentukan prioritas diagnosa kep. Seorang wanita berusia 37 tahun di rawat di bangsal bedah, 1 hari paska operasi histerektomy selesai jam 12 siang. Jam 3 pagi ia memanggil perawat karena kesakitan dan tidak bisa tidur nyenyak. Ekpresi wajah tampak menahan nyeri dan kelelahan. Nyeri skala 6-7 di bagian abdomen. Saat diperiksa, klien takut untuk bergerak miring kiri/kanan. Balutan operasi kering, tanda vital stabil. Apakah masalah keperawatan utama klien di atas? a. Gangguan pola tidur b. Nyeri sedang-berat c. Cemas sedang-berat d. Gangguan mobilisasi

26

6/22/12

D Kompetensi Tingkat kognitif Area keilmuan Kompetensi

: Asuhan dan manajemen keperawatan : berpikir kritis : KMB : Memasang Kateter Urine Pria

KUK: Saat memasang kateter urine seorang pria (44 thn). Anamnesa status urologi tidak ada abnormalitas . Ketika anda memasang kateter, saat selang kateter masuk ±10 cm terasa ada tahanan lunak. Apakah reaksi pertama anda sebaiknya? a.  Menambahkan cylocain jelly diujung meatus urinarius b.  Menekan dengan keras ujung kateter hingga masuk c.  Menganjurkan klien menarik nafas dalam d.  Sedikit menegakan penis sambil memasukan kateter

Bagaimanakah step mereview soal?

27

6/22/12

Tahap Telaah soal (Review) Apakah isi soal Essensial dlm pekerjaan

Apakah struktur soal terstandar baik

Bila keduanya Baik: DITERIMA

Struktur Soal

Vignette/kasus/pernyataan Pertanyaan Pilihan jawaban

28

6/22/12

ISI •  Apakah secara isi, topik soal yang ditanyakan esensial dalam menjalankan pekerjaan ? •  Rujukan: Standard Kompetensi Baca soal sekilas, ambil kesan umum, Tentukan relevansi isi dengan Pekerjaan sebagai Nakes Baru Lulus

STOP: Baca Soal Anda … ! •  Apakah soal anda sangat penting untuk dapat menjalankan pekerjaan sehari-hari? •  Menanyakan hal yang bermanfaat untuk ditanyakan?

29

6/22/12

Contoh : Untuk calon Nakes baru ???? Berapakah jumlah tulang diseluruh tubuh Manusia? Berapakah tagihan yang bisa diberikan oleh Askeskin? Apakah pertanyaan diatas pantas dan

Vignete Bisa Berisi: • Pernyataan • Situasi • Kasus pasien

Ketentuan: • Logis • Sistematis

Jangan terlalu panjang / pendek

30

6/22/12

Apa saja yang perlu ditelaah ? •  Materi : – Relevansi dengan pekerjaan inti – Bahasa – Tingkat kesulitan – Klasifikasi : sesuai blue print

Apa saja yang perlu ditelaah ? •  Struktur : – Stem (vennette) – Lead in – Option

•  Kesimpulan – Komentar umum dan saran – Diterima/revisi/dikembalikan

31

6/22/12

Kesalahan umum dalam pembuatan soal yang perlu diwaspadai •  •  •  •  •  • 

Ketidak sesuaian antara pertanyaan dengan kompetensi Ketidak sesuaian tingkat kesulitan soal dengan tingkat kognitif Kemaknaan klinis yang tidak relevan dengan kompetensi Bahasa dan kalimat tidak logis atau multi interprestasi Menanyakan sesuau yang bersifat hafalan (recall) sederhana Kasus (vignyet) tidak menggambarkan suasana klinis yang sebenarnya •  Subtansi tidak logis (misalnya data pemeriksaan kliniks dan atau laboratorium) •  Pilihan jawaban tidak homogen

Evaluasi butir soal secara umum

•  Apakah butir soal relevan untuk menilai learning objectives atau kompetensi ? •  Apakah tata bahasa, penulisan dan ejaan sudah benar? •  Apakah kosa kata yang tidak perlu dan sulit dipahami sudah dihindari? •  Apakah menggunakan kalimat-kalimat yang ringkas, berisi dan mudah dipahami?

32

6/22/12

Evaluasi butir soal secara spesifik •  menggunakan stem/vignette •  Apakah stem butir soal tidak mengandung materi yang tidak relevan? •  Apakah vignette berisi informasi/data yang memungkinkan mahasiswa yang kompeten mampu menjawab dengan benar? •  Apakah vignette merepresentasikan keadaan yang mungkin terjadi di konteks nyata? •  Apakah vignette memfoskuskan prinsip atau konsep penting/ esensial yang perlu dimengerti oleh mahasiswa, bukan hanya soal hafalan? •  Apakah stem bisa dijawab oleh mahasiswa yang kompeten tanpa melihat jawaban yang tersedia? •  Apakah stem tidak menjebak dan juga tidak terlalu rumit?

Evaluasi Lead in Question: •  Apakah dibuat dengan kalimat tanya? •  Apakah telah dihindari menanyakan tentang opini? •  Apakah pertanyaan berhubungan dengan stem? •  Apakah telah dihindari penggunaan kata “kecuali”?

33

6/22/12

Evaluasi Pilihan Jawaban •  Apakah alternatif jawaban sudah dibuat jelas dan singkat? •  Apakah alternatif jawaban sudah homogen? •  Apakah alternatif jawaban mempunyai panjang yang hampir sama dengan jawaban kunci? •  Apakah alternatif jawaban sudah menghindari alternatif yang tidak rasional? •  Apakah alternatif jawaban merupakan jawaban yang tidak benar atau kurang benar dibandingkan dengan jawaban kunci?

Lanjut ….. •  Apakah alternatif jawaban cukup menarik mahasiswa yang tidak kompeten untuk memilihnya? •  Apakah alternatif jawaban secara tata bahasa konsisten dan cocok dengan stem dan lead in question? •  Apakah alternatif jawaban sudah menghindari penggunaan “salah satu di atas” dan “bukan salah satu di atas”? •  Apakah alternatif jawaban sudah menghindari kata “selalu”, “jarang”, “kadang-kadang”? •  Apakah poin jawaban yang benar sudah diletakkan posisinya secara acak terhadap distractornya?

34

6/22/12

Kesimpulan
Hasil
Review
 • Diterima
tanpa
perbaikan
 • Diterima
dengan
perbaikan
 • Perlu
konfirmasi
pembuat
soal
 • Tidak
perlu
konfirmasi
(langsung
edit)
 • Dikembalikan
kepada
pembuat
soal
 
 
 • Berpotensi
diterima
dengan
perbaikan


Alasan penolakan •  Isi tidak esensial •  Isi terlalu spesialistis. •  Isi tidak realistis, terlalu teoritis •  Tidak ada vignette. •  Vignette tidak berfungsi

35

6/22/12

Daftar Tilik Soal/Item (Untuk Reviewer) Catatan: satu set daftar tilik berlaku untuk tiap satu soal/item Diisi dengan tanda silang (X) ID Soal : Isi soal Relevansi dan kesesuaian terhadap kompetensi ners Indonesia ( ) Sangat Relevan ( ) Relevan ( ) Ragu – ragu ( ) Kurang relevan ( ) Tidak relevan Bahasa yang digunakan ( ) Sulit dimengerti ( ) Kurang dimengerti ( ) Mudah dimengerti

Struktur Soal Vingete Terdapat Berfungsi

Tingkat kesulitan soal ( ) Sangat sulit ( ) Sulit ( ) Sedang ( ) Mudah ( ) Sangat Mudah

( ) Ya

( ) Tidak

Badan soal terlalu panjang, sulit, dan kompleks Lead in Memenuhi Close the option rules Pertanyaan/pernyataan negatif

( ) Ya

( ) Tidak

( ) Ya ( ) Ya

( ) Tidak ( ) Tidak

Option Kesalahan tata bahasa Penggunaan istilah yang absolut Jawaban benar yang panjang Pengulangan kata dari badan soal ke jawaban Konvergensi option Pilihan jawaban yang panjang, kompleks, atau duplikasi Pilihan yang mengandung unsur frekuensi suatu kejadian bersifat multi interpretasi Pilihan jawaban tidak paralel dan urutan tidak logis Penggunaan BSSD (bukan salah satu diatas) pada pilihan jawaban

( ) Ya ( ) Ya ( ) Ya ( ) Ya ( ) Ya ( ) Ya ( ) Ya ( ) Ya ( ) Ya ( ) Ya

( ) Tidak ( ) Tidak ( ) Tidak ( ) Tidak ( ) Tidak ( ) Tidak ( ) Tidak ( ) Tidak ( ) Tidak ( ) Tidak

Komentar Umum Reviewer

36

6/22/12

Kesimpulan Hasil Review ( ) Diterima tanpa perbaikan ( ) Diterima dengan perbaikan ( ) Tidak perlu konfirmasi dengan pembuat soal ( ) Perlu konfirmasi pembuat soal ( ) Dikembalikan kepada pembuat soal ( ) Berpotensi diterima dengan perbaikan ( ) Memerlukan perbaikan keseluruhan Saran Perbaikan Tanda Tangan Reviewer Tanggal: (DD) / (MM) / (YY)

Nama Jelas :

Dengan ini menyatakan bahwa proses review soal di atas telah benar – benar telah dilakukan oleh nama yang bertanda tangan di atas, tidak dilakukan oleh orang lain atau juga tidak dilakukan oleh orang lain yang mengatasnamakan nama di atas.

Next step? Bekerja dalam kelompok untuk mereview soal-soal menggunakan formulir review yang ada.

37

6/22/12

Terima kasih

38