Diklat ID MTKI Htl. Santika Depok

Subardan Rochmad Reg. 12128 1111 000 2192 Kediri, 20 Februari 1952 021-7669385/ 0818665214 [email protected] [email protected] Jl. Pinang Raya No.28, Kel. Pondok Labu Rt 006/09 Kec.Cilandak Jakarta 12450  Ketua I PP-HAKLI  Anggota MTKI  Konsultan ADB TA7566 Reg: Strengthening and Use of Country Safeguard System (INO AMDAL-AMDAL 44140-012)        

s/d 31 Oktober 2014. 2

Diklat ID MTKI Htl. Santika Depok 8/13/2014

Tujuan Pembelajaran Umum

Mekanisme Pembuatan Soal Uji/ Item Development Tujuan Pembelajaran Khusus:

Alur

& Pola Penyusunan Kriteria Soal Uji 3

Diklat ID MTKI Htl. Santika Depok

8/13/2014

ITEM DEVELOPMENT / UJI KOMPETENSI PROFESI

MTKI/ HPEQ

Uji Kompetensi ? Menilai sejauh mana KOMPETENSI STANDAR suatu profesi / keahlian telah dicapai oleh peserta uji (testee) KOMPETENSI selalu MULTI DIMENSI DAN TERINTEGRASI meliputi:

•

•

– – –

PENGETAHUAN (KOGNITIF) SIKAP (KONATIF) KETRAMPILAN / SKILLS

YG DIPERLUKAN UNTUK MENGHADAPI SITUASI RIIL DALAM MENERAPKAN KEAHLIAN / PROFESI YANG BAKAL DIJALANI PESERTA UJI

•

5


8/13/2014

APA SYARAT UTAMA UJI KOMPETENSI? STANDAR KOMPETENSI BLUE PRINT (KISIKISI UJI SESUAI STANDARD KOMPETENSI) LEMBAGA PENYELENG-GARA YG KREDIBEL 6


8/13/2014

PERSIAPAN UJI KOMPETENSI DOKTER INDONESIA 1. 2. 3. 4. 5.

6. 7. 8. 9. 10. 7

STANDAR KOMPETENSI BLUE-PRINTING ITEM DEVELOPMENT REVIEW-1, 2, EXPERT PANELS (PROFESSINAL EXPERTS) GOOD ITEM (VALID-RELIABLE) NATIONAL ITEM BANKS ITEM SELECTION FOR TEST (NATIONAL PANEL EXPERTS) EXAMINATION & TEST SCORING STANDARD SETTING - PASS SCORE (NATL PANEL EXPERTS ) EXAMINATION REPORT Diklat ID MTKI Htl. Santika Depok

8/13/2014

Assessment berbasis kompetensi adalah assessment thdp kemampuan seseorang untuk menggunakan (mengaplikasikan) pengetahuan, keterampilan & perilaku dlm praktek sehari-hari untuk meningkatkan kesehatan pasien & komunitas

Diklat ID MTKI 8 Htl. Santika Depok

8/13/2014

Tingkatan Jenis Ujian

Observational

OSCE

MCQ, MEQ, Essay MCQ,SAQ

9

Miller GE. The assessment of clinical skills/competence/performance. Diklat ID MTKI Htl. Santika Depok 8/13/2014 Academic Medicine (Supplement) 1990; 65: S63-S67.

Prinsip Penulisan Soal Ujian Tulis Majelis Tenaga Kesehatan Indonesia MTKI

TUJUAN UJIAN

 Menunjukkan

aspek-aspek penting.  Memotivasi mahasiswa belajar lebih luas.  Evaluasi kekurangan pengetahuan mahasiswa  belajar kembali  Menentukan apa dan bagaimana mahasiswa belajar (MDE, SOCA, OSCE)  Menentukan mahasiswa promosi/kompeten?  Evaluasi aspek yang lemah dari suatu kurikulum

11


8/13/2014

Apa yang perlu diujikan

 Sesuai

dengan tujuan pembelajaran  Topik penting  prioritas (jumlah soal/periode waktu)  Sesuai dengan tujuan pembelajaran  Menilai aplikasi/integrasi pengetahuan  Gunakan skenario klinik sebagai masalah  Prinsip dasar & pemecahan masalah 12


8/13/2014

Sistem yang terintegrasi Ujian tulis :  Fase Preklinik: aplikasi pengetahuan basic sciences pada konsep/dasar klinik (clinical reasoning)  Fase Klinik: ketrampilan menentukan keputusan klinik (Pengelolaan pasien)

13


8/13/2014

Dua kelompok Pilihan Ganda

True/False Items:

One-Best Answer Items: 14

• C (A/B/keduanya betul/salah) • K (Multipel Betul/salah yg rumit) • X (Sebab-akibat)

• A (3 atau lebih, soal tunggal atau kelompok) • R (Extended Matching items in sets of 2-20 items)


8/13/2014

Langkah-langkah penyusunan pertanyaan   

    

Tentukan isi/topik  sistem pencernaan, usus kecil, infeksi Pilih 2-3 masalah  etiologi, imunologi Tentukan skenario: sering terjadi, serius, sasaran?  sering terjadi, untuk dokter umum Tulis kasusnya  diare, dehidrasi berat Buat pertanyaan Tulis jawaban yang benar Buat distracter/pengacau Pertanyaan tidak saling terkait

15


8/13/2014

Multiple-Choice Question Formats A-type One-best-answer Questions

Multiple-choice Questions

R-type Extended matching Standard True-false-type

True-false Questions K-type Complex True False 16


8/13/2014

Komponen Soal Tipe A Seorang pasien pria berumur 41 tahun dengan tinggi badan 170 cm dan berat badan 59 kg masuk rumah sakit dengan keluhan utama tidak dapat makan lewat mulut, demam terus menerus, dan terdapat luka bakar yang hebat.

Vignette, Scenario, Or Stem

Bagaimana pemberian makanan yang tepat bagi pasien tersebut?

Lead-in

A. B. C.

D. E.

Makanan cair Options B, C, D, and E Makanan lunak are Distractors Makanan biasa Option A is the Key Makanan saring Makanan lewat pipa (nasogastric) 17 Diklat ID MTKI Htl. Santika Depok 8/13/2014


8/13/2014

 Hanya menguji kemampuan mengingat – hanya hal

yg trivia  Tidak menguji aplikasi atau integrasi pengetahuan  Tidak menguji kemampuan daya nalar & pemecahan masalah  Tidak konsisten dgn prinsip-prinsip pendidikan masa kini  Lebih meningkatkan kemampuan memorisasi drpd pemahaman  Tidak relevan dgn kompetensi dokter umum Diklat ID MTKI 19 Htl. Santika Depok

8/13/2014

1.

2.

3.

Setiap soal dapat diduga jawabannya tanpa harus melihat pilihan jawaban atau Pilihan jawaban adalah 100 % benar atau salah Data atau informasi penting seoptimal mungkin dicantumkan pd soal (stem), sedangkan pilihan jawaban usahakan sesingkat mungkin. Jangan berikan informasi berlebihan pd soal.


8/13/2014

4. Soal tidak menjebak & terlalu kompleks serta tidak relevan. 5. Pilihan jawaban (opsi) :  



Secara gramatikal konsisten & secara logis kompatibel dgn soal Tidak pakai kata2 absolut seperti selalu, tidak pernah & semua Tidak pakai istilah yg tidak jelas (meragukan) spt biasanya atau sering.

6. Kalimat pertanyaan (lead in) tidak pakai kalimat atau frase negatif spt KECUALI,TIDAK, atau BUKAN. Diklat ID MTKI 21 Htl. Santika Depok 8/13/2014

PRINSIP DASAR PEMBUATAN SOAL “ONE BEST ANSWER” 1.

2.

3. 22

Fokuskan soal pd konsep2 penting & TIDAK hanya menguji kemampuan mengingat fakta (recall) Fokuskan soal pd kasus2 yg sering serta memiliki potensi masalah serius. Setiap soal agar menilai aplikasi pengetahuan & bukan recall Diklat ID MTKI Htl. Santika Depok

8/13/2014

PRINSIP DASAR PEMBUATAN SOAL “ONE BEST ANSWER” cont’d 4. 5.

6. 7.

Soal tidak terlalu menekankan aspek klinik yg subspesialis Soal lebih baik menekankan pd pertanyaan mengenai pengambilan keputusan klinik Opsi jawaban yg salah/ distraktor homogen Hanya satu jawaban paling benar


8/13/2014

Item Shape Bentuk Soal yg Baik

Soal/stem/ vignette Panjang

A. B. C. D.

Opsi Jawaban Pendek

E. 24


8/13/2014

Stem pendek A. B. C.

Opsi Jawaban Panjang

D. E.

25


8/13/2014

 Umur

& jenis kelamin  Tempat perawatan (contoh, Unit Gawat Darurat) / Tempat Pelayanan  Keluhan utama  Durasi dari keluhan  Riwayat pasien lainnya yg berhubungan dgn keluhan  Temuan Pemeriksaan Fisik  Hasil-hasil pemeriksaan investigasi diagnostik  Hasil-hasil terapi sebelumnya, atau penemuan selanjutnya.


8/13/2014

 Dibuat alur ’yang seharusnya’ & tidak lompat-

lompat, langsung ke pemeriksaan penunjang.  Cluster dpt dilakukan dgn vignette yg baik dgn

pertanyaan dari bbrp dept/ disiplin ilmu dasar (upayakan agar tidak satu – salah  semua – salah)


8/13/2014

 Pertanyaan

dibuat dlm kalimat tanya  vignette yg baik adalah bila pilihan jawaban ditutup, dapat langsung dijawab  Opsi yg baik adalah bila vignette ditutup tapi lead terlihat  tidak dpt menjawab pertanyaannya.  untuk vignette cluster bisa dibuat bbrp pertanyaan berdiri sendiri shg tidak membuat jawaban yg saling kait berkait, dgn syarat diagnosa vignette tidak ambivalensi Diklat ID MTKI 28 Htl. Santika Depok

8/13/2014

Komponen soal tipe A Vignette/skenario/kasus: • Anak umur 1 tahun datang digendong ibunya kefisioterapis. Dalam pemeriksaan ditemukan adanya ganguan sensomotorik , belum mampu duduk, tous otot spastic. Ada riwayat umur 4 bulan dirawat dirumah sakit karena sakit panas dan sampai kejang

Lead in/Stem • Apakah gangguan yang terjadi pada anak tersebut?

29

Pilihan: A. Down syndrome B. Cerebral palsy** C. Delayed development D. Autism E. Hyperaktif Diklat ID MTKI Htl. Santika Depok

8/13/2014

Aturan Dasar pembuatan soal  Kasus: sebaiknya

mengikuti pola yang baku

 Pertanyaan:  



Berupa pertanyaan Jelas, dapat dijawab TANPA melihat Option JANGAN berupa:  

Manakah pernyataan dibawah ini yang benar? Semua pernyataan dibawah ini benar KECUALI

 Pilihan: homogen 

30

(termasuk distracter)

Hindari kesalahan soal (item flaws) yang “menguntungkan” peserta ujian atau soal sulit yang tidak relevan


8/13/2014

Komponen Kasus Jenis kelamin, Umur, (kasus spesifik?)

Tempat pelayanan

Keluhan utama, durasi, beratnya

31

• Anak umur 1 tahun datang digendong ibunya kefisioterapis

• Klinik Fisioterapi

• Dalam pemeriksaan ditemukan adanya ganguan sensomotorik , belum mampu duduk, tous otot spastic.

Gejala penyerta

• belum mampu duduk, tous otot spastic.

Keterangan lain

• Ada riwayat umur 4 bulan dirawat dirumah sakit karena sakit panas dan sampai kejang .


8/13/2014

Pola pertanyaan dari kasus integrasi Recall: • Daerah manakan yang diperdarahi oleh arteri cerebellar posterior inferior?

Aplikasi: • Seorang laki-laki 62 tahun mengalami ataksia pada sisi sebelah kiri, sindroma Horner, nystagmus dan kehilangan rasa nyeri serta sensasi temperatur di wajah. Arteri manakah yang paling mungkin mengalami oklusi pada kasus ini? 32


8/13/2014

Aturan dasar Soal     

Konsep penting/ umum/ berpotensi menjadi masalah klinik. Menguji aplikasi pengetahuan, BUKAN recall dari pengetahuan yang tidak terintegrasi. Stem: jelas, dapat dijawab TANPA melihat Option Option: homogen (termasuk distractor) Hindari kesalahan soal (item flaws) yang “menguntungkan” peserta ujian atau soal sulit yang tidak relevan

33


8/13/2014

Aturan dasar SOAL

JANGAN berupa:  Manakah pernyataan dibawah ini yang benar?  Semua pernyataan dibawah ini benar KECUALI  Option tidak akan homogen

34


8/13/2014

Contoh kesalahan penulisan soal

Vignette yang baik/berfungsi Andi adalah seorang anak lak-laki berusia 8 tahun, diantar ibunya ke optikal, klien mengeluh untuk penglihatan jauhnya buram. Setelah dilakukan pemeriksaan Refraksi jauh visus yang didapat 6/9, dilakukan test monokuler dengan Red & Green test ternyata objek pada warna dasar merah lebih hitam dibanding objek pada warna dasar hijau. Kelainan Refraksi apakah yang diderita pasien pada kasus diatas?

Myopia** B. Astigmat C. Presbyopia D. Emmetropia A.

Hypermetropia

E. 36


8/13/2014

Stem: tidak dapat dijawab TANPA melihat Option

Manakah pernyataan di bawah ini yang benar tentang pseudogout?

A. Sering terjadi pada perempuan

B. Jarang berhubungan dengan nyeri sendi akut C. Bisa berhubungan dengan chondrocalsinosis D. Bersifat heriditer E. Berespon baik terhadap allopurinol

37


8/13/2014

Masalah gramatikal/susunan kalimat Seorang laki-laki berusia 60 tahun dibawa ke UGD oleh polisi yang menemukannya terbaring tidak sadar di pinggir jalan. Setelah memastikan bahwa jalan nafasnya bebas, tindakan apa yang pertama kali akan dilberikan kepada pasien ini secara intravena?

A. Pemeriksaan cairan serebrospinal B. Glukosa dengan vitamin B1 (thiamine) C. CT scan kepala D. Phenytoin E. Diazepam 38


8/13/2014

Penggunaan terminologi absolut: “selalu” atau “tidak pernah” Pada pasien dengan demensia berat tipe Alzheimer’s, gangguan memori apakah yang terjadi? A. Dapat diobati secara adekuat dengan phosphatidylcholine (lecithin) B. Bisa merupakan sequelae dari Parkinsonisme dini C. Jika dilakukan autopsi, tidak pernah ditemukan neurofibrillary tangles D. Tidak pernah dalam keadaan sangat berat E. Mungkin melibatkan sistem cholinergic 39


8/13/2014

Long correct answer

Secondary gain adalah: A. Sama dengan malingering B. Sebuah masalah berulang pada gangguan obsessivecompulsive C. Sebuah komplikasi yang timbul pada seseorang dengan berbagai penyakit yang cenderung memperlama penyakit tersebut D. Tidak pernah ditemukan kerusakan otak yang organik 40


8/13/2014

Word repeats: PENGULANGAN Seorang laki-laki berusia 58 tahun datang ke klinik dengan keluhan bingung dan agitasi. Dia menganggap dunia ini tidak nyata. Pasien memiliki riwayat kecanduan alkohol berat dan pernah dirawat di ruang perawatan rumah sakit jiwa. Apakah keluhan yang paling sesuai untuk gejala pasien ini? A. depersonalization B. derailment

C. derealization D. focal memory deficit E. signal anxiety 41


8/13/2014

Convergence strategy: bagian dari jawaban yang benar sering muncul

Suatu anestesi lokal paling efektif pada keadaan:

A. Bentuk Anionic, bekerja dari dalam membran sel saraf B. Bentuk Cationic, bekerja dari dalam membran sel saraf C. Bentuk Cationic, bekerja dari luar membran sel saraf D. Bentuk tidak bermuatan, bekerja dari dalam membran sel saraf E. Bentuk tidak bermuatan, bekerja dari luar membran sel saraf 42


8/13/2014

Pilihan berupa kalimat panjang dan kompleks Peer review committees in HMOs may move to take action against a physician’s credentials to care for participants of the HMO. There is an associated requirement to assure that the physician receives due process in the course of these activities. Due process must include which of the following

A. Notice, an impartial forum, council, a chance to hear and confront evidence against him/her B. Proper notice, a tribunal empowered to make decision, a chance to confront witnesses against him/her, and a chance to present evidence in defense C. Reasonable and timely notice, impartial panel empowered to make a decision, a chance to hear evidence against himself/herself and to confront witnesses, and the ability to present evidence in defense

43


8/13/2014

Terminologi frekuensi yang tidak jelas: biasanya, sering dsb

Obesitas yang berat pada awal masa remaja:

• A. Biasanya memiliki respon yang baik dengan pemberian obat diet • B. Sering berhubungan dengan gangguan endokrin • C. Memiliki kemungkinan 75% sembuh secara spontan • D. Memiliki prognosis yang jelek • E. Biasanya memiliki respon yang baik dengan pharmacotherapy dan psychotherapy secara intensif 44


8/13/2014

Bahasa pada option tidak paralel, urutan tidak logis Pada suatu uji vaksin, 200 orang anak laki-laki berusia 2 tahun diberikan vaksin untuk menghadapi sebuah penyakit dan diikuti selama 5 tahun untuk melihat timbulnya penyakit. Dari kelompok tersebut 85% tidak pernah terjangkit penyakit. Manakah pernyataan yang paling sesuai dengan hasil penelitian ini?

A. Tidak bisa diambil kesimpulan karena tidak dilakukan follow-up terhadap anak-anak yang tidak mendapatkan vaksin B. Jumlah kasus (misalnya, 30 kasus dalam 5 tahun) terlalu sedikit untuk bisa diambil kesimpulan yang bermakna secara statistikal C. Tidak ada kesimpulan yang diambil karena penelitian hanya melibatkan anak laki-laki D.Vaccine efficacy (%) dihitung dengan 85 – 15/100 45


8/13/2014

Menggunakan ‘bukan salah satu di atas’, ‘semua benar’, ‘semua salah’ sebagai salah satu pilihan

Apakah tanda yang paling tepat untuk diagnosis pembesaran kista ovarium?

A. Pekak di bagian depan, sedangkan bagian lateral tympany B. Penurunan peristalsis C. Gelombang cairan

D. shifting dullness E. Bukan salah satu di atas 46


8/13/2014

STEM menjebak, kesulitan yang tidak perlu Arrange the parents of the following children with Down’s syndrome in order of highest to lowest risk of occurrence. Assume that the maternal age in all cases is 22 years and that a subsequent pregnancy occurs within 5 years. The karyotypes of the daughters are :

I. 46, XX, -14, +T (14q21q) pat II. 46, XX, -14, +T (14q21q) de novo III. 46, XX, -14, +T (14q21q) mat IV. 46, XX, -21, +T (14q21q) pat V. 47, XX, -21, +T (21q21q) (parents not karyotyped) A. III, IV, I, V, II B. IV, III, V, I, II C. III, I, IV,V, II D. IV, III, I, V, II E. III, IV, I, II, V 47


8/13/2014

Pilihan: nilai tidak konsisten

Setelah menderita salfingitis untuk kedua kalinya, berapa besar kemungkinan seorang wanita mengalami kemandulan?

•A. •B. •C. •D. •E.

48

Less than 20% 20 to 30% Greater than 50% 90% 75%


8/13/2014

Reference:  Case

and Swanson – Constructing Written Test Questions

 www.nbme.org

49


8/13/2014

50


8/13/2014

Diklat ID MTKI Htl. Santika Depok

Recommend Documents