Standard Setting OSCE HPEQ Project Komite Bersama Uji Kompetensi Dokter Indonesia
Tim Penguji OSCE 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12.
Wijoyo Halim - AL khaerat C. Singgih Wahono - UB Azwar - Unsyiah Aditiawati - Unsri Ernawati - Untar Bernadetta Nadaek - UKI Agung Dinasti Permana - Unpad Dwi Savitri Rivami - UPH Suyatmi - UNS Erlina Marfianti - UII I Wayan Suwitra - warmadewa Nurhayana – Unhas
2
Tim Penguji OSCE 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24.
M. Bambang Edi Susyanto - FK Universitas Muhammadiyah Yogjakarta Dianawaty Amiruddin - FK Universitas Hasanuddin Virn Nilasari - FK Universitas Islam Bandung Reni Zuraida - FK Universitas Lampung Danial - FK Universitas Mulawarman Sekplin Sekeon - FK Universitas Sam Ratulangi Hasanul Arifin - FK Universitas SumateranUtara Nawanto - FK AtmajaYa Kusmardi - FK Universitas Yarsi Surya Darma - FK Universitas Sriwijaya Satrio Wibowo - FK Universitas Brawijayal Mohamm adZainChilmi - FK Universitas Airlangga
3
Narasumber 1. 2. 3. 4. 5. 6. 7.
Gandes Retno Rahayu - FK UGM/ Jogjakarta Yulherina-KBUKDI Susi Susanah-FK UNPAD/Bandung Nancy Margarita-FK UNAIR/Surabaya E. Suryadi - FK UGM/ Jogjakarta Trijoko Hadianto - FK UGM/ Jogjakarta Yoyo Suhoyo - FK UGM/ Jogiakarta
Tujuan : • mendapatkan metoda penentuan batas lulus OSCE pada setiap station .
5
Standard Setting Absolute Methods • Anggoff (modified) • Ebel
Compromise Methods • The Hofstee Method • Borderline Group Method • Borderline Regression Method
6
Borderline Regression Method Increasingly popular in OSCE and performance based examination In each station each examinee is assessed using two methods Check list based method (Rating Scale, Actual marck) Global performance ( fail, borderline, pass, outstanding) Data from each station is aggregated A regression equation is developed using global performance is independent variable and check list marks as dependent variable Cut-mark (standard) is the boundary between borderline and pass 7
Bordeline Regression Method • Metode standar setting yang akan digunakan adalah Borderline Regression Method • Penilaian : – Actual Mark – Global Rating
• Actual Mark – Penjelasan arti nilai (0,1,2,3) pada check list actual mark harus jelas (batasannya jelas) agar penguji tidak salah mentafsirkan nilai yang ada pada check list dan tidak tumpang tindih.
• Global Rating – diupayakan meminimalisasi aspek subyektivitas dari penilaian ( batasan operasional Global rating)
8
Actual mark, Checklist • Sesuai dengan instruksi terhadap kandidat dan kasus atau soal yang diajukan – Checklist aspek yang dinilai atau prosedur yang harus dilakukan. – Checklist dengan lembar penilaian (0,1,2,3)
• Penguji hanya mengisi lembar penilaian tanpa intervensi kecuali diinstruksikan atau disyaratkan dalam soal (instruksi penguji). 9
DAFTAR TILIK (CHECK LIST) PEMASANGAN INFUS NILAI NO
ASPEK YANG DINILAI
0
1
2
3
1
Mengucap salam dan memperkenalkan diri
Kandidat tidak melakukan
Kandidat hanya mengucapkan salam
Kandidat menggucapka n salam dan memperkenal kan diri
Kandidat mengucapk an salam, memperken alkan diri menanyaka n identitas pasien
2
Cuci tangan dan gunakan sarung tangan non-steril
Kandidat tidak mencuci tangan dan menggunak an sarung tangan
Kandidat hanya mencuci tangan, tidak menggunakan sarung tangan
Kandidat tidak mencuci tangan, langsung menggunakan sarung tangan
Kandidat mencuci tangan dan menggunak an sarung tangan
10
DAFTAR TILIK (CHECK LIST) PEMASANGAN INFUS ( contreng pada kolom nilai yang sesuai) NILAI NO
ASPEK YANG DINILAI 0
1
Mengucap salam dan Memperkenalkan diri
2
Cuci tangan dan gunakan sarung tangan nonsteril (non-sterile gloves, CDC 2002)
1
2
3
11
Borderline Regression Method (BRM) • BRM 2 penilaian : – Checklist ( actual mark) – Global rating
• Checklist (actual mark) – penguji hanya memberi penilaian tanpa intervensi – Dengan cara mencontreng pada lembar checklist – Kemudian jumlahkan sebagai nilai total. 12
Global Rating • Persepsi (kesan) umum dari penguji terhadap performance keseluruhan kandidat ( sesuai aspek yang diuji, mulai anamnesis s/d perilaku profesional) • Global Rating • 1 tidak lulus • 2 borderline (minimally competence) • 3 lulus • 4 outstanding 13
Penilaian yang akan dimasukkan • Total nilai : – Actual Marck : ..............
• Global Rating : • 1. tidak lulus • 3. lulus
2. 4.
borderline outstanding
14
Penentuan “ MPL” Minimum Passing Level • Cari titik singgung dari global rating dan actual mark sebagai MPL , cut off point • Cara mencari titik singgung dengan menggunakan soft ware ‘ Excell” grafik hubungan antara nilai GR dan AM • Lulus ≥ MPL
15
MPL, 10 kandidat, 15 item, nilai (actual mark) 0,1,2 global rating 1, 2, 3, 4 NO
GR
AM
1
1
10
2
3
20
3
2
14
25
4
2
18
20
5
3
22
6
4
28
7
4
30
10
8
3
26
5
9
2
16
10
3
24
30
15
1
2
3
4 16
Latihan BRM Nilai Actual Marck (0,1,2,3) dan Global Rating (1,2,3,4) dari 20 Mahasiswa peserta OSCE Station Kanulasi Vena Perifir, dengan 9-items penilaian 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.
Keluarkan EXCELL-2007 Ketik di B-1, Global Rating (GR) Ketik di C-1, Actual Marck (AM) Ketik mulai B2 s/d B21, nilai GR Ketik mulai C2 s/d C21, nilai AM Block B1-B21 dan C1-C21 Klick “ Insert “ Klick “ Scatter “ Klick Scatter kiri atas Klick pada “ Chart Layouts “ paling kanan
11. Klick pada axis title yg tegak , ketik “Actual Marck” 12. Klick pada axis title yg datar , ketik “Global Rating” 13. Cari titik potong nilai 2 dari Gobal Rating dengan nilai Actual Marck 14. merupakan batas nilai lulus (MPL) 15. Nilai lulus adalah nilai Actual Marck ≥ MPL
17
Actual Marck 24 12 9 15 20 22 16 17 10 12 14 22 21 16 8 26 20 11 16 8
30
25
20
Actual Marck A
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Global Rating 4 1 1 2 2 3 2 3 1 2 3 4 4 3 1 4 3 2 3 1
≥14
15 Actual Marck Linear (Actual Marck)
14
10
5
0 0
0,5
1
1,5
2
2,5
3
3,5
4
4,5
Global Rating
18
Global Rating Actual Marck 3
12
2
3
14
3
4
15
4
3
11
5
2
10
6
1
8
7
2
11
8
2
9
9
3
12
10
2
11
11
4
14
12
4
14
13
3
13
14
2
10
15
1
8
16
1
7
17
1
9
18
2
9
19
3
13
20
3
12
LULUS ≥10
16
14
12
10 Actual Marck
1
8 Actual Marck Linear (Actual Marck)
6
4
2
0 0
1
2
3
4
5
Global Rating
20 mahasiswa, 5-items penilaian, Act.Marck (0,1,2,3) dan Global Rating (1,2,3,4) 19
