OSCE Gandes Retno Rahayu Department of Medical Education Faculty of Medicine Gadjah Mada University
Education for family planning
Test for blood glucose level
Examine the deep tendon reflexes
Take patient’s BP and record its value
Take history taking from the mother of sick child
SUTURING
Demonstrate exam of the thyroid gland
Take a history in an acute chest pain patient
1
OSCE Objective Structured Clinical Examination Objective? or POSCE?
Seven “Ps” of OSCE • • • •
Performance assessment Process and product assessment Profile of students Progress of students can be monitored and feedback can be given • Public assessment • Participation of staff from different disciplines • Pressure for change
2
OSCE: Direct observation of simulated hands-on clinical behavior under standardized test taking conditions, but………. They come in a variety of ways…….
Varieties of OSCEs Patient-based
Traditional OSCE SP-based test Station couplets Integral consultations
Written task
Clinical task
…. …. …. ….
3
Disadvantages Expensive (time and manpower) Vulnerable (logistics)
Miller’s competency pyramid
Does Shows how
OSCE
Knows how Knows Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
4
The construction of an OSCE-station Step 1:
• Decide what you want to assess • Develop blue print for representativeness
Measure what it claims to measure
5
Validity
Blue print / Matrix Expert judgment on the representativeness
Competence Categories
CVS
RS
Case
AMI (3B)
TB Lung
NB
GI
Repro
Febrile Diarrhea Obgyn Conv. (pediatric (contrasept (SP) ion) )
MSS
Endo/ Metab
Low Back Pain
Thyroid (SP)
Haem/ Oncology
GUS
Head & Neck
Special Sense
Phsyciatry
MildDHF Hearing Urinary Schizoprenia Moderate Dissorders Grade 3-4 Retenti Head (SP) on (3A, (adult) Injury (3A, depkes) (SP) depkes) (SP) (SP)
History Taking Physical Exam Tests & Procedures Management Communicati on & Patient Education
Perilaku Profesional
6
The construction of an OSCE-station Step 2: • Writes the assignment for the student - situation - part of the consultation that should be demonstrated - maximum time available
Skenario klinik: Seorang laki-laki usia 35 tahun datang ke Puskesmas dengan keluhan utama mata merah Tugas: Lakukanlah anamnesis dan pemeriksaan dasar mata untuk pasien ini kemudian tentukan diagnosis dan penatalaksanaan yang dibutuhkan
7
The construction of an OSCE-station Step 3:
• Writes the role/script for the simulated patient
Nama : Nama SP sendiri Rentang usia : 25 – 35 tahun Jenis kelamin : Laki-laki/Perempuan, dengan Visus normal Pekerjaan : Sesuai SP sendiri Status pernikahan : Sesuai SP sendiri Pendidikan terakhir : Sesuai SP sendiri Riwayat penyakit sekarang : Keluhan utama : Mata merah lokasi : Mata kanan sejak kapan : 4 hari yang lalu perjalanan penyakit : Semakin hari Semakin memerah keluhan lain terkait keluhan utama : Mata sulit dibuka di pagi hari, ada kotoran mata warna putih kekuningan, mata terasa nyeri, kelopak mata bengkak hal-hal yang memperburuk keluhan : jika mata digosok bertambah merah hal-hal yang mengurangi keluhan: tidak ada Riwayat pengobatan sekarang: sudah diberi obat tetes mata yang dibeli di apotik tapi tidak ada perubahan, lupa nama obatnya apa
8
Riwayat penyakit dahulu : tidak ada Penyakit kronis : tidak ada Riwayat pengobatan penyakit dahulu : tidak ada Riwayat penyakit keluarga : Suami/Istri mengalami keluhan yang sama Riwayat kebiasaan sosial olahraga = sesuai SP sendiri merokok = sesuai SP sendiri diet = sesuai SP sendiri hubungan suami istri = sesuai SP sendiri hubungan dengan tetangga/teman = sesuai SP sendiri Peran yang harus dilakukan: Yang harus dilakukan: memakai kaca mata hitam Pada waktu pemeriksaan Snellen, SP dapat membaca sampai huruf/angka yang terkecil dengan lancar Bila peserta tidak memberikan resep, tanyakan pada peserta obat apa yang harus dibeli Setelah peserta memberikan resep, tanyakan: apa saja yang harus dihindari
The construction of an OSCE-station Step 4: – Write the instruction for examiner
9
Instruksi: Penguji mengamati dan menilai penampilan peserta berdasarkan lembar penilaian Penguji tidak diperbolehkan melakukan interupsi ataupun bertanya kepada peserta selain yang ditentukan Penguji mengingatkan waktu yang tersisa peserta jika tersisa 3 menit lagi Penguji memberikan informasi terhadap data yang dibutuhkan setelah peserta melakukan pemeriksaan fisik sesuai dengan apa yang diperiksa oleh peserta : Inspeksi: Mata merah sebelah kanan, edema palpebra (+) Oblique Iluminasi : Injeksio Konjungtiva (+), secret (+) mukopurulen,
Penguji menanyakan hal berikut kepada kandidat: Pertanyaan untuk kandidat: Apakah diagnosis pasien ini? Apakah penatalaksanaan untuk pasien ini? Jawaban: Konjungtivitis/ Konjungtivitis Akut Penatalaksanaan : Oxitetracyclin 1% zalf mata (boleh menjawab merek dagang) Vitamin C Hygiene diperbaiki Bed Rest Hindari kontak dengan orang lain (Jawaban yang betul wajib menyebutkan Oxitetracyclin 1% zalf mata (boleh menjawab merek dagang) dan Vitamin C) Penguji menyiapkan peralatan untuk peserta ujian berikutnya
10
The construction of an OSCE-station Step 5: – Develop the instrument (narrative rating scale)
INSTRUMEN PENILAIAN STATION MATA Komponen yang dinilai Anamnesis
Pemeriksaan fisik
Keterampilan prosedur klinik Diagnosis dan Tatalaksana Profesionalisme
Konseling
0 Hanya menanyakan keluhan utama
Tidak dilakukan
Tidak melakukan pemeriksaan Visus Diagnosis salah Tidak menciptakan hubungan dokter pasien yang baik (respek dan empati) Tidak melakukan informed consent sebelum melakukan pemeriksaan Tidak memberikan penjelasan
1 Menanyakan: keluhan utama proses perjalanan penyakit sekarang Hanya Melakukan inspeksi
Melakukan pemeriksaan visus dengan menempatkan posisi pasien secara tidak benar Diagnosis benar, tata laksana salah Melakukan informed consent sebelum melakukan pemeriksaan tapi tidak menciptakan hubungan dokter pasien yang baik (respek dan empati), atau Menciptakan hubungan dokter pasien yang baik (respek dan empati) tapi tidak melakukan informed consent sebelum melakukan pemeriksaan Memberikan penjelasan yang tidak benar
2
3
Menanyakan:
Menanyakan riwayat penyakit secara lengkap mencakup riwayat penyakit dahulu dan riwayat penyakit keluarga
keluhan utama proses perjalanan penyakit sekarang Riwayat penyakit dahulu Melakukan: Inspeksi Oblique Iluminasi dengan cara membuka palpebra dan posisi senter yang tidak benar Melakukan pemeriksaan visus dengan: menempatkan posisi pasien secara benar urutan pemeriksaan tidak sesuai prosedur* Diagnosis Benar dan tatalaksana benar tapi tidak lengkap Berusaha menciptakan hubungan dokter pasien yang baik (respek dan empati) Melakukan informed consent sebelum melakukan pemeriksaan
Menjelaskan apa yang harus dihindari dan apa yang harus dilakukan dengan benar tapi dengan bahasa yang tidak dimengerti oleh pasien
Melakukan: Inspeksi Oblique Iluminasi dengan cara membuka palpebra dan posisi senter sekitar 60o Melakukan pemeriksaan visus dengan: menempatkan posisi pasien secara benar urutan pemeriksaan sesuai prosedur* Diagnosis Benar dan tatalaksana benar dan lengkap Menciptakan hubungan dokter pasien yang baik (respek dan empati) Melakukan informed consent sebelum melakukan pemeriksaan
Menjelaskan apa yang harus dihindari dan apa yang harus dilakukan dengan benar dan dengan bahasa yang mudah dimengerti oleh pasien
Keterangan: *= lihat buku panduan tentang prosedur pemeriksaan mata (akan dibuat kemudian)
11
The construction of an OSCE-station Step 6: Identify the all equipments needed, including how to set
• Ruangan dengan ukuran panjang minimal 3 meter dengan cermin ukuran 1 • • • • • • • • • • • • • •
x 1 meter yang diletakkan 3 meter di depan SP dan kartu Snellen diletakkan di belakang SP meja pemeriksaan = 1 meja alat = 1 kursi = 3 Senter = 1 Snellen Test = 1 set Kapas Lidi = 1 set Kasa Steril = 1 set Wastafel = 1 Sabun cair = 1 Tissue = 1 dos Tempat sampah = 1 Catatan rekam medik & ATK Blanko Resep Lembar penilaian
12
The construction of an OSCE-station Step 7: Write down the station writer(s)
Station writers: dr. Suliati P. Amir, dr. Syamrina, dr. Rustam, dr. Asty Amalia
13
The construction of an OSCE-station Step 8: – Write down the reference(s) referred
• General Ophthalmology
14
The construction of an OSCE-station Step 9: – Station review – Make necessary correction
The construction of an OSCE-station Step 10: – Train the simulated patients – Train the examiners/observers
15
Psychometric Issues • • • • •
Reliability (R) Validity (V) Educational impact (E) Acceptability (A) Cost (C)
We can’t have them all
OSCE = POSCE ? • Wider range of competences can be sampled • Students are assessed by several number of examiner NOT just one • Criteria are agreed in advance • A uniform/comparable assessment can be implemented
16
OSCE = POSCE ? • Bottlenecks are: – Number of suitable rooms – Days available in curriculum schedule – Number of students – Available staff – Patients or simulation patients – Test material (models etc)
OSCE = POSCE ? • Avoid excessive time pressure to students ambiguous instruction poorly constructed instrument poorly prepared examiners
17
OSCE = POSCE ? The reliability of a test like this is dependant on many factors but very important are the total test time and the number of stations Many studies have been done: to accomplish a 0.80 reliability requires a 4 hour test with 12-24 stations. A 0.60 reliability requires a 2 hour test with 6-12 stations. (van der Vleuten and Swanson 1990)
Standard setting for OSCE station
Absolute Methods
Compromise Methods
1. Angoff (modified) 2. Ebel
1. The Hofstee Method 2. The Borderline Group Method 3. The Borderline regression method
18
A N G O F F METHOD Content experts serve as judges: Discuss characteristics of a borderline examinee and what constitutes adequate/inadequate knowledge Reach consensus on the qualities of a borderline candidate with specific examples in mind Each judge estimates performance of borderline examinee (s) on each item (1 / 100) MPL Independent observer records judgments Judgments combined (totaled and averaged) to determine passing score
Modified Angoff in OSCE Based on each item in checklist Average scores from judges will be the cutoff point Both overall cut-off and item-by-item one can be calculated
Items
full mark 1 80% 80% Position pt 1 80% Inspection of skin 2 60% Temperature change 1 80% Pulsa- Femoral 1 tion 50% Popliteal 1 50% Post. tibial 1 50% Dors. pedis 1 50% Capillary refill 1 Explain to pt
Total
10
0.8 0.8 1.6 0.6 0.8 0.5 0.5 0.5 0.5 6.6
Pass mark for this station is 6.6 (Ben-David, 2000)
19
The Ebel Method Content experts serve as judges: Session 1 Independently classify each item for DIFFICULTY (easy, medium, or hard); and RELEVANCE (acceptable, important or essential). May review representative performance data. Compute summary statistics – guide
The Ebel Method Session 2 Reach consensus on qualities of a borderline candidate. Prompt: “If a borderline student had to perform a large number of items like these, what percentage would they get correct?” Judges independently estimate the percentage of items in each category that borderline testtakers will answer correctly. Judgments averaged and a passing score is calculated.
20
Hofstee’s method Content experts serve as judges: Review the exam paper What is the minimum acceptable pass score? Min % correct that allows candidate to pass What is the maximum acceptable pass score? Max % correct that allows candidate to pass What is the minimum acceptable pass rate? Lowest acceptable % of failing candidates What is the maximum acceptable pass rate? Highest acceptable % of failing candidates After the test is given, the distribution of scores in graphed and the passing score computed
21
Borderline Regression Method • Increasingly popular in OSCE and performance based •
examination In each station each examinee is assessed using two methods – Check list based method – Global performance (e.g. fail, borderline, pass, outstanding)
• Data from each station is aggregated • A regression equation is developed using global •
performance is independent variable and check list marks as dependent variable Cut-mark (standard) is the boundary between borderline and pass
Borderline Regression Method
Items Explain to pt Position pt Inspection of skin Temperature change Pulsa- Femoral tion Popliteal Post. tibial Dors. pedis Capillary refill Total
Full mark Mark 1 1 1 1 2 2 1 1 1 1 1 1 1 0 1 1 1 1 10 9
Put the global rating from the overall performance in OSCE Fail (1) Borderline (2) Pass (3)
a
Outstanding (4)
22
Borderline Regression Method
Items Explain to pt Position pt Inspection of skin Temperature change Pulsa- Femoral tion Popliteal Post. tibial Dors. pedis Capillary refill Total
Full mark Mark 1 1 1 1 2 1 1 0 0 1 1 1 1 0 1 1 1 0 10 5
Put the global rating from the overall performance in OSCE Fail (1) Borderline (2)
a
Pass (3) Outstanding (4)
Borderline Regression Methods Actual Mark 10 10 9 8 8 7 7 6 5 5
10
8
Actual Mark
Global Rating 4 4 3 3 3 3 2 2 2 1
6
4
Actual Mark = 2.67 + 1.79 * gr R-Square = 0.85
2 0 1
2
3
4
Global Rating
23
Borderline Regression Methods
It is important… • Suitable Judges • Transparent • Sufficient training and practice
24
