LAPORAN WORKSHOP STANDARD SETTING KEDOKTERAN UKDI XIX PERIODE PROYEK TAHUN 2012 KOMPONEN 2 PROYEK HPEQ

HPEQ PROJECT 2012 WO

LAPORAN WORKSHOP STANDARD SETTING KEDOKTERAN UKDI XIX PERIODE PROYEK TAHUN 2012 KOMPONEN 2 PROYEK HPEQ

Gedung Dikti Lantai 3, 29 Februari 2012

Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan dan Kebudayaan

WORKSHOP KOMPONEN 2 – FEBRUARI 2012

1

HPEQ PROJECT 2012 WO 1. Pendahuluan Komponen 2 Proyek HPEQ mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Dalam upaya penjaminan mutu sistem ujian salah satunya yang dilakukan adalah proses penetapan batas lulus (standard setting). Mengingat status ujian nasional sebagai ujian yang bersifat high-stake dan menentukan seseorang apakah dapat melakukan profesinya, penetapan batas lulus ini harus adil dan dapat dipertanggungjawabkan. Untuk itu telah terdapat berbagai metode yang telah teruji secara ilmiah dan dilaksanakan secara internasional. Secara umum terdapat 2 pengelompokan metoda yang dapat digunakan, yaitu metoda relatif dan metoda absolut. Dalam kerangka Uji Kompetensi Dokter Indonesia (UKDI) yang dilaksanakan oleh AIPKI bekerjasama dengan Kolegium Dokter Indonesia, selama ini telah dilakukan standard setting untuk penentuan batas lulus peserta UKDI. Setelah sebelumnya digunakan metoda Standard Setting Hofstee (compromised method) yang perlu ditingkatkan kualitasnya dengan melaksanakan metoda absolut, apakah Ebel atau Modified Angoff. Dalam melaksanakan metode yang baru ini diperlukan Judge, yang perlu dilatih untuk penyamaan pemahaman secara teknis maupun filosofis. Pemahaman ini penting karena dalam penentuan batas lulus dilakukan penilaian oleh ahli secara panel. Hal inilah yang ikut berkontribusi terhadap validitas dan pertanggungjawaban penentuan batas lulus yang dilakukan. Mengingat hal tersebut, sebagai bagian dari penjaminan mutu output berupa penentuan batas lulus yang menentukan kelulusan peserta ujian, serta peningkatan kualitas SDM dalam penentuan batas lulus yang dapat dilaksanakan di setiap institusi, perlu dilakukan Standard setting. Pada tahun 2010 dan 2011, proyek HPEQ telah memfasilitasi Workshop Standard Setting, yang telah menghasilkan kesepakatan penggunaan metode, yaitu modified Angoff. Untuk menjaga kualitas standard setting yang digunakan serta menjaga nilai batas lulus yang reliabel, maka UKDI periode XIX, perlu dilaksanakan standard setting. 2. Tujuan Tujuan dari Workshop Standard setting UKDI XIX ini adalah: 1. Menentukan nilai batas lulus UKDI XIX 2. Dipahaminya metode penentuan batas lulus yang adil dan dapat dipertanggungjawabkan secara ilmiah 3. Output Workshop Output yang diharapkan dari workshop ini adalah: 1. Batas lulus untuk UKDI XIX 2. Memahami metode penentuan batas lulus yang adil dan dapat dipertanggungjawabkan secara ilmiah 4. Metode Pelaksanaan Workshop Workshop standard setting UKDI XIX ini dilaksanakan pada tanggal 29 Februari 2012 di Gedung Dikti Lantai 3. Peserta workshop adalah 59 judges perwakilan dari berbagai institusi dan 12 orang fasilitator. Dari segi peserta, kehadiran peserta sangat baik dengan presentase kehadiran sebesar 100% dari total undangan. Bahkan Fakultas kedokteran Unair mengirimkan 2 orang judges. Seorang judges


2

HPEQ PROJECT 2012 WO dari FK UHT namanya sempat tidak ada diundangan, namun setelah konfirmasi bahwa beliau sudah pernah menjadi judges, akhirnya beliau dapat hadir pada workshop ini. Daftar peserta workshop yang hadir adalah sebagai berikut: NO

NAMA

INSTITUSI

Nomor HP

EMAIL

Tilaili Ibrahim

FK Unsyiah Banda Aceh

08126983789

[email protected]

2

Arif Fadillah

FK Univ. Abulyatama Banda Aceh

08126914937; 081269416760 (No HP Sekretaris Dekan)

[email protected]; [email protected] (Email Sekretaris Dekan)

3

Rahmi Surayya

085277712232

[email protected]; [email protected]

4

Farhat

08126556810

[email protected]

5

Ristarin P. Zaluchu

085292122521


6

Linda Panjaitan

081376560289

[email protected]

7

Yuniar Lestari

081363490919

[email protected]

8

H. Yasril Hasan

08126606772

[email protected]

9

Syarif Husin

08127849798

[email protected]

10

Hibsah Ridwan

08117100130

[email protected]

11

Ninik Sukartini

08128868415

[email protected]

12

Shirly Gunawan

0816987751

[email protected]

13

Poppy K. Sasmita

08161620537

[email protected]

14

Saskia N. M.

0811955246

[email protected]

081385392124

[email protected]

08990943963

[email protected]

08128707723

[email protected]

1

15 16

Bernadetta Nadaek Suryadi Susanto

17

Nur Hajriya Brahmi

18

Amir Syarifuddin

FK Univ. Malikussaleh Lhokseumawe FK Univ. Sumatera Utara Medan FK Univ. HKBP Nommensen FK Univ. Prima Indonesia Medan Universitas Andalas Padang FK Univ. Baiturrahmah Padang FK Univ. Sriwijaya Palembang FK Univ. Muh. Palembang FK Univ. Indonesia Jakarta FK Univ. Tarumanagara FK Univ. Atma Jaya Jakarta FK Univ. YARSI Jakarta FK Univ. Kristen Indonesia Jakarta FK Univ. Kristen Krida Wacana Jakarta FK Univ. Pembangunan Nasional Veteran Jakarta

FK Univ. Muh. Jakarta 081387243577



3


19 20

Alyya Siddiqa Ike MP Siregar

21

Winsa

22

Welly Ratwita

23 24

Eka Hendryanny Neneng Suryadinata

25

Fitria Saftarina

26

Adi Khuntoro

27

Setyo Purwono

28

Arum Krismi

29

Erlina Marfianti

30 31

Dwi Ngestiningsih Ulfah Dian Indrayani

32

Noor Yazid

33

Dhoni Akbar Ghozali

34

Safari Wahyu

35

Dwi Arini Ernawati

36

Arif Wicaksono

37

Loly RD Siagian

38

Istiana

39

Astrid Teresa

40

Sri Andarini

41

Fundhy Sinar

FK UIN Jakarta FK Unpad Bandung FK Univ. Maranatha Bandung FK Univ. Jenderal Achmad Yani Cimahi FK Univ. Islam Bandung FK Univ. Pelita Harapan Tangerang FK Univ. Lampung Bandar Lampung FK Univ. Swadaya Gunung Jati Cirebon FK Univ. Gadjah Mada Yogyakarta FK Univ. Kristen Duta Wacana Yogyakarta FK Univ. Islam Indonesia Yogyakarta FK Univ. Diponegoro Semarang FK Univ. Islam Sultan Agung Semarang FK Univ. Muh. Semarang FK Univ. Sebelas Maret Surakarta FK Univ. Muh. Surakarta FK Univ. Jenderal Soedirman Purwokerto FK Univ. Tanjungpura Pontianak FK Univ. Mulawarman Samarinda FK Univ. Lambung Mangkurat Banjarmasin FK Univ. Palangkaraya FK Univ. Brawijaya Malang FK Univ. Airlangga

085882748084 0811221596

[email protected] [email protected]

08122312777

[email protected]

082117811700

[email protected]

0817224082

[email protected]

08158854481

[email protected]

085788515128

[email protected]

08122932611

[email protected]

08562881671

[email protected]

0811254861

[email protected]

087839161997

[email protected]

08157702672

[email protected]

087839993553

[email protected]

08156586799

[email protected]

085728275555

[email protected]

08156714268

[email protected]

082135776427

[email protected]

081802726767

[email protected]

08123315067

[email protected]

081803214919

[email protected]

081210909096

[email protected]

0816554610

[email protected]

08563392515

[email protected]


4


42 43

Ikrar P

Surabaya

Al Munawir Diah Hermayanti

FK Univ. Jember FK Univ. Muh. Malang FK Univ. Wijaya Kusuma Surabaya FK Univ. Nusa Cendana Kupang

44

Herni Suprapti

45

Diana

46 47

Desak Made Wihandani M. Rizkinov Jumsa

48

I Nengah Kapti

49 50 51

Ashaeryanto Aristo Nurmeity

52

Bernadette Dian Novita

53

Ikhlas M. Jenie

54

R. Hasanusi

55

Agnes S Rahayu

56

Sri Asriyani

081559600145

[email protected]

0811368865

[email protected]

08155114086

[email protected]

081353720018

[email protected]

FK Univ. Udayana Bali 081338776244

[email protected]

FK Univ. Mataram

087854366606

[email protected]

08155763967

[email protected]

081342444225 085255278466 081241881401

[email protected] [email protected] [email protected]

08123547540

[email protected]

085868182858

[email protected]

085243050050


085244719222

[email protected]

08164399032

[email protected]

FK Univ. Warmadewa Denpasar FK Unhalu PSPD Untad PSPD Univ. Alkhairat FK Unika Widya Mandala Surabaya FK Univ. Muh. Yogyakarta FK Univ. Pattimura FK Univ. Cenderawasih FK Univ. Hasanuddin Makassar

M. Yulis FK UNRI 085211324747 Hamidy Herin 031-92129634; 58 FK UHT Setianingsih 089677529949 *Satu orang judge dari FK Unair tidak mengisi database. 57

[email protected] [email protected]

Fasilitator yang hadir berjumlah 9 orang dari 12 undangan dan wakil koordinator komponen 2. Daftar fasilitator yang hadir adalah sebagai berikut: No.

Nama

Institusi

HP

E-mail

Tim KB UKDI/ FK UNTAN

081319243747

[email protected]

1

Sugito Wonodirekso

2

Gandes Retno Rahayu

FK UGM

08121552676

[email protected]

3

Iwan Dwi Prahasto

FK UGM

0811293963

[email protected]. uk

4

Tom Suryadi

FK UNTAR

08164809807

[email protected]


5


5

Erial Bahar

6

Mohammad Ghozali

7

Yulherina

8

Cholis Abrori

9

Riyani Wikaningrum

FK UNSRI

0816385712

[email protected]

Tim KB UKDI/ FK UNPAD

081320359090

Tim KB UKDI

0811980414

[email protected]

FK UNEJ

08121519580

[email protected]

FK UY

08161379025

[email protected]


Workshop diawali dengan pembukaan oleh Ketua KBUKDI, Sugito Wonodirekso dengan pengarahan pentingnya standard setting dalam Uji Kompetensi Dokter Indonesia. Setelah itu dilanjutkan presentasi mengenai Borderline atau minimally competent student oleh Moh. Ghozali. Setelah menyepakati kriteria borderline UKDI yang akan digunakan dan kemudian peserta/ judges standard setting dibagi dalam kelompok kecil (8 kelompok) dengan menggunakan metode modified Angoff. Masing-masing kelompok di dampingi oleh fasilitator. Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan cukup tepat waktu. Berikut adalah rundown acara workshop pada kondisi riil : Rabu, 29 Febuari 2012 09.30-09.45

Pembukaan dan Pengarahan

Sugito Wonodirekso/ Ketua KB UKDI

09.45-10.00

Penjelasan borderline

KB UKDI/ Moh. Ghozali

10.00-12.30

Penentuan Batas Lulus UKDI XIX dengan Metode Absolut Angoff (Kerja Kelompok dibagi 8 kelompok)

Fasilitator

12.30-13.30

ISHOMA

Panitia

13.30–14.00

Kesepakatan hasil perhitungan Nilai Batas Lulus (NBL) dan Diskusi

KB UKDI / Yulherina

14.00–14.30

Wrap up dan Rencana tidak Lanjut

Sugito Wonodirekso/ Ketua KB UKDI

5. Hasil Kegiatan Hasil dari latihan menentukan standard setting pada hari pertama adalah sebagai berikut. Kelompok 1-4 mengerjakan buku 1 mendapatkan rata-rata nilai batas lulusnya adalah 62,2. Sedangkan kelompok 5-8 yang mengerjakan buku 2 mendapatkan nilai batas lulusnya adalah 62,9. Hasil rata-rata kedua kelompok ini tidak menunjukkan perbedaan yang signifikan sehingga disepakati bahwa Nilai Batas Lulus (NBL) pada UKDI kali ini adalah 62.


6


Dari hasil kuesioner terhadap fasilitator diketahui bahwa pemahaman judges terhadap konsep borderline sudah cukup baik, karena judges yang terlibat dalam standard setting kali ini pada dasarnya sudah berpengalaman menjadi judges pada standard setting sebelumnya. Hasil dari penentuan Nilai Batas Lulus untuk UKDI XIX pada workshop ini adalah sebagai berikut: No. 1. 2. 3. 4.

KOMPONEN Jumlah judge Jumlah fasilitator Nilai Batas Lulus Kelulusan 1st taker

TARGET 57 12 61 -

REALISASI 59 9 62 79%

Nilai kelulusan first taker tidak ditentukan targetnya karena berdasarkan hasil diskusi tim monev dengan wakil koordinator komponen 2, memang tidak menargetkan presentase kelulusan. Nilai batas lulus lebih tinggi 1 poin dibandingkan UKDI sebelumnya yaitu 61. Nilai batas lulus yang dihasilkan dari proses ini dinilai sudah cukup ideal. Dengan peningkatan nilai batas lulus ini diharapkan lulusan dokter yang dihasilkan benar-benar memiliki kompetensi sesuai dengan standar. Namun demikian, dari hasil kuesioner terhadap penilaian nilai ideal dalam UKDI, beberapa peserta berpendapat bahwa NBL dibawah 70 masih belum ideal karena belum menunjukkan nilai kompetensi seorang dokter. Berdasarkan analisis tim monev, partisipasi peserta sudah baik dalam mengikuti workshop baik dari kehadiran maupun keaktifan dalam berdiskusi. Sebagian besar peserta kooperatif dan memiliki itikad baik dalam melakukan standard setting. Namun, masih ada peserta yang datang terlambat. Apabila peserta datang tepat waktu dan menghadiri semua sesi, workshop dapat berjalan lebih efektif. Di lain pihak, tetap dibutuhkan pematangan dalam kemampuan menentukan standard setting dalam memahami konsep dan metode standard setting serta meninggalkan segala atribut atau kepentingan institusi. Dengan demikian, sebaiknya masing-masing peserta dapat menyusun plan of action yang strategis untuk memperbaiki kinerja sebagai judges dalam penentuan standard setting yang pada akhirnya berkontribusi pada peningkatan kualitas uji kompetensi dokter dan lulusannya. 6. Refleksi Setelah dilakukan analisis hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Gambaran Umum Diskusi dan pemberian materi secara umum berjalan dengan baik. Peserta aktif berdiskusi dan sehingga tercapai kesepahaman dalam memahami kriteria borderline dan metode modified Angoff dengan baik. Tidak ada sesi latihan pada standard setting kali ini karena judges yang


7

HPEQ PROJECT 2012 WO diikutsertakan adalah yang sudah berpengalaman, sehingga pada hari pertama pertemuan, judges sudah langsung bekerja dalam kelompok. Pemahaman yang baik terhadap borderline juga dianggap sebagai salah satu faktor pendukung kesuksesan standard setting kali ini. Hal ini dapat dilihat dari perbedaan antara hasil NBL antara kelompok 1 dan kelompok 2 yang tidak terlalu signifikan. Sehingga secara umum dapat diartikan pemahaman judges terhadap konsep borderline sudah cukup seragam. Fasilitator KENDALA YANG DIHADAPI :     

Kesulitan ditemui pada judges yang institusinya belum meluluskan Beberapa soal dianggap tidak valid Ada ‘oknum’ yang belum menghayati filosofinya. Secara umum tidak ada kendala yang berarti Penghayatan atau penentuan borderline belum sempurna

REKOMENDASI PERBAIKAN :   

Dicoba online method Fasilitator sebaiknya dari AIPKI wilayah Perlu menyiapkan sistem komputerisasi/ computer based untuk standard setting

Peserta Beberapa usul dan saran peserta:  perbaiki kelancaran penggantian transport jangan tertunda lama  mohon sediakan stempel untuk surat tugas dari fakultas  persamaan persepsi fasilitator dalam teknis bimbingan kelompok sehingga sama  ruangan terlalu dingin  waktu workshop lebih panjang  perbanyak simulasi terutama jika jumlah judge baru banyak  lokasi workshop di tempat yang lebih mudah dijangkau  SPPD dari Dikti diberikan bersama undangan, bukan pada saat acara berlangsung  undangan diberikan lebih awal Tim Monev Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring “voice of customer” peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari 59 kuesioner, sejumlah 52 kuesioner kembali ke tim monev. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama orientasi di awal yang jelas, materi yang sangat baik, fasilitator, dan metode workshop yang baik.


8


Proporsi Satisfaction Level 0% 2%

44%

tidak sesuai kurang sesuai

54%

sesuai paling sesuai

Rekap Feedback WS Standard Setting UKDI XIX 35

33

34

33

32

31 30

29

28 26 26 25 25 25 25

27

27

24 24

25

23

24 23

22

21 19

20

19 17

16

16

16

15 10 5

3 00

1 0

00

0

3

22

0

00

1 0

2 0

1 0

1 0

00

1 0

2 1

0

tidak sesuai

kurang sesuai


sesuai

paling sesuai

9


Analisis lebih lanjut terhadap feedback peserta, didapatkan bahwa sebagian besar peserta memberikan respon positif terhadap semua indikator penilaian. Nilai kepuasan terbesar terdapat pada indikator fasilitator dimana peserta merasa mendapatkan added value yang maksimal dari pengarahan yang diberikan oleh fasilitator dalam membantu memahami tugas sebagai judges. Faktor yang dinilai sedikit kurang memuaskan adalah dalam hal indeks kesukaran untuk membantu penilaian dan NBL yang dihasilkan. Dari sisi pelaksanaan workshop, seluruh agenda kegiatan dapat dilaksanakan secara time efficient. Tujuan workshop pun dapat dicapai dengan baik. Acara selesai pada pukul 14.30 dari yang semula direncanakan selesai pada pukul 16.00. Meski demikian, dengan selesainya acara sebelum waktu yang direncanakan menyebabkan tim pelaksana teknis, dalam hal ini keuangan, harus bekerja lebih cepat dalam menyiapkan dana pengganti kepada peserta. Pada saat kegiatan berlangsung juga ada beberapa peserta yang harus pulang sebelum waktunya dikarenakan keterbatasan tiket pesawat untuk pulang ke daerah masing-masing. 7. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : 1. Perlunya sosialiasi hasil Standard setting ini ke institusi masing-masing dalam forum dekan maupun media sosialisasi lainnya. 2. Pemahaman yang lebih baik terhadap konsep borderline dan kesukaran soal kepada masingmasing judges. 3. Pembinaan mahasiswa terutama retaker sebagai hasil tindak lanjut Standard Setting 4. Perbaikan terhadap sistem assessment di institusi pendidikan kedokteran. 5. Penyempurnaan terhadap kriteria judges. 8. Penutup Penentuan batas lulus merupakan kegiatan akhir dari rangkaian sistem ujian. Keseluruhan aspek dalam pelaksanaannya memerlukan proses penjaminan mutu. Dalam penentuan batas lulus ini yang sangat menentukan kelulusan terutama pada kelompok borderline sangat krusial. Oleh karena itu, pemahaman dan peningkatan kemampuan standard setter dalam panel expert sangat diperlukan melalui kegiatan workshop. Oleh karena itu, dukungan semua pihak terhadap keberhasilan workshop ini sangat diperlukan.

9. Lampiran a. Catatan Diskusi b. Materi workshop c. Hasil Standard Setting d. Database peserta e. Foto-foto


10



11

LAPORAN WORKSHOP STANDARD SETTING KEDOKTERAN UKDI XIX PERIODE PROYEK TAHUN 2012 KOMPONEN 2 PROYEK HPEQ

Recommend Documents