LAPORAN WORKSHOP STANDARD SETTING KEDOKTERAN UKDI XVIII PERIODE PROYEK TAHUN 2011 KOMPONEN 2 PROYEK HPEQ

HPEQ PROJECT 2011 WO

LAPORAN WORKSHOP STANDARD SETTING KEDOKTERAN UKDI XVIII PERIODE PROYEK TAHUN 2011 KOMPONEN 2 PROYEK HPEQ

Hotel Arion Cengkareng, 22 – 23 November 2011

Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional

WORKSHOP KOMPONEN 2 – NOVEMBER 2011

Page 1


1. Pendahuluan Komponen 2 Proyek HPEQ mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Dalam upaya penjaminan mutu sistem ujian salah satunya yang dilakukan adalah proses penetapan batas lulus (standard setting). Mengingat status ujian nasional sebagai ujian yang bersifat high-stake dan menentukan seseorang apakah dapat melakukan profesinya, penetapan batas lulus ini harus adil dan dapat dipertanggungjawabkan. Untuk itu telah terdapat berbagai metode yang telah teruji secara ilmiah dan dilaksanakan secara internasional. Secara umum terdapat 2 pengelompokan metoda yang dapat digunakan, yaitu metoda relatif dan metoda absolut. Dalam kerangka Uji Kompetensi Dokter Indonesia (UKDI) yang dilaksanakan oleh AIPKI bekerjasama dengan Kolegium Dokter Indonesia, selama ini telah dilakukan standard setting untuk penentuan batas lulus peserta UKDI. Setelah sebelumnya digunakan metoda Standard Setting Hofstee (compromised method) yang perlu ditingkatkan kualitasnya dengan melaksanakan metoda absolut, apakah Ebel atau Modified Angoff. Dalam melaksanakan metode yang baru ini diperlukan Judge, yang perlu dilatih untuk penyamaan pemahaman secara teknis maupun filosofis. Pemahaman ini penting karena dalam penentuan batas lulus dilakukan penilaian oleh ahli secara panel. Hal inilah yang ikut berkontribusi terhadap validitas dan pertanggungjawaban penentuan batas lulus yang dilakukan. Mengingat hal tersebut, sebagai bagian dari penjaminan mutu output berupa penentuan batas lulus yang menentukan kelulusan peserta ujian, serta peningkatan kualitas SDM dalam penentuan batas lulus yang dapat dilaksanakan di setiap institusi, perlu dilakukan Standard Setting. Pada tahun 2011, proyek HPEQ telah memfasilitasi 3 gelombang Workshop Standard Setting, yang telah menghasilkan kesepakatan penggunaan metode, yaitu modified angoff. Untuk menjaga kualitas standard setting yang digunakan serta menjaga nilai batas lulus yang reliabel, maka UKDI periode XVIII, perlu dilaksanakan standard setting.

2. Tujuan 1. Menentukan nilai batas lulus UKDI XVIII 2. Dipahaminya metode penentuan batas lulus yang adil dan dapat dipertanggungjawabkan secara ilmiah 3. Output Workshop Output yang diharapkan dari workshop ini adalah: 1. Batas lulus untuk UKDI XVIII 2. Memahami metode penentuan batas lulus yang adil dan dapat dipertanggungjawabkan secara ilmiah 4. Metode Pelaksanaan Workshop Workshop standard setting UKDI XVIII ini dilaksanakan pada tanggal 22-23 November 2011 di Hotel Arion Cengkareng. Peserta workshop adalah 58 judges perwakilan dari berbagai institusi dan 11 orang fasilitator.


Page 2


Dari segi peserta, kehadiran peserta cukup baik dengan prosentase kehadiran sebesar 80,5% dari total undangan. Daftar peserta workshop yang hadir adalah sebagai berikut: NO

NAMA

1

Tilaili Ibrahim

2

Arif Fadillah

3

Rahmi Surayya

4

Farhat

5

Ristarin P. Zaluchu

6

INSTITUSI

HP

EMAIL

FK Unsyiah Banda Aceh

08126983789

[email protected]

FK Univ. Abulyatama Banda Aceh FK Univ. Malikussaleh Lhokseumawe FK Univ. Sumatera Utara Medan

08126914937

[email protected]

085277712232

[email protected]; [email protected]

08126556810

[email protected]

FK Univ. HKBP Nommensen

085292122521


Linda Panjaitan

FK Univ. Prima Indonesia Medan

081376560289

[email protected]

7

Arina Widya Murni

FK Univ. Andalas Padang

08126740742

[email protected]

8

H. Yasril Hasan

FK Univ. Baiturrahmah Padang

08126606772

[email protected]

9

Syarif Husin

FK Univ. Sriwijaya Palembang

08127849798

[email protected]

10

Hibsah Ridwan

FK Univ. Muh. Palembang

08117100130

[email protected]

11

Ninik Sukartini

FK Univ. Indonesia Jakarta

08128868415

[email protected]

12

Shirly Gunawan

FK Univ. Tarumanagara

0816987751

[email protected]

13

Rika Haryono

FK Univ. Atma Jaya Jakarta

0811192594

[email protected]

14

Saskia N. M.

FK Univ. YARSI Jakarta

0811955246

[email protected]

15

Bernadetta Nadeak

16

Suryadi Susanto

17

Nur Hajriya Brahmi

18

Amir Syarifuddin

19

FK Univ. Kristen Indonesia Jakarta FK Univ. Kristen Krida Wacana Jakarta FK Univ. Pembangunan Nasional Veteran Jakarta

081385392124

[email protected]

08990943963

[email protected]

08128707723

[email protected]

FK Univ. Muh. Jakarta

081387243577

[email protected]

Alyya S

FK UIN Jakarta

085882748084

[email protected]

20

Angga K

FK Unpad Bandung

0811248818

[email protected]

21

Hana Ratnawati

FK Univ. Maranatha Bandung

0816624539

[email protected]

22

Welly Ratwita

FK Univ. Jenderal Achmad Yani Cimahi

082117811700

23

Eka Hendryanny

FK Univ. Islam Bandung

0817224082

[email protected]

24

Neneng Suryadinata

08158854481

[email protected]

25

Fitria Saftarina

085788515128

[email protected]

FK Univ. Pelita Harapan Tangerang FK Univ. Lampung Bandar Lampung


[email protected]

Page 3


26

Adi Khuntoro

27

Setyo Purwono

28

Arum Krismi

29

Erlina Marfianti

30

Dwi Ngestiningsih

31

Ulfah Dian Indrayani

32

Noor Yazid

33

FK Univ. Swadaya Gunung Jati Cirebon FK Univ. Gadjah Mada Yogyakarta FK Univ. Kristen Duta Wacana Yogyakarta FK Univ. Islam Indonesia Yogyakarta

08122932611

[email protected]

08562881671

[email protected]

0811254861

[email protected]

087839161997

[email protected]

FK Univ. Diponegoro Semarang

08157702672

[email protected]

FK Univ. Islam Sultan Agung Semarang

087839993553

[email protected]

FK Univ. Muh. Semarang

08156586799

[email protected]

Dhoni Akbar Ghozali

FK Univ. Sebelas Maret Surakarta

085728275555

[email protected]

34

Safari Wahyu

FK Univ. Muh. Surakarta

08156714268

[email protected]

35

Dwi Arini Ernawati

082135776427

[email protected]

36

Arif Wicaksono

081802726767

[email protected]

37

Loly Rd. Siagian

08123315067

[email protected]

38

Istiana

081803214919

[email protected]

39

Astrid Teresa

FK Univ. Palangkaraya

081210909096

[email protected]

40

Sri Andarini

FK Univ. Brawijaya Malang

0816554610

[email protected]

41

Fundhy Sinar Ikrar P

FK Univ. Airlangga Surabaya

08563392515

[email protected]

42

Al Munawir

FK Univ. Jember

081559600145

[email protected]

43

Diah Hermayanti

FK Univ. Muh. Malang

0811368865

[email protected]

44

Herni Suprapti

FK Univ. Wijaya Kusuma Surabaya

08155114086

[email protected]

45

Diana

FK Univ. Nusa Cendana Kupang

081353720018

[email protected]

46

Desak Made Wihandani

FK Univ. Udayana Bali

081338776244

[email protected]

47

M. Rizkinov Jumsa

FK Univ. Mataram

087854366606

[email protected]

48

I Nengah Kapti

FK Univ. Warmadewa Denpasar

08155763967

[email protected]

49

Ashaeryanto

FK Unhalu

081342444225

[email protected]

50

Aristo

PSPD Untad

085255278466

[email protected]

51

Nurmeity

PSPD Univ. Alkhairat

081241881401

[email protected]

52

Bernadette Dian Novita

FK Unika Widya Mandala Surabaya

08123547540

[email protected]

53

Ikhlas M. Jenie

FK Univ. Muh. Yogyakarta

085868182858

[email protected]

FK Univ. Jenderal Soedirman Purwokerto FK Univ. Tanjungpura Pontianak FK Univ. Mulawarman Samarinda FK Univ. Lambung Mangkurat Banjarmasin


Page 4


FK Univ. Pattimura

085243050050


FK Univ. Cenderawasih

085244719222

[email protected]

Sri Asriyani

FK Univ. Hasanuddin Makassar

08164399032

[email protected]

57

Djoko Prakosa

FK Univ. Gadjah Mada Yogyakarta

08121567167

[email protected]

58

M. Yulis Hamidy

085211324747

[email protected]

54

R. Hasanusi

55

Agnes S Rahayu

56

FK UNRI

Adapun peserta yang tidak dapat hadir adalah sebagai berikut:

Fasilitator yang hadir berjumlah 11 orang dari 13 undangan. Daftar fasilitator yang hadir adalah sebagai berikut: No.

Nama

Institusi

HP

E-mail

Tim KB UKDI/ FK UNTAN

081319243747

[email protected]

08121552676

[email protected]

1

Sugito Wonodirekso

2

Gandes Retno Rahayu

FK UGM

3

Iwan Dwi Prahasto

FK UGM

4

Tom Suryadi

FK UNTAR

08164809807

[email protected]

5

Erial Bahar

FK UNSRI

0816385712

[email protected]

6

Sari Puspa Dewi

Tim KB UKDI/ FK UNPAD

08121416638

[email protected]

7

Mohammad Ghozali


081320359090


8

Yulherina

Tim KB UKDI

0811980414

[email protected]

9

Setiawan


087821987995

[email protected]

10

Cholis Abrori

11

Riyani Wikaningrum

08161379025

[email protected]

FK UNEJ FK UY

Workshop diawali dengan pembukaan oleh narasumber KBUKDI. Pada workshop hari pertama dilakukan pemberian materi kepada seluruh peserta dengan metode presentasi materi, diskusi dan tanya jawab. Setelah itu dilanjutkan dengan menyepakati kriteria borderline UKDI yang akan digunakan dan kemudian dilakukan latihan untuk menentukan standard setting dalam kelompok kecil (8 kelompok) dengan menggunakan metode Angoff.


Page 5

HPEQ PROJECT 2011 WO Pada hari kedua peserta menentukan Nilai Batas Lulus UKDI XVIII dengan Setelah itu di akhir workshop dilakukan post-test untuk menilai peningkatan pengetahuan peserta. Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan cukup tepat waktu. Berikut adalah rundown acara workshop pada kondisi riil :

Selasa, 22 November 2011 14.20 – 14.30 Pembukaan dan Pengarahan Workshop

Yulherina / Narasumber KBUKDI Gandes Retno Rahayu

14.30 – 16.15

Materi: Penentuan Batas Kelulusan UKDI dengan Metode Absolut Angoff

16.15 – 18.00

Penentuan Kriteria Borderline

Gandes Retno Rahayu

18.00 – 19.45

ISHOMA

Panitia

19.45 – 22.30

Latihan Penentuan Nilai Batas Lulus (standard setting)

Fasilitator

22.30 – 23.00

Penentuan Nilai Batas Lulus dan diskusi

Fasilitator

Rabu, 23 November 2011 08.00 – 08.30 Pemaparan profil UKDI XVIII

Fasilitator

08.30 – 11.00

Penentuan Batas Lulus UKDI XVIII dengan Metode Absolut Angoff

Fasilitator

11.00 – 11.30

Kesepakatan hasil perhitungan Nilai Batas Lulus

Fasilitator

11.30 – 12.00

Wrap up dan rencana tindak lanjut

Fasilitator

5. Hasil Kegiatan Hasil dari latihan menentukan standard setting pada hari pertama adalah sebagai berikut: Kelompok 1 2 3 4 5 6 7

Round 1 70,6 61 72,4 71 66,4 68,7 60


Round 2 70,6 58,6 73,2 66 63,4 65,6 58,4

Page 6

HPEQ PROJECT 2011 WO 8 MEAN SD

65,6 66,96 4,60

60 64,47 5,47

Berdasarkan hasil di atas dapat terlihat bahwa antara satu kelompok dengan yang lain cukup bervariasi dalam menentukan nilai batas lulus. Berdasarkan diskusi yang dilakukan peserta dan fasilitator terhadap hasil latihan ini, hal ini dapat disebabkan oleh:  Terkadang melupakan pemahaman mengenai kriteria borderline dan menentukan nilai berdasarkan berapa persen mahasiswa yang dapat menjawab soal  Pengaruh dari kualitas soal  Pengaruh dari persepsi pribadi mengenai tingkat kesulitan soal  Judge menempatkan diri sebagai borderline, bukan menempatkan diri sebagai judge Berdasarkan input dari fasilitator, variasi akan selalu ada di dalam satu kelompok antara satu judge dan lainnya. Hal yang terpenting adalah argumentasi dan proses dialog dalam penentuan standard setting agar menghasilkan nilai batas lulus yang memiliki dasar secara ilmiah. Pada hari kedua judges menentukan standard setting untuk UKDI XVIII. Hasil dari penentuan Nilai Batas Lulus untuk UKDI XVIII pada workshop ini adalah sebagai berikut: No. 1. 2. 3. 4.

KOMPONEN Jumlah judge Jumlah fasilitator Nilai Batas Lulus Kelulusan 1st taker

TARGET 72 13 60 70

REALISASI 58 11 61 71,67%

Didapatkan nilai batas lulus dan kelulusan 1st taker sudah mencapai target. Nilai batas lulus lebih tinggi dibandingkan UKDI sebelumnya yaitu 58. Nilai batas lulus yang dihasilkan dari proses ini dinilai sudah cukup ideal. Dengan peningkatan nilai batas lulus ini diharapkan lulusan dokter yang dihasilkan benar-benar memiliki kompetensi sesuai dengan standar. Berdasarkan analisis tim monev, partisipasi peserta sudah baik dalam mengikuti workshop baik dari kehadiran maupun keaktifan dalam berdiskusi. Peserta kooperatif dan memiliki itikad baik dalam melakukan standard setting. Namun, masih ada peserta yang datang terlambat. Apabila peserta datang tepat waktu dan menghadiri semua sesi, workshop dapat berjalan lebih efektif. Setelah menjalankan dua hari workshop, peserta dinilai telah mampu menjadi judges. Dengan demikian, target workshop ini sudah tercapai. Di lain pihak, tetap dibutuhkan pematangan dalam kemampuan menentukan standard setting baik untuk judges yang baru ataupun yang sudah berpengalaman dalam memahami konsep dan metode standard setting serta meninggalkan segala atribut atau kepentingan institusi. Dengan demikian, sebaiknya masing-masing peserta dapat menyusun plan of action yang strategis untuk memperbaiki kinerja sebagai judges dalam penentuan standard setting yang pada akhirnya berkontribusi pada peningkatan kualitas uji kompetensi dokter dan lulusannya.


Page 7

HPEQ PROJECT 2011 WO 6. Refleksi Setelah dilakukan analisis hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Gambaran Umum Diskusi dan pemberian materi secara umum berjalan dengan baik. Peserta aktif berdiskusi dan sehingga tercapai kesepahaman dalam memahami kriteria borderline dan metode absolute Angoff dengan baik. Pada saat latihan terlihat variasi antar kelompok judges masih cukup besar namun setelah mendapatkan feedback dari fasilitator, pada hari kedua kelompok sudah lebih seragam dalam penentuan standard setting. Fasilitator KENDALA YANG DIHADAPI :  Konsistensi peserta dalam penilaian  Definisi borderline belum dapat diterapkan secara penuh  Judges yang dikirimkan berganti-ganti dan sebagian belum memenuhi persyaratan/kualifikasi yang ada untuk menjadi judge.  Diperlukan effort lebih untuk menanamkan pemahaman konsep pada judges yang baru. REKOMENDASI PERBAIKAN :  Ruangan lebih besar  Mengundang semua stakeholders baik judges yang senior maupun yang masih baru  Membuat banyak set judges  Banyak berlatih, konsep standard setting sebaiknya mulai dikenalkan di institusi  Kriteria dan representasi dari judge perlu disempurnakan Peserta Beberapa usul dan saran peserta:  perbaiki kelancaran penggantian transport jangan tertunda lama  mohon sediakan stempel untuk surat tugas dari fakultas  persamaan persepsi fasilitator dalam teknis bimbingan kelompok sehingga sama  ruangan terlalu dingin  waktu workshop lebih panjang  perbanyak simulasi terutama jika jumlah judge baru banyak  lokasi workshop di tempat yang lebih mudah dijangkau  SPPD dari Dikti diberikan bersama undangan, bukan pada saat acara berlangsung  undangan diberikan lebih awal Tim Monev Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring “voice of customer” peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari 58 kuesioner, sejumlah 52 kuesioner kembali ke tim monev. Pencapaian yang sangat positif ini merupakan kontribusi dari berbagai pihak, terutama orientasi di awal yang jelas, materi yang sangat baik, fasilitator, dan metode workshop yang baik.


Page 8


PROPORSI SATISFACTION LEVEL 1% 4% 49% 46%

tidak sesuai

kurang sesuai

sesuai

paling sesuai

REKAP FEEDBACK WS STANDARD SETTING KEDOKTERAN Jakarta, 23 November 2011

tidak sesuai

kurang sesuai

sesuai

paling sesuai

42 37 33 28

25 20

21 16

15

2425

21

27

26 23

20

10


0

2

00

0

3

12

1

3 Kenyamanan tempat

4

Pelayanan panitia

2

Output menjadi referensi

01

NBL ideal

01

Waktu

3

Fasilitator

0

Kesempatan sama peserta

5 1 Indeks kesukaran membantu

12 Definisi borderline

01 Orientasi awal WS jelas

3 Tujuan & manfaat SS dipahami

Mempertimbangkan stakeholder

0

27

14

9 00

28 24

Metode WS efektif

21

30

27 24

TOR jelas

30

33

Page 9


Analisis lebih lanjut terhadap feedback peserta, kepuasan terbesar peserta dirasakan terhadap output workshop, dimana peserta merasa mendapatkan added value yang besar dalam membantu memahami tugas sebagai judges. Faktor yang dinilai sedikit kurang memuaskan adalah dalam hal indeks kesukaran untuk membantu penilaian dan NBL yang dihasilkan. 7. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : 1. Standard setting diharapkan dapat mulai diterapkan di institusi masing-masing 2. Mematangkan pemahaman dan terus berlatih sebagai judge 3. Untuk penentuan standard setting UKDI diharapkan judge dari institusi sebisa mungkin memenuhi kriteria/persyaratan yang ada 4. Hasil standard setting pada workshop ini diharapkan dapat menjadi landasan evaluasi pelaksanaan proses pendidikan dan sistem assessment di institusi masing-masing 8. Penutup Penentuan batas lulus merupakan kegiatan akhir dari rangkaian sistem ujian. Keseluruhan aspek dalam pelaksanaannya memerlukan proses penjaminan mutu. Dalam penentuan batas lulus ini yang sangat menentukan kelulusan terutama pada kelompok borderline sangat krusial. Oleh karena itu, pemahaman dan peningkatan kemampuan standard setter dalam panel expert sangat diperlukan melalui kegiatan workshop. Oleh karena itu, dukungan semua pihak terhadap keberhasilan workshop ini sangat diperlukan.


Page 10

LAPORAN WORKSHOP STANDARD SETTING KEDOKTERAN UKDI XVIII PERIODE PROYEK TAHUN 2011 KOMPONEN 2 PROYEK HPEQ

Recommend Documents