Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Dan Kebudayaan

HPEQ PROJECT 2012 WO

LAPORAN WORKSHOP Standard Setting UKDGI Periode 2 Tahun 2012 KOMPONEN 2 - Health Professional Education Quality (HPEQ Project)

Hotel Century Atlit Jakarta, 9 Mei 2012

Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Dan Kebudayaan

WORKSHOP KOMPONEN 2 – APRIL 2012

1


1. Pendahuluan Komponen 2 proyek HPEQ mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Dalam upaya penjaminan mutu sistem ujian ini salah satunya dilakukan melalui proses penetapan batas lulus (standard setting). Mengingat status uji kompetensi sebagai ujian yang bersifat high-stake dan menentukan seseorang apakah dapat melakukan profesinya, penetapan batas lulus ini harus adil dan dapat dipertanggungjawabkan. Sejak Uji kompetensi Dokter Gigi Indonesia periode III 20120 (periodeJuli 2010) telah digunakan metode standard setting Modified Angoff, sebuah metode penentuan batas lulus yang dilakukan oleh ahli secara panel.Hal inilah yang ikut berkontribusi dalam akuntabilitas/pertanggungjawaban penentuan batas lulus yang dilakukan. Pada Uji kompetensi Dokter Gigi periode I 2012, bentuk uji kompetensi mengalami perubahan yang nyata. Uji kompetensi tidak hanya semata menguji kemampuan knowledge/teori peserta ujian melalui ujian berbentuk MCQ’s tetapi juga menguji kemampuan skills/ketrampilan peserta ujian dengan menggunakan ujian berbentuk OSCE. Metoda standard setting Borderline Regression methode digunakan sebagai metode penentu batas lulus dalam ujian OSCE UKDGI. Sedangkan untuk penentuan batas lulus dalam ujian MCQ’s tetap menggunakan Standard Setting Modified Angoff. Mengingat hal di atas, sebagai bagian dari penjaminan mutu output berupa penentuan batas lulus yang menentukan kelulusan peserta ujian, serta peningkatan kualitas SDM dalam penentuan batas lulus yang dapat dilaksanakan di setiap institusi, perlu dilakukan Standard Setting Kedokteran Gigi secara kontinu setelah pelaksanaan uji kompetensi tiap periode. Selain kegiatan Standard Setting dirasa perlu melakukan evaluasi UKDGI sebagai bahan perbaikan pada penyelenggaraan UKDGI periode berikutnya. 2. Tujuan Kegiatan Tujuan dilaksanakannya workshop kali ini adalah: 1. Dipahaminya metode penentuan batas lulus yang adil dan dapat dipertanggungjawabkan secara ilmiah 2. Menentukan Nilai Batas Lulus (NBL) UKDGI 3. Evaluasi penyelenggaraan UKDGI 3. Indikator Keluaran 1. Nilai Batas Lulus untuk ujian MCQ dan OSCE periode II April 2012 2. Persentase kelulusan UKDGI periode II April 2012 3. Hasil Evaluasi dan rencana tindak lanjut penyelenggaraan UKDGI


2


4. Metode Pelaksanaan Kegiatan Workshop ini dilaksanakan pada tanggal 9 Mei 2012 di Hotel Century Atlit Jakarta. Workshop dilakukan melalui diskusi panel kelompok. Peserta yang hadir dibagi menjadi 5 kelompok besar dimana setiap kelompok mereview @20soal. Pembagian kelompoknya adalah sebagai berikut : 1. Kelompok 1 : soal 1-20 (Fasilitator : drg. Indri dan drg. Mia D) - Trelia Boel (FKG USU) - Edrizal (FKG UNBRAH) - Burhanuddin B Pasiga (FKG UNHAS) - Zaki Mubarak (FKG UNSYIAH) - Monang Panjaitan (FKG UNPRIMA) - Hidayati (PSKG UNAND) 2. Kelompok 2 : soal 21-40 (Fasilitator : drg. Utmi dan drg. Anna) - Suharsini S (FKG UI) - Dwis Syahriel (FKG UNMAS) - Dharmawan (FKG UNAIR) - Widya Irsyad (FKG UNJANI) - Dahlia Sutanto (FKG UKM) 3. Kelompok 3 : soal 41-60 (Fasilitator : drg. Adam dan drg. Iwan) - Ary Inrawati (FKG USAKTI) - Sri Lestari (FKG UNEJ) - Dian M (FKG UHT) - Fani Tuti Handayani (PSKG UNSOED) - R. Rama Putranto (PSKG UNISULA) 4. Kelompok 4 : soal 60-80 (Fasilitator : Prof. Mei Syafriadi dan drg. Gilang Y) - Sunardhi Widyaputra (FKG UNPAD) - Siti Rusdiana Puspa Dewi (FKG UNSRI) - Sartika (PRODI UMY) - Dini Rachmawati (PSKG UB) 5. Kelompok 4 : soal 60-80 (Fasilitator : Prof. Haslinda dan drg. Wiwiek) - Erwan Sugiatno (FKG UGM) - Komang Krisna Dewi(FKG UPDMB) - Afrida Nurmalasari (PSKG IIK Bhakti Wiyata Kediri) - Vonny N.S. Wowor (PSKG UNSRAT) - Didit Aspriyanto (PSKG UNLAM) Workshop ini dihadiri oleh seluruh peserta rapat yang terdiri dari 25 pembantu/Wakil Dekan Bidang Akademik/Tim kurikulum baik yang institusinya sudah meluluskan maupun belum meluluskanmahasiswa, 10 fasilitator serta ketua Core team dan Ketua KDGI. Ada 1 pembantu/Wakil Dekan Bidang Akademik/Tim kurikulum yang tidak hadir yaitu pembantu/Wakil Dekan Bidang Akademik/Tim Kurikulum dari UMS dan 1 anggota Core


3

HPEQ PROJECT 2012 WO team/fasilitator Kedokteran Gigi yang tidak hadir yaitu drg Kosterman. Antusiasme peserta workshop cukup baik, karena participation rate yang mencapai 96% Pada implementasinya, acara berjalan terlambat 35 menit dari jadwal yang seharusnya. Acara dimulai dengan pembukaan oleh prof Melanie selaku Ketua Tim Core UKDGI mewakili Prof Boedi O Roeslan yang terlambat hadir karena sedang mengikuti rapat di institusi. Berikut adalah rundown acara workshop pada kondisi riil : Rabu, 9 Mei 2012 Waktu 10.30-10.30

Acara

Pelaksana/ Fasilitator

Pembukaan, Laporan Penyelenggaraan Uji Coba Prof Melanie (Ketua Team CBT-OSCE

Core)

10.30-11.00

Penjelasan SS CBT dan SS OSCE

Drg Indri dan drg Adam Malik

11.15-13.00

Penentuan NBL CBT

Core Team

13.00-14.00

ISHOMA

14.00-14.30

Penentuan NBL OSCE

14.30-15.30

Pemaparan

Hasil

Core Team NBL

UKDGI

dan Prof Melanie

penandatangan berita acara hasil SS 15.30-16.00

Wrap up

Prof Melanie

5. Hasil Kegiatan Acara dimulai oleh prof Melanie dengan pemaparan latar belakang kenapa worskhop Standard Setting ini dilaksanakan dan mengundang wakil dekan Akademik yang dalam kesehariannya mengetahui kemampuan dan kualitas anak didik di institusi masing-masing. Diharapkan di akhir kegiatan, dapat ditentukan batas kelulusan dari peserta ujian didasarkan pada kesepakatan bersama. Pola kelulusan UKDGI periode 2 tahun 2012 adalah lulus CBT dengan NBL dan lulus OSCE (dengan kriteria 5 station harus lulus). Pada diskusi awal ada yang mempertanyakan dasar kebijakan bahwa syarat lulus OSCE hanya 5 dari 8 station. Tanggapan dari core team adalah bahwa soal-soal dalam 8 station ada yang memiliki kategori soal yang sama misal station 1dan 2, station 3 dan 4 serta station 5 dan 6, jadi tidak harus semua station harus lulus namun untuk station 7 dan 8 adalah station yang wajib lulus. Ada juga usulan jika seorang kandidat ternyata jika sudah mengulang di salah satu jenis ujian (OSCE/CBT) masih tidak lulus, maka periode ujian beirkutnya, si kandidat harus mengulang semua jenis ujian (CBT dan OSCE). Namun usulan ini dirasa akan memberatkan kandidat. Pemaparan ini dilanjutkan dengan pemaparan hasil evaluasi pelaksanaan ujian UKDGI CBT-OSCE periode 2 2012 secara umum. Namun pemaparan hasil evaluasi pelaksanaan ujian UKDGI sayangnya tidak cukup mendetail seperti sebelumnya dikarenakan waktu kegiatan yang singkat dan padat. Sehingga tidak cukup menggambarkan


4

HPEQ PROJECT 2012 WO kekurangan-kekurangan serta kendala-kendala yang teradi selama pelaksanaan ujian UKDGI CBT-OSCE periode 2 2012. Sesuai dengan jadwal, maka kegiatan dilanjutkan dengan penjelasan/review singkat mengenai standard setting CBT oleh drg Indri dan standard setting OSCE oleh drg. Adam Malik. Pada diskusi standard setting OSCE, banyak pertanyaan yang dilontarkan oleh peserta terkait penggunaan metode borderline regression dalam penentuan kelulusan. Menurut salah satu peserta, metode ini masih kurang tepat digunakan dalam penentuan OSCE. Karena sebenarnya sulit mengkuantitatifkan data kualitatif dan khawatir jika metode ini digunakan maka akan dipertanyakan oleh pihak luar mengenai keabsahan hasil ujian. Namun Team Core sudah berkonsultasi dengan TA dari luar negeri yang menyatakan bahwa metode ini bisa saja dipergunakan (walaupun di luar negeri sendiri tidak menggunakan metode borderline regression). Untuk mengantisipasi adanya keraguan terkait pemilihan metode standar setting OSCE maka menurut Ketua KDGI, akan dibuatkan sebuah SK mengenai penggunaan metode standard setting dalam penentuan kelulusan. Dan jika dikemudian hari ternyata dinyatakan kurang tepat, maka metode ini masih bisa diperbaiki. Menurut ketua KDGI, karena pelaksanaan OSCE masih jauh dari sempurna maka masih perlu perbaikan-perbaikan dan latihan-latihan (baik dari sisi administrasi sepeti soal-soal yang masih minim dan kualitasnya yg masih kurang baik untuk OSCE maupun sisi teknis). Sistem standard setting CBT yang digunakan pada kegiatan ini adalah modifikasi Angoff sementara borderline regression method digunakan dalam standard setting OSCE. Dalam teknis standard setting CBT peserta dibagi menjadi 5 kelompok besar dimana tiap kelompok mereview 20 soal. Tiap kelompok melakukan review soal pada round 1 yang dipandu oleh anggota tim teknis. Setelah mengetahui indeks kesulitan soal maka akan dilakukan diskusi sesi 2 dan ditutup dengan cutting score. Nilai perhitungan yang nanti diperoleh hanya didasarkan pada judges yang institusinya sudah meluluskan. Dan bagi judges yang yang intitusinya belum meluluskan, kegiatan ini dilakukan sebagai bentuk pelatihan dan observasi. Hasil perhitungan menggunakan metode modifikasi angoff dengan judges 13, maka diperoleh NBL 51,6. Oleh ketua Core Team ditawarkan kepada para wadek I/tim kurikulum apakah menggunakan NBL 51,6 atau 50 (sesuai NBL tertinggi yang pernah dicapai UKDGI) karena mempertimbangkan hasil UKDGI periode 1 2012 yang dibawah KPI sementara harus mengejar KPI nasional 2012 sebesar 81%. Dan hasilnya, berdasarkan kesepakatan bersama bahwa NBL yang dipakai adalah 50 dengan rekapitulasi tingkat kelulusan UKDGI CBT periode 2 2012 dengan jumlah peserta 1st taker 306 mencapai 83,74%. Sementara dari hasil perhitungan borderline regression method untuk penentuan kelulusan OSCE diperoleh hasil bahwa persentase kelulusan setiap station UKDGI periode 2 2012, sebagai berikut :  Kelulusan Stasiun 1 : 78%  Kelulusan Stasiun 2 : 77%  Kelulusan Stasiun 3 : 79%  Kelulusan Stasiun 4 : 84,8%


5

HPEQ PROJECT 2012 WO  Kelulusan Stasiun 5 : 78,6%  Kelulusan Stasiun 6 : 88,3%  Kelulusan Stasiun 7 : 95,5%  Kelulusan Stasiun 8 : 90,5% Dari hasil tersebut, rata-rata tingkat kelulusan setiap station cukup baik yaitu diatas 50%. Namun disepakati bersama bahwa kandidat hanya perlu lulus minimal 5 dari 8 station yang ada (tidak harus lulus semua station) dan jenis station yang lulus bisa station mana saja (berbeda dengan tawaran diawal pertemuan bahwa jenis station yang lulus adalah station 1 atau 2, station 3 atau 4, station 5 atau6, station 7 dan 8 adalah station yang wajib lulus). Diperoleh kesepakatan juga bahwa yang dimasukkan kedalam KPI hanya persentase kelulusan CBT saja sesuai dengan arahan Ketua KDGI. Sehingga belum bisa ditampilkan hasil kompilasi peserta yang lulus dengan minimal NBL 50 dan lulus 5 station OSCE untuk mengetahui persentase kelulusan total peserta UKDGI periode 2 2012. 6. Refleksi Evaluasi pelaksanaan workshop ditinjau dari perspektif peserta dan tim monev secara umum. Berikut adalah evaluasi workshop dari beberapa perspektif tersebut : Gambaran Umum Workshop berjalan lancar, acara hanya mundur 30 menit jam dari alokasi waktu yang disediakan tetapi hal ini lebih dikarenakan kendala teknis yaitu masih ada beberapa peserta yang datang terlambat hadir. Diskusi berjalan dengan baik. Namun terkendala dalam penyamaan persepsi mengenai penggunaan borderline regression method dalam menentukan kelulusan ujian OSCE. Perlu adanya kepastian latar belakang dan dasar penggunaan metode in dan jika perlu dituangkan dalam bentuk SK. Menurut peserta yang kebetulan ahli metodologi penelitian, ada beberapa metode yang bisa digunakan dalam penentuan kelulusan OSCE sehingga diperlukan kajian lebih lanjut metode mana yang dirasa lebih tepat dalam penentuan kelulusan OSCE. Adanya ketidaksinkronan antara pola kelulusan awal dengan hasil yang disepakati juga perlu dicermati. Hasil keputusan akhir yang diambil didasarkan pada consensus bersama. Seperti pada pola penentuan kelulusan CBT yang tidak mengikuti hasil standard setting para judges dan pola penentuan kelulusan OSCE yang hanya menjadi minimal lulus 5 dari 8 station (tidak ada prasyarat station yang wajib lulus). Yang perlu perlu dicermati apakah bentuk kesepakatan bersama ini didasarkan karena pelaksanaan ujian OSCE yang masih memiliki kekurangan sehingga dijadikan alasan untuk adanya concensus bersama atau tidak Pemaparan evaluasi hasil pelaksanaan ujian UKDGI periode 2 tahun 2012 juga tidak banyak. Hal ini disayangkan karena tentunya segala bentuk evalusi perlu diinformasikan kepada perwakilan setiap institusi. Berguna untuk perbaikan pelaksanaan ujian UKDGI di setiap institusi dan sebagai bentuk informasi bagi institusi yang akan mengadakan ujian UKDGI di intitusinya. Waktu pelaksanaan workshop standard setting dan evaluasi dirasa terlalu singkat sehingga hal-hal yang essential luput dari pelaksanaan karena terkendala waktu yang padat. Diskusi-diskusi pun menjadi lebih singkat dan terkesan terburu-buru mengejar


6

HPEQ PROJECT 2012 WO rundown acara. Berbeda dengan standard setting sebelumnya maka standard setting kali ini bukan hanya membahas ujian CBT namun juga OSCE. Setelah 2 periode pelaksanaan ujian OSCE, tentunya masih banyak hal yang perlu diperbaiki baik dari sisi administrasi dan sisi teknis pelaksanaannya. Dan sekali lagi, waktu yang singkat membuat kegiatan evaluasi pelaksanaan menjadi hal normatif. Tim Monev : Feedback Peserta Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring “voice of customer” peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari 25 kuesioner yang diberikan hanya 24 peserta yang mengembalikan kuesioner dan dari hasil perhitungan, dapat dilihat bahwa mayoritas peserta menyatakan kepuasan dalam pelaksanaan workshop. Pencapaian ini merupakan kontribusi dari berbagai pihak, terutama fasilitator, panitia dan peserta yang cukup cooperative.

PROPORSI SATISFACTION LEVEL 2%

12%

31% 55% tidak sesuai

kurang sesuai

sesuai

paling sesuai


7


REKAP FEEDBACK WS STANDARD SETTING KEDOKTERAN GIGI PERIODE 2 2012 Jakarta, 9 Mei 2012

tidak sesuai

kurang sesuai

sesuai

paling sesuai

20 15

15

15

14 15 13 12 13 12 10 9 11 99 9 9 8 6 4 6 66 44 3 3 3 3 15 3 11 1 10 03 01 01 0 0 0 02

Selain itu, dari hasil kuisioner diperoleh input serta saran dari peserta dan fasilitator. Berikut rangkumannya : Peserta : 1. Menurut anda, apakah Nilai Batas Lulus (NBL) yang dihasilkan dalam standard setting kali ini sudah ideal? Mohon kemukakan argumentasinya. -

Sudal ideal, karena sampai saat ini juga masih awal ujicoba/baru mencoba/melaksanakan Dibandingkan pada bulan Januari 2012 saat ini jauh lebih baik tapi jangan terlalu signifikan naiknya Sudah ideal Belum ideal, karena kurikulum yang berjalan di masing-masing institusi belum sama walau sama-sama mengklaim sudah KBK Saya pikir sudah ideal Sudah, karena sudah diwakili oleh semua institusi Belum terlalu ideal, perlu dicari metode yang lebih baik Ya Belum, OSCE belum tuntasm hanya disepakati metode yang digunakan untuk NBL dan disepakati nilai lulus kalau 5 station lulus, berapa yang lulus OSCE belum tuntas Saya masih belum jelas mengenai judges, apakah status “drg sp” tidak menyebabkan adanya bias pada penentuan NBL


8

HPEQ PROJECT 2012 WO -

-

-

Kalau dilihatNBL dalam standard setting kali ini dibandingkan dengan NBL Januari 2012 terdapat peningkatan, alangkah lebih baik jika terdapat peningkatanpada uji kompetensi berikutnya CBT, mengingat beberapa soal masih bermutu jelek maka memang perlu NBL ini ditetapkan bersama Kurang, perlu validasi soal CBT oke, OSCE mungkin diperbaiki Sudah ideal Sudah, sesuai dengan performance Masih harus diperbaiki NBL sudah ideal mengingat soal yang disajikan cukup baik dan mudah dimengerti sehingga mudah mengambil gambaran persentase kelulusan mahasiswa termasuk mahasiswa borderline Sudah NBL sudah ideal, karena merupakan nilai tengah dari nilai tertinggi dan nilai terendah Sudah cukup ideal, cukup untuk mementukan kelulusan dokter gigi dengan kompetensi yang cukup Sudah cukup, terutama untuk OSCE yang masih diawal kita melaksanakannya Menurut saya sudah cukup ideal

2. Apakah metode standard settingModified Angoff yang digunakan telah dinilai ideal untuk menentukan NBL dan tingkat kelulusan UKDGI kali ini (mencakup CBT dan OSCE) ? Apakah kekurangan dan kelebihan dari metode ini ? -

Kekurangannya adalah berusaha untuk memberi kelulusan sebanyak mungkin Kelebihannya bisa meningkatkan jumlah yang lulus Sudah ideal Waktu ujian CBT dan OSCE sangat dekat Dengan belum adanya kesamaan SDM, sarana dan prasarana, maka methode angoff sudah tepat Perlu harus dievaluasi Sesuai dengan kondisi/situasi setempat Sudah sesuai Belum terlalu ideal, untuk OSCE seharusnya untuk semua station lulus Velum paham benar dengan metode yang digunakan, banyak alasan yang dipaksakan utnuk menerima metode yang dipilih Ideal Sudah baik metode ini untuk digunakan walaupun ada beberapa kekurangannya Sudah, tetapi masih perlu diperbandingkan dengan metode lain yang bisa digunakan Untuk OSCE mohon ditinjau lagi Modified angoff -> penilaian juri sangat mempengaruhi NBL, OSCE -> Borderline regression methode


9

HPEQ PROJECT 2012 WO -

Kalau untuk CBT -> bisa mendekati ideal, tetapi untuk OSCE masih perlu didiskusikan Cukup ideal dengan situasi saat ini Cukup baik, bisa mewakili tingkat kelulusan Sementara sudah Ideal Kekurangan dan kelebihan pasti ada, tapi sebaiknya tidak merugikan kandidat tapi penilaian kompetensinya juga memadai Sudah cukup baik Untuk saat ini metode SS modifikasi angoff sudah cukup baik untuk menentukan NBL CBT

3. Menurut Anda, apakah kriteria ideal untuk menjadi judges standard setting UKDGI ini ? Apakah Anda sudah memenuhi kriteriajudgesyang ideal ? -

Mendekati ideal Mengerti tentang kurikulum Mengikuti perkembagan FKG Yang mengetahui bidang akademik Sudah Kriteria judges ideal adalah memahami proses pendidikan yang berjalan di institusinya Perlu latihan terus menerus dan menempatkan dirinya sebagai peserta borderline Tetap WD 1 dan mengetahui para pendidik di institusi masing-masing Seharusnya tahap 1 SS modified angoffdimintamahasiswa borderline yang mengisi tapi tahap dua baru WD 1 atau orang yang tahu akademik Komposisi judges harus dipertimbangkan , dan setelah ditentukan maka komposisi harus tetap walaupun orangnya bertukar-tukar Sebaiknya yang menjadi judges adalah dokter gigi yang berkompetensi sesuai dengan bidangnya Judges SS harus orang yang benar-benar mengerti, mengikuti pelaksanaan OSCE. CBT memahami kurikulum Telah menyesuaikan Paham implementasi SKDGI dalam kurikulum Memiliki nilai obyektivitas yang cukup baik Sudah mendekati Belum ideal Sudah Adil Judges harus memahami kondisi anak yang borderline sehingga lebih fair menentukan batas kelulusan sehingga tidak merugikan kandidat yang borderline Ya, karena yang mewakili adalah yang sudah tahu secara detail lulusannya Seorang judegs yang ideal harus mampu memposisikan dirinya sedemikian sehingga pada posisi sebagai borderline


10

HPEQ PROJECT 2012 WO 4. Bagaimana institusi anda menindaklanjuti setiap hasil standard setting UKDGI ini ? -

Menjadi bahan untuk selalu mengevaluasi hasil yang didapat Selalu mengevaluasi sistem yang ada sehingga apa yang diinginkan untuk seorang dokter gigi yang berkompeten bisa diperoleh Mengadakan pelatihan Belum ada tindak lanjut, karena belum ada lulusan Dengan melakukan latihan-latihan untuk dapat dipakai bersama Diupayakan untuk mengevaluasi ujian-jian dengan metode ini Sangat komit Karena institusi kami belum meluluskan maka ini jadi pembelajaran dalam menilai ujian OSCE di ujian blok di institusi Menyiapkan item soal pada masing-masing bagian Mempersiapkan dokter gigi yang sudah lulus dalam menghadapi UKDGI Segera ditindaklanjuti untuk meningkatkan hasil kelulusan yang lebih baik di institusi kami Siap melakukan perbaikan, peningkatan untuk meningkatkan kelulusan Mengikuti Pembenahan sistem pembelajaran dan pendidikan di institusi agar peserta didik lebih siap menghadapi UKDGI Mengevaluasi proses pembelajaran Memperbaiki penyelengaraan pendidikan yang ada saat ini Menjadi feedback kelulusan/kualitas mahasiswa untuk meng upgrade lulusan Diteruskan info ke TS yang lain di institusi Perlu persiapan mengenai hal UKDGI sehingga kedua nilai baik CBT dan OSCE bisa diadaptasi sebagai hasil kelullusan Akan ditindaklanjuti di tingkat fakultas untuk meningkatkan kualitas lulusan kita Informasi dan ketrampilan yang diperoleh dishare kepada setiap institusi

Usul/saran: -

Semua soal sebaiknya dibuat oleh orang-orang yang expert dibidangnya dan dibuat secara duduk bersama (berkumpul untuk membuat soal tingkat nasional) Untuk membuat soal (OSCE/CBT) sebaiknya dibuat oleh narasumber masing-masing bidang ilmu dari semua institusi di Indonesia Sebaiknya soal-soal dibuat oelh ahli-ahli/pakar per bidang ilmu yang berasal dari semua institusi Waktu yang disediakan lebih lama supaya hasilnya lebih selektif Pelaksanaan SS perlu waktu yang cukup supaya tidak terburu-buru Pertemuan semacam ini hendaknya waktunya ditambah Penyelengaraan jangan 1 hari -> terkesan terburu-buru Harap waktu untuk membahas jangan 1 hari dan masalah nilai harus didiskusikan dengan perlahan Waktu pelaksanaan kurang sehingga tidak bisa menganalisa keduanya (CBTdan OSCE)


11


Fasilitator : 1. Secara umum, apakah terdapat kemajuan yang signifikan dibandingkan standard setting sebelumnya (aspek metode, judges, NBL, dll) ? -

Ya, judges lebih siap Metode sudah lebih dimengerti dan judges lebih siap, soal lebih baik sehingga NBL lebih tinggi Secara umum terlihat kemajuan yang signifikan untuk hasil NBL (NBL yang lalu 46), untuk kelompok 5 (soal 81-100) NBL nya 58

2. Apakah metode standard setting yang digunakan untuk OSCE sama dengan CBT ? Berikan argumentasinya -

Beda, SS OSCE dan borderline regression dan SS CBT dengan modified anggoff Berbeda karena OSCE menlainperformance dan kemampuan klinik SS untuk CBT digunakan metode anggoff modified, SS untuk OSCE digunakan borderline regression methode

3. Apakah judges yang terlibat sudah sesuai dengan kriteria yang ditetapkan ? Apa kriteria menjadi judges yang ideal ? -

Ya, judges yang baik dan mampu memberikan argumentasi Sudah karena Wadek 1 Secara umum sudah sesuai dengan kriteria walaupun ada yang diwakilkan (bukan PD1) Judges yang belum meluluskan hanya berfungsi sebagai observer, ikut menilai tapi penilaian belum dimasukkan dalam penentuan SS

4. Apakah nilai batas lulus yang dihasilkan dalam standard setting kali ini sudah meliputi OSCE dan CBT ? Berikan argumentasinya -

NBL masing-masing berbeda, tapi ada kesepakatan antara kelulusan CBT dan OSCE CBT saja, sedangkan OSCE : SS ditetapkan semua WD 1 (maksudnya dikelompok) NBL masih berdiri sendiri-sendiri (OSCE sendiri, CBT sendiri)

5. Apakah ada kendala yang dihadapi dalam pelaksanaan standard setting kali ini ? (misal : pelaksanaan item anayisis, penentuan borderline, difficulty index, dll) -

Tidak CBT : Tidak ada masalah, OSCE : jumlah soal yang sangat kurang Kendala berarti tidak ada, tetapi kesepakatan dalam menentukan NBL untuk OSCE masih diperdebatkan


12

HPEQ PROJECT 2012 WO 6. Bagaimana tindak lanjut dari hasil standard setting ini ? - Evaluasi metode standard setting - Evaluasi metode SS - Hasil SS diaplikasikan untuk hasil ujian kompetensi 7. Rekomendasi perbaikan pelaksanaan standard setting selanjutnya ? - Perbaikan sistem IT di OSCE supaya memudahkan - Waktu Terpisah untuk SS CBT dan OSCE - SS untuk OSCE dan CBT jangan dilakukan hanya dalam 1 hari (pagi-sore), perlu tambahan hari 7. Rencana Tindak Lanjut       

Institusi yang akan meluluskan harus sudah bersiap-siap dalam pelaksanaan UKDGI (sarana dan prasarana) Institusi yang masih dalam tahap akademik harus mulai membiasakan sistem CBT dan OSCE Soal-soal yang harus masuk ke Manager IBA paling lambat Pertemuan IBA Nasional pada tanggal 24-25 Mei 2012 (Yang dikirim institusi adalah IBA manager yang sudah pernah dilatih dan IBA manager harus membawa soal yang akan diinputkan kedalam sistem) Item review CBT pada tanggal 5-6 Juni 2012 Item review OSCE pada tanggal 12-13 Juni 2012 Dalam 2 minggu akan ada pengumuman hasil UKDGI ke seluruh institusi dengan format : NAMA

CBT

OSCE

KET

A

LULUS

TIDAK LULUS

ULANG OSCE

B

TIDAK LULUS

TIDAK LULUS

TIDAK LULUS

C

TIDAK LULUS

LULUS

ULANG CBT

Lampiran  POD hasil standard setting  Database Standard Setting KG periode 2 2012-05-16  Berita acara penentuan metode standar setting  Form penentuan Standard setting metide modified angoff  Presentasi Item Analis


13

HPEQ PROJECT 2012 WO   

Presentasi SS Modified Angoff Presentasi SS UKDGI Tingkat Kesulitan Soal UKDGI April 2012


14

Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Dan Kebudayaan

Recommend Documents