Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan dan Kebudayaan

HPEQ PROJECT 2012 WO

LAPORAN WORKSHOP ITEM DEVELOPMENT DAN REVIEW COMPUTER BASED TESTING (CBT) KEDOKTERAN

Hotel Grand Royal Panghegar, Bandung 28-29 Maret 2012 Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan dan Kebudayaan

WORKSHOP KOMPONEN 2 – MARET 2012

Page 1

HPEQ PROJECT 2012 WO 1. Pendahuluan Proyek HPEQ Komponen 2 mempunyai fokus kegiatan pada upaya penyempurnaan sistem ujian. Metode ujian yang akan dikembangkan salah satunya adalah computer-based testing (CBT). Metode ini memerlukan persiapan yang salah satunya adalah penyiapan perangkat soal (item) yang akan dikumpulkan dalam suatu Bank Soal yang secara kuantitas dan kualitas dapat dipertanggungjawabkan serta memiliki kredibilitas tinggi. Mengingat pentingnya keberadaan Bank Soal yang mendukung sistem ujian pada pendidikan tenaga kesehatan, maka diperlukan adanya suatu penelaahan soal yang berjenjang mulai dari pembuat soal, institusi, regional dan akhirnya review akhir oleh panel expert. Selain itu bank soal perlu dipenuhi terkait blue print yang ditentukan. Oleh karena itu perlu dibuat suatu lokakarya Item Development dan

Review. 2. Tujuan Setelah mengikuti kegiatan lokakarya ini diharapkan: 1. Kemampuan peserta untuk pembuatan dan penelaahan soal ujian tulis tipe A (one best answer) yang baik di wilayah dan institusi setempat. 2. Terpilihnya sejumlah soal yang memenuhi syarat untuk dimasukan ke dalam Bank Soal. 3. Luaran 1. Dihasilkannya para ahli pembuat dan penelaah soal yang baik di tingkat nasional 2. Dihasilkannya para pelatih untuk pelatihan pembuatan dan penelaahan soal yang baik di tingkat wilayah dan institusi 3. Dihasilkannya soal – soal yang baik untuk dimasukan ke dalam Bank Soal tingkat wilayah dan institusi 4. Metode Pelaksanaan Workshop Workshop item development dan review CBT kedokteran ini dilaksanakan pada tanggal 28 – 29 Maret 2012 di Hotel Grand Royal Panghegar, Bandung. Peserta workshop yang diundang adalah 12 item writer, 11 item reviewer, dan 6 item bank administrator yang didampingi oleh 1 narasumber, 3 orang fasilitator dan 3 orang anggota KB UKDI. Daftar narasumber, fasilitator dan anggota KB UKDI yang hadir: No 1 2 3 4 5 6

Nama M. Ghozali Dewi Masyitah Yuni S Pratiwi Fajar Herru Windi

Institusi UNPAD/ KB UKDI USU UNPAD KB UKDI KB UKDI KB UKDI

Keterangan Narasumber Fasilitator Fasilitator

Pada pelaksanaannya, narasumber/ pemimpin sidang yang ditunjuk yaitu Ibu Sari Puspa Dewi berhalangan untuk hadir sehingga digantikan oleh Bapak M Ghozali (fasilitator). Seluruh item writer,


Page 2

HPEQ PROJECT 2012 WO item reviewer, dan fasilitator dapat hadir/ digantikan, namun terdapat dua orang IBA yang berhalangan hadir. Berikut adalah daftar peserta yang hadir: Item Writer No Nama 1

Budi Utomo

2

Mayetti

3

Samdei C. Rumbino

4

Intaniati Nur R.

5

Wahyudi Istiono

6

Femi S.

7

Retno Asti Werdani

8

Ahmad Dian W.

9

Lucky Sjahputra

10

Andri Reza

11

Truly Sitorus

12

Sri Hastuti

Artha Budi Dhuarsa Item Reviewer 13

14

Huriatul

15

Ramzi Amin

16

Insi Farisa Desi

17

Hanna Yolanda

18

Hermin Aminah

19

Fen Tih

20 21 22 23

Eka Hendryanny Mahar Agustono Moh. Khotibbudin Roostantia

Institusi FK UNAIR/ Surabaya FK UNAND/ Padang FK UNCEN/ Jayapura FK UNDIP/ Semarang FK UGM/ Yogyakarta FK UNHAS/ Makassar FK UI/ Jakarta FK UB/ Malang FK UNPAD/ Bandung FK UNPAD/ Bandung FK UNPAD/ Bandung FK YARSI/ Jakarta FK YARSI/ Jakarta FK UNRI/ Pekanbaru FK UNSRI/ Palembang FK UNPAD/ Bandung FK UNIKA Atmajaya/ Jakarta FK UNPAD/ Bandung FK UKM/ Bandung FK UNISBA/ Bandung FK UGM/ Yogyakarta FK UMY/ Yogyakarta FK UNAIR/

Spesialisasi

No Tlp

Email

IKM

083854939300

IKA

0811669779

Radiologi

081543344300; 081344569710

[email protected]

Forensik

081325081977

[email protected]

IKM

081578969685

[email protected]

IPD

085298047919

[email protected]; [email protected]

IKM

0811902081

THT

08174304145; 081779304141

[email protected]

IPD

08122315831

[email protected]

KJ

08164863057

[email protected]

085720750004

[email protected]

IKA

08122023220

[email protected]

IKM

081540837900

[email protected]

Histologi

081275652210

[email protected]

Mata

08127393599

[email protected]

081322285483

[email protected]

Patologi Anatomi

08382804910

[email protected]

Biokimia

0811217545


Ilmu Faal

0817224082

[email protected]

KJ

08122732316

[email protected]

IKM

085643218504

Farmakolo

0818505872

[email protected] [email protected]

[email protected]

IKM


muhammad_khotibuddin@yaho o.com [email protected]

Page 3

HPEQ PROJECT 2012 WO Surabaya FK UMI/ 24 Sri Wahyuni Makassar Item Bank Administrator CBT FK USU/ 25 Hemma Yulfi Medan FK UI/ 26 Ninik Sukartini Jakarta FK UNJANI/ 27 Iis Inayati Cimahi 28

Achmad Yanuari H.

FK UNAIR/ Surabaya

gi IKM

Patologi Klinik Biokimia Ilmu Kesehatan Anak

0811611454

[email protected]

08128868415

[email protected]

08164864092

[email protected]

0811347662


Dalam workshop ini peserta dibagi menjadi dua kelompok besar, yaitu kelompok item development dan item review. Pembagian kelompok pada hari H disesuaikan kembali dengan peserta yang hadir. Kelompok item development terdiri dari 13 orang yang secara khusus diundang untuk memenuhi kebutuhan soal khususnya mengenai ilmu kesehatan masyarakat yang jumlahnya masih sedikit dalam bank soal. Oleh karena itu, masing-masing peserta yang diundang untuk item development akan membawa 30 soal terkait spesialisasi masing-masing, yang kemudian akan di-review bersamasama dalam kelompok kecil. Kelompok item review terdiri dari 11 orang item reviewer dan 4 orang IBA CBT. yang dibagi berdasarkan wilayah menjadi 5 kelompok kecil yang masing-masing terdiri dari tiga orang. Karena item reviewer wilayah 6 hanya ada satu orang, maka beliau digabungkan ke dalam kelompok lain yang jumlahnya masih dua orang. Kelompok item review akan me-review soal-soal dari regional. Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan cukup tepat waktu. Berikut adalah rundown acara workshop pada kondisi riil : Rabu, 28 Maret 2012 14.15 – 15.00 Pembukaan dan Pengarahan Review CBT Kedokteran 15.00 – 18.00 Rekapitulasi soal dan telaah soal kelompok (peer review) 18.00 – 19.30 ISHOMA 19.30 – 22.00 Telaah soal dalam kelompok review) Kamis, 29 Maret 2012 08.00 – 11.00 Telaah soal dalam kelompok review) 11.00 – 11.30 Rekapitulasi soal dan Penutup

Item M. Ghozali dalam Fasilitator

(peer Fasilitator

(peer Fasilitator M. Ghozali

5. Hasil Kegiatan Workshop ini diawali briefing oleh narasumber dari KB UKDI mengenai hal-hal yang akan dikerjakan selama workshop beserta target pencapaian. Dilakukan penjelasan kembali mengenai garis besar cara penilaian soal, teknis penilaian soal dalam bentuk word dan SIPENA, serta mengenai teknis penyimpanan soal untuk diserahkan kepada proyek.


Page 4

HPEQ PROJECT 2012 WO

Berdasarkan hasil workshop yang telah dilaksanakan selama 2 hari, output dari workshop item development secara umum adalah sebagai berikut:

No.

KOMPONEN

TARGET

REALISASI

1.

Jumlah soal yang terkumpul dalam workshop

1272

2.

Jumlah soal yang direview dalam workshop

3.

Jumlah soal yang diterima (soal yang memenuhi kriteria soal yang 711 dianggap eligible untuk diinputkan ke bank soal UKDI)

627

4.

Jumlah soal yang ditolak

84

5.

Jumlah item writer yang terlibat

13

13

6.

Jumlah item reviewer yang terlibat

11

11

1272

711

Grafik Pencapaian Target 1400

1272

1272

1200 1000 800

711

711

627

600 Target

400 200

84

Realisasi 13 13

11 11

0 Jumlah soal Jumlah soal Jumlah soal Jumlah soal Jumlah item Jumlah item yang yang direviewyang diterima yang ditolak writer yang reviewer terkumpul dalam terlibat yang terlibat dalam workshop workshop

Berdasarkan hasil rekapitulasi output workshop secara umum, dapat disimpulkan bahwa pencapaian target workshop ini cukup optimal dalam mendapatkan soal yang baik untuk diinputkan ke bank soal UKDI. Jumlah soal yang terkumpul dalam workshop baik soal kiriman dari institusi maupun soal yang dibawa oleh item writer mencapai 1272 soal. Meskipun demikian, jumlah soal yang direview jauh lebih sedikit dari target yaitu hanya 56%. Meskipun demikian, dari keseluruhkan soal yang berhasil selesai di review, sebagian besar dapat diterima (88%) dan persentase soal yang ditolak hanya sebesar 12% sehingga dapat dikatakan bahwa soal yang terkumpul berkualitas cukup baik. Seluruh


Page 5

HPEQ PROJECT 2012 WO Jumlah item writer dan item reviewer yang diundang dapat hadir/ digantikan, sehingga target kehadiran mencapai 100%. Item reviewer yang hadir pada workshop ini diharapkan membawa soal kiriman institusi sesuai dengan wilayah masing-masing dengan pembagian institusi yang sudah meluluskan diharuskan mengirim minimal 50 soal dan untuk setiap institusi yang belum meluluskan mengirim minimal 25 soal. Pada kenyataannya tidak semua institusi mengirim soal sebanyak yang diminta. Perlu dicermati kembali bahwa kontribusi dari masing-masing institusi sangat penting bagi pemerataan kontribusi dalam pembuatan soal uji kompetensi. Beberapa faktor tidak tercapainya target jumlah soal yang direview adalah sebagai berikut: 1. Penggunaan SIPENA pada awalnya cenderung memakan waktu lebih lama dalam operasinya, namun seiring dengan semakin seringnya dipakai, software SIPENA akan sangat membantu dalam proses review soal. 2. Banyak soal yang masih perlu diperbaiki secara konten sehingga diskusi lebih lama mengenai konten dibandingkan review struktur soal. Pada dasarnya, pencapaian jumlah soal dalam workshop ini juga dibatasi oleh waktu pelaksanaan workshop. Apabila diberi alokasi waktu lebih lama, maka jumlah soal yang direview tentunya juga akan semakin banyak. Berikut adalah tabel rekapitulasi item development per kelompok pada workshop ini. Tabel Rekapitulasi Item Review

Wilayah

1

2

3

4

5

No

Nama Reviewer

Institusi

1

Hemma Yulfi

USU

2

Huriatul

USU

3

Ramzi Amin

4

Ninik Sukartini

UI

5

Hanna Yolanda

UAJ

6

Sri Wahyuni

UMI

7

Iis Inayati

UNJANI

8

Eka Handryanny

UNISBA

9

Hermin Aminah

UNPAD

10

Moh. Khotibuddin

UMY

11

Mahar Agusno

UGM

12

Intarniati Nur R

UNDIP

13

Achmad Yanuari

UNAIR

14

Roostantia

UNAIR

15

Lucky Sjahputra

UNPAD

Soal yang Direview

Soal Terkumpul

Total Soal Tereview

Soal Diterima

Soal Dikembalikan

Soal Belum Direview

205

52

44

8

153

270

129

94

35

141

135

86

67

19

49

173

85

73

12

88

133

71

67

4

62

UNSRI


Page 6

HPEQ PROJECT 2012 WO Tabel Rekapitulasi Item Development dan Review Ke l

7

8

9

10

11

N o

Nama Penulis

Institu si

Bidang Ilmu

Target Soal Terkump ul

Soal Terkump ul

UNAND

IKA

1

Mayetti

30

20

2

Sri Hastuti

UY

IKA

30

30

3

Samdei C Rumbino

UNCEN

RADIOLOGI

30

50

4

Andri Reza

UNPAD

IPD

30

36

5

Femi S

UNHAS

IPD

30

32

6

Fen Tih

UKM

BIOKIMIA

7

Ahmad Dian W

UB

THT

30

30

8

Truly Sitorus

UNPAD

FARMAKOLOGI

30

31

9

Dewi Mastiyah

USU

PARASITOLOGI

10

Artha Budi Dhuarsa

UY

IKM

30

33

11

Budi Utomo

UNAIR

IKM

30

32

12

Yuni S Pratiwi

UNPAD

FAAL

13

Insi Farisa Desi

UNPAD

IKM

REVIEWER

14

Retno Asti Werdani

UI

IKM

30

20

15

Wahyudi Istiono

UGM

IKM

30

30

Total Soal Terevie w

Soal Diterima

Soal Dikembalikan

Soal Belum Direvie w

60

57

3

40

68

68

-

-

65

64

1

-

65

63

2

-

30

30

-

28

Soal yang Direview

REVIEWER

REVIEWER

4 .

REVIEWER 8

Berdasarkan soal-soal yang telah direview, maka dipilih soal-soal yang memenuhi kriteria baik dan layak untuk dimasukkan ke dalam item bank nasional sebelum di review kembali oleh panel expert. Jumlah soal yang diterima adalah sebesar 88% dari jumlah soal yang direview. Berdasarkan analisis tim monev, pencapaian target jumlah soal yang berkualitas baik dan dapat dimasukkan ke dalam item bank sudah cukup baik. Hal ini menandakan bahwa baik soal yang dikirim dari institusi maupun yang dibawa oleh item writer sudah cukup baik. Meskipun demikian, tetap diperlukan lebih banyak perhatian pada relevansi soal yang akan dikumpulkan ke workshop dengan UKDI. Tujuan lain dari workshop ini adalah untuk membangun capacity building bagi item reviewer institusi. Dengan demikian, sebaiknya masing-masing peserta dapat menyusun plan of action yang strategis untuk memperbaiki kinerja masing-masing institusi dalam hal implementasi mekanisme item development & review yang pada akhirnya berkontribusi pada peningkatan kualitas uji kompetensi dokter dan lulusannya. Analisis ini juga dapat dijadikan input evaluasi diri dari tim item development dan dapat dijadikan dasar pemetaan kemampuan dan strategi yang seharusnya diterapkan untuk tiap wilayah item development dalam meningkatkan kualitas pelaksanaan uji kompetensi yang akan berdampak positif pada kualitas lulusan uji kompetensi dokter. 6. Refleksi Setelah dilakukan analisis hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum.


Page 7

HPEQ PROJECT 2012 WO Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari kinerja wilayah yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Fasilitator KENDALA YANG DIHADAPI PESERTA DALAM MEMBUAT DAN MEREVIEW SOAL : - Menyesuaikan konten epidemiologi dan aspek public health dengan SKDI/ relevansi - Penentuan criteria soal (sulit-sedang-mudah) - Item writer belum benar-benar memahami pembuatan soal yang baik, namun lama kelamaan sudah dapat melakukannya dengan baik REKOMENDASI PERBAIKAN : - Sosialisasi panduan review yang free to download sebelum hadir di workshop - Penguatan SDM dari segi item writer dan item reviewer di tingkat regional/ institusi - Item writer sudah membawa soal lebih dulu sehingga target soal lebih banyak yang didapat Peserta Feedback form didistribusikan oleh tim monev kepada seluruh peserta. Dari 28 kuesioner, 19 yang kembali ke tim monev. Hasil kuesioner tersebut adalah sebagai berikut: Kendala yang dihadapi dalam pengumpulan soal  Sosialisasi pengumpulan soal terlalu mendadak dan waktunya terlalu singkat untuk mengumpulkan soal dari institusi  Institusi terlambat mengumpulkan soal  Sulitnya mengumpulkan soal dari dosen pengampu  IBA dan tim reviewer di institusi belum aktif/ belum bekerja secara optimal  Sebagian soal belum direview di tingkat regional Kendala yang dihadapi dalam mereview soal  Soal yang dikirim masih dalam bentuk word  Soal sudah ada, namun tidak dalam format/ kaidah UKDI  Sebagian soal belum bervignette  Kadang sulit mengerti apa yang dimaksud dalam soal  Ketidakkonsistenan dalam struktur dan konten  Soal sering kali tidak sesuai dengan SKDI  Soal yang dibuat oleh dosen yang belum dilatih cara membuat soal UKDI biasanya soal akan diedit secara keseluruhan  Isi soal tidak dikuasai oleh reviewer  Jumlah SDM Kesesuaian format dan guideline review soal dan parameter review yang perlu dioptimalkan atau ditambah  Sudah sesuai dan cukup optimal Rekomendasi perbaikan untuk pembuatan soal yang lebih baik  Mengadakan workshop khususnya untuk item writer agar sesuai dengan format UKDI  Workshop yang lebih intensif di tingkat institusi/ regional


Page 8

HPEQ PROJECT 2012 WO   

Pembuat soal harus menyesuaikan soal dengan SKDI Pertemuan rutin antara item writer, item reviewer dan IBA Setiap soal yang sudah diujikan diberikan feedback

Rekomendasi untuk meningkatkan jumlah soal yang dikumpulkan        

Perlu jadwal yang terencana sejak awal dan melibatkan personil yang lebih banyak Jejaring reviewer dan IBA di institusi lebih di aktifkan Koordinasi dengan setiap institusi Jangan hanya kuantitas soal namun kalau bisa soal harus mempunyai variasi yang luas Pelatihan di regional yang lebih sering Pemberitahuan jadwal nasional untuk item reviewer lebih awal (kalau perlu dimasukkan dalam kalender kegiatan UKDI) Topik-topik yang masih kosong agar disebarkan sehingga item yang dibuat cukup bervariasi Rutin ditagih via email 2-3 minggu sebelum workshop

Kesan secara umum dan saran terhadap pelaksanaan workshop  Workshop berjalan dengan baik  Undangan diberikan lebih awal  Pelaksanaan review dalam group kecil lebih efektif dibandingkan dalam group besar  Soal kadang-kadang overlap , sebaiknya di pertemuan selanjutnya masing-masing sudah ditentukan tema soalnya  Fasilitator membimbing dengan baik 7. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : 1. Mengadakan workshop serupa secara berkala 2. Undangan kepada peserta diberikan lebih awal sehingga pengumpulan soal dari institusi/ regional dapat berjalan dengan baik 3. Koordinasi dengan pihak institusi untuk menngirimkan soal dengan kualitas dan kuantitas yang diharapkan 4. Penentuan tema dari awal agar soal yang dibuat item writer lebih bervariasi 8. Penutup Standarisasi lulusan dokter melalui uji kompetensi merupakan bagian penting dari upaya peningkatan kualitas lulusan dokter dan juga untuk institusi pendidikan dokter. Untuk terlaksananya uji kompetensi yang baik penting untuk dikembangkan pembuatan soal yang berkualitas, komprehensif dan sesuai dengan tingkat kompetensi yang diharapkan. Dengan pelaksanaan workshop yang berkesinambungan maka diharapkan didapatkan bank soal yang berkualitas dan sekaligus membangun kapasitas item writer di institusi dan regional sehingga akhirnya tujuan peningkatan kualitas dokter melalui standarisasi uji kompetensi dapat tercapai. Mengingat fungsi


Page 9

HPEQ PROJECT 2012 WO dan perannya yang sangat besar, maka dukungan dari semua pihak terkait kegiatan komponen sangat diperlukan.


Page 10

Direktorat Pembelajaran dan Kemahasiswaan Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan dan Kebudayaan

Recommend Documents