HPEQ Project 2010
MONEV
LAPORAN WORKSHOP STANDARD SETTING KEDOKTERAN GIGI GELOMBANG 2 KOMPONEN 2 PROYEK HPEQ
Hotel JW Marriot, Surabaya 20 – 21 Agustus 2010 Direktorat Akademik Direktorat Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional
Component 2 – HPEQ Project
Page 1
HPEQ Project 2010
MONEV
1.
Pendahuluan
Komponen 2 proyek HPEQ mempunyai fokus kegiatan pada upaya peningkatan sistem ujian. Dalam upaya penjaminan mutu sistem ujian ini salah satunya dilakukan melalui proses penetapan batas lulus (standard setting). Mengingat status ujian nasional sebagai ujian yang bersifat high-stake dan menentukan seseorang apakah dapat melakukan profesinya, penetapan batas lulus ini harus adil dan dapat dipertanggungjawabkan. Untuk itu telah terdapat berbagai metode yang telah teruji secara ilmiah dan dilaksanakan secara internasional. Secara umum terdapat 2 pengelompokan metode yang dapat digunakan, yaitu metode relatif dan metode absolut. Mekanisme penentuan batas lulus yang saat ini berjalan masih menggunakan metode relatif. Bahkan pada kebanyakan praktek penentuan kelulusan dilakukan secara arbitrary yang tidak didasari oleh landasan ilmiah dan upaya keras untuk bersikap adil dan dapat dipertanggungjawabkan. Pemahaman tentang metodologi penentuan batas lulus ini masih kurang karena dalam prakteknya masih jarang digunakan. Pemahaman ini penting karena dalam penentuan batas lulus dilakukan penilaian oleh ahli secara panel. Hal inilah yang ikut berkontribusi terhadap validitas dan pertanggungjawaban penentuan batas lulus yang dilakukan. Mengingat hal di atas, sebagai bagian dari penjaminan mutu output berupa penentuan batas lulus yang menentukan kelulusan peserta ujian, serta peningkatan kualitas SDM dalam penentuan batas lulus yang dapat dilaksanakan di setiap institusi, perlu dilakukan Workshop Standard setting Kedokteran Gigi secara kontinu setelah pelaksanaan uji kompetensi tiap periode. Pada tanggal 11-12 Mei 2010, untuk pertama kalinya telah dilaksanakan workshop standar setting untuk kedokteran gigi. Pada workshop tersebut, telah diperkenalkan 3 metode standard setting, yaitu Hofstee, Ebel dan Modified Angoff. Output yang dihasilkan dari workshop masih kurang optimal karena baseline data yang digunakan masih belum melalui tahap item analysis. Oleh karena itu, perlu dilaksanakan workshop standard setting gelombang ke-2 yang akan dilaksanakan pada tanggal 20-21 Agustus 2010 untuk menghasilkan output yang lebih optimal dengan persiapan yang lebih matang. 2. Tujuan 1. Dipahaminya berbagai metode penentuan batas lulus yang adil dan dapat dipertanggungjawabkan secara ilmiah. 2. Meningkatnya jumlah dan kemampuan standard setter yang akan menjadi judge pada panel expert. 3. Dilaksanakannya metode penentuan batas lulus untuk ujian nasional maupun ujian yang dilaksanakan secara lokal untuk meningkatkan penjaminan mutu sistem ujian. 3. Output Workshop 1. Metode penentuan batas lulus yang dinilai paling sesuai diterapkan untuk institusi kedokteran gigi di Indonesia 2. Rencana implementasi metode penentuan batas lulus yang paling sesuai untuk uji kompetensi baik lokal maupun nasional 3. Sejumlah judge yang handal untuk panel expert kedokteran gigi
Component 2 – HPEQ Project
Page 2
HPEQ Project 2010
MONEV
4.
Metode Pelaksanaan Workshop
Workshop ini dilaksanakan pada tanggal 20 – 21 Agustus 2010 di Hotel JW Marriot, Surabaya dengan mengundang seluruh dekan FKG atau ketua PSKG dan wakil dekan FKG/ sekretaris prodi di Indonesia. Dari 25 IPDG yang diundang, hanya dekan FK USU dan FK UI yang berhalangan hadir. Akan tetapi, semua wakil dekan dan sekretaris prodi hadir pada workshop ini. Selain itu, workshop ini juga dihadiri oleh stakeholder profesi dokter gigi, yaitu ketua KDGI, PDGI, MKKGI, perwakilan KKG, 11 core team UKDGI, tim monev kedokteran gigi, serta 1 orang fasilitator dari KB UKDI, dr. Setiawan. Antusiasme peserta sangat baik, hal ini dapat dilihat dari participation rate yang mencapai 97 % (64 orang) dari jumlah undangan yang seharusnya 66 orang. Workshop dilaksanakan dengan 2 metode, yaitu diskusi pleno dan diskusi kelompok. Setelah sesi pleno sosialisasi progress report kegiatan proyek HPEQ semester 1, selanjutnya acara dibagi menjadi 2 sesi, yaitu forum dekan dengan agenda membahas isu-isu strategi pendidikan kedokteran gigi, dan workshop standard setting yang dihadiri oleh wakil dekan dan sekretaris prodi yang berperan sebagai judges. Apabila dibandingkan dengan rencana kegiatan yang tertera pada TOR, pada implementasinya, acara berjalan agak terlambat dari jadwal dikarenakan waktu mulainya acara terlambat sekitar setengah jam. Meskipun demikian, nilai substansi dari tiap materi yang diberikan oleh narasumber dan diskusi tidak berkurang. Berikut adalah rundown acara workshop pada kondisi riil : Waktu 14.30 – 14.35 14.35 – 15.35 15.35 – 15.25 15.25 – 15.45
Acara Jumat, 20 Agustus 2010 Pembukaan Progress Report Proyek HPEQ Uji Kompetensi Kedokteran Gigi Laporan dan Rencana Pengembangan Uji Kompetensi Kedokteran Gigi Selayang Pandang Persiapan Pelaksanaan OSCE Kedokteran Gigi/ Laporan Kegiatan HPEQ – OSCE
15.45 - 16.00
Laporan Perkembangan CBT
16.00 – 16.15 16.15 – 17.00
Laporan dari Stakeholder Sharing dan masukan
17.00 – 19.40
ISHOMA
19.40 – 20.00 20.00 – 22.30
Penjelasan item analysis dan metode standard setting Diskusi Kelompok Latihan standard setting (dibagi dalam 3 kel) Sabtu, 21 Agustus 2010
Pelaksana Melani S Djamil / Core Team UKDGI Ismet Danial N / PIC Komponen 1 Kedokteran Gigi Boedi O Roeslan / Core Team UKDGI Mei Syafriadi / Core Team UKDGI Iwan Dewanto / Core Team UKDGI Ketua PDGI &Ketua AFDOKGI
Indri Kurniasih Fasilitator
09.30 – 10.30
Laporan hasil kerja kelompok
10.45 – 10.50 10.50 – 11.20 11.20 – 11.30
Penandatanganan kesepakatan hasil standard setting Ketua KDGI, Ketua Afdokgi Pembahasan hasil isu-isu strategis kedokteran gigi Arsitawati P Raharjo Wrap up & rencana tindak lanjut Ismet Danial Nasution
Component 2 – HPEQ Project
Indri Kurniasih
Page 3
HPEQ Project 2010
MONEV
5.
Hasil Kegiatan
Sesi utama workshop standard setting dilaksanakan dalam 2 metode, yaitu presentasi narasumber dan diskusi interaktif. Beberapa catatan penting dari sesi kuliah dan diskusi interaktif pada workshop adalah sebagai berikut : a.
b.
c.
Perlu segera disusun glossary istilah-istilah kedokteran gigi Forum mengusulkan agar diadakan satu workshop khusus untuk menyusun glossary/ penyamaan istilah-istilah dalam kedokteran gigi. Diharapkan workshop ini dapat difasilitasi oleh proyek HPEQ. Uji Kompetensi dilakukan sebelum sumpah dokter/ dokter gigi Telah disepakati bersama bahwa uji kompetensi dilakukan sebelum sumpah, baik untuk dokter maupun dokter gigi Diharapkan center untuk CBT & OSCE tidak hanya di 6 center, tetapi di semua IPDG Pemilihan center untuk CBT dan OSCE didasarkan pada kesiapan sarana dan prasarana pendukung implementasi CBT di tahun 2011 dan OSCE di tahun 2012. 13 IPDG yang telah menyatakan siap untuk menjadi CBT dan OSCE center adalah FKG USU, FKG UI, FKG USAKTI, FKG UNPAD, FKG UGM, Prodi UMY, FKG UNEJ, FKG UNAIR, FKG UNMAS, FKG UNHAS, FKG UNBRAH, FKG UPDM dan FKG UHT. Dalam mempersiapkan center tersebut, proyek HPEQ akan memfasilitasi pelatihan untuk koordinator CBT dan OSCE untuk 13 IPDG tersebut pada akhir September 2010.
Selanjutnya, pada saat pelatihan standard setting untuk judges, sesi pelatihan diawali dengan pemaparan dari item bank manager UKDGI, Indri Kurniasih terkait mengenai metode standard setting Angoff dan item analysis. Setelah itu, tiap judges berlatih standard setting dalam 3 kelompok sesuai pembagian kelompok sebagai berikut : 1) Kelompok 1 Judges perwakilan dari : USU, USAKTI, UGM, UNEJ, UNHAS, UKM, UNSOED, UB, UNJANI Fasilitator: Mei Syariadi, Yohana Yusra dan Peter Andreas 2) Kelompok 2 Judges perwakilan dari : UNRAH, UPDM, UNAIR, IIK Kediri, UNSYIAH, UMY, UNLAM dan UNAND Fasilitator: Indri Kurniasih, Adam Malik dan Utmi Arma 3) Kelompok 3 Judges perwakilan dari : UI, UNPAD, UHT, UNMAS, UNSRI, UNISSULA, UNSRAT, UNPRIMA Fasilitator: Setiawan, Wiwik, Haslinda Pada kerja kelompok tersebut, setiap wadek 1 yang bertindak sebagai judges berlatih menentukan Nilai Batas Lulus (NBL) dengan 2 alternatif metode modified Angoff, menggunakan data dasar hasil UKDGI periode Agustus 2010. Selain itu, telah dilakukan analisa terhadap kesesuaian blue print MCQ yang menggunakan 6 tinjauan dengan soal UKDGI periode Juli 2010. Berikut adalah persentase kesesuaian tersebut :
Component 2 – HPEQ Project
Page 4
MONEV
Component 2 – HPEQ Project
HPEQ Project 2010
Page 5
MONEV
HPEQ Project 2010
Berdasarkan hasil kerja kelompok, dihasilkan beberapa kesepakatan terkait standard setting UKDGI sebagai berikut : 1. Metode Standard setting yang dipilih Metode yang diplih oleh forum adalah Absolute Method, yaitu modified Angoff. Dengan metode ini keputusan NBL didasarkan pada item soal (dinyatakan dalam prosentase jawaban benar). Metode ini dirasakan tepat untuk ujian berbasis kompetensi. Selain itu, dengan metode ini performa seorang peserta tidak tergantung pada performan peserta lain. 2. Definisi borderline UKDGI Telah disepakati bersama bahwa borderline UKDGI adalah sebagai berikut : • Mahasiswa yang lulus pada tahap akademik melewati batas masa studi • Mahasiswa yang perlu kasus lebih banyak untuk mencapai standard kompetensi • Mahasiswa yang ujian tertulis di setiap departemen biasanya mengulang sampai 2 kali • Peserta UKDGI retaker yang kedua • Peserta UKDGI baru (first taker) yang lulusan lama • Mahasiswa dengan IPK 2.00-2.49 atau 2.50-2.74 (tergantung kondisi di institusinya) • Mahasiswa yang nilai ujiannya berada antara C dan D 3. Rekapitulasi tingkat kelulusan UKDGI Berdasarkan hasil UKDGI periode Agustus, dari 381 peserta yang berpartisipasi, 77 peserta masih belum bisa dinyatakan lulus (successful rate 80 %). Score tertinggi adalah 76, dan dicapai oleh mahasiswi PSKG UMY (Dyah Isyana Larasati) dan score paling rendah adalah 6. Mean score dan standar deviasi UKDGI adalah masing-masing 54.9 dan 10,2. Berikut adalah rata-rata nilai UKDI dan successful rate dari tiap institusi :
Component 2 – HPEQ Project
Page 6
HPEQ Project 2010
MONEV
4. Hasil Perhitungan NBL Telah disepakati bersama bahwa perhitungan NBL menggunakan percentage modified angoff method. Dengan metode ini akan dihitung berapa persen borderline group/minimally competent students yang dapat menjawab soal dengan benar? Berdasarkan hasil simulasi, dengan jumlah judges 24 orang, NBL yang didapatkan adalah 48. Berdasarkan hasil diskusi, telah berhasil dikemukakan beberapa kendala dalam penentuan NBL, yaitu sebagai berikut : 1. Judge sulit membayangkan diri sebagai borderline 2. Banyak yang belum familiar sebagai judge 3. Belum dapat memisahkan diri sebagai dosen atau judge sehingga sulit memposisikan diri sebagai borderline/minimally competence student 4. Judge harus lebih menghayati soal sehingga konsistensi dalam penentuan batas lulus 5. Waktu penentuan batas lulus sangat terbatas Pada akhir sesi workshop, telah ditandatangani nota kesepakatan terkait metode standard setting yang digunakan, yaitu metode percentage modified angoff method. Nota kesepakatan tersebut ditandatangani oleh stakeholders terkait, yaitu Ketua AFDOKGI, Ketua PDGI, Ketua KDGI dan perwakilan KKG.
6.
Refleksi
Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum. Melalui refleksi ini diharapkan akan teridentifikasi root of causes dari parameter-parameter penilaian yang kurang optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif tersebut : Gambaran Umum •
•
Pada dasarnya, pelaksanaan workshop sudah berjalan sangat baik. Para peserta sudah dapat lebih memahami konsep standard setting, karena workshop ini adalah latihan ke-2 bagi para peserta untuk menentukan metode standard setting yang akan digunakan pada UKDI. Persiapan dari KDGI juga lebih matang karena sudah menggunakan real output item analysis dari hasil UKDGI periode Agustus 2010, sehingga telah dilakukan standard setting yang sebenarnya, bukan hanya percobaan. Core team / tim teknis UKDGI sudah lebih mandiri dalam mengawal jalannya workshop. Core team juga sudah “fit” memposisikan diri sebagai fasilitator dalam kelompok dan memberikan arahan yang jelas kepada para judges untuk melaksanakan tahapan-tahapan standard setting.
Component 2 – HPEQ Project
Page 7
HPEQ Project 2010
MONEV
Tim Monev : Feedback Peserta Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring “voice of customer” peserta terkait satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari 28 kuesioner yang kembali ke tim monev, 94 % responden menyatakan parameter workshop yang dinilai sudah sesuai. Hanya 6 % responden yang menilai beberapa parameter workshop masih belum sesuai. Persepsi peserta ini perlu dianalisa lebih lanjut, terutama untuk parameter-parameter yang dirasakan masih belum sesuai. Parameter workshop yang dinilai persepsinya adalah sebagai berikut :
1.
Parameter Penilaian Orientasi di awal pertemuan memberikan kejelasan tujuan workshop
2.
Narasumber dalam workshop telah menguraikan tugas dengan jelas
3.
5.
Pelatihan dan praktik dalam workshop ini sangat membantu dalam memahami bagaimana menjalankan standard setting Latihan standard setting pada workshop ini sangat membantu dalam memahami asesmen/penilaian Definisi borderline cukup jelas dan bermanfaat dalam standard setting
6.
Diskusi dalam kelompok kecil dan pleno membantu untuk memahami standard setting
7.
Informasi tentang indeks kesukaran soal sangat bermanfaat
8.
Waktu yang disediakan dalam workshop ini cukup memadai
4.
Setiap orang mendapatkan kesempatan yang sama dalam kelompok untuk menyampaikan ide dan pendapatnya 10. Saya yakin dengan kelayakan nilai batas lulus yang direkomendasikan dalam standard setting 11. Metode standard setting yang diterapkan pada UKDGI selama ini perlu diimprove 9.
Analisa lebih lanjut terhadap feedback peserta, kesesuaian terbesar peserta dirasakan terhadap output workshop, dimana peserta merasa mendapatkan added value yang besar, sehingga workshop ini dinilai dapat meningkatkan kemampuan mereka dalam memahami metode assessment di masing-masing IPDG. Selain itu, narasumber yang memberikan materi dan metode pelatihan standard setting yang diimplementasikan pada workshop ini dinilai sangat sesuai oleh karena peserta, sehingga pemahaman peserta terhadap standard setting meningkat. Selain itu, semua forum telah sepakat bahwa metode standard setting yang diterapkan pada UKDGI selama ini masih perlu diimprove. Berdasarkan hasil feedback, dapat dianalisa pula parameter-parameter yang dinilai masih kurang sesuai, yaitu waktu pelaksanaan workshop yang dinyatakan sangat kurang. Selain itu, definisi borderline masih perlu dijelaskan lebih detail kepada peserta.
Component 2 – HPEQ Project
Page 8
MONEV
HPEQ Project 2010
Berdasarkan input dari peserta, beberapa hal yang perlu diimprove dari pelaksanaan workshop ini adalah : • Perlu sosialisasi lebih detail kepada para perwakilan institusi yang akan menjadi judges • Sebaiknya workshop diadakan setelah uji kompetensi, sehingga penilaian yang dilakukan adalah yang sebenarnya • Waktunya supaya lebih diperpanjang, supaya latihannya tidak terburu-buru • Perlu pelatihan untuk tahap berikutnya, supaya menjadi judges yang expert • Pemahaman metode analisis soal harus diberikan terlebih dahulu • Pemahaman awal peserta mengenai standard setting perlu ditingkatkan • Perlu diadakan latihan lebih intensif di masing-masing IPDG • Sosialisasi diharapkan dapat sering dilakukan supaya bisa diterapkan dengan baik di masing-masing institusi • Materi workshop sebaiknya dapat diberikan lebih awal, supaya dapat dipelajari terlebih dahulu • Peserta workshop seharusnya adalah judges yang benar-benar sudah memahami standard setting • Perlu diberikan sertifikat untuk peserta Selama diskusi kelompok, tim monev juga menjaring aspirasi para judges terkait metode standard setting yang sesuai diterapkan untuk UKDGI. Beberapa masukan dari para judges adalah sebagai berikut : • Modified Angoff dengan borderline versi 2 • Modified Angoff versi 2 (persentase), karena mengakomodasi peserta ujian yang dianggap borderline • Modified Angoff tipe 1, dapat melihat kesukaran soal dengan cara borderline • Modified Angoff, karena lebih mudah dalam implikaisnya • Modified Angoff, sesuai dengan kondisi IPDG yang bervariasi • Absolute standard. Prosentase dari jawaban yang benar, tetapi tergantung dari peserta lain • Modified Angoff lebih objektif
Component 2 – HPEQ Project
Page 9
MONEV
• • •
HPEQ Project 2010
Metode absolute, karena cocok untuk KBK Metode angoff dengan persentase karena lebih dapat merepresentasikan hasil Metode yang selama ini diterapkan sudah baik, karena sudah melibatkan semua IPDG dan stakeholder yang ada
Berdasarkan aspirasi para judges seperti pernyataan yang tertera diatas, maka memag sudah disepakati bersama bahwa metode standard setting yang dianggap paling sesuai untuk diimplementasikan adalah absolute method, lebih spesifiknya percentage modified angoff. Pertanyaan lebih lanjut dilontarkan kepada para judges, apakah metode standard setting yang terpilih tersebut dapat diimplementasikan secara nasional ? Beberapa pendapat dari para judges adalah sebagai berikut : • Dapat diterapkan, dengan kesepakatan dalam penentuan borderline • Secara bertahap, perlu dilakukan sosialisasi terlebih dahulu, karena belum ada kesamaan persepsi dari masing-masing IPDG • Memungkinkan apabila judges adalah orang yang benar-benar capable dalam memahami gambaran borderline di IPDG • Memungkinkan, dengan beberapa perbaikan. Perlu kerja keras untuk penyeragaman standard pendidikan • Bisa, tetapi perlu waktu dan dana yang besar • Dapat diterapkan, tetapi perlu penyamaan persepsi terlebih dahulu terkait standar kompetensi • Bisa, tetapi perlu penyamaan persepsi dari tiap judges Hampir semua judges meyakini bahwa metode standard setting yang dipilih dapat diimplementasikan secara nasional, akan tetapi ada satu judges yang menyatakan tidak yakin karena metode pembelajaran yang masih sangat variatif antar institusi Selain pandangan dari peserta, para fasilitator dan stakeholders juga memberikan pandangan dan input terhadap metode standard setting yang telah dipilih beserta rencana strategis untuk implementasinya pada tiap IPDG. Pandangan Fasilitator dari KB UKDI : • Apresiasi untuk profesi dokter gigi terhadap akselerasi penentuan metode standard setting dengan metode modified angoff • Tantangan mendasar adalah kualitas item. Quality assurance terhadap item-item ini menjadi tanggung jawab tiap IPDG. Untuk itu, Afdokgi perlu memantau apakah quality assurance system di masing-masing IPDG terlah berjalan dengan baik dan memastikan bahwa pelatihan-pelatihan HPEQ telah dilanjutkan di institusi masing-masing. • Untuk selanjutnya, judges dari tiap institusi sebaiknya konsisten, jangan berganti-ganti • Peserta ataupun kontributor soal harus mengetahui blue print sehingga dapat terpenuhi seluruhnya • Struktur kurikulum harus mengacu pada sistem assessment • Untuk mejaga sustainability output dari workshop-workshop HPEQ selama ini, AFDOKGI perlu menggerakkan anggotanya untuk melaksanakan workshop sejenis di institusi masing-masing. Hal ini sejalan dengan misi proyek HPEQ, yaitu penguatan institusi. Pandangan Ketua AFDOKGI : Untuk menjaga sustainability output workshop, maka tiap IPDG perlu melaksanakan workshop sejenis. Afdokgi menghimbau seluruh anggotanya untuk mulai merancang pelaksanaan workshop di masingmasing institusi dalam rangka memperbaiki mekanisme sistem assessment.
Component 2 – HPEQ Project
Page 10
HPEQ Project 2010
MONEV
Pandangan Ketua Kolegium : • Metode standard setting yang disosialisasikan pada workshop kali ini sangat bermanfaat, tidak hanya untuk peserta, tetapi akademisi lain di masing-masing institusi. Oleh karena itu, hasil dari workshop kali ini perlu dishare kepada rekan akademisi di tiap IPDG • Workshop yang difasilitasi proyek HPEQ sebaiknya dapat digunakan sebagai model untuk workshop di institusi masing-masing • Untuk menjaga sustainability workshop, diharapkan setiap perwakikan institusi dapat terus berkontribusi mengirimkan soal-soal, baik CBT maupun OSCE kepada exam manager UKDGI, Mei Syariadi. 7. Rencana Tindak Lanjut Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari peserta workshop, beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah sebagai berikut : • Perlu dilakukan item analysis yang lebih detail dan mendalam • Pelaksanaan workshop item review dengan melibatkan panel expert dan item writer nasional yang telah terpilih melalui workshop proyek HPEQ • Penambahan bank soal UKDGI • Menjaring feedback dari tiap IPDG terkait hasil UKDGI untuk evaluasi proses pendidikan. Untuk menjaring feedback ini, dibutuhkan kerjasama Afdokgi dengan KDGI
8. Penutup Penentuan batas lulus merupakan kegiatan akhir dari rangkaian sistem ujian. Keseluruhan aspek dalam pelaksanaannya memerlukan proses penjaminan mutu. Dalam penentuan batas lulus ini yang sangat menentukan kelulusan terutama pada kelompok borderline sangat krusial. Oleh karena itu, pemahaman dan peningkatan kemampuan standard setter sangat diperlukan, dan hal ini dapat dicapai melalui kegiatan workshop. Oleh karena itu, dukungan semua pihak terhadap keberhasilan workshop ini sangat diperlukan. 9. • • • •
Lampiran Materi presentasi narasumber Hasil latihan standard setting Kesepakatan standard setting Database peserta workshop
Component 2 – HPEQ Project
Page 11
