KETENTUAN PROSES DAN PROSEDUR MONEV TENGAH-AKHIR TAHUN IMPLEMENTASI PHK TPSDP, A2 DAN SP4

KETENTUAN PROSES DAN PROSEDUR MONEV TENGAH-AKHIR TAHUN IMPLEMENTASI PHK TPSDP, A2 DAN SP4 Untuk Internal Reviewer PUSAT JAMINAN MUTU (PJM) UNIVERSITAS BRAWIJAYA TAHUN 2005

LATAR BELAKANG Dalam rangka meningkatkan kesehatan institusi, Universitas Brawijaya telah mengikuti beberapa Program Hibah Kompetisi (PHK) sejak 1998. Tujuan proyek DUE, DueLike, QUE, TPSDP dan Program Hibah Kompetisi (PHK) Dikti adalah meningkatkan mutu pendidikan di jurusan di masing-masing Perguruan Tinggi penerima hibah. Tercapainya peningkatan mutu pendidikan akan diukur menggunakan beberapa indikator kinerja (performance indicators) yang telah ditetapkan maupun yang diusulkan oleh penerima hibah. Sasaran kuantitatif indikator-indikator tersebut ditetapkan sebelum program dimulai dan dicantumkan dalam proposal dan Rencana Implementasi Proyek (Project Implementation Plan/PIP) yang diajukan oleh penerima hibah dari masing-masing Perguruan Tinggi. Peningkatan mutu pendidikan yang ditunjukkan oleh peningkatan indikator-indikator tersebut diharapkan tercapai karena adanya perbaikan didalam pengelolaan Jurusan dan pelaksanaan Program Studi sebagai dampak dari implementasi hibah dari Direktorat Jenderal Pendidikan Tinggi. Majelis dan komisi yang ada di Dewan Pendidikan Tinggi bertanggung jawab melaksanakan monitoring dan evaluasi terhadap kinerja yang dicapai. Akan tetapi secara internal tugas Monev implementasi PHK tersebut menjadi tanggung jawab Pusat Jaminan Mutu (PJM) Universitas Brawijaya untuk mengevaluasi pengembangan Jurusan dan Program Studi, sesuai dengan tujuan dan sasaran yang telah ditetapkan oleh penerima hibah, baik secara kualitatif yaitu berupa evaluasi terhadap ada tidaknya perbaikan ke arah tujuan yang diinginkan oleh unit penerima hibah, maupun secara kuantitatif yaitu ada tidaknya peningkatan indikator kinerja pada setiap akhir tahun pelaksanaan proyek/program selama proyek/program berlangsung. Selain itu reviewer internal PJM-UB juga melakukan evaluasi tahunan terhadap kemajuan yang dicapai dalam pelaksanaan kegiatan investasi yang dilakukan oleh proyek/program tersebut sekaligus untuk mengetahui permasalahan yang dihadapi. Berdasarkan SK Rektor Universitas Brawijaya No. 023/A/SK/2006, tugas dari PJM-UB adalah: 1. Mengembangkan prosedur kerja baku (Standard Operation Procedure atau SOP) untuk: a. Menjamin kualitas dan seleksi internal proposal Program Hibah Kompetisi (PHK) dari DIKTI b. Menjamin kualitas pelaksanaan PHK DIKTI tersebut melalui Monitoring dan Evaluasi (Mone) c. Pendampingan pada saat visitasi PHK dari DIKTI d. Menjamin kualitas Penelitian dan Pengabdian pada Masyarakat e. Menjamin kualitas usulan akreditasi Program Studi/Institusi melalui pendampingan 2. Monitoring dan evaluasi uji coba serta implementasi manual untuk kegiatan akademik 3. Pengembangan Sistem Jaminan Mut Akademik di Universitas Brawijaya 4. Menyebarluaskan praktek baik (good practices) dari suatu unit penerima PHK ke unit yang lain.

TUJUAN Tujuan utama dilakukannya monitoring dan evaluasi adalah : 1. Mengetahui dengan jelas perkembangan unit penerima hibah dalam mengimplementasikan rencana pengembangannya yang tertuang didalam proposal dan Rencana Implementasi Proyek.

2. Membantu

unit penerima hibah dengan memberikan masukan-masukan dalam menghadapi berbagai permasalahan yang dijumpai dalam rangka pelaksanaan rencana pengembangannya. 3. Memberikan laporan dan rekomendasi kepada Rektor dan Penanggungjawab Kegiatan mengenai tindak lanjut pelaksanaan pemberian hibah dari Direktorat Jenderal Pendidikan Tinggi pada unit penerima hibah tersebut.

KRITERIA MONITORING DAN EVALUASI YANG BAIK Proses monitoring dan evaluasi yang dianggap baik harus dapat memenuhi kriteria sebagai berikut: 1. Reliable (kehandalan). Keandalan dari suatu proses monitoring dan evaluasi dinilai dengan kesamaan hasil proses monitoring dan evaluasi tersebut pada berbagai kondisi yang relatif sama, kalau antar kondisi-kondisi tersebut diperbandingkan. Dengan demikian, faktor-faktor subyektifitas (seperti karakteristik individu para reviewer, penafsiran dan penilaian yang tidak berdasar, dsb) dalam pelaksanaan monitoring dan evaluasi sedapat mungkin dikurangi ataupun dihindari. 2. Transparan. Transparansi pada proses monitoring dan evaluasi bergantung pada sejauh mana pihak yang melakukan monitoring dan evaluasi dan pihak yang dimonitor dan dievaluasi memahami dengan baik proses tersebut, termasuk pemahaman mengenai tujuan, alasan maupun hasil yang diharapkan. 3. Credible (dapat dipercaya). Tingkat kredibilitas suatu proses monitoring dan evaluasi sangat bergantung pada tingkat validitas hasil proses monitoring dan evaluasi tersebut. Oleh karena itu, kecermatan dalam mengukur prestasi yang telah dicapai dalam mencapai tujuan yang diinginkan dan mengukur kewajaran dalam pembiayaan implementasi program, serta keterbukaan dari yang dimonitor dan dievaluasi (penerima hibah) menjadi faktor yang sangat penting dan perlu mendapatkan perhatian. 4. Comprehensiveness (tingkat komprehensif). Tingkat Komprehensif dari suatu proses monitoring dan evaluasi sangat bergantung kepada keseuaian jumlah obyek yang diamati dan kesesuaian jumlah sampel responden (mahasiswa, dosen, dsb) yang disiapkan oleh unit yang dimonitor dan dievaluasi. 5. Universality. Keuniversalan suatu proses monitoring dan evaluasi bergantung pada sejauh mana proses tersebut dapat diadopsi dan dilaksanakan pada berbagai subject area dan pada berbagai kondisi. 6. Effectiveness. Efektivitas proses monitoring dan evaluasi yang berkualitas bergantung pada sejauh mana dampak dari proses tersebut menyebabkan penerima hibah secara sadar melakukan proses pengembangan yang berkesinambungan (continuous improvement), termasuk melakukan identifikasi peluang-peluang pengembangan, memberikan informasi secara berkesinambungan pada para stakeholder mengenai perkembangan institusinya, dsb. Ke 6 kriteria tersebut diatas, sebaiknya dipahami benar oleh para reviewer yang melakukan proses monitoring dan evaluasi.

SKEMA DAN PROSEDUR Monev tengah tahun dan akhir tahun akan dilaksanakan oleh sebuah tim internal reviewer PJM atau minimal harus terdiri dari dua orang reviewers. Monev dilakukan dua kali dalam

satu tahun, yaitu di tengah dan akhir tahun implementasi. Monev dilakukan dengan desk evaluation didasarkan pada Laporan Tengah Tahun dan Presentasi Kemajuan PHK di depan seluruh taskforce penerima hibah. • Desk evaluation Dilakukan oleh dua (2) orang internal reviewer PJM dan dimaksudkan untuk mendapat informasi secara detail kemajuan, kendala dan solusi alternatif yang dilakukan oleh penerima PHK berdasarkan Laporan yang telah dibuat. Setiap penerima PHK menyerahkan dua eksemplar Laporan. Dialukan pada Monev tengah dan akhir tahun. • Progress Report Presentation Selain itu, pada waktu yang disepakati, penerima hibah melakukan presentasi di hadapan seluruh penerima PHK di lingkungan Universitas Brawijaya. Komentar dari reviewer pada saat desk evaluation dapat diklarifikasi melalui diskusi. Selain itu, forum ini juga diharapkan menjadi sarana penyebaran dari good practices setiap penerima hibah. Pimpinan fakultas dan universitas dapat hadir dalam acara ini untuk memberikan pengarahan. • Site visit Selain itu, pada waktu yang disepakati pada akhir tahun, dilakukan visitasi untuk melakukan klarifikasi keberhasilan, kendala dan dampak hibah yang diterima. Dilakukan oleh dua (2) orang internal reviewer PJM dan dialog dengan Pimpinan Fakultas, Jurusan, PIC, dosen dan mahasiswa serta pemeriksaan dokumen pendukung. Kriteria dan Monitoring-Evaluasi Setiap laporan implementasi PHK diberi penilaian, komentar dan catatan koreksi sebagai bahan pertimbangan bagi perbaikan implementasi PHK. Pada saat visitasi maupun proses Monev, reviewer mendapat form Monev sbb:

Kriteria dan Evaluasi Implementasi PHK berdasarkan waktu A. Monev Tengah Tahun Menitik-beratkan pada dampak dari pelaksanaan proyek, kesesuaian arah perkembangan dengan tujuan dan sustainabilitas hasil pengembangan. Komponen Penilaian Monev Tengah Tahun untuk PHK SP4, A2 dan TPSDP Komentar Umum: Evaluasi Diri (ED), Program Pengembangan (PP), capaian, kendala, masalah yang dihadapi & solusinya, apakah implementasi proyek berjalan sebagaimana aturan yang berlaku a. Kepemimpinan dan komitmen PT b. Kemampuan melakukan evaluasi diri c. Program yang diusulkan d. Keberlanjutan program B. Monev Tahunan Menitik-beratkan pada capaian, kendala dan masalah yang dihadapi dan solusi yang telah & akan dilakukan dalam melaksanakan proyek/program hibah pada tahun berjalan. Komponen Penilaian Monev Akhir Tahun untuk PHK SP4, A2 dan TPSDP Komentar Umum: Evaluasi Diri (ED), Program Pengembangan (PP), capaian, kendala, masalah yang dihadapi & solusinya, apakah implementasi proyek berjalan sebagaimana aturan yang berlaku a. Kepemimpinan dan komitmen PT b. Kemampuan melakukan evaluasi diri c. Program yang diusulkan d. Program yang akan direncanakan pada tahun berikutnya e. Keberlanjutan program

C. Monev Akhir Proyek Menitik-beratkan pada dampak dari pelaksanaan proyek, pencapaian tujuan dan arah perkembangan selanjutnya serta usaha-usaha yang telah/akan dilaksanakan untuk menjaga sustainabilitas hasil pengembangan.

Komponen Penilaian Monev Akhir Project untuk PHK SP4, A2 dan TPSDP Komentar Umum: Evaluasi Diri (ED), Program Pengembangan (PP), capaian, kendala, masalah yang dihadapi & solusinya, apakah implementasi, output dan outcomes proyek berjalan sebagaimana aturan yang berlaku a. Kepemimpinan dan komitmen PT b. Kemampuan melakukan evaluasi diri c. Program yang diusulkan d. Keberlanjutan program Setiap laporan diriview oleh dua (2) orang reviewer internal dan tim yang bertugas diminta untuk menyusun komentar gabungan hasil konsolidasi. Jika sebuah konsensus tidak dapat dicapai, tim reviewer harus menunjukkan dengan jelas pendapat yang berbeda tersebut (dissenting opinion). Komentar (consolidated) dikirimkan ke Sekretariat PJM ([email protected]) dalam waktu 7 (tujuh) hari setelah kegiatan Monevin. Hasil penilaian dilaporkan Ketua PJM ke Rektor dengan tembusan penerima hibah. Code of conduct bagi para reviewer Tim yang melakukan monev dibiayai oleh Universitas. Karena itu tidak diperbolehkan menerima pembayaran atau bantuan finansial dalam bentuk apa pun dari penerima hibah. Tim yang melakukan monev harus menangani semua informasi dan data yang diperoleh dengan kerahasiaan tinggi dan menggunakan informasi tersebut hanya untuk dan dalam evaluasi PHK saja.

Lampiran 1. Contoh Monev Tengah Tahun PHK A2

MONEV TENGAH TAHUN IMPLEMENTASI PHK A2 UNIVERSITAS BRAWIJAYA TAHUN 2005 Jurusan/Fakultas : Farmasi/Kedokteran Reviewer : Endang Arisoesilaningsih

KOMENTAR UMUM Jurusan Farmasi sedang melakukan kegiatan pengembangan dengan dana PHK A2 2004 untuk meningkatkan kualitas lulusan berdasarkan hasil evaluasi diri. Secara umum evaluasi diri telah dilakukan, namun ketajaman prioritas kegiatan akan lebih mudah ditentukan apabila evaluasi diri telah dilakukan dengan metode yang benar sesuai Pedoman PHK A2. Selain itu, kegiatan pengelolaan program belum didasarkan pada struktur organisasi yang tepat, BME telah berubah menjadi PJM. Tiga kegiatan yang diusulkan tahun 2005 adalah peningkatan relevansi dan soft skill lulusan, peningkatan mutu manajemen internal dan peningkatan kerjasama untuk kegiatan kewirausahaan. Ketua Taskforce Jurusan Farmasi telah berhasil melakukan koordinasi sehingga kegiatan berjalan tanpa kendala berarti dengan kemajuan fisik rata-rata telah lebih dari 50%. Sementara itu, capaian kemajuan fisik setiap sub kegiatan masih bervariasi dari 7100%. Kemajuan terendah umumnya pada kegiatan terkait dengan pengadaan barang dan penjadwalan. Untuk itu, Jurusan telah berupaya melakukan negosiasi dengan rekanan dan penjadwalan ulang. Keberhasilan juga ditunjukkan oleh beberapa indikator capaian terkait output (misalnya implementasi student active learning, jumlah kerjasama penelitian dan jumlah magang). Beberapa indikator masih bersifat kualitatif dan tidak dijelaskan bagaimana metode mengukurnya. Secara umum implementasi awal program tahun ke-1 telah memperbaiki beberapa indikator kinerja yang ditetapkan, memperbaiki keterlibatan staff dalam program pengembangan jurusan dan meningkatkan resource sharing dengan jurusan lain di Fakultas Kedokteran. a. Kepemimpinan dan komitmen PT Keberhasilan dan keterlibatan sivitas akademika serta pihak eksternal, pencairan dana DRK dan usulan kegiatan Jurusan Farmasi yang selaras dengan visi/misi Fakultas/Universitas menunjukkan komitmen untuk memperbaiki kualitas lulusan. Selain itu, ada upaya untuk memperbaiki kepemimpinan staf juga ditunjukkan oleh usulan peningkatan manajemen sumber daya manusia. Akan tetapi, taskforce perlu memperhatikan bagaimana metode pengukuran indikator sikap kepemimpinan dan keharmonisan sivitas akademika dengan penilaian “kurang, cukup, baik”. Sebaiknya ada batasan nilai “kurang, cukup, baik”, sehingga evaluasi keberhasilan lebih konsisten. b. Kemampuan melakukan evaluasi diri Evaluasi diri belum dilakukan secara mendalam dengan teknik yang tepat. Akibatnya, Jurusan Farmasi belum menemukan akar permasalahan sebenarnya dari masalah yang teridentifikasi. Dengan kata lain, daftar masalah dan akar permasalahan yang teridentifikasi masih ber”masalah”, misalnya masalah “masa studi lama”, akar permasalahan yang teridentifikasi masih berupa masalah yaitu “penyelesaian TA lama, metode PBM kurang memadai, penyelesaian administrasi lambat, sarana dan prasana PBM kurang”. Hal ini juga berlaku untuk permasalahan yang lain. Keberhasilan menemukan akar permasalahan menjadi awal ketepatan dan keberhasilan pengusulan kegiatan. Evaluasi diri perlu dilakukan secara periodik dengan melibatkan internal dan external stakeholders.

c. Program yang diusulkan Jurusan Farmasi telah melaporkan kegiatan secara cukup detail, sehingga tahapan kegiatan dapat lebih mudah ditelusuri. Akan tetapi, format penulisan Bab 4 terutama tentang “pelaksanaan mekanisme dan rancangan”, “hasil pelaksanaan” dan “capaian indikator kegiatan” belum tepat. Narasi yang ditulis di “hasil pelaksanaan” sebaiknya ditulis di bagian “pelaksanaan mekanisme dan rancangan”, hasil pelaksanaan sebaiknya diisi dengan capaian indikator. Masih ada kesan, bahwa kegiatan yang dilakukan masih berorientasi pada investasi dan bukan pada outcomes. Setiap kegiatan harus dapat diukur melalui proxy indicator (indikator kinerja pendukung) bukan indikator utama. Dengan demikian maka indikator capaian yang sama tidak dituliskan berulang-ulang. Taskforce perlu memperhatikan satuan rata-rata lama studi, teknik penentuan lama pelayanan laboratorium dan arsip jurusan, kemajuan pengembangan SIM hingga akhir project belum 100%, konversi nilai A,B,..,E menjadi TOEFL tidak relevan. Hal ini akan mempengaruhi efisiensi dan produktivitas hibah yang diperoleh. d. Keberlanjutan program Implementasi kegiatan baru diimplementasikan selama enam bulan dan tidak ada informasi tentang keberlanjutan program yang diusulkan. Akan tetapi, Jurusan Farmasi perlu memperhatikan dan mengaitkan keberlanjutan PHK A2 ini dengan peningkatan jumlah proposal, jumlah kontrak kerjasama, promosi dan adanya pabrik mini. Adanya pabrik mini diharapkan tidak akan mengurangi interaksi sivitas akademika dengan external stakeholder.

Kepemimpinan & Komitmen Relevansi Suasana Akademik Manajemen internal & organisasi Keberlan jutan Efisiensi & Produktivita s

Daftar Informasi yang harus digali/verifikasi Adanya strong & focus visi, misi, tujuan & strategi pengembangan PT ke depan, yang menjadi acuan bagi visi, misi, tujuan & strategi pengembangan fakultas dan Jurusan/PS Pemahaman pimpinan jurusan/PS tentang keterkaitan antara proposal PHK yang diajukan dengan Renstra PT. Renstra harus menjadi acuan dalam program pengembangan Upaya PT untuk menggerakkan seluruh unsur (termasuk pembentukan tim Task Force) untuk seleksi internal yang adil dan transparan Alasan pimpinan PT dalam menetapkan prioritas dan pengusulan proposal PHK DIKTI Menyediakan dana pendamping Upaya PT untuk membangun sistem jaminan mutu penyelenggaraan pendidikan (academic quality assurance) Di tingkat jurusan/fakultas: ada upaya untuk mengundang keterlibatan secara kolektif lintas akademika dalam menyusun proposal/laporan. Penunjukkan task force yang kompeten, berwibawa, mampu mengorganisir, perbaikan dan finalisasi proposal/laporan sesuai pedoman Keberadaan dan fungsionalisasi Monev PHK di institusi Mutu penyelenggaraan dan pengelolaan program pendidikan secara keseluruhan Kendala dan dampak implementasi dan capaian PHK terhadap penerapan good practices yang dirasakan pada tingkat PT maupun sivitas akademika di fakultas dan jurusan/PS Mendapat info upaya menjaga keberlangsungan hasil pengembangan yang telah dicapai Kesesuaian kurikulum yang digunakan dengan kebutuhan pada lapangan kerja Kesesuaian kurikulum yang digunakan dengan kebutuhan untuk studi lanjut S2 dan S3 Kesesuaian ketrampilan lulusan dengan kebutuhan pada lapangan kerja Kemandirian, kreatifitas, kemampuan berpikir logis dan kritis, lulusan PS ini, jumlah dan kualitas mata kuliah pilihan Kebebasan mahasiswa dalam memilih MK pilihan sesuai dengan minatnya Komunikasi antar staf pengajar Komunikasi antara staf pengajar dengan pimpinan Komunikasi antara mahasiswa dengan pengajar didalam kelas Komunikasi antara mahasiswa dengan pengajar diluar kelas Komunikasi antar mahasiswa Sarana komunikasi yang ada (seminar, majalah, dll) Sarana komunikasi yang ada, didayagunakan secara optimal Keterlibatan mahasiswa dalam seminar ilmiah Keterlibatan mahasiswa dalam penelitian staf Tugas akademik mahasiswa, selain kuliah Sistem penilaian ujian transparan Mahasiswa diberi kesempatan untuk mengajukan keberatan atas nilai ujian Struktur organisasi dan koordinasi yang jelas Deskripsi tugas, adanya Standard Operating Procedure (SOP) yang tersosialisasikan Kinerja dan motivasi staff dosen dan karyawan Pembenahan sistem perencanaan dan penganggaran yang mencerminkan prioritas Pengembangan sistem monitoring dan evaluasi Sistem prosedur dan pengambilan keputusan Penyederhanaan birokrasi Pengelolaan sumber daya secara transparan, efisien dan efektif Usaha menjamin eksistensi institusi, perolehan dana dari masyarakat (SPP, NGO, pemerintah dan industri..) Usaha menjamin kualitas yang telah dicapai dengan penerapan good practices dalam aktivitas rutin Usaha menjamin sumberdaya yang telah diinvestasikan dalam pemeliharaan Sarana untuk proses pembelajaran Pendayagunaan sarana untuk proses pembelajaran Pengaturan dan pelaksanaan jadwal kuliah maupun praktikum Jumlah staf akademik yang mengajar Pengaturan beban staf akademik untuk mengajar

Proses pembelajaran, berjalan sesuai dengan rancangan pengajaran Hasil proses pembelajaran, sesuai dengan yang diinginkan Tingkat kehadiran mahasiswa dikelas Mahasiswa tekun dan antusias dalam mengikuti perkuliahan Mahasiswa tekun dan antusias dalam menyelesaikan tugas Proses bimbingan mahasiswa Tingkat pengambilan ulang mata kuliah Tingkat drop-out mahasiswa Jumlah mata ajaran yang sifatnya integrasi/lintas bidang