PROGRAM NASIONAL PEMBERDAYAAN MASYARAKAT AGRIBISNIS PERDESAAN (PNPMAP) PETUNJUK OPERASIONAL
MONITORING & EVALUASI KEGIATAN PELATIHAN BDSP LEMBAGA/INDIVIDU
Pelaksanaan kegiatan PNPM Agribisnis Perdesaan (SADI) akan melibatkan pihak eksternal yakni BDSP lembaga/individu yang mempunyai kompetensi dalam memberikan layanan jasa pelatihan pengembangan agribisnis. Penjelaan mengenai pentingnya pelibatan BDSP dalam pelaksanaan PNPM Agribisnis Perdesaan telah dijelaskan dalam “PEDOMAN PRAKTIS: PROSES IDENTIFIKASI, SELEKSI DAN PENGELOLAAN BDSP PENDUKUNG PELAKSANAAN PNPM AGRIBISNIS PERDESAAN”. Untuk itu, BDSP lembaga/individu pemenang yang melaksanakan kegiatan pelatihan agribisnis perlu dimonitor/dipantau dan dievaluasi. Pemantauan dan evaluasi kegiatan pelatihan merupakan pengumpulan informasi baik kuantitatif dan kualitatif secara sistematis yang diperlukan untuk meningkatkan efisiensi dan efektifitas guna mencapai tujuan pelatihan secara keseluruhan. Kegiatan ini juga mencakup umpan balik dari peserta untuk membantu dalam memutuskan strategi yang akan diambil untuk memperbaiki kebutuhan pelatihan di masa depan. Monitoring dan evaluasi kinerja BDSP menyangkut kegiatan‐kegiatan pelatihan agribisnis yang terdanai BLM PNPM AP, antara lain pelatihan penguatan kelembagaan kelompok tani, pelatihan teknis budidaya dan demplot, pelatihan teknis penanganan pasca panen serta pelatihan kewirausahaan dan pemasaran. Beberapa alasan mengapa kinerja BDSP perlu dimonitor dan dievaluasi diantaranya adalah: 1. Proses monitoring dan evaluasi kinerja dilakukan untuk mengetahui hasil dan dampak yang dirasakan secara langsung oleh pengguna jasa (peserta pelatihan/kelompok tani). Kegiatan monitoring dan evaluasi BDSP dilakukan untuk mengetahui kualitas layanan BDSP terhadap kelompok tani, metode dan kegiatan yang telah dilakukan. 2. Hasil monitoring dan evaluasi digunakan sebagai input/masukan kepada pihak BDSP untuk mempertahankan keunggulan dan atau meningkatkan kelemahan yang dimiliki oleh lembaga/perorangan dalam memberikan layanan jasa pengembangan kapasitas. Selain itu digunakan sebagai baseline data dalam penyusunan strategi pendampingan dan pengorganisasian kelompok tani di tahap selanjutnya, diantaranya adalah: o Efektifitas pendekatan dan metode yang digunakan selama pelatihan o Bagian‐bagian dari pelatihan mana yang berhasil mencapai tujuan, serta bagian‐ bagian pelatihan mana yang kurang berhasil, sehingga dapat dibuat langkah‐ langkah perbaikan; o Mutu aspek penyelenggaraan dan hasil pelatihan; 1
o o o
Kesesuaian antara pelaksanaan pelatihan dan perencanaan; Hambatan apa saja yang terjadi dan bagaimana mengatasi hambatan yang terjadi; Kemajuan peserta pelatihan.
Beberapa catatan penting dalam upaya monitoring dan evaluasi kinerja BDSP yaitu: 1. Jika dibutuhkan, dapat dilakukan re‐orientasi dan konsolidasi materi terhadap BDSP selama pelaksanaan kegiatan berlangsung berdasarkan atas hasil monitoring harian dari peserta Pelatihan; 2. Untuk menjaga kualitas kinerja BDSP, lakukan pembayaran secara bertahap berdasarkan atas termin kegiatan yang telah ditentukan (40‐40‐20); 3. Berkaitan dengan pelaksanaan kontrak yang bertahap (stop/go points), sebaiknya lakukan pula kontrak secara bertahap, sehingga mudah untuk menilai apakah kontrak bisa dilanjutkan atau diputus ( misalnya: tahapan pelatihan teknis sampai dengan pelaksanaan di lapangan/demplot); 4. Kegiatan monitoring dan evaluasi terhadap BDSP dibutuhkan sebagai bahan pertimbangan dalam penggunaan jasa layanan yang mereka berikan di tahun‐tahun mendatang, apakah tetap memakai jasa layanan mereka atau tidak. Kegiatan monitoring dan evaluasi dilakukan dengan menggunakan form‐form (terlampir) dan dikelola oleh TPK sebagai panitia pengelola kegiatan pelatihan. FK‐AP dan Spesialis Monev memfasilitasi kegiatan tersebut. Apabila hasil evaluasi yang dilakukan oleh pelaku‐pelaku telah lengkap (rekapitulasi hasil) maka TPK akan menyampaikan kepada masing‐masing BDSP lembaga/individu, baik secara lisan maupun tertulis yang difasilitasi oleh FK‐AP. Adapun ketentuan‐ketentuan monitoring dan evaluasi kinerja BDSP dijabarkan sebabai berikut: 1. Monitoring Kinerja BDSP Harian Monitoring kinerja BDSP dilakukan untuk tujuan supervisi, yaitu untuk mengetahui apakah penyelenggaraan pelatihan oleh BDSP berjalan sesuai dengan rencana, apa hambatan yang terjadi dan bagaimana cara mengatasi hambatan yang ditemui. Monitoring menekankan pada pemantauan proses pelaksanaan kegiatan pelatihan dan sedapat mungkin memberikan rekomendasi perbaikan untuk mengatasi masalah yang terjadi. Hasil monitoring digunakan sebagai umpan balik untuk penyempurnaan pelaksanaan kegiatan pelatihan tahap selanjutnya. Monitoring kinerja harian terhadap BDSP dikelola oleh TPK, sangat dimungkinkan, FKAP, Faskab, dan Spesialis PNPM‐AP Tk. Provinsi membantu dan menyiapkan TPK untuk memahami isu‐isu pelaksanaan kegiatan yang tertuang dalam kontrak sehingga TPK dapat melakukan fungsi pemantauan dengan baik. Waktu Pelaksanaan: Pada saat proses pelaksanaan kegiatan pelatihan Pengelola: TPK Siapa yang melakukan pengisian: Peserta Pelatihan Form yang digunakan: Baca lampiran 3
2
2. Evaluasi Kinerja BDSP per Termin Evaluasi kinerja BDSP merupakan proses sistematis dalam mengumpulkan, menganalisa, dan mengintrepretasikan informasi untuk mengetahui tingkat keberhasilan pelaksanaan program pelatihan dengan kriteria tertentu untuk kebutuhan pengambilan keputusan. Informasi hasil proses evaluasi kemudian dibandingkan dengan tujuan yang telah ditetapkan dalam ToR. Apabila hasilnya sesuai dengan tujuan yang ditetapkan, berarti pelatihan yang diselenggarakan telah efektif. Jika sebaliknya maka pelaksanaan pelatihan tersebut dapat ddianggap GAGAL. Evaluasi kinerja BDSP per Termin dilakukan oleh : a. Masyarakat (perwakilan penerima manfaat dan atau peserta pelatihan) b. Tim Pengelola Kegiatan (TPK) c. Tim Monitoring Desa d. Fasilitator Kecamatan Agribisnis Perdesaan (FK‐AP) e. Spesialis Monev Provinsi dan atau Spesialis SADI Provinsi (tentatif atau semacam uji petik pada pelatihan‐pelatihan tertentu) f. Sub Program 2 : IFC dan SP‐3 : ACIAR (tentatif atau semacam uji petik pada pelatihan‐ pelatihan tertentu yang sesuai dengan tupoksi sub program masing‐masing) Bagaimana cara melakukan evaluasi? TPK didampingi oleh FK‐AP akan memfasilitasi proses evaluasi kinerja BDSP. Bila dibutuhkan, TPK dapat meminta dukungan dari Sp. Monev provinsi dan wakil dari SP2 (IFC) dan SP3 (ACIAR) untuk terlibat dalam melakukan evaluasi terhadap BDSP yang awalnya direkomendasikan oleh SP2 (IFC) dan SP3 (ACIAR). Evaluasi kinerja BDSP secara formal, dapat dilakukan pada: • Untuk pelatihan jangka panjang (lebih dari 6 bulan), maka evaluasi bisa dilakukan setiap 6 bulan, dan pada masa akhir kontrak • Untuk pelatihan jangka pendek (kurang dari 6 bulan) evaluasi dilakukan 1 kali pada akhir pelatihan Evaluasi penilaian terhadap BDSP lembaga/individu meliputi beberapa hal yang sudah disepakati didalam TOR/Kerangka Acuan Kerja meliputi : • Matrik kurikulum • Performance/ kinerja pelatih dan pelatih lapangan • Modul/materi pelatihan • Proses pelatihan yang dilakukan • Out put pelatihan • Alat bantu pelatihan yang digunakan • Ketepatan waktu pelatihan • dllnya Setelah dilakukan evaluasi kinerja BDSP, TPK (difasilitasi oleh FK‐AP) wajib memberikan umpan balik kepada BDSP secara tertulis melalui surat resmi. Laporan hasil evaluasi juga dibuat oleh TPK dan dikirimkan kepada Sp. Monev untuk kemudian dianalisa dan disimpan sebagai database BDSP potensial yang layak atau tidak layak direkomendasikan bagi publik. Sp. Monev berhak 3
melakukan klarifikasi atas hasil evaluasi kinerja yang dilakukan oleh TPK, dibantu oleh SP2 dan SP3, Sp. Monev berhak melakukan evaluasi menggunakan tools yang berbeda dan lebih sistematis, keputusan hasil evaluasi yang dilakukan oleh Spesialis MONEV‐SADI Provinsi tidak dapat diganggu gugat. Dokumen hasil evaluasi BDSP lembaga/individu di dokumentasikan oleh Spesialis Monev Provinsi dan di masing‐masing kecamatan di dokumentasikan oleh FK‐AP Rekomendasi TPK terhadap BDSP : a. Layak : menggunakan lagi BDSP lembaga/individu yang bersangkutan b. Layak bersyarat : menggunakan lagi BDSP lembaga/individu tetapi dengan beberapa catatan / syarat yang harus diperbaiki/dipenuhi c. Tidak layak : tidak menggunakan lagi BDSP lembaga/individu yang bersangkutan
4
Lampiran 1 ‐ URAIAN INDIKATOR STANDAR PENILAIAN
Desa: ___________________________ Kecamatan/Kabupaten: _____________________________
Kriteria
Hasil Penilaian
Skor
Ya
Tidak
Baik
Rata2x
Buruk
Kesesuaian Matriks Kurikulum dengan kebutuhan 1 Matrik Kurikulum tsesuai dengan telah dengan kebutuhan pelatihan (tujuan dan output / keluaran / hasil mengacu pada TOR kegiatan yang sudah dibuat)
Kualitas Kinerja Pelatih 1 Fasilitator (BDSP) telah mengikuti alur pelatihan sesuai dengan ToR pelatihan yang telah disusun.
2
Skor
3 4 5 6 7 8
9
1 0
Fasilitator (BDSP) telah memberikan materi sesuai dengan matrik kurikulum. Fasilitator (BDSP) tidak keluar dari topik / pokok bahasan yang menjadi kebutuhan Peserta. Fasilitator menguasai materi pelatihan dengan baik. Dalam memfasilitasi, Fasilitator menggunakan metode yang bervariasi dan menarik. Fasilitator menggunakan media atau alat bantu pelatihan untuk memudahkan pemahaman Peserta. Fasilitator komunikatif. Fasilitator bertindak adil, tidak menyamaratakan peserta (tidak membiarkan satu orang atau hanya beberapa orang mendominasi diskusi, memberikan peluang kepada peserta yang diam tak pernah bicara untuk menyampaikan pendapatnya) Fasilitator memberikan kesempatan peserta bertanya atau memberikan umpan balik terhadap materi yang disampaikan. Fasilitator tepat waktu dalam mengelola pelatihan (tidak mengurangi jam pelatihan dengan sengaja)
BDSP dinyatakan Baik, bila jawaban Ya (>80%) atau jawaban Tidak (<20%), Rata‐rata bila jawaban Ya ( 60‐79%) atau Tidak (21‐40%), Buruk bila jawaban Ya (<60 %) atau jawaban Tidak (>40%) Kualitas dan kinerja tenaga/fasilitator lapangan 1 Fasilitator menguasai teknis materi pelatihan dengan baik. 2 Fasilitator mampu memberikan jawaban atas pertanyaan/permasalahan yang dihadapi Peserta pelatihan dengan baik. 3 Fasilitator memberikan pendampingan yang sepenuh hati ‐intensif‐ kepada Peserta di lapangan. 4 Fasilitator mampu memfasilitasi Peserta/Petani dengan pihak‐pihak terkait untuk kebutuhan pengembangan jaringan (bila dibutuhkan). 5 Fasilitator mampu membangun hubungan baik dengan Peserta dan jaringan pendukung. 6
Fasilitator memiliki komitmen dalam memberikan pendampingan (menepati janji).
Skor
5
7
Mampu memberikan contoh‐contoh melalui alat peraga yang digunakan dalam pelatihan.
BDSP dinyatakan Baik, bila jawaban Ya (>80%) atau jawaban Tidak (<20%), Rata‐rata bila jawaban Ya ( 60‐79%) atau Tidak (21‐40%), Buruk bila jawaban Ya (<60 %) atau jawaban Tidak (>40%) Metode dan dinamika proses pelatihan 1 Fasilitator mampu membangun hubungan yang setara antara pelatih dan peserta. 2 Fasilitator mampu berkomunikasi secara dua arah (terjadi interaksi antara pelatih dan peserta). 3 Fasilitator mampu melibatkan Peserta secara aktif dalam proses pelatihan. 4 Fasilitator memberikan kesempatan bagi Peserta untuk mengungkapkan pendapat (memberikan umpan balik)secara bebas tanpa rasa takut/ragu. 5 Peserta mampu membangun suasana menggunakan metode bervariasi. 6 Fasilitator mampu mendorong kerjasama yang baik antara fasilitator dengan peserta pelatihan.
Skor
BDSP dinyatakan Baik, bila jawaban Ya (>80%) atau jawaban Tidak (<20%), Rata‐rata bila jawaban Ya ( 60‐79%) atau Tidak (21‐40%), Buruk bila jawaban Ya (<60 %) atau jawaban Tidak (>40%)
Kualitas materi/modul pelatihan yang disediakan 1 Materi pelatihan sesuai dengan kebutuhan pelatihan yang diharapkan oleh Peserta Pelatihan. Skor 2 Materi menggunakan bahasa yang sederhana dan mudah dimengerti peserta BDSP dinyatakan Baik, bila jawaban Ya (>80%) atau jawaban Tidak (<20%), Rata‐rata bila jawaban Ya ( 60‐79%) atau Tidak (21‐40%), Buruk bila jawaban Ya (<60 %) atau jawaban Tidak (>40%). Alat Peraga yang digunakan untuk pelatihan 1 Fasilitator menggunakan alat peraga (gambar, foto, film, mesin, contoh tanaman dll) 3 Fasilitator mampu mempraktikkan peralatan yang digunakan dalam mendukung kegiatan pelatihan.
Skor
BDSP dinyatakan Baik, bila jawaban Ya (>80%) atau jawaban Tidak (<20%), Rata‐rata bila jawaban Ya ( 60‐79%) atau Tidak (21‐40%), Buruk bila jawaban Ya (<60 %) atau jawaban Tidak (>40%).
Ketepatan waktu pelatihan 1 Pelatihan yang dilaksanakan oleh BDSP harus sesuai dengan jadwal pelatihan yang sudah dibuat dan tidak ada pengurangan hari pelatihan. (apabila ada pengurangan hari, maka peniliaian yang diberikan kepada BDSP “Buruk”)
Skor
Ketepatan dan kualitas pelaporan 1 Laporan menyertakan rekaman proses Pelatihan. 2 Laporan menyertakan bahan bacaan yang diberikan pada saat kegiatan pelatihan. 3 Laporan menyertakan modul pelatihan. 4 Laporan menyertakan daftar hadir peserta. 5 Laporan menyertakan daftar hadir kegiatan pelatihan.
Skor
6
6
Laporan menyertakan evaluasi pelatihan dilakukan di awal (pre test) dan akhir pelatihan (post test).
BDSP dinyatakan Baik, bila jawaban Ya (>80%) atau jawaban Tidak (<20%), Rata‐rata bila jawaban Ya ( 60‐79%) atau Tidak (21‐40%), Buruk bila jawaban Ya (<60 %) atau jawaban Tidak (>40%).
Hubungan BDSP dengan penerima manfaat/masyarakat
1
Pencapaian hasik akhir 1 Secara umum pencapaian hasil akhir pelatihan sesuai dengan TOR dan harapan Peserta.
BDSP mampu menciptakan suasana pelatihan yang nyaman dan kondusif seperti adanya interaksi antara pelatih dan peserta baik didalam proses pelatihan dan diluar pelatihan sehingga tidak ada kesenjangan antara peserta dan pelatih.
Rekomendasi penilaian ‐Pilih salah satu‐: 1 BDSP layak digunakan lagi 2 BDSP tidak layak digunakan lagi 3 BDSP layak digunakan lagi dengan syarat (catat secara spesifik dibawah) CATATAN PENDUKUNG PENILAIAN
Skor
Skor
Gunakan tanda (x)
Form Monitoring Harian Kegiatan Pelatihan
Petunjuk: 1. Kinerja BDSP pada saat memfasilitasi kegiatan pelatihan akan dimonitor setiap hari pada akhir sesi; 2. Proses monitoring harian dikelola oleh panitia kegiatan pelatihan dengan membagikan form standar monitoring harian kepada setiap Peserta pada akhir sesi; 3. Sebagai langkah awal, sebaiknya berikan penjelasan kepada peserta mengenai item‐item penilaian, tanyakan kepada Peserta apakah ada yang masih belum memahami maksud dari item‐item penilaian, kemudian beri penjelasan; 4. Berikan waktu secukupnya bagi Peserta untuk mengisi form evaluasi harian kegiatan pelatihan/pendampingan; 5. Setelah dikumpulkan, sesegera mungkin Panitia kegiatan membuat rekapitulasi hasil penilaian Peserta dalam bentuk prosentase; 6. Rekapitulasi hasil penilaian kegiatan diinformasikan kepada forum pelatihan sebagai sarana untuk perbaikan kegiatan pelatihan selanjutnya. Selain itu hasil monitoring dipresentasikan oleh Panitia sebelum acara kegiatan pelatihan dimulai; 7. Seluruh hasil monitoring harian hendaknya didokumentasikan oleh TPK dan menjadi dokumen pendukung dalam proses penilaian kinerja BDSP di akhir kontrak kerja.
7
Form Penilaian Harian Kegiatan Pelatihan Hari/Tanggal: No K R I T E R I A
KUALITAS PELATIH 1 Kesesuaian isi materi dengan kebutuhan Peserta pelatihan 2 Kemampuan pelatih dalam menyajikan materi. 3 Kemampuan pelatih menjawab pertanyaan peserta. 4 Kemampuan pelatih mengajak peserta untuk aktif dalam proses belajar. 5 Kemampuan pelatih memberikan contoh melalui praktek lapangan dan atau simulasi. DINAMIKA KELOMPOK 1 Kesungguhan Peserta mengikuti pelatihan. 2 Kerjasama antar peserta. 3 Keterbukaan Peserta untuk mengungkapkan sesuatu terkait materi pelatihan tanpa rasa takut. 4 Motivasi Peserta terhadap tugas yang diberikan. 5 Tingkat Partisipasi peserta mengikuti pelatihan. Lain‐Lain 1 Ketepatan waktu. 2 Hubungan antara Peserta dengan Pelatih. 3 Dukungan sarana pembelajaran dalam pelatihan (modul, papan tulis, spidol) 4 5
Layanan konsumsi bagi Peserta pelatihan Keramahan panitia dalam memberikan layanan pelatihan
Harapan perbaikan pelatihan :
Baik (3)
N I L A I Rata2x Buruk (1)
TOTAL
8
PEDOMAN PRAKTIS PENILAIAN KINERJA JASA LAYANAN BDSP DALAM MEMFASILITASI KEGIATAN PENGEMBANGAN KAPASITAS KELOMPOK TANI
Januari 2009
9
