MONITORING EVALUASI PARTISIPATORIS (MEP)12 Oleh Wilopo3
A. LATAR BELAKANG Beberapa tahun terakhir isu tentang pendekatan partisipasi dalam pembangunan banyak mendapat perhatian dalam bantuan pembangunan, seperti pada Desember 1989 Development Assistance Committee (ODA) of Organization for Economic Cooperation and Development (OECD) dengan menerbitkan “Policy Statement on Development Cooperation of the 1990s” yang telah menempatkan pembangunan partisipatory sebagai isu utama. Hal tersebut jadi di dokumentasi dalam “Shaping the 21st Century: the Contribution od Development Cooperatioan” (yang dikenal dengan DAC New Development Strategy). Isu-isu tersebut disemangati oleh peningkatan effisiensi dan effektifitas dalam manejemen proyek melalui keterlibatan masyarakat lokal untuk mengelola sumberdaya lebih secara lebih effektif didalam keberlajutanya. Hal tersebut telah menempatkan partisipasi tidak dalam posisi keterlibatan aktif dalam impelementasi saja namun juga dalam rangkain kegiatan dari perencanaan hingga monitoring dan evaluasi. Pembangunan partisipasi dan monitoring/evaluasi partisipasi tidaklah saling terpisah satu dengan yang lainnya. Lebih daripada itu, perencanaan partisipatif, pelaksanaan, evaluasi/monitoring partisipatif dapat dipahami sebagai satu rangkaian kegiatan dimana pihak-pihak berkepentingan (stakeholder) merencanakan dan melaksanakan aktifitas meraka sendiri, sekaligus meriview dan menguji aktifitas tersebut sebagai titik tolah mengukuran. Melalui serangkaian aktifitas tersebut, intitusionalisasi pelaksanaan oleh stakeholder dapat meningkatkan kesadaran atas rasa memiliki (ownership) dan meningkatkan kemampuan manajemen mereka. Meskipun para ahli yang memiliki kualitas yang paling handal dalam perencanaan, mengelola dan monitoring proyek akan tetap memiliki kekurangan dimana mereka yang langsung berkaitan dan lokal stakeholder yang sangat memahami kondisi lokal – bukan para ahli atau profesional dari luar. Posisi ini menempatkan bahwa pendekatan partisipasti – baik perencanaan dan monev – merupakan kebutuhan jangka panjang guna memberikan hasil yang optimal dari sebuah program atau proyek. Kunci tantangan didalam mendesain sistem MEP adalah (1) partisipan dan penerima manfaat secara bermakna terlibat didalam semua
1
Disampaikan pada Pendidikan dan Pelatihan Monitoring dan Evaluasi Program dan Proyek, 4-14 Juli 2005, Kerjasama RCCP FIA UNIBRAW dengan PUSBINDIKLATREN-BAPPENAS 2 Paper ini juga dipakai sebagai bahan rancangan penyusunan Peraturan Pemerintah tentang Monitoring dan Evaluasi Partisipatif 3 Staff Edukatif FIA UNIBARW, dan Tenaga Ahli Direktorat Pengembangan Otonomi Daerah (POD) Deputi Pembangunan Regional dan Otonomi Daerah - BAPPENAS
1
tahapan desain dan pelaksanaan sistem, (2) memberikan penghargaan atas waktu dan upaya mereka. Partisipasi pihak-pihak terkait (stakeholder) didalam aktifitas evaluasi/ monitoring, seperti menganalisa masalah dan menentukan pengukuran/penilaian akan berdampak pada effektifitas didalam meningkatkan kinerja dan keberlanjutan pengembangan proyek. Melalui proses tersebut, stakeholder akan mengembangkan kapasitas dan ketrampilann dengan melakukan evaluasi dan pemecahan masalah, dan juga akan meningkatkan rasa memiliki (ownership). Dengan demikian, effectivitas peningkatan kinerja proyek dapat ditemukan dalam kombinasi antara evaluasi partisipatif dimana pihak stakeholder mengevaluasi aktifitas mereka sendiri, dan evaluasi oleh pihak ketiga untuk meningkatkan akuntabilitas. Lebih jauh pelaksanaan evaluasi partisipatif akan memberikan dampak terhadap (1) dampak sosial dari sebuah proyek akan mudah diketahui; (2) Evaluasi Partisipatif akan semakin memperjelas rasa kepemilikan sebagai satu bagian dari para penerima manfaat proyek; (3) Penerima manfaat akan memahami dan kesediaan menerima keberadaan sebuah proyek dengan cepat; (4) Proyek akan memiliki peluang atas keberlajutannya. B. KETERKAITAN ANTARA PERENCANAAN PARTISIPATIF DAN MONEV PARTISIPATIF Perencanaan partisipatori dan monev partisipatori merupakan dua bagian yang berbeda dalam wilayah yang sama – yaitu pendekatan partisipatif. Dua bagian tersebut dibutuhkan agar memperoleh hasil yang terbaik secara jangka panjang. Perencanan partisipasi dan monev partisipasi merupakan dua bagian yang berbeda namun memiliki saling keterpengaruhan diantaranya. Oleh karenanya melakukan satu bagian saja diantara keduanya akan mengundang masalah berikutnya. Mendorong masyarakat untuk terlibat dalam perencanaan partisipatif tanpa dilanjutkan atau diikuti dalam monev partisipatif, itu sama halnya mengharapkan adanya partisipasi namun berikutnya menafikkan harapan tersebut dengan tidak dimasukkannya monev partisipatif sebagai kebutuhan manajemen untuk mengontrol kualitas dan proses belajar dalam monitoring dan evaluasi selama perjalanan proyek. Pada sisi yang lain, mendorong adanya monitoring dan evaluasi partisipatif dalam suatu program atau proyek dimana para partisipannya tidak terlibat di dalam desain dan perencanaan merupakan hal yang terlalu berlebihan dari suatu pendekatan partisipatif. Mereka yang tidak terlibat dalam desain dan perencanaan dalam suatu program atau proyek akan kurang memiliki kemauan dan kemampuan didalam memainkan peran yang effektif didalam monitoring dan evaluasi.
2
C. KONSEP DAN TUJUAN EVALUASI PARTISIPATIF Evaluasi partisipatif belum memiliki definisi yang jelas, namun secara umum dapat dipahami sebagai: (1) evaluasi dilakukan melalui kerjasama antar berbagai pihak stakeholder termasuk didalamnya penerima manfaat tingkat lokal, (2) evaluasi dimana banyak pihak yang terlibat secara aktif berpartisipasi di semua proses dari evaluasi perenacaaan, pencarian dan analisa informasi, rencana tindak untuk pelaksanaan dan perbaikan. Namun demikian, lingkup stakeholder dan keluasan dan partisipasi sangat tergantung pada donor dan proyek. Partisipatory Monitoring merupakan aktifitas yang melibatkan pihak terkait didalam mencari dan merekam informasi yang berkaitan dengan proyek secara reguler – harian. Mingguan atau kwartalan – sebagai bagian pekerjaan rutin dan sebagai bagian desain Monitoring dan Evaluasi. Tujuan monitoring bukanlah membuat penilain akhir atas keberhasilan atau kegagalan tetapi mendorong perubahan dan penyesuaian selama masa aktifitas, yang diperuntukkan bagi tahapan aktifitas kedepan atau aktifitas baru. Participatory Evaluation merupakan aktifitas yang melibatkan pihak terkait dalm periodik pelinaian yang melihat dari aspek effisiensi dan relevansi proyek, termasuk dampaknya terhadap konteks pencapaian tujuan. Participatory Evaluation secara langsung melibatkan komunitas – tingkatan stakeholder didalam perencanaan dan pelaksanaan evaluasi karena mereka sering memiliki informasi yang dibutuhkan proyek, dimana hal tersebut diharapkan dapat merubah perilaku mereka untuk memberikan kontribusi waktu dan upaya terhadap proyek, dan menindak lanjuti aktitas proyek oleh pihak luar. Keterlibatan semua stakeholder kunci dalam evaluasi membantu membangun konsensus terhadap pendekatan proyek dan mendorong saling pengertian. Tujuan monitoring dan evaluasi partisipatif MEP adalah: 1. Membangun kapasitas manajemen. Membangun Kapasitas manajemen dapat dilakukan dengan: Meningkatkan kapasitas evaluasi (kemampuan membandingan masalah dan kemampuan memecahkan masalah) melalui keterlibatan dalam evaluasi. Meningkatkan kapasitas organisasi manajemen dan administratif melalui akuisisi pengetahuan dan informasi guna peningkatan kinerja proyek. Memperkuat ikatan dengan institusi terkait melalui kerjasama keterlibatan dalam evaluasi. 2. Meningkatkan kinerja manajemen proyek dan kontrol kualitas. 3. Mendorong rasa kepemilikan dan membangun kapital sosial. Meningkatkan rasa kepemilikan dari pihak stakeholder melalui keterlibatan dalam evaluasi. Meningkatkan keberlanjutan proyek melalui dorongan rasa kepemilikan
3
Membangun rasa memiliki atas proses pemecahan masalah, rekomendasi dan aksi 4. Meningkatkan effektifitas timbal balik. Peningkatan effektifitas timbal balik dapat ditujukan untuk dua pihak: a. Pihak Pelaksana Hasil evaluasi partisipatif dapat memberikan masukan untuk formulasi dan revisi perencanaan yang akan lebih mencerminkan opini stekaholder yang lebih luas, Pelajaran bagi proyek yang lain b. Pihak Penerima Mendorong timbal balik berupa hasil evaluasi secara cepat melalui keterlibatanan dalam evaluasi Mendorong terbangun akses terhadap informasi yang berkaitan dengan proyek Pemanfaatan hasil evaluasi oleh masyarakat 5. Meningkatkan akuntabilitas. Memberikan pemahaman atas keragam keperluan dan prioritas dari pihak stakeholder Memberikan pemahaman fakto-faktor produksi yang dibutuhkan Memberikan pemahaman yang lebih banyak dan ragam (multidemensi) atas dampak Meningkatkan kredibilitas atas hasil evaluasi Keunggulan monitoring dan evaluasi melalui pendekatan partisipatori: 1. Kepemilikan Keterlibatan anggota masyarakat, rekanan, dan staf antar proyek didalam mendesain dan melakukan monitoring dan evaluasi akan membantu mendorong tumbuhnya rasa kepemilikan yang lebih besar tanggungjawab terhadap proyek dan pemberian informasi. Sebagai hasil, data yang diperoleh bisa lebih akurat dan partisipan lebih percaya terhadap hasilnya. 2. Informasi Terkini, Dipercaya, dan Valid Keterlibatan stakeholder dalam perolehan dan analisa data akan memproduksi informasi yang up to date (on the spot) dibandingkan dengan survey formal dimana membutuhkan waktu berminggu-minggu bahkan sampai berbulan-bulan untuk tabulasi dan analisa data. Meskipun alat pengumpulan data secara partisipatori tidak disajikan sebagaimana informasi yang statitikal, kehandalan
4
informasi dapat divalidasi dengan melakukan cek silang dengan informasi yang lain 3. Konsensus Ketika para staf proyek sebagai tim melakukan review tujuan proyek dan stakeholder, mengidentifikasi kebutuhan informasi kunci, dan desain sistem evaluasi dan monitoring – dimana akan membutuhkan waktu beberapa bulan, membantu membangun konsensus yang kuat diantara rekanan proyek tentang kemana proyek tersebut diarahkan. 4. Ketrampilan dan Keyakinan Mereka yang terlibat dalam MEP akan lebih baik kesiapannya dan lebih yakin didalam membuat keputusan melalui akuisisi pengetahuan dan ketrampilan baru. Anggota masyarakat akan memiliki wawasan didalam mengatur pendapatan dan pembiayaan. Staf proyek akan belajar dari pengetahuan dan proses yang berbeda dari yang dipahami saat ini. Semua partisipan akan memperoleh pemahaman atas data dan interprestasinya. 5. Pengetahuan Lokal Keterlibatan masyarakat dalam mendesain sistem MEP, identifikasi indikator, pengumpulan dan analisa data, pengetahuan bernilai yang bersumber dalam proses learning by doing di masyarakat, kebiasaan dan institusi lokal menjadi termanfaatkan. 6. Effetifitas Biaya pada awalnya keterlibatan masyarakat dalam sistem monitoring dan evaluasi akan membutuhkan dana, waktu dan kesabaran. Namun investasi tersebut akan terbayarkan melalui perolehan data, yang dianalisa dan digunakan secara rutin dan secara sistematis sebagai bagian aktifitas proyek yang sedang berjalan dengan upaya dan biaya yang minim. D. FAKTOR-FAKTOR MENDORONG BERHASILAN MONEV PARTISIPATORIS (MEP): Sistem MEP agar dapat berjalan maka ada beberapa poin strategis dan penting yang harus mendapatkan perhatian, diantaranya: 1. Perlunya komitmen atas ketersediaan sumber dana dan manusia, persiapan yang effektif dan ketrampilan individu yang memandai Agar Monev Partisipatori dapat bekerja, program dan proyek membutukan komitmen bersama. Komitmen ini diperlukan tidak hanya dokumen proyek saja namun juga untuk semua pihak yang terlibat dalam perencanaan dan pelaksanaan program, dari lokal stakeholder, rekanan pemerintah, donor hingga konsultan. Komitmen perlu diwujudkan dalam bentuk alokasi sumberdaya manusia dan dana.
5
Sumberdaya sering dibutuhkan untuk membantu meningkatkan ketrampilan diantara para partisipan. Hal ini untuk meberikan kepastian bahwa mereka dapat berpartisipasi dengan effektif didalam monitoring dan evaluasi. Pada umumnya dan kebanyakan, tahap awal yang dilakukan dalam monev partisipatif adalah melaukan pemberdayaan partisipasn melalui pelatihan. Dan hal tesebut memberikan dampak terhadap tututan pembiayaan. Kebutuhan ketrampilan dari partisipan sangatlah beragam, dari kemampuan melakukan fasilitasi atas lokakarya atau wawancara dengan stakeholder lainnya, kemampuan mengukur dan merekam data secara sistematis, kemampuan mencari dan menganalisis informasi yang berbeda-beda. 2. Kombinasi pendekatan (MEP) agar sesuai dengan situasi dan budaya. Melakukan kombinasi beberapa pendekatan didalam Monev Partisipatori agar sesuai dengan kondisi lapangan yang specific, keragaman pertisipan, aturan, dan aktifitas di setiap program atau proyek. Banyak temuan lapangan dan persoalan yang muncul dalam Monev Partisipatif banyak pula dijumpai dibanyak tempat lainnya. Namun secara detail, temuan lapangan dan persoalan yang muncul sangat terkait oleh tempat dan waktu, kondisi sosial dan budaya setempat. Setting lokal ini yang menjadi setiap solusi satu persoalan yang sama akan berbeda dari satu tempat dengan tempat lainnya. Secara nasional dan lokal, stakeholder - dengan didukung oleh para ahli – perlu menentukan jenis pendekatan partisipasi yang terbaik dalam konteks mereka. Partisipasi memerlukan desain yang sangat hati-hati untuk menghindari adanya dominasi kepentingan dan untuk memastikan bahwa pihak-pihak terkait memiliki kontribusi dalam partisipasi tesebut. 3. Pemanfaatkan Hasil Monev Partisipatori dengan effektif . Dua hal ini utama yang mendorong penggunaan hasil monev partisipatif secara effektif yaitu (1) untuk memberikan landasan atas biaya yang telah dikeluarkan dan (2) untuk menjaga kredibilitas diantara para partisipan. Berkaitan dengan isu “biaya-manfaat” (cost-benefit), maka Monev Partisipatif menjadi bermanfaat sejauh informasi yang didapat berguna – secara nyata dapat dipergunakan - untuk perbaikan kwalitas manajemen atau keputusan perencanaan kedepan. Hal ini menjadikan investasi proyek dalam monev partisipatif menjadi signifikan didalam sistem keproyekan. Sistem Monev Partisipatif tidak dapat diterima apabila tidak dikaitkan dengan sistem manajemen dan perencanaan dengan tingkat fleksibilitas untuk merespon, memonitoring dan mengevaluasi informasi yang dihasilkan. 4. Memberikan keleluasaan bagi partisipan untuk menentukan monitoring dan evaluasi – atas dasar prioritas mereka.
fokus
Hal penting didalam mendesain sisitem Monev Partisipatif adalah menjadikan sistem tersebut sefamilier mungkin atau akrab dengan sang pengguna sistem
6
(user-friendly). Untuk itu program/proyek seharusnya memberikan banyak pilihan menu indikator bagi para partisipan, hal ini memberikan keleluasaan agar partisipan dapat memiliki indikator sesuai dengan isu-isu yang relevan dengan mereka. 5. Memastikan kemanfatan dan insentif bagi para partisipan, stakeholder, manager Agar publik mau terlibat dalam monev partisipatori perlu diyakinkan bahwa pendekatan monev partisipatif merupakan hal yang positif dan bernilai bagi mereka. Harus ada insentif nyata untuk menyakinkan masyarakat agar memulai dan terus berpartisipasi dalam monitoring dan evaluasi. Satu insentif kuat yang berdampak pada peningkatan rasa kepemilikan adalah diawali dari keterlibatannya sejak awal desain dan tahap perencanaan. Untuk itu perlu dibangun satu komitmen bahwa Monev Partisipatori akan menambah manfaat nyata pada partisipan – termasuk stakeholder dan manager – dan menghasilkan informasi yang akan dipakai sebagai kontribusi dalam mencapai tujuan utama program atau proyek. E. MATRIX PERBEDAAN ANTARA EVALUASI KONVENSIONAL DAN PARTISIPATORIS Monitoring dan evaluasi tradisional dan pendekatan partisipatif memiliki beberapa perbedaan, diantaranya:
7
ISU Tujuan
EVALUASI KONVENSIONAL Menyakinkan akuntabilitas kepada pihak sumber pendana Memberikan pelajaran yang berarti dan pengetahuan bagi peningkatan proyek Memberikan kontribusi pada masing-masing bidang
Dampak
Penekanan pada temuan evaluasi
Sumber Evaluasi
Laporan Evaluasi Evaluasi laporan pertemuan Presentasi pada Situ/Website Database hasil-hasil evaluasi
Orang/institusi Penting yang di evaluasi Waktu pelaksanan evaluasi Evaluator
Hasil evaluasi Cakupan evaluasi
Warga negara (pembayar pajak) Badan Donor Institusi pelaksana proyek Pada umumnya dilakukan setelah proyek selesai. Sebelum dan selama proyek berjalan kadang juga dilakukan Tim evaluasi terdiri dari para ahli pada bidang masing-masing termasuk bidang evaluasi. Netralitas dan independensi tim sangat diutamakan.
Tergantung pada penilain dari pihak evaluator Dibatasi oleh cakupan yang sempit, diantara tim evaluaasi yg terdiri
8
EVALUASI PARTISIPATORY Membangun kapasitas manajemen Mendorong rasa kepemilikan Meningkatkan Meningkatkan effektifitas timbal balik dari dua sisi , sisi pelaksana maupun sisi penerima manfaat Peningkatan akuntablitas baik dari sisi pelaksanaan maupun dari sisi penerima manfaat Penekanan tidak hanya pada temuan evaluasi tapi juga proses partisipasi Hal disamping juga ditambahkan: Lokakarya Dialog Wawancara Karyawan proyek Penerima Manfaat Proyek Ex-ante hingga ex-post
Staf proyek dan penerima manfaat sebagai evaluator. Pihak luar sebagai fasilitator. Penekanannya pada aspek internal dan self-assessment terhadap proyek. Ditekankan pada konsesus diantara stakeholder Meskipun ruang partisipan tergantung pada tujuan
partisipatoris
dari donor, negara tuan rumah, dsb
Kriteria Evaluasi
Sasaran dan indikator ditentkan oleh donor dn evaluator. Evaliasi dilakukan dalam keterbatasan kriteria
Metode Evaluasi
Pertimbangan dalam evaluasi
Sumber dana evaluasi
External evaluator menentukan metode sesuai dengan spesifikasi detail evaluasi yang diharapkan donor Metode kuantitatif sering digunakan Waktu dibutuhkan untuk menganalisi hasil studi lapangan dan berikutnya dipresentasikan
Evaluasi ditekankan pada outcome yang sdh didesain proyek Yang dipentingkan adalah netralitas dan evaluasi yang objective dan ilmiah Pihak Donor
9
evaluasi, keikutsertaan memiliki ruang yang banyak bagi stakeholder termasuk penerima manfaat sangat ditekankan Kriteria evaluasi ditetapkan secara bersama dinatara partisipan evalusi. Kriteria evaluasi baru memungkinkan ditambahkan dalam proses evaluasi. Ditentukan oleh partisipan yang disesuaikan dengan keadaan Metode kualitatif mulai digunakan (bersamaan dengan motode kwalitatif) untuk memperolah ambaran secara menyeluruh Adopsi metode tidak membutuhkan waktu didalam analisis dan presentasi hasil Ditekankan pada analiasa atas “proses” terwujudnya “outcome” Ditekankan pada aspek partisipasi dan kesepakatan bersama Sumber dana berasal dari berbagai sumber seperti dana sendiri, LSM, donor, dsb
F. MASALAH DAN SOLUSI Pengalaman penerapan sisitem MEP menemukan beberapa permasalah, diantaranya: 1. “Business as usual” Kegagalan yang banyak muncul dalam penerapan MEP adalah tidak diikutinya penerapan MEP dengan merubahan-perubahah mendasar seperi identifikasi yang hati-hati terhadap stakeholder, aturan main dalam evaluasi dan monitoring, peningkatan kapasitas dan lokakarya untuk analisa. Hal yang menyebabkan kegagalan dalam hal ini adalah: Ketidak-cukupan Anggaran dan Waktu. Kegagalan dalam memperkenalkan sistem MEP adalah gagalnya alokasi dana dan waktu secara cukup didalam perencanaan, pelaksanaan, dan penerapan hasil MEP. Tehnik MEP biasanya akan membutuhkan biaya lebih daripada monev tradisional, dan anggaran akan dibelanjakan untuk hal-hal yang tidak biasanya dibiayai dalam monev tradisional. Ketidakcukupan/kesesuaian Insentif bagi Partisipan. MEP membutuhkan keterlibatan banyak orang dimana pada masa lalu jarang diminta untuk terlibat dalam monitoring dan evaluasi. MEP tidak akan berjalan jiak mereka tidak mendapat motivasi lebih dibanding dengan pendekatan pada umumnya. Dalam organisasi yang menggunakan pendekatan partisipatif, MEP tidak akan berjalan apabila tidak diikuti perubahan didalam budaya dan prosedur organisasi, termasuk didalamnya sistem insentif dan penghargaan. Terlalu banyak Indikator Numerik. Monev tradisional – khususnya monitoring tradisional – sering kali berfokus pada indikator numerik pada berbagai kesempatan. Seperti panduan monitoring UNDP dipertengahan 1990, sebagai contoh, menyatakan bahwa monitoring merupakan proses untuk melihat sampai sejauhmana input telah dihantarkan (delivery), jadwal pekerjaan, target kelauaran, dan kegiatan yang telah sesuai dengan perencanaan. Dengan demikian monitoring tersebut lebih memberikan perhatian pada transformasi input menjadi output. Indikator numerik dalam monitoring tradisional lebih banyak biasnya ketika dipakai untuk menunjang pendekatan MEP: “lebih baik memakai data yang tidak sempurna tetapi lebih dapat dipergunakan dan data yang dapat lebih mudah untuk disebarkan (sharing) daripada memiliki sejumlah data yang sempurna yang menjadikan data tersebut sangat exclusive dan sering kali merupakan rahasia bagi sang ahli”. Salah mengenal nilai potensial dari MEP .
10
Tidak setiap orang memberikan apresiasi terhadap nilai potensial yang dimiliki oleh MEP. Kadang-kadang masih terdapat kecenderungan untuk melihat MEP sebagai alternatif daripada sebagai komplementer dari manajemen hasil. 2. Tiadanya Kepercayaan, Keyakinan, dan Kurang Dikenalnya Pendekatan MEP. Pendekatan MEP, sebagaimana pendekatan partisipatori secara umum, sangat membutuhkan saling kepercayaan dan keyakinan dinatara partisipan dibanding dengan kasus-kasus monev tradisional. 3. Komitmen yang setangah-setengah, dengan tidak jelasnya tanggungjawab, jadwal dan tujuan. Sistem MEP yang dipentingkan adalah lebih fleksibel dan lebih beragam dibandingkan dengan monev tradisionil. 4. Strategi MEP terlalu detail dan sangat tidak realistik G. 8 TAHAP MONITORING DAN EVALUASI PARTISIPATORI Operasionalisasi monitoring dan evaluasi partisipatif dilakukan melalui 8 tahapan dimana masing-masing tahapan memiliki kegiatan-kegiatan tersendiri. Delapan kegiatan tersebut adalah: Tahap 1 Perencanaan Evaluasi dan Monitoring Partisipatif Tahap 2
Klarifikasi Tujuan dan Stakeholder
Tahap 3
Menentukan Informasi Dibutuhkan dan Pengembangan Kuesioner Monitoring dan Evaluasi
Tahap 4
Membangun Indikator Kunci
Tahap 5
Mentukan Sumber Informasi dan Desain Alat Mengumpulkan Data
Tahap 6
Rencanan Analisa Data dan Penggunaan Hasil
Tahap 7
Meyempurnakan dan Menguji Sistem Monitoring dan Evaluasi
Tahap 8
Melakukan Review Proyek dan Evaluasi Eksternal
G.1 Tahap 1 Perencanaan Evaluasi dan Monitoring Partisipatif Pertama dan paling penting salam membangun sisitem monitoring dan evaluasi partisipatoris aalah perencanaan. Perencaaan MEP dapat terbantu dengan kerta kerja MEP dalam mengumpulkan data dan penggunaannya. a. Definisi dan Konsep Kertas Kerja Perencanaan MEP: Kertas kerja perencaaan MEP dapat membantu mengarahkan proses perencanaan terhadap analisa data terkolektsi dan
11
penggunaanya. Kertas kerja tersbeut juga berguna dalam membangun Kerangka Kerja Logis. b. Kegiatan Pada tahap 1 ada beberapa kegiatan yang dilakukan: 1. Mengambil kesepakatan untuk menetapkan system evaluasi dan monitoring partisipatoris dan menentukan tujuannya, 2. Membentuk tim MEP, 3. Meorganisasikan Lokakarya atau serangkaian pertemuan untuk perencanaan Serangkain tugas yang seharusnya dicapai dalam pertemuan perencanaan: Tugas 1: Kompilasi latar belakang informasi kunci dan isu dalam pertemuan perencanaan Tugas 2: Melakukan serangkain lokakarya: Melengkapi pohon tujuan atau kerangka logika proyek Melengkapi kertas kerja MEP Membuat narasi untuk menjelaskan MEP Tugas 3: Menentukan kebutuhan pelatihan dan melatih Staf Proyek dan Rekanan G.2 Tahap 2 Klarifikasi Tujuan dan Stakeholder Ketika telah menetapkan menggunanan sistem MEP maka tahap berikutnya dalah melakukan perbaikan terhadap tujuan organsasi, dan karifikasi serta pendifinisian ulang apabila diperlukan. Memiliki visi yang jelas tetap apa yang ingin dicapai – dan hal tersebut telah disetujui tim – merupakan hal yang mendasar dalam menentukan apa yang di monitoring dan evaluasi. a. Definisi dan Konsep Ada beberapa definisi dan konsep yang perlu dipahami dan dipakai dalam proyek, diantaranya: Hipotesis “ Sebuah harapan yang belum dikonfermasi terhadap hubungan antara dua atau lebih variable”. Asumsi Kondisi eksternal dimana proyek tidak memilikinya, dapat menentukannya atau mempengaruhinya, tetapi memberikan penaruh terhadap pencapain tujuan proyek. Sasaran (Goal) Pernyataan umum tentang arah keluaran proyek secara jangka panjang. Hal ini memberikan gambaran situasi dan konsisi masa depan yang seharusnya terjadi. Tujuan (Purpose) Pernyataan yang lebih spesifik dan terukur dari
12
Keluaran (Output)
Kegiatan (Activity) Rekanan Proyek (Project Partner) Stakeholder/Kelompok Kepentingan
Pohon Tujuan Proyek (Project Objective Tree) Kerangka Kerja Logis (Logical Framework Matrix/Logframe/ZOPP)
Jenjang tujuan (hiararchy of objective)
dampak program yang diharapkan. Tujuan memberikan gambaran tentang bagaimana masalah atau situasi akan dirubah selama periode tertentu, sebagai hasil keluaran program. Menggambarkan hasil program. Keluaran seharusnya dinyatakan dengan kalimat yang jelas, kata-kata yang berorientasi pada kegiatan. Tugas tertentu yang dilakukan untuk mencapai tujuan. Organizasi atau kelompok yang secara langsung bertanggungjawab atas perencanaan, pelaksanaan dan pembiayaan kegiatan proyek. Orang-orang yang memiliki kepentingan terhadap proyek. Bisa stakeholder tingkat primer dan sekunder. Stakeholder Primer adalah stakeholder yang terdiri dari komunitas masyarakat, staf proyek, pemerintahan lokal dan NGO. Stakeholder Sekunder adalah orang-orang dari pihak donor arau pemerintahan pusat. Alur diagran yang mengilustrasikan dan menggambarkan hubungan beberapa level tujuan. Sebuag alat perencanaan proyek yang dapat menjabarkan dalam penggunaan monitoring dan evaluasi/ Logframe terdiri dari 4 (empat) bagian: (1) Jenjang tujuan (hiararchy of objective), (2) Objectively verifaibel indicator (OVI), (3) Mean of verification (MOV); (4) Assumptions Jenjang tujuan memiliki 4 tingkatan tujuan: (1) Goal, (2) Purpose, (3) Output, (4) Activities
b. Kegiatan: Pada tahap 2 ada beberapa kegiatan yang dilakukan: 1. Klarifikasi stakeholder proyek, kepentingan dan keterkaitan mereka 2. Pengembangan diagram pohon tujuan proyek atau diagram sejenisnya atau mendemonstrasikan bagaimana tujuan proyek tersebut bisa tercapai. 3. Menentukan pendekatan: memutuskan apakah langkah pertama membangun kerangka logika atau langsung dari giagram pohon ke kertas kerja MEP.
13
G.3 Tahap 3 Menentukan Informasi Dibutuhkan dan Pengembangan Kuesioner Monitoring dan Evaluasi a. Definisi dan Konsep: Kebutuhan Dakam Monev kebutuhan informasi berkaitan dengan Informasi
informasi yang dibutuhkan oleh rekana proyek guna
(Information
membantu
Needs)
effektifitas dan dampak proyek.
merka
menentukan/melihat
perkembangan,
Pertanyaan Monev Pertanyaan Monev melobatkan pernyataan kebutuhan (M&E Questions)
informasi yang terdapat didalam form pertanyaan dalam rangka membantu memperjelas informasi yang dibutuhkan.
b. Kegiatan: Pada tahap 3 ada beberapa kegiatan yang dilakukan: 1. Menentukan informasi yang dibutuhkan dan membuat evaluasi pertanyaan pada level sasaran, tujuan, keluaran, dan kegiatan dalam konsultasi dengan rekanan proyek, dan direkam dalam kertaskegiatan dalam konsultasi dengan rekanan proyek, dan direkam dalam kertas kerja MEP 2. Melanjutka langkah ke kertas kerja perencaaan MEP, dan menungakannya dalam diagram pohon tujuan, dan mengisi pertanyaan evaluasi di kolom pertama G.4 Tahap 4 Membangun Indikator Kunci a. Definisi dan Konsep; Indikator Sebuah tanda yang dapat membantu mengukur perubahan, dapat memberi ukuran secara tidak langsung terhadap sesuatu dimana sulit untuk diukur secara langsung. Indikator Langsung
Indikator yang dapat secara langsung mengukur item dalam pertanyaan
Indikator Langsung
Tidak Indikator yang dapat mengukur sesuatu yang secara langsung sulit diukur
b. Kegiatan: Pada tahap 4 ada beberapa kegiatan yang dilakukan:
14
1. Curah gagasan untuk menyusun daftar pertanyaam untuk masing-masing pertanyaan evaluasi atau tujuan proyek, merengking pertanyaan-pertanyaan tersebut dan memiliki indikator kunci untuk masing-masing pertanyaan atau tujuan 2. Merevaluasi indikator-indikator tersebut secara berkala. G.5 Tahap 5 Menentukan Sumber Informasi dan Desain Alat Mengumpulkan Data a. Definisi dan Konsep: Data
Data adalah informasi yang dikumpulkan untuk tujuan tertentu. Baseline Data Informasi yang dikumpulkan sebelum kegiatan proyek dimulai guna mendapatkan informasi dasar yang akan dipakai sebagai pembanding dalam evaluasi berikutnya. Sources of Information/ Sumber informasi yang bs memberikan informasi Means of Verification yang dibutuhkan guna pengukuran indikator. b. Kegiatan: Pada tahap 5 ada beberapa kegiatan yang dilakukan: 1. Mengidentifikasi sumber informasi (Means of Verification/MoV) dan merekam didalam kerangka logis atau kertas kerja perencaaan 2. Mengidentifikasi kebutuhan data dasar dan merekan dalam kertas kerja (kolom 4) 3. Menentukan frekuensi mengambilan data dan merekam dalam kertas kerja (kolom 7) 4. Menentukan siapa yang membutuhkan data tersebut dan merekamnya dalam kertas kerja (kolom 11 dan 12) 5. Menentukan siapa yang akan mencari data dan merekamnya di kertas kerja perencaaan (kolom 5) 6. Menyusun atau menetukan alat dan metode untuk perolehan data dan merekamnya didalam kertas kerja perencaaan (kolom 6) 7. Menentukan ukuran sample utnk perolehan data dasar dan monitoring berjalan. 8. Mengidentifikasikan informasi tambahan yang dibutuhkan untuk mendapatkan data dan merekamnya dalama kertas (kolom 5) 9. Memutuskan bagaimana dan dimana data tersebut disimpan. G.6 Tahap 6 Rencanan Analisa Data dan Penggunaan Hasil a. Definisi dan Konsep Analiasa Data Analisa data meliputi studi dan uji informasi (angka, kata, gambar) oleh kelompok, terintegrasi, talling, sorting, comparing, dan constrasting dalam rangka
15
Penyajian (Presentation)
untuk emmahami secara keseluruhan. Proses dimana data yang telah dianalisa dapat diakses oleh pihak-pihak yang membutuhkan untk pengambilan keputusan
b. Kegiatan: Pada tahap 6 ada beberapa kegiatan yang dilakukan: 1. Merencanakan tingkat keseringan analisa data itu dilakukan dan merekamnya dalam kertas kerja perencanaan (kolom 9) 2. Mengidentifikasi siapa yang akan terlibat dalam analisa data dan merekamnya dalam kertas kerja perencaaan (kolom 10) 3. Menentukan bagaimana data akan dipresentasikan, didiskusikan, dan digunakan untuk pengambilan keputusan internal proyek dan merekamnya dalam kertas kerja (kolom 11) 4. Menentukan bagaimana informasi akan disebarkan kepada pihak terkait, dan direkam dalam kertas kerja perencanaan (kolom 12) G.7 Tahap 7 Meyempurnakan dan Menguji Sistem Monitoring dan Evaluasi a. Definisi dan Konsep Uji Coba Sistem MEP
Mengetahu
tingkat
mengidentifikasikan
kelayakan
sisitem
masalah-masalah
MEP, potensial
melalui pelaksanaan sistem selama periode tertentu
b. Kegiatan: Pada tahap 7 ada beberapa kegiatan yang dilakukan: 1. Melengkapi dan menuliskan perencanaan MEP 2. Memastikan bahwa staf proyek dan rekanan dalam sistem MEP telah mendapatkan pelatihan yang cukup 3. Menyusun dan merevisi alat mengumpul data apabila diperlukan 4. Mereview dan merekam ulang sisitem pelaporan proyek 5. Mengumpulkan data dasar yang telah diidentifikasikan oleh rekanan proyek 6. Mengumpulkan data monitoring yang telah diidentifikasikan oleh rekanan proyek 7. Rekanan proyek seharusnya mendiskusikan hasil dan mengembangkan dalam tindak lanjut dalam manajemen keputusan 8. Desiminasi hasil kepada pihak yang berkepentingan 9. Melakukan uji sistem MEP dalam periode percobaan 10. Melakukan revisi dan menyesuikan atas sistem MEP dan monitoring dan evaluasi yang sedang berjalan
16
G.8 Tahap 8 Melakukan Review Proyek dan Evaluasi Eksternal a. Definis dan Konsep Evaluasi Proses (Process or Formative Evaluation) Evaluasi Dampak (Impact Evaluation) Evaluasi Partisipatori (Participatory Evaluation) Evaluasi Pihak Luar (External Evaluation)
Digunakan untuk “mengatur” atau mempartajam pekerjaaan saat proyek sedang berjalan dan untuk meningkatkan kinerja Penilaian secara periodik untuk melihat tingkat effisiensi dan relevansi proyek termasuk dampak dari tujuan proyek. Secara langsung melibatkan stakeholder tingkat komunitas dalam perencaaan dan pelaksanaan evaluasi. Evaluasi yang dilakukan oleh pihak ketiga
b. Kegiatan: Pada tahap 8 ada beberapa kegiatan yang dilakukan: 1. Menentukan tujuan evaluasi dan kepada siapa evaluasi ini ditujukan 2. Mengembangkan Kerangka Acuan Kerja 3. Menseleksi tim evaluasi 4. Mempersiapakanlaporan evaluasi dan mendesiminasi hasil temuan 5. Evaluasi atas proses evaluasi. KERTAS KERJA PERENCANAAN MONITORING DAN EVALUASI PARTISIPATIF
17
