DEPARTEMEN PEKERJAAN UMUM Direktorat Jenderal Cipta Karya
MODUL KHUSUS FASILITATOR Pelatihan Dasar 3
Monev Partisipatif
PNPM Mandiri Perkotaan
F20
Modul 1
Kegiatan 1
Pengertian Monitoring dan Evaluasi
1
Permainan Menebak Perubahan
2
Melakukan Monev Partisipatif BKM/LKM
28
Kegiatan 1
Permainan Mengamati Barang
29
Kegiatan 2
Diskusi Kelompok Berputar : Bagaimana Melakukan Monev?
30
Modul 2
Modul 1 Topik: Pengertian Monitoring dan Evaluasi (Monev)
1. Peserta memahami konsep monev partisipatif 2. Peserta memahami pentingnya monev partisipatif dalam PNPMMP
Kegiatan 1 : Permainan menebak perubahan
3 Jpl ( 225’)
Bahan Bacaan : 1. Monev Partisipatif dan Pemberdayaan Masyarakat 2. Mengapa Monev Partisipatif Penting Dalam PNPMMP 3. Pengertian Evaluasi
• Kertas Plano, Kuda-kuda untuk Flip-chart • LCD • Metaplan, Spidol, selotip kertas dan jepitan besar • Papan Tulis dengan perlengkapannya
1
Permainan Menebak Perubahan 1) Sebagai pembukaan, sampaikan kepada peserta tujuan dari sesi ini, yaitu agar peserta: memahami pentingnya monev dalam PNPMMP. 2) Kemudian mintalah peserta untuk berdiri, dan membentuk dua barisan (atur agar jarak antara kedua barisan tersebut agak berjauhan, kira-kira dua langkah). Kemudian sampaikan aturan permainan sebagai berikut: • • • •
Mintalah peserta untuk memperhatikan pasangannya masing-masing, dari ujung rambut hingga ujung kaki. Jelaskan bahwa setelah pemandu menyampaikan aba-aba nanti, semua peserta harus balik kanan (saling membelakangi) dan membuat satu macam perubahan pada pakaiannya di bagian depan (yang bisa dilihat oleh pasangannya). Pasangan mereka harus menebak, apa yang berubah. Pandu proses menebak tersebut. Lakukan sekali lagi, minta peserta menambahkan dua macam perubahan. Jika mau, lakukan sekali lagi, dan minta peserta menambahkan lima perubahan. Perhatikan, jika peserta mengeluh, hentikan permainan.
3) Persilakan peserta untuk duduk kembali. Kemudian ajaklah peserta mendiskusikan hal-hal berikut ini: • • •
Sulitkah mengamati suatu perubahan? Kapan pengamatan tersebut sulit dan kapan menjadi mudah? Mengapa? Menurut anda, mungkinkah untuk melibatkan ‘obyek’ yang diamati dalam mengamati/mengevaluasi suatu perubahan? Mengapa? Mengapa pengamatan semacam ini menjadi penting?
4) Tuliskan point-point penting jawaban peserta, dan di akhir proses diskusi, simpulkan pendapat peserta. Beri masukan berdasarkan bahan bacaan, dan tutup diskusi dengan memberikan masukan berikut ini (jika belum tersimpulkan dalam diskusi):
2
Proses pengamatan dan evaluasi dalam permainan ini menggambarkan sebuah kegiatan monev. Monev akan menjadi sulit, jika tidak diintegrasikan dengan perencanaan dari awal. Pada saat perencanaan dibuat, semestinya sudah dirumuskan ukuran-ukuran (kuantitatif maupun kualitatif) mengenai capaian yang diinginkan, sehingga pengamatan dapat difokuskan pada hal-hal yang akan dilihat saja. Monev partisipatif adalah monev yang dalam pelaksanaannya mengikutsertakan pembelajaran demokrasi dan partisipasi bagi para pelakunya. Pelaku monev partisipatif adalah pihak orang luar maupun warga masyarakat yang menjadi sasaran program tersebut.
3
MONEV PARTISIPATIF DAN PEMBERDAYAAN MASYARAKAT Oleh Ria Djohani, Studio Driyamedia Bandung Apakah kita terkadang memikirkan tentang APA saja yang telah saya lakukan dalam hidup saya? Apakah ke depan saya masih bisa melakukan hal yang belum tercapai? Apakah saya hanya melalui hidup saya begitu saja, tanpa rencana dan refleksi? Apakah proyek/program kita juga berjalan begitu saja tanpa kita pikirkan arah dan tujuannya? Sistem perencanaan dan monev program dalam filosofi pemberdayaan, bukanlah hanya proses, forum, atau alat manajemen program, melainkan suatu proses, forum, atau alat pembelajaran (sharing, refleksi) dan demokrasi (pengambilan keputusan bersama). Apa konsekuensi dari pendekatan partisipatif terhadap sistem perencanaan dan monev yang perlu dikembangkan? Tentunya aspek pemberdayaan masyarakat dalam penilaian perkembangan, kemajuan dan capaian program merupakan suatu aspek yang luas. Dimensinya bukan hanya ekonomi saja, melainkan juga aspek sosial, politik lokal, kepemimpinan dan keorganisasian, dan lingkungan. Apa yang perlu dimonev setelah suatu program berjalan, sejak perencanaan sudah perlu dirumuskan bersama masyarakat. Dengan begitu, arah program akan dikembangkan sesuai dengan rencana, dan penilaian (monev) dilakukan utuk melihat apakah rencana itu berjalan atau tidak. Masyarakat menentukan: perkembangan program apa yang penting dipantau dan apa saja indikator capaian program yang akan dievaluasi pada suatu jangka waktu tertentu. Sebagai latihan, pada awalnya, masyarakat dilatih diajak untuk menentukan indikator kemajuan KEBUN (misalnya) atau usahanya. Setelah kemampuan berkembang, barulah mereka diajak menilai hal-hal yang lebih strategis. Dengan demikian, monev dalam program partisipatif adalah suatu proses pemberdayaan. Tidak bisa sekaligus menjadi kemampuan masyarakat, tetapi secara bertahap peran Orang Luar dipindahkan ke Orang Dalam (pada awalnya monev lebih banyak dilakukan Orang Luar, semakin lama beralih kepada Orang Dalam). Pada awal perkembangannya, evaluasi program merupakan metodologi yang dianggap sebagai kompetensi kalangan tertentu (akademisi) sehingga dilakukan oleh orang yang berada di luar program. Seiring dengan perkembangan evaluasi partisipatif (lihat buku Riset Partisipatoris, Riset Pembebasan; Fernandes dan Tandon), evaluasi menjadi suatu yang lebih mengutamakan ideologi (prinsip-nilai) ketimbang meributkan kesahihan datanya. Proses kesepakatan terhadap apa yang dicapai menjadi lebih penting ketimbang validitas data. Dalam bekerja dengan masyarakat dampingan, rata-rata LSM selalu mengembangkan atau memperkuat organisasi masyarakat (kelompok tani/jaringan tani, koperasi, dsb.) sehingga kita perlu juga mengevaluasi penguatan organisasi dan kepemimpinannya. Tetapi, yang paling penting dilihat adalah: apakah penguatan organisasi rakyat (seperti BKM dan KSM), 4
menyumbangkan sesuatu pada pemberdayaan (perubahan pola kekuasaan yang lebih adil dan demokratis) ataukah justru mempekuat pola dominasi kelompok elitis? Penguatan KSM bukanlah sekedar alat untuk menjalankan program dari luar, melainkan suatu kerangka gerakan perubahan sosial melalui kelompok atau organisasi yang memiliki kesadaran dan memperjuangkan demokratisasi/ pembaruan. Inti dari pemilihan metode/teknik monev partisipatif adalah: apakah metode ini bisa membangun proses pembelajaran masyarakat di dalam suatu forum refleksi yang terbuka, dialogis, dan setara?
5
MENGAPA MONEV PARTISIPATIF ITU PENTING Dalam kehidupan sehari-hari, seringkali kita menyaksikan atau mendengar cerita tentang berbagai kegiatan atau program yang berhasil dilaksanakan, sesuai rencana dan hasilnya dapat dinikmati oleh orang banyak. Namun, tak juga jarang kita mendengar kegiatan atau program yang gagal, tujuan tidak tercapai dan tidak begitu baik hasilnya. Sayangnya, pengalaman keberhasilan dan kegagalan tesebut seringkali dianggap angin lalu saja. Kita jarang secara sungguh-sungguh mencermati kembali pengalaman keberhasilan dan kegagalan. Akibatnya adalah kita tidak memiliki pelajaran berarti dari berbagai peristiwa dan pengalaman tersebut dan seringkali kita mengalami kegagalan pada kegiatan yang sama secara berulang kali. Pertanyaannya adalah: Apakah kita memiliki cara untuk mengetahui bahwa kita tidak sedang melakukan hal-hal yang akan membawa kegagalan? Banyak cara dapat kita lakukan untuk menjawab pertanyaan tersebut. Tetapi keputusan kita untuk melakukan monev secara benar terhadap apa yang kita kerjakan, yaitu dengan berusaha untuk secara terus menerus atau berkala dan secara sungguh-sungguh melihat dan memikirkan kembali perkembangan dari kegiatan atau program yang kita kerjakan, sebetulnya kita menghindari kegagalan dan berjalan menuju keberhasilan. Dengan melakukan monev terhadap apa yang kita kerjakan maka secara sadar dapat kita kontrol kesesuaian penggunaan sumber daya, pilihan cara dan saling menjaga kinerja di antara pihak-pihak yang terlibat. Karenanya monev menjadi penting supaya tujuan kegiatan atau program dapat dicapai dan dapat dipertanggungjawabkan kepada semua pihak lain yang berkepentingan atas apa yang kita lakukan. Monev Partisipatif Dalam PNPMMP Seperti halnya kegiatan tahapan siklus PNPMMP seperti pemetaan swadaya, refleksi kemiskinan, dan penyusunan PJM Pronangkis (perencanaan); monev partisipatif adalah suatu forum pengambilan keputusan bersama mengenai apa yang ingin dan akan dilakukan oleh masyarakat dalam berkegiatan dan mengembangkan program. Monev dilakukan untuk menilai tahap-tahap pencapaian kegiatan/program seperti yang digambarkan dalam siklus. Hasil-hasil pengamatan/monitoring sebelumnya, dibandingkan dengan hasil-hasil pengamatan berikutnya, sehingga kita bisa melihat apakah terjadi perubahan secara berkesinambungan. Dengan begitu, pada monev partisipatif kita selalu membandingkan hasil-hasil dari waktu ke waktu, sehingga terjadi aksi – refleksi – aksi. Indikator monev dengan metodologi-pendekatan partisipatif sebaiknya memperhatikan aspek hasil fisik dan non-fisik.
6
Apa saja yang diperlukan supaya monev berhasil (syarat monev)?
;
Karena monev dibuat antara lain untuk melihat perkembangan serta capaian suatu program, maka program tersebut perlu dirumuskan dalam perencanaan yang jelas.
;
Sebelum monev dilakukan, terlebih dahulu harus ada kesepakatan antar semua pihak yang akan terlibat: untuk keperluan apa monev dibuat dan manfaat apa yang ingin diperoleh dari monev.
;
Sebagai ikatan dalam melaksanakan monev bersama-sama perlu ada kesepakatan mengenai nilai dasar atau prinsip yang ingin kita wujudkan dalam pekerjaan kita.
;
Untuk melakukan monev perlu ada rencana yang jelas sehingga ia akan melekat dan menjadi bagian dari kehidupan kita sehari-hari.
Tiga Pilar Monev Ketika kita membuat rencana kerja, adalah saat yang tepat untuk sekaligus menyusun rencana monev. Dengan demikian kita memastikan bahwa monev betul-betul menyatu dengan pekerjaan kita, dan bukan sesuatu yang terpisah atau bahkan terlupakan sama sekali. Kita harus memastikan bahwa kita sudah memiliki “pilar” yang dibutuhkan untuk membangun rencana monev yaitu rencana kerja yang jelas, kesepakatan bersama tujuan monev dan kesepakatan cita/nilai/prinsip melakukan monev. 1. Rencana kerja yang jelas disarankan memuat hal-hal berikut: ; Perubahan yang ingin dicapai ; Apa yang perlu dihasilkan untuk mencapai tujuan ; Apa yang perlu dilakukan ; Siapa penanggung jawabnya ; Siapa saja yang terlibat ; Kapan dan dimana akan dilaksanakan ; Apa saja yang diperlukan 2. Kesepakatan tujuan monev dapat lebih mudah dicapai jika kita bisa memikirkan apa saja manfaat yang kita harapkan dalam melakukan monev. Pada umumnya, tujuan monev mengandung 2 hal pokok, yaitu : a. Belajar dari pengalaman • Secara terus menerus mencari “pelajaran baru” dari apa yang telah kita kerjakan selama ini. Pelajaran yang baru itu bisa menjadi masukan yang sangat berharga untuk perbaikan kinerja kita ke depan. • Meningkatkan kinerja ke arah yang efektif: tujuan yang ditentukan. • Meningkatkan kinerja ke arah yang efisien: tepat waktu, tidak boros • Melihat dengan jernih sebab-sebab keberhasilan dan kegagalan pekerjaan yang sedang dilakukan. Sehingga kita bisa meningkatkan kekuatan yang kita miliki, dan berusaha mengurangi kelemahan yang ada. 7
•
Saling tukar menukar pengalaman antar orang, kelompok, kampung maupun lembaga yang sedang atau selesai mengerjakan sesuatu. Melalui proses ini, diharapkan munculnya sebuah kesadaran bahwa suatu “kesalahan” yang pernah dialami oleh orang lain bisa kita hindari. b. Menjadi tanggung gugat • Memberikan jawaban secara terbuka dan jujur terhadap apa saja yang ingin diketahui oleh masyarakat menyangkut suatu program dimana masyarakat berkepentingan terhadap program itu. •
Selain siap menjawab, kita harus siap “digugat” oleh masyarakat jika pekerjaan kita dianggap tidak sesuai dengan aturan dan nilai-nilai yang telah disepakati sebelumnya.
3. Prinsip-prinsip monev
; ; ; ; ; ; ; ; ;
Partisipatif, melibatkan banyak pihak mulai perencanaan hingga evaluasi. Terbuka, pertanggungjawaban dilaporkan secara terbuka. Tanggung gugat, pengambilan keputusan dan penggunaan sumber daya bisa ditanggung gugat di depan masyarakat luas. Kesetaraan, semua pihak terlibat mempunyai hak dan kedudukan setara. Kejujuran, pelaporan dilakukan dengan jujur dan sesuai kondisi lapangan. Berjiwa besar, Berjiwa besar menerima dan memberikan kritik dan saran Keterpaduan, Dilakukan melihat semua arah secara terpadu dan menyeluruh Fleksibel, tidak kaku, sesuai dengan keadaan waktu dan tempat Kesepakatan, pelaksanaan didasarkan pada kesepakatan semua pihak.
Sumber: Monitoring & Evaluasi: Sebagai Media Belajar, DFID, 2001
8
Pengertian Evaluasi Bab ini dimulai dengan apa arti evaluasi, mengapa kita melakukannya, dan apa yang diharapkan dengan mempelajarinya. Berbagai pihak seringkali mengambil bagian dalam proses evaluasi ini, meskipun seringkali tidak sepenuhnya dekat dengan masyarakat pada semua tingkatan. Di samping, itu dibahas pula berbagai cara yang dilakukan orang ketika mengambil bagian dalam evaluasi, tempat, biaya, dan untuk kepentingan siapa evaluasi dilakukan.
1.1.Mengapa Evaluasi Secara sederhana evaluasi berarti mengkaji nilai/hasil sesuatu (hasil kerja), proses membandingkan antara hasil yang telah dicapai dengan hasil yang diharapkan. Pengertian dan pemahaman tentang evaluasi ini membantu orang yang terlibat dalam programprogram pengembangan untuk mengkaji hasil kerja mereka secara sistematis. Ketika ditanyakan kenapa orang mengevaluasi kerja mereka, masing-masing pihak akan memberikan jawaban berbeda, hal tersebut dapat dilihat pada uraian di bawah ini:
9
Membantu kita melihat dan mencari arah yang tepat Melihat apa yang telah dicapai Membantu kita membuat rencana-rencana ke depan Mengukur kemajuan Membuat kinerja kita lebih efektif Mampu mengembangkan metode pengawasan
Mengumpulkan lebih banyak informasi Mengapa Anda Mengevaluasi
Melihat kelebihan dan kelemahan
Melihat apakah kinerja kita mengeluarkan biaya besar sementara hasil
yang dicapai sedikit Mengkritisi hasil kerja usaha
Melihat apakah semua sudah efektif
Membandingkan dengan program lain yang sejenis
Mampu membagi pengalaman
Di samping itu, ada 10 jawaban kunci atas pertanyaan ‘Mengapa Anda Mengevaluasi?’
10
•
Kemajuan (untuk melihat apa yang telah dicapai)
•
Mengukur Kemajuan (berkaitan dengan tujuan program)
•
Mengembangkan Pegawasan/monitoring
(untuk memperoleh pengelolaan yang
lebih baik) •
Menemukenali Kelebihan dan Kelemahan (memperkuat program)
•
Melihat Apakah Upaya yang Dilakukan Sudah Efektif (perbedaan apa yang telah dihasilkan progam)
•
Biaya (apakah biayanya sudah masuk akal/realistis)
•
Pengumpulan Informasi(merencanakan dan mengelola program lebih baik)
•
Membagi Pengalaman (menghindari mereka membuat kesalahan yang sama atau mendorong mereka menggunakan metode yang sama)
•
Mengembangkan Efektivitas (agar memiliki dampak yang lebih baik)
•
Memberi Perencanaan yang Lebih Baik (lebih berpihak pada kebutuhan masyarakat, khususnya pada tingkat komunitas). Beberapa di antara alasan kunci tersebut mudah, sementara yang lainnya sulit
dipahami. Ketika ini dilakukan di tingkat masyarakat kita sebaiknya menggunakan katakata dan pemaknaan/bahasa yang lebih singkat dan mudah dipahami. Sebagai contoh sederhana kita dapat menceritakan pengalaman aktual yang terjadi pada suatu masyarakat, seperti di bawah ini: Pada satu wilayah, sekelompok pengembangan masyarakat membandingkan evaluasi mengenai perjalanan dengan mengendarai sebuah bis yang tidak diketahui arahnya. Sambil menatap keluar melalui jendela para pengembang merasa gembira karena dapat melihat kemajuan yang ada. Tiba-tiba hujan turun sehingga tirai jendela mobil ditutup. Kondisi ini membuat mereka tidak dapat melihat suasana luar. Mereka tahu bahwa mobil terus melaju, namun tidak dapat menceritakan seberapa cepat atau apakah mereka telah mendekati tujuan. Evaluasi itu seperti melihat dimana dan secepat apa anda pergi dan memperkirakan kapan anda ingin mencapai tujuan. Dari jawaban yang ada sangat jelas bahwa evaluasi telah dilakukan utamanya dengan mempertimbangkan: aktivitas program, sumber daya manusia, sumber daya alam, informasi, gambaran dan fakta-fakta. Hal tersebut dimaksudkan agar:
11
Memonitor kemajuan dan efektivitas evaluasi, mempertimbangakn biaya dan efisiensi, menunjukkan apakah perubahan dibutuhkan, dan membantu merencanakan secara lebih efektif untuk ke depan. Jadi, di samping ada beberapa alasan lain juga terdapat perbedaan dalam mengevaluasi. Ini adalah beberapa di antara alasan itu yang menjadi lebih jelas jika kita melihat jawaban yang diberikan masyarakat. •
Karena pesanan penyandang dana
•
Karena pesanan menteri/pemerintah
•
Karena pesanan sponsor yang ingin melihat apakah mereka tetap ingin mendukung program
•
Karena peneliti ingin mencoba teknik evaluasi yang baru
•
Karena materi-materi baru dibutuhkan untuk tujuan publikasi Dari beberapa jawaban ini, jelas bahwa evaluasi dilakukan untuk beberapa alasan
tertentu. Meskipun, beberapa alsaan itu barangkali belum terlalu jelas bagi semua pihak yang terlibat dalam evaluasi. Contohnya, evaluasi telah digunakan pada program berbasis partisipasi dengan harapan hasilnya akan digunakan dalam pengambilan keputusan berkaitan dengan penyandang dana program, dimana pada kenyataannya keputusan pendanaan telah diambil alih oleh penyandang dana program sebelum evaluasi dimulai. Jadi, hasil evaluasi tidaklah membuat perbedaan berarti dalam pengambilan keputusan yang telah dibuat oleh penyandanga dana. Evaluasi juga digunakan pada beberapa kasus untuk membenarkan/mendukung program yang lemah atau program yang gagal, atau sebagai upaya untuk mencoba membentengi program-program yang gagal. Contohnya, evaluasi hanya tampak sukses pada bagian tertentu dari program dan bukan pada keseluruhan program. Bila hanya bagian tertentu dari program yang dilihat maka hanya sedikit peluang untuk melihat kelemahan program secara keseluruhan. Beberapa evaluasi telah berhasil dalam merubah program, contohnya; ketika program hanya dikuasai oleh orang tertentu atau sekelompok orang yang tidak setuju dengan kegiatan atau tujuan program tersebut.
12
1.2 . Apa yang dapat dan tidak dapat dilakukan dalam Evaluasi Kita seringkali berharap terlalu banyak dari evaluasi karena melalui evaluasi kita dapat memperoleh informasi keberhasilan dan kemajuan yang dapat digunakan pada pengambilan keputusan dan perencanaan. Meskipun, terkesan lebih banyak sebagai proses evaluasi. Kesannya bahwa evaluasi itu kebanyakan berkaitan dengan segala kemungkinakn pertanyaan dan mampu menjawab semua pertanyaan.
Ingat bahwa evaluasi bukanlah obat yang dapat mengobati semua penyakit. Melihat Keberhasilan dan Kegagalan Orang sering menyangkan bahwa
evaluasi mampu menunjukkan secara jelas
keberhasilan telah tercapai, tetapi seringkali sulit memberi bukti yang jelas mengenai kesuksesan itu. Kenyataannya, lebih mudah menunjukkan kegagalan, sungguhpun kegagalan tidaklah popular. Salah satu alasan kenapa sangat sulit menunjukkan kesuksesan atau kegagalan karena makna keduanya dapat berbeda-beda untuk setiap orang. Contohnya, apa yang dianggap kegagalan pada suatu tempat justru dapat menjadi kesuksesan di tempat lain. Hal itu dapat dilihat pada kejadian lapangan di bawah ini:
Dari Pengalaman Di Brazil dicanangkan sebuah program pengembangan pedesaan untuk menunjang sektor pertanian lokal. Program itu gagal, dan sebagian besar disebabkan oleh kegagalan lembaga masyarakat lokal. Namun, setahun kemudian salah satu pengembang program kembali ke wilayah itu untuk suatu kunjungan singkat. Dia menemukan bahwa program itu memperoleh hasil, khususnya pada bidang kesehatan. Di antaranya, Masyarakat masih menggunakan obat yang pernah diperkenalkan sebelumnya seperti obat malaria, disentri dan penyakitpenyakit umum lainnya. Sebagian masyarakat juga masih menanak dan menyaring air yang mereka konsumsi serta masih menggunakan kotak untuk menyimpan sikat gigi. Jadi, pada program ini, meskipun dikatakan gagal, namun masih ada kesuksesan pada wilayah tertentu yang menutupi kegagalan program secara keseluruhan. Pada sisi lain, bijaksana kiranya untuk berhati-hati ketika mengklaim kesuksesan. Apa yang awalnya dianggap kesuksesan dapat saja menjadi kegagalan pada waktu lain. 13
Contohnya, kasus pembuatan jamban untuk meningkatkan kesehatan masyarakat pada dua wilayah di Negara Amerika Selatan. Mulanya program pengadaan jamban berjalan baik, namun seiring dengan waktu pemanfaatan jamban makin berkurang, perawatannyapun makin terabaikan. Akhirnya, justru menjadi sumber masalah kesehatan. Pada program lain yang dialokasikan pada wilayah sangat miskin, jambannya dibangun dari bata dan pintunya dipasangi kunci. Mereka tidak mengunci jamban tersebut dan dijadikan sebagai tempat barang, seperti sepeda bahkan sebagai kandang ayam. Sejauh ini jamban bukannya untuk tujuan sanitasi melainkan dijadikan gudang penampungan barang.
Evaluasi dilihat dari segi Kuantitas dan Kualitas Setiap evaluasi mengarah pada sesuatu yang dapat dihitung/diukur. Contohnya, jumlah masyarakat yang ikut dalam program, jumlah produksi atau layanan produk, jumlah sumber bahan-bahan yang tersedia, anggaran biaya program yang sedang berlangsung atau luas suatu area yang dikelola. Angka-angka, jumlah dan kuantitas seringkali digambarkan sebagai aspek kuantitatif dari evaluasi. Tidaklah terlau sulit menentukan aspek kuantitaif suatu evaluasi. Contohnya, suatu program vaksinasi dua bulanan yang bertujuan mencapai jumlah pasti anak yang divaksin pada waktu yang pasti. Ketika program selesai maka muncullah jumlah pasti berapa anak yang terjangkau oleh program tersebut. Bagaimanapun, program tidak hanya terdiri dari berbagai faktor yang dapat dihitung atau diukur. Melainkan, juga terdiri dari faktor-faktor yang sangat sulit diukur atau dihitung namun mempengaruhi program yang sukses atau gagal pada jalur yang penting. Termasuk didalamnya; sikap, kemampuan, kualitas, perilaku, nilai, dan motivasi serta bagaimana hubungan masyarakat satu sama lain termasuk dengan program yang ada. Ini merupakan
gambaran dari aspek-aspek kualitatif evaluasi karena hal ini berhubungan
dengan kualitas sesuatu yang telah dievaluasi. Beberapa faktor menjadi penting karena mereka membantu menjelaskan kenapa program pada tempat-tempat tertentu dilakukan dengan cara khusus, dan kenapa memiliki kelemahan dan kelebihan, solusi dan masalah, penyelesaian terduga dan tak
14
terduga. Ini juga mempengaruhi kesuksesan atau kegagalan program. Evaluasi mesti dilihat pada keseluruhan karakter atau sifat alamiah program. Mengetahui mengapa suatu program sukses atau gagal jauh lebih penting dari pada knowing it does Untuk menjawab pertanyaan tentang apa yang dapat dilakukan dalam mengevaluasi, secara jelas kita dapat melihat bahwa memang kita tidak dapat melakukan semua. Namun, paling tidak kita dapat: •
Menunjukkan keberhasilan dan kegagalan utama
•
Menunjukkan dimana dan bagaimana kebutuhan akan perubahan dibutuhkan
•
Menunjukkan bagaimana kekuatan-kekuatan dapat dibangun
•
Menyediakan
informasi
dan
menambah
keterampilan
untuk
kepentingan
pengambilan keputusan dan perencanaan, dan •
Membantu pihak-pihak yang terlibat untuk melihat semakin meluas konteks dan implikasi pekerjaan mereka
1.3. Siapa yang Dapat Mengevaluasi? Dewasa ini masih berkembang anggapan bahwa hanya para ‘ahlilah’ yang dapat melakukan evaluasi. Tanpa diragukan sesungguhnya banyak proses evaluasi yang hasilnya jauh lebih baik jika dilakukan oleh tanaga evaluasi yang terlatih khusus.Terdapat banyak jenis evaluasi yang dilakukan di dalam laboratorium, institusi, universitas, maupun di rumah sakit. Bagaimana dengan monitoring dan evaluasi yang dilakukan pada program pengembangan dasar masyarakat baik dalam skala kecil maupun skala besar? Masyarakat seringkali terlibat dalam program kesehatan, pertanian, pengembangan masyarakat dan pendidikan orang dewasa. Selama ini mereka menggunakan metode monitoring yang sudah terbiasa melibatkan masyarakat pada setiap program. Namun demikian, meskipun masyarakat pada tingkatan komunitas atau distrik tetap mengumpulkan informasi dan data statistik berkenaan dengan pekerjaan mereka, tetapi mereka tidak terlibat dalam proses analisis. Sehingga seringkali mereka tidak paham akan diapakan atau dibawa kemana data yang telah terkumpul tersebut.Bahkan terkadang merasa tidak butuh dengan hasil analisis evaluasi yang telah dilakukan.
15
Karena meskipun mereka melihat hasil laporan evaluasi, mereka kesulitan dalam memahami istilah-istilah khusus dan tampilan data statistik yang ada. Bagi pekerja di tingkat masyarakat dan hasil kajian analisis yang mencengangkan, muncul kesan bahwa hasil evaluasi dilakukan dan diperuntukkan bagi orang lain dan bukan untuk komunitas mereka. Tugas dan peran pekerja di tingkat masyarakat dan staf program secara umum adalah melakukan monitoring dan evaluasi pekerjaan mereka termasuk di dalamnya merekam, berpartisipasi dalam pertemuan-pertemuan regular, diskusi-diskusi kelompok, lokakarya penilaian perkembangan kegiatan, dan membuat laporan berkala (mingguan, bulanan, empat bulanan, dan tahunan). Beberapa staf program, seperti para teknisi dan profesional mesti memiliki keterampilan dan pengalaman khusus dalam hal evaluasi. Terkadang evaluator atau para evaluator bukan bagian dari staf program. Mereka bekerja secara individu atau dalam tim dan datang dari dalam maupun luar wilayah pelaksanaan program. Mereka terkadang diminta untuk mengevaluasi pekerjaan evaluator program atau diminta sebagai penasihat dalam proses evaluasi. Kalangan ini biasa disebut eksternal evaluator.
Eksternal dan Internal Evaluator: Siapa yang dapat memberikan gambaran yang paling jelas? Seorang eksternal evaluator adalah orang yang dapat mengambil bagian (a fresh look) secara santai dalam program karena mereka tidak terlibat secara personal. Contohnya, mereka tidak akan terlalu terpengaruh oleh intervensi staf program maupun penyandang dana. Oleh karena itu, terhindar dari bias program dan lebih objektif dalam penilaian. Seorang internal evaluator adalah orang mengenal program dengan baik. Dia telah mengetahui dengan baik tujuan, fungsi, masalah, kelebihan dan kelemahan program. Oleh karena itu, biasanya kalangan internal evaluator cenderung bias dalam melaksanakan fungsinya, hal ini dipengaruhi oleh berbagai faktor, seperti perasaan suka dan tidak suka, persahabatan, atau bahkan ambisi pribadi. Dengan kata lain, mereka akan sangat subyektif dalam menilai. Sungguhpun subyektivitas tidaklah selamanya lemah, namun dalam evaluasi sikap subyektif dapat mempengaruhi jalan pikiran dan hasil laporan yang jujur.
16
Hal tersebut akan jelas bila kita memperhatikan beberapa hal di bawah ini: Kelebihan dan Kekurangan Evaluator Internal dan Evaluator Eksternal Eksternal Tampak santai dalam program Tidak terlibat secara personal sehingga
Internal Mengetahui program dengan baik Bagian dari struktur kekuasaan
obyektif dalam penilaian Tidak memperoleh apa-apa dari program
Termotivasi secara individu
namun memperoleh prestise dari evaluasi Terlatih dalam metode evaluasi. Memiliki pengalaman pada evaluasi lain, dihargai
Bisa saja tidak terlatih khusus dalam metode evaluasi.
sebagai ahli dalam program Orang luar yang tidak mengerti program
Terbiasa dan mengerti program
serta atau orang-orang yang terlibat
mampu menginterpretasi sikap personal
Dapat menyebabkan kegelisahan sbg staf
Memahami program dengan baik,
program dan peserta tidak yakin akan
sehingga tidak merasa ragu dalam
motivasinya ikut dalam program
mengikuti program
Meningkatkan Rasa Percaya Diri Masyarakat dengan Kemampuan Mereka Sendiri Seringkali staf program dan masyarakat merasa tidak memiliki kemampuan dan keterampilan mengevaluasi pekerjaan yang mereka lakukan. Mengembangkan metodemetode manajemen yang baik akan meningkatkan rasa percaya diri, keterampilan dan kemampuan mereka. Khususnya pada tingkat komunitas, masyarakat seringkali beranggapan bahwa mereka tidak mampu melakukan evaluasi karena keterbatasan kemampuan baik dalam ilmu maupun keterampilan menyampaikan pendapat mereka di muka umum. Kesulitan pertama akan mereka hadapi ketika berhadapan dengan orang luar, hal ini terjadi bukan hanya karena faktor bahasa, budaya, dan pendidikan melainkan juga karena ketidakpahaman orang luar terhadap kondisi nyata masyarakat lokal.
17
Beberapa cara dapat dilakukan untuk membuat masyarakat lokal merasa dibutuhkan dan memiliki kamampuan dalam proses evalausi program adalah: •
Merekalah yang paling tahu akan wilayahnya, karakterisitik masyarakat (kondisi lahan dan musim)
•
Mereka paham bagaimana kehidupannya, hubungan masyarakat satu sama lain, siapa yang memiliki kekuasan dan kenapa, bagaimana perasaan masyarakat, nilai-nilai apa yang ada, bagaimana mereka menyelesaikan masalah, dan apa yang mereka harapkan dan tidak harapkan
•
Mereka yang paling tahu apa yang dapat dilakukan, apa yang mesti dihindari, apa yang mesti dipelajari, dan bagaimana mereka menggunakan apa yang telah dipelajari
•
Mereka telah tahu banyak tentang program, (seperti, mana program yang lalu, sekarang, dan masa yang akan datang) sementara staf program hanya tahu yang bersifat detail seperti pendanaan.
•
Mereka
telah
sangat
terbiasa
dengan
program
monitoring
berkala,
seperti
mengumpulkan informasi dan data-data statistik, melakukan survey, membuat laporan dan mengadakan berbagai pertemuan Tantangannya adalah menemukan cara terbaik bagi masyarakat untuk membuat mereka merasa terlibat ketika proses evaluasi dilakukan. 1.4. Partisipasi dalam Evaluasi Kita mesti kembali melihat apa sebetulnya pengertian partisipasi atau mengambil bagian dalam proses evaluasi. Tentunya ini akan menimbulkan banyak pengertian. Contohnya, orang yang terlibat dalam menjawab berbagai pertanyaan survey. Paling tidak mereka ikut ambil bagian dalam proses tanya jawab yang dilakukan meskipun secara pasif, atau yang mereka lakukan lebih bermakna kerjasama daripada berpartisipasi. Perbedaan cara masyarakat berpartisipasi dalam evaluasi dapat terlihat lebih jelas pada empat contoh di bawah ini, mulai dari A ke D
Contoh A: Tipe evaluasi ‘Contoh studi’ Dalam hal ini masyarakat hanya diberi peran sedikit dalam evaluasi. Ketika tim evaluator telah menjelaskan tujuan diadakannya evaluasi masyarakat serta merta setuju dimintai informasi, dsb. Mereka tidak diajak untuk melakukan hal yang lebih dari sekedar memberi informasi. Karena jika itu dilakukan maka mereka dianggap mengacaukan evaluasi. Hasil 18
evaluasi kemudian diambil alih oleh tim evaluasi dan tidak mengharapkan adanya tanggapan dari masyarakat.
Contoh B; Tipe Evaluasi ‘Penolakan Membagi Hasil’ Beberapa diantara tujuan evaluasi biasanya disampaikan kepada masyarakat. Mereka kemudian menjawab pertanyaan yang diajukan dalam kuesioner dan sedikit berperan pada proses analisis informasi. Mereka juga barangkali ambil bagian dalam prosedur evaluasi. Pada akhir evaluasi masyarakat mendapat tanggapan yang dibuat sesuai dengan kebutuhan tim evaluasi.
Contoh C: Tipe Evaluasi ‘locking up (membatasi) keahlian’ Masyarakat mengambil bagian dalam evaluasi termasuk menentukan tujuan dan metode evaluasi. Mereka berpartisipasi dalam analisis hasil evaluasi, tanggapan terhadap hasil evaluasi yang dilakukan masyarakat secara luas dan menjadikannya sebagai bahan rekomendasi. Meskipun tidak ada sistem monitoring yang betul-betul efektif dalam program yang memungkinkan masyarakat dan para staf berjalan sendiri. Masyarakat masih saja tergantung pada bantuan pihak luar bila mereka akan melakukan evaluasi lain.
Contoh D: Tipe Evaluasi ‘Real Partnership -Hubungan Nyata- dalam Pengembangan’ Masyarakat mengambil bagian dalam menentukan kapan dan bagaimana mengevaluasi, menentukan metode yang digunakan, mengumpulkan dan menganalisis data-data, menyiapkan laporan dan menentukan bagaimana menggunakan hasil-hasil yang ada dan mengejawatahkan rekomendasi yang ada ke lapangan. Ketika metode monitoring berkala belum digunakan, maka metode baru akan dikembangkan dalam program. Sehingga masyarakat memiliki akses berkala terhadap kemajuan mereka dan mampu melakukan evalausi secara berkelanjutan. 1.5. Untuk Siapa Evaluasi itu? Terkadang evalausi dilakukan untuk kepentingan pemerintah yang ingin mengetahui apakah kebijakan yang pernah diambil berhasil atau tidak. Di samping itu, para penyandang dana dana juga melakukan itu untuk tujuan yang sama.
19
Staf program pada tingkat masyarakat melihat tujuan utama diadakannya evaluasi lebih pada hal yang berkaitan dengan sesuatu yang praktis. Mereka ingin tahu apa yang program mereka telah capai, apakah upaya yang dilakukan telah efektif, dan apakah sumber-sumber yang tersedia telah digunakan secara efisien untuk mencapai tujuan program. Kadang-kadang pihak perguruan tinggi juga dilibatkan, termasuk para mahasiswa dan staf dengan maksud agar mereka memperoleh pengetahuan tentang evaluasi ditingkat masyarakat. Hasil temuannya dapat dipublikasikan dalam bentuk buku atau artikel dan memanfaatkan hasil pengalaman evaluasi itu untuk kepentingan studi mereka. Ketika evaluasi dilakukan tentunya pihak-pihak yang terlibat dalam evaluasi itu memiliki tujuan, motif dan harapan yang berbeda-beda. Baik, jika kita membandingkan perkembangan evaluasi dengan memakai contoh perjalanan menggunakan sarana transporatasi bis, sangat jelas bahwa akan terjadi kebingungan bila para penumpangnya tidak memiliki tujuan yang jelas, mengapa mereka ada di sana dan apa yang mereka harapkan. Sebelum memulai suatu evaluasi, maka hal terpenting yang mesti dilakukan adalah menentukan tujuan masing-masing orang. Seringkali sangat sulit menemukan solusi ketika terdapat banyak sekali keinginan dan kebutuhan yang mesti diakomodir. Situasi dan realitas tertentu suaitu program akan menentukan apa yang akan dilakukan. Apa yang pentng adalah meyakinkan bahwa kebutuhan dan tujuan yang berbeda yang ada di tingkat masyarakat tidak akan diabaikan begitu saja. Tujuan, metode, dan hasil evaluasi diharapakan mendekati kebutuhan, kenyataan, masalah, dan harapan masyarakat. Kementerian, departemen, organisasi, perguruan tinggi, dan agen-agen yang ada diharapkan juga memiliki kebutuhan dan harapan dari evaluasi. Seringkali sulit bagi evaluasi yang tunggal untuk menyediakan berbagai informasi yang dibutuhkan bagi masyarakat dan tingkatan lain dalam masyarakat (termasuk tingkat nasional maupun internasional). 1.6. Kapan Evaluasi Harus Dilakukan? Di samping monitoring biasa, yang dilakukan pada program yang sementara berlangsung, ada pula kebutuhan atas evaluasi pada interval biasa untuk mencegah terjadinya kekacauan informasi dan untuk mencapai gambaran yang lebih jelas mengenai 20
dampak dan kemajuan program. Bagi beberapa program dua ke tiga tahun jarak pekerjaan evaluasi yang baik. Meskipun, keputusan tentang kapan mengevaluasi akan tergantung, pada setiap kasus, pada berbagai faktor dari program. Contohnya: Apakah program telah mencapai tujuan-tujuan jangka panjang? Jika ya, maka hanya akan sia-sia bila mngevaluasi kemajuan secara teresa-gesa. Barangkali kurang dari dua tahun itu terlalu cepat. Sudahkah program mencapai tujuan-tujuan jangka pendek (seperti program vaksinasi dua bulanan)? Pada kasus seperti ini, evaluasi seringali dilakukan ketika program telah selesai. Metode monitoring apa yang telah digunakan? Proses perekaman perlu dilakukan jauh sebelum evaluasi dimulai, apakah telah banyak hal yang telah dikumpulkan? Apakah dibutuhkan tambahan waktu untuk melakukan ini? Apakah evaluator eksternal dilibatkan dalam evaluasi? Jika ya, ini akan berpengaruhh terhadap waktu, kapan mereka bisa datang dan butuh berapa lama bagi mereka untuk sampai ke lokasi program? Berapa lama mereka dapat tinggal? Bagaimana dengan iklim/musim dan cuaca? Pada musim hujan, mungkinkah mencapai wilayah yang terisolasi? Pada musim kering sungai mungkin menjadi kering dan wilayah yang akan dikunjungi tidak dapat dijangkau dengan perahu. Pada wilayah perkotaan, sangat sulit berkonsentarasi pada cuaca panas. Bagaimana dengan waktu masyarakat? Pada musim panen, apakah masyarakat punya waktu dan ketertarikan dalam evaluasi? Pada waktu tertentu masyarakat tidak punya persediaan uang dan makanan yang cukup. Apakah memungkinkan memilih waktu ketika masyarakat mungkin lebih santai dan ingin menyediakan waktunya untuk tahapan evaluasi? Bagaimana dengan waktu staf program? Mereka juga tentunya punya waktu sibuk, manakah waktu yang terbaik buat mereka? Bagaimana dengan pemerintah dan organisasi penyandang dana? Mereka juga tentunya memiliki saran berkaitan dengan waktu.
21
1.7. Dimana Evaluasi dilakukan dan kenapa? Sebuah evalausi seringkali dirancang diluar wilayah tempat akan dilakuaknnya evaluasi, contohnya, seorang evaluator eksternal. 1.8. Berapa Lama Evalausi Dilakukan? Bisa beberapa hari, beberapa bulan, bahkan bertahun-tahun. Ini sangat ditentukan oleh berbagai faktor, antara lain: 1.9. Berapa Biaya yang Dibutuhkan dalam Evaluasi 1.10. Siapa Pemilik Hasil Evaluasi? Siapakah yang menjadi pemilik hasil evaluasi, apakah hanya menjadi milik penyandang dana? Bagaimana dengan tim pelaksana atau orang yang terlibat di dalamnya? Evaluasi menjadi milik semua pihak termasuk yang mendanai dan yang meluangkan waktu dan tenaga untuk itu. 2.2. Mengapa Perlu Merencanakan Evaluasi? Apa arti perencanaan evaluasi? Perencanaan adalah suatu pengorganisasian metode kerja tentang bagaimana kecenderungan anda dan kapan mencapai tujuan evaluasi. Perencanaan membantu anda untuk: •
Menentukan prioritas dan tujuan evaluasi
•
Menentukan jenis metode yang dibutuhkan
•
Menentukan apa yang dibutuhkan secara lebih mendetail
•
Menentukan peran setiap pihak dalam proses evaluasi
•
Menentukan waktu dan biaya yang dgunakan
•
Melihat bagaimana hubungan setiap bagian dari evaluasi
•
Menambah keterampilan dalam perencanaan dan pengorganisasian
2.3. Membuat Perencanaan untuk Menyesuaikan dengan Kebutuhan Terdapat berbagai macama jenis perencanaan evaluasi. (terkadang kata ‘desain’ digunakan untuk mengacu pada ‘perencanaan’). Pilihan jenis perencanaan yang digunakan akan dipengaruhi oleh beberapa factor di bawah ini:
22
•
Tujuan evaluasi. Contoh, evaluasi dampak program, atau menyediakan informasi untuk mengembangakan efektivitas dan pengelolaan program.
•
Ruang lingkup evaluasi. Untuk mengetahui apakah ruang lingkupnya besar atau kecil
•
Orang-orang yang akan terlibat dan sumber daya yang tersedia Cara terbaik dalam merencanakan setiap evaluasi adalah, pertama-tama melihat
rancangan program mereka. Dalam hal ini tujuan, tipe orang-orang yang terlibat, metode organisasi, capaian dan masalah-masalahnya, dapat dipahami lebih jelas, dan kondisi nyata program digunakan utnuk mempertajam perencanaan evaluasi. Dalam
evaluasi
partisipasi
perencanaan
partisipasi
msti
mempertimbangkan
kemmapuan staf dan pesertanya. Analisa pertama terhadap informasi dikumpulkan oleh staf dan peserta yang selanjutnya akan diolah dengan komputer. Hal ini menunjukkan bahwa evalausi mesti dipahami oleh setiap pelaku. Dalam proses ini koordinator evaluasi bertanggung jawab atas segala persiapan akhir perencanaan evaluasi. Mereka mengkoordinasi masukan dari peserta program lainnya. 2.4. Mengevaluasi (program yang sedang berjalan) “A Moving Program” Program terdiri dari staf dan partisipan, struktur dan objek material
(bangunan,
perlengakapan, kendaraan, mesin, perekam, anggaran, obat-obatan, suplai, radio) dan kegiatan berupa pola manajemen,, organisasi, dan tindakan dalam berbagai bentuk. Beberapa bagian dari program dapat dilihat dan disentuh secara easily. Beberapa bagian butuh waktu dalam memperoleh bukti, melalui percakapan atau tulisan. Contohnya,
masyarakat
dapat
mengungkapkan
bagaimana
mereka
melihat
dan
mengalami sesuatu. Suatu program berkembangan dari hari ke hari sesuai dengan apa yang dirasakan masyarkat, atau hal-hal khusus yang terjadi ketika itu. Pada kondisi ini suatu program terasa
hidup. Setidaknya, pada suatu program jangka pendek (seperti kampanye
vaksinasi berjangka 3 bulan) evaluasi seringkali terjadi ketika program masih sementara berjalan. Berbagai program juga seringkali tampil memberi pelayanan masyarakat, seperti pelayanan kesehatan atau penyuluh pertanian. Jadi evaluasi seringkali berlangsung ketika program juga sementara berjalan. Program yang memiliki sistem monitoring yang baik.
23
Juga tentunya mempunyai pengalokasian waktu yang tepat. Jenis metode dan perencanaan evaluasi yang terbaik mesti mempertimbangkan semua faktor yang mendukung dan menghambat jalannya program seperti ini. 2.5. Tujuan Evaluasi dan Tujuan Program Tujuan dari sebagian besar evaluasi adalah untuk melihat kemajuan apa yang telah dibuat dalam rangka pencapaian tujua. Ada banyak alasan mengapa seringkali sangat sulit mengevaluasi tujuan program dengan cara ini. Berbagai contoh berikut membantu kita menunjukkan hal tersebut: •
Berbagai tujuan mungkin hanya akan ada pada cara yang sangat umum ketika program berlangsung (contohnya: memulihkan penderitaan atau mengembangkan gaya hidup). Pada beberpa kasus sangat sulit mengalihkan berbagai tujuan ini ke dalam sesuatu kegiatan yang sulit dievaluasi. Evaluasi seringkali hanya melakukan apa yang mudah dikaji bukan apa yang harus dikaji
2.6. Mengapa Indikator menjadi Penting? Suatu indikator merupakan penanda. Hal ini dapat dibandingkan dengan tanda jalan yang menunjukkan apakah anda berada pada jalan yang tepat, sudah berapa jauh berjalan dan berapa jauh lagi anda mesti berjalan untuk mencapai tujuan. Berbagai indicator menunjukkan kemajuan dan membantu mengukur perubahan. Beberapa indikator terdiri dari pengukuran dan ditunjukkan dalam jumlah, seperti:: •
suatu persentase (bagian dari jumlah), seperti 50 persen (setengah) petani pedesaan yang menggunakan pupuk kimia.
•
Suatu tingkatan, seperti tingkat kematian bayi, dimana jumlah bayi di bawah satu tahun meninggal dalam setahun. Dalam hubungannya dengan kelahiran 1000 bayi hidup pada tahun yang sama.
•
Suatu Perbandingan, seperti jumlah guru dikaitkan dengan jumlah anak usia sekolah pada wilayah-wilayah tertentu (contohl; satu guru menangani 20 siswa).
24
2.7. Berbagai Indikator yang tidak Jelas Dalam berbagai program, tujuan seperti yang kita ketahui, mungkin belum terlalu jelas. Tanpa adanya tujuan yang jelas dan terukur sangat sulit memiliki indikator yang jelas. Jika anda tidak terlalu yakin kemana mau pergi, bagaimana mungkin
menilai
apakah anda ada di sana. Jika tujuan program dan inidikator2 belum jelas terdefinisikan, maka ada cara sederhana puntuk membantu meletakkan ini pada posisi yang tepat sebelum evaluasi dimulai. Awalnya, peserta program butuh memantau secara hati-hati apa yang sebenarnya dilakukan dan mengapa. Mereka kemudian perlu menuliskan apa yang mereka lakukan dengan menggunakan petunjuk seperti ‘pelatihan’ manajemen, dan aktivitas/kerja lapang. Kemudian mereka mesti lebih dekat dalam melihat berbagai bagian dari program. Mereka dapat melakukan ini dengan menggunakan/menanyakan pertanyaan.
Menanyakan pertanyaan-pertanyaan dasar Contoh di bawah ini diadopsi dari konferensi nasional dari evaluasi partisipasi yang dilakukan di Philipina tahun 1984. Pesertanya dari 27 program pengembangan kesehatan dasar masyarakat yang disebut ‘social awareness building’ dimana masyarakat dari tingkatan komunitas menghadiri seminar-seminar orientasi. Pengalaman: Membangun kesadaran sosial Pertanyaan: 1. Berapa banyak peserta yang hadir pada seminar itu? 2. how many had been expected? 3. Apa latar belakang pendidikan dan pekerjaan para peserta? 4. Bagaimana tingkat kesadaran peserta pada awal seminar? 5. Apa isi seminar itu? 6. Bagaimana efektivitas metode training berbeda yang digunakan? 7. Berapa lama seminar itu berlangsung? 8. Berapa banyak peserta seminar yang telah mampu meningkatkan level kesadarannya pada akhir seminar?
25
Pertanyaan-pertanyaan dasar membuat indikator dan tujuan program menjadi semakin jelas.jawaban-jawaban yang ada menyediakan informasi-informasi yang berguna bagi pelaksanaan evaluasi.
Beberapa pertanyaan menjadi lebih sulit dijawab daripada
pertanyaan yang lain (cth, pertanyaan no. 4, 6, dan 8 yangberkaitan dengan kualitas kesadaran, pembelajaran dan keefektivitasan) Dengan menggunakan metode pertanyaan-jawaban peserta juga dapat mulai melihat perbedaan antara upaya evaluasi, efisiensi, dan efek atau dampaknya. Bagian pertama dan kedua seringkali telah dimonitor secara berkala oleh program. Ketiga, efek atau dampak merupakan hal yang paling penting dalam evaluasi. Setelah menentukan secara pasti apa yang dicari dalam evaluasi, langkah selanjutnya adalah menyelekasi metode terbaik dalam penerapan evaluasi. 2.8. Memilih Metode-metode Evaluasi yang tepat Terdapat banyak jenis metode evaluasi. Beberapa diantaranya untuk evaluasi Dampak program terhadap masyarakat, beberapa di antaranya membantu dalam mengevaluasi
organisasi dan struktur program. Dan lainnya melayani efek kegiatan
program. Masyarakat (metode yang umum digunakan) •
Ukuran secara fisik, seperti tinggi, berat, dan tes kesehatan, contohnya; pemeriksaan darah dan urin
•
Pertanyaan-pertanyaan verbal, pertanyaan dalam bentuk kuesioner, wawancara, test keterampilan dan pengetahuan, rekaman, pertemuan dan diskusi
•
Pertanyaan-pertanyaan tertulis, pertanyaan dalam kuesioner, tes pengetahuan, keterampilan dan sikap.
•
Analisa existing informasi, seperti rekaman, laporan, diari dan autobiografi
•
Obeservasi, foto, gambar, praktek dan prosedur
Struktur Program dan Organisasi seperti
halnya
metode
yang
digunakan
dalam
mengevaluasi,
kita
juga
dapat
menggunakan: •
Informasi Tertulis; seperti rekaman, laporan, anggaran, rencana, evaluasi kinerja sebelumnya, anggaran, perencanaan, ujian, ceklis, lamanya pertemuan
26
•
Daftar pertanyaan tertulis dan verbal; seperti kuesioner
•
Wawancara
•
Observasi
•
Diskusi dan alat perekam
•
Hasil kerja individu atau diari kerja
Aktivitas Program Banyak metode yang dapat digunakan dalam mengevaluasi dampak-dampak aktivitas program, seperti: •
Pengukuran-pengukuran; mengcover wilayah, jumlah penduduk atau perumahan, tingkat produksi, jumlah pendapatan, atau tingkat partisipasi dalam progra
•
Tes fisik
•
Pertanyaan verbal dan tertulis seperti kuesioner, wawancara, survey, pertemuan dan rekaman kaset
27
Modul 2 Topik: Melakukan Monev Partisipatif BKM/LKM
1. Peserta memahami bagaimana caranya melakukan monev partisipatif 2. Peserta mengkaji dan memahami penggunaan panduan memandu monev partisipatif BKM – LKM /KSM/UP
Kegiatan 1 : Permainan mengamati benda Kegiatan 2 : Diskusi berputar Kegiatan 3 : Diskusi kelompok memahami panduan memandu monev BKM – LKM /KSM/UP
6 Jpl ( 270 ’)
Bahan Bacaan – Bagaimana melakukan monev Bahan Bacaan – Panduan memandu monev partisipatif BKM/KSM/UP
• Kerta Plano, Kuda-kuda untuk Flip-chart • LCD • Metaplan, Spidol, selotip kertas dan jepitan besar • Papan Tulis dengan perlengkapannya • Benda-benda lain untuk mendukung game mengamati barang di baki
28
Permainan Mengamati Barang 1) Awali sesi ini dengan menyampaikan tujuan, yakni agar peserta memahami bagaimana caranya melakukan monev partisipatif. Sebelum peserta memasuki ruangan untuk memulai sesi ini, sebaiknya pemandu melakukan persiapan dengan mengumpulkan barang-barang sejumlah peserta (misalnya ballpen, penghapus papan tulis, buku, pensil, kertas, kartu metaplan, boneka kecil atau gantungan kunci, buah-buahan, rumput, dll) dan menyimpannya pada baki. Tutuplah baki tersebut dengan sehelai kain, agar peserta tidak bisa melihat isinya. Letakan baki tertutup tersebut pada sebuah meja yang diletakkan di tengah-tengah ruangan. 2) Jelaskan kepada peserta, bahwa selanjutnya peserta akan diajak melakukan permainan yang berkaitan dengan monev. Sampaikan bahwa pemandu akan membuka kain yang menutupi baki tersebut selama sepuluh detik, dan peserta dipersilakan mengamati isi baki secara cepat. Setelah itu pemandu akan menutup lagi baki tersebut. 3) Persilakan peserta untuk menuliskan barang-barang apa saja yang tadi terlihat, dan berapa jumlahnya. Ingatkan peserta agar bekerja sendiri-sendiri. Beri kesempatan pada peserta untuk menulis. Setelah selesai, persilakan salah satu peserta untuk menuliskan daftar yang dibuatnya pada papan tulis. 4) Persilakan peserta lain untuk menambahkan daftar tersebut berdasarkan catatannya. 5) Pastikan bahwa semua peserta telah melengkapi daftar tersebut. Perhatikan apakah daftar tersebut cukup lengkap atau tidak. Tanyakan hal-hal sebagai berikut: • Dari sejumlah barang (sebutkan jumlah yang anda simpan di baki) berapa yang berhasil didaftar (berapa %)? • Apakah hasil pengamatan setiap orang sama? Mengapa? 6) Setelah beberapa pendapat peserta, simpulkan bahwa: Pengamatan setiap orang berbeda karena hal yang dianggap penting oleh setiap orang berbeda. Oleh karena itu, bisa dibayangkan tidak fokusnya hasil pengamatan, jika dilakukan oleh suatu kelompok/tim. Oleh karena itu dalam sebuah monev partisipatif, hal yang terlebih dahulu harus dilakukan adalah adanya kesepakatan bersama tentang hal yang harus diamati dan dievaluasi. Bisa dibayangkan juga jika monev dilakukan hanya oleh salah satu pihak, misalnya oleh beberapa orang ahli, terhadap suatu proyek yang dilakukan masyarakat. Hasilnya akan cenderung berdasarkan apa yang dianggap penting bagi orang tersebut, bukan bagi masyarakat. Dengan monev partisipatif, diharapkan terjadi persamaan pandangan mengenai hal-hal penting yang harus diamati perkembangannya.
29
Diskusi Kelompok-Berputar : Bagaimana Melakukan Monev 1) Pemandu menjelaskan bahwa dalam sessi ini peserta akan diminta melakukan curah pendapat tentang bagaimana melakukan monev. 2) Persilakan peserta untuk membentuk empat kelompok. Kemudian persilakan masing-masing kelompok untuk berdiskusi tentang topik-topik berikut ini, dan menuliskannya pada kertas plano: Kelompok 1 2 3 4
Topik Diskusi Apa yang harus di-monev dalam PNPMMP? Indikator yang digunakan dalam PNPMMP Siapa yang mengendalikan monev? Siapa yang melakukan monev? Siapa yang perlu dilibatkan dalam monev? Apa peranan masing-masing? Kapan dan dimana monev dilakukan?
3) Setelah beberapa menit, mintalah setiap kelompok untuk berhenti berdiskusi. Persilakan semua kelompok meninggalkan hasil diskusinya di tempat masing-masing, sedangkan mereka bergeser ke tempat diskusi kelompok di sebelahnya (kel. 1 pindah ke tempat diskusi kel. 2, kel. 2 pindah ke kel. 3, dst.) Kemudian persilakan setiap kelompok melanjutkan/mengoreksi hasil diskusi kelompok tersebut. Ulangi proses tersebut hingga seluruh kelompok selesai membahas keempat topik diskusi. 4) Persilakan masing-masing kelompok untuk mempresentasikan hasil diskusinya yang telah dilengkapi oleh kelompok lain. Persilakan peserta dari kelompok lain untuk mengkonfirmasi halhal yang belum jelas. 5) Tambahkan penjelasan berdasarkan bahan bacaan. 6) Tutup diskusi dengan menyampaikan kesimpulan-kesimpulan penting mengenai bagaimana melakukan monev.
Diskusi Memahami Panduan Memandu Monev BKM – LKM /KSM 1) Sampaikan bahwa setelah cukup jelas mengenai bagaimana cara melakukan monev partisipatif, peserta akan diajak untuk mempelajari pedoman monev partisipatif PNPMMP, untuk BKM – LKM /KSM. Tujuannya agar peserta terampil menggunakan panduan monev tersebut. 2) Mintalah peserta untuk tetap berkelompok. Kemudian bagikan panduan memandu monev partisipatif untuk BKM – LKM /KSM/UP kepada setiap peserta. Persilakan peserta berdiskusi kelompok tentang:
30
1. Cukup mudahkah proses ini untuk dilakukan bersama masyarakat? Mengapa? 2. Bagian mana saja yang paling sulit untuk dilakukan? Mengapa? 3. Menurut pengalaman, apa yang menjadi hambatan utama dalam menerapkan monev semacam ini? 4. Kaji panduan ini, apakah sudah cukup memposisikan masyarakat secara setara? Apakah cukup mendorong tumbuhnya demokrasi? Apakah sudah cukup pro-gender? Mengapa? 5. Apa saran kelompok anda untuk memperbaiki panduan ini? 3) Setelah kelompok selesai berdiskusi dan menuliskan kesepakatan kelompoknya pada kertas plano, persilakan perwakilan kelompok untuk menyampaikannya pada diskusi pleno (kelompok 1 menjawab nomer 1 dan 5, kelompok 2: nomer 2 dan 5, kelompok 3 menjawab nomer 3 dan 5, dan kelompok 4 menjawab nomer 4 dan 5). Beri kesempatan kepada kelompok-kelompok lain untuk menanggapi. 4) Catatlah point-point penting dari proses diskusi pleno, sebagai hasil diskusi kelompok. Kemudian simpulkan hasil diskusi dan tutup sesi ini dengan me,berikan penghargaan atas partisipasi aktif semua peserta.
31
Bagaimana Melakukan Monev? Sebagaimana dengan sebuah rencana kerja, rencana monev pun harus mudah dipahami oleh orang yang berkepentingan. Karenanya, rencana monev perlu dengan lengkap menjelaskan: a) siapa yang akan me-monev; b) apa yang dimonev; c) bagaimana cara memonev; d) kapan monev dilakukan; dan e) dimana monev dilakukan. Pertanyaan-pertanyaan berikut dapat kita pegang untuk menyusun rencana monev. 1. Apa yang perlu di monev? 2. Tolok ukur (indikator) apa yang dipakai? 3. Siapa yang mengendalikan dan mengkoordinasi proses monev? 4. Siapa yang perlu dilibatkan dalam monev? Apa perannya? 5. Kapan dan dimana masing-masing langkah monev akan dilaksanakan? 6. Bagaimana monev akan dilakukan (pilihan bentuk, cara dan alat)? 7. Bagaimana kita akan mengemas hasil monev? 8. Kepada siapa kita akan membagikan hasil monev? 1. Apa yang dimonev? Hal-hal yang akan dimonev sangat tergantung tujuan monev itu sendiri.
32
;
Perencanaan, apakah perencanaan program telah dilakukan bersama-sama (mengundang banyak pihak yang akan dilibatkan dalam program)?
;
Kegiatan, apakah kegiatan yang direncanakan telah terlaksana dengan baik (tepat waktu, sesuai anggaran, partisipasi semua pihak, dll)
;
Penggunaan sumber daya, apakah penggunaan sumber daya sudah cukup baik? (tidak boros, tidak berlebihan)?
;
Pelaku kegiatan, apakah masing-masing penanggung jawab kegiatan sudah berperan sesuai kesepakatan? Apakah kita telah melibatkan pihak-pihak terkait (masyarakat lain, LSM, pemerintah, donor, dll) sesuai kesepakatan?
; ;
Hasil, apakah hasil yang diharapkan telah tercapai atau belum?
;
Nilai-nilai, apakah nilai-nilai yang telah disepakati masih ditaati oleh semua pihak?
Tujuan dan manfaat, apakah tujuan program sudah tercapai? Apakah masyarakat bisa merasakan manfaat dari program?
2. Indikator yang digunakan Indikator digunakan untuk memudahkan dalam menilai keberhasilan, kegagalan atau kondisi suatu program. Indikator yang biasa dipakai untuk mengevaluasi sebuah program:
; ; ;
Ketersediaan sarana untuk mencapai tujuan yang diinginkan
; ;
Apakah sarana yang disediakan benar-benar digunakan untuk tujuan semula
;
Bagaimana mutu pekerjaan dan sarana yang dihasilkan program (kualitas hidup, kualitas tanaman yang ditanam)
;
Berapa banyak sumber daya (tenaga, barang, dana) yang sudah digunakan (diinvestasikan) untuk mencapai tujuan
;
Apakah sumber daya dan kegiatan yang dilakukan benar-benar dimanfaatkan secara maksimal
;
Apakah kegiatan yang dilakukan benar-benar memberikan masukan terhadap perubahan yang diinginkan
Apakah hasil proyek sesuai dengan tujuan yang ingin dicapai Apakah sarana atau kegiatan yang dibuat benar-benar dapat dicapai atau dimanfaatkan oleh orang-orang yang benar-benar membutuhkannya
Berapa persen jumlah atau luas sasaran sebenarnya yang dapat dijangkau oleh program
3. Siapa yang melakukan monev Sebelum menjawab pertanyaan siapa yang melakukan monev, maka kita perlu membedakan dua pertanyaan berikut: a. Siapa yang mengendalikan dan mengkoordinasikan proses monev? b. Siapa yang perlu dilibatkan dalam monev? Perannya apa? Seperti dalam permainan sepakbola, pertanyaan pertama adalah sama dengan siapa yang menjadi kapten. Pertanyaan kedua adalah sama dengan siapa yang menjadi pengatur serangan, penjaga gawang, penyerang, dsb. Jika monev dibuat dengan tujuan sebagai media untuk belajar dari pengalaman, maka pada prinsipnya semakin banyak pihak yang melakukan monev, semakin baik. Namun demikian pihak yang paling merasakan dampak program lah yang harus menjadi pengendali proses monev, dan mereka berhak menentukan siapa saja yang perlu dilibatkan. 4. Kapan dan dimana dilakukan? Pada prinsipnya monev dilakukan kapan saja, dan menjadi bagian tidak terpisahkan seiring dengan berjalannya kegiatan atau program. Namun demikian, seringkali 33
kegiatan monev menjadi terlupakan karena tidak ditetapkan waktunya. Guna menetapkan waktu yang paling cocok, pertimbangkan saat strategis sesuai program kerja. Pilihannya adalah:
; ; ; ;
Awal, pertengahan dan akhir program Terus menerus, perbulan, perkuartal, pertahunan Beberapa bulan setelah program atau proyek selesai Mengikuti alur kegiatan yang disepakati bersama
Penentuan tempat monev, tergantung apa yang dimonev dan cara yang dipilih. Secara umum:
;
Untuk pengamatan secara langsung, monev perlu dilakukan di tempat pelaksanaan kegiatan
;
Untuk diskusi dan pelaporan sebaiknya dilakukan di tempat yang nyaman dan gampang dijangkau oleh semua pihak yang perlu terlibat.
Sumber: Monitoring & Evaluasi: Sebagai Media Belajar, DFID, 2001
34
Panduan Memandu Monev Partisipatif Kegiatan BKM – LKM /KSM/UP • • • •
• • • Peserta
Mengidentifikasi dan menganalisis siapa saja yang berpartisipasi dalam kegiatan, khususnya partisipasi masyarakat miskin dan kaum perempuan. Mengidentifikasi dan menganalisis siapa saja yang mengambil keputusan dalam kegiatan. Mengidentifikasi dan menganalisis penerima manfaat kegiatan. Mendiskusikan cara untuk meningkatkan partisipasi, pengambilan keputusan dan kepuasaan masyarakat miskin dan kaum perempuan. Kertas plano, selotip kertas Spidol warna-warni Kertas metaplan warna warni
Pertemuan warga ini diadakan setelah satu kegiatan selesai. Pertemuan kecil ini dihadiri oleh pihak-pihak yang ikut dalam kegiatan, terutama perempuan miskin, laki-laki miskin, dan pengelola kegiatan (panitia). Relawan dapat menjadi pemandu monev partisipatif ini. IDENTIFIKASI & ANALISIS PARTISIPASI 1. Sampaikan tujuan kita melakukan monev partisipatif kegiatan. Pastikan warga yang hadir memahami kegunaan pertemuan ini. 2. Buatlah daftar rangkaian sub-kegiatan yang telah dilakukan dalam pelaksanaan kegiatan, termasuk misalnya rapatrapat, mencetak undangan, menyebarkan undangan, menyediakan konsumsi, mempersiapkan tempat kegiatan, dsb. 3. Salinlah contoh matriks Siapa berpartisipasi dalam kegiatan ke dalam kertas plano. Pastikan peserta memahami kelompok orang yang berpartisipasi dalam kegiatan.
35
Daftar SubKegiatan
Siapa Berpartisipasi dalam Kegiatan? 1 2 3 4 5
6
1. 2. 3. Keterangan: Kelompok 1 : Kelompok 2 : Kelompok 3 : Kelompok 4 : Kelompok 5 : Kelompok 6 : Kelompok 7 :
Pihak luar desa/kelurahan (faskel, proyek, dll). Aparat pemerintahan (kades, lurah, dsb) Tokoh masyarakat laki-laki Tokoh masyarakat perempuan Warga miskin laki-laki Warga miskin perempuan. dan lain-lain.
4. Persilahkan setiap orang untuk memberi suara (gunakan tanda X atau lingkaran) pada kelompok yang mereka pikir terlibat dalam masing-masing sub-kegiatan. 5. Setelah semua memberikan suara, diskusikan bersama kelompok mana yang paling banyak berpartisipasi (terlibat kegiatan) dan mengapa. Hal ini penting untuk memahami mengapa kelompok tertentu dominan atau absen melakukan sub-kegiatan tertentu. Misalnya, perempuan hanya berperan sebagai penyedia makanan-minuman. 6. Cermati bersama, apakah warga miskin dan perempuan banyak terlibat dalam kegiatan. Keterlibatan ini penting karena pada dasarnya kegiatan yang dilakukan terutama ditujukan untuk memberdayakan warga miskin dan perempuan. 7. Diskusikan apakah situasi ini perlu dirubah dan bila perlu, bagaimana melakukannya. IDENTIFIKASI & ANALISIS PENGAMBILAN KEPUTUSAN 8. Buatlah daftar seluruh keputusan yang telah diambil dalam pelaksanaan kegiatan, termasuk misalnya penentuan jenis kegiatan, waktu atau lokasi, pembentukan panitia, penentuan penerima manfaat, dsb.
36
9. Salinlah contoh matriks Pengambil Keputusan ke dalam kertas plano. Pastikan peserta memahami kelompok orang pengambil keputusan. Daftar Keputusan 1. 2. 3. Keterangan: Kelompok 1 : Kelompok 2 : Kelompok 3 : Kelompok 4 : Kelompok 5 : Kelompok 6 : Kelompok 7 :
1
Pengambil Keputusan? 2 3 4 5
6
Pihak luar desa/kelurahan (faskel, proyek, dll). Aparat pemerintahan (kades, lurah, dsb) Tokoh masyarakat laki-laki Tokoh masyarakat perempuan Warga miskin laki-laki Warga miskin perempuan. dan lain-lain
10. Persilahkan setiap orang untuk memberi suara (gunakan tanda X atau lingkaran) pada kelompok yang mereka pikir pengambil keputusan untuk masing-masing keputusan. 11. Setelah semua memberikan suara, diskusikan bersama peserta kelompok mana saja yang paling banyak berperan dalam pengambilan keputusan. Sangat penting untuk memahami mengapa kelompok tertentu (seperti warga miskin dan perempuan) tidak berperan dalam pengambilan keputusan.
Tak jarang kita menemukan bahwa keputusan sebenarnya ditentukan oleh pihak luar. Kondisi ini menunjukkan masyarakat, terutama miskin, belum memiliki kesempatan untuk memutuskan hal-hal yang berkaitan dengan dirinya.
12. Diskusikan apa yang dapat dilakukan sehingga warga miskin dan perempuan dapat lebih berperan dalam pengambilan keputusan. IDENTIFIKASI & ANALISIS PENERIMA MANFAAT 13. Buatlah daftar manfaat apa saja yang diperoleh dalam pelaksanaan kegiatan, baik berupa barang/fisik maupun non-fisik seperti peningkatan pengetahuan, dsb.
37
14. Salinlah contoh matriks Penerima Manfaat ke dalam kertas plano. Pastikan peserta memahami kelompok orang penerima manfaat. Jenis Manfaat
1
Penerima Manfaat? 2 3 4 5
6
1. 2. 3. Keterangan: Kelompok 1 : Kelompok 2 : Kelompok 3 : Kelompok 4 : Kelompok 5 : Kelompok 6 : Kelompok 7 :
Pihak luar desa/kelurahan (faskel, proyek, dll). Aparat pemerintahan (kades, lurah, dsb) Tokoh masyarakat laki-laki Tokoh masyarakat perempuan Warga miskin laki-laki Warga miskin perempuan. dan lain-lain
15. Persilahkan setiap orang untuk memberi suara (gunakan tanda X atau lingkaran) pada kelompok yang mereka pikir penerima manfaat pada masing-masing jenis manfaat. 16. Setelah semua memberikan suara, diskusikan bersama peserta siapa saja yang sebenarnya mengambil manfaat paling banyak dari pelaksanaan kegiatan. Cermati seberapa banyak warga miskin dan perempuan menerima manfaat dari kegiatan. 17. Diskusikan apa yang dapat dilakukan sehingga warga miskin dan perempuan benar-benar menerima manfaat dari pelaksanaan kegiatan. USULAN DARI MASYARAKAT - tindakan yang bisa dilakukan untuk meningkatkan partisipasi warga miskin, untuk menjamin kepuasan kelompok sasaran, untuk meningkatkan pembelajaran di masyarakat, dan keberlanjutan Menurut Perempuan Menurut Laki-laki
(Panduan ini diadaptasi dari Organisational Development Snapshot Tool, ACCESS, 2007,
dikembangkan untuk membangun kultur monev partisipatif di masyarakat melalui program PNPM Mandiri Perkotaan).
38
Perkotaan
DEPARTEMEN PEKERJAAN UMUM Direktorat Jenderal Cipta Karya
