Kuliah 3-4 KONSEP DAN PRINSIP DASAR MONITORING DAN EVALUASI
5/1/2017
Marlan Hutahaean
1
Pendahuluan
5/1/2017
Marlan Hutahaean
2
Pendahuluan
5/1/2017
Marlan Hutahaean
3
Pendahuluan POLICY PROBLEMS
PROBLEM STRUCTURING
POLICY FORMULATION
EXPECTED OUTCOMES
FORECASTING
POLICY ADOPTION
PREFERRED POLICIES
AGENDA SETTING
POLICY IMPLEMENTATION
POLICY APPRAISAL 5/1/2017
RECOMMENDATION
OBSERVED POLICY OUTCOMES
MONITORING
POLICY PERFORMANCE
EVALUATION
Marlan Hutahaean
4
Pendahuluan : Kajian Implementasi vs Evaluasi Objek
Tindakan Kajian
Implementasi
Proses/Perilaku Outputs Outcomes Hubungan Sebab Akibat
Deskripsi Eksplanasi Menguji dan Membangun Teori Pertimbangan Analitis
Evaluasi
Tautan Outcomes dengan Nilai/Manfaat
Pertimbangan Nilai
Sumber : Michael Hill dan Peter Hupe, 2002 : 12. 5/1/2017
Marlan Hutahaean
5
Definisi Monev (OECD,2002) Monitoring is a continuous function that uses the systematic collection of data on specified indicators to provide management and the main stakeholders of an ongoing development intervention with indications of the extent of progress and achievement of objectives and progress in the use of allocated funds (p. 27). Evaluation is the systematic and objective assessment of an ongoing or completed project, program, or policy, including its design, implementation, and results. The aim is to determine the relevance and fulfillment of objectives, development efficiency, effectiveness, impact, and sustainability. An evaluation should provide information that is credible and useful, enabling the incorporation of lessons learned into the decisionmaking process of both recipients and donors (p. 21).
5/1/2017
Marlan Hutahaean
6
Monitoring Kegiatan monitoring diperlukan untuk : mencatat perkembangan program atau kegiatan, memantau proses dan kemajuan pelaksanaan program/kegiatan secara terus-menerus, mengidentifikasi masalah dan penyimpangan yang muncul, merumuskan pemecahan masalah, dan membuat laporan kemajuan secara rutin dalam kurun waktu yang pendek. 5/1/2017
Marlan Hutahaean
7
Evaluasi Suatu proses sistematis dalam mengumpulkan, menganalisis, dan menginterpretasikan informasi untuk mengetahui tingkat keberhasilan pelaksanaan program dengan kriteria tertentu untuk keperluan pembuatan keputusan. Dengan kata lain, kegiatan evaluasi dilakukan untuk mengkaji relevansi, efisiensi, efektivitas dan dampak suatu kebijakan atau program atau kegiatan sesuai dengan tujuan yang ingin dicapai. 5/1/2017
Marlan Hutahaean
8
Peran Komplementer Monitoring dan Evaluasi Monitoring: aksi kebijakan ke hasil kebijakan (factual judgement) Evaluasi : hasil kebijakan ke kinerja kebijakan (value judgement). Fokusnya pada ketepatan suatu kebijakan untuk memecahkan masalah tertentu. Aksi Kebijakan
Evaluasi
Monitoring 5/1/2017
Kinerja Kebijakan
Hasil Kebijakan
Marlan Hutahaean
9
Peran Komplementer Monitoring dan Evaluasi Monitoring
Evaluasi
Clarifies program objectives Links activities and their resources to objective Translates objectives into performance indicators an sets targets Routinely collect data on these indicators, compares actual results with targets Reports progress to managers and alerts them to problems
Analyzes why intended results were or were achieved Assesses specific causal contributions of activities to results Examines implementation process Explore unintended results Provides lessons, high-lights significant accomplishment or program potential, and offers recommendation for improvement
Source : Kusek J.Z and Rist R.C., 2004 : 14. 5/1/2017
Marlan Hutahaean
10
Tujuan Monitoring dan Evaluasi 1. Compliance (Kepatuhan). Apakah tindakan administrator, pelaksana dan stakeholders sesuai dengan petunjuk pelaksanaan ? Misalnya, The Environmental Protection Agency’s Continous Air Monitoring Program (CAMP) menghasilkan informasi tentang tingkat polusi dan menentukan apakah industry mematuhi strandar kualitas udara? 2. Auditing (Pemeriksaan). Apakah sumberdaya dan pelayanan benar-benar dinikmati oleh kelompok sasaran dan pemanfaat yang telah ditentukan ? Misalnya dengan memantau anggaran yang digunakan terhadap pembuatan kebijakan/program apakah memberikan manfaat bagi kelompok sasaran? 3. Accounting (Akuntansi). Memperhitungkan perubahan sosial ekonomi yang diakibatkan oleh pelaksana kebijakan dan program pemerintah. Misalnya apakah terjadi perubahan kualitas hidup? 4. Explanation (Eksplanasi). Mengapa hasil dan dampak kebijakan pemerintah bisa berbeda-beda ? Komponen kebijakan mana yang bekerja paling efektif ? Bagaimana bekerjanya ? Mengapa ? Sumber: William N. Dunn, 2004 5/1/2017
Marlan Hutahaean
11
Prinsip-Prinsip Monitoring dan Evaluasi Pelaksanaan monitoring dan evaluasi kebijakan/program/kegiatan perlu didasarkan pada kejujuran, motivasi dan keinginan yang kuat dari para pelaku. Prinsip-prinsip dalam pelaksanaan monitoring dan evaluasi sebagai berikut : 5/1/2017
Marlan Hutahaean
12
Prinsip-Prinsip Monitoring dan Evaluasi Objektif dan Profesional; Transparan; Partisipatif; Akuntabel dan Tepat Waktu; Berkesinambungan; dan Berbasis Indikator Kinerja. 5/1/2017
Marlan Hutahaean
13
Objektif dan Profesional Pelaksanaan monitoring dan evaluasi dilakukan secara profesional berdasarkan analisis data yang lengkap dan akurat agar menghasilkan penilaian secara obyektif dan masukan yang tepat terhadap pelaksanaan kebijakan. Objektif dan profesional berarti : Akurat dalam mengidentifikasi informasi Tepat dalam menyimpulkan perolehan informasi/data Akurat dalam melakukan intervensi. Untuk itu proses monev harus ditopang dengan manajemen, strategi, dan instrumentasi yang baik.
5/1/2017
Marlan Hutahaean
14
Transparan Pelaksanaan monitoring dan evaluasi dilakukan secara terbuka dan dilaporkan secara luas melalui berbagai media yang ada agar masyarakat dapat mengakses dengan mudah Tentang informasi dan hasil kegiatan monitoring dan evaluasi. Pertanyaan2 yang diajukan: Adakah media informasi dan komunikasi; Apakah informasi yang diberikan kepada masyarakat sesuai dengan perkembangan program (selalu diperbaharui); Adakah musyawarah dilakukan dan sosialisasi hasil kegiatan disampaikan Keterbukaan dalam penyusunan anggaran; dan Keterbukaan dalam pelaporan keuangan. 5/1/2017
Marlan Hutahaean
15
Partisipatif Pelaksanaan kegiatan montoring dan evaluasi dilakukan dengan melibatkan secara aktif dan interaktif para pelaku. Aspek2-aspek yang diperhatikan: Masyarakat yang hadir dan ikut berbicara dalam pertemuan Masyarakat yang terlibat dalam perencanaan, pelaksanaan, pemeliharaan Masyarakat yang peduli dengan masalah yang muncul Masyarakat yang terlibat dalam mengatasi permasalahan Masyarakat yang meminjamkan memberikan sumbangan material, sumber dana, sumberdaya, peralatan. 5/1/2017
Marlan Hutahaean
16
Akuntabel dan Tepat Waktu Akuntabel • Pelaksanaan monitoring dan evaluasi harus dapat dipertanggungjawabkan secara internal maupun eksternal. Tepat waktu • Pelaksanaan monitoring dan evaluasi harus dilakukan sesuai dengan waktu yang dijadwalkan. 5/1/2017
Marlan Hutahaean
17
Berkesinambungan dan Berbasis Indikator Kinerja Berkesinambungan Pelaksanaan monitoring dan evaluasi dilakukan secara berkesinambungan agar dapat dimanfaatkan sebagai umpan balik bagi penyempurnaan kebijakan. Berbasis indikator kinerja. Pelaksanaan monitoring dan evaluasi dilakukan berdasarkan kriteria atau indikator kinerja, baik indikator masukan, proses, luaran, manfaat maupun dampak. 5/1/2017
Marlan Hutahaean
18
Keberhasilan Monitoring dan Evaluasi Empat (4) Pertimbangan Utama : Memilih evaluator yang terspesialisasi, yang berada di luar pemerintah atau lembaga pelaksana. Ini pada umumnya lebih baik untuk menjamin objektivitas dan independensi. Metode kuantifikasi untuk memperkirakan dampak program. Metode kualitatif dapat memperkaya informasi dan membuat analisa menjadi lebih mendalam. Metode ini memberikan pengertian yang mendalam dari proses program, kondisi eksternal, serta perilaku individu. Ketersedian dan kualitas data adalah faktor terpenting yang mempengaruhi kualitas dari analisa. Sering kali, survei baru harus dilakukan untuk mendapatkan informasi yang memadai dari program, termasuk survei awal dan survei lanjutan. 5/1/2017
Marlan Hutahaean
19
Syarat Monev yang Menghasilkan Manfaat 1. Tujuan yang jelas. Pertanyaan evaluasi harus dapat ditentukan lebih awal, secara sederhana dan mudah diukur. 2. Evaluator yang kredibel. Evaluator harus berada diluar pemerintah atau lembaga yang programnya akan dievaluasi. 3. Metodologi yang tepat. Estimasi eksperimental adalah yang paling ideal tapi kelompok pembanding yang dipilih secara tepat dapat dijadikan alternatif. Sumber: Blomquist (2003), Ezemanari et al . (1999). 5/1/2017
Marlan Hutahaean
20
Syarat Monev yang Menghasilkan Manfaat 4. Jumlah sampel yang sesuai. Jumlah sampel harus cukup besar untuk mendeteksi dampak program. Sebagai tambahan, jumlah itu harus memungkinkan dibuatnya penilaian dampak program terhadap sub-kelompok dari target populasi. Efek deteksi yang minimum harus ditentukan sebelum pelaksanaan evaluasi. 5. Data Pembanding. Harus menetapkan kelompok pembanding yang tepat dan untuk mengendalikan seleksi kriteria program yang dapat diamati. 6. Tindak lanjut yang mencukupi. Menindaklanjuti data sebaiknya dilakukan setelah beberapa waktu, agar dapat mendeteksi dampak dan dapat mengukur besaran relevan yang mungkin muncul. 7. Komponen-komponen evaluasi berulang. Evaluasi dampak sebaiknya tidak hanya sekedar mendeteksi dampak program, harus juga dapat meneliti proses program penjelasan temuan yang ada, dan efektif dari segi biaya. Sumber: Blomquist (2003), Ezemanari et al . (1999). 5/1/2017
Marlan Hutahaean
21
