REPUBLIK INDONESIA
PRAKTIK PELAKSANAAN EVALUASI DI BEBERAPA NEGARA: SEBUAH TINJAUAN LITERATUR
Kedeputian Evaluasi Kinerja Pembangunan Kementerian Perencanaan Pembangunan Nasional/BAPPENAS 2010
KATA PENGANTAR
Terbentuknya Direktorat Evaluasi Kinerja Pembangunan Sektoral (EKPS) sebagai salah satu Direktorat dilingkungan Deputi Evaluasi Kinerja Pembangunan di Kemenneg PPN/Bappenas pada penghujung tahun 2007 lalu setidaknya menyiratkan satu hal, yakni bahwa secara kelembagaan Bappenas memiliki komitmen yang makin kuat terhadap evaluasi sebagai satu mata rantai penting dalam proses perencanaan pembangunan nasional. Evaluasi di Bappenas boleh dikatakan merupakan barang yang “lama namun baru”. Barang lama, karena pada lingkup yang lebih mikro kedeputian/direktorat teknis, to some extent, sejatinya evaluasi telah dilakukan, meski masih bersifat sepotongsepotong dari kacamata sektor masing-masing. Barang baru, karena praktik evaluasi kebijakan oleh sebuah unit kerja mandiri yang diserahi tanggung jawab khusus untuk itu memang baru ada setelah direktorat ini terbentuk. Dengan pembentukan Direktorat EKPS ini, evaluasi diharapkan dapat dijalankan dalam karakter yang lebih “memandang dari luar” dan dalam konteks yang lebih holistik dan bersifat lintas sektor. Konsekuensinya, Bappenas perlu secara institusi memiliki strategi evaluasi pencapaian outcome/impact terhadap program-program dan kebijakan pembangunan yang lebih canggih dan profesional. Beberapa tahun terakhir, upaya ke arah evaluasi yang baik memang telah dilakukan oleh Kedeputian/Direkorat Sektor terkait, misalnya melalui berbagai prakarsa strategis. Namun demikian, hal tersebut perlu terus di kembangkan ke arah yang lebih bersifat institusional.
ii
Sebagai unit kerja baru, dengan tugas dan fungsi yang baru pula, tantangan yang harus segera dihadapi Direktorat EKPS adalah bahwa belum ada model yang ideal mengenai bagaimana evaluasi kebijakan semestinya dijalankan. Evaluasi yang telah cukup sering dilakukan baru terbatas pada evaluasi kegiatan/proyek yang sifatnya berbeda dengan evaluasi kebijakan. Dalam kerangka inilah Direktorat EKPS memulai satu langkah kecil berupa studi pustaka mengenai praktik evaluasi outcome/impact di berbagai negara. Fokus dari studi literatur ini terletak pada metodologi apa saja yang bisa dipilih untuk program/kebijakan pada sektor yang beragam. Hadirnya tinjauan literatur ini diharapkan dapat berkontribusi dalam membangun technical know how, terutama mengenai bagaimana melakukan evaluasi outcome dan impact dari program atau kebijakan dari perencanaan pembangunan di Indonesia. Harapan kami tinjuan literatur ini bermanfaat bagi upaya membangun kapasitas evaluasi, tidak saja bagi lingkungan Deputi Evaluasi Kinerja Pembangunan, namun juga bagi lingkungan yang lebih luas, terutama unit-unit kerja terkait di Kementerian PPN/Bappenas.
Jakarta, Maret 2010 Plt. Deputi Bidang Evaluasi Kinerja Pembangunan
Dr. Ir. Dedi M. Masykur Riyadi
iii
PRAKTIK PELAKSANAAN EVALUASI DI BEBERAPA NEGARA: SEBUAH TINJAUAN LITERATUR
Dalam manajemen perencanaan pembangunan, evaluasi adalah satu mata rantai penting yang tidak kalah penting dari perencanaan itu sendiri. Paling tidak, kegiatan evaluasi dapat menjadi semacam jembatan antara satu perencanaan dengan perencanaan periode berikutnya. Evaluasi menjadi strategis kedudukannya, karena dari kegiatan evaluasi tersebut dapat1: (i)
diketahui keberhasilan atau kegagalan sebuah program/kegiatan;
(ii)
diidentifikasi di mana dan bagaimana dilakukan perubahan-perubahan;
perlu
(iii) diketahui bagaimana kekuatan dan potensi dapat ditingkatkan; (iv) diperoleh informasi untuk membuat perencanaan dan pengambilan keputusan tahap selanjutnya; dan (v)
membantu untuk dapat melihat konteks dengan lebih luas serta implikasinya terhadap kinerja pembangunan.
Tujuan evaluasi pada umumnya adalah untuk mendapatkan informasi dan menarik pelajaran dari pengalaman mengelola kegiatan/program pembangunan (input-proses-output) yang baru sebagian dijalankan atau sudah selesai dilaksanakan sebagai umpan balik bagi pengambilan keputusan dalam rangka perencanaan
1
Lebih lengkap, dapat dilihat di http://www.bcwbanten.co.cc/2007/11/evaluasi-dan-monitoring.html 1
pelaksanaan pemantauan pengendalian dan kajian ulang (review). Sementara itu, dalam penjelasan PP No.39/2006 tentang Tata Cara Pengendalian dan Evaluasi Pelaksanaan Rencana Pembangunan, dijelaskan bahwa maksud dari dilakukannya evaluasi adalah untuk: “... dapat mengetahui dengan pasti apakah pencapaian hasil, kemajuan dan kendala yang dijumpai dalam pelaksanaan rencana pembangunan dapat dinilai dan dipelajari untuk perbaikan pelaksanaan rencana pembangunan di masa yang akan datang. Fokus utama evaluasi diarahkan kepada keluaran (Outputs), hasil (Outcomes), dan dampak (Impacts) dari pelaksanaan rencana pembangunan. Oleh karena itu, dalam perencanaan yang transparan dan akuntabel, harus disertai dengan penyusunan indikator kinerja pelaksanaan rencana, yang sekurangkurangnya meliputi; (i) Indikator masukan, (ii) Indikator keluaran, dan (iii) Indikator hasil/manfaat”.
Meski secara legal formal telah ditetapkan PP No. 39/2006 sebagaimana disebutkan di atas, namun sejauh ini kita belum memiliki sebuah sistem evaluasi, terutama evaluasi outcome/impact atas pelaksanaan rencana, yang kredibel. Evaluasi pelaksanaan rencana adalah bagian dari evaluasi kebijakan, bukan evaluasi proyek/kegiatan. Evaluasi kegiatan/proyek sudah sering kita lakukan dan hasilnya kadang-kadang kita anggap sebagai hasil evaluasi kebijakan. Padahal, evaluasi kebijakan dengan evaluasi proyek/kegiatan adalah dua hal yang berbeda. Evaluasi pelaksanaan rencana murni menilai: Apakah kebijakan-kebijakan yang tersurat dalam dokumen Rencana Pembangunan, dalam hal ini RPJMN, sudah dilaksanakan atau belum?; Jika belum dilaksanakan, mengapa?; Jika sudah dilaksanakan, hasilnya bagaimana?; Apakah hasilnya sudah sesuai dengan target?; dan seterusnya. Ini belum pernah dilakukan. Kegiatan evaluasi yang sering dilakukan oleh Kementerian/Lembaga dan Direktorat Teknis di Bappenas adalah evaluasi proyek/kegiatan. Evaluasi pelaksanaan 2
rencana yang telah dilakukan oleh beberapa Kedeputian/Direktorat di Bappenas dalam beberapa tahun terakhir perlu lebih disinergikan, tidak dalam lingkup mikro sektor persektor. Sehingga pada akhirnya evaluasi pelaksanaan rencana tersebut berada pada lingkup lebih makro, institusional Kemenneg PPN/Bappenas. Salah satu fungsi Direktorat EKPS, sebagaimana diamanatkan oleh Keputusan Menneg PPN/Kepala Bappenas Nomor 5 Tahun 2007 tentang Organisasi dan Tata Kerja Kemenneg PPN/Bappenas adalah melakukan pemantauan, evaluasi, dan penilaian pelaksanaan program, lintas program, prioritas RKP serta RPJMN. Guna menjalankan tugas pokok dan fungsinya sebagaimana disebutkan di atas, Direktorat EKPS perlu memiliki pemahaman yang cukup mengenai bagaimana evaluasi outcome/impact seharusnya dijalankan. Sebagai langkah awal, dilakukanlah penghimpunan referensi antara lain seperti apa praktik evaluasi outcome/impact di beberapa negara lain. Paling tidak, penghimpunan referensi ini bermanfaat untuk memperoleh gambaran mengenai apa saja yang bisa dievaluasi dengan evaluasi outcome/impact, bagaimana evaluasi outcome/impact dilakukan, dan metodologi apa saja yang bisa digunakan untuk menjalankan evaluasi outcome/impact. Lebih jauh, diperlukan juga pemahaman mengenai berbagai praktik evaluasi outcome/impact untuk sektorsektor yang berbeda. Matriks sebagaimana disajikan berikut ini merupakan rangkuman dari praktik dan metodologi evaluasi outcome/impact yang dilaksanakan terhadap Program/Kebijakan pada berbagai sektor dengan menggunakan metodologi yang juga beragam, di negaranegara: Amerika Serikat, Papua New Guinea, Iran, Kerajaan Vermont Bagian Timur, Uganda, Australia, Filipina, Yaman, Swedia, Hungaria, Meksiko, Brazil, dan Selandia Baru. 3
Secara singkat, matriks di bawah ini menjelaskan evaluasi outcome/impact di berbagai bidang yang dilakukan oleh beberapa negara, dan dikelompokkan berdasarkan tiga bidang besar yakni: (i) Politik Hukum Pertahanan dan Keamanan, (ii) Sosial Budaya, dan (iii) Ekonomi. Untuk Bidang Politik Hukum Pertahanan dan Keamanan misalnya, diambil contoh kegiatan evaluasi yang dilakukan di Papua New Guinea dan Kerajaan Vermont Bagian Timur. Evaluasi di Papua New Guinea dilakukan terhadap kegiatan Yumi Lukautim Mosbi (YLM) Project sedang di Kerajaan Vermont Bagian Timur dilakukan terhadap program Vermont Center for Crime Victim Services. Metode evaluasi yang digunakan adalah metode kualitatif, diantaranya melalui wawancara mendalam (indepth interview), review serta kajian terhadap dokumen terkait pelaksanaan kegiatan atau program, pengisian kuisioner dan analisis logic model. Disamping itu, didapati juga evaluasi outcome/impact yang menggunakan metode kuantitatif, seperti yang dilakukan oleh Amerika Serikat terhadap program COPS Grant; Filipina terhadap program Conditional Cash Transfer (CCT); atau Swedia terhadap program Youth Labor Market. Metode evaluasi yang digunakan yaitu analisis statistik deskriptif dan ekonometrik dengan perhitungan least square dan logit model. Metode analisis ini juga dilakukan pada evaluasi bidang Politik Hukum Pertahanan dan Keamanan, Ekonomi, Pendidikan, serta Kesehatan. Pemilihan metodologi, dilakukan sesuai bidang pembangunan yang akan dievaluasi. Setiap bidang pembangunan memiliki karakteristik yang berbeda-beda. Pada bidang pembangunan Politik Hukum Pertahanan dan Keamanan, metode evaluasi kualitatif umumnya banyak digunakan. Sedangkan pada bidang pembangunan Sosial Budaya dan Ekonomi, metode evaluasi yang digunakan merupakan kombinasi antara metode kualitatif dan
4
kuantitatif. Hal ini sangat dipengaruhi oleh karakteristik data dari masing-masing bidang pembangunan. Berdasar kegiatan evaluasi yang telah dilaksanakan di beberapa negara tersebut, terdapat 2 contoh negara yang melakukan evaluasi terhadap kebijakan nasional. Yaman melakukan evaluasi dampak terhadap kebijakan Social Fund for Development (SFD), dan Swedia melakukan evaluasi dampak terhadap kebijakan Youth Labor Market Program. Kedua kebijakan tersebut merupakan kebijakan yang bersifat nasional. Data yang digunakan untuk pelaksanaan evaluasi tersebut adalah data primer, yang diperoleh melalui survei yang sifatnya nasional ataupun sampling secara langsung terhadap masyarakat penerima manfaat. Dengan demikian pada pelaksanaan evaluasi dampak terhadap level kebijakan nasional akan berkonsekuensi terhadap waktu, dana, serta jumlah SDM yang dibutuhkan. Untuk 13 contoh Negara lainnya, evaluasi dampak dilakukan terhadap program atau kegiatan yang spesifik. Data yang digunakan pada pelaksanaan evaluasi, umumnya menggunakan data sekunder yang diperoleh dari badan statistik nasional seperti data Annual Survey of State and Local Government Finance pada evaluasi dampak program COPS Grant di USA; Base Line Survey 2001 Pusat Statistik Iran (SCI) dan UNFPA Iran pada evaluasi dampak program KB menggunakan model prevalensi di Iran; Annual Poverty Indicator Survey (APIS) 2004 pada evaluasi dampak program Conditional Cash Transfer (CCT) di Filipina. Hal ini menunjukkan bahwa pada evaluasi dampak terhadap program atau kegiatan yang spesifik, tidak dilakukan survei yang bersifat nasional untuk memperoleh data yang akan diolah. Dengan demikian waktu pelaksanaan evaluasi, dana yang dibutuhkan serta sumber daya manusia yang dibutuhkan akan lebih sedikit jika dibandingkan dengan evaluasi dampak yang menggunakan data primer.
5
Simpulan umum yang dapat ditarik adalah bahwasanya evaluasi outcome/impact sejatinya dapat dilakukan pada berbagai level, baik kegiatan, program, maupun kebijakan lain dalam tingkatan yang lebih tinggi lagi. Pemilihan metode evaluasi seperti apa yang digunakan dapat didasarkan antara lain pada data yang tersedia, karakteristik bidang pembangunan yang ingin dievaluasi, serta tujuan dari evaluasi itu sendiri. Tentu saja kesemua hal tersebut berimplikasi pada besaran dana yang dibutuhkan untuk pelaksanaan kegiatan evaluasi. Hal ini menjadi masukan berharga bagi para perencana pembangunan untuk menentukan evaluasi dampak terhadap program, kegiatan ataupun kebijakan seperti apa yang akan dilakukan. sehingga dapat diketahui sampai sejauh mana pencapaian tujuan pembangunan telah berhasil dicapai.
6
MATRIKS EVALUASI OUTCOME/IMPACT YANG DILAKSANAKAN DI BEBERAPA NEGARA No.
Negara
Nama Program/ Kebijakan
Deskripsi Singkat
Metodologi Evaluasi
Temuan
Sumber
BIDANG POLHUKHANKAM 1
USA
COPS Grants
Level: Program
Program Community Oriented Policy Services (COPS) merupakan intergovernmental grant program pada Departmentt of Justice US. Program ini membiayai perekrutan dan redeployment 100.000 tambahan petugas kepolisian di Amerika.
Jenis Evaluasi: Evaluasi Impact
Analisis kebijakan pada studi ini disusun berdasarkan hasil analisis regresi.
Studi ini merupakan evaluasi dampak grant COPS yang menggunakan metode analisis regresi OLS Grant COPS (Ordinary Least tidak Square) dan 2SLS. menstimulasi Model pertama, untuk penerima grant mengetahui dampak untuk grant COPS terhadap meningkatkan Tipe grant program besarnya pengeluaran pengeluaran di COPS: Pertama, grant dinas kepolisian; atas Model kedua, untuk perekrutan sebesar 75% pengeluaran digunakan untuk mengestimasi rutinnya. membiayai gaji petugas hubungan antara grant baru selama 3 tahun; COPS dengan tingkat Kedua, Making Officer kejahatan. Dalam Redeployment Effective model ini tingkat (MORE) merupakan kejahatan yang pemberian grant untuk dimaksud adalah membiayai teknologi, tingkat kejahatan lembur, dan gaji pegawai pembunuhan, sipil; Ketiga, grant pemerkosaan, inovatif guna membiayai perampokan, masalah-masalah penyerangan, khusus seperti pencurian, kekerasan domestik, pencopetan, dan kenakalan geng, pencurian kendaraan penyalahgunaan senjata bermotor. api. Metode OLS Evaluasi dampak: digunakan untuk Pertama, apakah grant menganalisis model COPS menstimulasi pertama dan kedua. pengeluaran kepolisian Sedang metode 2SLS lokal di kota-kota besar?; digunakan untuk Kedua, apakah grant mengukur COPS dapat mencegah kemungkinan terjadinya kejahatan di hubungan simultan kota-kota besar? antara anggaran pengeluaran untuk Mayoritas grant COPS penegakan hukum dikategorikan sebagai dengan tingkat grant proyek, yaitu grant kejahatan dengan yg hanya diberikan tetap menjaga variabel kepada pemohon saja grant COPS dan sosioekonomi. Data yang digunakan dalam studi ini diambil
7
A Report of The Heritage Center for Data Analysis: Impact Evaluation of COPS Grants in Large Cities, David B. Muhlhausen, PhD; May 26, 2006.
No.
Negara
Nama Program/ Kebijakan
Deskripsi Singkat
Metodologi Evaluasi
Temuan
Sumber
dari 58 kota besar di USA. Data tahun analisis yang diambil adalah 5 tahun sebelum dan sesudah pelaksanaan program, dimana pelaksanaan grant COPS ini dilaksanakan pada tahun 1994. Data yang digunakan bersumber dari data Annual Survey of State dan Local Government Finance. 2
Papua New Guinea
Yumi Proyek ini merupakan Lukautim kerjasama antara National Capital District Mosbi (YLM) Commission (NCDC) Project dan Australian-funded Law & Justice Sector Program (LJSP) yang Level: bertujuan untuk Program meningkatkan ketertiban, keamanan dan pencegahan terjadinya kejahatan di wilayah Port Moresby. Proyek ini dimulai pada Maret 2005.
Jenis Evaluasi: Evaluasi Impact
Proyek YLM perlu diperkuat dengan dukungan manajemen LJSP terhadap penggunaan teknik perencanaan sistematik yang dilakukan oleh NCDC.
Impact evaluasi YLM dilakukan untuk: Pertama, memberikan informasi mengenai tingkat, kedalaman, dan jenis kejahatan di wilayah tertentu di Port Moresby yang bersifat objektif dan independen. Kemudian informasi tersebut Fokus kegiatan digunakan oleh sektor yang dilakukan guna mengetahui tren YLM masih tingkat kejahatan dan terlalu luas, menentukan program tidak sebatas serta strategi untuk upaya mengatasi kejahatan; penurunan Kedua, mengetahui tingkat persepsi masyarakat kejahatan yang mengenai YLM, terjadi di Port kepolisian dan Moresby, lembaga lainnya, dan sehingga fungsi memonitor perubahan kegiatan persepsi monitor tersebut belum tersebut dari waktu ke maksimal dan waktu. perlu dilakukan penyempurnaan Evaluasi impact . difokuskan pada outcomes, guna mengetahui apakah hasil proyek YLM diketahui oleh masyarakat. Evaluasi ini tidak mengukur efisiensi, namun mengukur efektifitas.
Pelaksanaan proyek ini meliputi: Pertama, kampanye kepedulian komunitas untuk perbaikan kepedulian terhadap Port Moresby; Kedua, slogan sebagai symbol upaya yang dilakukan NCDC untuk perbaikan lembaga pemberi pelayanan masyarakat menggunakan anggaran lembaga yg berulangulang; Ketiga, pembiayaan kegiatankegiatan kemasyarakatan yang fokus pada keamanan kota melalui proyek pendanaan pemerintah Australia melalui LJSP.
Studi ini menggunakan metodologi review
8
Yumi Lukautim Mosbi Impact Evaluation 2006, PNG Justice Advisory Group, 22 January 2007
No.
Negara
Nama Program/ Kebijakan
Deskripsi Singkat
Metodologi Evaluasi
Temuan
Sumber
terhadap dokumen latar belakang serta beberapa metode guna mengetahui progress dari dampak yang terjadi yaitu: Kuisioner, guna mengetahui sejauh mana pengetahuan masyarakat mengenai YLM Analisis persepsi publik tentang pelayanan YLM melalui data kualitatif dari pertanyaan openended pada kuisioner, interview dengan stakeholder, dan focus group interview dengan anggota USAC. Penilaian victimisasi kejahatan menggunakan data tahun 2004, 2005, 2006 dari lembaga survey sektor hukum dan peradilan. 3
USA
Underage Drinking Prevention Projects
Level: Program
Proyek Underage Drinking Prevention Program merupakan program yang bertujuan menekan jumlah kecelakaan yang terjadi akibat mabuk minuman keras pada remaja di bawah umur. Proyek ini merupakan pilot dengan melihat kesuksesan program Washington Regional Alcohol dari aspek penerapan hukum dan efektifitas pelaksanaan kegiatan.
Jenis Evaluasi: Evaluasi Impact
Berdasar hasil studi: Ketiga program Data kecelakaan untuk yang terdiri dari analisis diambil dari SASY, PEM, data Virginia dan TCUDPP Department of Motor menekankan Vehicles. Data yang pada strategi digunakan meliputi pendidikan dan data tahun 1991-2000. informasi publik, Pengukuran remaja dimana program yang terlibat meminum PEM juga alkohol terkait memasukkan kecelakaan yang komponen aktif terjadi, dihitung mulai legistatif dan remaja usia 21 tahun pemaksaan. dengan kejadian Evaluasi dilakukan mulai kecelakaan pada Dari ketiga pertengahan tahun tengah malam. program 1990-an terhadap 4 tersebut tidak program yang Data yang digunakan ditemukan dilaksanakan di wilayah merupakan data time memiliki dampak berbeda, yaitu: Pertama, series bulanan. terhadap jenis Program Safe and Sober minuman Youth (SASY) di Metodologi analisis pengganti Chesterfield Country, data dilakukan dengan alkohol terkait Virginia; Kedua, Project menggunakan metode kecelakaan
9
Impact Evaluation of Underage Drinking Prevention Projects, Lacey, J. H., Wiliszowski, C. H., and Jones, R. K, Mid-America Research Institute, November 2003.
No.
Negara
Nama Program/ Kebijakan
Deskripsi Singkat
Metodologi Evaluasi
Temuan
Extra Mile (PEM) di Omaha, Nebraska; Ketiga, Salt Lake City Underage Drinking Prevention Project (SLCUDPP) di Salt Lake Country, Utah; Keempat, Travis Country Underage Drinking Prevention Project
ARIMA. Kemudian untuk merubah menjadi stasioner, digunakan 12-rentang yg berbeda. Fungsi logaritma digunakan guna menyesuaikan dengan data yang digunakan.
yang melibatkan pengendara di bawah umur. Program SLCUDPP menekankan pada pelaksanaan hukum pelarangan penjualan minuman beralkohol kepada remaja di bawah umur. Dari hasil pengamatan, jumlah kecelakaan kendaraan di malam hari yang melibatkan remaja di bawah umur mengalami penurunan. Berdasarkan hal tersebut dapat disimpulkan bahwa untuk mencapai target keamanan yg lebih baik, program strategi pendidikan dan informasi publik saja belum cukup. Perlu dilakukan upaya pencegahan seperti mengurangi ketersedian minuman beralkohol dan aktivitas mengendarai kendaraan bermotor setelah minumminum.
10
Sumber
No.
Negara
4
4 wilayah di Northeast Kingdom of Vermont
Nama Program/ Deskripsi Singkat Kebijakan Vermont Program ini memiliki Center for tujuan 3 prioritas: Pertama, untuk Crime Victim Services menurunkan dampak isolasi geografis; Kedua, membangun komunitas yang berkoordinasi Level: merespon kejahatan Program domestik dan kekerasan pada anak; Ketiga, membangun hubungan diantara para pelindung anak dan advokat korban kejahatan domestik.
Metodologi Evaluasi Jenis Evaluasi: Evaluasi Impact Metode evaluasi yang digunakan dalam studi adalah dengan menggunakan logic model untuk mendeskripsikan keterkaitan antara kegiatan-kegiatan yang dilakukan oleh penerima grant dengan outcomes yang diharapkan.
Program ini dilaksanakan Evaluator dalam hal ini di 4 wilayah di Northeast melakukan identifikasi Kingdom of Vermont variabel-variabel yaitu Caledonia, Essex, kontekstual yang Lamoille, dan Orleans. relevan untuk Wilayah tersebut berada pelaksanaan kegiatan di daerah pedalaman yang dibiayai oleh dan terisolasi. Lembaga grant, membangun pemerintah yang asumsi-asumsi kunci menangani perlindungan yang melandasi anak adalah Vermont pelaksanaan kegiatan Departemen of Social yang dibiayai oleh and Rehabilitative grant, dan Services (SRS). menentukan variabel yang dapat disajikan Dalam mencapai tujuan sebagai penjelasan program ini, penerima rival untuk pencapaian outcome oleh bantuan merekrut 3 orang ahli kejahatan penerima grant. domestik untuk bekerja di kantor perlindungan Alur logic model yang anak.Konsultan ini digunakan: merupakan konsultan untuk pelindung pekerja Variabel Variabel Kontekstua anak, membantu Konteks l (Model tual (Model penyelesaian kasusIdeal) Rival) kasus, menyusun rekomendasi kebijakan untuk SRS untuk meningkatkan pelayanan Asumsi terhadap keluarga yang mengalami kekerasan domestik dan kekerasan pada anak, dan Kegiatan Program melaksanakan training dan pemberian informasi terhadap mengenai kekerasan domestik dan kekerasan pada anak di Outcome kantor-kantor SRS di setiap wilayah penerima grant. 5
Uganda
Kampanye
Kebijakan ini memiliki
Jenis Evaluasi:
11
Temuan
Sumber
Tujuan utama para penerima grant adalah membangun hubungan antara SRS, lembaga perlindungan anak di setiap wilayah, dan program penanggulangan kejahatan domestik yang meliputi Vermont Network Against Domectic Violence and Sexual Assault (jaringan). Tingkat kerjasama di setiap wilayah berbeda-beda. Upaya penyelesaian konflik dilakukan dengan penyusunan Memorandum of Understanding (MoU), dukungan perlindungan anak, pendampingan hukum.
National Evaluation of The Rural Domestic Violence and Child Victimization Enforcement Grant Program, Mary Ann Dutton ; Aileen Worrell ; Darci Terrell ; Sharon Denaro ; Robin Thompson, Desember 2002.
Jarak outlet
The Power Of
No.
Negara
Nama Program/ Kebijakan Surat Kabar
Level: Program
Deskripsi Singkat
Metodologi Evaluasi
Temuan
tujuan untuk mengurangi Evaluasi Impact surat kabar yang korupsi dana subsidi terdekat program sekolah dasar Studi ini menguji memiliki korelasi pada pemerintah lokal dampak kampanye dengan dengan memberdayakan informasi pemerintah pengetahuan masyarakat terutama Uganda terhadap kepala sekolah guru dan orang tua korupsi dana subsidi mengenai murid, untuk memonitor program sekolah peraturan dalam pemerintah lokal dalam dasar. menangani menangani program program subsidi subsidi sekolah. Data yang digunakan dan jadwal adalah data hasil pencairan dana Kebijakan ini berupa survey pada tahun dari pusat tetapi penerbitan data 1996 dan 2002 yang tidak berkorelasi pengiriman dana subsidi dilakukan oleh PETS dengan nilai test per bulan dari kemampuan pemerintah pusat Metode analisis yang umum. kepada pemerintah digunakan adalah lokal/daerah pada surat metode analisis Jarak ke outlet kabar nasional dan edisi regresi. surat kabar yang bahasa lokal Uganda. terdekat Metode Evaluasi yang memiliki korelasi Kebijakan ini diambil digunakan dalam studi yang sangat ini adalah Difference in berdasarkan hasil survey kuat dengan Difference, yang dilakukan oleh penurunan Public Expenditure instrumental variable. korupsi sejak Tracking Survey (PETS) kampanye koran pada pertengahan 1990 Metode Difference in dilaksanakan. Difference digunakan yang mengungkapkan bahwa setiap dollar untuk membandingkan Dengan yang dikeluarkan oleh perubahan dalam memberikan pemerintah pusat hanya persen, dana yang pengetahuan sekitar 20% yang diterima sekolah akses kepada kepala diterima oleh sekolah. surat kabar dengan sekolah sekolah tanpa akses mengenai Kebijakan ini memiliki surat kabar pada program subsidi, hasil yang menonjol periode 1995-2001. akses publik yaitu penurunan korupsi terhadap dari 80% menjadi 20%. Instrumen variabel informasi dapat yang digunakan oleh menjadi evaluator sebagai pencegah yang indikator dari kuat bagi kampanye informasi korupsi di adalah jarak dari outlet daerah. surat kabar terdekat. Instrumen variabel ini ditentukan untuk menilai dampak korupsi dengan beberapa pertimbangan yaitu akses surat kabar adalah separuh endogen, kepala sekolah yang tidak memiliki akses surat kabar bisa saja mengetahui program subsidi dari orang tua murid yang memiliki
12
Sumber Information: Evidence From A Newspaper Campaign To Reduce Capture, Ritva Reinikka†and Jakob Svensson‡, December, 2003.
No.
Negara
Nama Program/ Kebijakan
Deskripsi Singkat
Metodologi Evaluasi
Temuan
Sumber
akses surat kabar, dan adanya variasi seberapa teratur guru memiliki akses surat kabar. BIDANG SOSIAL BUDAYA 1
Iran
Dampak KB dgn menggunak an model prevalensi di Iran
Level: Program
Prevalensi Model yang diperkenalkan oleh John Bongaarts, perkiraan potensi kesuburan dan jumlah kelahiran averted oleh program dan non program dgn menggunakan sumber penduduk dan penerimanya berdasarkan data.
Jenis Evaluasi: Evaluasi Impact Perbedaan antara potensi kesuburan kesuburan diamati berkaitan dengan kontrasepsi. Semakin besar perbedaan antara potensi dan diamati kesuburan, semakin tinggi dampak dari program KB kesuburan.
Hasil studi menunjukkan bahwa Marivan & Zahedan distrik memiliki tinggi & rendah dalam penurunan angka TFR & CBR masingmasing.
Penemuan juga menunjukkan bahwa tingkat kemiskinan di ASFR milik Studi ini menggunakan kelompok umur Base Line Survey30-34 di 2001 (BLS-2001) data Marivan, 35-39 yang dikumpulkan oleh di Islamshahr, Pusat Statistik Iran Gonbadkavoos (SCI) dan UNFPA-Iran dan Bushehr, di beberapa kabupaten 40-44 di Zabol, Bushehr (Bushehr & Divandareh dan Kangan Distrik), Kangan, 45-49 Golestan di Zahedan dan (Gonbadkavoos & Minoodasht. Minoodasht Distrik), Kurdistan (Marivan & Divandareh Distrik), Sistan & Bluchestan (Zahedan & Zabol Distrik) & Teheran Provinsi (Islamshahr Distrik).
Evaluation of the Impact of Family Planning Programs on Fertility: Using Prevalence Model for Selected Districts in Iran 2001 – By: Hassan Eini Zinab, Associate Researcher In: Population Studies and Research Center, Tehran, Iran, March 2005.
Metode yang digunakan: -Randomized experiments -Quasi-experiments -Multilevel Regression methods 2
Meksiko
Opportunida Opportunidades des (dahulu merupakan program bernama bantuan sosial PROGRESA Pemerintah Meksiko ) yang diluncurkan pada tahun 2002. Program ini ditujukan untuk Level: masyarakat miskin
Jenis Evaluasi: Evaluasi Impact Data yang digunakan adalah data primer. Sampel sebanyak 506 komunitas (penerima program dan bukan
13
Program ini berhasil meningkatkan permintaan pelayanan kesehatan dan pendidikan khususnya para
Empowering Women to Obtain High Quality Care : Evidence from An Evaluation of Mexico’s Conditional
No.
Negara
Nama Program/ Kebijakan Program
Deskripsi Singkat
Metodologi Evaluasi
Temuan
Sumber
Meksiko. Masyarakat miskin diberikan imbalan atas kehadirannya di sekolah, kunjungannya di klinik kesehatan, penambahan nutrisi. Program ini memberikan insentif dari sisi permintaan, tidak seperti program-program lainnya yang memfokuskan pada performa penyelenggara pelayanan seperti pelatihan tenaga medis
penerima program) diambil dari tujuh negara bagian (states) utama di Meksiko. Pengambilan sampel dilakukan pada tahun 2003.
perempuan dan kepala keluarga perempuan terlihat dari : Penerima program mendapatkan 12,2% tambahan informasi mengenai prosedur sebelum melahirkan. Perempuan dan ibu hamil penerima program lebih aktif dalam mengkonsums i pelayanan kesehatan
Cash Transfer Programme . Sarah L. Barber and Paul J. Gertler, Oxford University 2005.
Evaluasi program dilakukan oleh komisi independen
Pengambilan sampel digunakan metode two-stage stratified sampling design. Model yang digunakan adalah multivariate regression model. Model multivariat digunakan karena variabel terikat lebih dari satu.
Variabel terikat terdiri atas history taking and diagnostic (sampel Penerima darah, urin, program pendarahan,discharge menjadi lebih ); phusical examination berani (tekanan darah, menyuarakan timbangan ibu, keinginannya mengukur tinggi rahim, dalam hal dan tes pelvic); kesehatan. pencegahan dan manajemen kasus (administrasi tetanus taxoid, pemberian suplemen zat besi, nasihat keluarga berencana, saran tentang menyusui, catatan daftar konsultasi yang dihadiri). Variabel terikat merupakan skor kualitas dari gabungan komponen. variabelvariabel bebas terdiri atas usia ibu, jumlah kehamilan sebelumnya, dan sebelum keguguran atau aborsi, tingkat pendidikan dan usia kepala rumah tangga, tingkat pendidikan ibu, ukuran rumah tangga, proporsi laki-laki dan anggota keluarga
14
No.
3
Negara
Australia
Nama Program/ Kebijakan
Deskripsi Singkat
The Safe Routes to Schools (SRTS) Program
Evaluasi efektifitas SRTS memperlihatkan program tersebut berhasil menurunkan kecelakaan para pengguna jalan
Level: Program
Program SRTS berhasil menurunkan tingkat kecelakaan yang melibatkan target utama program yakni pejalan kaki, usia sekolah dan pengayuh sepeda
Metodologi Evaluasi
Kecelakaan yang menimpa anak-anak pada jam berangkat dan pulang sekolah, menurun Bagi semua pengguna jalan, program tersebut dikatakan berhasil mengurangi frekuensi kecelakaan, apabila mampu turun hingga lima persen Angka efektifitas program itu belum menghasilkan data yang pasti. Namun demikian program SRTS dapat dikatakan mampu menekan angka kecelakaan
Temuan
perempuan yang berusia 0-5 dan6-17 tahun, indeks aset rumah tangga (proporsi dengan kepemilikan tanah, kepemilikan rumah, kulkas, pemanas gas, televisi, air internal dalam rumah tangga, dan listrik di rumah tangga), ketinggian, jarak ke ibu kota, dan apakah ada pusat kesehatan di daerah komunitas. Jenis Evaluasi: Model tersebut Evaluasi Impact sesuai dengan data kecelakaan Model log linear tiap tahun dari dengan struktur poison enam jalan yang error adalah model digunakan yang biasa digunakan sebagai sampel dalam seri data terhadap kecelakaan (Bruhning efektifitas and Ernst, 1985). program SRTS. Model ini digunakan Model tersebut untuk mengukur tidak digunakan pengaruh SRTS pada tahun yang terhadap frekuensi sama ketika kecelakaan. program penghitungan Analisa dilakukan dilakukan. dalam dua bagian: Perkiraan Pertama, pengaruh perubahan program tersebut frekuensi diukur dengan kecelakaan menggunakan data pada periode post agregat kecelakaan. implementation Karena itu efek program dapat dihitung setelah dihitung setelahnya. disesuaikan Dalam kondisi yang dengan kontrol. berlawanan, tahapan kedua dari analisa Pendekataan perkiraan pengaruh cara ini program tersebut per diperkirakan tahunnya, meningkatkan diperkenalkan. jumlah kecelakaan Model tersebut karena menggunakan data pertimbangan uji kecelakaan antara statistik tahun 1987-2000. Kecelakaan yang Hasil positif dicatat berasal dari penggunaan enam jalan yang analisa agregat, digunakan. model yang digunakan untuk Perkiraan efek menjabarkan
15
Sumber
Outcome Evaluation of the Effectiveness of the Safe Routes to Schools Program, by Amanda Delaney, Stuart Newstead, Bruce Corben, Report No. 225, Monash University, Accident Research Centre, July 2004.
No.
Negara
Nama Program/ Kebijakan
Deskripsi Singkat
Metodologi Evaluasi
Temuan
program SRTS dihitung dari agregat dan analisa tahun per tahun terhadap frekuensi kecelakaan
4
USA
Student Mentoring Program Level: Program
bagian pertama cocok terhadap data kecelakaan tiap tahun dari enam jalan yang digunakan Metode Aggregate sebagai sampel. analysis, Model poison Model tersebut log linear yang mengukur efek digunakan penerapan memperlihatkan program SRTS persamaan pada saat terhadap dipakai untuk frekuensi mengukur pengaruh kecelakaan program SRTS setiap tahun. menggunakan Estimasi frekuensi agregat post pengaruh implementation program terwakili setiap Metode Year by year tahunnya analysis, Frekuensi menyusul kecelakaan setiap pelaksanaan tahun seperti yang program (bukan tertera dalam indeks tahun kalender). tahunan, diolah dari Efek tersebut data yang tersedia. mengesampingk an factor lain. Karena program SRTS menempatkan faktor lain pada posisi kontrol Student Mentoring Student Jenis Evaluasi: Program merupakan Mentoring Evaluasi Impact Program program subsidi federal yang kompetitif yang Disain evaluasinya meningkatkan diatur oleh Office of Safe menggunakan disain dampak and Drug Free Schools eksperimental, dimana akademis pada (OSDFS). Program ini siswa s ecara acak siswa mengisi ketiadaan dimasukkan kedalam perempuan dan control group dan dukungan orang dewasa menghasilkan treatment. pada titik temu yang dampak kritikal pada kehidupan akademis bagi siswa yang beresiko Jumlah sampel yang siswa laki-laki. dengan menyediakan diambil adalah 2573 Student dana untuk sekolah dan siswa, yang terdiri dari Mentoring masyarakat- dan 1272 siswa yang Program organisasi yang berbasis dimasukkan ke dalam treatment group yaitu keyakinan untuk berpengaruh menciptakan sekolah grup yang menerima secara negatif berbasis program layanan mentoring dari terhadap mentoring dengan target program dan 1301 perilaku proanak-anak pada grade siswa yang sosial bagi 4-8. dimasukkan kedalam siswa pria. control group yaitu Student Prioritas dari program ini grup yang tidak Mentoring adalah kebutuhan menerima layanan Program akademis dan sosial mentoring dari untuk anak-anak yang program. memiliki dampak beresiko. menurunkan
Sumber
16
Impact Evaluation of the U.S. Department of Education’s Student Mentoring Program, Final Report MARCH 2009.
No.
Negara
Nama Program/ Kebijakan
Deskripsi Singkat
Metodologi Evaluasi
Strategi dari program ini adalah (a). menyeleksi semua mentor yang potensial termasuk memeriksa latar berlakang. (b). Mengadakan training dan dukungan untuk mentor dan staf program pada basis ongoing. (c). Kegiatan untuk mentor dan siswa. (d). menetapkan prosedur untuk pengawasan hubungan mentoring.
Evaluasi ini bertujuan untuk menjawab o apa dampak schoolbased mentoring programs terhadap interpersonal siswa, hubungan dengan orang dewasa dan keterlibatan dalam suatu komunitas. o apa dampak schoolbased mentoring programs terhadap keterlibatan sekolah siswa (misalnya kehadiran, perilaku yang baik terhadap sekolah dan prestasi akademis). o apa dampak schoolbased mentoring programs terhadap siswa yang bermasalah atau berperilaku nakal. Metode analisis yang digunakan adalah metode fixed effect model untuk menaksir dampak mentoring program terhadap siswa yang menerima layanan tersebut. Model ini juga digunakan untuk menilai perbedaan 5 subgrup yaitu: (1). Jenis Kelamin; (2). Usia (Siswa berusia 12 tahun keatas dengan siswa berusia 12 tahun ke bawah); (3). Struktur Keluarga (Siswa dengan 2 orang tua dengan jenis keluarga lainnya); (4). Adanya perilaku nakal yang dilaporkan sendiri pada garis dasar (pencurian,penggunaa n senjata, penggunaan obat terlarang dan alkohol atau aktivitas geng); (5). Ketidakahlian akademis (matematika, membaca/seni bahasa
17
Temuan keterlambatan hadir pada siswa yang lebih muda.
Sumber
No.
5
Negara
Brazil
Nama Program/ Kebijakan
The Integrated Managemen t of Childhood Illness (IMCI)
Level: Program
Deskripsi Singkat
IMCI merupakan pendekatan terpadu untuk kesehatan anak. IMCI bertujuan untuk mengurangi kematian, penyakit dan cacat, dan meningkatkan pertumbuhan dan perkembangan anakanak di bawah usia lima tahun.
Metodologi Evaluasi inggris atau keduanya). Jenis Evaluasi: Evaluasi Impact
Sampel diambil dari tiga negara bagian Brazil dengan tingkat kematian bayi yang paling tinggi yaitu Ceara, Parabia, dan Pernambuco. Kabupaten/kota yang sangat besar dan Strategi-strategi yang sangat kecil tidak digunakan pada program dimasukkan. ini : Kategori sampel dibedakan menjadi Meningkatkan tiga yaitu (i) lebih dari kemampuan manajemen 50 persen staf penanganan kasus kesehatan pada kesehatan bagi staff-staf kabupaten/kota sudah kesehatan diikutsertakan pada Meningkatkan IMCI training (ii) keseluruhan sistem setidaknya ada satu kesehatan staf kesehatan Meningkatkan praktek kabupaten/kota yang kesehatan keluarga dan sudah diikutsertakan komunitas pada IMCI training (iii) tidak ada staf kesehatan kabupaten/kota yang sudah mengikuti IMCI training Metode pertama adalah ANOVA. Metode ini ingin membandingkan ratarata populasi, persentase buta huruf, persentase populasi kota, pendapatan perkapita perbulan, indeks pembangunan manusia, jarak ke ibukota negara, persentase tingkat kemiskinan, persentase cakupan program kesehatan keluarga, cakupan petugas kesehatan komunitas pada kabupaten/kota berdasarkan tiga kategori di atas. Metode kedua adalah
18
Temuan
Hanya populasi, pendapatan perkapita perbulan dan persentase cakupan program kesehatan keluarga yang secara signifikan berbeda pada kategorikategori. Tidak ada perbedaan angka kematian bayi dan penurunan tingkat kematian bayi pada 1000 kelahiran yang signifikan pada tiga kategori kabupaten/kota. Komponen IMCI training tidak bisa memberikan dampak terukur pada tingkat kematian bayi.
Sumber
Impact of Health Worker Training on Routinely Collected Child Health Indicators in Northeast Brazil, Joao Amaral et al, Oxford University 2005.
No.
Negara
Nama Program/ Kebijakan
Deskripsi Singkat
Metodologi Evaluasi
Temuan
Sumber
regresi trend waktu. Metode ini digunakan untuk melihat perkembangan tingkat kematian bayi lahir dan penurunan tingkat kematian bayi pada 1000 kelahiran dengan menggunakan dua sumber data berbeda (CHW dan registered death and births) pada tiga kategori di atas. BIDANG EKONOMI 1.
Filipina
Conditional Cash Transfer (CCT) Program (nama lokal: Pantawid Pamiliyang Pilipino Program) Level: Program
CCT Program dianggap mampu dalam jangka pendek meningkatkan income bagi penduduk miskin. Dalam jangka menengah dan panjang, program ini dipercaya meningkatkan human capital. Disamping itu, CCT Program juga dipercaya dapat lebih fokus pada rumah tangga miskin dan kemudahan dalam pengintegrasiannya dengan social services yang lain seperti pendidikan, kesehatan, dan gizi.
Jenis evaluasi: Evaluasi Impact Sesuai namanya, kajian berupa ex-ante impact evaluation (definisi: an evaluation or appraisal of a programme before it is implemented). Semangat yang mendasari adalah: meski CCT Program dinilai berhasil di banyak negara, tidak ada jaminan bahwa hal yang sama terjadi di negara lain.
Cash transfer an sich tidak cukup signifikan meningkatkan partisipasi sekolah. Oleh karenanya, diperlukan persyaratan khusus. Targetting yang tepat sangat penting artinya untuk membantu memaksimalkan efektivitas dan dampak program.
Tujuan kajian adalah untuk menjajagi CCT program dampak CCT Program perlu juga terhadap partisipasi diiringi dengan sekolah dan kebijakan lain kemiskinan di Filipina. agar benarCaranya dengan benar melakukan ekplorasi mendapatkan berbagai budget Program ini memberikan hasil sesuai skenario dan targetting cash kepada RTSM agar yang strategi. anggota keluarganya diharapkan. bisa tetap membangun Good human capital mereka Dibatasi pada aspek governance (kesehatan, gizi, dan demand saja. pendidikan), terutama adalah bagi anak-anak di bawah Metodologi: komponen 15 tahun. 1. Dimulai dari penting untuk conceptual framework menjamin Tujuan utamanya yakni: dengan penggunaan keberhasilan (i) meningkatkan asumsi-asumsi hingga CCT Program. partisipasi sekolah pada didapatkan persamaan fungsi utility. pendidikan dasar; dan (ii) menurunkan angka 2. Selanjutnya estimating kemiskinan. model dengan Beneficiaries-nya adalah menetapkan dummy Tahun 2007, CCT Program dipilotkan di 4 provinsi di Filipina, dan sejak Januari 2008 dilaksanakan secara nasional.
19
Ex-ante Impact Evaluation of Conditional Cash Transfer Program on School Attendance and Poverty: The Case of the Philippines, ADB Economics Working Paper Series No.142, Manila: Asian Development Bank, Son, HH. and Florentino, J. 2008.
No.
Negara
Nama Program/ Kebijakan
Deskripsi Singkat
Metodologi Evaluasi
RTM (kurang lebih 3000 HH).
variable-nya. Berdasarkan itu, digunakan Multinomial Logit Model.
Temuan
Sumber
3. Selanjutnya dilakukan Simulasi dengan menggunakan fungsi utility dengan prinsip: RT ke-n akan memilih satu alternatif jika utility yang didapat dari alternatif tersebut lebih besar dari yang dihasilkan oleh alternatif-alternatif lainnya. 4. Digunakan Log Earning Regression dan analisis dengan menggunakan Multinomial Logit Coefficients. Simulasi dilakukan dengan skenario besaran cash transfer, jika rumah tangga diberikan berturut-turut 0, 100, 200, dan 300 Peso; untuk dianalisis pengaruhnya terharadap partisipasi sekolah dan angka kemiskinan Kebutuhan data untuk melakukan simulasi didapatkan dari Annual Poverty Indicator Survey (APIS) tahun 2004, yang di dalamnya terdapat informasi detail mengenai karakteristik demografis dan ekonomi penduduk, status kesehatan dan pendidikan anggota keluarga, KB, perumahan, akses terhadap air, sanitasi, dll. 2.
Yaman
Social Fund The Social Fund for Development (SFD) for Developmen diluncurkan pertama kali t (SFD), pada tahun 1997. yang terbagi Tujuannya adalah untuk
Jenis evaluasi: Evaluasi Impact
Evaluasi ini membagi temuan dan Studi ini berupa impact simpulan evaluation, dilakukan 2 kedalam 4
20
Yamen Social Fund for Development: 2006 Impact Evaluation
No.
Negara
Nama Program/ Deskripsi Singkat Kebijakan ke dalam 3 meningkatkan akses program penduduk yakni: berpendapatan rendah 1. The terhadap layanan sosial Communi dasar. Di samping itu, ty juga memberi contoh Develop mekanisme penyediaan ment layanan sosial yang Program efektif, efisien, dan 2. The transparan melalui (i) Capacity perbaikan pendekatan Building dalam penyediaan Program layanan sosial dan (ii) 3. The pemberdataan Small komunitas dan institusi and lokal sehingga dapat Micromenjalankan enterpris pembangunan lokal e dengan lebih baik. Develop The Community ment Development Program Program bertujuan untuk Level: meningkatkan akses Kebijakan terhadap infrastruktur (di sosial ekonomi dasar bawahnya The Capacity Building terdapat 3 Program membantu program) membangun kapasitas partner lokal (masyarakat, NGO, pemerintah lokal, konsultan dan kontractor) The Small and Microenterprise Development Program menyediakan layanan microfinance
Metodologi Evaluasi
Temuan
Sumber
kali. Evaluasi pertama dilaksanakan pada 2003 untuk mengukur impact proyek-proyek SFD sepanjang tahun 1999-2003, dan untuk mengumpulkan baseline data bagi kegiatan yang akan dilaksanakan pada periode sesudahnya (2003-2006).
kelompok besar, yakni: (i) efisiensi pelaksanaannya ; (ii) targetting outcomes; (iii) konsultasi, partisipasi, ownership dan impact dari SFD terhadap social capital; dan (iv) mutu layanan, keberlanjutan dan dampaknya.
Study, Yamen: ESA Consultores Internacional, 2007.
Data diperoleh dari 97 proyek (mencakup 2.028 rumah tangga) tahun 1999-2002, dan 101 proyek lain untuk menghasilkan dasar bagi evaluasi tahap ke-2. Paper ini menyajikan hasil evaluasi impact kali ke-2, yang mengukur impact proyek-proyek SFD hingga tahun 2006. Evaluasi ini mengulas impact proyek-proyek SFD baik dalam jangka pendek maupun panjang, melalui observasi terhadap impact dari 2 kali siklus (1999-2003 dan 2003-2006). Analisis yang digunakan terdiri dari 2: (i) before/after analysis, membandingkan data baseline tahun 2003 dengan sampel expost tahun 2006 yang mewakili proyekproyek SFD yang dijalankan pada tahap II (2003-2006); (ii) return visit analysis, dilaksanakan terhadap proyek-proyek pada periode tahun 19992002, untuk melihat apakah impact yang ditiumbulkan oleh SFD bersifat sustainable dalam jangka
21
Dari sisi efisiensi pelaksanaan, disimpukan secara umum cukup efisien terlaksanan sesuai target yang diharapkan Dari sisi targetting, disimpulkan tepat sasran karena proporsi terbesar sumber daya yang ada dari SFD telah menyasar RT paling miskin (49% dana SFD mengalir ke desil termiskin, 64% ke quintil termiskin, dan 73% ke 3 desil termiskin. Dari sisi partisipasi, konsultasi, dan kepemilikan juga terlihat level positif.
No.
Negara
Nama Program/ Kebijakan
Deskripsi Singkat
Metodologi Evaluasi menengah (20032006). Metodologi: 1. Dilakukan sensus nasional dan survei rumah tangga 2. Pada saat yang sama, dilakukan beneficiaries assessment menggunakan qualitative evaluation technique, salah satunya dengan indepth interview dengan key informan dan melalui focused group. 3. Untuk mengatasi tidak adanya control group, agar tetap dapat dilakukan pembandingan, dilakukan observasi terhadap beseline, expost dan ex-ante data. 4. Penggunaan Project cycle performance. Cost-Efficiency. Benefit Incidence Analysis uses statistical modeling. 5. Digunakan multivariate conditional (fixedeffect) logit regression model dalam analisis multivariat. 6. Dalam return visit analysis, digunakan logistic regression untuk analisis multivariatnya. Sampling: Evaluasi ini berdasarkan sampel rumah tangga yang merupakan penerima manfaat riil atau potensial, dengan survey tahunan. Karena ketiadaan control group, digunakan pipeline sample untuk menjadi kelompok pembanding
22
Temuan
Sumber
No.
Negara
Nama Program/ Kebijakan
Deskripsi Singkat
Metodologi Evaluasi
Temuan
Sumber
(penggunaan pipeline proyek-proyek SFD yang telah diidentifikasi namun belum diimplementasikan). 3.
Swedia
Youth Labor Market Programs, dua di antara programprogram yang ada di bawahnya yakni: 1. Youth Practice 2. Labor Market Training Level: Kebijakan (terdiri atas programprogram yang dua diantaranya menjadi fokus evaluasi)
Untuk mengatasi tingginya angka pengangguran usia muda (yang mencapai puncaknya di tahun 1993), Pemerintah Swedia meluncurkan Youth Practice (atau dalam bahasa lokalnya Ungdomspraktik) pada Juli 1992, dan Labor Market Training.
Baik Youth Practice maupun Labor Market Training, dalam Paper ini mencoba membuat evaluasi jangka pendek terhadap dua program (1 tahun), active labor market berkorelasi paling komprehensif di negatif terhadap Swedia bagi penduduk pendapatan dan employment. usia 20-24 tahun yang diluncurkan pada paruh pertama tahun Perbandingan 1990an, yakni Youth antara Youth Practice dan Labor Practice dengan Market Training. Labor Market Training Tujuan evaluasi adalah menunjukkan untuk mengetahui bahwa program pengaruh programyang pertama (Youth Practice) program tersebut bagi mereka yang menjadi lebih baik beneficiaries daripada dibandingkan dengan program yang kedua (Labor apabila mereka harus Market Training). terus mencari kerja sebagai penganggur terbuka (terkait dengan pendapatan, kesempatan mendapatkan pekerjaan, dan kemungkinan studi). Evaluasi difokuskan pada akibat yang ditimbulkan secara langsung oleh program. Jenis evaluasi: Evaluasi Impact
Sesuai namanya, program-program yang termasuk dalam rumpun Youth Labor Market Programs ditujukan terutama bagi penganggur usia muda (20-24 tahun). Youth Practice menawarkan pekerjaan yang disubsidi pemerintah bertujuan untuk memberi pengalaman kerja bagi penganggur usia muda berijazah SMA. Peserta ditempatkan di perusahaan swasta atau milik negara selama 6 bulan, dan beri diupah USD36,5 perhari. Labor Market Training berbentuk kursus-kursus dengan materi dan durasi bervariasi. Tujuannya adalah untuk meningkatkan kemampuan agar sesuai dengan labor demand.
Evaluasi ini menggunakan analisis ekonometrik dengan perhitungan least square. Untuk estimating the propensities digunakan Binomial dan Multinomial Logit Model. Standard OLS Regression dan Probit.
23
Evaluation of Swedish Yout Labor Market Programs, Larsson, L., The Journal of Human Resources, Vol.28, No.4, pp.891-927, 2003.
No.
Negara
Nama Program/ Kebijakan
Deskripsi Singkat
Metodologi Evaluasi
Temuan
Sumber
Teknik sampling: menggunakan random sampling terhadap 200 ribu orang, diambil dari database milik Swedish National Labor Market Board dan BPS Swadia. Tujuan eksplisit dari labor market policy adalah meningkatnya employability para penganggur usia muda. Sehingga, program ini dianggap sukses jika mampu meningkatkan akses pesertanya terhadap pasar kerja disamping meningkatnya pendapatan. Di samping itu, kemungkinan transisi dari pengangguran ke dunia pendidikan. Pendapatan diukur dengan variabel continuous. 4.
Hongaria
Grants for Program ini menyediakan grant bagi SME Modernizati UKM untuk on in the dimodernisasi (dipakai Framework untuk membeli of National peralatan) Developmen t Plan 2004- Grant diberikan dalam 2006 jumlah maksimum 25 juta HUF (kurang lebih Level: 100.000 Euro) Program Kontribusi swasta minimum 50% Jumlah pelamar 9.000 Jumlah beneficiaries 3.500
Jenis evaluasi: Evaluasi Impact
UKM yang dibantu lebih besar dan Tujuan dari evaluasi ini tumbuh lebih adalah untuk cepat bahkan mengetahui: (i) apakah sebelum UKM yang dibantu program ber-invest lebih?; (ii) dijalankan apakah UKM yang dibantu tumbuh lebih Efek signifikan cepat? terhadap investasi jangka Metodologi: pendek 1. Simple regression (have to control for all Tidak terdapat important variables) efek yang 2. Difference-insignifikan pada differences/DiD pertumbuhan (unobservable factors (paling tidak are time invariant) untuk jangka 3. Propensity Score pendek) Matching/PSM (controls for time Efek signifikan varying pada investasi unobservables) bahkan bagi UKM yang yang melamar namun tidak diterima/dikabul kan.
24
Impact evaluation of grants for SME modernization in the framework of National Development Plan 20042006, Béres, A., National Development Agency, 2009.
No. 5.
Negara Selandia Baru
Nama Program/ Kebijakan New Economic Research Fund Level: Program
Deskripsi Singkat
Metodologi Evaluasi
New Economic Research Jenis evaluasi: Fund (NERF) Evaluasi Outcome diluncurkan tahun 1999 Evaluasi outcome ini oleh Kementerian Riset Iptek Selandia Baru, bertujuan untuk bertujuan untuk memacu menjawab pertanyaan pertumbuhan ekonomi seputar sejauh mana dengan membiayai riset NERF: (i) mampu dasar yang memiliki mempersembahkan potensi untuk riset yang berkelas memunculkan industri dunia, (ii) memacu baru. pembangunan human kapital dan skill, (iii) Dialokasikan 29 juta membuat riset mampu NZD untuk membiayai menciptakan platform 140 proyek NERF, yang yang menopang fokusnya bervariasi bidang-bidang yang (nanobioteknologi, bermunculan; (iv) sumber energi baru, dll). membangun area pengetahuan baru yang bisa mengundang dukungan sumber dana lain selain pemerintah. Data dikumpulkan dari periset, PNS, dan stakeholder lain. Pengumpulan datanya sendiri menggunakan dua pendekatan, yakni kuantitatif dan kualitatif. Pengumpulan data kuantitatif dilakukan melalui survei (elektronik survei), yang dikirimkan kepada 140 pimpinan program NERF. Data yang dikumpukan terkait dengan aktivitas, output, outcome, pendanaan, dan manajemen. Pengumpulan data kualitatif dilakukan melalui kunjungan lapangan (site visit). Selama 4 minggu, 2 orang tim evaluasi berkunjung ke institusi riset di seluruh wilayah. Pemimpin program yang ditemui dipilih berdasarkan pada purposive
25
Temuan Temuan dibagi ke dalam beberapa isu, antara lain terkait dengan: kualitas sains, kepemimpinan dan SDM, program strategi, inovasi dan komersialisasi, administrasi NERF, dan keseluruhan. Secara kualitas, proyek-proyek NERF punya elemen-elemen yang diperlukan untuk memenuhi standar internasional. Sebagian besar proyek NERF melibatkan siswa/mahasisw a dalam aktivitas riset. Beberapa proyek merekrut ahli dari luar negeri untuk menjamin ekspertis yang diperlukan. Periset NERF juga melakukan perjalanan luar negeri untuk berkolaborasi dengan partner di luar negeri.
Sumber Outcome Evaluation of the New Economy Research Fund, Wellington, Gemota, G., Messeri, L., & Lal, B.,Abt. Associate Inc., 2005.
No.
Negara
Nama Program/ Kebijakan
Deskripsi Singkat
Metodologi Evaluasi sampling strategy. Juga dilakukan meeting pada awal dan akhir site visit dengan staf Kementerian Riset Iptek, yayasan Riset Iptek, investor potensial, kalangan industri, dll.
26
Temuan
Sumber
REFERENSI -- 2006, Peraturan Pemerintah Nomor 39 Tahun 2006 tentang Tata Cara Pengendalian dan Evaluasi Pelaksanaan Rencana Pembangunan [Online]. Available: http://www.bappenas.go.id/node/129/51/ppno-39-tahun-2006-tentang-tata-cara-pengendalian-danevaluasi-pelaksanaan-rencana-pembangunan/ [2010, February 5] -- 2007. Yamen Social Fund for Development: 2006 Impact Evaluation Study. Yamen: ESA Consultores Internacional BCW 2007. Evaluasi dan Monitoring, Situs Resmi Banten Corruption Watch (BCW), [Online]. Available: http://www.bcwbanten.co.cc/2007/11/evaluasi-danmonitoring.html [2010, February 5] Bernstein, L., Dun Rappaport, C., Olsho, L., Hunt, D., and Levin, M. (2009). Impact Evaluation of the U.S. Department of Education’s Student Mentoring Program (NCEE 2009-4047). Washington, DC: National Center for Education Evaluation and Regional Assistance, Institute of Education Sciences, U.S. Department of Education. Béres, A. 2009. Impact evaluation of grants for SME modernization in the framework of National Development Plan 2004-2006. Hungary: National Development Agency Hungary. Delaney, A., Newstead, S., and Corben, B. 2004. Outcome Evaluation of the Effectiveness of the Safe Routes to Schools Program, Report No. 225. Monash University: Accident Research Centre Dutton, M.A., Worrell, A., Terrell, D., Denaro, S., and Thompson, R. 2002. National Evaluation of The Rural 27
Domestic Violence and Child Victimization Enforcement Grant Program. Washington DC: National Institute of Justice of The US Department of Justice. Gemota, G., Messeri, L., & Lal, B. 2005. Outcome Evaluation of the New Economy Research Fund. Wellington: Abt. Associate Inc. Joao Amaral et al. 2005. Impact of Health Worker Training on Routinely Collected Child Health Indicators in Northeast Brazil. Oxford University. Kemmenneg PPN/Bappenas 2007. Peraturan Menteri Negara Perencanaan Pembangunan Nasional/Kepala Bappenas No. 005 Tahun 2007 tentang Organisasi dan Tata Kerja Kemenneg Perencanaan Pembangunan Nasional/Bappenas [Online] Available: http://www.bappenas.go.id/node/124/183/peraturanmenteri/ [2010, February 5] Lacey, J. H., Wiliszowski, C. H., and Jones, R. K. 2003. Impact Evaluation of Underage Drinking Prevention Project. Mid-America Research Institute. Larsson, L. 2003. Evaluation of Swedish Yout Labor Market Programs, The Journal of Human Resources, Vol.28, No.4, pp.891-927. Mosbi, Y.L. 2007. Impact Evaluation 2006. Papua New Guinea: PNG Justice Advisory Group. Muhlhausen, D.B. 2006. A Report of The Heritage Center for Data Analysis: Impact Evaluation of COPS Grants in Large Cities. Washington DC: The Heritage Foundation. Reinikka, R. and Svensson, J. 2003. The Power Of Information: Evidence From A Newspaper Campaign To Reduce Capture. Uganda: Development Research Group, The World Bank.
28
Sarah L. Barber and Paul J. Gertler 2005. Empowering Women to Obtain High Quality Care : Evidence from An Evaluation of Mexico’s Conditional Cash Transfer Programme. Oxford University. Son, HH. and Florentino, J. 2008. Ex-ante Impact Evaluation of Conditional Cash Transfer Program on School Attendance and Poverty: The Case of the Philippine, ADB Economics Working Paper Series No.142. Manila: Asian Development Bank Zinab, H.E. 2005. Evaluation of the Impact of Family Planning Programs on Fertility: Using Prevalence Model for Selected Districts in Iran 2001. Tehran: Population Studies and Research Center.
29
