KAJIAN TERHADAP PELAKSANAAN EVALUASI PEMBANGUNAN
Direktorat Sistem dan Pelaporan Evaluasi Kinerja Pembangunan Kementerian Perencanaan Pembangunan Nasional/BAPPENAS 2014
KATA PENGANTAR
Puji syukur kami panjatkan kepada Allah SWT karena laporan hasil studi dengan judul “Kajian terhadap Pelaksanaan Evaluasi Pembangunan” dapat kami selesaikan dengan baik. Kajian ini bermanfaat untuk memberikan masukan bagi penyusunan panduan (pedoman) evaluasi pelaksanaan rencana pembangunan yang sistematis, parktis, dan operasional. Dengan adanya pedoman evaluasi yang baik maka diharapkan pelaksanaan pembangunan akan lebih optimal karena pelaksanaan evaluasi tersebut dapat mendukung perbaikan manajemen kinerja dan mendukung percepatan capaian sasaran pembangunan.
Kami mengucapkan terima kasih kepada berbagai pihak yang telah berkontribusi di dalam penyelesaian kajian ini. Pihak-pihak yang terlibat antara lain para narasumber yang berasal dari beberapa Kementerian atau Lembaga (K/L), Pemerintah Daerah (Provinsi), serta pihak-pihak lainnya. Kami juga mengharapkan masukan, saran maupun kritik yang dapat mempertajam analisis kami guna pengembangan pedoman evaluasi. Demikianlah laporan ini disampaikan, semoga laporan kajian ini bermanfaat. Jakarta, Desember 2014 Direktur Sistem dan Pelaporan Evaluasi Kinerja Pembangunan – BAPPENAS, Dr. Ir. Arif Haryana, MSc.
Kajian SPEKP 2014
Kajian SPEKP 2014
i
i
ii
Kajian SPEKP 2014
DAFTAR ISI
KATA PENGANTAR ......................................................................................................................i DAFTAR ISI ................................................................................................................................... iii DAFTAR GAMBAR ...................................................................................................................... v DAFTAR TABEL ........................................................................................................................... v
BAB I. PENDAHULUAN ............................................................................................... 1 1.1 Latar Belakang ...................................................................................................................... 1 1.2 Tujuan dan Sasaran ............................................................................................................ 2 1.3 Ruang Lingkup Kajian ....................................................................................................... 3 1.4 Keluaran .................................................................................................................................. 3 1.5 Sistematika Penulisan ....................................................................................................... 4
BAB II. TINJAUAN LITERATUR ................................................................................ 5 2.1 Kinerja Pembangunan ....................................................................................................... 5 2.2 Evaluasi Kinerja dalam Konteks Pemantauan, Pengawasan, dan Pertanggungjawaban ........................................................................................................ 5 2.3 Evaluasi ................................................................................................................................... 8 2.3.1 Definisi dan Konsep Evaluasi ............................................................................ 8 2.3.2 Tujuan Evaluasi .....................................................................................................10 2.3.3 Manfaat dan Kegunaan Evaluasi ....................................................................11 2.3.4 Fungsi Evaluasi dan Jenis Evaluasi ...............................................................11 2.3.4.1 Fungsi Evaluasi .......................................................................................11 2.3.4.2 Jenis Evaluasi ...........................................................................................11 2.3.5 Kriteria Evaluasi ....................................................................................................15 2.3.6 Peran Stakeholder dalam Evaluasi ................................................................18 2.3.7 Proses Evaluasi ......................................................................................................19 2.4 Metode Evaluasi dan Data Evaluasi ..........................................................................20 2.4.1 Metode Evaluasi ....................................................................................................20 2.4.2 Data .............................................................................................................................20 2.4.3 Metode Pengumpulan Data ..............................................................................21 2.4.4 Kualitas Data ...........................................................................................................22 2.4.5 Analisis Data ...........................................................................................................22 2.5 Pelaporan Evaluasi ...........................................................................................................23
BAB III. METODOLOGI KAJIAN ............................................................................. 25 3.1 Kerangka Pikir Kajian ......................................................................................................25 Kajian SPEKP 2014
Kajian SPEKP 2014
ii iii
3.2 Data dan Pengumpulan Data ........................................................................................27 3.3 Pengolahan Data dan Analisis Data ...........................................................................27
BAB IV. PELAKSANAAN EVALUASI PEMBANGUNAN ..................................... 29 4.1 Deskripsi Kondisi Eksisting Pelaksanaan Evaluasi Pembangunan .............29 4.1.1 Penerapan Evaluasi Pembangunan K/L .....................................................29 4.1.2 Penerapan Evaluasi Pembangunan oleh Pemerintah Daerah ...........36 4.2 Pedoman Evaluasi Saat Ini ............................................................................................41 4.2.1 Pedoman Evaluasi dan Indikator Kinerja Pembangunan, dan Pedoman Evaluasi Kinerja Pembangunan Sektoral ..............................41 4.2.2 Petunjuk Pelaksanaan Evaluasi Akuntabilitas Kinerja Instansi Pemerintah ..............................................................................................................48 4.2.3 Evaluasi Pelaksanaan Rencana Pembangunan Daerah Berdasarkan Peraturan Menteri Dalam Negeri No. 54 tahun 2010 ..........................48 4.3 Evaluasi yang Dilakukan oleh Organisasi Internasional ..................................50 4.3.1 Evaluasi oleh JBIC (Japan Bank for International Cooperation) ........50 4.3.2 Evaluasi oleh OECD (Organisation for Economic Cooperation and Development) ..........................................................................................................54 4.3.3 Evaluasi oleh JICA (Japan International Cooperation Agency) ...........58 BAB V. PENUTUP ....................................................................................................... 61 5.1 Kesimpulan ..........................................................................................................................61 5.2 Rekomendasi untuk Penyusunan Pedoman Evaluasi Kedepan .....................62
DAFTAR PUSTAKA ...................................................................................................................63
Kajian SPEKP 2014 iv Kajian SPEKP 2014
iii
DAFTAR GAMBAR Gambar 2.1 Hubungan dan Peranan Perencanaan, Monitoring, dan Evaluasi 9 Gambar 2.2 Kriteria Relevansi ............................................................................................16 Gambar 2.3 Kriteria Efektifitas ...........................................................................................16 Gambar 2.4 Kriteria Efisiensi ..............................................................................................17 Gambar 2.5 Kriteria Dampak ...............................................................................................17 Gambar 2.6 Kriteria Keberlanjutan ..................................................................................18 Gambar 3.1 Kerangka Pikir Kajian ....................................................................................26 Gambar 4.1 Tipe-tipe Indikator Kinerja dan Keterkaitannya ...............................52 Gambar 4.2 Flowchart untuk Penentuan Nilai dalam Evaluasi ............................54
DAFTAR TABEL Tabel 2.1 Perbandingan Monitoring dan Evaluasi ......................................................10 Tabel 2.2 Perbedaan antra Evaluasi Proyek dan Evaluasi Outcome ..................12 Tabel 4.1 Prinsip Evaluasi .....................................................................................................44 Tabel 4.2 Kriteria Evaluasi pada Setiap Tahapan Evaluasi ....................................51 Tabel 4.3 Kriteria untuk Penilaian Individu .................................................................52
Kajian SPEKP 2014
Kajian SPEKP 2014
iv
v
vi
Kajian SPEKP 2014
BAB I PENDAHULUAN 1.1 Latar Belakang Meningkatnya tuntutan masyarakat terhadap pemerintah untuk menyediakan
pelayanan yang lebih baik mendorong pemerintah untuk melakukan peninjauan
kembali terhadap kebijakan/program/kegiatan yang dilaksanakan dan melakukan perbaikan dalam pengambilan kebijakan sehingga kebijakan yang diambil tepat
sasaran. Dalam rangka mendukung hal tersebut, sejak tahun 2003, pemerintah
melakukan reformasi perencanaan dan penganggaran. Reformasi perencanaan dan
penganggaran dilakukan dengan menerapkan budaya kerja birokrasi yang
berorientasi pada pengelolaan hasil kerja (result management) dan pengukuran kinerja (performance evaluation), sehingga diharapkan dapat meningkatkan kinerja
pemerintahan.
Pendekatan utama dalam reformasi perencanaan dan penganggaran ini adalah
perencananaan dan penganggaran berbasis kinerja, sehingga dalam proses perencanaan dan penganggaran harus memperhatikan kinerja pada periode
sebelumnya dan memperhatikan output atau outcome yang ingin dicapai. Oleh
karena itu evaluasi kinerja merupakan bagian yang sangat penting untuk
diperhatikan dalam rangka memberikan informasi capaian kinerja yang dapat diandalkan sebagai input dalam proses perencanaan dan penganggaran yang lebih
efektif dan efisien. Evaluasi dilakukan untuk menilai proses pelaksanaan
kebijakan/program/kegiatan dan menilai pencapaian sasaran kebijakan/program/
kegiatan melalui analisis kondisi dan permasalahan yang terjadi sehingga hasilnya
dapat menjadi umpan balik bagi perbaikan kinerja pembangunan, baik pada saat
implementasi maupun setelah berakhirnya pelaksanaan kebijakan/program/ kegiatan. Hasil evaluasi seharusnya dapat memberikan data dan informasi tentang
efisiensi, efektifitas, kebutuhan, manfaat dan dampak program/kegiatan terhadap
masyarakat, sehingga informasi tersebut dapat digunakan sebagai
dasar
pengambilan kebijakan dini atas realitas yang terjadi, seperti pengembangan kebijakan atau penghentian kebijakan serta sebagai bahan masukan untuk proses perencanaan dan penganggaran periode selanjutnya. Kajian SPEKP 2014
Kajian SPEKP 2014
1 1
Namun demikian kegiatan evaluasi belum dilaksanakan secara optimal oleh
seluruh Kementerian/Lembaga (K/L) maupun daerah, dan hasilnya juga belum dimanfaatkan dengan baik. Sebagian besar evaluasi yang dilakukan dengan baik saat
ini adalah evaluasi tematik, yang dilakukan untuk menilai kinerja dari satu atau
beberapa tema saja, dan belum dilakukan evaluasi secara terkoordinir terhadap
keseluruhan program/kegiatan K/L sehingga hasilnya dapat menjadi input bagi
pelaksanaan evaluasi RKP dan RPJMN. Dari sebagian K/L dan daerah yang sudah melakukan evaluasi, substansinya belum menunjukkan kinerja pembangunan secara
keseluruhan. Hal ini disebabkan karena ketidakjelasan sasaran, baik sasaran
outcome/impact di tingkat kebijakan maupun sasaran outcome di tingkat program,
selain itu terdapat perbedaan tingkatan yang menjadi fokus penilaian. Sebagian
besar evaluasi yang dilakukan K/L dan daerah masih mengukur capaian pada
tingkat output. Sebagian besar evaluasinya sudah membandingkan capaian kinerja dengan capaian tahun sebelumnya, dengan target yang ditetapkan pada tahun yang
bersangkutan maupun target akhir periode perencanaan jangka menengah, namun
demikian belum dilakukan analisa mendalam terhadap berbagai permasalahan yang
terjadi menyebabkan target tidak tercapai maupun informasi mengenai pencapaian sasaran yang melebihi target.
Berkaitan dengan permasalahan tersebut maka perlu dilakukan penelaahan
terhadap pelaksanaan evaluasi yang berjalan saat ini baik ex-ante, on going maupun ex-post, serta mengetahui pelaksanaan evaluasi yang dilakukan oleh K/L maupun daerah terkait dengan mekanisme, substansi maupun pemanfaatan hasil evaluasi sehingga hasil evaluasi dapat mendukung pengambilan kebijakan yang tepat sasaran.
1.2 Tujuan dan Sasaran Tujuan dari kajian ini adalah menelaah dan menganalisis pelaksanaan evaluasi
yang berjalan saat ini, dan mempelajari standar evaluasi yang seharusnya dilakukan
dalam rangka menyediakan panduan evaluasi perencanaan pembangunan yang jelas dan mudah dioperasionalkan, baik untuk evaluasi rencana pembangunan jangka pendek maupun menengah. Dengan demikian, pelaksanaan evaluasi dapat Kajian SPEKP 2014 2 Kajian SPEKP 2014
2
mendukung perbaikan manajemen kinerja dan mendukung percepatan capaian sasaran pembangunan.
1.3 Ruang Lingkup Kajian Ruang lingkup kajian ini meliputi:
1. Mengumpulkan data dan informasi tentang konsep evaluasi perencanaan pembangunan serta informasi tentang standart evaluasi kinerja yang baik;
2. Mengumpulkan data dan informasi terkait dengan pelaksanaan evaluasi
kinerja pembangunan yang dilakukan di tingkat Kementerian/Lembaga dan Pemerintah Daerah;
3. Menganalisis data dan informasi yang telah diperoleh untuk mengetahui berbagai permasalahan yang terjadi dalam pelaksanaan evaluasi dan mendapatkan gambaran terkait standart evaluasi.
4. Pelaksanaan Focus Group Discussion (FGD) untuk mendapatkan tanggapan dan masukan terhadap draft kajian;
5. Perbaikan draft kajian berdasarkan hasil FGD dan penyusunan rekomendasi untuk menyusun pedoman evaluasi kinerja pembangunan ;
6. Seminar Kajian untuk menyampaikan hasil akhir kajian dan mendapatkan tanggapan dan masukan dari stakeholder.
7. Penyusunan laporan akhir. 1.4 Keluaran
Keluaran yang diharapkan dari kegiatan kajian ini adalah tersusunnya laporan
kajian terhadap pelaksanaan evaluasi pembangunan dalam rangka mendukung
perencanaan dan penganggaran berbasis kinerja. Selain laporan akhir kajian ini juga
menghasilkan rekomendasi atau konsep untuk penyusunan pedoman evaluasi
pelaksanaan rencana pembangunan yang dapat menjadi panduan bagi K/L untuk melakukan evaluasi.
Kajian SPEKP 2014
Kajian SPEKP 2014
3 3
1.5 Sistematika Penulisan Penulisan laporan kajian diawali dengan penyajian Bab I tentang pendahuluan
yang berisi tentang latar belakang, tujuan dan sasaran, ruang lingkup kajian, dan
keluaran. Pendahuluan ini diikuti dengan penyajian Bab II tentang hasil studi literatur yang terkait dengan: a) kinerja pembangunan; b) evaluasi kinerja pembangunan dalam konteks pemantauan, pengawasan, dan pertanggungjawaban;
c) konsep evaluasi; d) metode evaluasi dan data evaluasi; dan e) pelaporan evaluasi.
Bab III berisi tentang metodologi kajian yang membicarakan tentang kerangka pikir
kajian, data dan pengumpulan data, serta pengolahan data dan analisis data.
Selanjutnya pada Bab IV disajikan hasil kajian. Kajian diakhiri dengan penyajian Bab V tentang kesimpulan dan rekomendasi.
Kajian SPEKP 2014 4 Kajian SPEKP 2014
4
BAB II TINJAUAN LITERATUR
2.1 Kinerja Pembangunan Kinerja merupakan tolok ukur keberhasilan. Kinerja menurut beberapa ahli,
diantaranya Mahsun (2006), adalah gambaran mengenai tingkat pencapaian pelaksanaan suatu kegiatan/program/kebijakan dalam mewujudkan sasaran, tujuan, misi dan visi organisasi, dalam hal ini K/L dan Pemerintah Daerah. Dalam
suatu sistem input-ouput, kinerja tersebut berjenjang menurut komponen
penyusunnya. Kerangka penyusunannya dimulai dari “apa yang ingin diubah”
(impact) yang memerlukan indikator “apa yang akan dicapai” (outcome) guna
mewujudkan
perubahan
yang
diinginkan.
Selanjutnya,
untuk mencapai
outcome diperlukan informasi tentang “apa yang dihasilkan” (output). Untuk menghasilkan output tersebut diperlukan “apa yang akan digunakan”.
Dalam perspektif pembangunan nasional, sasaran (impact) K/L merupakan
kinerja yang ingin dicapai K/L, outcome program merupakan kinerja program dan
output kegiatan merupakan kinerja kegiatan. Oleh karena itu, dalam manajemen pembangunan, kinerja K/L dan Pemerintah Daerah perlu dievaluasi. Evaluasi kinerja ini akan menggambarkan gambaran nilai kinerja yang dicapai. 2.2 Evaluasi Kinerja dalam Pertanggungjawaban
Konteks
Pemantauan,
Pengawasan,
dan
Evaluasi kinerja merupakan aktivitas dalam manajemen proses kebijakan yang
dilakukan
pada
tahap
pemantauan
pelaksanaan,
pengawasan,
ataupun
pertanggungjawaban (Mustopadidjaja, 2003). Setiap tahapan berisikan kegiatan pengumpulan dan analisis mengenai data dan informasi serta pelaporan mengenai
tingkat perkembangan capaian hasil kegiatan pelaksanaan, ketepatan sistem dan
proses pelaksanaan, dan ketepatan kebijakan serta akuntabilitas kelembagaan secara keseluruhan. Evaluasi yang dilakukan pada tahap pemantauan didasarkan
atas hasil dari pelaksanaan pemantauan. Dengan kata lain hasil dari pelaksanaan Kajian SPEKP 2014
Kajian SPEKP 2014
5 5
pemantauan dijadikan sebagai bahan untuk melakukan evaluasi. Hal ini dimaksudkan untuk mendapatkan informasi dini mengenai perkembangan pelaksanaan kebijakan pada momentum atau dalam jangka waktu tertentu sehingga dapat diketahui hal-hal yang perlu diperbaiki baik mengenai sistem dan proses
pelaksanaan maupun kebijakannya itu sendiri, agar rumusan kebijakan lebih tepat, pelaksanaan kebijakan dapat berjalan baik, dan tujuan kebijakan dapat dicapai lebih
optimal. Di samping memuat gambaran perkembangan pelaksanaan, laporan pemantauan juga memuat identifikasi kelemahan kebijakan dan penyimpangan
terhadap sistem dan proses pelaksanaan kebijakan, serta saran koreksi terhadap
penyimpangan pelaksanaan ataupun terhadap kebijakan itu sendiri. Evaluasi kinerja dalam rangka pengawasan harus dapat memberikan informasi objektif mengenai tingkat capaian pelaksanaan kebijakan pada momentum atau dalam jangka waktu tertentu, mengenai kekeliruan atau penyimpangan yang terjadi dalam pelaksanaan
kebijakan, serta rekomendasi mengenai langkah tindak lanjut hasil temuan
pengawasan. Pada tahap pertanggungjawaban, evaluasi kinerja harus dapat memberikan gambaran dan analisis objektif mengenai perkembangan pelaksanaan,
perubahan atau penyesuaian yang telah dilakukan berikut alasannya, dan penilaian tingkat capaian kinerja dalam jangka waktu tertentu.
Selain evaluasi yang dilakukan pada tahap pemantauan, pengawasan, dan
pertanggungjawaban, evaluasi juga dapat dilakukan secara komprehensif. Evaluasi kebijakan secara komprehensif dapat meliputi: 1) penilaian mengenai latar belakang dan alasan-alasan diambilnya suatu kebijakan, tujuan dan kinerja kebijakan; 2)
berbagai instrumen kebijakan yang dikembangkan dan yang dilaksanakan; 3) respon kelompok sasaran dan stakeholders lainnya; 4) konsistensi aparat; 5)
dampak yang timbul; 6) perubahan yang ditimbulkan dan perkiraan kemajuan yang
dicapai jika kebijakan dilanjutkan atau diperluas (Mustopadidjaja, 2003). Evaluasi
kebijakan komprehensif pada umumnya dilakukan untuk mengetahui ketepatan dan efektifitas kebijakan dalam mengatasi permasalahan yang dihadapi atau dalam mencapai tujuan yang direncanakan, dengan maksud untuk mengkaji kemungkinan
perubahan ataupun penyesuaian kebijakan (policy changes and/or adjustments). Oleh sebab itu evaluasi kebijakan dapat pula menyentuh pengujian mengenai
validitas dan relevansi teori yang melandasi suatu kebijakan. Evaluasi kinerja kebijakan merupakan bagian dari evalusi kebijakan yang secara spesifik terfokus Kajian SPEKP 2014 6 Kajian SPEKP 2014
6
pada berbagai indikator kinerja bertalian dengan kebijakan dan rencana yang telah ditetapkan.
Evaluasi kinerja kebijakan pada hakikatnya dilakukan untuk mengetahui
ketepatan dan efektifitas baik kebijakan itu sendiri maupun sistem dan proses pelaksanannya, agar dapat dilakukan langkah-langkah tindak lanjut untuk menghindari “biaya” yang lebih besar atau untuk mencapai “manfaat” yang lebih
baik (Mustopadidjaja, 2003). Esensi evaluasi kinerja adalah perbandingan yang
menyangkut kinerja dan tingkat efektifitas baik kebijakan maupun sistem dan
proses pelaksanaan yang berkembang dalam mengatasi permasalahan yang
dihadapi atau dalam mencapai tujuan yang ditetapkan. Dengan maksud dan alasan
tertentu, penilaian kinerja dapat menyentuh pengujian mengenai validitas dan relevansi kerangka teori yang melandasi sesuatu kebijakan. Adapun maksud
dilakukannya
evaluasi
kinerja
dapat
dilihat
dan
dibedakan
berdasar
kontekstualitasnya (internal atau eksternal) dan tahapan pengelolaan pelaksanaan
kebijakan (dalam rangka pemantauan, pengawasan, atau pertanggungjawaban). Evaluasi kinerja yang dilakukan dalam rangka pemantauan pada pokoknya adalah
menyediakan informasi bagi para pengelola kebijakan dan pembuat kebijakan mengenai
ketepatan
dan
efektifitas
kebijakan
pelaksanaannya, agar dapat dilakukan tindak lanjut
dan
sistem
serta
proses
dini apabila secara aktual
ternyata ada hal-hal yang perlu dikoreksi baik pada kebijakan atau pun pada sistem dan proses pelaksanaannya.
Evaluasi kinerja pada pengawasan eksternal, dilakukan dengan tujuan
memberikan gambaran objektif mengenai ketepatan dan ektifitas kebijakan ataupun sistem serta proses pelaksanaannya, kondisi biaya dan manfaat aktual dari kebijakan, perkembangan berbagai unsur dan indikator kinerja yang dicapai, yang
diperlukan sebagai pertanggungjawaban suatu organisasi dalam melaksanakan tugas kelembagannya. Hal terakhir itu menunjukan maksud dilakukannya evaluasi
kinerja, yang tentu dipengaruhi pula oleh posisi dan peran lembaga pengawasan eksternal yang melakukan evaluasi tersebut.
Sehubungan dengan itu perlu diperhatikan hubungan atau keserasian antar
evaluasi
kinerja
baik
dalam
rangka
pemantauan,
pengawasan,
ataupun
pertanggungjawaban. Jika keseluruhannya berpangkal pada data dan informasi Kajian SPEKP 2014
Kajian SPEKP 2014
7 7
objektif dengan validitas teruji, maksud dan tujuan yang serupa, teori dan metode yang relevan, maka hasilnya akan relatif sama atau tidak banyak berbeda.
Perbedaan laporan evaluasi kinerja hanya akan terletak pada adanya perbedaan
dalam posisi, tugas, dan tanggung jawab kelembagaan masing-masing dalam
hubungan pelaksanaan pengawasan internal dan eksternal. Namun perbedaan fokus
tidak perlu menimbulkan perbedaan kesimpulan, apabila masing-masing melakukan
penilaiannya berdasar data dan informasi objektif mengenai indikator yang sama,
dan menggunakan teori dan metode relevan yang diakui validitasnya. 2.3 Evaluasi 2.3.1
Definisi dan Konsep Evaluasi
Evaluasi adalah penilaian sistematis dan objektif dari rencana, implementasi,
dan hasil dari suatu kegiatan atau program yang sedang berlangsung ataupun yang telah selesai (OECD, n.d). Dengan kata lain, evaluasi merupakan proses penentuan
sesuai atau tidaknya suatu kebijakan, program, atau kegiatan yang diukur secara
sistematis dan objektif dari rencana, pelaksanaan (on-going), atau capaian (Imas,
2009). Evaluasi secara umum mempertimbangkan kesesuaian sumber yang
digunakan dan waktu dalam implementasinya. Oleh karena itu, evaluasi harus dilakukan secara optimal guna memperoleh hasil yang baik.
Untuk memperoleh hasil yang baik, evaluasi harus bersifat independent,
intentional, transparan, layak, netral, berkualitas tinggi, tepat waktu, dan berguna
(UNDP, 2009). Selain itu evaluasi seharusnya juga menyediakan informasi yang
kredibel dan berguna, dan juga menghasilkan feedback yang dapat digunakan sebagai masukan untuk perencanaan yang akan datang.
Perencanaan yang dikombinasi dengan monitoring dan evaluasi dapat berperan
penting dalam peningkatan efektifitas program dan kegiatan pembangunan. Perencanaan membantu untuk fokus pada hasil, sedangkan monitoring dan evaluasi
membantu untuk mempelajari kesuksesan dan tantangan di masa lampau dan memberikan informasi untuk pembuatan keputusan sehingga periode saat ini dan masa yang akan datang akan menjadi lebih baik. Dengan demikian antara
perencanaan, monitoring, dan evaluasi memiliki keterkaitan dan membentuk suatu siklus. Berikut adalah siklus mengenai hubungan antara perencanaan, monitoring,
Kajian SPEKP 2014 8 Kajian SPEKP 2014
8
dan evaluasi. Namun demikian perlu dicatat bahwa evaluasi tidak selalu
ditempatkan di tahap akhir dari siklus tersebut. Evaluasi dapat ditempatkan di setiap tahapan proses program atau kegiatan.
Penyusunan Visi
EVALUASI
Pengelolaan dan penggunaan evaluasi
Implementasi dan penggunaan monitoring
Pemetaan hasil
PERENCANAAN
Partisipasi Stakeholder
Perencanaan untuk monitoring
dan evaluasi
MONITORING
Gambar 2.1 Hubungan dan Peranan Perencanaan, Monitoring, dan Evaluasi (UNDP, 2009)
Terkadang kita sulit membedakan antara monitoring dan evaluasi. Baik
monitoring maupun evaluasi mengukur dan menilai kinerja, tetapi mereka memiliki
perbedaan pada cara dan waktu pelaksanaannya (Imas, 2009). Monitoring
memberikan informasi real-time, sedangkan evaluasi memberikan penilaian yang lebih mendalam (UNDP, 2009). Berikut perbedaan secara spesifik antara monitoring
dan evaluasi, yaitu:
Kajian SPEKP 2014
Kajian SPEKP 2014
9 9
No. 1. 2. 3. 4.
Tabel 2.1 Perbandingan Monitoring dan Evaluasi Monitoring Evaluasi On-going, berlanjut. Per periode dan tergantung waktu. Aktivitas internal. Internal, eksternal, atau participatory. Tanggungjawab dari manajemen. Tanggungjawab dari evaluator bersama dengan staff dan manajemen. Feedback berlanjut ke peningkatan Feedback secara periodic. kinerja program.
Sumber : Insideout, 2006 dalam Imas, 2009.
2.3.2 Tujuan Evaluasi Tujuan umum dari evaluasi adalah memberikan masukan umpan balik yang
dapat digunakan untuk meningkatkan program, kebijakan, dan strategi, serta
ditujukan pula untuk akuntabilitas dan transparansi, sedangkan tujuan khusus dari
evaluasi adalah untuk menentukan kerelevansian obyek, efisiensi, dan efektifitas terhadap pencapaian obyek, dan mengukur dampak dan keberlanjutan dari suatu
kebijakan, program, atau kegiatan. Namun secara spesifik lagi, tujuan evaluasi terdiri dari (Imas, 2009) :
1. Tujuan ethical, yaitu untuk melaporkan bagaimana kebijakan atau program diimplementasikan dan apa hasil yang telah dicapai dari adanya kebijakan atau program tersebut. Tujuannya adalah untuk implementasi dari demokrasi.
2. Tujuan managerial, yaitu untuk memperoleh kerasionalan dari distribusi
sumberdaya manusia dan finansial dalam “competing” program, peningkatan manajemen program, dan peningkatan manfaat program.
3. Tujuan
untuk
keputusan,
yaitu
untuk
menentukan
keputusan
akan
keberlanjutan, penghentian, atau pembentukan kembali suatu kebijakan atau program.
4. Tujuan untuk pendidikan dan motivasi, yaitu untuk membantu mendidik dan memotivasi melalui identifikasi diri (kemampuan) dengan objek yang ditargetkan.
2.3.3 Manfaat dan Kegunaan Evaluasi Manfaat evaluasi kemudian dapat dirasakan secara langsung maupun tidak
langsung. Evaluasi ini dapat dimanfaatkan sebagai penyedian informasi pada saat
proses implementasi program. Oleh karena itu evaluasi sangat penting untuk
dilakukan dalam manajemen suatu program atau kegiatan. Kajian SPEKP 2014 10 Kajian SPEKP 2014
10
Evaluasi juga memiliki kegunaan yang sangat penting, diantaranya adalah :
1. Untuk membantu membuat keputusan terkadap alokasi sumberdaya.
2. Untuk membantu memikirkan kembali penyebab masalah yang terjadi. 3. Untuk mengidentifikasi masalah yang muncul.
4. Untuk mendukung pembuatan keputusan atau penentuan tindakan alternatif. 5. Untuk mendukung sektor publik dalam inovasi.
6. Untuk membangun konsesus mengenai penyebab masalah dan bagaimana menaggapinya (Kusek, Rist, 2004 dalam Imas, 2009).
2.3.4 Fungsi Evaluasi dan Jenis Evaluasi 2.3.4.1 Fungsi Evaluasi Secara umum fungsi evaluasi adalah sebagai manajemen dan alat motivasi.
Manajemen berarti evaluasi memiliki fungsi untuk memfokuskan pada capaian dari suatu kebijakan,
program, atau kegiatan, dan memberikan dorongan dalam
pengembangan tujuan (Imas, 2009). 2.3.4.2 Jenis Evaluasi
Jenis evaluasi dapat dikelompokkan berdasarkan pada kategorinya, diantaranya
adalah berdasarkan cakupan, waktu, dan tujuannya. Jenis evaluasi berdasarkan pada cakupan ataupun tingkatannya dapat dibagi menjadi empat jenis, yaitu :
1. Evaluasi outcome, yaitu menilai kontribusi terhadap kemajuan pencapaian
outcome. Outcome tersebut diidentifikasi dari framework hasil program atau kegiatan. Evaluasi outcome dilakukan untuk memberikan laporan kemajuan
untuk mendukung akuntabilitas program, memberikan bukti pihak-pihak yang berkontribusi dalam pencapaian outcome, dan menuntun peningkatan kinerja
dalam kapasitas global ataupun regional yang diidentifikasi dari kekuatan,
kelemahan, dan gaps dari suatu wilayah. Evaluasi harus menjadi orientasi
outcome (UNDP, 2009). Evaluasi outcome harus menemukan obyek-obyek untuk menilai :
1) Kemajuan terhadap pencapaian outcome, termasuk pengaruh yang tidak diharapkan dari hasil kegiatan yang menghasilkan outcome tersebut.
2) Faktor-faktor yang berkontribusi terhadap outcome. Kajian SPEKP 2014
Kajian SPEKP 2014
11 11
3) Efektifitas dari strategi partnership dalam pencapaian outcome. 2. Evaluasi proyek, yaitu menilai kinerja dari kegiatan dalam pencapaian hasil. Ini
menghasilkan informasi penting dalam implementasi proyek dan pencapaian output. Tujuan utama dari evaluasi proyek adalah untuk membuat peningkatan,
melanjutkan kegiatan, atau untuk mempertimbangkan alternatif lain. Evaluasi proyek memegang peranan penting dalam akuntabilitas terhadap pemerintah dan pihak lainnya yang terlibat dalam proyek finansial. Evaluasi proyek
menghasilkan dasar evaluasi untuk outcome dan program. Berikut adalah tabel
perbedaan antara evaluasi proyek dan evaluasi outcome.
Tabel 2.2 Perbedaan antara Evaluasi Proyek dan Evaluasi Outcome
Fokus Scope
Tujuan
Evaluasi Proyek Secara umum menilai input, kegiatan, dan output. Spesifik pada objek dari proyek (tujuan), input, output, dan kegiatan. Selain itu juga mempertimbangkan relevansi dan keberlanjutan linkage dengan outcome. Proyek didasarkan untuk meningkatkan implementasi, untuk proyek selanjutnya di daerah yang sama, atau untuk upscaling proyek.
Sumber : UNDP, 2009
Evaluasi Outcome Outcome (apa, mengapa, dan bagaimana outcome dicapai). Luas, meliputi outcome, program, proyek, bantuan lunak, inisiatif mitra dan kesinergisan antara mitra-mitra yang berkontribusi dalam pencapaian. Untuk meningkatkan efektifitas pembangunan, untuk membantu dalam pembuatan keputusan, untuk membantu dalam pembuatan kebijakan, untuk penilaian selanjutnya, untuk mensistematis pendekatan inovasi dalam keberlanjutan pembangunan sumberdaya manusia.
3. Evaluasi tematik, yaitu digunakan untuk menilai kinerja di suatu area untuk menjamin keberlanjutan konstribusi hasil pembangunan. Ini difokuskan pada
satu atau beberapa tema.
4. Evaluasi dampak adalah sebuah evaluasi dari pengaruh positif atau negatif. Evaluasi dilihat dari dampak akhir (long-term) kemudian pengaruh (mediumterm) pada level hasil. Evaluasi dampak tersebut tidak simpel pengukurannya.
Kajian SPEKP 2014 12 Kajian SPEKP 2014
12
Tidak hanya menilai sebatas pada telah dicapainya suatu objek atau menilai
pengaruh langsung, tetapi juga menilai impact pada semua level dari rangkaian hasil. Oleh karena itu dalam evaluasi dampak membutuhkan partisipasi masyarakat dalam penilaiannya.
Selain itu jenis evaluasi juga dapat didasarkan pada waktu pelaksanaannya.
Jenis evaluasi ini secara umum dibagi menjadi tiga jenis yaitu evaluasi ex-ante, on-
going, dan ex-post.
1. Evaluasi ex-ante adalah evaluasi yang dilaksanakan sebelum penetapan rencana
pembangunan. Evaluasi ini digunakan untuk memilih dan menentukan skala
prioritas dari berbagai alternatif dan kemungkinan cara mencapai tujuan yang telah dirumuskan sebelumnya.
2. Evaluasi on-going adalah evaluasi yang dilakukan pada saat pelaksanaan rencana pembangunan. Evaluasi ini digunakan untuk menentukan tingkat
kemajuan pelaksanaan rencana dibandingkan dengan rencana yang telah ditentukan sebelumnya.
3. Evaluasi ex-post adalah evaluasi yang dilakukan setelah pelaksanaan rencana
berakhir. Evaluasi ini digunakan untuk mereview kegunaan dari program atau
kegiatan yang telah dilakukan, serta menilai efisiensi, efektifitas, dampak, dan keberlanjutannya.
Namun demikian dalam Handbook on Planning, Monitoring and Evaluating for Development Results, jenis evaluasi berdasarkan waktu dapat dibagi menjadi lebih rinci lagi, yaitu :
1. Evaluasi ex-ante adalah penilaian terhadap kemungkinan pengaruh yang terjadi di masa depan. Ini dilakukan sebelum kegiatan atau program dilakukan. Salah
satu tipe dari evaluasi ex-ante adalah evaluasi prospektif. Evaluasi Prospektif
adalah evaluasi yang menilai outcome dari tujuan kegiatan, program, atau kebijakan. Evaluasi prospektif sering berupa rekonstruksi atau penilaian program.
Kajian SPEKP 2014
Kajian SPEKP 2014
13 13
2. Evaluasi midterm adalah tipe dari evaluasi formatif. Evaluasi ini dimaksudkan untuk meningkatkan kinerja pada saat fase implementasi dari program atau kegiatan. Evaluasi formatif merupakan evaluasi yang dimaksudkan untuk
meningkatkan kinerja, sering dilakukan selama fase implementasi dari kegiatan
atau program. Evaluasi formatif juga dilakukan untuk alasan lain seperti
kepatuhan (compliance), legal requirements atau sebagai bagian dari evaluation
initiative. Evaluasi formatif menilai program, kebijakan, atau kegiatan yang
diimplementasikan. Tipe evaluasi ini dilaksanakan selama fase implementasi
dari program atau kegiatan. Evaluasi formatif sering disebut sebagai evaluasi proses, karena difokuskan pada operasional. Evaluasi ini memfokuskan pada
relevansi, efektifitas, dan efisiensi. Hal ini penting untuk menuntun ke tahapan selanjutannya dan meningkatkan kegiatan yang akan dilakukan (Imas, 2009).
3. Evaluasi final or terminal. Evaluasi final or terminal merupakan tipe dari evaluasi sumatif karena dilakukan menjelang akhir dari fase pelaksanaan
kegiatan atau program. Ini digunakan untuk menilai hasil yang didapat. Hal ini
digunakan untuk memberikan informasi tentang nilai program. Evaluasi
sumatif merupakan fase terakhir. Evaluasi sumatif dimaksudkan untuk
menyediakan informasi tentang kesalahan dari sebuah program (OECD, 2002).
Evaluasi sumatif sering disebut sebagai evaluasi outcome atau impact. Evaluasi ini dilakukan di fase akhir untuk antisipasi terhadap hasil yang akan diperoleh.
Evaluasi sumatif dimaksudkan untuk menyediakan informasi mengenai
dampak dari program. Evaluasi sumatif termasuk penilaian impact, keefektifan
biaya, quasi-experiments, randomized experiments, dan studi kasus. Evaluasi
sumatif dilakukan di akhir untuk menjawab pertanyaan dari relevansi, kinerja, dampak, keberlanjutan, external utility, dan lessons learned (Imas, 2009).
Berdasarkan uraian di atas, maka dapat disimpulkan perbedaan antara evaluasi formatif dan sumatif, yaitu sebagai berikut :
Evaluasi formatif fokus pada implementasi dan peningkatan dari kebijakan, program, atau kegiatan.
Evaluasi sumatif fokus pada hasil.
Kajian SPEKP 2014 14 Kajian SPEKP 2014
14
Kedua
tipe
evaluasi
tersebut
dibutuhkan
dan
digunakan
walaupun
penerapannya dilakukan dalam waktu yang berbeda di dalam siklus dari kebijakan, program, atau kegiatan.
4. Evaluasi ex-post, yaitu evaluasi yang dilakukan ketika program atau kegiatan
telah selesai dilakukan, bahkan biasanya dilakukan setelah 2 tahun atau lebih program atau kegiatan tersebut selesai. Ini bertujuan untuk menilai kesesuaian
antara hasil dari program atau kegiatan dengan tujuannya, menilai keberlanjutan dari hasil dan dampaknya, dan untuk pertimbangan dalam keputusan kedepannya.
Untuk jenis evaluasi yang berdasarkan tujuannya dibagi menjadi 3 (tiga) jenis yaitu: 1. Evaluasi proses
Evaluasi proses bertujuan untuk mengkaji bagaimana program berjalan dengan fokus pada masalah penyampaian pelayanan (service delivery).
2. Evaluasi biaya-manfaat (benefit-cost)
Evaluasi biaya-manfaat bertujuan untuk mengkaji biaya program relatif
terhadap alternatif penggunaan sumberdaya dan manfaat dari program.
3. Evaluasi dampak.
Evaluasi dampak bertujuan untuk mengkaji apakah program memberikan
pengaruh yang diinginkan terhadap individu, rumah tangga, masyarakat, dan kelembagaan.
2.3.5 Kriteria Evaluasi Dalam evaluasi, terdapat kriteria evaluasi yang diukur, yaitu relevansi, efisiensi,
efektifitas, dampak, dan keberlanjutan. 1) Relevansi
Relevansi didasarkan pada kinerja yang seharusnya diimplementasikan
berdasarkan pada program atau kegiatan yang telah dibuat dan sesuai dengan kebutuhan yang telah diprioritaskan (JBIC, 2006).
Kajian SPEKP 2014
Kajian SPEKP 2014
15 15
Gambar 2.2 Kriteria Relevansi Logframe
Kebijakan Program
RELEVANSI
Kebutuhan
Tujuan Keseluruhan (Impacts) Tujuan Kegiatan (Outcome) Outputs Inputs
Sumber : JBIC, 2006
2) Efektifitas
Efektifitas dinilai berdasarkan pada pencapaian tujuan sesuai dengan target
yang diharapkan dengan menggunakan output. Pencapaian tujuan dinilai dari
analiasis kualitatif (contohnya perhitungan dan analisis dari Internal Rates of Return (IRR)) (JBIC, 2006).
Gambar 2.3 Kriteria Efektifitas Logframe
Tujuan Keseluruhan (Impact) Tujuan Kegiatan (Outcome) Outputs
IRR Kegunaan Output
EFEKTIFITAS
Inputs
Sumber : JBIC, 2006
3) Efisiensi
Efisiensi dinilai berdasarkan pada input yang digunakan dalam implementasi kegiatan yang masih berada dalam batas minimum (JBIC, 2006).
Kajian SPEKP 2014 16 Kajian SPEKP 2014
16
Gambar 2.4 Kriteria Efisiensi Logframe Tujuan Keseluruhan (Impact)
Tujuan Kegiatan (Outcome) Outputs
EFISIENSI
Inputs Waktu Kegiatan Biaya Kegiatan Sumber : JBIC, 2006
4) Dampak
Evaluasi terhadap dampak mencoba untuk memperjelas kontribusi program atau kegiatan terhadap pembangunan jangka panjang, dan menilai pengaruh positif maupun negatif dari program atau kegiatan (JBIC, 2006). Gambar 2.5 Kriteria Dampak
Logframe Tujuan Keseluruhan (Impact)
Tujuan Kegiatan (Outcome) Outputs
IRR Kegunaan Output
DAMPAK
Inputs
Sumber : JBIC, 2006
Kajian SPEKP 2014
Kajian SPEKP 2014
17
17
5) Keberlanjutan
Program atau kegiatan dinilai keberlanjutannya ketika output telah selesai
hingga pada pencapaian outcome (tujuan program atau kegiatan). Fokusnya
pada kapasitas dan status dalam operasional dan pemeliharaannya (JBIC, 2006).
Gambar 2.6 Kriteria Keberlanjutan Logframe Tujuan Keseluruhan (Impact) Tujuan Kegiatan (Outcome) Outputs
Operasional dan Pemeliharaan
KEBERLANJUTAN
Inputs Sumber : JBIC, 2006
2.3.6 Peran Stakeholder dalam Evaluasi Stakeholder memegang peranan penting dalam perencanaan dan evaluasi.
Keterlibatan stakeholder pada setiap tahapan evaluasi berfokus pada penilaian,
penyusunan pertanyaan yang akan diajukan, pengidentifikasian sumber yang dapat dipercaya berdasarkan bukti, dan meninjau kembali temuan serta penilaian
interpretasi yang akan meningkatkan kredibilitas, potensi kegunaan dan keberlanjutan dari hasil evaluasi (UNDP, 2009). Komponen penting untuk menjamin
kredibilitas evaluasi adalah kemandirian tiap stakeholder dalam melakukan evaluasi
(tidak terpengaruh atau tidak memiliki ketergantungan). Stakeholder tersebut
kemudian dibagi ke dalam tiga kategori, yaitu :
1) Stakeholder yang terlibat pada implementasi, contohnya pemerintah, managers, staf, donor, dan lain sebagainya.
2) Stakeholder yang dilayani, contohnya penerima manfaat, dan lain sebagainya. Kajian SPEKP 2014 18 Kajian SPEKP 2014
18
3) Stakeholder yang merupakan pengguna utama dari evaluasi, contohnya pihak yang bekerjasama, pembuat keputusan, dan lain sebagainya.
2.3.7 Proses Evaluasi Dalam melakukan evaluasi perlu dilakukan beberapa proses yang saling
memiliki keterkaitan. Proses evaluasi tersebut terdiri dari tujuan evaluasi,
menyusun desain, menentukan rencana evaluasi, pelaku evaluasi, melaksanakan evaluasi, mensosialisasikan/diseminasi, dan menggunakan hasil evaluasi. 1) Menentukan tujuan evaluasi
Penentuan tujuan evaluasi dilakukan untuk memperbaiki desain program da untuk mengukur dampak.
2) Menyusun desain evaluasi yang kredibel
Penyusunan desain evaluasi dilakukan untuk menentukan indikator tolok ukur, menentukan metode analisis dan kebutuhan data, dan menentukan jadwal pelaksanaan.
3) Mendiskusikan rencana evaluasi
Diskusi rencana evaluasi dilakukan untuk penyandang dana program, pelaksana program, dan ahli evaluasi yang berkompeten.
4) Menentukan pelaku evaluasi
Pelaku evaluasi terdiri dari pelaku internal (pertentangan kepentingan) dan pelaku eksternal (keahlian, objektivitas, dan pengalaman).
5) Melaksanakan evaluasi
Dalam melaksanakan evaluasi ditekankan pada pengawasan kualitas data dan analisis.
6) Mendiseminasikan hasil evaluasi
Diseminasi hasil evaluasi dilakukan melalui bahasa yang sederhana dan mudah
dimengerti, fokus pada temuan utama, dan adaptif terhadap umpan balik
(feedback).
7) Menggunakan hasil evaluasi
Hasil evaluasi digunakan sebagai tuntutan untuk perubahan, pmbelajaran, dan penentuan program atau kebiakan baru.
Kajian SPEKP 2014
Kajian SPEKP 2014
19 19
2.4 Metode Evaluasi dan Data Evaluasi 2.4.1
Metode Evaluasi
Metode evaluasi yang digunakan secara umum terbagi menjadi dua kelompok
yaitu metode kualitatif dan metode kuantitatif. Metode kualitatif merupakan metode
yang lebih menekankan pada aspek pemahaman secara mendalam terhadap suatu masalah daripada melihat masalah tersebut secara generalisasi. Metode ini
menggunakan teknik analisis mendalam, yaitu mengkaji masalah secara kasus
perkasus karena metode kualitatif meyakini bahwa sifat suatu masalah antara satu dengan yang lainnya berbeda.
Berbeda dengan metode kualitatif, metode kuantitatif merupakan metode yang
lebih menekankan pada aspek pengukuran secara objektif. Dalam pengukurannya,
setiap hal dijabarkan ke dalam beberapa komponen masalah dan indikator.
Kemudian diberikan pembobotan angka. Dengan menggunakan angka tersebut, teknik perhitungan secara kuantitatif matematik dapat dilakukan sehingga dapat
menghasilkan suatu kesimpulan yang berlaku umum di dalam suatu parameter.
Tujuan utama dari metode ini ialah menjelaskan suatu masalah tetapi menghasilkan generalisasi.
Dalam pengumpulan datanya, metode kuantitatif menggunakan desain
eksperimen, desain eksperimen kuasi, dan desain noneksperimen (Imas, 2009). Desain-desain tersebut berkaitan erat dengan pertanyaan evaluasi yang akan digunakan. 2.4.2
Data Data yang digunakan dalam evaluasi secara garis besar terdiri dari dua jenis
data, yaitu data primer dan data sekunder. 1. Data Primer
Data primer merupakan data yang didapat dari sumber pertama baik individu
atau perorangan. Data ini diperoleh atau dikumpulkan secara langsung dari sumbernya. Data primer disebut juga sebagai data asli atau data baru yang memiliki sifat up to date. Oleh karena itu, dengan menggunakan data primer
Kajian SPEKP 2014 20 Kajian SPEKP 2014
20
akan mendapatkan informasi yang lebih mendalam mengenai output dan outcome baik yang diharapkan maupun yang tidak diharapkan.
2. Data Sekunder
Data sekunder adalah data yang secara tidak langsung dikumpulkan oleh orang
yang berkepentingan dengan data tersebut. Menurut Umar (1999), data
sekunder adalah data primer yang telah diolah lebih lanjut dan disajikan baik
oleh pengumpul data primer atau pihak lain. Data sekunder berasal dari data yang telah didokumentasikan oleh instansi atau lembaga seperti Biro Pusat
Statistik (BPS) atau lembaga pemerintah dan swasta lainnya. Dalam
penggunaan data sekunder, perlu diperhatikan sumber datanya, batasan konsep yang digunakan, serta tingkat ketelitian dalam pengumpulan data. 2.4.3
Metode Pengumpulan Data
Metode pengumpulan data merupakan suatu cara ilmiah untuk mendapatkan
data dengan tujuan dan kegunaan tertentu. Pengumpulan data tersebut digunakan untuk memperoleh informasi yang dibutuhkan dalam rangka mencapai tujuan evaluasi. Ada berbagai macam metode dalam pengumpulan data, yaitu observasi,
wawancara mendalam (in-depth interview), Focus Group Discussion (FGD), dan penyebaran kuesioner.
Dalam kegiatan evaluasi, evaluator tidak dapat menghabiskan waktu lama, oleh
karena itu sering dilakukan interview secara berkelompok bukan secara individu.
Dengan melakukan interview secara berkelompok maka pengumpulan data tersebut
akan lebih murah dan cepat dilakukan (OECD, n.d). Kelompok tersebut terdiri pihak-
pihak kunci yang mengetahui dan memanfaatkan suatu program atau kegiatan.
Evaluasi yang tepat, harus mengumpulkan data-data dari tahap ex-ante
(sebelum proyek). Dengan demikian, dalam evaluasi dibutuhkan tujuan dan cakupan program atau kegiatan yang jelas. Pengumpulan data untuk evaluasi dapat berasal
dari seluruh stakeholder dan pemanfaat yang dipengaruhi oleh program ataupun
kegiatan yang dilakukan. Dalam pengumpulan data untuk evaluasi, juga dibutuhkan penentuan sampel. Penentuan sampel sangat penting dilakukan, baik dari jumlah
Kajian SPEKP 2014
Kajian SPEKP 2014
21 21
dan luasannya, karena ini dapat menentukan representatif atau tidaknya suatu objek. 2.4.4
Kualitas Data
Data yang dikumpulkan harus sesuai dengan tujuan evaluasi dan metodelogi
pengumpulan data harus diverifikasi kevalidan, reliability, dan kredibilitasnya
(UNDP, 2009). Reliabilitas dan validitasnya merupakan aspek paling penting dalam
kualitas penilaian. Reliabilitas adalah data yang konsisten dalam pengukurannya. Validitas adalah ketepatan dalam pengukuran, dan kredibiltas menyangkut sejauh
mana dianggap valid dan tidak memihak kepada stakeholder tertentu. Ada tiga strategi untuk meningkatkan reliabilitas dan validitas, yaitu : 1. Meningkatkan kualitas sampling.
2. Meningkatkan kualitas data yang dikumpulkan.
3. Menggunakan metode campuran dalam pengumpulan data, contohnya menggunakan triangulasi atau banyak sumber data. Ini digunakan untuk
2.4.5
memverifikasi beberapa data yang akan digunakan. Analisis Data
Analisis data merupakan proses akhir dari penyederhanaan data, sehingga
menjadi bentuk yang lebih mudah dibaca dan diinterpretasikan. Analisis data adalah
proses sistematis yang melibatkan penyusunan dan pengklasifikasian informasi yang dikumpulkan, tabulasi data, rekapitulasi, dan membandingkan hasil dengan
rencana target yang akan dicapai. Analisis data yang digunakan adalah analisis
deskriptif baik secara kualitatif maupun kuantitatif. Hal ini berguna untuk
mengambil informasi yang berguna dalam menjawab pertanyaan evaluasi dan memenuhi tujuan evaluasi (UNDP, 2009). Selain itu, analisis data digunakan juga dalam penilaian terhadap lima kriteria evaluasi. Ini merupakan proses dari
pendeskripsian fakta berdasarkan pada bukti-bukti yang telah disusun secara sistematis. Hasil inilah yang kemudian akan menjadi dasar untuk pembuat keputusan selanjutan.
Kajian SPEKP 2014 22 Kajian SPEKP 2014
22
2.5 Pelaporan Evaluasi Dalam laporan evaluasi terdapat beberapa kriteria yang harus diperhatikan. Ini
digunakan untuk kualitas dari laporan evaluasi tersebut. Berikut kriteria yang dibutuhkan dalam laporan evaluasi :
1. Struktur yang baik dan lengkap.
2. Mendiskripsikan apa yang dievaluasi dan mengapa dievaluasi.
3. Mengidentifikasi pertanyaan yang menjadi perhatian pengguna.
4. Menjelaskan langkah-langkah dan prosedur yang digunakan untuk menjawab pertanyaan-pertanyaan.
5. Mempresentasikan penemuan yang didukung oleh bukti dalam menanggapi pertanyaan.
6. Mengakui keterbatasan.
7. Menarik kesimpulan dari penemuan-penemuan yang didasarkan pada bukti.
8. Mengusulkan tujuan konkrit dan rekomendasi yang berguna, berasal dari
kesimpulan (UNEG (Standar untuk Evaluasi di Sistem PPB ), 2005 dalam UNDP, 2009).
Kajian SPEKP 2014
Kajian SPEKP 2014
23 23
24
Kajian SPEKP 2014
BAB III METODOLOGI KAJIAN
3.1 Kerangka Pikir Kajian Kajian ini berawal dari pemikiran tentang manajemen pembangunan. Dalam
manajemen pembangunan terdapat tiga point utama di dalamnya yaitu
perencanaan, implementasi, dan evalasi. Manajemen pembangunan tersebut berbentuk siklus yang saling berkaitan dan saling mempengaruhi.
Dalam penyusunan kajian ini didasarkan atas konsep evaluasi yang berasal dari
beberapa literatur (secara teoritis), dan didasarkan pula atas kondisi eksisting pelaksanaan evaluasi pembangunan. Dalam pemahaman konsep evaluasi akan ditekankan pada tujuan evaluasi, jenis evaluasi, metode evaluasi, pertanyaan
evaluasi, pelaksanaan evaluasi, dan feedback evaluasi. Berdasarkan pada beberapa
literatur, terdapat tiga macam jenis evaluasi, yaitu berdasarkan cakupan, berdasarkan waktu, dan berdasarkan metode.
Kemudian dari hasil pemahaman berdasarkan teoritisnya, selanjutnya akan
disandingkan dengan kondisi eksisting pelaksanaan rencana pembangunannya,
yaitu evaluasi RPJMN, Renstra, RKP, RPJMD, Renja, dan RKPD yang telah dilakukan
selama ini. Dalam penilaian terhadap kondisi eksistingnya juga akan dilakukan pemahaman tentang tujuan evaluasi, jenis evaluasi, mekanisme evaluasi, waktu pelaksanaan, manfaat asil evaluasi, dan mekanisme pelaporannya. Selain itu juga akan dipelajari tentang pedoman evaluasi yang ada hingga saat ini.
Hasil dari pemahaman dan penyandingan tersebut kemudian akan digunakan
sebagai
dasar
untuk
melakukan
pengembangan
evaluasi
perencanaan
pembangunan. Keluaran dari kajian ini kemudian berupa laporan dan pedoman evaluasi perencanaan pembangunan yang kemudian akan digunakan sebagai panduan untuk melaksanakan evaluasi.
Kajian SPEKP 2014
Kajian SPEKP 2014
24 25
Tujuan Evaluasi
-
Jenis Evaluasi
Konsep Evaluasi (Teoritirs)
Pertanyaan Evaluasi
Berdasarkan Waktu - Evaluasi Ex-ante - Evaluasi On-going - Evaluasi Ex-post
Metode Evaluasi
Berdasarkan Cakupan Evaluasi Outcome Evaluasi Kegiatan Evaluasi Tematik Evaluasi Dampak
Kajian SPEKP 2014
Pelaksanaan Evaluasi
Feedback Evaluasi
Berdasarkan Metode - Evaluasi Pra-Implementasi - Evaluasi Proses Implementasi Rapid Appraisal Studi Kasus Evaluasi Dampak Meta Evaluasi -
Tujuan Evaluasi
Pengambangan Evaluasi Perencanaan Pembangunan
Drfat Pedoman Evaluasi Pelaksanaan Rencana Pembangunan
Gambar 3.1 Kerangka Pikir Kajian
25
Waktu Pelaksanaan
Pemanfaatana Hasil Evaluasi
Pedoman yang ada saat ini
Kondisi Eksisting Pelaksanaan Evaluasi Pembangunan
Mekanisme Evaluasi
Pelaksanaan Evaluasi oleh K/L dan Daerah
Jenis Evaluasi
Mekanisme Pelaporan
Kajian SPEKP 2014
26
3.2 Data dan Pengumpulan Data Data yang dikumpulkan berupa data primer dan sekunder. Pengumpulan data
ataupun informasi diperoleh melalui pengisian kuesioner dan wawancara
mendalam secara individual dan kelompok terhadap pihak-pihak yang berada di
bidang evaluasi baik di K/L maupun Pemerintah Daerah pada saat kunjungan
lapangan, dan diskusi/panel pakar (Focussed Group Discussion/FGD). Untuk
pengumpulan data dari daerah dilakukan dengan kunjungan ke 9 (sembilan) provinsi. Provinsi tersebut merupakan daerah terpilih untuk menjadi sampel.
Pemilihan daerahnya (provinsi) didasarkan atas pembagian regional, yaitu barat,
tengah, dan timur. Kesembilan provinsi yang terpilih tersebut adalah Provinsi Kalimantan Timur, Jawa Timur, Sumatera Barat, Sumatera Utara, Bali, Sulawesi
Selatan, Sulawesi Tenggara, Jawa Tengah, dan Jawa Barat. Sedangkan untuk K/L,
pengumpulan dilakukan terhadap 29 K/L.
Data primer dikumpulkan langsung atau diamati oleh Tim Kajian. Data dan
informasi yang dikumpulkan meliputi beberapa aspek dari sistem evaluasi, yaitu tujuan evaluasi, jenis evaluasi, pelaksanaan atau mekanisme evaluasi, waktu
pelaksanaan, pelaporan, pemanfaatan hasil serta kendala dan tindak lanjut. Tim
Kajian juga dimungkinkan untuk melakukan pendalaman terhadap informasi
tertentu melalui studi literatur.
3.3 Pengolahan Data dan Analisis Data Pengolahan data merupakan proses untuk memperoleh data sekaligus
informasi yang siap untuk dilakukan analisis. Pengolahan tersebut dilakukan
melalui penelaahan dan pemetaan terhadap data atau informasi yang berasal dari K/L dan daerah. Pengolahan juga dilakukan terhadap informasi yang berasal dari
hasil studi literatur. Pengolahan ini dilakukan dengan tujuan untuk mencari
keterkaitan atau hubungan antara hasil studi literatur dengan evaluasi yang telah
dilaksanakan selama ini oleh K/L ataupun daerah. Hasil dari pengolahan tersebut
kemudian dianalisis.
Metode analisis yang digunakan dalam penyusunan kajian ini adalah metode
analisis deskriptif kualitatif. Tujuan pengolahan dan analisis ini adalah untuk membangun suatu konsep sistem evaluasi kinerja pembangunan. Kajian SPEKP 2014
Kajian SPEKP 2014
26 27
28
Kajian SPEKP 2014
BAB IV PELAKSANAAN EVALUASI PEMBANGUNAN 4.1
Deskripsi Kondisi Eksisting Pelaksanaan Evaluasi Pembangunan
4.1.1 Penerapan Evaluasi Pembangunan oleh K/L A.
Deskripsi Pelaksanaan Evaluasi Pembangunan oleh K/L Secara umum K/L telah melakukan evaluasi. Evaluasi yang paling sering
dilakukan oleh seluruh K/L adalah Evaluasi Renstra K/L. Sebagian besar K/L
melakukan evaluasi Renstra baik ketika paruh waktu ataupun akhir periode. Tidak
hanya melakukan evaluasi pada Renstra, beberapa K/L juga ada yang melakukan evaluasi terhadap Renja K/L, RPJMN, dan RKP. Namun demikian, khusus untuk
evaluasi RPJMN dan RKP hanya dilakukan oleh sedikit K/L. Kemudian keseluruhan evaluasi tersebut dilakukan secara tahunan, tiga tahunan (paruh waktu/tengah
periode), dan lima tahunan (akhir periode).
Selain itu beberapa K/L juga melakukan evaluasi terhadap perencanaan
lainnya, misalnya Rencana Pelaksanaan Komponen (RPK), Rencana Kerja Tahunan
(RKT), Rencana Umum Pengadaan (RUP), pinjaman Hibah Luar Negeri, dan lain
sebagainya, yang dilakukan sesuai dengan kebutuhannya.
Berdasarkan waktu pelaksanaannya, maka jenis evaluasi yang sering digunakan
adalah on-going, yaitu ketika proses implementasi dan ex-post. Secara umum tujuan dari pelaksanaan evaluasi pembangunan tersebut adalah: 1) Sebagai laporan pertanggungjawaban; 2) Mengukur pencapaian kinerja;
3) Perbaikan kebijakan/program;
4) Masukan untuk proses perencanaan dan penganggaran periode berikutnya.
Dalam pelaksanaannya yang melakukan evaluasi adalah pihak (evaluator) dari
internal dan eksternal. Evaluator internal dan eksternal melakukan proses evaluasi secara bersama-sama baik dari perancangan konsep/desain, pengumpulan data, hingga analisisnya.
Metode evaluasi yang digunakan oleh sebagian besar K/L adalah metode
kualitatif dan kuantitatif. Namun ada beberapa K/L juga yang hanya menggunakan Kajian SPEKP 2014
Kajian SPEKP 2014
27 29
metode kualitatif atau kuantitatif saja. Dalam metode kuantitatif setiap halnya
dijabarkan ke dalam beberapa komponen masalah dan indikator, kemudian diberi pembobotan.
Dalam penilaian evaluasi, kriteria evaluasi yang paling sering digunakan adalah
efisiensi, efektifitas, dan relevansi. Namun ada beberapa K/L juga yang
menggunakan kriteria dampak. Kriteria dampak masih sangat jarang digunakan karena untuk pengukuran dampak hanya dapat dilakukan setelah minimal dua tahun program/kegiatan dilakukan, dan dalam pengukurannya juga bersifat sangat
kompleks. Kriteria dampak tersebut digunakan untuk mengukur manfaat yang
berlanjut setelah program atau kegiatan berakhir. Pengukuran efektifitas khususnya ditujukan untuk menilai capaian program/kegiatan dengan hasil yang diharapkan,
sedangkan pengukuran efisiensi ditujukan untuk mengukur bagaimana input secara
ekonomis yang dikonversi menjadi hasil. Berbeda dengan dua kriteria lainnya, untuk penilaian relevansi digunakan untuk mengukur keterkaitan antara tujuan program dengan prioritas nasional.
Pelaksanaan evaluasi pembangunan yang dilakukan oleh K/L sangat bervariasi.
Hal ini dikarenakan oleh belum adanya pedoman evaluasi yang menjelaskan secara spesifik mengenai tahapan pelaksanaan evaluasi tersebut. Secara umum mekanisme/tahapan evaluasi yang dilakukan oleh K/L adalah sebagai berikut:
1. Pengumpulan data, melalui: 1) pengumpulan data primer; 2) observasi langsung; 3) wawancara dengan pelaksanaan kegiatan pembangunan;
2. Pengolahan data;
3. Pengumpulan dan identifikasi masalah;
4. Pembahasan lebih lanjut dari hasil identifikasi masalah yang ada; 5. Perolehan hasil tindak lanjut; 6. Pelaporan;
7. Penerapan hasil tindak lanjut.
Dalam hal penyusunan laporan, format laporan evaluasi menggunakan standar
laporan secara umum dengan substansi yang dimuat adalah realisasi penyerapan anggaran, realisasi pencapaian target keluaran, kendala yang dihadapi, dan tindak lanjut. Hasil dari pelaksanaan evaluasi kemudian digunakan untuk: 1. Penyusunan program dan anggaran berikutnya;
Kajian SPEKP 2014 30 Kajian SPEKP 2014
28
2. Penentuan program kegiatan selanjutnya termasuk pelaksanaan, dan memprediksi permasalahan yang akan dihadapi;
3. Penajaman arah kebijakan, penyesuaian arah mekanisme kinerja, dan penyesuaian jadwal pencapaian kinerja.
Dalam pelaksanaan evaluasi pembangunan juga terdapat beberapa kendala
yang dihadapi. Kendalan tersebut baik yang bersifat internal maupun eksternal.
Kendala yang termasuk dalam kategori internal adalah masih kurangnya kualitas dan kuantitas dari sumber daya manusia (SDM), dengan kata lain masih banyaknya SDM yang melakukan evaluasi belum begitu mengerti tentang konsep evaluasi dan
tata cara pelaksanaan evaluasi program/kegiatan yang baik sehingga hasil evaluasi
menjadi kurang optimal. Untuk kendala eksternal, diantaranya adalah mengenai informasi dan data yang digunakan untuk evaluasi sulit untuk diperoleh, dan tidak
adanya pedoman yang menjelaskan tentang pelaksanaan evaluasi untuk seluruh program/kegiatan pembangunan.
Berdasarkan permasalahan atau kendala yang dihadapi dalam pelaksanaan
evaluasi, maka diharapkan suatu tindak lanjut. Tindak lanjut tersebut diantaranya adalah perlunya diklat atau pelatihan evaluasi untuk SDM pelaksana evaluasi, dan
adanya panduan evaluasi yang menjelaskan tentang batasan dan cara/metode
evaluasi yang bersifat praktis dan operasional. B.
Jenis Evaluasi Pembangunan yang Dilakukan oleh K/L Hingga saat ini pelaksanaan evaluasi pembangunan telah dilakukan, baik oleh
K/L ataupun oleh Kementerian PPN/Bappenas. Sebagian besar K/L telah melakukan
evaluasi terhadap Rencana Strategis (Renstra) yang dimilikinya, sedangkan
Bappenas telah melakukan evaluasi terhadap Rencana Kerja Pemerintah (RKP) dan Rencana Pembangunan Jangka Menengah Nasional (RPJMN). Hal ini sesuai dengan amanat dalam UU No. 25/2004 tentang Sistem Perencanaan Pembangunan Nasional
yang menyebutkan bahwa Bappenas melakukan evaluasi rencana pembangunan
berdasarkan hasil evaluasi K/L, dan hasilnya digunakan untuk penyusunan
pembangunan periode berikutnya. Evaluasi tersebut ada yang dilakukan secara tahunan, tengah periode, dan akhir periode. Hal ini disesuaikan dengan kebutuhan
dan cakupannya. Untuk evaluasi yang dilakukan secara tahunan adalah evaluasi Kajian SPEKP 2014
Kajian SPEKP 2014
29 31
terhadap RKP, sedangkan Renstra K/L dan RPJMN dilakukan ketika pertengahan periode (paruh waktu) dan akhir periode. 1) Evaluasi RKP
Evaluasi RKP adalah evaluasi yang bersifat tahunan. Evaluasi RKP yang
dilaksanakan setiap akhir tahun tersebut, kemudian disebut sebagai Evaluasi Akhir Tahun (EAT) RKP. EAT RKP merupakan upaya penyusunan umpan balik bagi proses perencanaan pembangunan, sesuai dengan amanat Peraturan
Pemerintah No. 39/2006. Evaluasi dilakukan untuk menilai pencapaian
pelaksanaan pembangunan oleh K/L. Dalam kajian ini pembahasan mengenai
evaluasi RKP dibatasi dengan mengambil contoh pada pelaksanaan evaluasi
RKP 2013.
Pada EAT RKP 2013, evaluasi yang dilakukan masih dibatasi hanya mencakup
20 kementerian dengan alokasi APBN terbesar, berdasarkan program
pembangunan RKP 2013. Penitikberatan evaluasi dilakukan pada 3 (tiga) fokus reviu, yaitu reviu terhadap: 1) capaian indikator program RKP 2013; 2) capaian pelaksanaan pembangunan tahun 2013 berdasarkan Laporan Triwulan IV PP 39/2006; dan 3) efisiensi dan efektifitas program RKP 2013.
Untuk keperluan EAT RKP 2013 digunakan Kertas Kerja EAT RKP 2013 dengan
isian data capaian indikator program RKP, realisasi fisik dan realisasi anggaran,
serta hasil komunikasi dan konsultasi dengan kementerian terkait. Cakupan
analisis yang dilakukan meliputi reviu capaian pelaksanaan pembangunan berdasarkan Laporan Triwulan IV PP 39/2006, capaian indikator program, dan reviu efisiensi dan efektifitas program yang mengaitkan capaian indikator
program dengan capaian pelaksanaan pembangunan terutama realisasi anggaran. Setiap tahunnya, cakupan analisis yang digunakan berbeda-beda. Pada tahun 2012, cakupan analisisnya meliputi reviu capaian pelaksanaan
pembangunan berdasarkan laporan TW IV PP 39/2006 dan capaian indikator
program RKP 2012. Sedangkan untuk tahun 2013 ditambahkan reviu efisiensi dan efektifitas program RKP 2013.
Kajian SPEKP 2014 32 Kajian SPEKP 2014
30
Mekanisme pelaksanaan evaluasi RKP dibagi menjadi 4 (tahapan), yaitu: a. Tahap
persiapan,
yang
meliputi
persiapan
format
kertas
kerja
pengumpulan data (untuk dikonfirmasi dan dilengkapi oleh kementerian).
b. Tahap pengumpulan data, dengan menyampaikan Kertas Kerja EAT RKP 2013.
c. Tahap Validasi, pengolahan dan analisis data.
Untuk analisis data, cara yang dilakukan meliputi 3 hal, yaitu: 1) analisis
terhadap capaian indikator Program RKP menggunakan gap analisis; 2) analisis terhadap capaian pelaksanaan pembangunan tahun 2013
(berdasarkan e-Monev TW IV PP 39/2006), yang mencakup: (a) realisasi
fisik; (b) realisasi angaran; (c) analisis terhadap efisiensi dan efektifitas
program tahun 2013, dengan cara mengidentifikasi kombinasi yang terbentuk antara realisasi anggaran dengan capaian indikator program.
d. Tahap finalisasi draft laporan, sekaligus pencetakan untuk dibagikan sebagai feedback kepada kementerian.
2) Evaluasi Renstra K/L
Rencana Strategis (Renstra) adalah perencanaan jangka menengah. Setiap K/L memiliki Renstra yang sifatnya 5 (lima) tahunan. Sebagian besar K/L telah
melakukan evaluasi terhadap Renstra yang dimilikinya masing-masing. Secara
khusus evaluasi tersebut dilakukan untuk mengetahui target sasaran yang
sudah tercapai, maupun target sasaran yang memerlukan perhatian khusus.
Target dan sasaran yang butuh perhatian khusus adalah target sasaran yang
belum tercapai. Sedangkan secara umum, evaluasi tersebut dilakukan guna
mengetahui capaian target, sasaran, permasalahan, dan kendala yang dihadapi
dalam pelaksanaan program dan kegiatan pembangunan. K/L yang telah
melakukan evaluasi terhadap Renstra yang dimilikinya, melakukan evaluasinya
baik untuk tengah periode (paruh waktu) maupun akhir periode. Evaluasi paruh waktu dilakukan guna mendapatkan feedback untuk penyempurnaan
program dan kegiatan pada sisa paruh waktu berikutnya.
Evaluasi yang dilakukan adalah evaluasi terhadap program utama atau program
yang dinilai strategis. Ruang lingkup evaluasi tersebut mencakup evaluasi Kajian SPEKP 2014
Kajian SPEKP 2014
31 33
program, rencana aksi, dan langkah operasional untuk pencapaian target.
Dalam penyusunannya, semua K/L menggunakan data primer dan data
sekunder. Data primer tersebut diperoleh dengan menggunakan metode survey
dengan teknik wawancara dan observasi dengan menggunakan kuesioner. Data tersebut dikumpulkan dari berbagai responden yaitu pemangku kepentingan
baik yang terlbat langsung maupun tidak langsung. Data sekunder diperoleh
dari instansi terkait.
Data yang telah terhimpun kemudian akan dianalisis secara kualitatif dan
kuantitatif, guna mengetahui efektifitas, efisiensi, dan akuntabilitas. Metode
analisis yang digunakan disesuaikan dengan lingkup evaluasinya. Secara umum
K/L melakukan evaluasi terhadap lingkup kinerja pembangunannya. Untuk
evaluasi tersebut menggunakan gap analysis yang kemudian diberikan pula
analaisis capaiannya, permasalahan yang dihadapainya, serta rencana tindak
lanjutnya. Kementerian yang telah melakukan evaluasi terhadap Renstra contohnya adalah Kementerian Pertanian dan Kementerian Tenaga Kerja dan Transmigrasi.
3) Evaluasi RPJMN
Evaluasi terhadap RPJMN dilakukan baik ketika tengah periode (mid term review/evaluasi paruh waktu), akhir periode, bahkan tahunan. Evaluasi yang telah dilakukan terhadap RPJMN adalah evaluasi RPJMN 2010-2014. Evaluasi
ini difokuskan pada 14 Prioritas Nasional (PN) dalam RPJMN 2010-2014.
Untuk evaluasi paruh waktunya dilakukan dengan tujuan untuk menilai
pelaksanaan kebijakan pembangunan yang telah ditetapkan (RPJMN 20102014) sampai dengan tahun 2012. Dengan adanya evaluasi tersebut diharapkan dapat diupayakan peningkatan konsistensi dalam pencapaian sasaran yang
ditetapkan, perbaikan-perbaikan terhadap kebijakan pembangunan, serta
sebagai bahan masukan dalam penyusunan rencana pembangunan. Evaluasi ini
juga merupakan bagian dari amanat dalam UU No. 25 tahun 2004 tentang
Sistem Perencanaan Pembangunan Nasional (SPPN) dan Peraturan Pemerintah No. 39 tahun 2006 tentang Tata Cara Pengendalian dan Evaluasi Pelaksanaan Rencana Pembangunan.
Kajian SPEKP 2014 34 Kajian SPEKP 2014
32
Penilaiannya dilakukan terhadap capaian sasaran-sasaran pembangunan yang
dilakukan dengan menggunakan gap analysis, yaitu melihat perbedaan capaian
dan memperkirakan pencapaian sasarannya pada tahun 2014 pada tingkat visi,
misi, agenda pembangunan kebijakan ekonomi makro dan pembiayaan
pembangunan, dan sasaran 14 PN. Analisis pencapaian sasaran utama pembangunan didasarkan pada indikator sasaran utama pembangunan
nasional serta berdasarkan pada kegiatan prioritas yang dianggap strategis
yang dimuat dalam Buku I RPJMN 2010-2014, permasalahan yang dihadapi
selama pelaksanaan pembangunan dan perkiraan permasalahan yang akan
dihadapi, serta upaya-upaya yang harus dilakukan untuk mencapai target 2014.
Data yang digunakan dalam pelaksanaan evaluasi ini adalah data yang
diperoleh langsung dari sektor dan K/L terkait. Setiap K/L yang terkait langsung dengan PN RPJMN 2010-2014 memberikan laporan sebagai bahan untuk penyusunan evaluasi RPJMN. Dalam laporannya setiap K/L melakukan evaluasi terhadap kegiatan prioritas yang mendukung program PN.
Berikut adalah tahapan pelaksanaan evaluasi RPJMN:
1. Kedeputian Evaluasi Kinerja Pembangunan (EKP) membuat desain (konsep) untuk evaluasi paruh waktu dan akhir tahun RPJMN 2010-2014.
2. Desain evaluasi tersebut kemudian diserahkan ke Direktorat sektor dan juga K/L terkait. Direktorat sektor dan K/L terkait mengumpulkan data sebagai bahan evaluasi dan melakukan evaluasi.
3. Hasil dari evaluasi tersebut diserahkan ke Kedeputian Evaluasi Kinerja Pembangunan (EKP).
4. Kedeputian EKP melakukan pemeriksaan ataupun konfirmasi terutama dalam kaitannya dengan data. Selain itu dilakukan juga pemeriksaan
konsistensi antara data dengan analisis evaluasinya. Untuk evaluasi terhadap kinerja agenda pembangunan yang sebagian besar merupakan kebijakan lintas sektor dilakukan oleh Kedeputian Evaluasi.
Hasil evaluasi paruh waktu RPJMN merupakan salah satu hasil evaluasi yang
ditindaklajuti dalam dokumen RKP 2015. Beberapa program/kegiatan yang
Kajian SPEKP 2014
Kajian SPEKP 2014
33 35
masuk
dalam
kategori
merah/kuning
menjadi
pertimbangan
dalam
menentukan isu strategis dalam RKP 2015 dan ditindaklanjuti melalui kebijakan dan strategi pembangunan yang dapat mendorong pencapaian target kinerja pada akhir periode RPJMN, yaitu tahun 2014.
Berdasarkan penjelasan diatas maka secara umum metode evaluasi yang digunakan adalah metode gap analysis dan menggunakan analisis deskriptif kualitatif dan kuantitatif. Gap analysis hanya digunakan untuk membandingkan antara realisasi yang dicapai dengan target yang ditentukan sebelumnya.
Evaluasi yang dilakukan juga belum melihat sampai pada efisiensi, efektivitas,
manfaat,
dan dampak.
Dengan
demikian dapat disimpulkan bahwa
pelaksanaan evaluasi selama ini masih lemah, karena belum menggunakan
konsep evaluasi secara optimal. Secara teoritis, evaluasi dilakukan dengan mengukur kriteria-kriteria evaluasi.
4.1.2
Penerapan Evaluasi Pembangunan oleh Pemerintah Daerah
Secara umum daerah telah melakukan evaluasi, namun evaluasi tersebut masih
sangat bervariasi baik dari segi evaluasi terhadap pelaksanaan pembangunan
(dokumen perencanaan pembangunan), cakupan, waktu pelaksanaan, pelaku evaluasi, kriteria evaluasi yang digunakan, teknik penilaian, dan tahapan yang
dilakukannya. Sebagian besar evaluasi pelaksanaan pembangunannya dilakukan
terhadap RPJMD, RKPD, Renstra SKPD, dan Renja SKPD. Pelaksanaan evaluasi pada masing-masing daerah berbeda-beda sesuai dengan kebutuhannya. Ada yang hanya
mengevaluasi RPJMD dan RKPD saja, tetapi ada pula yang telah melakukan hingga
pada Renstra SKPD dan Renja SKPD. Adapun evaluasi lainnya seperti Laporan
Keterangan Pertanggungjawaban (LKPJ), Laporan Keterangan Pertanggungjawaban
Akhir Masa Jabatan (LKPJ-AMJ), Evaluasi Kinerja Pembangunan Daerah, Evaluasi APBD, Evaluasi RAD-MDGs, Evaluasi RAD-GRK. Untuk evaluasi RPJPD masih banyak
daerah yang belum melaksanakan, dari 9 (sembilan) sampel terpilih, hanya Provinsi Kalimantan Timur yang telah melaksanakan.
Evaluasi RKPD, Renstra SKPD, dan Renja SKPD dilakukan secara tahunan,
sedangkan evaluasi RPJMD di beberapa daerah dilakukan dengan waktu yang
berkala dan sangat bervariasi, beberapa melakukan evaluasi setiap 2,5 – 3 tahun Kajian SPEKP 2014 36 Kajian SPEKP 2014
34
sebagai mid term review dan 5 tahunan. Secara umum tujuan evaluasi yang dilakuan oleh daerah adalah untuk mengukur kinerja, keberhasilan, dan kegagalan dari suatu
program dan kegiatan yang telah direncanakan. Namun, secara khusus beberapa
daerah juga melakukan evaluasi dengan tujuan:
1. Untuk pemutahiran target dan sasaran untuk disesuaikan dengan kapasitas fiskal, dan dinamika perkembangan kebijakan nasional.
2. Untuk mengetahui tingkat efektifitas dan efisiensi kinerja.
3. Untuk memantau apakah rencana yang tertuang dalam RKPD sudah sesuai dengan pelaksanaannya.
4. Untuk melakukan koreksi apabila ditemukan penyimpangan/hambatan/ kendala.
Dalam pelaksanaan evaluasi, berdasarkan cakupannya, jenis evaluasi yang
digunakan oleh sebagian daerah adalah evaluasi kegiatan dan evaluasi outcome, sedangkan evaluasi tematik hanya dilakukan oleh beberapa daerah dan evaluasi ini
pun langsung dilakukan oleh bidang (sektor) terkait. Evaluasi tematik tersebut
difokuskan pada program prioritas daerah seperti revitalisasi balai instalasi,
program kredit rakyat, pembangunan kawasan melalui one map one data, MDGs, kemiskinan, dan lain sebagainya. Untuk evaluasi dampak belum pernah dilakukan oleh daerah terpilih dalam sampel ini. Jika berdasarkan waktu pelaksanaannya,
maka jenis evaluasi yang digunakannya adalah evaluasi on-going dan ex-post.
Evaluasi on-going adalah evaluasi yang paling sering dilakukan. Evaluasi ini dilakukan untuk mengukur konsistensi antara perencanaan dengan pelaksanaan. Sedangkan evaluasi ex-post paling sering digunakan untuk mengevaluasi RKPD.
Untuk evaluasi ex-ante masih sangat jarang dilakukan, dari daerah yang menjadi
sampel, hanya Kalimantan Timur yang melakukannya. Evaluasi tersebut dilakukan tiap tahun untuk mengevaluasi Renja SKPD dan RKPD. Hal ini dilakukan untuk mengevaluasi konsistensi antara perencanaan dengan penganggarannya. Seringkali hal tersebut tidak memiliki kesesuaian yang diakibatkan oleh banyaknya unsur politik didalamnya.
Berdasarkan metodenya, jenis evaluasi yang sering digunakan adalah evaluasi
proses implementasi. Untuk evaluasi Performance Logic Chain hanya dilakukan oleh beberapa daerah. Hal ini dikarenakan sebagian besar SKPD masih belum Kajian SPEKP 2014
Kajian SPEKP 2014
35 37
mengetahui tentang logframe, bahkan indikator yang disusun pun levelnya masih kurang tepat. Meta evaluasi juga masih jarang dilakukan karena setiap SKPD belum
tentu melakukan evaluasi terhadap Renja SKPD atau Renstra SKPD. SKPD lebih sering melakukan evaluasi studi kasus, misalnya evaluasi kemacetan, pelabuhan,
dan jalan. Evaluasi tersebut pun hanya bersifat insidental. Sedangkan evaluasi pra
implementasi belum pernah dilakukan oleh daerah, Hal ini dikarenakan pihak
daerah masih merasa suatu program atau kegiatan belum bisa diukur jika belum
dilaksanakan.
Dalam pelaksanaan evaluasinya, pelaku evaluasi yang terlibat dalam kegiatan
tersebut adalah evaluator internal dan juga evaluator eksternal. Tim internal berasal
dari instansi atau unit sendiri, sedangkan evaluator eksternal sebagaian besar menggunakan pihak-pihak dari akademisi, yaitu dari Perguruan Tinggi. Namun ada
beberapa daerah juga yang menggunakan evaluator eksternal dari konsultan, dan
hanya Provinsi Jawa Tengah yang melibatkan LSM dalam melakukan evaluasinya.
Pihak evaluator eksternal berperan untuk memberikan masukan dari sisi teoritis dan memberikan perspektif dari sudut pandang yang berbeda yang berguna bagi
pelaksanaan evaluasi, sedangkan pihak internal berperan sebagai konseptor, sebagai pihak yang mendapatkan data langsung dari pemangku program dan penerima manfaat, dan sebagai penyusun laporan.
Metode evaluasi yang digunakannya adalah metode evaluasi kualitatif dan
kuantitatif. Metode kuantitatif digunakan untuk membandingkan target dengan capaiannya,
kemudian
membandingkan
pula
antara
capaian
yang
telah
diperolehnya dengan capaian dari provinsi lain (dalam satu pulau) dan juga capaian secara nasional. Jenis data yang digunakan untuk evaluasi adalah data primer dan
data sekunder. Data sekunder tersebut berasal dari BPS, SKPD, dan juga instansi pusat. Data primer juga diperoleh dari SKPD melalui FGD dan wawancara mendalam. Bahkan ada pula daerah yang melakukan pengumpulan data primernya
melalui penyebaran kuesioner atau form yang yang sesuai dengan Peraturan
Menteri Dalam Negeri (Permendagri) No. 54 tahun 2010.
Untuk stakeholder yang terlibat dalam pengumpulan datanya, sebagian besar
menggunakan stakeholder yang terlibat langsung dalam implementasi. Namun beberapa daerah juga melibatkan stakeholder yang merupakan pengguna utama dari
Kajian SPEKP 2014 38 Kajian SPEKP 2014
36
evaluasi (pengambil kebijakan atau keputusan) dan stakeholder yang diintervensi atau dilayani.
Setiap daerah memiliki variabel dan kriteria evaluasi yang berbeda-beda.
Kriteria evaluasi tersebut meliputi relevansi, efektifitas, efisiensi, dampak, dan keberlanjutan. Berdasarkan kasus pada 9 (sembilan) daerah terpilih, sebagian besar
menyebutkan bahwa kriteria evaluasi yang digunakan adalah relevansi dan
efektifitas. Kesembilan daerah tersebut selalu menggunakan kriteria ini. Namun ada
beberapa daerah yang menambahkan kriteria lainnya yaitu efisiensi dan keberlanjutan. Dampak masih belum dilakukan karena untuk mengukur dampak harus menunggu rentang waktu yang cukup lama setelah program atau kegiatan
tersebut dilaksanakan. Untuk kritera keberlanjutan bukan dipergunakan untuk
mengukur manfaat yang sifatnya masih berjalan (berlanjut) setelah program
tersebut berakhir, tetapi hanya dipergunakan untuk mengukur kelanjutan dari program atau kegiatan yang sifatnya multiyears.
Dalam teknik penilaian evaluasi, sebagian besar menggunakan pengukuran
kinerja yang didalamnya diukur melalui perhitungan gap analysis. Selain itu daerah
juga menggunakan evaluasi proses implementasi. Untuk mekanisme atau tahapan
evaluasi yang digunakan oleh daerah sangat bervariasi. Dari 9 (sembilan) daerah yang menjadi sampel, dua diantaranya (Provinsi Kalimantan Timur dan Provinsi
Jawa Timur) menggunakan tahapan evaluasi yang berpedoman pada Permendagri
No. 54 tahun 2010, sedangkan dua daerah lainnya (Provinsi Jawa Tengah dan Provinsi Sumatera Barat) menggunakan tahapan yang disepakati bersama di dalam
internal instansinya. Bahkan untuk provinsi lainnya tidak memiliki tahapan evaluasi yang jelas. Dasar pertimbangan untuk menggunakan Permendagri No. 54 tahun
2010 sebagai acuan untuk melakukan evaluasi adalah Permendagri tersebut memberikan penjelasan yang detil untuk melakukan evaluasi, sehingga ada kejelasan di dalamnya namun ini juga dirasa masih menyulitkan karena tahapan yang diberikan bersifat sangat rumit.
Tahapan akhir dari pelaksanaan kegiatan evaluasi adalah pelaporan evaluasi.
Dalam pelaporannya, daerah menggunakan format laporan yang berlaku secara umum (standar laporan), yaitu yang terdiri dari : 1. Latar Belakang Evaluasi.
2. Isu dan Permasalahan Evaluasi.
Kajian SPEKP 2014
Kajian SPEKP 2014
37 39
3. Tujuan Evaluasi.
4. Subyek Evaluasi.
5. Metodologi Evaluasi. 6. Tim Evaluasi.
7. Hasil Evaluasi.
Sebagian besar substansi yang dimuat dalam laporan tersebut mengenai realisasi penyerapan dana, realisasi pencapaian target keluaran, kendala yang dihadapi, dan tindak lanjutnya. Untuk substansi tentang keberlanjutan program/kegiatan dan manfaat/hasil program/kegiatan hanya dilakukan oleh beberapa daerah. Hasil
evaluasi tersebut kemudian disampaikan kepada policy maker di daerah, walaupun hasil evaluasi tersebut tidak semuanya dapat digunakan karena banyaknya kepentingan politik di dalamnya. Laporan tersebut kemudian disampaikan kepada
beberapa instansi, diantaranya adalah Bappenas, Kementerian Dalam Negeri, K/L yang terkait dengan program atau kegiatan, UKP4, dan seluruh SKPD di daerah terkait.
Hasil evaluasi pelaksanaan pembangunan, oleh daerah dimanfaatkan sebagai
masukan untuk proses perencanaan periode selanjutnya, namun seperti yang telah dijelaskan sebelumnya, tidak semua hasil evaluasi tersebut dapat dipergunakan
karena tingginya kepentingan politik dalam pengambilan keputusannya terutama
dalam kaitannya dengan politik anggaran.
Dalam pelaksanaan evaluasi, daerah mengalami berbagai kendala dalam proses
pelaksanaannya. Kendala-kendala tersebut diantaranya berupa tidak adanya
panduan evaluasi yang bersifat lebih praktis dan simpel, kurangnya sumber daya
manusia di bidang evaluasi, banyaknya laporan evaluasi yang harus dibuat dengan
format yang berbeda-beda, dan indikator yang ada juga masih kurang terukur.
Dalam upaya penyempurnaan pelaksanaan evaluasi diharapkan adanya panduan untuk melaksanakan evaluasi yang lebih praktis dan simpel, adanya suatu
kesepakatan format laporan yang dapat digunakan oleh seluruh instansi atau dibuat pelaporan satu pintu yang dapat digunakan oleh seluruh instansi, adanya sanksi apabila dalam evaluasi ditemui ketidakpatuhan dalam menyampaikan hasil evaluasi,
menjadikan hasil evaluasi sebagai pedoman untuk memberikan reward dan
Kajian SPEKP 2014 40 Kajian SPEKP 2014
38
punishment, dan hasil evaluasi juga seharusnya benar-benar dijadikan sebagai dasar
perencanaan.
4.2 Pedoman Evaluasi Saat Ini 4.2.1
Pedoman Evaluasi dan Indikator Kinerja Pembangunan, dan Pedoman Evaluasi Kinerja Pembangunan Sektoral
Secara umum Buku Pedoman Evaluasi dan Indikator Kinerja Pembangunan ini
membahas konsep, cara, dan manfaat evaluasi. Di samping itu, secara khusus juga
mengemukakan cara mengukur capaian kebijakan, program dan kegiatan pokok
melalui pembentukan indikator kinerja, dan disajikan juga bahasan diskusi dan
ulasan atas berbagai pilihan evaluasi yang mungkin dilakukan. Dalam pedoman ini, contoh bahasannya dilakukan dengan memperhatikan struktur penulisan dan isi RKP 2009. Selain itu, metode evaluasi yang dibahas dalam buku ini menyertakan
contoh aplikasi sederhana berdasarkan isi dokumen RPJMN 2004-2009. Namun
demikian isi pedoman ini tidak hanya difokuskan pada pembahasan evaluasi tetapi
juga pembahasan terhadap indikator kinerja pembangunan.
Pada bagian awalnya, pedoman ini kemudian diawali dengan penjelasan
mengenai sistem evaluasi yang terdiri dari konsep dan definisi monitoring dan
evaluasi (monev), pembagian peran dan tanggungjawab pelaksana monev, dan kapasitas dan komitmennya. Pembahasan tentang monitoring tetap dijabarkan dalam pedoman ini agar dapat lebih jelas perbedaan diantara keduanya. Di dalam
menjelaskan tentang konsep monev, diberikan pula gambaran tentang monev yang dilakukan di beberapa negara, diantaranya adalah Colombia, Brazil, Chile, dan
Mexico. Selain itu tipe variabel dan indikator terkait sebagai dasar kinerja monitoring dan evaluasi juga dibahas dalam pedoman ini.
Pedoman ini kemudian menjelaskan pula tentang cara-cara evaluasi kinerja.
Cara evaluasi yang dilakukan menggunakan Multivariate Regression Analysis atau
Data Development Analysis. Dua cara tersebut biasanya digunakan untuk educational
evaluation karena banyaknya kompleksitas dalam variabel-variabel pendidikan, namun baik untuk kinerja audit yang kontinyu. Untuk para pengambil keputusan, evaluasi yang sering dilakukan adalah formal evaluation, yaitu suatu evaluasi yang
terstruktur dengan memperhatikan ukuran-ukuran input, output, outcome, dan Kajian SPEKP 2014
Kajian SPEKP 2014
39 41
impact atau dampak. Untuk kejelasan aplikasi perkembangan pelaksanaan evaluasi
dalam lingkup pemerintahan, maka dalam Pedoman Evaluasi dan Indikator Kinerja Pembangunan disajikan contoh laporan dari negara lain, yaitu Australia.
Di dalam pedoman ini juga dijelaskan mengenai Logic Model. Logic model dapat
digunakan untuk menyusun perencanaan, manajemen program, dan evaluasi. Dalam kegiatan evaluasi, logic model merupakan langkah pertama dalam melakukan evaluasi. Model logika membantu dalam menentukan kapan dan hal apa yang dievaluasi sehingga sumber daya evaluasi digunakan secara efektif. Logika tersebut
membantu untuk fokus pada proses dan pengukuran outcome yang tepat. Pada
dasarnya model ini bukan merupakan model evaluasi, namun cara ini sangat membantu dalam melakukan evaluasi.
Selanjutnya pada bagian-bagian terakhir, pedoman ini mereview secara singkat
mengenai RPJMN 2004-2009 dan RKP 2005 hingga RKP 2009. Tidak hanya itu,
telaahan atas struktur dan bagaimana cara mengevaluasinya juga dijelaskannya. Hasil review atas beberapa Bab sektoral dilakukan peninjauan secara umum
kemudian dibahas secara khusus atas Kesehatan dan Keluarga Berencana. Dengan
demikian, reviu dan evaluasi terhadap RPJMN 2004-2009 dan RKP 2005-2009 hanya dilakukan terhadap sektor tertentu (sektor terpilih). Dalam evaluasi tersebut,
antara RKP 2005-2009 dengan RPJMN 2004-2009 dilihat kerelevanannya. Untuk
mengukur hal tersebut hanya digunakan metode kualitatif. Sedangkan untuk
mengukur capaiannya dilakukan dengan menggunakan metode kuantitatif yaitu dengan cara perbandingan data capaiannya. Selanjutnya sasaran yang terdapat didalam RKP disandingkan dengan sasaran program dalam RPJMN. Dari semua
sasaran tersebut dibuat daftar variabel-variabel yang mungkin dijadikan sebagai
indikator kinerja bagi setiap program.
Berdasarkan pada ulasan di atas, maka dapat disimpulkan bahwa dalam
Pedoman Evaluasi dan Indikator Kinerja pada bagian evaluasi secara umum masih
kurang menjelaskan secara konkrit atau detail mengenai evaluasi. Penjabaran
evaluasi memang telah dilakukan, namun hanya sebatas pada level teoritis, belum
sampai pada tingkat implementasi dari teori yang telah dijabarkan. Contoh evaluasi
yang diberikan pun masih sangat bersifat umum dan kurang memberikan
Kajian SPEKP 2014 42 Kajian SPEKP 2014
40
pemahaman yang lebih terperinci dalam pelaksanaan evaluasinya. Namun demikian
buku ini telah menjelaskan secara detil mengenai indikator kinerja.
Berbeda dengan Pedoman Evaluasi dan Indikator Kinerja Pembangunan,
Pedoman Evaluasi Kinerja Sektoral secara umum telah menjelaskan konsep evaluasi secara jelas. Namun pedoman ini juga hanya digunakan sebagai acuan untuk melakukan evaluasi secara sektoral. Buku Pedoman ini, disusun sebagai pedoman
ketika melakukan evaluasi pembangunan sektoral atas perencanaan pembangunan yang terekam dalam dokumen RPJMN dan RKP. Secara khusus, evaluasi ditujukan
hanya untuk tingkat Prioritas/Kebijakan, Fokus Prioritas/Program, atau isu sektor tertentu.
Dalam waktu jangka menengah, pedoman ini diharapkan dapat digunakan baik
untuk evaluasi tahunan, tengah tahunan, maupun lima tahunan. Pedoman evaluasi ini juga ditujukan sebagai wadah untuk menjawab pertanyaan-pertanyaan sebagai berikut:
1) Apakah strategi yang dilakukan sudah benar? (Berkaitan dengan pemilihan strategi evaluasi).
2) Apakah cara dan metode yang dipilih sudah tepat? (Berkaitan dengan operasional Prioritas dan Fokus Prioritas untuk analisis hasil evaluasi).
3) Apakah ada cara yang lebih baik? (Berkaitan dengan pembelajaran tentang evaluasi).
Secara umum ruang lingkup pembahasan pedoman Evaluasi Kinerja
Pembangunan Sektoral adalah sebagai berikut:
1) Dasar pertimbangan hukum/legal dan praktis/umum pelaksanaan.
2) Macam evaluasi yang perlu dilakukan atas dokumen perencanaan yang ada (RPJMN dan RKP).
3) Tahapan yang perlu dilakukan ketika melakukan evaluasi. 4) Tindak lanjut atas hasil evaluasi.
Pedoman evaluasi ini kemudian diawali dengan definisi dan konsep dari
evaluasi
pembangunan.
Menurut
pedoman
ini,
evaluasi
ditujukan
untuk
menganalisa dampak pembangunan yang dilakukan oleh para pelaku pembangunan dan dinikmati oleh penerima manfaat pembangunan. Jadi evaluasi sama sekali
berbeda dengan berbagai jenis penilaian kebijakan atau program pengawasan. Kajian SPEKP 2014
Kajian SPEKP 2014
41 43
Seharusnya, evaluasi tidak hanya terdiri dari analisa kuantitatif atas dampak dari
pelaksanaan kebijakan, tetapi juga mencakup penjelasan mengenai ketercapaian atau ketidaktercapaian, serta uraian mengenai implikasi kebijakan yang mungkin
terjadi. Suatu kegiatan evaluasi pembangunan sektoral mencakup komponen berikut:
1) Studi proses, dimana operasi dari kinerja pembangunan sektoral dan prosesnya dikaji;
2) Studi dampak, inti teknis capaian evaluasi pembangunan sektoral; 3) Penilaian
biaya-manfaat,
pembangunan sektoral.
yang
menunjukkan
efektifitas
pelaksanaan
Dalam pedoman ini disebutkan bahwa, untuk menghasilkan manfaat yang
maksimal, maka suatu proses evaluasi harus memiliki konsep kriteria sebagai
berikut: 1) Tujuan yang jelas; 2) Metodologi yang tepat; 3) Kehandalan; 4)
Transparan; 5) Dapat dipercaya; 6) Tingkat komprehensifitas; dan 7) Efektifitas. Selain ketujuh konsep tersebut, dalam pedoman evaluasi ini juga menggunakan
kriteria evaluasi yaitu: 1) relevansi; 2) efektifitas; 3) efisiensi; 4) hasil; 5) dampak;
6) keberlanjutan. Prinsip evaluasi tersebut kemudian dijabarkan sebagai berikut. Tabel 4.1 Prinsip Evaluasi Prinsip Evaluasi Relevansi (Revelance)
Kefektifan (Effectiveness) Efisiensi (Efficiency) Hasil (Outcomes)
Dampak (Impact)
Keberlanjutan (Sustainability)
Penjelasan Apakah tujuan Prioritas atau Fokus Prioritas/Program pembangunan mendukung tujuan kebijakan? Apakah tujuan Prioritas atau Fokus Prioritas/Program pembangunan dapat tercapai? Apakah tujuan Prioritas dan Fokus Prioritas/Program pembangunan tercapai dengan biaya paling rendah? Apakah indikator-indikator tujuan Prioritas atau Fokus Prioritas/Program pembangunan semakin membaik? Apakah indikator-indikator tujuan Prioritas atau Fokus Prioritas/Program membaik? Apakah perbaikan indikator-indikator kinerja terus berlanjut setelah program pembangunan selesai? Apakah hasil evaluasi dapat dignakan sebagai bahan pertimbangan dalam menentukan tindak lanjut?
Sumber: Bappenas, 2004, dalam Bappenas 2009, Pedoman Evaluasi Kinerja Pembangunan Sektoral
Kajian SPEKP 2014 44 Kajian SPEKP 2014
42
Pedoman EKPS juga menjelaskan mengenai perbedaan antara monitoring dan
evaluasi. Hal ini dilakukan untuk meluruskan pengertian dan pemahaman diantara
keduanya karena selama ini antara monitoring dan evaluasi masih sering
disamakan. Padahal antara keduanya memiliki perbedaan baik dari segi tujuan, manfaat, pelaksanaan, dan hasil yang diperoleh.
Dalam teori yang dikembangkan di dalam pedoman ini, tahapan evaluasi dibagi
menjadi evaluasi pada tahap perencanaan, tahap pelaksanaan, maupun pada tahap
paska pelaksanaan. Hal ini didasarkan pada siklus perencanaan. Dalam penjelasan
tentang konsep evaluasi, dijelaskan pula mengenai proses pelaksanaan evaluasi. Pelaksanaan evaluasi dilakukan dengan memperhatikan 7 aspek, yaitu: 1) menentukan tujuan evaluasi; 2) menyusun desain evaluasi yang kredibel; 3)
mendiskusikan rencana evaluasi; 4) menentukan pelaku evaluasi; 5) melaksanakan evaluasi; 6) mendesiminasikan hasil evaluasi; 7) menggunakan hasil evaluasi. Tidak hanya menjelaskan mengenai evaluasi, dalam pedoman EKPS juga dijelaskan mengenai penyusunan indikator kinerja.
Untuk pelaksanaannya, evaluasi RPJMN dan RKP lebih dititikberatkan pada
limitasi waktu atau periode evaluasi, yaitu tahunan, paruh waktu (2,5 tahunan), dan
lima tahunan. Selanjutnya dalam penerapan evaluasi kinerja pembangunan dibagi
ke dalam lima kelompok besar, yaitu Evaluasi Perencanaan Draft RPJMN dan RKP, Evaluasi Pelaksanaan RPJMN dan RKP, Evaluasi Pencapaian RPJMN dan RKP, Evaluasi Efektifitas Desain Program dan Evaluasi Efisiensi Program.
Metode evaluasi pembangunan sektoral berdasarkan pada periode waktu
penyusunan dokumen perencanaan dan pelaksanaan pembangunan. Secara umum
pengertian Evaluasi Pembangunan Sektoral mencakup proses penilaian secara
sistematik mengenai segala sesuatu yang berkaitan dengan pembangunan khususnya yang termasuk kebijakan, program, kegiatan dan isu sektoral.
Jenis evaluasi yang dibicarakan dalam pedoman ini hanya didasarkan oleh RKP
dan RPJMN, dan dibagi lagi berdasarkan tahapannya, yaitu evaluasi awal, evaluasi
tahunan, dan evaluasi dampak. Evaluasi-evaluasi tersebut memiliki penekanan yang
berbeda-beda, yaitu:
Kajian SPEKP 2014
Kajian SPEKP 2014
43
45
1) Evaluasi awal (ex-ante).
Evaluasi awal merupakan evaluasi atas formulasi atau desain kebijakan atau Fokus Prioritas, evaluasi atas penentuan indikator, evaluasi atas alur pikir
ketika memformulasikan kebijakan atau Prioritas Nasional. Dengan kata lain
evaluasi awal merupakan evaluasi yang dilaksanakan pada saat penyusunan
dokumen perencanaan dilakukan. Proses evaluasi terhadap draft dokumen
perencanaan RPJMN dan RKP ditekankan pada:
a. Evaluasi alur dokumen perencanaan sebagai upaya untuk menjaga konsistensi antara sasaran yang akan dicapai pada level kegiatan dengan sasaran yang akan dicapai pada level prioritas.
b. Evaluasi indikator kinerja.
Metode kerangka berpikir logis (Logic Chain) digunakan dalam evaluasi tahap ini.
2) Evaluasi tahunan (evaluasi pelaksanaan RKP).
Evaluasi ini dilakukan terhadap level Prioritas atau Kebijakan Tahunan, evaluasi pada level Fokus Prioritas, dan evaluasi atas isu sektoral yang
diperlukan. Evaluasi tahunan kemudian didefinisikan sebagai evaluasi yang
dilaksanakan setiap tahun berdasarkan capaian Rencana Kerja Pemerintah
(RKP) tahunan yang bersangkutan. Evaluasi tahunan juga merupakan capaian
pelaksanaan RPJMN tahun, sesuai sasaran RKP. Oleh karena periodenya
sangat singkat maka evaluasi tahunan tersebut hanya dibatasi pada evaluasi di level pencapaian Fokus Prioritas, yaitu pada tataran outcome dan bersifat jangka pendek. Dengan kata lain, evaluasi tahunan RPJMN dan RKP berguna
untuk:
a. Mengetahui capaian tahunan atau yang telah dilaksanakan selama kurun waktu satu tahun anggaran, sehingga dapat digunakan untuk membuat perencanaan kegiatan tahun berikutnya.
b. Membantu dalam penentuan alokasi pendanaan tahun berikutnya.
Sesuai dengan sifatnya yang singkat maka evaluasi pelaksanaan dilakukan
terhadap kegiatan prioritas/output dan outcome yang bersifat jangka pendek
Kajian SPEKP 2014 46 Kajian SPEKP 2014
44
yang
dapat
memberikan
penilaian
pembangunan sektoral selama satu tahun.
atas
kinerja
pemerintah
dalam
Metode yang digunakan dalam pengukurannya adalah Gap Analysis dan Rapid Assessment. Gap Analysis merupakan suatu metode yang digunakan untuk mengetahui kinerja dari suatu sistem yang sedang berjalan dengan sistem
standar. Berbeda dengan Gap Anaysis, Rapid Assessment adalah metode yang sering digunakan untuk mengevaluasi kegiatan/program dengan cepat serta
biaya yang relatif rendah. Hasil evaluasi dengan menggunakan Rapid
Assessment ini dapat segera digunakan sebagai bahan pertimbangan dalam perbaikan
pelaksanaan
kegiatan/program
berikutnya.
Metode
yang
digunakannya berupa FGD, observasi langsung, dan survei berskala kecil. Oleh karena Rapid Assessment tidak dilakukan pada lingkup yang besar, maka hasil
penilaian ini seringkali tidak menggambarkan keadaan sebenarnya secara umum.
3) Evaluasi capaian RPJMN yang merupakan evaluasi dampak.
Evaluasi ini dilakukan pada level Prioritas atau Kebijakan Jangka Menengah, evaluasi pada level Fokus Prioritas, dan evaluasi atas isu sektoral atau isu
strategis lintas bidang. Evaluasi ini merupakan evaluasi paruh waktu dari
RPJMN (Mid-Term Evaluation) dan evaluasi lima tahunan RPJMN (final Term Evaluation). Pada evaluasi paruh waktu dilakukan pada tataran outcome
untuk prioritas-prioritas tertentu yang dampaknya terukur. Sedangkan
evaluasi lima tahunan (Final term evaluation) merupakan evaluasi akhir dari
pencapaian RPJMN, utamanya dilakukan untuk mengevaluasi dampak pada level Prioritas.
Metode yang digunakan berupa metode kualitatif dan kuantitatif. Metode kualitatif tersebut digunakan untuk mengidentifikasi dampak yang tidak
diduga sebelumnya. Metode ini berguna sebagai exploratory work yang perlu
dikonfirmasikan kemudian melalui studi kuantitatif atau juga untuk
melakukan pendalaman dari hasil studi kuantitatif secara sederhana melalui
in-depth. Sedangkan metode kuantitatif digunakan untuk mengevaluasi yang sifatnya hipotesis. Cara ini memerlukan metode analisis yang solid dan cara
pengumpulan data kuantitatif yang handal, contohnya dengan aplikasi metode Kajian SPEKP 2014
Kajian SPEKP 2014
45 47
Randomized Evaluation (Evaluasi Teracak) dan Non-Experimental atau Quasi-
Experimental Methods.
Kemudian hasil akhir dari pedoman ini adalah terbentuknya empat macam
evaluasi pembangunan sektoral, yaitu: 1) Evaluasi Pelaksanaan RPJMN dan RKP; 2)
Evaluasi Pencapaian RPJMN dan RKP; 3) Evaluasi Efisiensi Program; 4) Evaluasi Efektifitas Desain Program. Setiap macam evaluasi tersebut diberikan penjelasannya secara rinci baik dari lingkup pelaksanaan evaluasi, metode evaluasi, mekanisme evaluasi, dan waktu evaluasi. 4.2.2
Petunjuk Pelaksanaan Pemerintah
Sistem
manajemen
Evaluasi
pemerintahan
Akuntabilitas
yang
berfokus
Kinerja pada
Instansi
peningkatan
akuntabilitas dan sekaligus peningkatan kinerja yang berorientasi pada hasil
(outcome) dikenal sebagai Sistem Akuntabilitas Kinerja Instansi Pemerintah (Sistem
AKIP). Sistem AKIP diimplementasikan secara “self assesment” oleh masing-masing instansi pemerintah, ini berarti instansi pemerintah secara mandiri merencanakan, melaksanakan, mengukur, dan memantau kinerja serta melaporkannya kepada instansi yang lebih tinggi. Evaluasi akuntabilitas ini adalah evaluasi yang ditujukan
untuk mengukur kinerja instansi. Tujuan akuntabilitas kinerja instansi adalah untuk: 1) menilai akuntabilitas kinerja instansi pemerintah; 2) memberikan saran perbaikan untuk peningkatan kinerja dan penguatan akuntabilitas instansi
pemerintah; dan 3) memonitor tindak lanjut rekomendasi hasil evaluasi periode sebelumnya.
Oleh karena panduan evaluasi ini diperuntukkan untuk mengukur akuntabilitas
instansi, maka panduan evaluasi ini tidak dapat digunakan untuk mengevaluasi
pelaksanaan pembangunan. Evaluasi yang dimaksudkan disini hanya sebatas pada
kinerja lembaga itu sendiri, sehingga tidak terkait langsung dengan capaian outcome pembangunan. Dengan demikian tidak dapat dijadikan sebagai bahan masukan untuk penyusunan pedoman evaluasi pelaksanaan pembangunan kedepan.
Kajian SPEKP 2014 48 Kajian SPEKP 2014
46
4.2.3
Evaluasi Pelaksanaan Rencana Pembangunan Daerah Berdasarkan Peraturan Menteri Dalam Negeri No. 54 tahun 2010
Peraturan Menteri Dalam Negeri (Permendagri) No. 54 tahun 2010 tentang
Tahapan, Tatacara Penyusunan, Pengendalian, dan Evaluasi Pelaksanaan Rencana
Pembangunan Daerah membicarakan pula tentang pengendalian dan evaluasi
perencanaan pembangunan. Peraturan Menteri tersebut merupakan penjelasan dari Pelaksanaan Peraturan Pemerintah No. 8 tahun 2008. Pengendalian
dan
evaluasi
perencanaan
pembangunan
daerah
yang
dimaksudkan di dalam Pemendagri ini bertujuan untuk: 1) mewujudkan konsistensi antara kebijakan dengan pelaksanaan dan hasil rencana pembangunan daerah; 2) mewujudkan konsistensi antara RPJPD dengan RPJPN dan RTRW nasional; 3)
mewujudkan konsistensi antara RPJD dengan RPJPD dan RTRW daerah; 4)
mewujudkan konsistensi antara RKPD dengan RPJMD; dan 5) mewujudkan
kesesuaian antara capaian pembangunan daerah dengan indikator-indikator kinerja
yang ditetapkan. Dalam hal pelaksanaannya, ada 3 (tiga) tingkatan yaitu: 1) Menteri dalam Negeri melalui Direktur Jenderal Bina Pembangunan Daerah melakukan pengendalian dan evaluasi terhadap
perencanaan pembangunan daerah
antarprovinsi; 2) Gubernur melakukan pengendalian dan evaluasi terhadap
perencanaan pembangunan daerah lingkup provinsi, antarkabupaten/kota; dan 3) Bupati/Walikota melakukan pengendalian dan evaluasi terhadap perencanaan pembangunan daerah lingkup kabupaten/kota.
Pengendalian dan evaluasi terhadap perencanaan pembangunan daerah
tersebut terdiri dari 3 (tiga) cakupan besar, yaitu:
1) Pengendalian dan evaluasi terhadap kebijakan perencanaan pembangunan daerah;
2) Pengendalian dan evaluasi terhadap pelaksanaan rencana pembangunan daerah;
3) Evaluasi terhadap hasil rencana pembangunan daerah.
Pengendalian dan evaluasi terhadap perencanaan pembangunan daerah tersebut dilakukan pada lingkup antarprovinsi, lingkup provinsi (antarkabupaten/kota
dalam wilayah provinsi), dan lingkup kabupaten/kota. Pengendalian dan evaluasi
Kajian SPEKP 2014
Kajian SPEKP 2014
47 49
tersebut kemudian mencakup kebijakan perencanaan pembangunan jangka panjang, jangka menengah, dan tahunan daerah.
Untuk pengendalian terhadap kebijakan perencanaan pembangunan jangka
panjang daerah yang dilakukan baik di lingkup antarprovinsi, provinsi, dan
kabupaten/kota mencakup perumusan visi dan misi serta sasaran pokok arah kebijakan pembangunan jangka panjang daerah. Hasil pemantauan kemudian digunakan untuk mengevaluasi dan memastikan perumusan kebijakan perencanaan
pembangunan jangka panjang ataupun jangka menengah daerah telah mengacu
pada beberapa rencana pembangunan yang ada di atasnya, contohnya RPJPN,
RPJMN, RTRW provinsi ataupun provinsi lainnya. Acuan tersebut didasarkan pada level pelaksanaan evaluasi masing-masing.
Berdasarkan ulasan ringkas di atas, dapat diketahui bahwa Permendagri No. 54
tahun 2010 telah menjabarkan pelaksanaan evaluasi yang dilakukan oleh daerah
dengan sangat detil atau rinci. Kerincian dalam aturan tersebut dilakukan terhadap:
1) sistematika pelaksanaan evaluasi (leveling evaluasi dari provinsi hingga
kabupaten/kota); 2) tahapan pelaksanaan baik pada level evaluasi kebijakan,
evaluasi pelaksanaan, dan evauasi hasil di berbagai tingkatan daerah terhadap
RPJPD, RPJMD, RKPD, Renstra SKPD, dan Renja SKPD; 3) metode pengumpulan data
(formulir dan check list) sekaligus metode pengukurannya; dan 4) prosedur
pelaporan. Terlalu detil atau rincinya aturan tersebut mengakibatkan banyak daerah
yang mengalami kesulitan dalam penerapannya. Oleh karena itu sebagian besar daerah kurang memperhatikan panduan pelaksaan evaluasi ini. 4.3 Evaluasi yang Dilakukan oleh Organisasi Internasional 4.3.1
Evaluasi oleh JBIC (Japan Bank for International Cooperation)
Secara umum, evaluasi yang dilakukan digunakan untuk mengetahui apakah
program/kegiatan telah memberikan perubahan, sebagai hasil dari pencapaian
target, contohnya apakah hasil pembangunan telah dicapai. Dalam pengumpulan datanya dilakukan sebelum program atau kegiatan tersebut dilakukan. Hal ini guna
memperoleh metode evaluasi yang tepat. Dengan demikian dalam metode evaluasinya dibutuhkan tujuan dan cakupan program/kegiatan yang jelas. Kajian SPEKP 2014 50 Kajian SPEKP 2014
48
Kriteria evaluasi yang digunakan dalam evaluasi adalah relevansi, efisiensi,
efektifitas, dampak, dan keberlanjutan. Berikut adalah tabel yang menjelaskan tentang fokus dari kriteria evaluasi.
Tabel 4.2 Kriteria Evaluasi pada Setiap Tahapan Evaluasi Lima Kriteria Evaluasi Relevansi Efisiensi Efektifitas Dampak Keberlanjutan Sumber : JBIC, 2006
Deskripsi Umum Konsistensi kegiatan dengan prioritas dan kebijakan pembangunan. Keefektifan yang dilihat dari konversi input ke output. Pencapaian dari tujuan kegiatan dengan kegunaan outpunya. Pengaruh langsung dan tidak langsung dari hasil kegiatan. Keberlanjutan dari manfaat kegiatan baik dalam jangka pendek maupun panjang.
Evaluasi Ex-ante
Mid-term Review
Evaluasi Ex-post
√
√
√
√ √
Monitoring Ex-post
√ √
√
√
√
√
√
√
√
√
Indikator kinerja adalah kriteria untuk penilaian dari pencapaian obyek.
Indikator tersebut terdiri dari dua macam yaitu:
1. Indikator operasioanal, yaitu sebuah indikator untuk mengukur secara kuantitatif status operasional dari program/proyek
2. Indikator pengaruh, yaitu untuk mengukur secara kuantitatif pengaruh yang dihasilkan oleh suatu program/proyek.
Berikut adalah kriteria indikator yang sesuai:
1. Validitas, adalah susunan indikator yang secara nyata untuk mengukur pencapaian dari tujuan program/proyek.
2. Reliabilitas, adalah indikator yang memiliki nilai yang sama, terlepas dari waktu dan pembuatnya.
3. Mudah untuk diakses, adalah indikator yang datanya mudah untuk diakses dan didapatkan.
Kajian SPEKP 2014
Kajian SPEKP 2014
49 51
Indikator kinerja berdasarkan pada hubungan kausal (vertical logic) dengan
komponen program/kegiatan (World Bank, 1996 dalam JBIC, 2006). Berikut adalah tipe-tipe indikator kinerja dan hubungannya.
Gambar 4.1 Tipe-tipe Indikator Kinerja dan Keterkaitannya
Sumber: World Bank, 1996 dalam JBIC, 2006
Dalam penentuan nilai kriteria evaluasi dilakukan dengan menggunakan dua cara
yang sistematis dan terformulakan, yaitu penilaian individu dan penilaian
keseluruhan. Penilaian individu dimaksudkan untuk mengukur masing-masing kriteria dengan menggunakan skoring, sedangkan penilaian secara keseluruhan dilakukan melalui flowchart. Berikut penjelasan dari kedua cara penilaian tersebut.
1. Penilaian individu, yaitu score a, b, c, atau d diberikan untuk hasil evaluasi pada setiap kriteria evaluasi (relevansi, efisiensi, efektifitas, dan keberlanjutan) dengan menggunakan spesifik kriteria seperti gambar di bawah ini. Tabel 4.3 Kriteria untuk Penilaian Individu No. 1.
Kriteria Evaluasi Relevansi
Fokus Menilai kerelevansian dari suatu pelaksanaan pembangunan membutuhkan
Kajian SPEKP 2014 52 Kajian SPEKP 2014
Kriteria Penilaian - Konsistensi dengan kebutuhan atau kebijakan: - Masalah parsial dalam konsistensi dengan kebutuhan atau kebijakan: - Masalah serius dalam
a b
50
No.
Kriteria Evaluasi
2.
Efektifitas
3.
Efisiensi
Fokus penilain yang ada saat ini, dan konsistensinya dengan kebijakan pembangunan. Membandingkan antara rencana dan hasil yang dicapai. Didasarkan pada input (waktu dan biaya kegiatan)
Kriteria Penilaian konsistensi dengan kebutuhan atau kebijakan:
c
- ≥ 80 % dari rencana awal : - 50% -79% dari rencana awal : - < 50 % dari rencana awal :
a b c
1. Output Berdasarkan tujuan
2. Waktu kegiatan - ≤ 100% dari rencana awal: - 101 % - 150 % dari rencana awal: - >150% dari rencana awal: 3. Biaya (total biaya kegiatan) - ≤ 100 % dari rencana awal: - 101- 150% dari rencana awal: - > 150% dari rencana awal:
4.
Keberlanjutan
Menilai keberlanjutan yang didasarkan pada aspek finansial, teknik, dan sistem operasional & manajemen.
a (3 points)
b (2 points) c (1 points) a (3 points)
b (2 points) c (1 points)
4. Efisiensi keseluruhan Rerata dari efisiensi yang didasarkan pada sub-rating “waktu” dan “biaya” kegiatan. “aa” (6 points) dinilai a “ab, ba, ac, ca, atau bb” (4-5 points) dinilai b “bc, cb, atau cc” (2-3 points) dinilai c - Berlanjut: a - Tidak ada masalah yang besar: b - Adanya masalah yang besar ketika dievaluasi: c
2. Penilaian keseluruhan, yaitu penilaian yang didasarkan pada flowchart seperti dibawah ini, penilaiannya didasarkan pada empat tingkatan yaitu : A : Sangat memuaskan B : Memuaskan
C : Agak memuaskan
D : Tidak memuaskan.
Kajian SPEKP 2014
Kajian SPEKP 2014
51 53
Gambar 4.2 Flowchart untuk Penentuan Nilai dalam Evaluasi
(3) Efisiensi (1) Relevansi
a b c
(2) Efektifitas (Dampak)
(2) Efektifitas (Dampak)
a b c
(3) Efisiensi
a b c
a b c a b c
A Sangat Memuaskan
(4) Keberlanjutan
a b c
(4) Keberlanjutan
a b c
(4) Keberlanjutan
a b c
C Cukup Memuaskan
(4) Keberlanjutan
a b c
D Tidak Memuaskan
B Memuaskan
Sumber : JBIC, 2006, hal. 47.
Catatan: Dampak termasuk kedalam “efektifitas” dalam penilainnya.
Setelah melakukan penilaian terhadap kriteria evaluasi, maka selanjutnya
dilakukan analisis terhadap hasil penilaian tersebut. Setelah melakukan analisis maka dilakukan penyusunan laporannya. Format laporannya menggunakan format
standar yang disebut sebagai Project Status Reports (PSR). Laporan ini berisi tentang hal-hal utama mulai dari tahapan rencana, tahap implementasi, hingga tahap penyelesaiannya. 4.3.2
Evaluasi oleh OECD (Organisation for Economic Cooperation and Development)
Evaluasi yang dilakukan digunakan untuk menilai secara sistematis dan objektif
baik dari rencana, implementasi, maupun hasil dari suatu kegiatan. Tujuannya untuk menentukan kerelevansian terhadap pencapaian obyek, efisiensi, efektifitas,
Kajian SPEKP 2014 54 Kajian SPEKP 2014
52
dampak, dan keberlanjutannya. Dalam pelaksanaan evaluasi, dibutuhkan chek list yang digunakan untuk pengumpulan datanya.
Kualitas dari evaluasi tergantung pada metodologi yang digunakan dan keahlian
serta kenetralan dalam pemilihan evaluatornya. Partisipasi dari stakeholder yang berbeda dapat meningkatkan kredibilitas temuan dan kegunaan hasil evaluasi.
Laporan evaluasi yang disusun kemudian harus didasarkan pada temuan yang
didukung oleh bukti empiris. Hal yang sangat diperhatikan dalam pelaksanaan
evaluasi adalah dalam penyusunan Terms of Reference (ToR) Evaluasi, perencanaan
evaluasi, dan laporan evaluasi. 1. Terms of Reference (ToR)
Setiap evaluasi harus direncanakan dan kerangka acuan harus disusun untuk:
1) Mendefinisikan tujuan dan cakupan dari evaluasi, termasuk identifikasi pengguna;
2) Mendiskripsikan metode yang digunakan selama evaluasi; 3) Mengidentifikasi standar penilaian kinerja;
4) Menentukan sumberdaya dan waktu yang dibutuhkan untuk menyelesaian kegiatan evaluasi.
Evaluator mungkin berpartisipasi aktif dalam finalisasi ToR. Berikut adalah
format umum untuk ToR evaluasi. 1)
Subyek dari evaluasi
3)
Isu-isu evaluasi
2)
Latar belakang dari evaluasi a. Relevansi b. Dampak
c. Efektifitas d. Efisiensi
e. Sustainability
4) Compatibility dan berkelanjutan 5) Metodelogi
6) Tim evaluasi 7) Pelaporan Kajian SPEKP 2014
Kajian SPEKP 2014
53 55
2. Perencanaan Evaluasi
Dalam merencanakan sebuah evaluasi, harus memperhitungkan kebutuhan
secara umum, yaitu kenetralan, independensi, kredibilitas, manfaat, tujuan evaluasi, dan sumberdaya untuk evaluasi. Kredibiltas evaluasi tergantung pada
keahlian dan kemandirian dari evaluator dan transparansi dari proses evaluasi.
Evaluator seharusnya memiliki keahlian untuk membuat relevansi dan kesimpulan yang realistik dan merekomendasikan sesuatu sesuai dengan temuan yang didapatkan. Realibilitas dari temuan tergantung pada bukti yang empiris. Laporan evaluasi juga harus menunjukan bukti dan membedakan secara jelas antara temuan dan rekomendasi.
Disamping skill dari evaluator, pemilihan metode untuk pengumpulan data dan
analisisnya juga mempengaruhi kualitas evaluasi. Pengumpulan data untuk
evaluasi dapat berasal dari seluruh stakeholder dan pemanfaat yang
dipengaruhi oleh proyek atau program yang dilakukan. Penentuan sampel sangat penting baik dari jumlah dan luasannya karena ini dapat menentukan representatif atau tidaknya sampel tersebut. Ketersediaan data dasar dan
penggunaan indikator juga sangat penting untuk evaluasi. Untuk melengkapi
evaluasi, hasil dari suatu program/kegiatan harus dibandingkan dengan program/kegiatan yang sama lainnya. Dalam pengumpulan datanya, sejumlah metode dapat digunakan. Metode kuantitatif termasuk sampel survey diukur dengan menggunakan standarisasi kuesioner dan interview.
Dalam partisipasi evaluasi, stakeholder dapat secara aktif mengambil bagian
pada beberapa fase dari proses evaluasi, yaitu: batasan tujuan dan cakupan evaluasi, pemilihan metode, pengumpulan data dan analisa data, dan
pembuatan keputusan yang didasarkan pada hasil evaluasi. Sebagaimana
perencanaan dan implementasi, partisipasi dalam evaluasi seharusnya tidak hanya dilihat sebagai sarana untuk meningkatkan kualitas tetapi juga sebagai penilaian akhir untuk evaluasi tersebut.
Kajian SPEKP 2014 56 Kajian SPEKP 2014
54
3. Laporan Evaluasi
Laporan evaluasi harus menjawab pertanyaan yang diberikan dalam ToR. Berikut adalah susunan laporan evaluasi yang digunakan oleh OECD: 1) Executive summary.
Berisi 3-5 halaman, terdiri dari ringkasan, dan rekomendasi.
2) Subyek dari evaluasi.
Sejarah singkat dari rencana, perubahan akibat adanya program/kegiatan, pengaruh dari program/kegiatan.
3) Latar belakang evaluasi.
Tujuan evaluasi, metodelogi yang digunakan, pembatasan evaluasi, dan lain sebagainya.
4) Isu-isu evaluasi.
Isu umum evaluasi terdiri dari:
a. Kesesuaian antara program/kegiatan dengan prioritas kebutuhan (contohnya relevansi).
b. Penilaian dampak dari program/kegiatan terhadap obyek dalam jangka panjang.
c. Tingkatan dari pencapaian tujuan proyek sebagai konsekuensi proyek (contohnya efektifitas).
d. Penilaian efisiensi dalam implementasi. e. Isu-isu spesifik evaluasi.
5) Faktor-faktor yang menjamin keberlanjutan dan kompatibiltas dari suatu program atau kegiatan, misalnya:
a. Kompatibilitas dengan tujuan strategis;
b. Kebijakan;
c. Kelayakan ekonomi dan finansial; d. Aspek sosial budaya;
e. Partisipasi dan kepemilikan; f.
Gender;
h.
Kesesuaian teknologi.
g. Lingkungan;
6) Ringkasan dan rekomendasi. Kajian SPEKP 2014
Kajian SPEKP 2014
55 57
4.3.3
Evaluasi oleh JICA (Japan International Cooperation Agency)
JICA melakukan evaluasi terhadap program/kegiatan dengan dua tujuan utama,
yaitu: 1) meningkatkan kegiatan yang dilakukan sesuai dengan siklus PDCA (Plan, Do, Check, dan Action), dan 2) menjamin akuntabilitas semua pihak yang terlibat
dalam pelaksanaan program/kegiatan. Prinsip dasar dari pelaksanaan evaluasi adalah:
1. Menjamin kualitas evaluasi, seperti misalnya konsistensi penggunaan kriteria evaluasi dan penilaiannya.
2. Bersifat netral. Elemen utama yang menentukan kualitas dari evaluasi adalah sifat netral dan pengetahuan evaluator.
3. Kepemilikan dan komunikasi. 4. Akuntabilitas.
5. Umpan balik yang efektif sebagai masukan untuk pengelolaan kegiatan.
Evaluasi yang dilakukan kemudian dibagi menjadi dua jenis, yaitu evaluasi ex-
ante dan evaluasi ex-post. Untuk on-going evaluasi, tidak didefinisikan sebagai
evaluasi, namun hanya sebatas pada monitoring. Evaluasi ex-ante dilakukan untuk
meverifikasi kerelevansian dan outcome dari suatu program atau kegiatan. Hal-hal
utama yang diukur dalam evaluasi ex-ante adalah:
1. Apakah rencana kegiatan telah sesuai dengan desain yang direncanakan?
2. Apakah program/kegiatan pembangunan yang akan dilakukan telah menyentuh permasalahan yang dihadapi?
3. Siapa atau apa yang akan dirubah, harus diperjelas dengan cara apa melakukannya?
Untuk ex-post evaluasi difokuskan pada penilaian yang didasarkan pada
perbandingan antara rencana dengan hasil yang telah dicapai. Evaluasi ini
merupakan evaluasi yang dilakukan secara menyeluruh, dalam artian evaluasi tersebut juga dilakukan untuk mengukur bagaimana outcome pembangunan yang telah
dicapai
dan
kemudian
memberikan
program/kegiatan yang akan dicapai kedepannya.
rekomendasi
untuk
mencapai
Dalam pelaksanaan evaluasi tersebut, alat ataupun metode yang digunakan
untuk pengukurannya adalah: 1) logical framework; 2) indikator (indikator kinerja); Kajian SPEKP 2014 58 Kajian SPEKP 2014
56
3) cost benefit analysis, 4) analisis sosial. Untuk cost benefit analysis dan sosial
analisis lebih sering digunakan untuk kegiatan-kegiatan yang bersifat proyek. Hasil
dari evaluasi tersebut kemudian dijadikan sebagai feedback yang dituliskan dalam rekomendasi. Seluruh rekomendasi yang telah disusun disebarkan ke seluruh lembaga atau instansi terkait dan dipastikan untuk menjamin bahwa rekomendasi tersebut digunakan dan diimplementasikan untuk perencanaan yang akan datang.
Berdasarkan pada hasil study dari pelaksanaan evaluasi yang dilakukan oleh
beberapa organisasi internasional tersebut dapat dijadikan sebagai masukan
sekaligus literatur untuk penyusunan pedoman evaluasi yang akan dibuat. Hal ini
dikarenakan ada beberapa hal yang telah diterapkan dapat diadopsi dan
dikembangkan di Indonesia.
Kajian SPEKP 2014
Kajian SPEKP 2014
57 59
60
Kajian SPEKP 2014
BAB V PENUTUP 5.1 Kesimpulan Sampai saat ini pelaksanaan evaluasi pembangunan telah dilakukan oleh
beberapa K/L, Kementerian PPN/Bappenas, dan pemerintah daerah. Namun
demikian evaluasi tersebut masih belum optimal. Di tingkat pusat, K/L telah melakukan evaluasi terhadap Rencana Strategis (Renstra) yang dimilikinya,
sedangkan Bappenas melakukan evaluasi terhadap Rencana Kerja Pemerintah (RKP) dan Rencana Pembangunan Jangka Menengah Nasional (RPJMN). Evaluasi tersebut ada yang dilakukan secara tahunan, tengah periode, dan akhir periode.
Secara umum, metode yang selalu digunakan untuk melakukan evaluasi adalah
metode gap analysis dan menggunakan analisis deskriptif kualitatif dan kuantitatif.
Gap analysis digunakan untuk membandingkan antara realisasi yang dicapai dengan
target yang ditentukan sebelumnya. Dengan demikian dapat diketahui bahwa pelaksaan evaluasi selama ini masih lemah, karena belum menggunakan konsep evaluasi secara optimal. Secara teoritis, evaluasi dilakukan dengan mengukur kriteria evaluasi.
Di tingkat daerah, Pemerintah daerah juga telah melakukan evaluasi terhadap
pelaksanaan pembangunan, diantaranya adalah evaluasi terhadap RPJMD, RKPD,
Renstra SKPD dan Renja SKPD. Namun evaluasi tersebut masih bersifat sangat
variatif dan masih belum baik. Pedoman yang dapat dijadikan sebagai panduan untuk melakukan evaluasi di daerah juga belum dapat menampung segala kebutuhannya. Hal ini dikarenakan terlalu rincinya panduan tersebut yang pada akhirnya menyulitkan dalam penerapannya.
Pedoman evaluasi yang ada saat ini masih bersifat sektoral, sehingga belum
dapat menampung evaluasi pembangunan secara makro. Oleh karena itu dibutuhkan suatu pedoman evaluasi yang dapat menampung seluruh aspek
pembangunan secara global, khususnya untuk pelaksanaan evaluasi pembangunan. Pedoman yang dibutuhkan juga harus lebih bersifat praktis, jelas, dan sistematis. Kajian SPEKP 2014
Kajian SPEKP 2014
58 61
5.2 Rekomendasi untuk Penyusunan Pedoman Evaluasi Kedepan Pedoman evaluasi pelaksanaan pembangunan merupakan kebutuhan nyata
saat ini. Tidak adanya pedoman evaluasi yang jelas menyebabkan bervariasinya pelaksanaan evaluasi dan kurangnya pemahaman mengenai konsep evaluasi. Oleh karena itu dibutuhkan penyusunan pedoman evaluasi yang bersifat jelas, praktis, dan sistematis.
Evaluasi pelaksanaan pembangunan sebaiknya dikelompokkan ke dalam 3
(tiga) jenis evaluasi, yaitu: 1) Evaluasi Rencana Kerja Pemerintah (RKP); 2) Evaluasi
Rencana Strategis K/L (Renstra K/L); dan 3) Evaluasi Rencana Pembangunan Jangka
Menengah Nasional (RPJMN). Evaluasi tersebut dilakukan dalam rangka untuk menilai pencapaian tujuan kebijakan, program, ataupun kegiatan, dan menganalisis permasalahan yang terjadi dalam proses implementasi sehingga dapat menjadi umpan balik bagi perbaikan kinerja atau pelaksanaan pembangunan.
Hal-hal yang perlu dijelaskan dalam panduan tersebut adalah: 1) konsep
evaluasi yang terdiri dari definisi evaluasi, tujuan evaluasi, jenis evaluasi, kriteria evaluasi, metodologi evaluasi, dan tahapan pelaksanaan evaluasi; 2) jenis evaluasi
pelaksanaan pembangunan (Evaluasi RKP, Evaluasi Renstra K/L, dan Evaluasi
RPJMN) yang mencakup beberapa hal penting yaitu: 1. Waktu pelaksanaan evaluasi; 2. Tujuan evaluasi;
3. Kriteria evaluasi;
4. Pertanyaan evaluasi;
5. Sumber data yang digunakan; 6. Metode evaluasi;
7. Mekanisme pelaksanaan evaluasi. Selain hal tersebut di atas, dalam pedoman evaluasi juga dibutuhkan penjelasan
mengenai analisis dan penilaian kriteria evaluasi, dan format untuk pelaporan hasil evaluasi. Hal ini dimaksudkan agar dalam analisis dan pelaporan evaluasi memiliki standar yang sama dan jelas.
Kajian SPEKP 2014 62 Kajian SPEKP 2014
59
DAFTAR PUSTAKA Badan Narkotika Nasional Republik Indonesia, 2012. Laporan Monitoring dan Evaluasi Pelaksanaan Inpres Nomor 12 Tahun 2011. Jakarta.
Bappeda Provinsi Daerah Istimewa Yogyakarta, n.d. Hasil Review Dokumen Perencanaan (RPJMD). Yogyakarta
Bappeda Provinsi Sumatera Barat (A), 2013. Kajian Pelaksanaan Pertengahan Jalan RPJMD Provinsi Sumatera Barat Tahun 2010-2015 (Midterm Review RPJMN). Padang
Bappeda Provinsi Sumatera Barat (B), 2013. Evaluasi Kinerja Pembangunan Daerah tahun 2012; Pelaksanaan Tahun Ke-2 RPJMD Sumatera Barat 2010-2015. Padang
Bappenas, 2013. Evaluasi Paruh Waktu RPJMN 2010-2014. Jakarta
Biro Perencanaan Sekretriat Jenderal Kementerian Pertanian, 2012. Laporan Evaluasi Midterm Program dan Target Pembangunan Pertanian 2010-2014. Jakarta Imas, L.G.M., R.C. Rist, 2009. The Road to Results; Designing and Conducting Effective Development Evaluations. The World Bank. Washington DC
JBIC, 2006. Evaluation Handbook for Oda Loan Projects. A.K.Office Supplies. Jepang.
Kedeputian Evaluasi Kinerja Pembangunan (A), 2014. Evaluasi Pelaksanaan Pembangunan Nasional 2010-2014. Jakarta
Kedeputian Evaluasi Kinerja Pembangunan (B), 2014. Evaluasi Akhir Tahun Rencana Kerja Pemerintah 2013. Jakarta
Kementerian Tenaga Kerja, 2011. Review Rencana Strategis Tahun 2010-2014. Jakarta
Kementerian Tenaga Kerja, 2012. Evaluasi Dua Tahun Pelaksanaan Renstra 20102014. Jakarta Kuzek, Z.K., Ray C.R., 2004. Ten Steps to A Results-Based Monitoring and Evaluation System. The World Bank. Washington D.C Lohman, C, 2004. Designing a Performance Measurement System: A Case Study. European Journal of Operational Research. 156: 267-286
Mustopadidjaja, AR., 2003. Manajemen Proses Kebijakan Publik. Lembaga Administrasi Negara-Duta Pertiwi Foundation. Jakarta Kajian SPEKP 2014
Kajian SPEKP 2014 6063
OECD, n.d. Guidelines for Programme Design, Monitoring and Evaluation. Ministry for Foreign Affairs Department for Development Policy. Finland OED and ECD, 2004. Monitoring and Evaluation; Some Tools, Methods, and Approaches. The World Bank. Washington D.C UNDP, 2002. Handbook on Monitoring and Evaluating for Results. New York
UNDP, 2009. Handbook on Planning, Monitoring, and Evaluation for Development Results. www.undp.org/eo/handbook, diakses 21 September 2014
Sumber gambar cover: www.webezi.com, diakses 10 Desember 2014
Kajian SPEKP 2014 64 Kajian SPEKP 2014
61
