KAJIAN PENYUSUNAN PEDOMAN EVALUASI RPJMN

i

i

ii

KAJIAN PENYUSUNAN PEDOMAN EVALUASI RPJMN

Direktorat Sistem dan Pelaporan Evaluasi Kinerja Pembangunan Kedeputian bidang Pemantauan, Evaluasi dan Pengendalian Pembangunan Kementerian Perencanaan Pembangunan Nasional/Badan Perencanaan Pembangunan Nasional (Bappenas) 2015

ii

iii

DAFTAR ISI KATA PENGANTAR ............................ ERROR! BOOKMARK NOT DEFINED. DAFTAR ISI ......................................................................................... III DAFTAR ISTILAH.................................................................................... V BAB I PENDAHULUAN ............................................................................ 1 1.1.

Latar Belakang ...................................................................................................................... 1

1.2.

Rumusan Masalah ................................................................................................................ 2

1.3.

Maksud dan Tujuan .............................................................................................................. 2

1.4.

Ruang Lingkup ...................................................................................................................... 2

1.5.

Metodologi.............................................................................................................................. 3

1.6.

Struktur Penulisan ................................................................................................................ 3

BAB II TINJAUAN TEORITIS ..................................................................... 5 3.1

Konsep Perencanaan Pembangunan Nasional ............................................................... 5

3.2

Konsep Pemantauan dan Evaluasi Pembangunan ......................................................... 7 Tujuan Evaluasi Pembangunan .................................................................................. 8 Evaluasi Kinerja Pembangunan .................................................................................. 9

3.3

Metodologi Pemantauan, Evaluasi dan Pengendalian Pembangunan ...................... 13 Performance Indicators (Pengukuran Kinerja) .......................................................13 Logical Framework Approach (Kerangka Logika) ..................................................13 Theory-Based Evaluation...........................................................................................14 Formal Survey .............................................................................................................15 Rapid Appraisal (Penilaian Cepat) ...........................................................................15 Participatory Methods .................................................................................................15 Public Expenditure Tracking Surveys ......................................................................16 Cost-benefit and Cost Effectiveness Analysis ........................................................16 Impact Evaluation (Evaluasi Dampak) .....................................................................17

BAB III KERANGKA PEMANTAUAN, EVALUASI DAN PENGENDALIAN PEMBANGUNAN .................................................................................. 19 3.1

Jenis Evaluasi Pembangunan .......................................................................................... 21 Evaluasi Ex-Ante .........................................................................................................21 Evaluasi Pengukuran Kinerja ....................................................................................25 Evaluasi Proses Pelaksanaan...................................................................................28 Evaluasi Kebijakan Strategis/Program Besar .........................................................32

iii

iv 3.2

Sumber Data........................................................................................................................ 37

3.3

Waktu Pelaksanaan............................................................................................................ 40

3.4

Pelaksana dan Penerima Hasil......................................................................................... 41

BAB IV ANALISA DAN MEKANISME PELAKSANAAN EVALUASI PEMBANGUNAN NASIONAL .................................................................. 44 4.1

Mekanisme Pelaporan Evaluasi Renja dan RKP........................................................... 44

3.2

Mekanisme Pelaporan Evaluasi Renstra K/L dan RPJMN .......................................... 45

3.3

Mekanisme Evaluasi Pembangunan Nasional .................. Error! Bookmark not defined.

3.4

Pengendalian Pelaksanaan Rencana Pembangunan .................................................. 46

BAB V KESIMPULAN DAN REKOMENDASI .............................................. 49 LAMPIRAN KAJIAN ............................................................................... 64

iv

v

DAFTAR ISTILAH 

Pemantauan adalah kegiatan mengamati perkembangan pelaksanaan rencana pembangunan, mengidentifikasi serta mengantisipasi permasalahan yang timbul dan/atau akan timbul untuk dapat diambil tindakan sedini mungkin.



Evaluasi adalah rangkaian kegiatan membandingkan realisasi masukan (input), keluaran (output), hasil (outcomes) terhadap rencana dan standar.



Pengendalian adalah serangkaian kegiatan manajemen yang dimaksudkan untuk menjamin agar suatu program/kegiatan yang dilaksanakan sesuai dengan rencana yang ditetapkan.



Rencana Pembangunan Jangka Menengah, yang selanjutnya disingkat RPJM, adalah dokumen perencanaan 5 (lima) tahunan bagi pemerintah pusat yang memuat visi dan misi pemerintahan terpilih.



Rencana Strategis Kementerian/Lembaga, yang selanjutnya disingkat Renstra K/L, adalah dokumen perencanaan K/L untuk periode 5 (lima) tahun.



Rencana Kerja Tahunan, yang selanjutnya disingkat RKP, merupakan dokumen perencanaan nasional pemerintah pusat untuk periode 1 (satu) tahun.



Rencana Kerja Kementerian/Lembaga, yang selanjutnya disingkat Renja K/L, adalah dokumen perencanaan K/L untuk periode 1 (satu) tahun.



Program adalah instrumen kebijakan yang berisi satu atau lebih kegiatan yang dilaksanakan oleh instansi pemerintah/lembaga untuk mencapai sasaran dan tujuan serta memperoleh alokasi anggaran, atau kegiatan masyarakat yang dikoordinasikan oleh instansi pemerintah.



Kegiatan adalah bagian dari program yang dilaksanakan oleh satuan kerja sebagai bagian dari pencapaian sasaran terukur pada suatu program dan terdiri dari sekumpulan tindakan pengerahan sumber daya sebagai masukan (input) untuk menghasilkan keluaran (output) dalam bentuk barang dan/atau jasa.



Efisiensi adalah derajat hubungan antara barang/jasa yang dihasilkan melalui suatu program/kegiatan dan sumber daya yang diperlukan untuk menghasilkan barang/jasa tersebut yang diukur dengan biaya per unit keluaran (output).



Efektifitas adalah ukuran yang menunjukkan seberapa jauh program/kegiatan mencapai hasil dan manfaat yang diharapkan.



Keluaran (ouput) adalah barang atau jasa yang dihasilkan oleh kegiatan yang dilaksanakan untuk mendukung pencapaian sasaran dan tujuan program dan kebijakan.

v

vi 

Hasil (outcome) adalah segala sesuatu yang mencerminkan berfungsinya keluaran dari kegiatan – kegiatan dalam satu program.



Dampak (impact) adalah pernyataan perubahan pada masyarakat seperti apa yang ingin dituju sebagai akibat dari hasil pembangunan yang tercapai yang bersifat Jangka Menengah atau Jangka Panjang.

vi

1

BAB I PENDAHULUAN 1.1.

Latar Belakang Semenjak bergulirnya era reformasi di tahun 1998, kebutuhan akan informasi

pembangunan yang tepat waktu dan berdaya guna semakin penting dalam proses penyusunan rencana pembangunan. Masyarakat sebagai stakeholder utama pemerintah menginginkan adanya informasi yang dapat dijadikan tolak ukur dalam pencapaian pembangunan. Pemerintah sendiri semakin sadar, bahwa dengan tuntutan akan keterbukaan informasi yang semakin besar, perlu melakukan pengawalan terhadap pencapaian pembangunan tersebut, melalui serangkaian proses pemantauan, evaluasi dan pengendalian terhadap pelaksanaan rencana pembangunan. Hasil evaluasi yang komprehensif dan dapat menjadi acuan bagi proses pembangunan merupakan salah satu titik ukur bagi pemerintah dalam penerapan prinsip – prinsip good governance, termasuk diantaranya azas transparansi dan akuntabilitas. Selanjutnya, proses pemantauan, evaluasi dan pengendalian pelaksanaan rencana pembangunan menjadi bagian yang tidak terpisahkan dari siklus manajemen pembangunan, dimana hasil dari evaluasi menjadi masukan bagi proses perencanaan periode selanjutnya. Selain itu, koherensi hasil pemantauan, evaluasi dan pengendalian dalam kaitannya dengan reformasi perencanaan dan penganggaran juga tidak dapat dipisahkan. Mengenai hal ini, pemerintah telah menerbitkan UU No. 17 Tahun 2003 tentang Keuangan Negara dan UU Nomor 25 Tahun 2004 tentang Sistem Perencanaan Pembangunan Nasional. Peraturan Pemerintah yang diterbitkan sebagai turunan UU tersebut memiliki relevansi yang kuat dengan pelaksanaan pemantauan, evaluasi dan pengendalian pembangunan. Dalam UU Nomor 25 Tahun 2004, khususnya pasal 8, mengamanatkan adanya evaluasi pelaksanaan rencana pembangunan, serta peraturan pemerintah turunannya, yaitu PP Nomor 39 Tahun 2006 tentang Tata Cara Pengendalian dan Evaluasi Pelaksanaan Rencana Pembangunan, sebagai dasar hukum pelaksanaan pemantauan, evaluasi dan pengendalian terhadap rencana pembangunan. Demikian halnya dengan PP Nomor 90 Tahun 2010 tentang Penyusunan Rencana Kerja dan Anggaran Kementerian/Lembaga sebagai turunan dari UU Nomor 17 Tahun 2003 yang mengamanatkan dilaksanakannya pemantauan dan evaluasi atas pelaksanaan pembangunan. Namun demikian, peraturan perundangan yang ada belum mengatur mengenai petunjuk pelaksanaan/pedoman

teknis

evaluasi

dan

pengendalian

pelaksanaan

rencana

pembangunan, serta penyempurnaan terhadap petunjuk pelaksanaan pemantauan

1

2 pembangunan. Untuk itu, diperlukan suatu kajian yang akan digunakan sebagai pijakan awal dalam menyusun pedoman evaluasi dimaksud.

1.2.

Rumusan Masalah Berdasarkan penjabaran latar belakang yang disampaikan diatas, maka dapat diperoleh

beberapa permasalahan yang akan dikaji, yaitu: 1. Belum adanya suatu pedoman evaluasi pelaksanaan rencana pembangunan nasional yang dapat diimplementasikan kepada seluruh stakeholder terkait; 2. Hasil evaluasi yang ada belum memberikan manfaat yang optimal serta belum menjadi umpan balik yang memadai bagi proses penyusunan perencanaan pembangunan kedepan.

1.3.

Maksud dan Tujuan Berdasarkan rumusan masalah diatas, maka maksud dilakukannya kajian penyusunan

pedoman evaluasi rencana pembangunan nasional ini adalah sebagai salah satu bahan penyusunan pedoman evaluasi rencana pembangunan nasional yang akan berlaku secara nasional. Selain itu, kajian ini juga dimaksudkan untuk dapat mengidentifikasi berbagai permasalahan yang dihadapi dalam pelaksanaan evaluasi pembangunan dan mengambil langkah-langkah tindak lanjut yang diperlukan dalam kerangka perbaikan stuktur program dan kegiatan di masa depan. Selanjutnya, tujuan dilakukannya kajian Penyusunan Pedoman Evaluasi Pembangunan Nasional ini adalah sebagai langkah awal dalam penyusunan pedoman yang lebih bersifat teknis, dan untuk memberikan panduan dalam melakukan pemantauan, evaluasi dan pengendalian atas pelaksanaan pembangunan yang berdasar dokumen perencanaan tahunan (Renja K/L dan RKP), serta dokumen perencanaan jangka menengah (Renstra K/L dan RPJMN).

1.4.

Ruang Lingkup Ruang lingkup kajian ini meliputi:

1. Identifikasi, dan tinjauan literatur pelaksanaan rencana pembangunan;

2

yang berkenaan dengan pelaksanaan evaluasi

3 2. Perumusan konsep, kerangka dan analisa pembahasan terhadap evaluasi rencana pembangunan nasional; 3. Focus Group Discussion dengan mengundang narasumber (akademisi, praktisi dan birokrat); 4. Survey dan kunjungan lapangan ke beberapa propinsi; 5. Penyusunan laporan akhir dan seminar.

1.5.

Metodologi Metodologi yang digunakan dalam penyusunan kajian ini adalah metode deskriptif

kualitatif. Untuk menuju kepada analisis tersebut akan dilakukan serangkaian kegiatan yang mendukung penyusunan kajian ini, antara lain yaitu studi literatur dengan menelaah teori dan best practices, informasi yang berasal dari data primer dan data sekunder, baik berupa berbagai peraturan perundangan,

survei/kuesioner, makalah dan buku ilmiah, informasi

dalam web-site dan referensi lainnya, serta melakukan seminar, FGD dan kunjungan lapangan ke beberapa propinsi.

1.6.

Struktur Penulisan Sistematika penulisan kajian sebagai berikut :

Bab I Pendahuluan Berisi tentang latar belakang dilakukannya kajian penyusunan pedoman rencana pembangunan jangka menengah, maksud serta tujuan, ruang lingkup kajian serta metodologi yang digunakan dalam menyusun kajian ini. Bab II Tinjauan Teoritis Menjabarkan hasil tinjauan literatur yang digunakan, termasuk didalamnya adalah pendekatan teoritis. Bab III Kerangka Pemantauan, Evaluasi dan Pengendalian Pembangunan Terdiri dari metode evaluasi, alur kerja, sumber data yang akan digunakan, waktu pelaksanaan evaluasi, dan pihak – pihak yang melakukan evaluasi serta penerima manfaatnya. Bab IV Analisa Pelaksanaan Evaluasi Rencana Pembangunan Nasional Berisi analisa pelaksanaan pemantauan, evaluasi dan pengendalian pembangunan untuk menjabarkan secara rinci langkah – langkah dalam melakukan pengukuran 3

4 kinerja, mekanisme pelaporan, pengendalian perencanaan pembangunan dan evaluasi

pelaksanaan

perencanaan

pembangunan

oleh

beberapa

Kementerian/Lembaga dan Pemerintah Daerah Bab V Kesimpulan dan Rekomendasi Berisi tentang kesimpulan yang didapat dan rekomendasi yang dibutuhkan terkait dengan pernyusunan pedoman evaluasi pembangunan nasional.

4

5

BAB II TINJAUAN TEORITIS Pembahasan konsep evaluasi menjadi signifikan karena terdapat banyaknya pemahaman dan definisi terhadap kepentingan evaluasi. Di dalam bab ini akan dijelaskan mengenai konsep perencanaan pembangunan: konsep – konsep yang berkaitan dengan pemantauan, evaluasi dan pengendalian pembangunan, termasuk jenis dan tahapan pelaksanaan evaluasi yang banyak dilakukan oleh negara – negara lain.

Konsep Perencanaan Pembangunan Nasional Proses perencanaan pembangunan merupakan bagian dari alur penyusunan rencana pembangunan yang terintegrasi, seperti banyak disebutkan dalam alur manajemen pembangunan (Planning – Budgeting – Implementation – Monitoring and Evaluation). Perencanaan sendiri dapat disusun berdasarkan empat kriteria, diantaranya: (1) jangka waktu, (2) ruang lingkup, (3) tingkat keluwesan, dan (4) arus informasi (Kunarjo, 2002). Keempat kriteria tersebut membentuk dimensi kebutuhan perencanaan yang saling bersinergi satu dengan yang lainnya. Proses perencanaan pembangunan nasional yang baik mampu mensinergikan tujuan, strategi, menguraikan pengaturan implementasi dan mengalokasikan sumber daya yang ada untuk mencapai tujuan pembangunan nasional. Proses perencanan melalui beberapa tahap yaitu : 

Mengidentifikasi visi, tujuan dan sasaran yang hendak dicapai;



Menyusun strategi yang dibutuhkan untuk mencapai visi dan tujuan;



Menentukan dan mengalokasikan sumberdaya (finansial dan lainnya) yang diperlukan untuk mencapai visi dan tujuan;



Menguraikan pengaturan implementasi, yang meliputi pengaturan dalam proses pemantauan dan mengevaluasi kemajuan dalam mencapai visi dan tujuan. Proses perencanaan tidak dapat dilihat sebagai entitas yang terpisah dari pemantauan

dan evaluasi. Pemantauan dan evaluasi tanpa memperhatikan proses penyusunan rencana pembangunan belum tentu dapat dilaksanakan dengan baik. Perencanaan menjadi penting karena membantu pengambil kebijakan dalam merumuskan apa yang hendak dicapai oleh sebuah organisasi, program ataupun kegiatan, serta bagaimana cara mencapainya.

5

6 Untuk meningkatkan keberhasilan dalam mencapai tujuan, perencanaan perlu memperhatikan empat hal utama1 : 1.

Definisi perencanaan, program dan kegiatan; Program dan kegiatan akan berhasil jika tujuan dan ruang lingkupnya didefinisikan dengan baik dan jelas. Hal tersebut dapat meminimalisir kendala dalam proses pelaksanaan.

2.

Keterlibatan stakeholder; Keterlibatan stakeholder yang tinggi dalam proses pelaksanaan menjadi bagian yang penitng dalam keberhasilan.

3.

Komunikasi; Komunikasi yang baik antar stakeholder dapat memperjelas ekspektasi, peran dan tanggung jawab dari masing-masing pihak juga terkait dengan informasi perkembangan dan kinerja. Kejelasan tersebut dapat membantu memastikan penggunaan sumberdaya yang optimum.

4.

Pengawasan dan evaluasi; Program dan kegiatan dengan pengawasan dan evaluasi yang kuat akan cenderung berada dalam koridor yang benar sesuai dengan perencanaan. Selain itu, permasalah yang dihadapai juga dapat terdeteksi lebih awal sehingga dapat mengurangi kemungkinan menghadapai perasalahan yang lebih besar dikemudian hari.

Di dalam sistem perencanaan dan penganggaran, pengaturan tentang perencanaan pembangunan nasional diatur melalui UU No. 17 Tahun 2003 tentang Keuangan Negara dan UU No. 25 Tahun 2004 tentang Sistem Perencanaan Pembangunan Nasional yang diturunkan melalui PP No. 40 Tahun 2006 tentang Tata Cara Penyusunan Rencana Pembangunan Nasional dan PP No. 90 Tahun 2010 tentang Penyusunan Rencana Kerja Anggaran Kementerian/Lembaga. Kedua PP ini digunakan sebagai acuan bagi pemerintah dalam menyusun rencana pembangunan nasional maupun pada level masing – masing Kementerian/Lembaga.

Perencanaan dilakukan secara berjenjang mulai dari rencana

pembangunan jangka panjang, rencana pembangunan jangka menengah, hingga rencana pembangunan tahunan. Tujuan yang ingin dicapai melalui adanya sistem perencanaan pembangunan ini diantaranya adalah: 1. Mendukung koordinasi antarpelaku pembangunan; 2. Menjamin terciptanya integrasi, sinkronisasi, sinergi baik antar daerah, antar ruang, antar waktu, antar fungsi pemerintah maupun antara Pusat dan Daerah; 1

UNDP, 2009

6

7 3. Menjamin

keterkaitan

dan

konsistensi

antara

perencanaan,

penganggaran,

pelaksanaan, dan pengawasan; 4. Mengoptimalkan partisipasi masyarakat; dan 5. Menjamin tercapainya penggunaan sumber daya secara efisien, efektif, berkeadilan dan berkelanjutan.

Konsep Pemantauan dan Evaluasi Pembangunan Pemantauan digunakan untuk mengumpulkan data dan informasi dari sebuah kebijakan/program/kegiatan untuk mengukur keberhasilan

kebijakan/program/kegiatan.

Pemantauan dan evaluasi mengukur dan menilai hasil/kemajuan dari pelaksanaan kebijakan/program/kegiatan, yang dilaksanakan dengan cara dan waktu yang berbeda. Pemantauan umumnya dilakukan pada saat pelaksanaan kebijakan/program/kegiatan, sedangkan

evaluasi

dapat

dilakukan

pada

berbagai

tahapan

pelaksanaan

kebijakan/program/kegiatan (sebelum, pada saat dan setelah pelaksanaan). Menurut OECD (2010) pemantauan adalah sebuah proses yang berlanjut dengan menggunakan metode pengumpulan data yang sistematis terkait indikator tertentu bagi kepentingan manajemen dan stakeholder yang berhubungan dengan intervensi yang sedang dilakukan, untuk melihat kemajuan dan pencapaian sasaran serta penggunaan dana yang dialokasikan. Hal ini sejalan dengan definisi yang dikemukakan oleh National Planning Commission (NPC) Nepal (2013), yang menyebutkan bahwa pemantauan adalah proses untuk menilai kemajuan pembangunan secara berkelanjutan dan periodik pada berbagai tingkatan hirarki institusi, yang dimaksudkan agar input dan sumber daya yang diimplementasikan dikerjakan secara baik. Selanjutnya OECD (2010) mendefinisikan evaluasi sebagai penilaian sistematis dan objektif atas sebuah kebijakan/program/kegiatan yang sedang berjalan atau yang sudah selesai, terkait dengan kebijakan, desain, implementasi dan hasilnya. Tujuan umum yang ingin dicapai adalah untuk menentukan relevansi dan pencapaian sasaran, efisiensi pengembangan, efektivitas, dampak dan keberlanjutan. Hasil evaluasi harus mampu menggambarkan informasi yang bermanfaat dan kredibel yang memungkinkan dilakukannya lesson-learned terhadap proses pengambilan keputusan bagi pelaksana dan penerima intervensi. Lebih lanjut, dalam organisasi publik khususnya, tidak saja perlu dilakukan pemantauan dan evaluasi, namun juga pengendalian yang diarahkan untuk mencapai tujuan pembangunan. Seringkali terminologi pemantauan dan evaluasi digunakan dalam satu kesatuan sehingga menimbulkan kerancuan dalam penggunaannya. Pada kenyataannya, kedua 7

8 terminologi tersebut berbeda penggunaan dan maksud serta tujuannya, yang dapat dilihat pada tabel berikut ini: Tabel 1: Perbedaan Pemantauan dan Evaluasi Pemantauan Merupakan proses berkelanjutan yang dilakukan sepanjang pelaksanaan kebijakan/program/kegiatan, dan dipahami sebagai fungsi internal pelaksana kebijakan/program/kegiatan Dilakukan pada tahap formatif dan operasional Merupakan proses institusional untuk memperbaiki kesenjangan dan kelemahan yang terjadi sepanjang tahap formatif dan operasional

Secara langsung berhubungan dengan input, proses dan output Dilakukan oleh pelaksana kebijakan/program/kegiatan

Evaluasi Dapat dilakukan pada saat ex-ante, ongoing, dan ex-post

Dilakukan pada berbagai tingkatan, yang dimulai saat tahap perencanaan hingga pelaksanaannya Dimaksudkan sebagai langkah perbaikan di awal pada tahap formatif dan operasional, serta mengambil pembelajaran dari kekuatan dan kelemahan untuk intervensi di masa yang akan datang Lebih jauh, tidak hanya input, proses dan output, evaluasi penting untuk menilai outcome dan dampak yang dihasilkan Dapat dilakukan oleh pelaksana kegiatan dan/atau institusi di luar sistem

Sumber: National Planning Commission, Nepal (2013)

Tujuan Evaluasi Pembangunan

Menurut French Council for Evaluation, Scientific and National Councils for Evaluation (1999) evaluasi dapat digunakan untuk bermacam tujuan. Dari hasil Kajian yang dilakukan SPEKP (2008) disimpulkan bahwa evaluasi memiliki empat tujuan jelas: 1. Tujuan ETIS memberikan laporan pada pemimpin politis dan masyarakat tentang bagaimana sebuah kebijakan diterapkan dan hasil yang dicapai. Tujuan ini menggabungkan tujuan untuk pertanggungjawaban yang lebih baik, informasi dan penegakan demokrasi. 2. Tujuan MANAGERIAL untuk mencapai pembagian keuangan dan sumber daya manusia yang lebih masuk akal diantara tindakan yang berbeda dan untuk meningkatkan manajemen layanan yang dipercayakan untuk menyelesaikannya. 3. Tujuan KEPUTUSAN 8

9 membuka jalan terhadap pembuatan keputusan untuk pelanjutan, penghentian atau perubahan sebuah kebijakan 4. Tujuan PENDIDIKAN DAN MOTIVASI menolong untuk mendidik dan memotivasi pelaksana umum dan rekan kerja mereka dengan membuat mereka mengerti proses dimana mereka terlibat dan mengenalkan mereka dengan tujuan mereka Pelaksanaan kebijakan/program/kegiatan yang baik, membutuhkan proses yang berkelanjutan sehingga manfaat dan dampak yang dirasakan oleh masyarakat secara nyata dapat dirasakan secepat dan sebaik mungkin. Sehingga, perlu diperhatikan bagan berikut, yang menggambarkan proses berkesinambungan antara pemantauan dan evaluasi:

Gambar 1: Pemantauan dan Evaluasi sepanjang waktu pelaksanaan Kebijakan/Program/Kegiatan

Sumber: NPC Nepal (2013)

Evaluasi Kinerja Pembangunan Kinerja merupakan tolok ukur keberhasilan. Kinerja adalah gambaran mengenai tingkat pencapaian pelaksanaan suatu kebijakan/program/kegiatan dalam mewujudkan sasaran,

9

10 tujuan, misi dan visi organisasi, dalam hal ini K/L dan Pemerintah Daerah2. Dalam suatu sistem input-ouput, kinerja tersebut berjenjang menurut komponen penyusunnya. Kerangka penyusunannya dimulai dari “apa yang ingin diubah” (impact) yang memerlukan indikator “apa yang akan dicapai” (outcome) guna mewujudkan perubahan yang diinginkan. Selanjutnya, untuk mencapai outcome diperlukan informasi tentang “apa yang dihasilkan” (output). Untuk menghasilkan output tersebut diperlukan “apa yang akan digunakan” (input). Sebagaimana bisa dilihat pada gambar berikut:

Gambar 2: Struktur Kinerja Pembangunan

Dalam perspektif pembangunan nasional, sasaran (impact) K/L merupakan kinerja yang ingin dicapai K/L, outcome program merupakan kinerja program dan output kegiatan merupakan kinerja kegiatan. Oleh karena itu, dalam manajemen pembangunan, kinerja K/L dan Pemerintah Daerah perlu dievaluasi. Evaluasi kinerja merupakan aktivitas dalam manajemen proses kebijakan yang dilakukan

pada

tahap

pemantauan

pelaksanaan,

pengawasan,

ataupun

pertanggungjawaban3. Setiap tahapan berisikan kegiatan pengumpulan dan analisis mengenai data dan informasi serta pelaporan mengenai tingkat perkembangan capaian hasil

2

Mahsun, 2006

3

Mustopadidjaja, 2003

10

11 kegiatan pelaksanaan, ketepatan sistem dan proses pelaksanaan, dan ketepatan kebijakan serta akuntabilitas kelembagaan secara keseluruhan. Evaluasi yang dilakukan pada tahap pelaksanaan didasarkan atas hasil dari pelaksanaan pemantauan. Dengan kata lain hasil dari pelaksanaan pemantauan dijadikan sebagai bahan untuk melakukan evaluasi. Hal ini dimaksudkan untuk mendapatkan informasi dini mengenai perkembangan pelaksanaan kebijakan pada momentum atau dalam jangka waktu tertentu sehingga dapat diketahui hal-hal yang perlu diperbaiki baik mengenai sistem dan proses pelaksanaan maupun kebijakannya itu sendiri, agar pelaksanaan kebijakan dapat berjalan baik dan tujuan kebijakan dapat dicapai lebih optimal. Di samping memuat gambaran perkembangan pelaksanaan, laporan pemantauan juga memuat identifikasi kelemahan kebijakan dan penyimpangan terhadap sistem dan proses pelaksanaan kebijakan, serta saran koreksi terhadap penyimpangan pelaksanaan ataupun terhadap kebijakan itu sendiri. Evaluasi kinerja dalam rangka pengawasan harus dapat memberikan informasi objektif mengenai tingkat capaian pelaksanaan kebijakan pada momentum atau dalam jangka waktu tertentu, mengenai kekeliruan atau penyimpangan yang terjadi dalam pelaksanaan kebijakan, serta rekomendasi mengenai langkah tindak lanjut hasil temuan pengawasan. Pada tahap pertanggungjawaban, evaluasi kinerja harus dapat memberikan gambaran dan analisis objektif mengenai perkembangan pelaksanaan, perubahan atau penyesuaian yang telah dilakukan berikut alasannya, dan penilaian tingkat capaian kinerja dalam jangka waktu tertentu.Evaluasi kebijakan secara komprehensif dapat meliputi: 1) penilaian mengenai latar belakang dan alasan-alasan diambilnya suatu kebijakan, tujuan dan kinerja kebijakan; 2) berbagai instrumen kebijakan yang dikembangkan dan yang dilaksanakan; 3) respon kelompok sasaran dan stakeholders lainnya; 4) konsistensi aparat; 5) dampak yang timbul; 6) perubahan yang ditimbulkan dan perkiraan kemajuan yang dicapai jika kebijakan dilanjutkan atau diperluas. Evaluasi kebijakan komprehensif pada umumnya dilakukan untuk mengetahui ketepatan dan efektifitas kebijakan dalam mengatasi permasalahan yang dihadapi atau dalam mencapai tujuan yang direncanakan, dengan maksud untuk mengkaji kemungkinan perubahan ataupun penyesuaian kebijakan (policy changes and/or adjustments). Oleh sebab itu evaluasi kebijakan dapat pula menyentuh pengujian mengenaivaliditas dan relevansi teori yang melandasi suatu kebijakan. Evaluasi kinerja kebijakan merupakan bagian dari evalusi kebijakan yang secara spesifik terfokus pada berbagai indikator kinerja bertalian dengan kebijakan dan rencana yang telah ditetapkan. Evaluasi kinerja kebijakan pada hakikatnya dilakukan untuk mengetahui ketepatan dan efektifitas baik kebijakan itu sendiri maupun sistem dan proses pelaksanannya, agar dapat

11

12 dilakukan langkah-langkah tindak lanjut untuk menghindari “biaya” yang lebih besar atau untuk mencapai “manfaat” yang lebih baik4. Esensi evaluasi kinerja adalah perbandingan mengenai kinerja dan tingkat efektifitas baik kebijakan maupun sistem dan proses pelaksanaan yang berkembang dalam mengatasi permasalahan yang dihadapi atau dalam mencapai tujuan yang ditetapkan. Dengan maksud dan alasan tertentu, penilaian kinerja dapat menyentuh pengujian mengenai validitas dan relevansi kerangka teori yang melandasi sesuatu kebijakan. Adapun maksud dilakukannya evaluasi kinerja dapat dilihat dan dibedakan berdasar kontekstualitasnya (internal atau eksternal) dan tahapan pengelolaan pelaksanaan kebijakan (dalam rangka pemantauan, pengawasan, atau pertanggungjawaban). Evaluasi kinerja yang dilakukan dalam rangka pemantauan pada pokoknya adalah menyediakan informasi bagi para pengelola kebijakan dan pembuat kebijakan mengenai ketepatan dan efektifitas kebijakan dan sistem serta proses pelaksanaannya, agar dapat dilakukan tindak lanjut dini apabila secara aktual ternyata ada hal-hal yang perlu dikoreksi baik pada kebijakan atau pun pada sistem dan proses pelaksanaannya. Evaluasi kinerja pada pengawasan eksternal, dilakukan dengan tujuan memberikan gambaran objektif mengenai ketepatan dan ektifitas kebijakan ataupun sistem serta proses pelaksanaannya, kondisi biaya dan manfaat aktual dari kebijakan, perkembangan berbagai unsur dan indikator kinerja yang dicapai, yang diperlukan sebagai pertanggungjawaban suatu organisasi dalam melaksanakan tugas kelembagannya. Hal terakhir itu menunjukan maksud dilakukannya evaluasi kinerja, yang tentu dipengaruhi pula oleh posisi dan peran lembaga pengawasan eksternal yang melakukan evaluasi tersebut. Sehubungan dengan itu perlu diperhatikan hubungan atau keserasian antar evaluasi kinerja baik dalam rangka pemantauan, pengawasan, ataupun pertanggungjawaban. Jika keseluruhannya berpangkal pada data dan informasi objektif dengan validitas teruji, maksud dan tujuan yang serupa, teori dan metode yang relevan, maka hasilnya akan relatif sama atau tidak banyak berbeda. Perbedaan laporan evaluasi kinerja hanya akan terletak pada adanya perbedaan dalam posisi, tugas, dan tanggung jawab kelembagaan masingmasing dalam hubungan pelaksanaan pengawasan internal dan eksternal. Namun perbedaan fokus tidak perlu menimbulkan perbedaan kesimpulan, apabila masing-masing melakukan penilaiannya berdasar data dan informasi objektif mengenai indikator yang sama, dan menggunakan teori dan metode relevan yang diakui validitasnya (Kajian SPEKP, 2014).

4

Mustopadidjaja, 2003

12

13

Metodologi Pemantauan, Evaluasi dan Pengendalian Pembangunan Menurut World Bank (2004), setidaknya terdapat sembilan (9) pendekatan dan metode yang dapat digunakan untuk mengukur kemajuan terhadap pelaksanaan program dan kegiatan. Pemilihan pendekatan dan metode yang akan digunakan dalam pemantauan dan evaluasi bergantung kepada berbagai faktor, seperti ketersediaan sumber daya (tenaga dan materi), serta waktu yang tersedia. Disamping itu, kebutuhan akan penggunaan metode tertentu akan dipengaruhi oleh keputusan pengambil kebijakan, dalam hal ini apabila institusi yang melakukan adalah institusi sektor publik. Kesembilan metode tersebut dapat digunakan baik secara complementary maupun sebagai substitusi antara satu dengan yang lainnya. Hal ini dikarenakan beberapa metode tersebut dapat diaplikasikan secara luas, namun di sisi lain, beberapa metode hanya dapat digunakan pada kasus tertentu. Adapun ke sembilan metode dan pendekatan yang dimaksud adalah: Performance Indicators (Pengukuran Kinerja) Metode pengukuran kinerja digunakan untuk mengukur input, proses, output, outcome dan dampak atas kemajuan prgram dan kegiatan. Pengukuran kinerja perlu didukung dengan pengumpulan data, analisa data dan pelaporan yang baik, sehingga memungkinkan dilakukannya ukuran kemajuan untuk diambil langkah – langkah perbaikan untuk meningkatkan pelayanan publik. Metode ini sangat berguna dalam mengidentifikasi masalah yang dapat dilakukan melalui pengembangan sistem peringatan dini (early warning system) yang memungkinkan dilakukannya langkah – langkah. Proses ini juga dapat mengindikasikan apakah evaluasi yang lebih dalam diperlukan atau tidak. Keunggulan metode ini diantaranya sebagai alat yang efektif untuk mengukur kemajuan capaian sasaran serta mendukung perbandingan diantara unit organisasi yang diukur sepanjang waktu. Kelemahan metode ini diantaranya apabila indikator pengukuran yang digunakan tidak didefinisikan dengan baik, kecenderungan akan penggunaan indikator yang terlampau banyak dan indikator yang digunakan tidak memiliki sumber data yang baik. Biaya yang diperlukan akan bervariasi, tergantung dari jumlah indikator yang dikumpulkan, frekuensi dan kualitas informasi yang tersedia. Logical Framework (Kerangka Kerja Logis) Kerangka Logika (Logframe) membantu untuk memperjelas tujuan dan sasaran pembangunan yang dapat dilihat melalui pelaksanaan program dan kegiatan. Logframe membantu untuk identifikasi hubungan sebab akibat dalam program dan kegiatan yang tercermin dalam input, proses, output, outcome, dan dampak. Logframe membantu identifikasi indikator kinerja pada setiap tahapan pembangunan, termasuk resiko yang mungkin dihadapi

13

14 dalam mencapai tujuan pembangunan. Selama waktu pelaksanaan program dan kegiatan, Logframe merupakan alat yang berguna untuk review kemajuan dan langkah – langkah perbaikan jika diperlukan. Penggunaan Lograme berguna untuk meningkatkan kualitas desain program dan kegiatan, dengan mewajibkan penggunaan tujuan pembangunan yang jelas dan berjenjang, penggunaan indikator kinerja dan penilaian atas resiko. Logframe juga bermanfaat untuk menyederhanakan desain penyusunan program dan kegiatan dan membantu persiapan penyusunan rencana kerja yang lebih operasional. Keunggulan dari penggunaan metode ini diantaranya terkait dengan keterlibatan stakeholder dalam proses penyusunan program dan kegiatan dan memastikan proses pengambilan keputusan berdasarkan asumsi dan pertanyaan pembangunan yang mendasar. Selain itu, penggunaan Lograme dapat secara efektif membantu sebagai panduan dalam melakukan pemantauan dan evaluasi. Kelemahan dari penggunaan metode ini diantaranya berkaitan dengan rigiditas yang dapat menghambat inovasi.

Theory-Based Evaluation Theory-Based Evaluation (TBE) memiliki kesamaan dengan Logframe, namun memungkinkan banyak pemahaman yang lebih mendalam tentang cara kerja program dan kegiatan. TBE tidak membutuhkan asumsi hubungan sebab akibat sebagaimana Logframe. Sebagai contoh, kesuksesan program pemerintah untuk meningkatkan angka literasi dengan menambah jumlah guru akan sangat bergantung pada banyak faktor, diantaranya jumlah kelas yang tersedia, jumlah buku, dan lain sebagainya. Dengan memetakan faktor - faktor penentu yang menyebabkan kesuksesan program dan kegiatan, dapat diputuskan langkah atau indikator mana yang harus di pantau dan evaluasi. Hal ini berguna untuk faktor – faktor penyebab kesuksesan teridentifikasi. Dan di saat data menunjukkan bahwa indikator – indikator pembangunan belum tercapai, maka kemudian dapat disimpulkan bahwa indikator tersebut belum berhasil mencapai tujuan pembangunan. TBE bermanfaat untuk memetakan desain program dan kegiatan yang kompleks yang akan membawa dampak peningkatan proses perencanaan. Keunggulan TBE diantaranya adalah mampu melihat umpan balik lebih dini tentang apa yang berjalan dengan baik dan yang tidak, memungkinkan dilakukannya langkah perbaikan lebih awal dan membantu untuk mengidentifikasi efek samping pelaksanaan program dan kegiatan yang tidak diharapkan. Namun demikian, kelemahan pendekatan TBE adalah dapat menjadi kompleks jika skala program dan kegiatan besar. Disamping itu, keputusan untuk menentukan faktor – faktor mana yang menjadi penyebab kesuksesan dapat memakan waktu.

14

15 Formal Survey Survei formal dapat digunakan untuk mengumpulkan informasi yang terstandardisasi dari sample yang dipilih secara hati – hati. Survei seringkali digunakan untuk mengumpulkan informasi yang dapat diperbandingkan dalam jumlah yang besar dalam target kelompok tertentu. Survei mampu menggambarkan basis data yang diperbandingkan dengan capaian yang ingin dicapai. Survei juga dapat membandingkan berbagai kelompok pada suatu waktu, perubahan atas kelompok yang sama dan perbandingan atas kondisi aktual dengan target – target atas program dan kegiatan. Hasil survei yang baik dapat diaplikasikan kepada target kelompok yang lebih besar atau bahkan keseluruhan populasi. Namun, analisa data atas jumlah survei yang besar dapat menyebabkan bottleneck. Disamping itu, banyak jenis informasi yang tidak dapat tercatat melalui penggunaan survei. Rapid Appraisal (Penilaian Cepat) Metode penilaian cepat merupakan metode yang dilakukan untuk mendapatkan pandangan dan umpan balik terhadap penerima manfaat program dan kegiatan, dalam rangka memenuhi kebutuhan pengambilan keputusan. Metode ini biasanya tidak memiliki biaya yang mahal karena dilakukan secara cepat dan dalam jangka waktu yang singkat. Namun, karena bersifat cepat, hasil temuan yang didapat akan sulit untuk digeneralisasi dan lebih bersifat lokal. Kelemahan lainnya adalah masalah validitas data dan kredibilitas yang kurang.

Participatory Methods Metode partisipatif

merupakan metode keterlibatan secara aktif dalam proses

pengambilan keputusan bagi mereka yang memiliki kepentingan atas program dan kegiatan sehingga menimbulkan rasa kepemilikan atas hasil pemantauan dan evaluasi beserta rekomendasinya. Metode ini memungkinkan evaluator untuk mempelajari secara seksama kondisi lokal berikut perspektif yang dimiliki beserta prioritas untuk melakukan desain program dan kegiatan yang lebih responsif dan berkelanjutan. Dengan pendekatan ini, maka akan memberikan pengetahuan dan keterampilan untuk memberdayakan penerima program dan kegiatan. Keunggulan metode ini adalah mampu melihat isu-isu yang relevan karena melibatkan stakeholder utama dalam penyusunan prosesnya. Disamping itu, menumbuhkan kemitraan dan rasa kepemilikan, serta meningkatkan kapasitas dan pembelajaran bagi masyarakat. Namun demikian, karena melibatkan masyarakat, akan muncul bias dalam mencapai tujuan serta memakan waktu yang lama. Masalah penyalahgunaan penyusunan desain juga merupakan masalah tersendiri, karena dapat diarahkan oleh stakeholder yang dominan. 15

16 Beberapa tools participatori yang sering digunakan diantaranya: analisis stakeholder, participatory rural appraisal, beneficiaries assessment, dan participatory monitoring and evaluation.

Public Expenditure Tracking Surveys Public Expenditure Tracking Surveys (PETS) merupakan metode pemantauan dan evaluasi untuk melacak aliran penggunaan anggaran pembangunan dan menentukan sumber daya mana yang mencapai target kelompok. Survei yang digunakan mempertimbangkan perilaku, kuantitas dan waktu atas pencairan anggaran oleh pemerintah, terutama untuk unit kerja yang bertanggung jawab untuk penyediaan layanan sosial, seperti pendidikan dan kesehatan. PETS sering kali diimplementasikan sebagai bagian dari layanan yang lebih besar dan fasilitas pemerintah yang berfokus pada penyediaan layanan pemerintah, manajemen, struktur insentif, dan sebagainya. PETS mampu mendiagnosa permasalahan dalam penyediaan layanan secara kuantitatif dan menyediakan bukti atas penyelewengan penggunaan anggaran. PETS mendukung pelaksanaan akuntabilitas penggunaan anggaran, bahkan disaat informasi keuangan yang tersedia terbatas, disamping sebagai bagian dari debottlenecking aliran anggaran. Namun demikian, konsekuensi dari penggunaan PETS adalah biaya yang besar dan isu – isu lain yang terkait transparansi penggunaan anggaran.

Cost-benefit and Cost Effectiveness Analysis Penggunaan metode analisis Cost-benefit dan Cost-effectiveness dapat digunakan dalam menilai apakah biaya yang dikeluarkan dalam pelaksanaan kegiatan dapat dijustifikasi melalui output dan outcome yang dihasilkannya. Metode Cost-benefit mengukur input dan output yang digunakan melalui istilah moneter. Artinya, jumlah anggaran yang digunakan dalam mencapai output dan outcome. Di sisi lain, metode Cost-effectiveness mengestimasi input secara moneter, dan outcome dalam terminologi non-moneter (contohnya: Peningkatan nilai membaca murid). Kedua metode ini dapat memberikan informasi mengenai penggunaan alokasi sumber daya yang paling efisien. Metode ini dapat mengestimasi seberapa efisien pelaksanaan program dan kegiatan, dan akan bermanfaat dalam menyajikan hasil temuan kepada stakeholder sebagai justifikasi pelaksanaannya. Namun demikian, metode ini bersifat teknis, sehingga memerlukan keterampilan atas sumber daya yang ada. Permasalahan lainnya adalah perlu menggunakan asumsi atas pelaksanaan program dan kegiatan, yang dapat berdampak pada hasil yang diharapkan. Selain itu, permasalahan juga muncul apabila indikator – indikator yang diukur merupakan indikator kualitatif.

16

17 Impact Evaluation (Evaluasi Dampak) Evaluasi dampak merupakan identifikasi sistematis atas akibat pelaksanaan program (baik positif ataupun negatif, baik yang diharapkan maupun yang tidak diharapkan) yang disebabkan adanya intervensi program dan kegiatan oleh pemerintah. Evaluasi dampak mampu mengidentifikasi program mana yang mampu mencapai target kelompok dan besaran dampak tersebut akan peningkatan kesejahteraan masyarakat. Evaluasi dampak bervariasi, dimulai dari penggunaan survei dalam skala besar dimana aktivitas populasi dan kelompok kendali (target groups) dibandingkan sebelum dan sesudah intervensi); hingga penilaian cepat dan pendekatan partisipatif dalam skala kecil dimana dampak yang diukur didapat dari wawancara, studi kasus, data sekunder dan lain sebagainya. Evaluasi dampak berguna untuk mengukur outcome dan dampak atas intervensi program pembangunan, dan membedakannya dari faktor – faktor eksternal. Penggunaan evaluasi dampak juga bermanfaat untuk memperjelas penggunaan anggaran yang dikeluarkan selama periode program, dan memberikan informasi yang mendalam atas suatu program; apakah program tersebut dilanjutkan, dihentikan, dimodifikasi atau diperluas cakupannya. Penggunaan evaluasi dampak yang baik mampu membandingkan alternatif – alternatif intervensi yang diharapkan dapat mensejahterakan masyarakat. Keunggulan dari evaluasi dampak diantaranya adalah mampu mengestimasi seberapa besar outcome dan dampak yang dihasilkan untuk berbagai demografi dan wilayah pada suatu waktu, dan menyajikan analisis yang sistematis sehingga perumus kebijakan dapat menyusun langkah – langkah pembangunan yang lebih baik. Namun demikian, penggunaan evaluasi dampak juga memiliki kelemahan, diantaranya adalah biaya dan waktu yang dibutuhkan lebih lama dibanding penggunaan metode lainnya, serta permasalahan dalam mengidentifikasi counter-factual yang seharusnya digunakan. Salah satu contoh penggunaan desain evaluasi dampak yaitu desain evaluasi acak (randomized evaluation designs) dimana informasi capaian program dan kelompok kontrol diukur pada beberapa waktu (biasanya sebelum dan setelah intervensi), mampu menyediakan analisa statistik yang komprehensif atas dampak yang dihasilkan. Namun demikian, secara nyata, penggunaan desain ini akan sulit untuk dilakukan karena hambatan waktu, biaya, metodologi dan etika. Pada tabel dibawah disajikan empat (4) model evaluasi dampak yang seringkali digunakan: Tabel 2: Model Evaluasi Dampak Model Randomized

17

Desain

Perkiraan Waktu dan Biaya

Subjek evaluasi dipilih dan dibagi menjadi 2 kelompok (yang menerima program dan

Waktu yang dibutuhkan berkisar antara 1 – 5 tahun, tergantung dampak yang akan diobservasi.

18 Model

Desain

yang tidak/kelompok kontrol). Instrumen pengumpulan data diaplikasikan ke kedua kelompok, sebelum dan setelah adanya intervensi. Observasi tambahan dapat dilakukan jika memang diperlukan. Quasi – experimental Saat desain randomized tidak dimungkinkan, kelompok kontrol dipilih semirip mungkin dengan karakteristik kelompok yang menerima intervensi. Hal ini dimaksudkan untuk melihat dampak sebelum dan setelah pelaksanaan program dalam kelompok yang berbeda Ex – post comparison Data dikumpulkan melalui penerima intervensi program dan hanya dikumpulkan pada saat program telah selesai dilaksanakan. Analisa multivariat seringkali digunakan untuk melihat capaian secara statistik dari kedua kelompok. Rapid assessment Desain ini memungkinkan kelompok – kelompok yang menerima intervensi untuk mengidentifikasi perubahan yang terjadi, siapa yang diuntungkan, serta kekuatan dan kelemahan program. Sumber: World Bank (2004)

18

Perkiraan Waktu dan Biaya Biaya yang dibutuhkan umumnya sangat besar, namun tergantung dari ukuran dan kompleksitas program

Waktu yang dibutuhkan berkisar antara 1 – 5 tahun, tergantung dampak yang akan diobservasi. Biaya yang dibutuhkan umumnya sangat besar, namun tergantung dari ukuran dan kompleksitas program

Biaya yang digunakan umumnya berkisar sepertiga hingga setengah dari model 1 dan 2.

Biaya yang dibutuhkan tidak terlalu besar, dan jangka waktu yang bervariasi antara 1 – 2 bulan hingga satu tahun.

19

BAB III

KERANGKA PEMANTAUAN, EVALUASI DAN PENGENDALIAN PEMBANGUNAN

Kebijakan yang terkait pemantauan, evaluasi dan pengendalian pembangunan perlu dilakukan untuk mendukung pelaksanaan reformasi perencanaan dan penganggaran, dimana hasil tersebut digunakan sebagai umpan balik (feed back) bagi proses penyusunan perencanaan dan penganggaran kedepan. Agar pemantauan, evaluasi dan pengendalian dapat dilakukan secara baik, maka proses penyusunan program/kegiatan harus memenuhi kaidah-kaidah yang berlaku. Program/kegiatan yang disusun berdasarkan prinsip-prinsip perencanaan penganggaran diasumsikan telah mulai menggunakan mekanisme kerangka logika program dalam penyusunannya sesuai dengan peraturan yang berlaku, sehingga proses pemantauan, evaluasi dan pengendalian yang dilakukan dapat dilakukan dengan lebih terukur. Kerangka evaluasi RPJMN secara umum mengacu kepada Buku I RPJMN 2015 – 2019 sebagaimana berikut: Gambar 3: Kerangka Evaluasi RPJMN 2015 - 2019

Sumber: Buku I RPJMN 2015 – 2019

Selanjutnya, mengukur kinerja suatu program dan/atau kegiatan dapat dilihat melalui beberapa metode, dimana pengukuran yang paling sederhana dilakukan melalui persandingan antara realisasi dengan rencana yang telah ditetapkan. Saat ini, tata kelola pemerintahan telah lebih terorganisir, terutama setelah berlakunya sistem perencanaan dan penganggaran yang berbasis kinerja. Dengan pemberlakuan sistem tersebut, penyusunan 19

20 program dan kegiatan dilakukan berdasarkan kerangka logika program yang mencerminkan koherensi kebutuhan masyarakat dengan program pembangunan pemerintah. Melakukan evaluasi dengan membandingkan hasil terhadap target dan realisasi (efektifitas), juga realisasi terhadap rencana pemanfaatan sumber daya (efisiensi). Hasil evaluasi tersebut dapat digunakan sebagai umpan balik (feed back) bagi organisasi untuk perbaikan rencana pembangunan kedepan. Lebih jauh, pelaksanaan pemantauan, evaluasi dan pengendalian kinerja merupakan proses penilaian dan pengungkapan masalah implementasi kebijakan untuk memberikan umpan balik bagi peningkatan kualitas kinerja, baik dari sisi efisiensi dan efektivitas dari suatu program/kegiatan. Untuk itu pengukuran yang dilakukan dalam periode tahunan harus dapat memberikan informasi yang dibutuhkan untuk melihat secara cepat arah capaian suatu program/kegiatan. Sedangkan evaluasi yang dilakukan terhadap pelaksanaan dokumen jangka menengah (Renstra K/L dan RPJMN) lebih dilakukan untuk mengukur manfaat dan dampak dari suatu kebijakan/program. Lebih lanjut, evaluasi dampak biasanya dilakukan untuk mengetahui sejauh mana dampak yang disebabkan kebijakan/program dan digunakan untuk menelaah manfaat dari program terhadap target group. Namun demikian, evaluasi dampak (impact evaluation) biasanya tidak dilakukan terhadap seluruh program, karena evaluasi dampak membutuhkan biaya besar dan waktu yang cukup lama. Dalam melakukan evaluasi dampak diperlukan metode perbandingan antara penerima manfaat program dan kelompok kontrol/pembanding (bukan penerima manfaat), pada dua atau lebih kurun waktu dan membutuhkan teknik statistik tingkat lanjut untuk mengetahui dampak program secara riil terhadap penerima manfaat. Tabel 3: Kerangka Evaluasi berdasarkan Jenis Dokumen Perencanaan Dokumen Perencanaan Renja K/L

RKP

Renstra K/L

20

Jenis Evaluasi  Pengukuran Kinerja  Proses pelaksanaan pembangunan  Pengukuran Kinerja  Proses pelaksanaan pembangunan Proses pelaksanaan pembangunan

Periode

Evaluator

User dan Penerima Manfaat K/L Bappenas

Kriteria Evaluasi

3 bulan 1 tahun

K/L

Output Outcome Efisiensi

1 tahun

K/L Bappenas

K/L Bappenas

Output Outcome Efisiensi Efektivitas

Tengah periode 5 Tahun

K/L

K/L Bappenas

Output Outcome Efisiensi Efektivitas Dampak

21 Dokumen Perencanaan RPJMN

Tematik

Jenis Evaluasi  Pengukuran Kinerja  Proses pelaksanaan pembangunan  Evaluasi kebijakan strategis Evaluasi kebijakan strategis

Periode

Evaluator

Tengah Periode 5 Tahun

K/L Bappenas

Tentatif

K/L Bappenas Daerah

User dan Penerima Manfaat K/L Bappenas Daerah

K/L Bappenas Daerah

Kriteria Evaluasi Output Outcome Efisiensi Efektivitas Dampak Keberlanjutan Output Outcome Efisiensi Efektivitas Dampak Keberlanjutan

Jenis Evaluasi Pembangunan Jenis evaluasi yang digunakan dalam kajian ini terdiri dari 4 (empat) jenis evaluasi yaitu Evaluasi ex-ante, Pengukuran Kinerja, Evaluasi Proses Pelaksanaan Rencana Pembangunan dan Evaluasi Kebijakan Strategis/Program Besar. Pemilihan jenis evaluasi ini tergantung dari tujuan evaluasi, sehingga bisa digunakan satu jenis atau kombinasi ketiganya secara bersamaan. Secara detail evaluasi tersebut dapat dijelaskan sebagai berikut: Evaluasi Ex-Ante Evaluasi ex-ante merupakan evaluasi yang dilaksanakan pada tahap perencanaan. Evaluasi ini sering digunakan untuk: 1. Memilih alternatif terbaik dari berbagai alternatif yang ada. Evaluasi ex- ante dilakukan dengan menggunakan metode cost benefit analysis, yaitu menghitung biaya dan manfaatnya. Jika menggunakan cara A maka berapa biaya yang dibutuhkan dan berapa keuntungannya serta apa kerugiannya? Dan Jika menggunakan cara B maka berapa biaya yang dibutuhkan dan berapa keuntungannya serta apa kerugiannya? Kemudian dipilih alternatif dengan biaya rendah namun memiliki manfaat yang besar. Evaluasi ini sebaiknya digunakan untuk kegiatan konkrit dan mikro, dan digunakan pada pekerjaan umum, penelitian dan pengembangan, regulasi dan insentif pajak yang diberikan kepada swasta. 2. Memastikan dokumen perencanaan disusun secara terstruktur, koheren dan sistematis.

21

22 Evaluasi digunakan untuk memastikan relevansi antara kondisi saat ini, kebutuhan dan permasalahan yang dihadapi dengan sasaran yang ingin dicapai serta mengkaitkan dengan arah kebijakan dan strategi yang akan digunakan. Hal ini untuk menjamin bahwa kebijakan/program/kegiatan yang diambil pemerintah tepat sasaran. Selain itu juga melihat target yang ingin dicapai dan indikator yang digunakan, apakah sudah sesuai dengan kriteria yang ada dan realistis. Melalui evaluasi ex-ante diharapkan dokumen perencanaan tersusun secara terstruktur, koheren dan sistematis. Untuk melihat struktur dan sistematika dokumen perencanaan maka metode yang paling tepat digunakan adalah penilaian cepat (rapid assessment), sehingga hasil evaluasi dapat digunakan secara langsung untuk perbaikan dokumen perencanaan. Metode penilaian cepat dapat dilakukan melalui penelaahan dokumen (document review), wawancara dan Focus Group Discussion (FGD). Proses evaluasi ex-ante: a.

Penelaahan Konsistensi Kebijakan Antar Dokumen Perencanaan Konsistensi kebijakan antar dokumen perencanaan ini perlu dilakukan untuk menjamin bahwa pencapaian tujuan nasional jangka panjang/menengah. Untuk itu tema dan kebijakan pada dokumen RPJMN harus mengacu dan sejalan dengan RPJPN, tema dan kebijakan pada dokumen RKP dan Renstra K/L harus mengacu pada dokumen RPJMN, dan sebagainya. Gambar 4: Konsistensi Keterkaitan Antar Dokumen Perencanaan

22

23 Konsistensi antar dokumen bisa dilihat dari keterkaitan antara program/kegiatan sebagaimana contoh di bawah ini: Gambar 5: Contoh Keterkaitan Antar Dokumen Perencanaan untuk Program Bina Gizi dan Kesehatan Ibu dan Anak

b.

Penelaahan Penyusunan Kebijakan/Program/Kegiatan Dalam melakukan review ini hal pertama yang perlu dilakukan adalah menelaah Kerangka Kerja Logis yang telah tersedia dalam dokumen. Penelaahan ini diperlukan untuk memahami struktur Kerangka Kerja Logis untuk mendapatkan outlines bagaimana kegiatan dilaksanakan untuk mencapai sasaran yang diinginkan. Kerangka ini menggambarkan hubungan antara input-proses-output-outcome dan impact dalam pelaksanaan suatu kebijakan/program/kegiatan. 1) Analisis Masalah dan Penilaian Kebutuhan Logika dasar dalam kebijakan/program/kegiatan publik adalah untuk memecahkan permasalahan dan memenuhi kebutuhan. Untuk itu perlu dilakukan analisis masalah dan penilaian kebutuhan untuk menjadi dasar dalam formulasi tujuan/sasaran yang realistis dan relevan. Biasanya permasalahan dan kebutuhan dijelaskan dalam Bab Kondisi Saat Ini atau Hasil Evaluasi. 2) Penilaian terhadap Formulasi Sasaran

23

24 Setelah melihat permasalahan dan kebutuhan maka dilakukan penilaian terhadap sasaran yang telah disusun. Sasaran harus terkait dengan permasalahan, kebutuhan, dan kondisi terkini. Untuk sasaran pokok nasional, selain memperhatikan hal tersebut perlu juga memperhatikan visi dan misi pimpinan (Presiden/Menteri/ Kepala Lembaga) dan sasaran pembangunan pada level yang lebih tinggi. Menentukan sasaran yang terukur secara konkrit atau setidaknya dapat diverifikasi merupakan hal yang penting dalam mencapai kesuksesan kebijakan/program /kegiatan karena sasaran: a)

Mengklarifikasi hubungan antara sasaran kebijakan/program/kegiatan dengan sasaran pada level yang lebih tinggi dan juga mengklarifikasi hubungan dengan permasalahan dan kebutuhan.

b)

Memberikan pemahaman yang sama mengenai hal apa yang penting untuk dicapai.

c)

Sebagai dasar dalam mendefinisikan kriteria sukses dari kebijakan/program /kegiatan dan untuk menentukan indikator yang spesifik untuk pengukuran kinerjanya.

d)

Sebagai dasar untuk melakukan evaluasi atas hal yang sudah dicapai. Jika sasaran samar dan terlalu umum maka akan sulit untuk menilai apakah intervensi yang dilakukan pemerintah berhasil atau tidak.

3) Penilaian terhadap Indikator Kinerja Indikator digunakan sebagai alat untuk mengukur keberhasilan atau kegagalan atas pelaksanaan kebijakan/program/kegiatan. Indikator dapat berupa kualitatif dan kuantitatif. Indikator yang digunakan harus memiliki kriteria SMART (Specific, Measurable, Attributable/Achieveble/ Accountable , Reliable/Result oriented, dan Time-bound). Indikator harus dapat menunjukkan tingkat keberhasilan/ketidakberhasilan capaian kebijakan/program/kegiatan. Tidak ada batasan baku mengenai jumlah indikator pada tiap program dan kegiatan, namun dalam berbagai best practices dan referensi disebutkan bahwa bahwa jumlah indikator kinerja pada tingkat program sebanyak 12 indikator dan pada tingkat kegiatan sebanyak 1-3 indikator sehingga memungkinkan penanggung jawab indikator dapat mengelolanya dengan baik. 4) Penilaian Konsistensi Arah Kebijakan dan Strategi dengan Sasaran Dalam rangka mencapai sasaran yang telah ditetapkan maka perlu disusun arah kebijakan dan strategi. Untuk itu, arah kebijakan dan strategi harus sejalan dengan 24

25 sasaran yang telah ditetapkan. Arah kebijakan merupakan kebijakan utama yang diambil untuk menyelesaikan permasalahan dan isu strategis yang telah teridentifikasi dalam rangka mencapai sasaran yang telah ditetapkan dan memuat strategi yang berisi program-program pembangunan. Untuk mencapai sasaran pembangunan yang telah ditetapkan maka perlu didukung oleh arah kebijakan dan strategi yang tepat dan relevan. c.

Penyampaian Rekomendasi Perbaikan Hasil penilaian dan rekomendasi perbaikan terhadap dokumen perencanaan perlu disampaikan kepada unit kerja yang penanggungjawab untuk penulisan dokumen. Evaluasi kebijakan/program/kegiatan dapat dikelompokkan ke dalam penelaahan umum terhadap sasaran dan arah kebijakan umum dan reviu terhadap kebijakan per Agenda Pembangunan dan Bidang Pembangunan. Hasil rekomendasi digunakan sebagai bahan perbaikan draft dokumen perencanaan agar tersusun dokumen perencanaan yang koheren, terstruktur dan sistematis. Proses evaluasi ex-ante dapat dilihat pada gambar berikut: Gambar 6: Proses Evaluasi Ex-Ante

Evaluasi Pengukuran Kinerja Evaluasi pengukuran kinerja dapat dilakukan menggunakan metode gap analysis. Metode ini membandingkan antara kinerja aktual atau realisasi (apa yang sudah dicapai) dengan target kinerja (apa yang harus dicapai). Gap dapat terjadi apabila capaian kinerja berbeda dengan target kinerja. Gap analysis digunakan untuk mengetahui tingkat kinerja yang dicapai dengan membandingkan kinerja dari suatu sistem yang sedang berjalan dengan sistem standar. Tingkat kinerja dapat diukur dengan membandingkan hasil yang dicapai selama pelaksanaan dengan hasil yang diharapkan dalam perencanaan. Dengan kata lain Gap analysis merupakan langkah untuk membandingkan kondisi saat ini dengan yang seharusnya, sebagaimana tergambar berikut ini. 25

26 Gambar 7: Gap Analysis antara Kinerja Aktual dengan Target Kinerja

Gap antara kinerja aktual dengan target kinerja dapat bernilai posistif (+) maupun nagatif (-). Gap bernilai (+) jika nilai aktual lebih besar dari nilai target, sebaliknya gap akan bernilai bernilai (-) jika nilai aktual lebih kecil dari nilai target. Metode Gap analysis atau “analisis kesenjangan” bermanfaat untuk : 1.

Menilai tingkat kesenjangan antara kinerja aktual dengan target yang ditetapkan.

2.

Mengetahui tingkat peningkatan kinerja yang diperlukan untuk menutup kesenjangan tersebut.

3.

Menjadi salah satu dasar pengambilan keputusan terkait prioritas waktu dan biaya yang dibutuhkan untuk memenuhi standar pelayanan yang telah ditetapkan.

Langkah-langkah utama yang perlu dilakukan dalam gap analysis : 1.

Identifikasi kondisi aktual dan realisasi kinerja yang dicapai.

2.

Melakukan analisa kesenjangan (gap analysis) dengan membandingkan realisasi dengan target kinerja.

3.

Analisis masalah dengan menggunakan statistik deskriptif, yaitu dengan melakukan analisis permasalahan berdasarkan besar atau kecilnya gap.

4.

26

Menyusun desain pemecahan masalah.

27 5.

Menentukan tindak lanjut yang diperlukan. Gambar 8: Langkah-Langkah Pelaksanaan Gap Analysis

Evaluasi pengukuran kinerja dapat dilakukan terhadap keseluruhan dokumen perencanaan, karena sifatnya yang lebih sederhana yaitu hanya dengan membandingkan target dengan realisasi sehingga tidak membutuhkan analisis yang rumit. Fokus evaluasi ditujukan untuk mengetahui hasil capaian kinerja pembangunan, identifikasi permasalahan dan tindak lanjut yang direkomendasikan. Dalam rangka memberikan informasi yang kredibel dan bermanfaat maka evaluasi harus didukung oleh data dan informasi yang akurat dan up to date. Mekanisme pengumpulan data biasanya menggunakan penelaahan dokumen (document review), data survei yang dilakukan sendiri maupun hasil survei yang dilakukan oleh lembaga lain seperti BPS, Bank Dunia, UNDP dan sebagainya. Sebagaimana dijelaskan sebelumnya bahwa, evaluasi pengukuran kinerja tidak hanya membandingkan target dan realisasi namun juga perlu menjelaskan hal-hal yang menjadi faktor keberhasilan suatu kebijakan/program/kegiatan maupun menjelaskan permasalahan yang menyebabkan kebijakan/program/kegiatan tidak berhasil mencapai target yang telah ditetapkan. Analisa ini sangat penting untuk masukan dalam penyusunan perencanaan dan penganggaran pada periode selanjutnya serta pengambilan kebijakan atas pelaksanaan program/kegiatan, apakah program/kegiatan tersebut akan dilanjutkan, dihentikan atau dikembangkan? Dalam

rangka

memudahkan

penilaian

tingkat

keberhasilan

pelaksanaan

program/kegiatan maka perlu dibuat notifikasi capaian kinerja berdasarkan capaian indikator masing-masing

program

dan

kegiatan.

program/kegiatan adalah sebagai berikut: 27

Kriteria

notifikasi

pada

capaian

indikator

28 Tabel 4: Kriteria Notifikasi Capaian Kinerja Notifikasi

Warna

Kriteria Notifikasi

Kategori

Apabila terget tercapai ≥ 95%

Sudah tercapai atau On Track/on Trend

Kuning

Apabila mencapai target < 95% dan ≥ 75%

Perlu kerja keras

Merah

Apabila target mencapai < 75%

Hijau

Sulit tercapai

4.1.2.1 Pertanyaan Evaluasi Pengukuran Kinerja Pertanyaan evaluasi yang diajukan dalam pelaksanaan evaluasi pengukuran kinerja antara lain: PERTANYAAN TERKAIT EVALUASI PENGUKURAN KINERJA: Apakah input dijalankan sesuai rencana? (bandingkan dengan nilai-nilai yang telah direncanakan) Apakah hasil/output telah dihasilkan sesuai rencana? (bandingkan dengan target/sasaran) Apakah tujuan kegiatan (outcome antara) sesuai rencana? Apakah akan tercapai? (bandingkan dengan target/sasaran). Apakah tujuan akhir/dampak (outcome akhir) sesuai rencana? Apakah prospek dari dampak akan tercapai? (Bandingkan dengan target) Pertanyaan pertanyaan Evaluasi lainnya yang diperlukan

Evaluasi Proses Pelaksanaan Evaluasi diimplementasikan

proses dengan

melihat menilai

bagaimana apakah

cara

kebijakan/program/kegiatan

pelaksanaan

operasional

kebijakan/

program/kegiatan (aktual) telah sesuai dengan yang telah direncanakan (logika operasional), misalnya mengukur apa yang telah dilakukan oleh program, dan siapa penerima manfaat dari kebijakan/program/kegiatan. Evaluasi proses juga melihat apakah terdapat permasalahan dalam pelaksanaan kebijakan/program/kegiatan untuk mencegah kegagalan pelaksanaan kegiatan. Evaluasi proses bertujuan untuk meningkatkan kinerja dan umumnya dilaksanakan 28

29 selama fase implementasi kebijakan/program/kegiatan dengan mengidentifikasi hasil (immediate) yang dihasilkan. Selain itu, evaluasi proses juga bertujuan untuk mengidentifikasi fungsi-fungsi mana di dalam pelaksanaan kebijakan/ program/kegiatan yang telah berjalan dengan baik dan mana yang tidak. Proses terkait dengan dengan segala sesuatu yang terjadi, sedangkan output yang biasanya dijadikan sebagai ‘intermediate outcomes’ yang dibangun menuju ‘final outcomes’ yang biasa disebut hasil jangka panjang atau dampak seperti pengetahuan, keahlian, atau perubahan perilaku. Evaluasi proses dimulai dengan identifikasi untuk fokus terhadap lesson learned, serta menilai proses implementasi kebijakan/program/kegiatan secara menyeluruh dengan pemahaman dan mendeskripsikan situasi dan kondisi program saat ini. Fokus evaluasi proses ialah pada pelaksanaan dan peningkatan dari kebijakan/program/kegiatan. Dalam evaluasi proses terdapat tiga hal yang harus diperhatikan yaitu identifikasi faktor-faktor kontekstual, mekanisme kausal (sebab-akibat), dan kualitas dari implementasi. Proses terkait dengan dengan segala sesuatu yang terjadi, sedangkan output yang biasanya dijadikan sebagai ‘intermediate outcomes’ yang dibangun menuju ‘final outcomes’ yang biasa disebut hasil jangka panjang atau dampak seperti pengetahuan, keahlian, atau perubahan perilaku. Sementara itu, metode dalam melakukan evaluasi proses ialah dimulai dengan melakukan penelaahan dokumen kebijakan/program/kegiatan, selain itu evaluator juga menelaah laporan-laporan pelaksanaan yang terkait kegiatan/program/kebijakan untuk dilakukan penilaian. Rangkaian evaluasi proses dapat dijabarkan melalui beberapa langkah sebagai berikut : 1.

Mendeskripsikan kebijakan/program/kegiatan: Mendefinisikan teori, tujuan, sasaran, arah kebijakan, strategi, dan outcome yang diharapkan. Idealnya, hal ini disampaikan dalam bentuk Kerangka Kerja Logis yang secara spesifik menggambarkan konstruksi teoritis dari kepentingan, perubahan yang diharapkan, dan mediator dari proses perubahan. Selanjutnya deskripsi dari penyampaian

kebijakan/program/kegiatan

harus

lengkap

dan

detail

(seperti

komponen dan elemen kebijakan/program/kegiatan di dalam Kerangka Kerja Logis) dan disertai dengan elemen-elemen rekomendasi dari rencana evaluasi proses yang mengikutsertakan konsistensi, tingkatan dan jangkauan. Konsistensi mengacu pada kualitas implementasi dan sejauh mana partisipan menerima dan menggunakan

29

30 material atau sumberdaya lainnya (contohnya frekuensi dan durasi); dan jangkauan mengacu pada sejauh mana partisipan utama yang diiinginkan ikut berpartisipasi dalam pelaksanaan kebijakan/program/kegiatan. 2.

Membangunan daftar pertanyaan : Langkah ini mengikutsertakan identifikasi dari informasi yang dibutuhkan untuk menjawab setiap pertanyaan evaluasi proses.

3.

Menentukan metode : Isu-isu utama yang dipertimbangkan dalam merencanakan metode evaluasi proses yaitu desain (kapan waktu pengumpulan data), sumber data (darimana informasi datang), alat atau pengukuran yang dibutuhkan untuk mengumpulkan data, prosedur pengumpulan data, strategi manajemen data, dan analisis data atau rencana sintesis data.

4.

Mempertimbangkan faktor internal dan eksternal: Mempertimbangkan faktor internal seperti sumberdaya, konteks, struktur, sistem organisasi dan karakterisik kebijakan/program/kegiatan dan faktor eksternal seperti, politik, ukuran dan kompleksitas program/kegiatan.

5.

Melakukan finalisasi rencana evaluasi proses Tahapan ini merupakan tahap finalisasi untuk memastikan bahwa rencana evaluasi proses telah sesuai dengan yang diharapkan, dengan cara meninjau kembali rencana evaluasi proses yang melibatkan berbagai stakeholder. Stakeholder diharapkan terlibat

dalam

proses

penilaian

dalam

pelaksanaan,

apakah

tujuan

kebijakan/program/kegiatan sesuai ekspektasi stakeholder, dan sesuai dengan standar utilitas, kelayakan, kepatutan dan akurasi evaluasi. 6.

Melaksanakan evaluasi proses Rencana evaluasi proses yang telah disusun kemudian dilaksanakan untuk mengevaluasi kegiatan/program/kebijakan yang dikehendaki.

Gambar 9 : Mekaniseme Evalusi Proses Pelaksanaan

30

31

4.1.3.1 Pertanyaan Evaluasi Proses Pelaksanaan Pertanyaan evaluasi menjelaskan isu kunci yang akan dieksplorasi oleh evaluasi. Pertanyaan evaluasi dibangun oleh pelaksana program, evaluator, pemberi dana, dan stakeholder. Pertanyaan evaluasi proses berbentuk pertanyaan-pertanyaan deskriptif untuk menjelaskan kebijakan/program/kegiatan yang meliputi aspek proses, kondisi, pandangan, hubungan organisasi atau jaringan. Pertanyaan deskriptif bisa menjadi dasar dari evaluasi proses. Karakteristik dari pertanyaan desktriptif antara lain : a. Mencari

informasi

untuk

memahami

atau

mendeskripsikan

kebijakan/program/kegiatan; b. Memberikan gambaran mengenai kebijakan/program/kegiatan; c. Pertanyaan langsung (straight-forward) mengenai pertanyaan siapa, apa, dimana, kapan, bagaimana dan berapa banyak; d. Dapat digunakan untuk mendeskripsikan input, output dan aktivitas; e. Seringkali

digunakan

untuk

mengumpulkan

informasi

dari

berbagai

stakeholder; f.

Penjelasan organisasi: struktur, peraturan, budaya, dan sebagainya;

Pertanyaan evaluasi yang diajukan dalam pelaksanaan evaluasi Proses Pelaksanaan antara lain:

31

32

a. b. c. d. e. f. g.

PERTANYAAN TERKAIT EVALUASI PROSES PELAKSANAAN: Apakah aktivitas utama dalam kebijakan/program/kegiatan? Apakah pemahaman tujuan kebijakan/program/kegiatan dari perspektif berbagai stakeholder? Bagaimana pandangan pihak-pihak yang terlibat mengenai pelaksanaan program? Bagaimana sejarah dari kebijakan/program/kegiatan? (kepemilikan, harmonisasi, kesesuaian, hasil, dan akuntabilitas bersama) Seberapa baik aktivitas kebijakan/program/kegiatan diimplementasikan? Bagaimana faktor-faktor eksternal mempengaruhi pelaksanaan kebijakan/program/ kegiatan? Bagaimana orang-orang bisa ikut terlibat di dalam kebijakan/program/kegiatan?

h.

Dimana kebijakan/program/kegiatan dilaksanakan?

i. j.

Seberapa jauh desain kebijakan/program/kegiatan menggunakan masukan dari program yang ada sebelumnya ? Bagaimana kualifikasi penyediaan layanan?

k.

Kapan kebijakan/program/kegiatan dilaksanakan?

l.

Apa saja saluran komunikasi informal dalam organisasi pelaksana?

m.

Apa saja manfaat layanan yang dihasilkan oleh kebijakan/program/kegiatan?

n.

Apakah target penerima manfaat tercapai?

o.

Bagaimana manfaat dari kebijakan/program/kegiatan yang diterima oleh penerima manfaat? Apa saja dampak apa yang dimiliki kebijakan/program/kegiatan terhadap partisipan dan terhadap masyarakat? Pertanyaan pertanyaan Evaluasi lainnya yang diperlukan

p. q.

Evaluasi Kebijakan Strategis/Program Besar Sedangkan evaluasi kebijakan strategis/program besar dilakukan untuk menunjukkan klarifikasi hubungan sebab-akibat kegagalan atau keberhasilan rencana. Evaluasi dilakukan terhadap kebijakan yang strategis atau program dengan kriteria memiliki anggaran besar, yang berdampak besar terhadap target group/masyarakat, memiliki pengaruh yang besar terhadap pencapaian agenda pembangunan nasional dan pertimbangan lain. Evaluasi meliputi keseluruhan aspek: relevansi, efektivitas, efisiensi, dampak, dan keberlanjutan dari kegiatan/program. Evaluasi program yang dilakukan oleh pelaksana dan penanggung jawab program merupakan bentuk dari akuntabilitas para penyelenggara program itu agar dapat selalu meyakinkan bahwa tujuan program dapat dicapai dan sesuai dengan misi yang dijalankan oleh instansi. Akuntabilitas program akan dapat dinilai dari hasil program tersebut yang dinikmati oleh masyarakat yang menjadi target group program. Ini berarti inti dari akuntabilitas program adalah akuntabiltias terhadap outcomes yang dapat diwujudkan oleh program tersebut.

32

33 4.1.4.1 Pertanyaan Evaluasi Kebijakan Strategis atau Program Besar 1.

EFISIENSI Efisiensi fokus kepada hubungan antara kegiatan, output (produk dan layanan) dan

hasil yang diinginkan dengan sarana yang digunakan, apakah untuk mencapai hasil yang diinginkan menggunakan input/sumber daya (keuangan, orang, waktu) serendah mungkin. Efiensi dapat dilakukan melalui pengukuran efisiensi kinerja dan efisiensi biaya. Efisiensi Kinerja Efisiensi kinerja menggambarkan derajat hubungan antara barang/jasa yang dihasilkan melalui suatu program/kegiatan dan sumberdaya yang diperlukan untuk menghasilkan barang/jasa tersebut yang diukur dengan

biaya per unit keluaran

(output). PERTANYAAN EVALUASI EFISIENSI KINERJA: Kuantitas

Bagaimana perbandingan output yang dihasilkan dengan biaya per unit output (Unit cost)

Kualitas

Apakah program menunjukkan perbaikan efisiensi atau efektivitas dalam pelaksanaannya? Apakah rencana perbaikan sudah direncanakan dan dilaksanakan untuk meningkatkan efisiensi dan efektivitasnya? Apakah program telah mempunyai satu indikator efisiensi, dengan menetapkan base-line, target, dan durasi waktu pencapaiannya?

Pertanyaan pertanyaan Evaluasi lainnya yang diperlukan

Efisiensi Biaya Efisiensi biaya menggambarkan perbandingan antara anggaran dengan biaya aktual yang terjadi dengan catatan keluaran yang dihasilkan tidak berubah atau lebih baik kualitasnya.

33

34

PERTANYAAN EVALUASI EFISIENSI BIAYA: Kuantitas

Bagaimana perbandingan anggaran yang digunakan dengan total alokasi anggaran?

Kualitas

Apakah dengan realisasi anggaran tersebut sebanding dengan apa yang dicapai?

Pertanyaan pertanyaan Evaluasi lainnya yang diperlukan

Dalam banyak aspek, ukuran efisiensi diukur menggunakan ukuran Economic Internal Rate of Return (EIRR) dan Financial Internal Rate of Return (FIRR). Output atau outcome yang dihasilkan dengan menggunakan input yang lebih sedikit dan dengan biaya yang lebih rendah. Contoh pengukuran efisiensi adalah pada kegiatan pembangunan jalan lintas Sumatera dan Kalimantan. Meskipun pembangunan jalan lintas tersebut membutuhkan biaya yang besar, akan tetapi kenaikan biaya itu sendiri diimbangi oleh turunnya biaya angkutan jalan, serta semakin bertambahnya kendaraan yang melintasi jalan tersebut.

2.

EFEKTIVITAS Efektifitas merupakan ukuran yang menunjukkan seberapa jauh kebijakan/program/

kegiatan

mencapai

hasil

dan

manfaat

yang

diharapkan.

Sebatas

mana

tujuan

kebijakan/program/kegiatan telah dan mungkin dicapai dan seberapa baik hasil pencapaian tersebut telah ditindaklanjuti. Pertanyaan yang digunakan untuk menilai efektivitas kebijakan/program/kegiatan antara lain:

34

35

PERTANYAAN EFEKTIVITAS: Kuantitas

Apakah program mencapai target-target yang telah ditetapkan? Apakah realisasi output/outcome yang dihasilkan lebih besar sama dengan dari target output/outcome? Apakah kinerja berdasarkan target dan indikator menunjukan adanya kemajuan dari tahun ke tahun?

Kualitas

Apabila target suatu kelompok program tidak tercapai bagaimana efeknya pada kinerja program lainnya? Pertanyaan pertanyaan Evaluasi lainnya yang diperlukan

Contoh evaluasi yang mengukur aspek efektivitas adalah pelaksanaan rekonstruksi jalan di wilayah Sumatera dan Kalimantan. Melalui kegiatan tersebut maka biaya angkutan jalan dan harga barang menjadi menurun. Selain itu, menurunnya waktu tempuh juga akan berpengaruh terhadap efektivitas pelaksanaan program dan kegiatan. Dengan semakin membaiknya indikator tersebut, maka kegiatan pembangunan jalan lintas tersebut dapat disebut telah berjalan secara efektif.

3.

IMPACT (DAMPAK) Dampak merupakan kondisi perubahan kesejahteraan masyarakat sebagai hasil dari

pencapaian pelaksanaan kebijakan/program, serta melihat akibat-akibat lain yang tidak diharapkan, baik positif maupun negatif. Apa yang terjadi atau mungkin terjadi sebagai konsekuensi dari keberadaan Kebijakan/program/kegiatan. Evaluasi dampak biasanya dilakukan terhadap program-program besar atau strategis. Beberapa kriteria evaluasi pemilihan program yang dapat dipakai adalah sebagai berikut: a. Besarnya

anggaran

yang

digunakan

diindikasikan

dengan

proporsi

dari

penganggaran tahunan sektornya; b. Kepentingan strategis dari program terhadap prioritas kebijakan pemerintah sebagaimana direncanakan dalam RPJMN atau RKP, atau Renstra dan Renja Kementeriannya; c. Potensi replikasi dari intervensi yang dilakukan pada sektor lain, atau scale-up program berdasarkan pembelajaran yang didapatkan; d. Magnitude dari program diindikasikan oleh lingkup geografis, jumlah dan karakter dari penerima manfaatnya. 35

36 Metode Evaluasi Dampak tergolong sulit karena dilakukan setelah akhir intervensi pembangunan sehingga dalam rentang waktu antara intervensi dengan pelaksanaan evaluasi dimungkinkan munculnya faktor-faktor lain mengganggu baik secara positif atau negatif untuk mengubah hasil yang diinginkan, ditambah lagi dengan adanya perubahan aspek sosial dan ekonomi yang akan mempengaruhi efek dari program. Evaluasi Dampak sebaiknya sudah direncanakan sebelum intervensi pembangunan dimulai. Dan perlu dilakukan pengamatan terhadap unit yang akan menerima dan tidak menerima intervensi, kemudian kedua unit tersebut akan dibandingkan setelah program selesai. Metode pengumpulan dan analisis data yang dibutuhkan adalah data administrasi, survei analisis statistik dan ekonometrik (metode kuantitatif) serta dikombinasikan dengan analisis data kualitatif. Untuk itu, evaluator perlu memiliki keahlian dalam bidang tersebut. Pertanyaan utama yang akan dijawab melalui Evaluasi Dampak adalah: PERTANYAAN DAMPAK: Kuantitas

Apakah kebijakan atau program memiliki efek yang diinginkan oleh masyarakat (individu, rumah tangga, atau lembaga)? Apakah terdapat akibat yang tidak diperkirakan, positif maupun negatif, pada penerima program?

Kualitas

Apakah efek-efek yang ditimbulkan merupakan hasil dari kebijakan/program atau efek-efek tersebut memang sudah ada Apakah kesejahteraan penerima manfaat berubah sebagai hasil dari kebijakan/program? Bagaimana perbedaan kondisi penerima kebijakan/program sebelum dan sesudah mendapatkan intervensi Apakah biaya kebijakan/program dibenarkan dalam rangka dampak kesejahteraan?

Pertanyaan pertanyaan Evaluasi lainnya yang diperlukan

4.

RELEVANSI Relevansi melihat sejauh mana tujuan dari adanya intervensi program dan kegiatan

sesuai dengan kebutuhan dan prioritas penerima program dan kegiatan tersebut. Sehingga, suatu program dapat dikatakan memenuhi aspek relevansi jika kebutuhan dan prioritas utama dalam pembangunan sesuai dengan program dan kegiatan yang ada dalam kebijakan pemerintah.

36

37 PERTANYAAN TERKAIT RELEVANSI: Apakah ada relevansi antara capaian yang dihasilkan kebijakan/program dengan kebutuhan masyarakat, baik ditingkat lokal, regional maupun internasional Pertanyaan pertanyaan Evaluasi lainnya yang diperlukan

Contoh evaluasi yang menunjukkan adanya relevansi adalah pada kegiatan rekonstruksi jalan lintas Sumatera dan Kalimantan. Pembangunan jalan lintas ini telah dilakukan sesuai dengan RPJMN dan sesuai dengan kebutuhan masyarakat. Pembangunan jalan lintas tersebut memenuhi harapan dan ekspektasi masyarakat, dimana kondisi jalan sebelum adanya pembangunan tidak memungkinkan mengalirnya arus peredaran barang dan jasa dengan baik. Walaupun pada kenyataannya, antara pembangunan yang sudah dilakukan dengan kebutuhan yang ada masih kurang, namun setidaknya beban masyarakat sudah berkurang.

5.

KEBERLANJUTAN Keberlanjutan dapat digambarkan sebagai sejauh mana manfaat yang dihasilkan oleh

kebijakan/program berlanjut setelah intervensi Kebijakan/program berakhir dan apa yang terjadi atau mungkin terjadi sebagai efek positif dari kebijakan/program. PERTANYAAN TERKAITKEBERLANJUTAN: Apakah ada pengaruh positif yang dihasilkan setelah kebijakan/program selesai atau berakhir Pertanyaan pertanyaan Evaluasi lainnya yang diperlukan

Contoh evaluasi yang mengukur aspek keberlanjutan adalah Program pelatihan tenaga kesehatan. Program ini dinilai memiliki tingkat keberlanjutan karena seiring berjalannya waktu, angka tenaga terlatih dapat tumbuh, bahkan disaat intervensi program dan kegiatan telah selesai dilakukan. Benefit yang didapat dapat berupa pengetahuan baru, keterampilan menangani pasien dan duplikasi ke daerah – daerah yang belum terjangkau tenaga kesehatan yang memadai.

Sumber Data Sumber data yang digunakan untuk evaluasi pelaksanaan rencana pembangunan nasional bersumber dari masing-masing dokumen perencanaan (Renja K/L, RKP, Renstra K/L, dan RPJMN). Secara umum, evaluasi pelaksanaan RKP bersumber dari hasil evaluasi 37

38 Renja K/L yang dilakukan oleh masing-masing K/L dan diserahkan kepada Menteri PPN/Kepala Bappenas. Sedangkan evaluasi RPJMN dilakukan menggunakan hasil evaluasi Renstra K/L sebagai sumber data utama, dan menggunakan data dukung berdasarkan hasil evaluasi RKP, evaluasi Renja K/L, evaluasi RPJMD, hasil survei dan penelitian yang dilaksanakan berbagai lembaga antara lain Badan Pusat Statistik, lembaga independen, lembaga internasional, serta lembaga penelitian dan pengembangan pada Perguruan Tinggi dan Kementerian/Lembaga terkait. Selanjutnya terdapat beberapa metode yang dapat digunakan dalam melakukan pengumpulan data pemantauan, evaluasi dan pengendalian pembangunan. Masing – masing metode memiliki keunggulan dan tantangan yang bervariasi, yang dapat disesuaikan dengan kebutuhan pelaksanaannya. Penggunaan metode tersebut juga dapat dikombinasikan antara satu dengan lainnya sesuai dengan kebutuhan pelaksanaan pemantauan, evaluasi, dan pengendalian pembangunan.

Tabel 4: Metode Pengumpulan Data Metode Self-reporting

Kuestioner, survey, checklist

Interview

38

Tujuan

Keunggulan

Tantangan

Digunakan saat melakukan pemantauan yang bersumber langsung dari pelaksana kegiatan, baik di tingkat pusat maupun di daerah

-

Data mudah didapat

-

Isu akuntabilitas

-

Informasi pendukung dapat diberikan langsung kepada atasan

-

Keterbatasan pengetahuan dan sumber daya

Dibutuhkan saat memerlukan informasi yang cepat dan banyak dari respondendengan cara yang aman

-

Tidak mahal untuk dilakukan

-

Bersifat impersonal

-

-

Dapat dilengkapai tanpa menyebut nama responden

Kemungkinan data yang didapat tidak dalam

-

-

Dapat mengumpulkan data yang banyak

Dalam survey, diperlukan pendapat ahli

-

Mudah untuk dilakukan

-

Tidak mendapatkan cerita yang utuh

-

Mendapat informasi yang komprehensif dan historis

-

Memerlukan waktu yang lama

-

-

Informasi telah ada dari responden

(Mungkin) sulit untuk menganalisa dan membandingkan data

-

Memerlukan biaya

Dibutuhkan saat memerlukan pengalaman atau kesan responden, atau lebih jauh lagi tentang pertanyaan-

39

Metode

Tujuan pertanyaan yang diajukan

Review Dokumen

Observasi

Focus Group

Studi kasus

39

Digunakan saat menginginkan kesan tentang bagaimana suatu program dijalankan (dokumen, notulen, dsb)

Untuk mendapat informasi yang akurat tentang bagaimana suatu program berjalan (proses)

Saat menginginkan eksplorasi lebih jauh tentang suatu program

Untuk memahami atau mendapatkan pemahaman yang mendalam melalui pembandingan dengan beberapa kasus

Keunggulan -

Sedikit bias terkait informasi yang ada

-

Tidak menganggu program yang sedang berjalan

-

Tantangan -

Pewawancara dapat salah mengerti jawaban responden

Mendapat informasi yang komprehensif

-

Seringkali memakan waktu

-

Tidak menganggu jika program sedang berjalan

-

Informasi terkadang tidak lengkap

-

-

Informasi telah ada sebelumnya

Harus jelas terhadap apa yang dibutuhkan

-

Sedikit terdapat bias

-

Dapat diadaptasi secara riil

-

-

Melihat apa yang terjadi pada program merupakan yang sebenarnya terjadi

Bisa sulit menginterpretasikan apa yang dilihat

-

Dapat mempengaruhi perilaku pelaksana program

-

Mahal

-

Memerlukan fasilitator yang baik

-

Perlu penjadwalan terhadap 6-10 orang pada saat yang bersamaan

-

Memerlukan waktu yang cukup banyak untuk mengumpulkan, mengatur dan menjelaskan program

-

Mewakili kedalaman informasi, bukan luasnya

-

Merupakan cara yang efisien untuk mendapat data yang luas dan dalam dengan waktu yang singkat

-

Mendapatkan informasi kunci dari suatu program

-

Mencerminkan secara menyeluruh pengalaman responden dalam input, proses dan output

-

Alat yang powerful untuk menggambarkan suatu program

40

Waktu Pelaksanaan Berdasarkan PP No. 39 Tahun 2006 tentang Tata Cara Pengendalian dan Evaluasi Pelaksanaan Rencana Pembangunan, pemantauan terhadap pelaksanaan program/kegiatan dilakukan secara berkala secara triwulanan. Pemantauan tersebut dapat dilakukan langsung melalui situs e-monev Bappenas. Pemantauan tersebut dilakukan pada tingkat K/L pusat dan daerah. Lebih jauh, menurut PP No. 39 Tahun 2006 tentang Tata Cara Pengendalian dan Evaluasi Pelaksanaan Rencana Pembangunan, serta Perpres No. 2 Tahun 2015 tentang Rencana Pembangunan Jangka Menengah Tahun 2015 – 2019, evaluasi RPJMN dilakukan minimal sebanyak 2 (dua) kali, yaitu yang dilakukan pada tahun ketiga pelaksanaan RPJMN, dan evaluasi akhir RPJMN yang dilakukan pada tahun keempat (satu tahun sebelum RPJMN berakhir). Evaluasi Renstra K/L dilakukan paling sedikit 1 (satu) kali dan dilaksanakan paling lambat 1 (satu) tahun sebelum berakhirnya periode rencana. Selanjutnya hasil evaluasi RPJMN dan Renstra dapat digunakan sebagai input dalam penyusunan rencana pembangunan periode berikutnya. Selain evaluasi untuk dokumen perencanaan jangka menengah, dilakukan pula evaluasi tahunan terkait dengan Renja K/L dan RKP yang difungsikan sebagai bagian dari tahapan pelaksanaan Renstra K/L dan RPJMN serta menjadi bahan masukan untuk perencanaan Renja K/L dan RKP tahun berikutnya. Lebih jauh, dalam siklus manajemen pembangunan, pemantauan dan evaluasi dapat dilakukan pada masing – masing tahapan pembangunan, baik pada tahap perencanaan, pelaksanaan, maupun setelah pelaksanaan. Untuk itu, maka berdasarkan waktu pelaksanaannya, evaluasi dapat dibagi menjadi: 1. Ex-ante, yang dilakukan pada tahap perencanaan, digunakan untuk memilih dan menentukan skala prioritas dari berbagai alternatif dan kemungkinan cara mencapai tujuan yang telah dirumuskan sebelumnya. Evaluasi ex ante bertujuan pada penyiapan informasi yang berguna bagi penetapan program/kegiatan. Program/kegiatan dievaluasi menurut kewajaran, kebutuhan dan efisiensi dengan memprakirakan efek dan biaya yang ditimbulkan. Tujuan pendekatan evaluasi ini untuk memastikan bahwa kegagalan perencanaan tidak diprogram sejak awal implementasi. 2. On-going, yang dilakukan pada tahap pelaksanaan program/kegiatan. Tujuannya yaitu untuk mengetahui tingkat kemajuan pelaksanaan program/kegiatan dibandingkan dengan rencana yang telah ditentukan sebelumnya. Hasil dari evaluasi on-going yaitu untuk memutuskan perbaikan, pengembangan atau penghentian program. Evaluasi on going

40

41 melacak perubahan dari kondisi awal terhadap hasil yang ingin dicapai. Fokus terhadap output dari program/kegiatan dan kontribusinya terhadap capaian hasil. 3. Ex-post, yang dilakukan setelah program/kegiatan selesai dilaksanakan. Tujuannya adalah untuk mengetahui apakah pencapaian (keluaran, hasil, dampak) program/kegiatan mampu mengatasi masalah pembangunan yg ingin dipecahkan. Evaluasi ini dilakukan setelah program/kegiatan berakhir untuk menilai efisiensi (keluaran dan hasil dibandingkan dengan masukan), efektivitas (hasil dan dampak terhadap sasaran), ataupun manfaat (dampak terhadap kebutuhan) dari suatu program/kegiatan. Evaluasi ex post dilakukan untuk memvalidasi apa hasil yang dicapai, bagaimana dan mengapa tercapai atau tidak tercapai. Membandingkan perencanaan dengan pencapaian hasil yang diinginkan. Fokus pada bagaimana dan mengapa output dan strategi berkontribusi terhadap pencapaian hasil serta pada pertanyaan relevansi, efektifitas, keberlanjutan dan perubahan.

Pelaksana dan Penerima Hasil Pelaksana dan penerima hasil pemantauan, evaluasi dan pengendalian pembangunan untuk setiap dokumen perencana akan berbeda. Pelaksana pemantauan, evaluasi dan pengendalian untuk dokumen perencanaan tahunan seperti Renja K/L adalah pimpinan masing-masing Kementerian/Lembaga terkait, berkoordinasi dengan Kedeputian Sektor Bappenas. Selain itu, untuk kebutuhan pemantauan, evaluasi dan pengendalian RKP, dilakukan oleh Kedeputian Sektor Bappenas dengan menggunakan sumber data yang berasal dari Kementerian/Lembaga mitranya dan dikoordinir oleh Kedeputian Pemantauan, Evaluasi dan Pengendalian Pembangunan Bappenas. Hasil olahan data dan informasi kemudian akan di kompilasikan dan disusun sesuai dengan kebutuhan pemantauan, evaluasi dan pengendalian pembangunan. Sementara itu, dokumen perencanaan lima tahunan seperti Renstra K/L dilakukan oleh pimpinan masing-masing Kementerian/Lembaga terkait. Evaluasi Renstra K/L dilakukan terhadap pelaksanaan program-program dalam Renstra K/L dan hasil evaluasi Renstra K/L tersebut disampaikan kepada Menteri PPN/Kepala Bappenas paling lambat 4 (empat) bulan sebelum RPJMN berakhir. Penerima hasil evaluasi Renstra K/L sekaligus pelaksanaan evaluasi RPJMN yaitu Menteri PPN/Kepala Bappenas menggunakan hasil dari evaluasi Renstra K/L dan hasil evaluasi RKP periode RPJMN berjalan untuk melakukan evaluasi pelaksanaan RPJMN. Evaluasi pelaksanaan RPJM Nasional dilakukan untuk menilai pencapaian pelaksanaan strategi pembangunan nasional, kebijakan umum, program dan

41

42 kegiatan pokok, serta kerangka ekonomi makro sebagaimana ditetapkan dalam dokumen RPJM Nasional periode berjalan. Hasil evaluasi disampaikan oleh Menteri kepada Presiden sebagai bentuk akuntabilitas pemerintah dan digunakan sebagai masukan/feedback dalam rangka pengambilan kebijakan dan proses perencanaan dan penganggaran selanjutnya. Selain dari hasil evaluasi yang disampaikan K/L yaitu Evaluasi Renstra K/L dan Renja K/L, MenteriPPN/Kepala Bappeda menyusun evaluasi rencana pembangunan berdasarkan hasil evaluasi pimpinan Kementerian/Lembaga dan hasil evaluasi SKPD dimana hasil evaluasi tersebut menjadi bahan bagi penyusunan rencana pembangunan Nasional/Daerah untuk periode berikutnya. Hal ini tertuang dalam pasal 28 UU No.25 Tahun 2004 tentang Sistem Perencanaan Pembangunan Nasional disebutkan bahwa pengendalian pelaksanaan rencana

pembangunan

dilakukan

oleh

masing-masing

pimpinan

Kementerian/Lembaga/Satuan Kerja Perangkat Daerah (SKPD) dan Menteri PPN/Kepala Bappeda menghimpun dan menganalisis hasil pemantauan pelaksanaan rencana pembangunan dari masing-masing pimpinan Kementerian/Lembaga/SKPD sesuai dengan tugas dan kewenangannya. Sementara itu, pada pasal 29 UU No.25/2004 menyebutkan bahwa pimpinan Kementerian/Lembaga melakukan evaluasi kinerja pelaksanaan rencana pembangunan Kementerian/Lembaga periode sebelumnya, sedangkan Kepala SKPD melakukan evaluasi kinerja pelaksanaan rencana pembangunan SKPD periode. Berdasarkan penjelasan dari pasal 28 dan pasal 29 UU No.25/2004 tersebut diatas maka dapat ditarik kesimpulan bahwa di dalam evaluasi dan pengendalian pelaksanaan pembangunan nasional, selain menggunakan hasil evaluasi Renstra K/L dan Renja K/L juga sangat penting untuk menggunakan hasil-hasil evaluasi dokumen perencanaan pembangunan yang dihasilkan oleh Daerah seperti hasil evaluasi Renstra SKPD dan Renja SKPD untuk dapat menghasilkan evaluasi yang komprehensif dan dapat menjadi masukan yang baik untuk perencanaan pembangunan selanjutnya. Dalam hal pemenuhan kebutuhan data dan informasi dari daerah, Pemerintah Daerah dan SKPD terkait diharapkan dapat membantu mengumpulkan data dan informasi yang dibutuhkan untuk mencapai target pembangunan nasional. Informasi tersebut menjadi penting karena pembangunan dilaksanakan di daerah – daerah dan target nasional merupakan penjumlahan dari pencapaian di masing – masing daerah. Terkait objek evaluasi, pelaksana dan jenis evaluasi yang dilakukan, dapat dilihat pada table 5 berikut ini:

42

43

Tabel 5: Pelaksana Pemantauan, Evaluasi, dan Pengendalian Pembangunan Level Nasional

Daerah

43

Objek Evaluasi RPJMN

 

Pelaksana Kedeputian Sektor Bappenas Kedeputian Pemantauan, Evaluasi dan Pengendalian Pembangunan Bappenas Kedeputian Sektor Bappenas Kementerian/Lembaga

Renstra K/L

 

RKP

 

Renja K/L

 

Isu tematik dan strategis

Pemerintah daerah

Kedeputian Sektor Bappenas Kedeputian Pemantauan, Evaluasi dan Pengendalian Pembangunan Bappenas Kedeputian Sektor Bappenas Kementerian/Lembaga

Jenis Ex-ante Paruh Waktu Ex-post Ex-ante Paruh Waktu Ex-post Pemantauan secara berkelanjutan dan Evaluasi Pemantauan secara berkala Evaluasi yang melibatkan ahli dan tenaga profesional

44

BAB IV

ANALISA DAN MEKANISME PELAKSANAAN EVALUASI PEMBANGUNAN

Analisa pelaksanaan pemantauan, evaluasi dan pengendalian pembangunan dimaksudkan untuk menjabarkan secara rinci langkah – langkah dalam melakukan pengukuran kinerja dimaksud. Analisa yang dilakukan mempertimbangkan berbagai tahapan dalam menyusun kajian ini, diantaranya kunjungan lapangan ke beberapa propinsi dan pelaksanaan FGD sebanyak empat (4) kali, dimana dua diantaranya dilakukan di Jawa Barat dan Sumatera Selatan. Dalam melaksanakan amanat perundangan, khususnya yang berkaitan dengan pemantauan, evaluasi, dan pengendalian pembangunan, maka secara umum mekanisme pelaksanaannya dapat dibagi menjadi 3 bagian seperti pada penjelasan di bawah ini:

4.1.

Mekanisme Pelaporan Evaluasi Renja dan RKP Dalam PP 39/2006 Pasal 12 ayat 1 disebutkan bahwa evaluasi dilakukan terhadap

pelaksanaan Renja K/L dan RKP untuk menilai keberhasilan pelaksanaan dari suatu program/kegiatan berdasar indikator dan sasaran kinerja yang tercantum dalam Renstra K/L dan RPJMN. Masing-masing pimpinan Kementerian/Lembaga melakukan evaluasi terhadap pelaksanaan Renja K/L periode sebelumnya dengan melakukan pengukuran terhadap indikator dan sasaran kinerja level keluaran (output) yang telah ditetapkan. Evaluasi tahunan dilakukan secara bertahap, dimulai dari evaluasi Renja K/L yang dilakukan oleh masing – masing K/L. Selanjutnya, hasil evaluasi Renja K/L tersebut disampaikan kepada Menteri PPN/Kepala Bappenas selambat-lambatnya 2 (dua) bulan setelah tahun anggaran berakhir. Kemudian Menteri PPN/Kepala Bappenas akan melakukan evaluasi RKP berdasarkan hasil evaluasi Renja K/L tersebut melalui meta evaluasi. Mekanisme pelaporan hasil evaluasi Renja K/L dan penggunaannya untuk evaluasi RKP dapat dilihat pada gambar berikut:

44

45 Gambar 10: Mekanisme Pelaporan Evaluasi Pelaksanaan Rencana Pembangunan Tahunan

Sumber data utama evaluasi Renja K/L adalah data/informasi monitoring pengukuran kinerja pada triwulan keempat. Laporan evaluasi Renja K/L merupakan Laporan Tahunan atas Kinerja Kementerian/Lembaga berdasarkan pada rencana strategis dan visi/misi K/L tersebut. Laporan hasil evalusi yang disampaikan oleh K/L mencakup keseluruhan hasil evaluasi yang sudah dilakukan (baik evaluasi pengukuran kinerja, evaluasi proses pelaksanaan dan evaluasi kebijakan strategis/program besar). Berdasarkan hasil evaluasi Renja K/L tersebut, Bappenas melakukan evaluasi terhadap pelaksanaan RKP. Evaluasi RKP dilakukan secara tahunan sebagai bentuk akuntabilitas kinerja pemerintah atas pelaksanaan Rencana Kerja Pemerintah (RKP) dan menjadi masukan bagi penyusunan RKP selanjutnya serta bahan untuk evaluasi RPJMN. Evaluasi RKP merupakan gambaran komprehensif dan kohesif dari kinerja pemerintah secara nasional, dengan fokus pada prioritas nasional/isu pembangunan prioritas. Dengan demikian juga menganalisa bagaimana meningkatkan koordinasi pada pendekatan crosssectoral untuk menuju pada target Prioritas Nasional secara bersama.

4.2.

Mekanisme Pelaporan Evaluasi Renstra K/L dan RPJMN Evaluasi Renstra K/L dilakukan untuk melihat kesesuaian kebijakan/program/kegiatan

terhadap pencapaian visi dan misi K/L dan menilai manfaat/dampak program tersebut serta keberlanjutan suatu program. Evaluasi Renstra K/L juga melihat kontribusi capaian kinerja K/L terhadap capaian target nasional. Evaluasi Renstra K/L harus dilengkapi dengan hasil analisis yang menjelaskan permasalahan yang menyebabkan program gagal atau menjelaskan faktorfaktor pendorong keberhasilan program. Karena Renstra K/L merupakan dokumen jangka

45

46 menengah maka evaluasi harus mampu menggambarkan pencapaian outcome dan impact dari pelaksanaan kebijakan/program/kegiatan. Evaluasi RPJMN dilakukan untuk menilai pencapaian visi, misi, agenda pembangunan nasional, arah kebijakan dan pelaksanaan strategi pembangunan nasional. Evaluasi RPJMN juga harus dilengkapi dengan hasil analisis yang menjelaskan permasalahan yang menyebabkan program gagal dan tidak berdampak positif kepada masyarakat

atau

menjelaskan faktor-faktor pendorong keberhasilan kebijakan/program/kegiatan. Mekanisme pelaporan hasil evaluasi Renstra K/L adalah sebagai berikut : Masingmasing K/L melakukan evaluasi Renstra K/L. Hasil evaluasi Renstra K/L disampaikan kepada Menteri PPN/Kepala Bappenas paling lambat 4 (empat) bulan sebelum RPJMN berakhir. Hasilnya digunakan sebagai bahan penyusunan evaluasi RPJMN. Mekanisme pelaporan hasil evaluasi Renstra K/L dan penggunaannya untuk evaluasi RPJMN dapat dilihat pada gambar berikut: Gambar 11: Mekanisme Pelaporan Hasil Evaluasi Renstra K/L

4.3.

Pengendalian Pelaksanaan Rencana Pembangunan Nasional

Berdasarkan UU No. 25 Tahun 2004 tentang Sistem Perencanaan Pembangunan Nasional, serta penjelasan PP No. 39 Tahun 2006 tentang Tata Cara Pengendalian dan Evaluasi Pelaksanaan Rencana Pembangunan, pengendalian dilakukan dengan maksud untuk menjamin bahwa pelaksanaan rencana pembangunan sesuai dengan tujuan dan sasaran yang telah ditetapkan. Pengendalian pelaksanaan rencana pembangunan dapat dilakukan pada tataran program maupun kegiatan yang diamati dengan melakukan koordinasi sebagai alat kendali. Untuk mencapai sasaran program yang diinginkan dan sesuai tujuan, maka pelaksanaan kegiatan juga harus diperhatikan. Pengendalian program pembangunan harus dapat memberikan masukan bagi pelaksanaan program/kegiatan yang sedang 46

47 berlangsung dan memastikan bahwa masing – masing dokumen perencanaan pembangunan, baik di tingkat nasional maupun daerah sesuai dengan peruntukan serta peraturan perundangan yang berlaku. Mekanisme pengendalian pelaksanaan rencana pembangunan mencakup aspek pemantauan, tata kelola, dokumentasi dan evaluasi yang dilakukan pada setiap tahapan pembangunan (persiapan, pelaksanaan, pemantauan dan evaluasi). 1. Persiapan Pada tahap ini, proses pengendalian dilakukan dengan melakukan koordinasi dengan stakeholder (K/L, Direktorat Sektor Bappenas, Pemerintah Daerah, dan Kedeputian Pemantauan, Evaluasi dan Pengendalian Pembangunan). Koordinasi diperlukan untuk menjamin bahwa program dan kegiatan yang direncanakan berdampak baik kepada masyarakat

dan

memiliki

arti

penting

bagi

proses

pembangunan

secara

menyeluruh.Lebih lanjut, pengendalian pada tahap ini diperlukan untuk menghilangkan program dan kegiatan yang saling tumpang tindih antar sektor dan mengharmonisasikan sumber daya yang ada. 2. Pelaksanaan Pada aspek pelaksanaan, pengendalian dimaksudkan untuk mengawal berjalannya program dan kegiatan, sehingga tidak hanya memenuhi target dan sasaran pembangunan, namun juga dari sisi akuntabilitas serta efektif dan efisien bagi pelaksanaan prinsip-prinsip tata kelola pemerintah yang baik. 3. Pemantauan Pemantauan dilakukan secara kontinue dan berkelanjutan sepanjang siklus tahapan pembangunan. Aspek – aspek yang dilihat dalam proses ini diantaranya adalah fokus pelaksanaan

pembangunan,

penerima manfaat,

agenda pembangunan,

waktu

pelaksanaan dan hasil pembangunan. 4. Evaluasi Pada tahap ini, pengendalian dimaksudkan untuk menilai hasil pelaksanaan kegiatan dan kinerja pelaksana pembangunan. Hasil evaluasi dapat dijadikan sebagai dasar upaya untuk melakukan perbaikan terhadap desain dan pelaksanaan program dan kegiatan.

Agar hasil pemantauan, evaluasi dan pengendalian dapat bermanfaat bagi pengambilan keputusan di masa yang akan datang, dan menjadi masukan yang berharga bagi para

47

48 stakeholder, maka perlu dipikirkan juga mengenai tindak lanjut hasil evaluasi rencana pembangunan. Untuk itu, beberapa tindak lanjut yang dapat dimanfaatkan diantaranya: 1. Sebagai masukan untuk perencanaan dan penganggaran berbasis kinerja Sebagai bagian dari siklus manajemen pembangunan (perencanaan – penganggaran – pelaksanaan – evaluasi), keberadaan hasil evaluasi harus dapat dimanfaatkan sebagai masukan bagi proses perencanaan dan penganggaran. Tidak hanya dari sisi perencanaan, namun juga melihat efisiensi penggunaan anggaran terhadap pagu yang tersedia, sehingga kinerja masing-masing program/kegiatan dapat terukur dengan baik. 2. Pengambilan kebijakan atas pelaksanaan program dan kegiatan Hasil evaluasi yang baik dapat menilai pelaksanaan program dan kegiatan, baik yang akan berjalan, sedang berjalan, maupun yang akan berjalan, dan dapat dijadikan acuan bagi pengambilan kebijakan pelaksanaan program dan kegiatan. Fungsi tersebut diperlukan agar desain program dan kegiatan dapat memenuhi ekspektasi stakeholder dan bermanfaat bagi pelaksanaan pembangunan. 3. Penilaian atas kinerja K/L Hasil evaluasi, khususnya Renja K/L dan Renstra K/L, dapat dijadikan salah satu basis dalam menilai kinerja Kementerian/Lembaga. 4. Sebagai bagian dari proses pembelajaran (lesson learned) Proses pembelajaran yang diperoleh akan bermanfaat bagi para stakeholder, khususnya mengenai proses penyusunan serta pemantauan, evaluasi dan pengendalian rencana pembangunan. 5. Desiminasi hasil pemantauan, evaluasi dan pengendalian Desiminasi ini diperlukan untuk mensosialisasikan hasil yang telah diperoleh, sekaligus menyebarkannya kepada stakeholder terkait. Bentuk desiminasi yang dimungkinkan dapat berupa press release, seminar, ataupun dalam forum – forum evaluasi.

48

49

4.4. Evaluasi Pelaksanaan Perencanaan Pembangunan di beberapa K/L dan Daerah Sesuai dengan amanat UU No.25/2004, K/L dan Daerah melakukan evaluasi dan pengendalian terhadap dokumen perencanaan pembangunan yang hasilnya menjadi bahan evaluasi perencanaan pembangunan nasional oleh Menteri PPN/Kepala Bappenas. Pada praktiknya, evaluasi dan pengendalian pelaksanaan perencanaan pembangunan saat ini telah dilakukan dengan baik oleh beberapa K/L dan Daerah, namun masih banyak pula K/L dan Daerah yang belum menjadikan kegiatan evaluasi dan pengendalaian sebagai sebuah kegiatan yang penting untuk dilakukan sehingga kualitas hasil evaluasi baik di level K/L maupun Daerah belum setara satu dengan yang lainnya. Berikut ini dijabarkan mengenai evaluasi pelaksanaan perencanaan pembangunan di beberapa K/L dan Daerah.

4.4.1. Evaluasi Pelaksanaan Perencanaan Pembangunan di beberapa K/L Untuk mendapatkan gambaran pelaksanaan evaluasi di K/L, berikut akan dibahas dua K/L yaitu Kementerian Kesehatan dan Kementerian perhubungan. 1.

Kementerian Kesehatan Kementerian Kesehatan RI melakukan kegiatan evaluasi pembangunan

nasional terhadap pelaksanaan RPJMN dan Renstra Kementerian Kesehatan periode 2010-2014. Berdasarkan hasil evaluasi tersebut, dapat ditarik kesimpulan bahwa terdapat beberapa indikator RPJMN dan Renstra yang telah tercapai, namun ada pula indikator-indikator yang hampir/tidak tercapai sebagaimana dapat dilihat pada table berikut ini:

49

50

Table 6: Hasil Target Capaian RPJMN 2010-2014

Sumber : Bahan Paparan Kemenkes dalam FGD Kajian Penyusunan Pedoman Evaluasi RPJMN di Bappenas, 23 Oktober 2015 Keterangan Hampir Tercapai Tidak tercapai

Terdapat lima indikator yang tidak tercapai digambarkan dengan warna status merah yaitu indikator angka kematian ibu melahirkan per 100.000 kelahiran hidup, angka kematian bayi per 1.000 kelahiran hidup, Total Fertility Rate (TFR): Angka Kelahiran Total (per perempuan usia reproduksi), persentase rumah tangga dengan akses air minum yang layak, dan Annual Parasite Incidence – (API) malaria. Ada beberapa faktor yang menyebabkan indikator-indikator tersebut tidak tercapai diantaranya yaitu faktor internal dan eksternal. Faktor internal disebabkan oleh Kementerian Kesehatan itu sendiri dan jajarannya di daerah sementara itu, faktor eksternal disebabkan oleh kegiatan dari K/L lain yang kurang mendukung Kementerian Kesehatan. Berikut ini dapat diurakan beberapa penyebab internal dari indikator-indikator RPJMN 2010-2014 yang tidak dapat dicapai oleh Kementerian Kesehatan.

50

51

Tabel 7: Penyebab Internal Indikator RPJMN 2010-2014 yang Tidak Dapat Dicapai oleh Kementerian Kesehatan No. 1.

Faktor Kesalahan Data

• • • •

Penyebab Baseline data tidak akurat karena belum ada Riset/Survey kesehatan spesifik Akses kesehatan masyarakat kesehatan yang semakin baik Penetapam target yang ambisius Pendekatan bersifat segmentasi tidak sistematis

2.

Koordinasi internal Kemenkes yang tidak optimal

• Setiap unit mempunyai target yang hasilnya yang kurang mendukung target prioritas • Kurangnya koordinasi pelaksanaan target dilapangan

3.

Kordinasi Pusat dan Daerah belum berjalan dengan baik SDM dan Sarana prasarana yang kurang

• Target di pusat beda dengan target didaerah • Dinkes lebih mengutamakan penyerapan dana dan target APBD

4.

• Kondisi Sarana Yankes yang perlu ditingkatkan • Sistem Rujukan yang tidak berjalan dengan baik • Program lebih banyak kuratif (pengobatan dibanding pencegahan)

Sumber : Bahan Paparan Kemenkes dalam FGD Kajian Penyusunan Pedoman Evaluasi RPJMN di Bappenas, 23 Oktober 2015

Berdasarkan hasil evaluasi sebelumnya yang dapat menemukenali beberapa faktor penyebab ketidaktercapaian indikator-indikator pembangunan dalam RPJMN maupun Renstra Kementerian Kesehatan, maka Kementerian Kesehatan berupaya untuk terus melakukan kegiatan monitoring dan evaluasi untuk RPJMN dan Renstra Kementerian Kesehatan Tahun 2015-2019. Hal tersebut dilakukan dengan tujuan agar indikator-indikator pembangunan dapat dipantau ketercapaiannya serta dapat menemukan penyebab permasalahan yang menyebabkan indikator tidak tercapai sebagai masukan bagi perencanaan berikutnya. Monitoring dan Evaluasi RPJMN dan Renstra Kementerian Kesehatan Tahun 2015-2019 memiliki tujuan sebagai berikut : 

Melaksanakan amanat perundang-undangan.



Bagian dari siklus manajemen.



Deteksi sedini mungkin penyimpangan terhadap rencana.



Mengetahui progres pencapaian target.



Justifikasi atas klaim pencapaian target.



Menemukenali kendala dalam pelaksanaan sebagai dasar perbaikan.

51

tindakan

52 

Dukungan informasi yang berbasis bukti untuk dasar pengambilan keputusan pimpinan/organisasi.



Sebagai bahan perbaikan perencanaan ke depan.



Sebagai

bentuk

akuntabilitas

penanggung-jawab

program

atas

pengelolaan anggaran. Sementara itu, tantangan Kementerian Kesehatan dalam kegiatan monitoring dan evaluasi yang efektif dan efisien, diantaranya yaitu : 

Menghasilkan monev berkualitas yang mampu menyediakan data dan informasi analitik melalui pengawalan mulai dari tahap perencanaan, penganggaran dan pelaksanaan program.



Tersedianya data dan informasi analitis sebagai fungsi perbaikan dan akuntabilitas sebagai dasar pegambilan keputusan yang berdasarkan bukti-bukti secara aktif dan setiap saat dibutuhkan.

Berikut ini adalah konsep alur dan mekasnisme Monev Renstra Kementerian Kesehatan Tahun 2015-2019.

Gambar 13: Konsep Alur dan Mekanisme Monev Renstra Kementerian KesehatanTahun 2015-2019

Sumber : Bahan Paparan Kemenkes dalam FGD Kajian Penyusunan Pedoman Evaluasi RPJMN di Bappenas, 23 Oktober 2015

Gambar 14: Kerangka Strategi Monev Renstra Kementerian Kesehatan Tahun 2015-2019

52

53

Sumber : Bahan Paparan Kemenkes dalam FGD Kajian Penyusunan Pedoman Evaluasi RPJMN di Bappenas, 23 Oktober 2015

Adapun arah kebijakan dan strategi Monev Renstra Kementerian Kesehatan Tahun 2015-2019 ialah sebagai berikut : 

Meningkatkan komitmen semua pihak akan pentingnya pelaksanaan monitoring evaluasi program yang berkualitas.



Meningkatkan keterlibatan dan kontribusi aktif semua pihak.



Meningkatkan ownership penanggung-jawab program atas pelaksanaan program dan pencapaian tujuan program.



Integrasi dan keterpaduan monev sehingga lebih efisien antara lain melalui pemanfaatan keunggulan sistem informasi.



Mengembangkan metode monev yang paling memadai.



Meningkatkan peran penelitian dan pengembangan kesehatan melalui fokus riset-riset yang berbasis program.



Meningkatkan keterlibatan, koordinasi dan kerjasama LS, LP, swasta & akademisi.



Meningkatkan kompetensi & kinerja SDM melalui pelatihan, coaching dan study banding.



Meningkatkan porsi pembiayaan kegiatan monev minimal 10% dari anggaran program rutin.

53

54 Sementara itu untuk dapat merealisasikan monev Rentsra tersebut diperlukan langkah-langkah kerja sebagai berikut : 

Pembentukan tim



Penyusunan pedoman monev



Penyusunan dan penetapan road map (5 tahunan) serta rencana aksi tahunan



Pelaksanaan monev pencapaian indikator program rutin yang terintegrasi secara triwulan dan tahunan



Pelaksanaan monev tematik



Mid-term review dan end-term review



Diseminasi, pelaporan dan pemanfaatan

2. Kementerian Perhubungan Kementerian Perhubungan merupakan salah satu K/L yang telah melakukan kegiatan monitoring dan evaluasi dengan lingkup kegiatan yang dilakukan sebagai berikut : 1. Evaluasi aktivitas persiapan penyusunan Renstra 2. Evaluasi struktur dan cakupan muatan Renstra 3. Evaluasi cakupan indikator kinerja utama pada 4. Evaluasi capaian kinerja Renstra 5. Evaluasi realisasi anggaran dan fisik dari Resntra 6. Evaluasi dampak kinerja Renstra

Terkait analisis kegiatan evaluasi di kementerian perhubungan dapat dilihat pada table berikut ini

54

55 Tabel 8: Analisis Kegiatan Evaluasi Kementerian Perhubungan No. 1.

2.

3.

4.

Analisis

Pertanyaan Analisis

Evaluasi Persiapan Penyusunan Renstra Evaluasi Struktur dan Cakupan

Apakah proses penyusunan telah sesuai dengan Pedoman? Apakah muatan dalam dokumen renstra sesuai dengan Pedoman? Apakah Indikator Kinerja telah sesuai dengan Pedoman dan prinsip-prinsip umum?

Evaluasi Cakupan Indikator Kinerja Utama Evaluasi Capaian Kinerja Renstra

Apakah Indikator Kinerja Utama Renstra telah tercapai?

5.

Evaluasi Realisasi Anggaran dan Fisik

Apakah anggaran telah dilaksanakan?

6.

Evaluasi Dampak Kinerja

Bagaimana dampak kinerja renstra?

Data Standard Vs Realisasi Proses penyusunan Renstra VS Pedoman Penyusunan PANRB

Output Perbaikan Perencanaan untuk Renstra

Isi Dokumen Renstra VS Pedoman Bappenas 2009 dan 2014 IKU Renstra VS Pedoman, Perspektif Logic Model, dan Balance Scorecard.

Perbaikan Perencanaan untuk Renstra

IKU Kementerian dan Eselon 1 VS Realisasi (efisinesi, efektivitas, keluaran, hasil, dampak). Analisis dilakukan melalui uji admin (validitas dan reliabilitas) dan substansi (Gap analysis perbandingan standard dan realisasi Anggaran VS Realisasi Anggaran Renstra

Perbaikan Perencanaan untuk Renstra

Melihat persepsi terhadap capaian Renstra

Perbaikan Perencanaan untuk Renstra

Penilaian, Perbaikan Kinerja Renstra, dan Realokasi Anggaran Penilaian pengguna jasa transportasi

Sumber : Bahan Paparan Kemenhub dalam FGD Kajian Penyusunan Pedoman Evaluasi RPJMN di Bappenas, 2 Desember 2015

Adapun berikut ini adalah tata cara kegiatan monitoring dan evaluasi pelaksanaan dan hasil pembangunan Kementerian Perhubungan:

A. Persiapan 1. Konsolidasi Tim 2. Inventarisasi dan Identifikasi a. Proses / Pelaksanaan Pembangunan Pembangunan prasarana/sarana transportasi yang sedang dibangun yang dilaksanakan oleh Balai/UPP/UPBU, meliputi antara lain :  Data pengelola (kegiatan, KPA, PPK);  Data posisi penyelesaian kegiatan (kontrak, tahap, fisik, anggaran); 55

56  Data kendala / hambatan;  Data rencana penyelesaian dan pengoperasian; b.

Hasil Pembangunan Hasil pembangunan prasarana/sarana transportasi yang telah selesai dan telah dioperasikan, meliputi antara lain :  Jenis fasilitas dan jenis pelayanan (darat, kereta api, laut, udara);  Pengelolaan (BASTO, operasional);  Output (ketepatan waktu, kuantitas hasil : panjang, luas dan lainnya);  Outcome (pergerakan kendaraan, pergerakan barang, mobilitas orang);  Impact (pertumbuhan ekonomi, tenaga kerja)

B. Pengamatan di lapangan 1. Proses / Pelaksanaan Pembangunan Pengamatan pelaksanaan pembangunan prasarana/sarana transportasi untuk melihat/mengetahui: 1.

Kesesuaian proses pelaksanaan pembangunan dengan perencanaan dan dokumen kontrak;

2.

Kendala/hambatan saat proses pelaksanaan pembangunan;

2. Hasil Pembangunan Pengamatan hasil pembangunan prasarana/sarana transportasi untuk melihat/mengetahui: 1.

Anggaran pelaksanaan pelayananan;

2.

Indikator output;

3.

Indikator outcome;

4.

Indikator impact;

Berdasarkan hasil evaluasi dan monitoring yang telah dilakukan oleh Kementerian Perhubungan di Tahun 2015, diperoleh beberapa permasalahan dan juga rekomendasi. Permasalahan yang diperoleh dari hasil evaluasi dan monitoring di Tahun 2015 ini adalah sebagai berikut : 

Belum beroperasinya output secara optimal karena belum selesainya proses BASTO

56



Status lahan yang belum jelas (milik BUMN, masyarakat yang belum dibayar)



Klaim masyarakat terhadap hak ulayat atas tanah

57 

Belum terdapatnya jalan akses



Belum lengkapnya dokumen perencanaan (Master Plan, AMDAL, dll)



Tidak terdapatnya alokasi anggaran untuk biaya operasional



Rusak/hilangnya output yang telah dihasilkan



Rendahnya penyerapan anggaran karena banyak factor Sementara itu, dari hasil evaluasi dan monitoring yang telah dilakukan oleh

Kementerian Perhubungan di Tahun 2015,, dapat dihasilkan beberapa masukan sebagai rekomendasi yang digunakan sebagai perbaikan untuk perencanaan berikutnya, yaitu : 

Agar segera dilakukan koordinasi dengan pihak-pihak terkait guna percepatan proses BASTO



Koordinasi dan konsolidasi dengan masyarakat, Pemerintah Daerah dan Kementerian/ Dinas terkait lain



Melakukan

pendekatan

dan

sosialisasi

yang

lebih

intensif

ke

warga/masyarakat sekitar 

Percepatan penyusunan dokumen Rencana Induk Pelabuhan (RIP), dokumen lingkungan hidup (AMDAL/UKL-UPL);



Mulai merencanakan pengalokasian anggaran operasional setelah Basto selesai



Mengidentifikasi aset - aset yang telah rusak/hilang untuk segera direnovasi sehingga dapat digunakan sebagaimana mestinya



Melaksanakan upaya - upaya percepatan penyerapan anggaran dengan berkoordinasi dengan para pihak terkait

4.4.2.

Evaluasi Pelaksanaan Perencanaan Pembangunan di beberapa Daerah

Rencana pembangunan di Daerah tertuang dalam dokumen-dokumen perencanaan seperti RKPD dam RPJMD. Untuk memastikan pelaksanaan dokumen perencanaan tersebut telah berjalan dengan baik, maka Daerah melakukan kegiatan evaluasi. Beberapa Provinsi yang dikaji sudah mulai melaksanakan kegiatan pengendalian dan evaluasi dokumen perencanaan seperti RPJMD, akan tetapi masih terdapat beberapa permasalahan dalam proses pelaksanaan evaluasi RPJMD tersebut. Periode RPJMD Provinsi yang berjalan saat ini seringkali tidak sama dengan periode RPJMN berjalan sehingga target dan program yang terdapat di dalam RPJMD berbeda dengan yang tertuang di dalam RPJMN, padahal seharusnya RPJMD harus sejalan dengan RPJMN dengan menjadikan RPJMN sbegaai 57

58 pedoman. Banyak RPJMD Provinsi yang telah terlebih dahulu ditetapkan sehingga targettarget nasional serta pengukuran-pengukuran indikator di dalam RPJMN belum bisa diakomodasi. Untuk mengatasi hal tersebut, saat ini beberapa Provinsi seperti Lampung, Kalimantan Timur, Sumatera Selatan, Jawa Barat, Jawa Tengah, NTB, dan Sulawesi Utara misalnya tengah melakukan kegiatan sinkronisasi atau penyelarasan RPJMD dengan RPJMN 2015-2019, bahkan Lampung, Jawa Tengah dan NTB akan melakukan penyelarasan hingga ke level program. Beberapa daerah menyampaikan tujuan dilakukannya evaluasi RPJMD Provinsi ialah: 1. untuk menyelaraskan program dan kegiatan RPJMD dengan Renstra SKPD 2.

mengendalikan pelaksanaan program strategis RPJMD

3. mengetahui capaian target indikator kinerja RPJMD 4. merumuskan rencana tindak lanjut pencapaian target indikator RPJMD 5. mengukur capaian target kinerja dan daya serap anggaran 6.

serta identifikasi terhadap hambatan/kendala yang dihadapi dalam pelaksanaan program/kegiatan.

Fokus Evaluasi yang dilakukan oleh Daerah berbeda-beda antara lain: 1) evaluasi dengan melihat target, menyusun parameter dan mengukur capaian;2) pengendalian dan evaluasi terhadap kebijakan perencanaan pembangunan daerah; 3) pengendalian dan evaluasi terhadap pelaksanaan rencana pembangunan daerah; dan 4) evaluasi terhadap hasil rencana pembangunan daerah. Berdasarkan hasil kunjungan lapangan, di beberapa Provinsi seperti NTB, Lampung, Sulawesi Utara, Bappeda menyampaikan informasi bahwa evaluasi RPJMD yang dilakukan menggunakan data dan informasi yang dihimpun oleh SKPD terkait. Namun dari hasil pengamatan dan analisis dari kunjungan lapangan, evaluasi belum menjadi hal yang penting di kalangan SKPD. Sejauh ini evaluasi dilakukan hanya sebagai laporan saja tidak bertujuan untuk dapat memberikan masukan dan umpan balik untuk perencanaan selanjutnya di Daerah. SKPD tidak memberikan perhatian yang memadai dalam melakukan evaluasi, contohnya Provinsi Lampung, untuk evaluasi tahun berjalan 2015 Bappeda Provinsi Lampung masih terus melakukan advokasi cara pengukuran kinerja, menentukan target, parameter dan mengukur capaian. Salah satu permasalahan yang dihadapi oleh Provinsi Lampung dan juga dihadapi oleh beberapa Provinsi lainnya ialah banyak parameter, target dan indikator di dalam Renja dan RPJMD tidak jelas sehingga kesulitan dalam mengukur capaian kinerja. Laporan hasil kinerja baru sebatas capaian serapan anggaran.

SKPD tetap membutuhkan

pendampingan, advokasi dan fasilitasi dari Bappeda untuk melakukan self-evaluation (evaluasi sendiri). Hingga saat ini, beberapa Bappeda Provinsi masih mendampingi untuk

58

59 menentukan target dan penyusunan indikator karena SKPD belum bisa melakukan hal tersebut sendiri. Pendampingan perlu dilakukan mengingat pentingnya perumusan target dan indikator yang jelas untuk dapat dilakukannya evaluasi. Sebagian besar hasil evaluasi RPJMD saat ini hanya menampilkan realisasi pembangunan namun tidak bisa dinilai karena tidak ada target sebagai pembanding, dengan kata lain tidak bisa dievaluasi. Beberapa program dan kegiatan bahkan targetnya belum ditetapkan sehingga hasil evaluasi saat ini hanya berupa laporan-laporan realisasi saja. Untuk dapat melakukan evaluasi RPJMD yang baik, beberapa Bappeda Provinsi dan SKPD saat ini sedang mencoba membenahi penyusunan perencanaan pembangunan daerah contohnya: 1. Berdasarkan rapot SKPD yang hanya menampilkan realisasi dan serapan, Bappeda Lampung menjamin perumusan Renja SKPD yang akan dating mengikuti kaidah-kaidah perumusan parameter, target, dan indikator sesuai standar sehingga dapat dievalausi. 2. Dalam penyusunan RPJMD, Bappeda Sumatera Selatan sudah menggunakan logical-framework namun hanya sampai pada batas output dan belum bisa melihat outcome, benefit atau impact. Selanjutnya, saat ini permasalahan yang dihadapi daerah adalah banyaknya pelaporan evaluasi yang harus dilengkapi sesuai dengan permintaan dari beberapa K/L seperti Bappenas, Kementerian PAN & RB, Kementerian Dalam Negeri dan Kementerian Keuangan. Permintaan laporan evaluasi

yang

banyak tersebut menyebabkan daerah harus

mengakomodasi dan menyesuaikan indikator-indikator sesuai dengan permintaan masingmasing K/L yang kadang tidak sesuai dengan kebutuhan daerah. Dalam melaksanakan evaluasi RPJMD, Pemerintah Daerah sangat berpedoman pada Peraturan Menteri Dalam Negeri No.54 Tahun 2010 yang mengatur tentang Tata Cara Pengolahan Data dan Informasi Perencanaan Pembangunan Daerah. Dalam Permendagri 54/2010 tersebut dijelaskan mengenai komponen-komponen apa saja yang harus terdapat di dalam kegiatan pengolahan data dan informasi perencanaan pembangunan daerah seperti analisis kondisi umum daerah, data dan informasi kondisi umum daeah yang mencakup aspek geografi dan demografi serta indikator kinerja penyelenggaraan Pemerintah Daerah. Untuk memperoleh kondisi umum daerah perlu memperhatikan hal-hal seperti hasil evaluasi capaian kinerja rencana pembnagunan periode sebelumnya (RKPD dan RPJMD), keterkaitan dengan urusan yang menjadi kewenangan sesuai dengan peraturan perundang-undangan, metode pengolahan data dan informasi serta cara menganalisis serta penyajian hasil analisis. Tantangan dan kendala proses pengendalian dan evaluasi di Daerah diantaranya ialah : 59

60 -

sulitnya menjaga konsistensi sasaran kinerja RPJMD-RKPD-KUA/PPAS-APBD

-

belum optimalnya keterlibatan

unsur pengendalian dan evaluasi

dalam setiap

tahapan perencanaan -

belum adanya standar indikator kinerja yang sama dari Nasional-Daerah (SPM, LKPP, IKU, IKK)

-

lemahnya komitmen SKPD pada pelaporan kinerja. Fakta lain yang ditemukan di lapangan, beberapa laporan hasil evaluasi RPJMD di

beberapa daerah ternyata bukan hasil evaluasi melainkan laporan monitoring karena laporan hasil evaluasi RPJMD yang diberikan hanya berupa laporan angka-angka dari capaian targettarget pembangunan dan belum melakukan evaluasi atau analisis mendalam atas data dari capaian-capaian tersebut. Sebagian daerah bahkan menyusun laporan evaluasi RPJMD hanya sebagai syarat administratif. Permasalahan tersebut sebenarnya disebabkan oleh banyak hal seperti rendahnya kualitas SDM perencana dan evaluator di daerah, serta data dan informasi yang sulit diperoleh dari SKPD akibat adanya rotasi SDM yang terlalu cepat. Perencanaan yang baik sangat dibutukan untuk melakukan evaluasi, dengan perencanaan yang baik maka perumusan program, kegiatan, target, dan indikator pembangunan dapat diukur. Hanya beberapa daerah yang penyusunan program dan kegiatan menggunakan logical framework untuk penyusunan RPJMD dan RKPD seperti Yogyakarta dan Jawa Barat. Namun demikian di beberapa daerah lainnya evaluasi tidak dapat dilakukan dengan baik, karena dokumen perencanaan daerah tersebut tidak memiliki indikator dan target yang jelas dan terukur, bahkan ada program dan kegiatan yang tidak memiliki target dan indikator. Beberapa Pemerintah Daerah melalui Bappeda telah melakukan evaluasi RPJMD dengan menggunakan Permendagri 54/2010 sebagai pedoman. Daerah telah mengikuti ketetapan ketetapan yang ada dalam permendagri tersebut dengan penyesuaian penyesuaian terutama untuk indicator. Secara lebih terinci hal ini bisa dilihat dari contoh pelaksanaan evaluasi perencanaan pembangunan di Provinsi NTB dan Jawa Tengah berikut ini:

1.

Provinsi NTB Seperti yang telah dijelaskan sebelumnya, bahwa beberapa Provinsi telah melakukan

evaluasi RPJMD dengan baik, salah satunya ialah Provinsi Nusa Tenggara Barat (NTB). Periode RPJMD Provinsi NTB berlaku tahun 2013-2018 dan Provinsi NTB telah melakukan evaluasi salah satunya evaluasi program prioritas RPJMD Provinsi NTB 2013-2018 Semester 1 pada Tahun 2015. Dalam laporan evaluasi RPJMD tersebut dijabarkan mengenai capaian 60

61 indikator

kinerja pembangunan dan capaian program prioritas. Pelaksanaaan evaluasi

RPJMD yang dilakukan Bappeda NTB mengacu pada Permendagri 54/2010. Dalam menyusun laporan evaluasi tersebut, substansi laporan telah sesuai dengan ketentuan Permendagri 54/2010 seperti menjelaskan analisis kondisi umum daerah, akan tetapi belum dijelaskan mengenai hasil evaluasi kinerja rencana pembangunan periode sebelumnya (RKPD dan RPJMD), melainkan langsung memberikan informasi evaluasi atas capaian 31 indikator kinerja pembangunan Provinsi RPJMD dan capaian program prioritas. Terdapat 31 indikator kinerja pembangunan Provinsi NTB yang diturunkan dari 7 buah misi pembangunan, yang kemudian di jabarkan lebih lanjut

ke dalam langkah langkah

terobosan dan indikator kinerja pembangunan. Dalam menyusun indikator kinerja pembangunan, Bappeda Provinsi NTB juga mengacu dan menyesuaikan dengan indikator penyelenggaraan Pemerintah Daerah yang masing-masing dibagi ke dalam bidang urusan sesuai dengan ketentuan Permendagri 54/2010. Dari 31 indikator kinerja pembangunan Provinsi NTB, ada 16 indikator kinerja pembangunan yang sesuai dengan yang tercantum dalam Permendagri 54/2010, sementara indikator yang lainnya tidak tercantum dalam Permendagri 54/2010. 16 indikator tersebut ialah penegakan PERDA, usia harapan hidup, prevalensi kurang gizi, rata-rata lama sekolah, cakupan penanganan Penyandang Masalah Kesejahteraan Sosial (PMKS), angka melek huruf, pertumbuhan ekonomi, angka kemiskinan, TPT, jalan provinsi dalam kondisi mantap, penumpang angkutan udara dan laut, rasio elektrifikasi, cakupan rumah tangga pengguna air minum yang layak, penanganan rumah tidak layak huni, kualitas lingkungan hidup, dan mata air terlindungi. Sementara itu, indicator yang tidak tercantum di dalam Permendagri 54/2010 merupakan indikator-indikator lain yang telah disesuaikan dengan kondisi dan kebutuhan Provinsi NTB terutama dalam mendukung pelaksanaan misi pembangunan Pemerintah Daerah NTB. Indikator-indikator kinerja pembangunan tersebut dianalisis dengan memberikan data target dan capaian serta deskripsinya. A.

Provinsi Jawa Tengah Provinsi Jawa Tengah juga merupakan salah satu Provinsi yang telah melakukan

evaluasi RPJMD. RPJMD Provinsi Jawa Tengah yang berlaku saat ini ialah RPJMD periode 2013-2018. Sama halnya dengan evaluasi RPJMD Provinsi NTB, evaluasi RPJMD Provinsi Jawa Tengah juga berpedoman pada Permendagri 54/2010. Evaluasi RPJMD Provinsi Jawa Tengah mencakup evaluasi kebijakan perencanaan pembangunan, evaluasi terhadap pelaksanaan pembangunan, dan evaluasi terhadap hasil rencana pembangunan daerah. Dalam laporan evalausi RPJMD Provinsi Jawa Tengah 2013-2018 dijelaskan mengenai kondisi perekonomian daerah dan pengelolaan keuangan daerah yang di dalamnya secara 61

62 tidak langsung juga dibahas mengenai hasil-hasil evalausi perencanaan pembangunan terdahulu yang kemudian dijadikan baseline dalam RPJMD yang digunakan saat ini. Selain itu, dalam laporan evaluasi RPJMD tersebut juga dijelaskan mengenai evaluasi kesesuaian kebijakan pembangunan baik kesesuaian RPJMD dengan RPJPD, kesesuaian RPJMD dengan RPJMN, kesesuaian RPJMD dengan UU No.23/2014, dan kebijakan pengembangan wilayah. Komponen evaluasi kesesuaian tersebut tidak dijelaskan di dalam Permendagri 54/2010. Indikator-indikator yang digunakan dalam evaluasi RPJMD Provinsi Jawa Tengah merupakan turunan dari visi dan misi RPJMD Provinsi Jawa Tengah 2013-2018. Terdapat 2 visi dimana visi yang pertama dijabarkan ke dalam 4 misi dan visi yang kedua juga dijabarkan ke dalam 4 misi. Tiap-tiap visi dan misi diturunkan ke dalam indikator-indikator pembangunan. Beberapa indikator tercantum di dalam Permendagri 54/2010, sementara indikator lainnya yang tidak tercantum merupakan penyesuaian terhadap kebutuhan dan kondisi yang ada di Provinsi Jawa Tengah agar dapat mengakomodasi visi dan misi pembangunannya. Penjelasan mengenai capaian indikator pembangunan dalam laporan evalausi RPJMD tersebut dijabarkan dalam data dan informasi berupa tujuan, sasaran, indikator sasaran, target RPJMD, target akhir, realisasi, % capaian,status capaian, penjelasan dan tindak lanjut. Selain itu, dalam evaluasi capaian indikator sasaran juga dilakukan evaluasi keselarasan antara tujuan, sasaran, dan indikator.

62

63

BAB V Kajian

KESIMPULAN DAN REKOMENDASI Pedoman

Pemantauan,

Evaluasi

dan

Pengendalian

Perencanaan

Pembangunan ini disusun untuk menjadi bahan acuan dalam melakukan pemantauan, evaluasi dan pengendalian terhadap dokumen perencanaan pembangunan nasional (Renja K/L, Renstra K/L, RKP dan RPJMN), dalam proses pelaksanaan rencana pembangunan nasional. Kajian ini merangkum poin-poin penting yang perlu diperhatikan dalam melakukan proses pemantauan, evaluasi dan pengendalian sehingga diharapkan dapat bermanfaat bagi kalangan Kementerian dan Lembaga dan pemerintah daerah dalam melakukan pemantauan, evaluasi, dan pengendalian dokumen Renja K/L dan Renstra K/L. Seperti yang telah diuraikan dalam kajian ini, kerangka dan juga mekanisme pelaksanaan pemantauan, evaluasi dan pengendalian telah dijabarkan secara rinci beserta cara melakukan pengukuran kinerja sebagai bahan evaluasi perencanaan pembangunan. Dari hasil kajian ini diharapkan dapat disusun buku pedoman evaluasi perencanaan pembangunan yang dapat digunakan oleh K/L dan daerah sebagai acuan dalam proses pemantauan, evaluasi, dan pengendalian pelaksanaan pembangunan. Pedoman evaluasi rencana pembangunan perlu disusun agar K/L dan daerah memiliki acuan dan format yang baku baik dalam mekanisme pemantauan, evaluasi, dan pengendalian maupun dalam format pelaporan hasil evaluasi. Hasil dari evaluasi perencanaan pembangunan selanjutnya akan diserahkan kepada Presiden sebagai bentuk dari akuntabilitas pemerintah. Hasil evaluasi akan dijadikan sebagai umpan balik dan masukan dalam proses penyusunan rencana pembangunan periode berikutnya sehingga dengan hadirnya buku pedoman ini diharapkan dapat memberikan kontribusi positif dalam siklus perencanaan pembangunan yang handal, kredibel dan akuntabel untuk mewujudkan Indonesia yang mandiri, maju, adil dan makmur.

63

64

LAMPIRAN KAJIAN

64

65 Desain Matrik Evaluasi Renja K/L dan RKP

Program/ Kegiatan

65

Sasaran Program/Kegiatan

Pelaksanaan Program/Kegiatan Indikator Program/Kegiatan

Target

Realisasi

Status Program/Kegiatan

Tercapai

Tidak Tercapai

Keterangan dan Permasalahan (isi bila status program/kegiatan tidak tercapai)

Alokasi Anggaran

Pagu

Realisasi

Durasi/Waktu Pelaksanaan Program/Kegiatan

66 Kerangka Evaluasi Renstra K/L dan RPJMN Pelaksanaan Program/Kegiatan Program/ Kegiatan

66

Sasaran Program/Kegiatan

Indikator Program/Kegiatan

Baseline 2015

Target Akhir Periode

Realisasi Akhir Periode

Status Program/Kegiatan Selama 5 Tahun

Tercapai

Tidak Tercapai

Keterangan dan Permasalahan (isi bila status program/kegiatan tidak tercapai)

Status Program/Kegiatan

Berlanjut

Evaluasi

Dihentikan

0

Daftar Pustaka Bappeda NTB. 2015. Evaluasi Program Prioritas RPJMD Provinsi NTB 2013-2018. Mataram: Bappeda NTB. Bappeda Jawa Tengah. 2015. Evaluasi RPJMD Semarang: Bappeda Jawa Tengah

Provinsi Jawa Tengah 2013-2018.

Calley, N. G. (2010). Program Development in the 21st Century: An Evidence-Based Approach to Design, Implementation, and Evaluation. Thousand Oaks: SAGE Publications. Fitzpatrick, J. L. et al. (2010). Program Evaluation: Alternative Approaches and Practical Guidelines (4th Edition). New York : Pearson. Frechtling, J. A. (2007). Logic Modeling Methods in Program Evaluation. San Francisco: Jossey-Bass. Kunarjo. (2002). Perencanaan dan Pengendalian Program Pembangunan. Jakarta: Universitas Indonesia (UI-Press). Kusek, J. Z. and Ray C. Rist (2004). Ten Steps to a Results-Based Monitoring and Evaluation System: A Handbook for Development Practitioners. Washington DC: World Bank Publications. McDavid, J. dan Irene Huse. (2012). Program Evaluation and Performance Measurement: An Introduction to Practice. Thousand Oaks: SAGE Publications. Mertens, D., & Wilson, A. (2012). Program Evaluation Theory and Practices. New York: The Guilford Press. National Planning Commission. (2013). National Monitoring and Evaluation Guidelines. Kathmandu: Government of Nepal. Organization for Economic Co-Operation and Development. (1991). Principles for Evaluation of Development Assisstance. Perancis: Author. Organization for Economic Co-Operation and Development. (2010). Glossary of Key Terms in Evaluation and Results Based Management. Perancis: Author. Patton, M. Q. (2008). Utilization-Focused Evaluation. Thousand Oaks: SAGE Publications. Patton, M. Q. (2014). Qualitative Research & Evaluation Methods: Integrating Theory and Practice. Thousand Oaks: SAGE Publications. Rossi, P., Freeman, H., & Lipsey, M. (2000). Evaluation: A Systematic Approach. California: SAGE Publications. Saunders, R. P (2016). Implementation Monitoring and Process Evaluation. Thousand Oaks: SAGE Publications. Stufflebeam, D. L. (2007). Evaluation Theory, Models, and Applications (Research Methods for the Social Sciences). San Francisco: Jossey-Bass. United Nations Development Programme. (2009). Handbook on Planning, Monitoring, Evaluating for Development Results. New York: Author. Vedung, E. O. (2000). Public Policy and Program Evaluation (Comparative Policy Evaluation). Transaction Publishers. Weiss, C. H. (1997). Evaluation: Methods for Studying Programs and Policies, 2nd Edition. New Jersey: Prentice Hall.

0

1 World Bank. (2004). Monitoring and Evaluation: Some Tools, Methods, and Approaches. Washington, DC: Author.

1