PEDOMAN EVALUASI KINERJA PEMBANGUNAN SEKTORAL

PEDOMAN EVALUASI KINERJA PEMBANGUNAN SEKTORAL

KEDEPUTIAN EVALUASI KINERJA PEMBANGUNAN BADAN PERENCANAAN PEMBANGUNAN NASIONAL TAHUN 2009

Pedoman Evaluasi Pembangunan Sektoral

KATA PENGANTAR

Undang-Undang Nomor 25 Tahun 2004 tentang Sistem Perencanaan Pembangunan Nasional mengamanatkan bahwa dalam menyelenggarakan pembangunan nasional perlu disusun Rencana Pembangunan Jangka Menengah Nasional (RPJMN) dan Rencana Kerja Pemerintah (RKP). Dalam kaitan itu, agar pelaksanaan pembangunan dapat terjaga dan berhasil sebagaimana yang direncanakan, Peraturan Pemerintah Republik Indonesia Nomor 39 Tahun 2006 tentang Tata Cara Pengendalian dan Evaluasi Pelaksanaan Rencana Pembangunan menugaskan Bappenas untuk melaksanakan evaluasi atas hasilhasil pembangunan nasional. Memperhatikan dasar hukum di atas, dapat disimpulkan bahwa evaluasi penting untuk dilaksanakan dan merupakan salah satu aspek dalam dalam siklus pengelolaan pembangunan. Hasil evaluasi dapat digunakan sebagai bahan pertimbangan dalam pengambilan keputusan, khususnya dalam penyusunan rencana pembangunan nasional, baik tahunan maupun periodik. Dengan memperhatikan prinsip Good Governance, khususnya dalam konteks akuntabilitas kinerja pembangunan, seyogyanya kegiatan evaluasi pembangunan diselenggarakan dengan seksama, fokus, tajam, jujur, dan berhasilguna; dan dilaksanakan dengan mengacu kepada dokumen perencanaan pembangunan yang ada. Dalam kaitan itu, dirasa perlu untuk menyusun suatu Buku Pedoman Evaluasi Kinerja Pembangunan Sektoral (BP-EKPS). Diharapkan, BP-EKPS dapat dijadikan acuan umum dan digunakan untuk mengevaluasi dokumen perencanaan khususnya RPJMN dan RKP. Dengan demikian, dalam siklus jangka menengah, BP-EKPS dapat digunakan baik untuk evaluasi tahunan, tengah tahunan, dan lima tahunan. Buku Pedoman EKPS dikelompokan kedalam 4 (empat) bagian, yaitu: 1) Pendahuluan, 2) Definisi dan Konsep Pembangunan Sektoral, 3) Penyusunan Indikator Kinerja, 4) dan Evaluasi Pembangunan Sektoral. Secara khusus, BP-EKPS diharapkan dapat menjadi panduan ketika unit kerja dalam lingkup Kedeputian Evaluasi Kinerja Pembangunan menyelenggarakan kegiatan evaluasi pembangunan sektoral. Selain itu, juga dapat digunakan sebagai panduan ketika melaksanakan evaluasi RKP dan evaluasi mid-term serta final term RPJMN 2010-1014. Di luar kedua hal tersebut, secara umum, metodologi yang diuraikan dalam buku ini dapat digunakan untuk mengevaluasi berbagai keperluan.

ii


Disadari bahwa Buku Pedoman ini masih jauh dari yang diharapkan dan masih banyak keterbatasan. Dalam konteks itu, koreksi, kritik, dan saran semua pihak sangat kami hargai, dan mohon dikirimkan ke alamat e-mail yang tertera pada sampul belakang buku ini.

Jakarta, Desember 2009 Plt. Deputi Bidang Evaluasi Kinerja Pembangunan

DR. Ir. Dedi M Masykur Riyadi

iii


DAFTAR ISI Kata Pengantar Daftar Isi Daftar Tabel Daftar Gambar Daftar Singkatan Ringkasan Eksekutif

ii iv v v vi vii

Bab I. Pendahuluan 1.1 Latar Belakang 1.2 Maksud, Tujuan, dan Ruang Lingkup 1.3 Landasan Hukum 1.4 Sistematika Pedoman

1 2 3 4

Bab II. Definisi dan Konsep Evaluasi Pembangunan Sektoral 2.1. Siklus Perencanaan 2.2. Tujuan dan Manfaat Evaluasi 2.3. Komponen Kunci Evaluasi yang Baik 2.4. Perbedaan Monitoring dan Evaluasi 2.5. Jenis Evaluasi 2.6. Metodologi Evaluasi 2.7. Tahap Evaluasi 2.8. Proses Pelaksanaan Evaluasi

6 7 7 9 11 12 12 13

Bab III. Penyusunan Indikator Kinerja 3.1. Definisi Indikator Kinerja 3.2. Kriteria Indikator Kinerja 3.3. Jenis Indikator Kinerja 3.4. Tahapan Penyusunan Indikator Kinerja

15 15 16 18

Bab IV. Evaluasi Pembangunan Sektoral 4.1. Struktur Kerangka Perencanaan Tahapan Evaluasi Pembangunan Sektoral 22 4.2. Fokus dan Tahapan Pelaksanaan Evaluasi Pembangunan Sektoral 23 4.3. Macam Evaluasi Pembangunan Sektoral 28 Bab V. Penutup Daftar Pustaka

34 35

iv


DAFTAR TABEL Tabel 2.1. Prinsip Evaluasi Tabel 2.2. Perbedaan antara Monitoring dan Evaluasi Tabel 2.3. Tahapan Pelaksanaan Evaluasi Berdasarkan Siklus Perencanaan

9 10 12

DAFTAR GAMBAR Gambar 2.1. Siklus Perencanaan Gambar 2.2. Bagan Proses Pelaksanaan Evaluasi Gambar 3.1. Struktur Kebijakan dan Kinerja Pembangunan RPJMN 2010-2014 Gambar 4.1. Kerangka Perencanaan Kebijakan Gambar 4.2. Fokus dan Tahapan Pelaksanaan Evaluasi Kinerja Pembangunan Sektoral dalam Periode Pembangunan Jangka Menengah Nasional Gambar 4.3. Pengukuran Kinerja

v

6 14 17 22 23 26


DAFTAR SINGKATAN APBN APBD BAPPENAS BP-EKPS EKP FGD Kemenneg PPN K/L PART PP Renja Renstra RKP RPJMN SDM SKPD SMART UU

Anggaran Pembangunan dan Belanja Negara Anggaran Pembangunan dan Belanja Daerah Badan Perencanaan Pembangunan Nasional Buku Pedoman Evaluasi Kinerja Pembangunan Sektoral Evaluasi Kinerja pembangunan Focus Group Discussion Kementerian Negara Perencanaan Pembangunan Nasional Kementerian/Lembaga Program Assessment Rating Tool Peraturan Pemerintah Rencana Kerja Rencana Strategis Rencana Kerja Pemerintah Rencana Pembangunan Jangka Menengah Nasional Sumber Daya Manusia Satuan Kerja Perangkat Daerah Specific Measurable Attributable Reliable Timely Undang-undang

vi


RINGKASAN EKSEKUTIF Buku Pedoman Evaluasi Pembangunan Sektoral (BP-EKPS) merupakan hasil kegiatan koordinasi Direktorat Evaluasi Kinerja Pembangunan Sektoral Tahun Anggaran 2009. Buku ini disusun sebagai acuan untuk mengevaluasi dokumen perencanaan RPJMN dan RKP terkait evaluasi kinerja pembangunan sektoral. Secara umum buku ini membahas mengenai konsep serta metode evaluasi pembangunan sektoral. Terkait konsep evaluasi, dijelaskan mengenai siklus perencanaan sebagai dasar memahami posisi evaluasi sebagai salah satu tahapannya. Lebih lanjut, secara lebih detil dijelaskan mengenai tujuan dan manfaat serta komponen kunci yang mempengaruhi evaluasi yang baik. Disamping itu, juga dijelaskan perbedaan antara monitoring dan evaluasi, jenis, metodologi, tahap serta proses pelaksanaan evaluasi. Penyusunan indikator kinerja sebagai tolok ukur capaian suatu sasaran atau target yang telah ditetapkan. Penjelasan mengenai definisi, kriteria, jenis, dan tahapan penyusunan indikator kinerja dijelaskan secara umum dan secara khusus dengan memperhatikan struktur kebijakan dan kinerja pembangunan yang akan dituangkan dalam dokumen perencanaan RPJMN dan RKP. Secara khusus buku ini menjelaskan evaluasi pembangunan sektoral terhadap perencanaan pembangunan yang tertuang dalam RPJMN dan RKP dengan cakupan evaluasi meliputi Prioritas (Kebijakan) atau Fokus Prioritas/Program RPJMN dan RKP ataupun isu sektoral yang tengah bergulir dan sedang menjadi perhatian. Pendekatan yang digunakan dalam pedoman ini adalah berdasarkan tahapan waktu yaitu evaluasi awal, evaluasi tahunan, dan evalusi paruh waktu serta evaluasi lima tahunan. Pada dasarnya kegiatan evaluasi pembangunan dilakukan guna mengetahui gambaran suatu program/kegiatan pada suatu waktu tertentu. Sehingga diketahui sejauh mana relevansi antara perencanaan yang dibuat dengan sasaran yang ingin dicapai. Diharapkan evaluasi dapat memberi pembelajaran mengenai hal-hal yang perlu dilakukan di masa yang akan datang. Terkait tujuan pelaksanaan evaluasi terhadap dokumen perencanaan RPJMN dan RKP dibagi 4 (empat) macam evaluasi pembangunan sektoral yaitu: evaluasi pelaksanaan RPJMN dan RKP, evaluasi pencapaian RPJMN dan RKP, evaluasi efisiensi program, evaluasi efektifitas disain program.

vii


BAB I PENDAHULUAN

1.1

Latar Belakang

Perubahan cepat pada kondisi ekonomi, sosial dan politik di dalam dan luar negeri telah menghadapkan pemerintah pada tuntutan perbaikan dan perubahan dalam pengelolaan pemerintahan. Dalam siklus manajemen pembangunan, komponen perencanaan, penganggaran, pelaksanaan dan monitoring evaluasi harus saling terkait, berkesinambungan dan dapat dijalankan dengan efisien dan efektif. Namun secara luas diketahui bahwa monitoring dan evaluasi merupakan salah satu aspek dalam siklus manajemen pembangunan yang belum diimplimentasikan dengan baik, tepat dan berkesinambungan. Karenanya, perubahan dan perbaikan di atas, harus segera dilakukan melalui upaya monitoring dan evaluasi pelaksanaan dan pencapaian rencana pembangunan sektoral. Salah satu kritik terhadap sistem perencanaan dan penganggaran pada masa lampau adalah terlalu menitik beratkan pada dimensi input (Input based). Kelemahan ini kemudian coba dikoreksi dengan pendekatan output based yang – sesuai namanya– lebih melihat pada seberapa besar keluaran yang bisa dihasilkan. Koreksi lebih jauh berupa performance based yang menekankan pada kinerja, dan bukan terbatas hanya pada keluaran (Output), melainkan juga (Outcome) hasil dan dampak (impact). Dikaitkan dengan struktur manajemen pemerintahan, komponan evaluasi dapat dilakukan untuk mengukur kinerja pembangunan melalui indikator input, output, outcome atau impact. Telah diketahui bahwa evaluasi merupakan alat bantu pemerintah dalam menyusun, menetapkan dan mengelola kebijakan. Dalam konteks dokumen perencanaan yaitu, RKP dan RPJMN, evaluasi berguna untuk menelusuri, mengukur, dan menganalisa hasil dan capaian pelaksanaan rencana pembangunan yang telah ditetapkan. Artinya, evaluasi perlu dilakukan atas Kebijakan/Prioritas Pembangunan, Fokus Prioritas, Program Pembangunan, atau Kegiatan Prioritas. Analisisnya mencakup berhasil atau tidaknya pelaksanaan pembangunan yang telah direncanaqkan tersebut, termasuk pencapaian target dan sasarannya. Dalam kaitan itu, evaluasi juga perlu dilakukan atas isu-isu pembangunan sektoral yang secara dinamik terus bergulir.

1


1.2

Maksud, Tujuan, dan Ruang Lingkup

Buku Pedoman Evaluasi Kinerja Pembangunan Sektoral (BP-EKPS) seyogyanya dapat menjadi acuan dalam mengevaluasi dokumen RPJMN dan RKP dan isu pembangunan terpilih. Dengan demikian, dalam rentang jangka menengah, BPEKPS digunakan baik untuk evaluasi tahunan, tengah tahunan, maupun lima tahunan. Diharapkan BP-EKPS bermanfaat sebagai salah satu bahan pertimbangan dan rujukan ketika menyusun perencanaan dan khususnya ketika melakukan evaluasi atas pelaksanaan kebijakan, prioritas dan fokus prioritas/program beserta target/sasaran maupun indikator kinerja terkait. Disadari bahwa pelaksanaan evaluasi juga merupakan bentuk pertanggungjawaban atau akuntabilitas atas penggunaan dana publik. Dengan demikian, paling tidak, BP-EKPS dapat memberi jawaban atas pertanyaan yang berkaitan dengan evaluasi, seperti: (i) Apakah strategi yang dilakukan sudah benar? (Berkaitan dengan pemilihan strategi evaluasi), (ii) Apakah cara dan metode yang dipilih sudah tepat? (Berkaitan dengan operasional Prioritas dan Fokus Prioritas untuk analisis hasil evaluasi) (iii) Apakah ada cara yang lebih baik? (Berkaitan dengan pembelajaran tentang evaluasi). Sebagai acuan kerja ketika melakukan evaluasi pembangunan sektoral, secara teknis BP-EKPS diharapkan berguna ketika: 1. Melakukan kompilasi beberapa teknik evaluasi 2. Melakukan uji coba teknik evaluasi 3. Melakukan identifikasi teknik-teknik evaluasi 4. Mendiskusikan dan menyepakati teknik-teknik evaluasi 5. Menyusun kerangka khusus evaluasi pembangunan sektoral Secara umum ruang lingkup pembahasan BP-EKPS adalah: a. Dasar pertimbangan hukum/legal dan praktis/umum pelaksanaan b. Macam evaluasi yang perlu dilakukan atas dokumen perencanaan yang ada (RPJMN dan RKP) c. Tahapan yang perlu dilakukan ketika melakukan evaluasi d. Tindak lanjut atas hasil evaluasi

2


1.3

Landasan Hukum

Dalam Peraturan Menteri Negara PPN/Kepala Bappenas No. PER.005/M.PPN/10/2007 tentang Organisasi dan Tata Kerja Kementerian Negara Perencanaan Pembangunan Nasional/Badan Perencanaan Pembangunan Nasional, Kedeputian Evaluasi Kinerja Pembangunan diberi wewenang dan tanggung jawab untuk melaksanakan evaluasi dan terus berupaya meningkatkan kapasitas dan kualitas pelaksanaan evaluasinya. Dari perspektif legal formal hal ini didasari oleh UU Nomor 25 Tahun 2004 Tentang Sistem Perencanaan Pembangunan Nasional yang menyatakan bahwa Bappenas bertangggung jawab untuk melaksanakan evaluasi atas rencana pembangunan yang disusunnya, baik itu RPJM maupun RKP. Ketentuan mengenai keharusan melakukan evaluasi pembangunan atas pelaksanaan RKP, dinyatakan dalam Peraturan Pemerintah Nomor 39 Tahun 2006 tentang Tata Cara Pengendalian dan Evaluasi Pelaksanaan Rencana Pembangunan. Dalam Pasal 14 dan 15 antara lain menyatakan bahwa Kemeneg PPN/ Bappenas melakukan evaluasi pelaksanaan RKP sebagai dasar bagi penyusunan rancangan RKP periode berikutnya dan pelaksanaan RPJMN untuk menilai pencapaian pelaksanaan strategi pembangunan. Buku Pedoman Evaluasi Kinerja Pembangunan Sektoral ini disusun dan dilandasi oleh berbagai peraturan perundangan yang berlaku, khususnya : 1. Undang-Undang Nomor 17 Tahun 2003 tentang Keuangan Negara, Pasal 14 dan 19 yang menjelaskan tentang reformasi pelaksanaan dan pengelolaan anggaran pembangunan yang berbasis informasi kinerja atau Performance Based Budgeting. Dalam rangka penyusunan APBN, menteri/pimpinan lembaga selaku pengguna anggaran/pengguna barang menyusun rencana kerja dan anggaran kementerian Negara/lembaga tahun berikutnya berdasarkan prestasi kerja yang akan dicapai. Demikian halnya dengan penyusunan APBD, kepala SKPD selaku pengguna anggaran menyusun rencana kerja dan anggaran SKPD tahun berikutnya berdasarkan prestasi kerja yang akan dicapai. 2. Undang-Undang Nomor 1 Tahun 2004 tentang Perbendaharaan Negara yang mengatur sistem penganggaran negara. Sesuai peraturan perundang-undangan tersebut, menteri/pimpinan lembaga menyusun dokumen pelaksanaan anggaran untuk kementerian negara/lembaga yang dipimpinnya dengan menguraikan sasaran yang hendak dicapai, fungsi, program, dan rincian kegiatan, anggaran yang 3


3.

4.

1.4.

disediakan untuk mencapai sasaran tersebut, dan rencana penarikan dana tiap-tiap satuan kerja, serta pendapatan yang diperkirakan. Undang-Undang Nomor 25 Tahun 2004 tentang Sistem Perencanaan Pembangunan Nasional, yang telah mengamanatkan bahwa pimpinan kementerian/lembaga/kepala SKPD harus melakukan evaluasi kinerja pelaksanaan rencana pembangunan periode sebelumnya. Evaluasi kinerja pelaksanaan rencana pembangunan adalah kegiatan penilaian kinerja yang diukur dengan efisiensi, efektifitas dan kemanfaatan program serta keberlanjutan pembangunan. Evaluasi pelaksanaan rencana pembangunan dilaksanakan terhadap keluaran kegiatan yang dapat berupa barang dan jasa dan terhadap hasil (outcomes) program pembangunan yang berupa dampak dan manfaat. Hasil evaluasi pelaksanaan rencana pembangunan akan menjadi bahan bagi penyusunan rencana pembangunan Nasional/Daerah untuk periode berikutnya. Peraturan Pemerintah No. 39 Tahun 2006 tentang Tata Cara Pengendalian dan Evaluasi Pelaksanaan Rencana Pembangunan, menjelaskan tentang lingkup pengukuran kinerja pelaksanaan rencana pembangunan melalui kegiatan monitoring dan evaluasi kinerja pembangunan. Pelaksanaan kegiatan pemantauan (monitoring) dilakukan oleh Pimpinan Kementerian/Lembaga, Gubernur, Bupati/Walikota, Kepala SKPD Provinsi, Kepala SKPD Kab/Kota. Kegiatan ini dilakukan terhadap perkembangan realisasi penyerapan dana, realisasi pencapaian target keluaran (output) dan kendala yang dihadapi. Evaluasi pelaksanaan rencana pembangunan dilakukan terhadap pelaksanaan Renja K/L dan RKP, RPJMN dan Renstra K/L berdasar sumber daya yang digunakan, indikator dan sasaran kinerja keluaran untuk kegiatan, dan atau indikator dan sasaran kinerja hasil untuk program. Sistematika Pedoman

Buku Pedoman Evaluasi Kinerja Pembangunan Sektoral (BP-EKPS) terdiri dari 5 (lima) bagian atau Bab, yaitu: 1. Bab I Pendahuluan. Menjelaskan latar belakang, maksud, tujuan dan ruang lingkup serta landasan hukum BP-EKPS. 2. Bab II Konsep Evaluasi Kinerja. Menguraikan tentang siklus perencanaan, tujuan dan manfaat evaluasi, komponen kunci evaluasi yang baik, kriteria, jenis, metodologi dan tahap evaluasi. Selain itu juga diuraikan mengenai perbedaan antara monitoring dan evaluasi.

4


3. 4.

5.

Bab III Penyusunan Indikator Kinerja. Menguraikan tentang definisi, persyaratan, jenis dan tahapan penyusunan indikator kinerja. Bab IV Evaluasi Pembangunan Sektoral. Menguraikan tentang struktur kerangka perencanaan tahapan evaluasi pembangunan sektoral, fokus dan tahapan pelaksanaan evaluasi pembangunan sektoral, dan macam evaluasi pembangunan sektoral. Bab V merupakan Bab Penutup yang merangkum seluruh materi bahasan dan tindaklanjut yang diperlukan untuk memantapkan pelaksanaan evaluasi kinerja pembangunan sektoral.

----------

5


BAB II DEFINISI DAN KONSEP EVALUASI PEMBANGUNAN SEKTORAL

2.1.

Siklus Perencanaan

Evaluasi adalah satu mata rantai dari siklus perencanaan yang melibatkan empat tahapan pokok, yang secara ringkas ditunjukkan dalam Gambar 2.1.: (i) Formulasi kebijakan (Plan) (ii) Implementasi (Do) (iii) Evaluasi terhadap implementasi (Check) (iv) Umpan balik terhadap implementasi kebijakan dan evaluasi terhadap kebijakan baru (Act) Gambar 2.1. Siklus Perencanaan

PLAN Formulasi Kebijakan

ACT

DO

Feedback terhadap Implementasi Kebijakan, Evaluasi terhadap Kebijakan Baru

Implementasi

CHECK Evaluasi terhadap Implementasi (ex-ante, mid-term, ex-post, audit, other studies

Sumber: qualitypress.asq.org

6


2.2.

Tujuan dan Manfaat Evaluasi

Evaluasi ditujukan untuk menganalisa dampak pembangunan yang dilakukan oleh para pelaku pembangunan dan dinikmati oleh penerima manfaat pembangunan. Jadi evaluasi sama sekali berbeda dengan berbagai jenis penilaian kebijakan apalagi program pengawasan. Seyogyanya, evaluasi tidak hanya terdiri dari analisa kuantitatif atas dampak dari pelaksanaan kebijakan, tapi juga mencakup penjelasan mengenai ketercapaian atau ketidaktercapaian, serta uraian mengenai implikasi kebijakan yang mungkin terjadi. Idealnya, suatu kegiatan evaluasi pembangunan sektoral mencakup komponen berikut:  Studi proses, dimana operasi dari kinerja pembangunan sektoral dan prosesnya dikaji  Studi dampak, inti teknis capaian evaluasi pembangunan sektoral  Penilaian biaya-manfaat, yang menunjukkan efektifitas pelaksanaan pembangunan sektoral. Adapun manfaat pelaksanaan evaluasi adalah:  Memberikan umpan balik terhadap pelaksanaan pembangunan sektoral  Bentuk akuntabilitas pelaksanaan pembangunan sektoral karena dibiayai oleh dana publik  Membantu pemangku kepentingan untuk belajar mendalami dan menghayati kebijakan dan kegiatan pembangunan sektoral. 2.3.

Komponen Kunci Evaluasi Yang Baik

Di bawah ini disajikan dua kelompok kriteria evaluasi yang baik. Untuk hasil yang bermanfaat 7 (tujuh) kriteria konsep evaluasi harus terpenuhi. Di samping itu, 6 (enam) prinsip perlu diperhatikan untuk memantapkan berbagai aspek pelaksanaan evaluasi, sehingga evaluasi yang dilakukan akan berkualitas. Untuk menghasilkan manfaat yang maksimal, suatu proses evaluasi harus memiliki kriteria konsep sebagai berikut: 1. Tujuan yang jelas. Tujuan evaluasi ditentukan lebih awal, sederhana dan mudah diukur. 2. Metodologi yang tepat. Penggunaan metodologi disesuaikan dengan maksud dan tujuan pelaksanaan evaluasi

7


3.

4. 5.

6. 7.

Kehandalan (Reliable). Kehandalan dari suatu proses evaluasi dinilai dari perolehan hasil yang setara untuk berbagai kondisi yang dapat diperbandingkan. Dengan demikian, faktor-faktor subyektifitas (seperti karakteristik individu para reviewer, penafsiran dan penilaian yang tidak berdasar, dsb) dalam pelaksanaan evaluasi dapat dihilangkan atau paling tidak diminalisir. Transparan. Transparansi evaluasi bergantung pada sejauh mana pihak yang terlibat memahami dengan baik proses pelaksanaannya. Ini termasuk pemahaman mengenai tujuan, alasan maupun hasil yang diharapkan. Dapat dipercaya (Credible). Tingkat kredibilitas suatu proses evaluasi sangat bergantung pada tingkat validitas hasil proses evaluasi tersebut. Oleh karena itu, kecermatan dalam mengukur capaian sesuai sasaran dan indikator yang telah ditetapkan, mengukur kewajaran dalam budget untuk pembiayaan implementasi kegiatan pembangunan, serta keterbukaan ketika menyelenggarakan evaluasi merupakan faktor penting dan perlu diperhatikan. Tingkat komprehensifitas (Comprehensiveness). Tingkat Komprehensif dari suatu proses evaluasi sangat bergantung kepada kesesuaian jumlah obyek yang diamati dan kesesuaian jumlah sampel responden. Efektifitas (Effectiveness). Efektivitas proses evaluasi yang berkualitas bergantung pada sejauh mana dampak dari proses tersebut menyebabkan perubahan dan perbaikan yang berkesinambungan (Continuous improvement), termasuk identifikasi peluang perubahan dan ketersediaan informasi.

Selain ketujuh konsep di atas, aspek yang menjamin kemantapan pelaksanaan suatu proses evaluasi juga harus diperhatikan. Enam prinsip pada Tabel 2.1. merupakan komponen kunci kualitas kemantapan itu. Dengan demikian selain secara konsep mantap, kualitas evaluasi juga terjaga, relevan dengan substansi yang dievaluasi, dan dapat diperhitungkan keberlanjutannya.

8


Tabel 2.1. Prinsip Evaluasi Prinsip Evaluasi Relevansi (Relevance) Keefektifan (Effectiveness) Efisiensi (Efficiency) Hasil (Outcomes) Dampak (Impact) Keberlanjutan (Sustainability)

Penjelasan Apakah tujuan Prioritas atau Fokus Prioritas/Program pembangunan mendukung tujuan kebijakan? Apakah tujuan Prioritas atau Fokus Prioritas/Program pembangunan dapat tercapai? Apakah tujuan Prioritas atau Fokus Prioritas/Program pembangunan tercapai dengan biaya paling rendah? Apakah indikator-indikator tujuan Prioritas atau Fokus Prioritas/ Program pembangunan semakin membaik? Apakah indikator-indikator tujuan Kebijakan/Priopritas atau Fokus Prioritas/Program membaik? Apakah perbaikan indikator-indikator kinerja terus berlanjut setelah program pembangunan selesai? Apakah hasl evaluasi dapat digunakan sebagai bahan pertimbangan dalam menentukan tindak lanjut?

Sumber: Bappenas 2004, Buku Pedoman Penyusunan Indikator, Pemantauan dan Evaluasi Anggaran Berbasis Kinerja

2.4.

Perbedaan Monitoring dan Evaluasi

Fokus pembicaraan dalam BP-EPS adalah evaluasi. Namun pada kenyataannya, kerancuan pengertian Monitoring dan Evaluasi sering terjadi. Keduanya sering dianggap sama persis, padahal dari sudut tujuan, manfaat, pelaksanaan, dan hasil yang diperoleh sudah pasti akan berbeda. Tabel 2.2 menyandingkan pengertian umum tentang perbedaan monitoring dan evaluasi.

9


Tabel 2.2. Perbedaan antara Monitoring dan Evaluasi Monitoring Tujuan

Evaluasi

Menilai kemajuan pelaksanaan program/kegiatan terhadap sasaran yang ingin dicapai

Menganalisis mengapa sasaran dapat tercapai atau tidak

Pertanyaan

– Sampai dimanakah tingkat kemajuan yang dicapai terhadap sasaran yang ingin dicapai ?

Lingkup Metodologi

Komprehensif – Menerjemahkan sasaran kepada indikator kinerja dan target – Mengukur kinerja dengan mengaitkan program/kegiatan, sumber daya, target, tanggung jawab, dan hasil – Apakah penyimpangan tsb dapat dibenarkan? Dilaksanakan terus-menerus atau secara berkala selama program/kegiatan berjalan (kontinyu) – Laporan kemajuan – Klarifikasi tujuan pelaksanaan program/kegiatan – Peringatan dini terhadap permasalahan yang terjadi – Alat kontrol – Akuntabilitas penyampaian input program/kegiatan

– Apakah sasaran program/kegiatan tercapai? – Mengapa? – Bagaimana relevansi, keberlanjutan dan efektifitas program/kegiatan? Selektif Menilai faktor-faktor spesifik yang mempengaruhi hasil pelaksanaan kegiatan

Pelaksanaan

Manfaat

Sumber: Diadaptasi dari Castro (2007)

10

Umumnya dilaksanakan pada pertengahan dan akhir program/kegiatan – Memadukan hasil pembelajaran – Memberikan gambaran alternative strategis – Akuntabilitas penggunaan sumberdaya – Pembelajaran tentang hal-hal yang dapat dilakukan lebih baik di masa yang akan datang


Selain itu, sebagai referensi, berikutnya diuraikan definisi pengendalian, pemantauan/monitoring dan evaluasi; sesuai PP Nomor 39 Tahun 2006 tentang Tata Cara Pengendalian Dan Evaluasi Pelaksanaan Perencanaan Pembangunan.  Pengendalian: Serangkaian kegiatan manajemen yang dimaksud untuk menjamin agar suatu program/kegiatan yang dilaksanakan sesuai dengan rencana yang ditetapkan  Pemantauan/monitoring: Kegiatan mengamati perkembangan pelaksanaan rencana pembangunan, mengidentifikasi serta mengantisipasi permasalahan yang timbul dan/atau akan timbul untuk dapat diambil tindakan sedini mungkin.  Evaluasi: Rangkaian kegiatan membandingkan realisasi masukan (input), keluaran (output), dan hasil (outcome) terhadap rencana dan standar. 2.5.

Jenis Evaluasi

1.

Menurut waktu pelaksanaan, terdapat 2 (dua) jenis yaitu: a. Evaluasi formatif: Dilaksanakan pada waktu pelaksanaan, Prioritas, Fokus Prioritas/Program Prioritas atau Kegiatan Prioritas, dengan tujuan memperbaiki pelaksanaannya. Temuan utama berupa masalahmasalah dalam pelaksanaannya. b. Evaluasi sumatif: Dilaksanakan pada saat Prioritas, Fokus Prioritas/Program Prioritas atau Kegiatan Prioritas sudah selesai diselenggarakan, dan bertujuan untuk menilai hasil pelaksanaan. Temuan utama berupa capaian-capaian dari pelaksanaan Prioritas, Fokus Prioritas/Program Prioritas atau Kegiatan Prioritas.

2.

Menurut tujuan, dapat dilakukan 4 (empat) jenis evaluasi yaitu: a. Evaluasi Formulasi: Mengkaji apakah formulasi desain Kebijakan atau Program yang dilakukan pada saat penyusunan awal telah menggunakan metode yang benar (Misal: Logic Model) b. Evaluasi Proses: Mengkaji apakah pelaksanaan Fokus Prioritas/Program atau Kegiatan Prioritas berjalan kearah pencapaian sasaran. c. Evaluasi Biaya-Manfaat/Efektifitas (Cost-Benefit): Mengkaji apakah biaya Prioritas, Fokus Prioritas/Program atau Kegiatan Prioritas efektif untuk mencapai capaian atau sasaran yang sudah ditetapkan d. Evaluasi Dampak: Mengkaji apakah Prioritas, Fokus Prioritas/Program atau Kegiatan Prioritas memberikan pengaruh/manfaat yg telah

11


ditetapkan terhadap penerima manfaat (Perorangan, Rumah Tangga, atau Masyarakat umum) 2.6.

Metodologi Evaluasi

1.

Metode Kuantitatif  Desain eksperimental, yaitu alokasi intervensi secara acak (Random)  Desain kuasi-eksperimental, dengan menggunakan berbagai metode ekonometrik seperti pencocokan (Matching), selisih ganda (Double difference), variabel instrumen (Instrumental variable), dll.  Analisis kontra fakta (Counterfactual analysis) Metode Kualitatif, biasanya berfokus pada pemahaman proses. Beberapa metode kualitatif antara lain termasuk: Wawancara mendalam (Indepth interview), Diskusi kelompok terarah (FGD), Pengamatan (Observation, Sejarah hidup (Life history), Ranking kesejahteraan (Wealth ranking), dan Pemetaan masyarakat (Community mapping)

2.

2.7.

Tahap Evaluasi

Evaluasi dapat dilakukan pada tahap perencanaan, tahap pelaksanaan, maupun pada tahap paska pelaksanaan. Memperhatikan siklus perencanaan, deskripsi tahap evaluasi dan contohnya dapat dilakukan seperti di bawah ini: Tabel 2.3. Tahapan Pelaksanaan Evaluasi Berdasarkan Siklus Perencanaan Tahap Perencanaan (Ex-ante)

Tahap Pelaksanaan (On-going)

 Dilaksanakan sebelum  Dilakukan pada saat penetapan rencana pelaksanaan rencana pembangunan pembangunan  Untuk memilih dan  Untuk menentukan tingkat menentukan skala prioritas kemajuan pelaksanan dari berbagai alternatif dan rencana dibandingkan kemungkinan cara dengan rencana yang mencapai tujuan yang telah ditentukan telah dirumuskan sebelumnya sebelumnya

12

Tahap Pasca Pelaksanaan (Ex-post)  Dilaksanakan setelah pelaksanaan rencana berakhir  Untuk mereview apakah pencapaian (Keluaran/hasil/dampak) program mampu mengatasi masalah pembangunan yang ingin dipecahkan  Untuk menilai efisiensi


Tahap Perencanaan (Ex-ante)

Tahap Pelaksanaan (On-going)

Tahap Pasca Pelaksanaan (Ex-post) (Keluaran dan hasil dibandingkan masukan), efektivitas (Hasil dan dampak terhadap sasaran), ataupun manfaat (Dampak terhadap kebutuhan) dari suatu program

Sumber: PP No. 39 Tahun 2006 tentang Tata Cara Pengendalian dan Evaluasi Pelaksanaan

Perencanaan Pembangunan.

PENTING: Perlu menjadi perhatian, bahwa seperti telah diuraikan sejak awal, titik berat BPEPS lebih mencakup evaluasi atas pelaksanaan (On-going) dan Tahap Paska Pelaksanaan (ex-Post), daripada pada tahap awal (ex-Ante). 2.8.

Proses Pelaksanaan Evaluasi

Dalam pelaksanaannya evaluasi dilakukan dengan memperhatikan 7 (Tujuh) aspek: 1) Menentukan tujuan evaluasi. Untuk apa evaluasi dilakukan, apakah untuk mengetahui dampak kebijakan atau Prioritas Pembangunan? Ataukah untuk mengetahui capaian pelaksanaan suatu program pembangunan. 2) Menyusun desain evaluasi yang kredibel. Setelah menentukan tujuan, ditetapkan desain evaluasi yang akan diselenggarakan, apakah melalui suatu cara pengumpulan data yang makro atau mikro sifatnya, ataukah dengan telaah dokumen yang ada, ataukah dengan membandingkan parameter dan variabel yang terkait saja. 3) Mendiskusikan rencana evaluasi. Perlu dibicarakan dan disepakati tahapan pelaksanaan evaluasi, sehubungan dengan time frame yang tersedia, tahap yang harus dilalui, metode yang digunakan, sumber data, pembiayaan, tenaga ahli dan desiminasi. 4) Menentukan pelaku evaluasi. Memastikan siapa saja yang terlibat dan bertanggungjawab atas masing-masing tahapan pelaksanaan evaluasi. 5) Melaksanakan evaluasi. Pelaksanaan evaluasi dilakukan dalam waktu tertentu, dengan kontrol yang rigid. Analisis hasil didiskusikan dan dikritisi sehingga hasilnya dapat dipertanggungjawabkan.

13


6)

7)

Mendesiminasikan hasil evaluasi. Sejak awal sudah diketahui bahwa hasil evaluasi akan digunakan untuk siapa dan untuk apa. Karenanya, hasil evaluasi dapat ssegera disebarluaskan sebagai bentuk bukti akuntabilitas Prioritas, Fokus Prioritas/Program atau Kegiatan yang dilakukan dalam pembangunan. Menggunakan hasil evaluasi. Hal ini juga perlu dibicarakan sejak awal, sehingga hasil evaluasi dapat segera dimanfaatkan untuk berbagai keperluan dan kepentingan, seperti misalnya perencanaan tahun berikutnya, atau alokasi dana untuk tahun anggaran berikutnya. Gambar 2.2. Bagan Proses Pelaksanaan Evaluasi Proses Pelaksanaan Evaluasi









1. Menentuka n Tujuan Evaluasi Perbaikan desain Prioritas, Fokus Prioritas/ Prioritas, atau Kegiatan Prioritas, sasaran, sukses kriteria, dan indikator Pengukuran dampak program pembangun an Alat Bantu dalam penentuan alokasi Budget tahunan/AP BN Alat Bantu dalam menyusun RKP





 



2. Menyusun Desain Evaluasi yang Kredibel Tentukan indikator , tolok ukur/ target, dan sasarann Tentukan metode analisis dan kebutuhan data Tentukan jadwal pelaksanaan Rancang alur komunikasi dan pengadaan data Rancang forum pembahasan rencana, pelaksanaan, metode analisa dan hasil evaluasi

  



3. Mendiskusik an Rencana Evaluasi Penyandang 4. dana program Menentukan Pelaksana Pelaku evaluasi Evaluasi Keterlibatan  Internal 5. ahli evaluasi (Pertentangan Melaksanaka yang kepentingan, n Evaluasi kompeten kesamaan  Pengawasan Desain keperluan, kualitas data, keluaran/hasil atau metode dan keterkaitan analisis, dan desiminasi saja) hasil analisis  Eksternal (Keahlian, objektifitas,& pengalaman)

14

6. Mendesimina sikan Hasil Evaluasi  Bahasa yang 7. sederhana Menggunaka dan mudah n Hasil dimengerti Evaluasi  Fokus pada  Bahan dasar temuan utama perubahan  Adaptif atau terhadap perbaikan umpan balik  Pembelajaran organisasi (Bappenas dan K/L)


BAB III PENYUSUNAN INDIKATOR KINERJA 3.1.

Definisi Indikator Kinerja

Indikator adalah suatu alat ukur untuk menggambarkan tingkatan capaian suatu sasaran atau target yang telah ditetapkan ketika melakukan perencanaan awal, dan dapat merupakan variabel kuantitatif atau kualitatif. Indikator kinerja (Performance indicators) merupakan ukuran mengenai masukan, keluaran, hasil dan dampak dari kegiatan-kegiatan pemerintah. Indikator disusun sesuai tingkatannya, dalam arti mengukur kinerja pemerintah terkait dengan sasaran pembangunan nasional atau rencana pembangunan nasional, atau mengukur kegiatan dan keluaran kementerian dan badan-badan pemerintah. Indikator berguna untuk menetapkan target kinerja, untuk menilai kemajuan pencapaian target tersebut, serta untuk membandingkan kinerja dari organisasiorganisasi yang berbeda. 3.2.

Kriteria Indikator Kinerja

Sesuai dengan Buku Pedoman Penyusunan RPJMN 2010-2014, penentuan indikator kinerja harus memperhatikan kriteria SMART, yaitu: 1. Spesifik (Specific): Indikator yang ditetapkan menyebutkan dengan jelas data dan penghitungan untuk mendapatkannya. 2. Dapat diukur (Measurable): Indikator yang ditetapkan harus merepresentasikan informasi dan dapat terukur. 3. Bermanfaat (Attributable): Indikator yang ditetapkan harus bermanfaat untuk kepentingan pengambilan kebijakan. 4. Dapat dipercaya (Reliable): Indikator yang ditentukan harus dapat didukung oleh pengumpulan data yang baik, benar dan teliti. 5. Tepat Waktu (Timely): Indikator yang ditentukan harus dapat didukung oleh pengumpulan data dan pengolahan data serta pengemasan informasi yang waktunya sesuai dengan saat pengambilan keputusan yang dilakukan.

15


3.3.

Jenis Indikator Kinerja

Indikator kinerja dapat berupa indikator yang bersifat kuantitatif maupun kualitatif. Indikator yang bersifat kuantitatif dapat berupa angka (Modus, mean atau median) atau berupa persentase. Indikator outcome seringkali ditunjukkan dalam bentuk angka maupun persen (Sebagai proporsi maupun tingkat). Penilaian terhadap signifikansi outcome biasanya membutuhkan data baik dalam angka maupun persen. Indikator yang bersifat kualitatif menyatakan penilaian yang bersifat kualitatif. Contoh indikator kualitatif, berupa pengertian tentang perubahan yang terjadi, misalnya pada:  Proses kelembagaan  Sikap  Kepercayaan  Motivasi  Tingkah laku individu Indikator kualitatif biasanya ditentukan untuk:  Mengukur persepsi, misalnya: Tingkat empowerment yang dirasakan oleh pegawai pemerintah daerah dalam melaksanakan pekerjaannya  Menggambarkan tingkah laku, misalnya: Tingkat penguasaan dari ketrampilan yang baru dipelajari Meskipun peran data kualitatif cukup penting, namun dibutuhkan waktu cukup lama untuk mengumpulkan, mengukur dan menyaringnya terutama pada tahap permulaan. Selain itu, indikator kualitatif sulit untuk diverifikasi karena indikator tersebut sering melibatkan pertimbangan subyektif tertentu.

16


Gambar 3.1. Struktur Kebijakan dan Kinerja Pembangunan RPJMN 2010-2014

Sumber: Bappenas, 2009. Buku Pedoman Penyusunan RPJMN 2010-2014, hal. 8.

Pengukuran kinerja merupakan suatu hirarki yang disusun berdasarkan kerangka logika. Tingkatan ukuran kinerja dibedakan menjadi 4 (empat). Dimulai dari level teratas, ukuran tersebut dibedakan menjadi Indikator Dampak, Indikator Hasil, Indikator Keluaran, dan Indikator Masukan (Lihat Gambar 3.1): 1.

Indikator Dampak (Impact). Indikator ini menunjukkan pengaruh, baik positif maupun negatif, yang ditimbulkan akibat pelaksanaan kebijakan/program/ kegiatan dan asumsi yang telah digunakan.

2.

Indikator Hasil (Outcome). Indikator ini digunakan untuk mengukur capaian dari berbagai kegiatan dalam suatu program yang telah selesai dilaksanakan. Indikator ini mencerminkan berfungsinya keluaran berbagai kegiatan pada jangka menengah.

17


3.

Indikator Keluaran (Output). Indikator ini digunakan untuk mengukur keluaran yang langsung dihasilkan dari suatu pelaksanaan kegiatan, baik berupa fisik maupun non fisik.

4.

Indikator Masukan (Input). Indikator ini mengukur jumlah sumber daya yang dipergunakan seperti anggaran (dana), SDM, peralatan, material, dan masukan lain, yang dipergunakan untuk melaksanakan kegiatan.

3.4.

Tahapan Penyusunan Indikator Kinerja

Proses penentuan indikator seyogyanya dilakukan secara bersamaan pada saat proses penyusunan dokumen perencanaan. Kemudian, indikator harus merupakan kesepakatan dan ditetapkan bersamaan dalam proses perencanaan. Secara konsisten indikator yang telah ditetapkan itu digunakan sebagai alat ukur ketika melakukan evaluasi atas perencanaan yang telah disusun tersebut. Tahapan penyusunan indikator kinerja dengan memperhatikan Struktur Kebijakan (Policy Structure) dan Kinerja Pembangunan RPJMN 2010-2014, diuraikan pada beberapa Seksi di bawah ini. 3.4.1. Memahami Alur Proses Perencanaan RPJMN Alur proses perencanaan RPJMN sebagaimana disajikan dalam Gambar 3.1. dapat dijelaskan sebagai berikut: a.

Mengidentifikasi permasalahan pokok nasional yang akan diselesaikan pada masa yang akan datang - Identifikasi permasalahan pokok nasional - Rumuskan permasalahan nasional - Sepakati rumusan dan kemungkinan variabel/parameter untuk indikator dampak - Sepakati dan tentukan indikator dampak Kenali dan kemudian rumuskan permasalahan nasional yang akan diatasi. Ini merupakan Prioritas pembangunan. Tentukan indikator kinerja untuk level dampak. Sebagi ilustrasi, jika permasalahan utama adalah rendahnya tingkat kesejahteraan petani, dengan baseline data pada tahun 2007 penghasilan rata-rata petani kurang dari USD 2 perhari, maka indikator dari prioritas yang akan dilaksanakan (Indikator dampak) adalah penghasilan rata-rata petani lebih dari USD 2 perhari. 18


b.

Menyusun impact atau ultimate outcomes yang diharapkan serta success criteria dan indikator kinerjanya Siapkan kerangka berpikir logis (Logic Model, uraian mengenai hal ini bisa dilihat dalam buku Pedoman Penyusunan RPJMN 2010-2014.) Berdasarkan butir 1, maka pada level impact dapat diisi kriteria sukses beserta indikator dampak. Indikator ini juga bisa disebut sebagai ultimate outcome. Setelah permasalahan utama diidentifikasi, sesuai dengan kerangka berpikir logis (Logic model) maka proses selanjutnya diawali dari penyusunan impact atau dapat juga disebut sebagai ultimate outcome. Dilanjutkan dengan penyusunan outcome, kemudian turun ke level di bawahnya, demikian seterusnya. Dalam setiap level kinerja, perlu dirumuskan success criteria berikut dengan indikator kinerjanya. Penyusunan outcome merupakan hal yang sangat penting bagi keberhasilan penyusunan perencanaan yang dapat dievaluasi.

c.

Menyusun capaian yang diharapkan pada level berikutnya (outcome dan output) serta indikator kinerjanya -

Seperti level sebelumnya, pada level outcome, tentukan beberapa kriteria sukses berikut indikator outcome Outcome tersebut dipecah dalam susunan (Satu atau lebih) Kegiatan Prioritas Tentukan sukses kriteria Kegiatan Prioritas beserta indikator kinerja untuk level output

Langkah selanjutnya setelah penyusunan di level outcome selesai dilakukan, maka program atau fokus prioritas di-breakdown ke dalam kegiatan-kegiatan berikut indikator output yang dikehendaki untuk selanjutnya dijadikan dasar dalam pengalokasian sumber daya yang tersedia (Diukur dengan indikator input). 3.4.2. Mendefinisikan Indikator Pendefinisian indikator dilakukan dengan tujuan memberikan batasan pada suatu indikator yang akan dipakai sebagai ukuran dari suatu materi perencanaan. Ketika mendefinisikan indikator, perhatikan aspek berikut: (1) Hindari pernyataan umum (2) Menggambarkan perubahan yang diinginkan 19


(3) (4) (5)

Jelas menggambarkan cakupan yang berubah Identifikasi target perubahan secara jelas Identifikasi pengaruh perubahan yang terjadi

3.4.3. Menyusun Daftar Indikator Berdasarkan alur proses perencanaan RPJMN, sejumlah daftar indikator dapat dengan mudah disusun dan ditentukan serta berada pada level kinerja tertentu. Namun sering tidak diperhatikan, bahwa indikator yang digunakan ternyata hanya baik dipakai sebagai indikator output saja atau indikator outcome saja, dan samasekali tidak tepat untuk sekaligus digunakan sebagai indikator output dan indikator outcome. Karenanya, penentuan indikator menjadi sangat penting dan karenanya harus merupakan kesepakatan berbagai pemangku kepentingan. Pada saat penyusunan daftar indikator beberapa hal yang perlu diperhatikan: 1. 2. 3. 4. 5. 6.

Langsung. Indikator yang disusun harus sedekat mungkin terkait dengan sasaran yang ingin dicapai Jelas maksud dan tujuan. Menyatakan hal yang akan diukur Cukup. Indikator harus dapat menjawab pertanyaan yang muncul guna mengukur hasil yang diharapkan Kuantitatif. Sebaiknya indikator yang ditentukan dinyatakan dalam bentuk numerik Praktis. Variabel/parameter yang digunakan sebagai indikator, dapat diperoleh dan dihitung dengan mudah Dapat diandalkan. Pertimbangan terakhir dalam penentuan indikator adalah data yang tersedia merupakan data akurat dan dapat diandalkan dalam penentuan kebijakan.

3.4.4. Menentukan Indikator Pilihan indikator bisa lebih dari satu, namun dalam proses penentuannya, indikator yang mempunyai bobot yang rendah harus dihilangkan. Penentuan indikator dilakukan secara selektif, hanya indikator yang tepat dan mewakili secara langsung sasaran yang akan dicapailah yang dipilih. Pada saat penentuan indikator perlu diperhatikan dimensi yang melekat pada data yang dipakai sebagai indikator. Apakah satuannya, referensi waktunya, cakupannya (Nasional, daerah perkotaan saja, atau kabupaten), ketersediannya, dan keberlangsungannya. Hendaknya dipilih dan ditentukan indikator yang dapat terjaga 20


keberadaannya hingga periodesasi perencanaan selesai (Jangka menengah atau 5 tahun, misalnya). 3.4.5. Validasi indikator Berdasarkan daftar indikator yang telah disusun tersebut, selanjutnya dilakukan penilaian terhadap indikator-indikator yang telah ada. Penilaian terhadap suatu indikator dapat dilakukan melalui beberapa cara pengumpulan data, termasuk melalui FGD, Mikro studi, Case study, Survei skala kecil maupun besar, atau Sensus.

----------

21


BAB IV EVALUASI PEMBANGUNAN SEKTORAL 4.1.

Struktur Kerangka Perencanaan Tahapan Evaluasi Pembangunan Sektoral

Memperhatikan Gambar 3.1. di atas, dan berdasarkan kerangka perencanaan kebijakan (Policy planning) yang menggambarkan struktur dan alur perencanaan dari RPJMN, RKP sampai dengan Renstra (Gambar 4.1.), maka kerangka perencanaan atas dokumen RPJMN dan RKP memiliki struktur yang sama, yaitu Prioritas, Fokus Prioritas dan Kegiatan Prioritas. Oleh karenanya evaluasi RPJMN dan RKP, lebih dititikberatkan pada limitasi waktu atau periode evaluasi, yaitu tahunan, paruh waktu (2,5 tahunan), dan lima tahunan. Gambar 4.1. Kerangka Perencanaan Kebijakan

Kerangka Perencanaan Kebijakan (Policy Planning) Im pac t

P rioritas

F okus P rioritas

F okus P rioritas K eg

K eg

K eg

K eg

K eg

K eg

E s elon I P rog ram

K eg K eg

K eg

K eg

F okus P rioritas

Im pac t

O utc om e

O utc om e

Im pac t

Im pac t

O utc om e

Im pac t

National Impact/O utcomes O utc om e

O utc om e

O utc om e

O utc om e

O utc om e

K eg

K eg

S truktur Informasi K inerja

K eg

K eg

P rioritas

P rioritas F okus P rioritas

F okus P rioritas

P rog ram

F okus P rioritas K eg

K eg

P rioritas

E s elon I

P rioritas

P rioritas

Im pac t

National Impact/O utcomes

O utc om e

E s elon I P rog ram K eg

K eg

O utput

O utput

O utput

Sumber: Paparan Dirjen Anggaran Depkeu, pada Launching Reformasi Anggaran, Jakarta, 14 Juli 2009.

22


Pelaksanaan evaluasi kinerja pembangunan perlu dilaksanakan dengan sebaikbaiknya. Untuk itu, dalam evaluasi harus mempertimbangkan berbagai aspek, dimulai dari proses penyusununan dokumen perencanaan pembangunan, proses perencanaan, pelaksanaan rencana dan setelah rencana tersebut dilaksanakan. Penerapan evaluasi kinerja pembangunan dibagi ke dalam lima kelompok besar, yaitu Evaluasi Perencanaan Draft RPJMN dan RKP, Evaluasi Pelaksanaan RPJMN dan RKP, Evaluasi Pencapaian RPJMN dan RKP, Evaluasi Efektivitas Desain Program dan Evaluasi Efisiensi Program. 4.2.

Fokus dan Tahapan Pelaksanaan Evaluasi Pembangunan Sektoral

Mengacu kepada Gambar 3.1. dan Gambar 4.1., maka metode evaluasi pembangunan sektoral berdasar periode waktu penyusunan dokumen perencanaan dan pelaksanaan pembangunan, dapat digambarkan dalam Gambar 4.2. di bawah ini: Gambar 4.2. Fokus dan Tahapan Pelaksanaan Evaluasi Kinerja Sektoral Dalam Periode Pembangunan Jangka Menengah Nasional Awal Evaluasi Perencanaan Draft Awal RPJMN - SMART - Logic Model - Struktur RPJMN

2010

2011

2012

2013

2014

Evaluasi Pelaksanaan RKP Pencapaian Sasaran Tahunan RPJMN  Capaian RKP dibandingkan dengan sasaran RPJMN  Rapid Assessment  Gap Analysis

Capaian Evaluasi Dampak  Impact Assessment  Rapid Assessment

Secara umum pengertian Evaluasi Pembangunan Sektoral mencakup proses penilaian secara sistematik mengenai segala sesuatu yang berkaitan dengan pembangunan khususnya yang termasuk kebijakan, program, kegiatan dan isu sektoral. Buku Pedoman ini, disusun sebagai pedoman ketika melakukan evaluasi pembangunan sektoral atas perencanaan pembangunan yang terekam dalam dokumen RPJMN dan RKP. Secara khusus, evaluasi ditujukan hanya untuk tingkat Prioritas/Kebijakan, Fokus Prioritas/Program, atau isu sektoral tertentu.

23


Untuk selanjutnya, dalam Buku ini, evaluasi pembangunan sektoral disebut sebagai evaluasi dan hanya mencakup evaluasi atas Prioritas (Kebijakan) atau Fokus Prioritas/Program RPJMN dan RKP ataupun isu sektoral yang tengah bergulir dan sedang menjadi perhatian. Memperhatikan Gambar 4.1 dan Gambar 4.2 di atas, maka macam evaluasi yang dibicarakan dalam Buku Pedoman ini hanya didasari oleh RKP dan RPJMN. Namun secara tahapan, bisa dibedakan menjadi tiga macam, yaitu evaluasi awal (Warna hijau muda) , evaluasi tahunan (Warna kuning), dan evaluasi dampak (Warna biru muda): 1. Evaluasi Awal (Ex-Ante – Lihat Gambar 4.2 bagian warna hijau muda): Merupakan evaluasi atas formulasi/desain kebijakan atau Fokus Prioritas, evaluasi atas penentuan indikator, evaluasi atas alur pikir ketika memformulasikan kebijakan atau Prioritas Nasional. 2. Evaluasi Pelaksanaan RKP atau evaluasi tahunan (Lihat Gambar 4.2 bagian warna kuning)  Evaluasi pada level Prioritas atau Kebijakan Tahunan  Evaluasi pada level Fokus Prioritas  Evaluasi atas isu sektoral yang diperlukan 3. Evaluasi Capaian RPJMN yang merupakan evaluasi dampak (Lihat Gambar 4.2 bagian warna biru muda):  Evaluasi pada level Prioritas atau Kebijakan Jangka Menengah  Evaluasi pada level Fokus Prioritas  Evaluasi atas isu sektoral atau isu strategis lintas bidang 4.2.1. Evaluasi Awal (Ex-Ante) a.

Definisi dan Batasan Evaluasi awal merupakan evaluasi yang dilaksanakan pada saat proses penyusunan dokumen perencanaan dilakukan. Proses evaluasi terhadap draft dokumen perencanaan RPJMN dan RKP ditekankan pada: 1. Evaluasi alur dokumen perencanaan sebagai upaya untuk menjaga konsistensi antara sasaran yang akan dicapai pada level kegiatan dengan sasaran yang akan dicapai pada level prioritas; 2. Evaluasi indikator kinerja.

b.

Metode Pada tahap evaluasi awal digunakan metode kerangka berpikir logis (Logic Model) terhadap struktur dokumen perencanaan yang akan ditetapkan.

24


Sedangkan untuk evaluasi indikator kinerja digunakan pendekatan evaluasi berdasar kriteria SMART. 4.2.2. Evaluasi Tahunan (Annual Evaluation) a.

Definisi dan batasan Evaluasi tahunan merupakan evaluasi yang dilaksanakan setiap tahun berdasarkan capaian rencana kerja pemerintah (RKP) tahun yang bersangkutan. Rencana Kerja Pemerintah merupakan pelaksanaan tahunan dari dokumen RPJMN. Evaluasi tahunan juga merupakan capaian pelaksanaan RPJMN dari tahun ke tahun, sesuai sasaran RKP. Oleh karena periodenya yang singkat, maka evaluasi tahunan hanya dibatasi pada evaluasi di level pencapaian Fokus Prioritas, yaitu pada tataran outcome dan bersifat jangka pendek. Dengan kata lain, Evaluasi tahunan pelaksanaan RPJMN dan RKP berguna untuk:  Mengetahui capaian tahunan atau yang telah dilaksanakan selama kurun waktu satu tahun anggaran. sehingga dapat digunakan untuk membuat perencanaan kegiatan tahun berikutnya  Membantu dalam penentuan alokasi pendanaan tahun berikutnya Sesuai dengan sifatnya yang singkat, maka evaluasi pelaksanaan dilakukan terhadap kegiatan prioritas/output dan outcome yang bersifat jangka pendek yang dapat memberikan penilaian atas kinerja pemerintah dalam pembanguan sektoral selama satu tahun.

b.

Metode  Gap Analysis Gap analysis adalah suatu metode atau alat yang digunakan untuk mengetahui tingkat kinerja suatu lembaga atau institusi. Dengan kata lain, gap analysis merupakan suatu metode yang digunakan untuk mengetahui kinerja dari suatu sistem yang sedang berjalan dengan sistem standar. Tingkat kinerja ini dapat diketahui dengan membandingkan antara hasil yang dicapai selama pelaksanaan dengan hasil yang diharapkan dalam perencanaan. Sebagai ilustrasi gap analysis dapat digambarkan sebagai berikut.

25


Gambar 4.3. Pengukuran Kinerja

Sumber: http://www.scribd.com/doc/2908253/Modul-7-Gap-Analysis Keterangan: Gap akan bernilai (+) positif bila nilai aktual lebih besar dari nilai target, sebaliknya bernilai (-) negatif apabila nilai target lebih besar dari nilai aktual. Apabila nilai target semakin besar dan nilai aktual semakin kecil maka akan diperoleh gap yang semakin melebar.

Gap analysis atau “analisis kesenjangan” merupakan salah satu langkah yang sangat penting dalam tahapan perencanaan maupun tahapan evaluasi kinerja. Secara singkat, gap analysis bermanfaat untuk: 1. Menilai seberapa besar kesenjangan antara kinerja aktual dengan suatu standar kinerja yang diharapkan. 2. Mengetahui peningkatan kinerja yang diperlukan untuk menutup kesenjangan tersebut, dan 3. Menjadi salah satu dasar pengambilan keputusan terkait prioritas waktu dan biaya yang dibutuhkan untuk memenuhi standar pelayanan yang telah ditetapkan. Langkah-langkah utama yang perlu dilakukan dalam gap analysis: 1. Identifikasi komponen yang akan dianalisis. 2. Menetapkan kurun waktu evaluasi

26


3. Melihat sasaran yang telah ditetapkan dalam perencanaan sesuai dengan waktu yang ditetapkan. 4. Melihat realisasi hasil/capaian komponen sesuai waktu yang ditetapkan. 5. Analisis Data dengan menggunakan statistik deskriptif 6. Tindak lanjut yang diperlukan. Rapid Assessment Penilaian cepat (Rapid assessment) adalah metode yang sering digunakan untuk mengevaluasi kegiatan/program dengan cepat serta biaya yang relatif rendah. Hasil evaluasi ini dapat segera digunakan sebagai bahan pertimbangan dalam perbaikan pelaksanaan kegiatan/program berikutnya. 

Metode yang digunakan meliputi: wawancara, diskusi kelompok fokus (Focus group discussion), observasi langsung dan survei berskala kecil (Mini-surveys). Mengingat rapid assessment dilakukan pada lingkup yang tidak besar, maka hasil penilaian ini seringkali tidak menggambarkan keadaan sebenarnya secara umum. Hal-hal yang perlu diperhatikan dalam pelaksanaan rapid assessment antara lain adalah: (1) Apakah yang akan diteliti/dievaluasi. (2) Sejauhmana informasi tersebut dibutuhkan, (3) Kapan informasi tersebut diperlukan. Dalam pelaksanaan Rapid Assessment beberapa hal yang perlu dilakukan, antara lain: 1. Penetapan topik yang akan dievaluasi 2. Penyusunan kerangka acuan kerja (Untuk membatasi ruang lingkup) 3. Mengembangkan alat dan metode yang dipakai 4. Pembentukan tim kerja 5. Pengumpulan data/informasi lapangan 6. Analisa data 7. Tindak lanjut 4.2.3. Evaluasi Paruh Waktu Rencana Jangka Menengah (Mid-Term Evaluation) dan Evaluasi Lima Tahunan Rencana Jangka Menengah (Final Term Evaluation) a.

Definisi dan batasan  Evaluasi paruh waktu rencana jangka menengah (Mid-term evaluation) merupakan evaluasi yang dilaksanakan pada pertengahan waktu 27




b.

pelaksanaan RPJMN. Evaluasi dilaksanakan pada level pencapaian Fokus Prioritas pada tataran Outcome atau pada level Prioritas/Impact untuk prioritas-prioritas tertentu yang dampaknya terukur. Evaluasi lima tahunan rencana jangka menengah (Final term evaluation) merupakan evaluasi akhir dari pencapaian RPJMN, utamanya dilakukan untuk mengevaluasi dampak pada level Prioritas.

Metode Metode evaluasi yang digunakan adalah metode evaluasi outcome atau mungkin juga impact/dampak, yang terdiri dari metode kuantitatif, kualitatif ataupan keduanya.  Metode kualitatif dapat digunakan mengidentifikasikan dampak yang tidak diduga sebelumnya. Metode ini berguna sebagai exploratory work yang perlu dikonfirmasikan kemudian melalui studi kuantitatif; atau juga untuk melakukan pendalaman dari hasil studi kuantitatif secara sederhana maupun secara in-depth. Contoh analisis sederhana adalah evaluasi berdasarkan model logik yang akan mengurutkan Prioritas hingga ke tataran inout atau bahkan baseline.  Metode kuantitatif dapat digunakan untuk melakukan evaluasi yang sifatnya hipotesis, misalnya apa yang terjadi bila tidak ada intervensi. Cara ini memerlukan metode analisis yang solid dan cara pengumpulan data kuantitatif yang handal. Contohnya adalah aplikasi metode berikut: o Randomized Evaluations (Evaluasi Teracak). Dikenal pula dengan sebutan Penelitian Penempatan Teracak (Random Assignment Studies), Pengujian Lapangan Teracak (Randomized Field Trials), Eksperimen Sosial (Social Experiment), Eksperimen Terkontrol Teracak (Randomized Control Experiment) o Non-Experimental atau Quasi-Experimental Methods (Metode NonEksperimental atau Kuasi-Eksperimental) , Contoh: Simple difference, Differences-in-Differences, Statistical Matching, Instrumental Variables.

4.3. Macam Evaluasi Pembangunan Sektoral 4.3.1. Evaluasi Pelaksanaan RPJMN dan RKP Evaluasi atas pelaksanaan RPJMN maupun RKP dapat dikategorikan sebagai evaluasi formatif, yaitu evaluasi yang dilaksanakan pada waktu pelaksanaan program, dengan tujuan memperbaiki pelaksanaan program. Adapun pelaksanaan 28


dari RPJMN tiap tahunnya dijabarkan ke dalam RKP, sehingga apabila bermaksud mengevaluasi pelaksanaan RPJMN tidak lain berarti mengevaluasi RKP, yaitu dengan melakukan perbandingan antara target tahunan yang telah ditetapkan dengan realisasi pelaksanaan tahunannya. Pembahasan lebih mendalam evaluasi pelaksanaan RPJMN dan RKP, dapat diuraikan sebagai berikut: 1. Lingkup Pelaksanaan Evaluasi Dalam pelaksanaan RPJMN dan RKP, evaluasi kegiatan difokuskan pada pencapaian target atau sasaran tahunan maupun sasaran yang akan dicapai dalam lima tahunan, dari prioritas, fokus prioritas dan kegiatan prioritas, serta konsistensinya dari tahun ke tahun. 2. Metode Evaluasi Metode perbandingan ini disebut dengan gap analysis, yang mengukur perbedaan antara yang direncanakan dengan yang direalisasikan. 3. Mekanisme Evaluasi Langkah-langkah dari pelaksanaan evaluasi pelaksanaan RPJMN dan RKP dijabarkan sebagai berikut: a. Menentukan target pencapaian pada saat penyusunan dokumen perencanaan baik RPJMN maupun RKP. Target disusun berdasarkan data historis yang ada dan memenuhi persyaratan, realistis, dan dapat dicapai. b. Membandingkan antara target yang telah ditetapkan sebelumnya dengan realisasi pelaksanaan. c. Menganalisis hasil dari perbandingan yang dilakukan (Gap analysis). Bila ada gap atau kesenjangan, perlu dipastikan nilainya positif atau negatif. Nilai positif diperoleh bila realisasi pelaksanaan lebih tinggi daripada target, maka pelaksanaan rencana pembangunan dinilai positif. Sebaliknya bila realisasi lebih rendah daripada target yang ditetapkan maka pelaksanaan rencana pembangunan dinilai negatif. Artinya masih diperlukan usaha-usaha lebih banyak dan lebih kuat lagi untuk meningkatkan ataupun memperbaiki capaian pelaksanaan rencana pembangunan yang sudah terekam dalam dokumen RKP atau RPJMN. 4. Waktu Evaluasi Evaluasi pelaksanaan RPJMN dan RKP dilaksanakan setiap tahun, sebelum proses penyusunan dokumen RKP dimulai.

29


4.3.2. Evaluasi Pencapaian RPJMN dan RKP Evaluasi atas pencapaian RPJMN dan RKP merupakan evaluasi sumatif yaitu evaluasi yang dilaksanakan setelah pelaksanaan program selesai, bertujuan untuk menilai hasil pelaksanaan program. Pencapaian-pencapaian tersebut perlu untuk dievaluasi terutama untuk menganalisis seberapa jauh intervensi pemerintah melalui kegiatan, program atau fokus prioritas dan prioritas pembangunan telah memberikan hasil ataupun dampak sesuai dengan yang diharapkan. Penjelasan lebih mendalam mengenai evaluasi pencapaian RPJMN dan RKP meliputi hal pokok yaitu: 1. Ruang lingkup evaluasi Evaluasi pencapaian pembangunan difokuskan pada dampak yang ditimbulkan oleh pelaksanaan kebijakan yang tertuang dalam dokumen perencanaan jangka menengah (RPJMN) dan tahunan (RKP). Fokus utama evaluasi pencapaian ditekankan pada sasaran prioritas, fokus prioritas, dan program serta isu-isu utama yang menjadi perhatian pemerintah. 2. Konsep dan Metode Evaluasi Pendekatan yang digunakan adalah metode kualitatif maupun metode kuantitatif dengan menggunakan metode yang sesuai dengan sasaran yang akan di evaluasi. 3. Mekanisme Evaluasi Langkah-langkah yang perlu dilaksanakan dalam evaluasi pencapaian RPJMN adalah: (1) Penyusunan sasaran yang akan dicapai dalam dokumen perencanaan, (2) Penentuan indikator sasaran, (3) Penentuan metode analisis, dan (4) Melakukan analisis terhadap sasaran yang dicapai 4. Waktu Pelaksanaan Evaluasi Evaluasi dilaksanakan pada paruh waktu pelaksanaan RPJMN dan enam bulan sebelum pelaksanaan RPJMN berakhir. 4.3.3. Evaluasi Efisiensi Program Evaluasi efisiensi program merupakan suatu evaluasi yang memfokuskan pada efisiensi dengan kecenderungan pada bagaimana memperbaiki mekanisme/proses suatu program dalam pencapaian sasaran pembangunan. Lebih lanjut penjelasan secara lebih teknis dapat diuraikan sebagai berikut: 1. Ruang Lingkup Evaluasi Pada level program, beberapa hal yang perlu dievaluasi diataranya adalah membandingkan target dan pencapaian, baik dalam hal indikator maupun

30


2.

3.

4.

penganggarannya. Selain itu, perlu diperhatikan juga tentang hambatan administratif dan teknis dalam implementasi program yang ditetapkan. Konsep dan Pendekatan Evaluasi Evaluasi terhadap efisiensi program dilakukan dengan menggunakan pendekatan, sebagai berikut: a. Tingkat Efisiensi Program  Persentase realisasi total biaya program per realisasi pencapaian target terhadap perkiraan total biaya program per perkiraan pencapaian target (waktu fixed).  Persentase realisasi total biaya program per realisasi waktu terhadap perkiraan total biaya program per perkiraan waktu (target fixed).  Persentase realisasi target per realisasi waktu terhadap perkiraan target per perkiraan waktu (biaya proyek fixed). b. Tingkat Efisiensi Penyerapan Dana  Selisih antara persentase realisasi penyerapan dana dengan persentase waktu pelaksanaan (Progress Varian). c. Tingkat Efektifitas Program  Persentase realisasi target (sasaran) terhadap perkiraan target (sasaran). Mekanisme Evaluasi Dalam pelaksanaan evaluasi efisiensi program beberapa tahapan yang harus dilakukan sebagai berikut: (1) Penentuan sasaran yang akan dicapai oleh program tersebut, (2) penentuan indikator sasaran program tersebut, (3) Biaya yang diperlukan untuk pencapaian sasaran program4) realisasi pelaksanaan program, (5) Penentuan stakeholder yang mendapatkan manfaat dari program tersebut, (6) penyusunan format evaluasi program, dan (7) penentuan metode analisa. Waktu Pelaksanaan Evaluasi Evaluasi program pembangunan, baik jangka menengah maupun tahunan dilaksanakan setiap tahun, setelah berakhirnya tahun anggaran dan sebelum penyusunan rencana program selanjutnya.

4.3.4. Evaluasi Efektivitas Desain Program Evaluasi efektivitas desain program merupakan evaluasi yang dilaksanakan dalam upaya meningkatkan kinerja program pembangunan. Hal-hal yang perlu diperhatikan dalam mengevaluasi efektivitas desain program adalah:

31


1.

2.

Ruang Lingkup Evaluasi Fokus evaluasi desain program ditekankan pada sasaran yang akan dicapai oleh program tersebut dan stakeholder penerima manfaat dari program tersebut. Metode Evaluasi Metode yang digunakan dalam pelaksanaan evaluasi program adalah dengan menggunakan pendekatan PART (The Program Assessment Rating Tool) yang merupakan alat diagnosis yang digunakan untuk mengetahui efektivitas program secara keseluruhan dalam rangka: (i) menilai kinerja program, dan (ii) mengarahkan kearah perbaikan kinerja program. Penilaian program yang dilakukan dengan menggunakan PART bersifat menyeluruh, mulai dari seberapa baik program didesain, seberapa baik program dilaksanakan, hingga seperti apa hasil yang dicapai. Tahapan dari analisis PART ini meliputi lima tahapan, yaitu: a. Pemilihan program dan penentuan unit analisis. Program dapat merupakan kumpulan program atau kegiatan yang dikelola sebagai satu entitas atau yang memiliki satu sasaran yang jelas. Kriteria-krietaria yang perlu dipertimbangkan dalam melakukan penggabungan program untuk dinilai dengan menggunakan PART (baik program yang ditangani sendiri oleh satu K/L maupun yang bersifat lintas K/L) adalah: (i) memiliki tujuan yang sejalan misalnya dalam hal penerima manfaat, karakteristik, dan target populasinya; (ii) memiliki kesamaan desain dan pengelolaan, (iii) memiliki keterkaitan dalam budgeting, dimana program-program yang akan dikombinasikan tersebut dikelola sebagai single unit; dan (iv) mendukung sasaran outcome jangka panjang yang sejalan. b. Penentuan tipe program. Program dibagi ke dalam tujuh ketagori untuk keperluan pertanyaan tambahan yang bersifat khas bagi masing-masing kategori/tipe program, yaitu: (i) Direct Federal Program, (ii) Competitive Grant Program, (iii) Block/Formula Grant Program, (iv) Regulatory-Based Program, (v) Capital Assets and Service Acquisition Program, (vi) Credit Program, dan (vii) Research and Development Program c. Penentuan bobot pertanyaan Dalam PART terdapat setidaknya 25 butir pertanyaan yang lazim dikemukakan dalam kuesioner PART yang kemudian dikelompokkan ke dalam empat, bagian, yaitu (i) Tujuan dan Desain Program, (ii) Rencana Strategis, (iii) Manajemen Program, dan (iv) Hasil Program/Akuntabilitas. Pertanyaan di atas kemudian dilengkapi dengan pertanyaan-pertanyaan tambahan yang bersifat spesifik/khas sesuai 32


4.

4.

tipe program masing-masing. Normalnya, pertanyaan-pertanyaan tersebut memiliki bobot yang sama sehingga ketika nantinya dijumlah, setiap bagian akan menghasilkan angka 100%. d. Pemilihan ukuran kinerja Perlu dilakukan penilaian atas kualitas ukuran (kinerja) program, sehingga dapat diketahui: apakah ukuran-ukuran tersebut relevan dengan konteks, memiliki metodologi yang benar, dan dapat diverifikasi dengan data yang reliabel. e. Menjawab pertanyaan. PART adalah rangkaian pertanyaan untuk menilai aspek-aspek yang berbeda dari kinerja sebuah program. Suatu program harus memenuhi seluruh syarat dan bersifat konsisten untuk bisa mendapatkan jawaban “YA”. PART mengharuskan adanya bukti yang sangat kuat untuk menjustifikasi sebuah jawaban “YA”. Mekanisme Evaluasi Langkah-langkah yang harus dilaksanakan dalam pelaksanaan evaluasi efektivitas desain program adalah: (1) Penentuan sasaran yang akan dicapai oleh program tersebut; (2) Penentuan indikator sasaran program; (3) Penentuan stakeholder yang mendapatkan manfaat; (4) Penentuan instansi yang terlibat dalam pelaksanaan program; (5) Penyusunan format evaluasi program; (6) Penentuan metode analisis dalam hal ini menggunakan metode PART. Waktu Pelaksanaan Evaluasi Evaluasi efektivitas desain program pembangunan, baik program jangka menengah maupun tahunan dilaksanakan setiap tahun, setelah berakhirnya tahun anggaran dan sebelum penyusunan rencana program selanjutnya.

----------

33


BAB VI PENUTUP Seperti telah dikemukakan sebelumnya, Buku Panduan Evaluasi Pembangunan Sektoral (BP-EPS), diuatamakan untuk kepentingan Direktorat EKPS namun pada dasarnya, metodologi yang dikemukanan dalam Buku ini dapat digunakan oleh siapa saja untuk kepentingan terkait kegiatan evaluasi. Selain itu, seperti telah diuraikan sebelumnya, BP-EPS hanya menguraikan berbagai cara evaluasi namun tidak termasuk detil teknis dan tidak juga termasuk kegiatan monitoring. Dalam kaitannya dengan pemanfaatan di lingkungan Bappenas, diharapkan BP-EPS dapat digunakan untuk melakukan evaluasi pelaksanaan dan pencapaian pembangunan berdasarkan dokumen perencanaan pembangunan Rencana Kerja Pemerintah (RKP) dan Rencana Pembangunan Jangka Menengah Nasional (RPJMN). Memperhatikan Struktur Kebijakan Pembangunan (Gambar 3.1) dan Policy Planning pada Gambar 4.1, sesuai tahapannya, maka pelaksanaan evaluasi (Tahunan, Mid-term atau 2,5 tahunan; maupun Final-term atau lima tahunan); terbatas hanya pada evaluasi di tataran/level Prioritas Pembangunan atau Fokus Prioritas pembangunan. Di samping itu, evaluasi juga dapat dilakukan atas isu pembangunan yang tengah bergulir dan dianggap penting. Sebagai kelanjutan atau turunan Buku Pedoman ini, diharapkan dalam waktu yang akan datang dapat diterbitkan Buku Petunjuk Teknis mengenai pelaksanaan dan Metode Evaluasi Pembangunan Sektoral.

----------

34


DAFTAR PUSTAKA Bappenas 2008. Rencana Kerja Pemerintah Tahun 2009, Buku I. Jakarta: Bappenas Bappenas 2009. Rencana Kerja Pemerintah Tahun 2010, Buku I. Jakarta: Bappenas Bappenas, 2009. Buku Pedoman Penyusunan RPJMN 2010-2014. Jakarta: Bappenas Castro, Manuel F. 2007. Indonesia: Towards the Institutionalization of Evaluation Activities and Tools in Planning and Budgeting Processes. A draft report Kapoor, Anju Gupta. 2002. Review of Impact Evaluation Methodologies Used By The Operations Evaluation Department Over Past 25 Years. The World Bank: Washington DC. Leeuw, Frans and Jos Vaessen. 2009. Impact Evaluations and Development: NONIE Guidance on Impact Evaluation. Draft Version for Discussion at the Cairo conference March-April, 2009 Pemerintah Republik Indonesia, 2004. Rencana Pembangunan Jangka Menengah Tahun 2004-2009. Jakarta: Percetakan Negara RI. Regalia, Ferdinando. 1999. Poverty & Inequality Technical Notes: Impact Evaluation Methods For Social Programs. Inter-American Development Bank, Social Development Department, Poverty and Inequality Advisory Unit. Taylor-Powell, E., Steele, S., and Douglah, M. 2008. Planning a Program Evaluation: Worksheet, University of Wisconsin, http://www.uwex.edu/ces/pdande

35

PEDOMAN EVALUASI KINERJA PEMBANGUNAN SEKTORAL

Recommend Documents