KEMENTERIAN PENDIDIKAN DAN KEBUDAYAAN REPUBLIK INDONESIA
Modul Pelatihan
Pengembangan Sistem
Monitoring dan Evaluasi
Program-Program Pendidikan
BEC TF
BASIC EDUCATION CAPACITY-TRUST FUND
THE WORLD BANK
Pembuatan Modul Pelatihan Pengembangan Sistem Monitoring dan Evaluasi Program-Program Pendidikan ini difasilitasi oleh program Basic Education Capacity Trust Fund (BEC-TF) yang merupakan kemitraan antara Kementerian Pendidikan dan Kebudayaan, Kementerian Agama dan Bank Dunia dengan pendanaan dari Pemerintah Kerajaan Belanda dan Uni Eropa. Informasi lebih lanjut: http://www.wapikweb.org Dicetak Maret 2013
Modul Pelatihan
Pengembangan Sistem
Monitoring dan Evaluasi
Program-Program Pendidikan
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
KATA PENGANTAR Disain monitoring dan evaluasi adalah bagian penting dan tidak terpisahkan dari perencanaan sebuah program. Setiap merencanakan sebuah program wajib pula dibuat rencana monitoring dan evaluasi atas program tersebut. Bila sebuah program tidak ada rencana monitoring dan evaluasinya maka tidak ada pula data akurat yang dapat digunakan sebagai dasar analisis untuk perbaikan pelaksanaan program. Monitoring dan Evaluasi (M&E) merupakan dua kegiatan terpadu dalam rangka pengendalian suatu program. Meskipun merupakan satu kesatuan kegiatan, Monitoring dan Evaluasi mempunyai fokus yang agak berbeda satu sama lain. Pada dasarnya Monitoring diartikan sebagai upaya pengumpulan data secara berkelanjutan yang ditujukan untuk memberikan informasi kepada pengelola program dan pemangku kepentingan tentang indikasi awal kemajuan dan kekurangan pelaksanaan program dalam rangka perbaikan untuk mencapai tujuan program. Sementara Evaluasi adalah kegiatan terjadwal untuk menilai secara objektif manfaat, kinerja dan efektivitas program yang sedang berjalan atau telah selesai, khususnya untuk menjawab pertanyaan tentang seberapa jauh kontribusi kegiatan program terhadap pencapaian hasil yang telah ditetapkan. Pemahaman M&E di atas menunjukkan betapa pentingnya menyertakan perencanaan M&E disetiap disain program. Anehnya, masih jamak kita temukan adanya program yang tidak disertai dengan rencana M&Enya. Biasanya hal ini terjadi pada pengajuan program di tingkat kabupaten/kota. Akibatnya sering pula program yang diajukan ditolak oleh DPRD. Kalaupun ada disain M&Enya sering pula tidak memenuhi konsep M&E yang baik dan benar. Atas dasar itu, dipandang perlu dilakukan pelatihan pemahaman tentang perencanaan M&E untuk pemangku kepentingan pendidikan di tingkat kabupaten/kota. Untuk kepentingan itu, perlu dibuat pula Panduan Pelatihan M&E. Pada dasarnya panduan ini masih perlu disempurnakan. Untuk itu, sebelum digunakan sebaiknya modul ini direview dulu.
Jakarta, February 2013
v
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
DAFTAR SINGKATAN
vi
APBD
Anggaran Pendapatan dan Belanja Daerah
APK
Angka Partisipasi Kasar
APM
Angka Partisipasi Murni
BOP
Bantuan Operasional Pendidikan
BOSDA
Bantuan Operasional Sekolah Daerah
BPK
Badan Pemeriksa Keuangan
BPKP
Badan Pengawasan Keuangan dan Pembangunan
DPRD
Dewan Perwakilan Rakyat Daerah
JUKNIS
Petunjuk Teknis
LSM
Lembaga Sosial Masyarakat
M&E
Monitoring & Evaluasi
MBS
Manajemen Berbasis Sekolah
PAKEM
Pembelajaran Aktif, Kreatif, Efektik, dan Menyenangkan
PATO
Partisipatif Akuntabel Transparan dan Otonomi
RKAS
Rencana Kerja dan Anggaran Sekolah
RSBI
Rintisan Sekolah Bertaraf Internasional
SD
Sekolah Dasar
SDLB
Sekolah Dasar Luar Biasa
SMP
Sekolah Mengeah Pertama
SMPLB
Sekolah Menengah Pertama Luar Biasa
SMPT
Sekolah Menengah Pertama Terbuka
SBI
Sekolah Bertaraf Internasional
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
DAFTAR ISI KATA PENGANTAR....................................................................................................................................................................... v DAFTAR SINGKATAN................................................................................................................................................................. vi DAFTAR ISI........................................................................................................................................................................................ vii DAFTAR KOTAK DAN TABEL................................................................................................................................................. viii DAFTAR FORMAT LEMBAR KERJA ................................................................................................................................. ix DAFTAR GAMBAR ...................................................................................................................................................................... x A. Pendahuluan ......................................................................................................................................................................... 1 B. Tujuan ......................................................................................................................................................................................... 3 C. Hasil Yang Diharapkan.................................................................................................................................................. 4 D. Strategi Pelaksanaan........................................................................................................................................................ 5 E. Strategi dan Pendekatan Pelatihan .................................................................................................................... 6 F. Pengelolaan Pelatihan .................................................................................................................................................. 7 G. Alat, Bahan, Pengaturan Ruangan, dan Persiapan Pelatihan ........................................................ 8 H. Jadwal Yang Disarankan................................................................................................................................................ 9 I. Unit 1 Pendahuluan . ....................................................................................................................................................... 11 1A. Pemahaman Disain Monev ................................................................................................................................. 12 1B. Pengembangan Pendahuluan Monev ........................................................................................................ 15 1C. Pengembangan Intervention Logic Monev ............................................................................................. 21 J. Unit 2 Langkah Perumusan Awal Disain ......................................................................................................... 25 2A. Perumusan Tujuan dan Manfaat Monev . ................................................................................................... 26 2B. Pengembangan Rencana Waktu dan Tahapan Pelaksanaan Monev ........................................ 31 K. Unit 3 Struktur dan Diagram Sistem .................................................................................................................. 34 3A. Pengembangan Struktur Organisasi Pelaksana Monev .................................................................... 35 3B. Pengembangan Diagram Sistem Pelaksanaan Monev ..................................................................... 38 L. Unit 4 Metode Pelaksanaan Monev .................................................................................................................... 41 4A. Pengembangan Indikator, Alat Ukur, dan Kriteria Keberhasilan .................................................. 42 4B. Pengembangan Logframe .................................................................................................................................. 49 4C. Pengembangan Teknik Sampling ................................................................................................................... 53 4D. Pengembangan Teknik Pengumpulan Data ............................................................................................ 61 4E. Pengembangan Teknik Pengolaan Data .................................................................................................... 70 4F. Pengembangan Diagram Uji Hasil dan Alur Kerja Program............................................................. 75 M. Unit 5 Pengembangan Pelaporan dan Desiminasi.................................................................................. 79 LAMPIRAN ....................................................................................................................................................................................... 83
vii
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
DAFTAR KOTAK DAN TABEL Kotak 1 Kotak 2 Kotak 3 Kotak 4 Kotak 5 Kotak 6 Kotak 7 Kotak 8 Kotak 9 Kotak 10 Kotak 11 Kotak 12
viii
Kotak 13 Kotak 14 Kotak 15 Kotak 16 Kotak 17 Kotak 18 Kotak 19 Kotak 20 Kotak 21 Kotak 22 Kotak 23 Kotak 24A Kotak 24B Kotak 25
Pengertian Monitoring ............................................................................................................................ 18 Pengertian Evaluasi . .................................................................................................................................. 18 Apa dan Mengapa BOSDA .................................................................................................................... 20 Intervention Logic BOSDA . .................................................................................................................... 24 Tujuan Pelaksanaan M&E BOSDA......................................................................................................... 29 Manfaat Pelaksanaan M&E BOSDA...................................................................................................... 30 Waktu dan Tahapan Pelaksanaan M&E BOSDA........................................................................... 33 Struktur Organisasi Pelaksana Program M&E BOSDA.............................................................. 37 Diagram Sistem Pelaksanaan M&E BOSDA.................................................................................... 40 Indikator Keluaran BOSDA........................................................................................................................ 45 Indikator Hasil BOSDA................................................................................................................................. 45 Indikator, Indikator Pencapaian, Definisi, Metoda, dan Kriteria Keberhasilan BOSDA.................................................................................................................................... 46 Kerangka Kerja Logis Program BOSDA............................................................................................. 51 Contoh Purposive Random Sampling Pada Program BOSDA........................................... 56 Contoh Quota Random Sampling Pada Program BOSDA................................................... 57 Contoh Snow Ball Random Sampling Pada Program BOSDA............................................ 57 Contoh Cluster Random Sampling Pada Program BOSDA.................................................. 58 Contoh Sistematis Random Sampling Pada Program BOSDA......................................... 59 Contoh Simple Random Sampling Pada Program BOSDA................................................. 60 Analisis Data Instrumen Pengamatan Langsung Program BOSDA................................ 67 Analisis Data Instrumen Angket Program BOSDA..................................................................... 68 Analisis Data Kuantitatif Program BOSDA....................................................................................... 72 Analisis Data Kualitatif Program BOSDA ......................................................................................... 73 Diagram Uji Hasil 1 BOSDA...................................................................................................................... 77 Diagram Uji Hasil 2 BOSDA...................................................................................................................... 78 Diagram Alur Kerja M&E Program BOSDA...................................................................................... 79
Tabel 1
Model Intervention Logic......................................................................................................................... 23
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
DAFTAR FORMAT LEMBAR KERJA Format 1.1 Format 1.2 Format 1.3
Pemahaman Langkah Pembuatan Disain Monev .................................................................. 13 Pengembangan Pembuatan Pendahuluan . .............................................................................. 17 Pengembangan Intervention Logic ................................................................................................ 22
Format 2.1 Format 2.2
Perumusan Tujan dan Manfaat Monev . ......................................................................................... 27 Rencana Waktu dan Tahapan Pelaksanaan .................................................................................. 32
Format 3.1 Format 3.2
Individu, Organisasi, dan Lembaga Terkait ................................................................................... 36 Alur Sistem Pelaksanaan .......................................................................................................................... 39
Format 4.1 Format 4.2 Format 4.3 Format 4.4 Format 4.5 Format 4.6 Format 4.7 Format 4.8 Format 4.9 Format 4.9A Format 5
Indikator dan Alat Ukur.............................................................................................................................. 44 Kriteria Keberhasilan ................................................................................................................................... 44 Pengembangan Indikator, Alat ukur, dan Kriteria Keberhasilan....................................... 44 Pengembangan Logframe ..................................................................................................................... 50 Kelemahan dan Kelebihan Teknik Sampling................................................................................. 54 Teknik Pengumpulan Data ..................................................................................................................... 62 Analisis Data Kuantitatif............................................................................................................................. 71 Analisis Data Kualitatif................................................................................................................................. 71 Uji Hasil ............................................................................................................................................................... 76 Alur Kerja ........................................................................................................................................................... 76 Pelaporan .......................................................................................................................................................... 81
ix
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
DAFTAR GAMBAR Gambar 1.1 Langkah Kegiatan Pemahaman Disain Monev . ........................................................................ 13 Gambar 1.2 Langkah Kegiatan Pengembangan Pendahuluan Monev................................................... 16 Gambar 1.3 Langkah Kegiatan Pengembangan Intervention Logic......................................................... 22 Gambar 2.1 Langkah Kegiatan Perumusan Tujuan dan Manfaat Monev ............................................. 27 Gambar 2.2 Langkah Kegiatan Rencana Waktu dan Tahapan Pelaksanaan Monev ....................... 32 Gambar 3.1 Langkah Kegiatan Pengembangan Struktur Organisasi Pelaksana Monev ............. 36 Gambar 3.2 Langkah Kegiatan Pengembangan Diagram Sistem Pelaksanaan Monev................ 39 Gambar 4.1 Langkah Kegiatan Pengembangan Indikator, Alat Ukur dan Kriteria Keberhasilan .................................................................................................................................................... 43 Gambar 4.2 Langkah Kegiatan Pengembangan Logframe............................................................................. 50 Gambar 4.3 Langkah Kegiatan Pengembangan Teknik Sampling ............................................................ 54 Gambar 4.4 Pendekatan Probability dan Non-Probability ............................................................................. 55 Gambar 4.5 Langkah Kegiatan Pengembangan Teknik Pengumpulan Data ..................................... 62 Gambar 4.6 Langkah Kegiatan Pengembangan Teknik Pengolahan Data .......................................... 71 Gambar 4.7 Langkah Kegiatan Pengembangan Diagram Uji Hasil dan Alur Kerja Program .............................................................................................................................................................. 76 Gambar 4.8 Langkah Kegiatan Pengembangan Pelaporan dan Diseminasi ...................................... 81
x
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
A
Pendahuluan
Modul Pelatihan
Modul pelatihan ini disiapkan untuk mengarusutamakan praktik-praktik yang baik dalam membuat disain Monev dari pendahuluan hingga pelaporan dan diseminasi. Tujuan pelatihan teknik monitoring dan evaluasi (monev) ini adalah memberi pemahaman tentang langkah-langkah persiapan, perencanaan, pelaksanaan dan pelaporan hasil evaluasi program. Hasil monev merupakan informasi berharga yang dapat dijadikan pedoman bagi pimpinan untuk mengambil keputusan pengembangan organisasi yang dipimpinnya. Suatu organisasi haruslah dikelola secara profesional. Pengelolaan organisasi dimulai dari sistem perencanaan, pelaksanaan dan evaluasi program sesuai visi, misi dan tujuan yang telah ditetapkan. Namun demikian dalam kenyataannya, dewasa ini masih banyak keputusan-keputusan dalam penyusunan perencanaan organisasi yang diambil tidak berdasarkan informasi yang akurat. Modul pelatihan ini membahas tentang teknik merancang, menyiapkan, melaksanakan dan melaporkan seluruh kegiatan monitoring dan evaluasi terhadap disain Monev yang nantinya akan dibuat oleh peserta didik berdasarkan program yang masing-masing dibawa oleh peserta didik. Oleh karena itu sebelum seseorang melakukan monev, maka terlebih dahulu mereka memiliki pemahaman, keterampilan, dan kemampuan melaksanakan tugas sebagai evaluator pelaksanaan program. Di sisnilah diperlukan kemampuan menyusun instrumen, mengumpulkan data, menganalisis data hingga menginterpretasihan hasil analisis dan menyusun kesimpulan hasil analisis. Hasil analisis data monev ini menjadi informasi yang berharga bagi pengambilan keputusan perencanaan program di masa mendatang. Usaha pencapaian tujuan program dalam sebuah organisasi harus selalu diupayakan oleh pihak manajemen. Upaya tersebut dimulai dari menyusun rencana stategis jangka panjang 5 tahunan yang memuat penetapan visi, misi dan tujuan organisasi. Visi, misi dan tujuan strategis organisasi merupakan komitmen bersama seluruh warga di dalam organisasi untuk mewujudkannya. Rencana strategis selanjutnya dijabarkan dalam rencana operasional satu tahunan yaitu dengan menjabarkan Visi, misi dan tujuan menjadi sasaran jangka pendek dan program-program kegiatan.
1
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Berbagai program yang telah dan akan dilaksanakan memerlukan peningkatan kinerja pimpinan dan staf organisasi baik dalam sistem perencanaan, pelaksanaan maupun evaluasinya. Keberhasilan suatu program dapat dilihat dari kesesuaian antara perencanaan dan pelaksanaannya, terukur atau akuntabel hasilnya, serta ada keberlanjutan aktivitas yang merupakan dampak dari program itu sendiri. Melalui kegiatan monitoring dan evaluasi (monev) maka keberhasilan, dampak dan kendala pelaksanaan suatu program dapat diketahui. Ditinjau dari aspek pelaksanaan, monev memerlukan keterampilan petugas. Petugas adalah seorang evaluator yang terampil untuk mengumpulkan berbagai data yang sesuai dengan tujuan monitoring dan evaluasi. Selain itu, kejujuran, keuletan, dan penguasaan pengetahuan tentang monitoring dan evaluasi menjadi tututan kualifikasi petugas. Bila ditinjau dari aspek sistim monitoring dan evaluasi, maka staf yang terlibat dalam kegiatan ini harus mampu merencanakan, menyiapkan, melaksanakan dan melaporkan seluruh kegiatan monitoring dan evaluasi. Monev yang dilakukan oleh petugas yang profesional dan didukung dengan instrumen yang baku akan dapat diperoleh data obyektif. Data obyektif yang dianalisis dengan teknik yang tepat akan didapatkan informasi yang terpercaya untuk dasar pengambilan keputusan manajemen. Sehingga keputusan yang diambil tepat untuk mencapai tujuan yang telah ditetapkan. Model pelatihan ini memuat berbagai hal tentang pengetahuan monev, perencanaan dan persiapan, serta pelaporan. Ruang lingkup dan sistimatika pembahasan ini dimulai dari pertama, pendahuluan yaitu latar belakang, tujuan dan manfaat. Kedua, membicarakan tentang pengetahuan monev yang membahas dari hakekat, prinsip, dan model-model monev. Ketuga, memandu bagaimana merencanakan kegiatan monev, yaitu membahas desain, ruang lingkup, penentuan model, instrumen, analisis data, sampai dengan membuat kesimpulan dan rekomendasi. Sedangkan keempat, membahas bagaimana membuat pelaporan dan desiminasi dari suatu kegiatan monev.
2
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
B
Tujuan
Program pengembangan disain Monev bertujuan untuk: • Mengarusutamakan praktik-praktik yang baik dalam pembuatan disain Monev • Mengembangkan kemampuan Tim Monev dalam melakukan Monev • Mengembangkan peran serta masyarakat dalam membantu pelaksanaan Monev
3
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
C
Hasil yang Diharapkan
Dalam jangka pendek, hasil-hasil yang diharapkan meliputi: • A danya peningkatan pemahaman semua individu khususnya Tim Monev yang terlibat dalam kegiatan Monev • Adanya peningkatan kinerja Tim Monev dalam melakukan tugasnya Hasil-hasil jangka panjang yang diharapkan meliputi kedua aspek berikut: • S ecara umum adanya peningkatan pemahaman Tim Monev dalam membuat disain Monev yang baik sehingga mengakibatkan meningkatnya kinerja Tim Monev dalam melakukan monitoring dan evaluasi pada sebuah program nantinya. • Macam-macam disain Monev yang telah diujicobakan ini ditiru dan disebarluaskan ke daerahdaerah lain, baik oleh Pemerintah maupun LSM.
4
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
D
Strategi Pelaksanaan
Keterlibatan Seluruh Unsur Semua unsur yang terlibat dalam Monev akan mendapat pelatihan yang sama, walaupun kadar kedalaman pembahasannya akan disesuaikan menurut langkah disain yang akan dibuat. Unsurunsur tersebut adalah semua individu yang terlibat dalam kegiatan monitoring dan individu di semua jenjang pekerjaan. Dalam pelaksanaan pelatihan, para peserta yang terdiri dari berbagai pihak ini akan dijadikan dalam satu kelompok sehingga akan ada pengertian dan pemahaman di antara mereka. Mereka semua akan mendapat pelatihan yang sama dengan kadar bahasa sesuai tingkat disain yang akan dibuat peserta. Sehingga setiap kelompok akan lebih memahami cara pembuatan disain Monev yang baik.
5
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
E
Strategi dan Pendekatan Pelatihan
Strategi dan pendekatan utama yang digunakan di dalam pelatihan ini adalah sebagai berikut: • Metode partisipatif (PAKEM) yaitu metode yang mengikutsertakan secara penuh pihak yang dilatih dalam proses pelatihan, bukan metode ceramah yang hanya menstransfer ilmu pengetahuan saja. Para peserta latihan banyak terlibat dalam pelatihan dan pengambilan simpulan sendiri. • Peran pelatih sebagai fasilitator dan bukan sebagai penceramah. Pelatih tidak akan memberikan bahan pelatihan secara lengkap dalam satu sesi, tetapi hanya akan memberikan point-point penting saja yang akan menjadi bahan diskusi oleh para peserta. Pealtih/fasilitator bertindak sebagai penengah. Pelatih dapat memberikan pendapatnya di akhir sesi. • Diskusi serta curahan ide-ide gagasan antar para peserta ditampung oleh fasilitator. Fasilitator akan merangkum simpulan hasil diskusi ditambah dengan point-point dari fasilitator agar lebih melengkapi. Ini dilakukan atas dasar kesepakatan bersama dan berpedoman dari apa yang telah dikembangkan dalam diskusi bersama sebelumnya.
6
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
F
Pengelolaan Pelatihan
Paket pelatihan ini terdiri dari 5 unit yang akan digunakan dalam pelatihan pengembangan disain Monev. Unit-unit pelatihan adalah sebagai berikut. Unit 1
Pendahuluan 1A. Pemahaman disain Monev 1B. Pengembangan pendahuluan disain Monev 1C. Pengembangan Intervention Logic disain Monev
Unit 2
Langkah perumusan awal disain 2A. Pengembangan tujuan dan manfaat Monev 2B. Pengembangkn rencana waktu dan tahapan pelaksanaan Monev
Unit 3
Struktur dan diagram sistem 3A. Pengembangan struktur organisasi pelaksana Monev 3B. Pengembangan diagram sistem pelaksanaan Monev
Unit 4
Metode pelaksanaan Monev 4A. Pengembangan indikator, alat ukur, dan kriteria keberhasilan 4B. Pengembangan logframe disain Monev 4C. Pengembangan teknik sampling 4D. Pengembangan teknik pengumpulan data 4E. Pengembangan teknik pengolaan data 4F. Pengembangan diagram uji hasil dan alur kerja program
Unit 5
Pelaporan dan diseminasi
7
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
G
Alat, Bahan, Pengaturan Ruang dan Persiapan Pelatihan
Alat dan bahan yang diperlukan selama pelatihan adalah: • • • • • • • •
hite board untuk memaparkan atau menulis ide-ide peserta yang akan didiskusikan bersama W Kertas buram untuk menuliskan ide-ide peserta khususnya dalam diskusi kelompok Spidol berwarna Kertas plano untuk menuliskan ide-ide peserta yang akan dipaparkan LCD dan Laptop Tayangan dalam bentuk transparasi atau power point, dan/atau Bahan bacaan Internet jika diperlukan
Alat dan bahan yang diperlukan untuk setiap kegiatan secara rinci dicantumkan di dalam masingmasing unit. Fasilitator juga perlu memperhatikan pengaturan ruangan yang meliputi : • P engaturan tempat duduk peserta. Pengaturan tempat duduk peserta disesuaikan menurut model pengelompokan. Tiap kelompok terdiri dari 4-10 orang tergantung materi dan tugas kepada peserta. • Pengaturan ruang atau dinding yang akan dijadikan tennpat pemajangan hasil diskusi peserta. Tempat pemajangan harus memungkinkan semua peserta dapat mengamati dan belajar • Pengaturan LCD dan Laptop harus ditempat di mana semua peserta dapat melihat dengan jelas. • Ruang pelatihan harus memiliki pencahayaan dan ventilasi yang baik • Peserta diminta untuk tidak merokok di dalam ruang pelatihan • Sound system hendaknya di letaan di tempat yang dapat di dengar oleh semua peserta.
8
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
H
Jadwal yang Disarankan
Sebelum pelatihan, para fasilitator harus bertemu untuk menyiapkan alat dan bahan serta mempelajari kembali langkah-langkah pelatihan. Dalam pertemuan fasilitator disarankan melakukan simulasi pelatihan sehingga pertemuan mungkin dilaksanakan lebih dari satu kali. Jadwal yang disarankan untuk pelatihan membuat disain Monev adalah sebagai berikut; Waktu
Bahan
Kegiatan Hari 1 PEMBUKAAN
07.30 - 07.45
Penjelasan tentang program pelatihan disain Monev
07.45 - 08.00
Penjelasan Kontrak Pelatihan Pendahuluan
08.00 – 08.45 08.45 – 09.00 09.00 – 10.30
1A. Pemahaman Disain Monev Unit 1
Istirahat 1B. Pengembangan pendahuluan disain Monev
10.30 – 12.00
1C. Pengembangan Intervention Logic
12.00 – 13.00
istirahat
13.00 – 14.00
Langkah perumusan awal Unit 2
14.00 – 15.30 15.30 – 17.00
2A. Perumusan Tujuan dan Manfaat Monev 2B. Pengembangan rencana waktu dan tahapan pelaksanaan Monev
Unit 3
Struktur dan diagram sistem 3A. Pengembangan struktur organisasi pelaksana Monev
9
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Waktu
Bahan
Kegiatan Hari 2
07.30 – 09.00 09.00 – 09.15
Unit 3
Istirahat Metode pelaksanaan Monev
09.15 – 11.45 11.45 – 13.00
3B. Pengembangan diagram system pelaksanaan Monev
4A. Pengembangan indikator, alat ukur, dan kriteria keberhasilan Unit 4
Istirahat
13.00 – 15.00
4B. Pengembangan Logframe Monev
15.00 – 17.00
4C. Pengembangan teknik sampling
07.30 – 09.30
4D. pengembangan teknik pengumpulan data
Hari 3 09.30 – 09.45 09.45 – 12.00
4E. Pengembangan teknik pengolaan data
12.00 – 13.00
Istirahat
13.00 – 15.00
4F. Pengembangan diagram uji hasil dan alur kerja program
15.00 – 16.00 16.00 – 17.00
10
Istirahat Unit 4
Unit 5
Pengembangan Pelaporan dan diseminasi Penutupan
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
I
Unit 1 Pendahuluan
11
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Pemahaman Disain Monev Waktu : 45 menit
PENGANTAR Monitoring dan Evaluasi (M&E) merupakan dua kegiatan terpadu dalam rangka pengendalian suatu program. Meskipun merupakan satu kesatuan kegiatan, Monitoring dan Evaluasi mempunyai fokus yang agak berbeda satu sama lain. Pada pembahasan tentang pemahaman disain Monev ini, fasilitator mendorong kepada peserta untuk dapat memahami langkah-langkah dalam pembuatan disain monev dari pendahuluan hingga ke pelaporan dan diseminasi.
TUJUAN Setelah mengikuti program pelatihan, para peserta diharapkan mampu: • Memahami langkah-langkah pembuatan desain Monev
BAHAN DAN ALAT 1. Tayangan tentang urutan dalam pembuatan disain Monev 2. Lembar kerja peserta Format 1.1 3. ATK : Kertas Plano, Spidol berwarna
LANGKAH KEGIATAN 1. Pengantar Singkat oleh Fasilitator (5 menit) Fasilitator memberikan pengantar singkat urutan atau tahap dalam pembuatan disain Monev yang benar dan menghimbau kepada peserta untuk memahami maksud dan tujuan Monev itu sendiri 2. Diskusi Kelompok Tentang Merumuskan Pendahuluan (30 menit) a. Fasilitator membagi peserta ke dalam kelompok dengan tiap kelompok beranggotakan 2 orang, dan meminta peserta dalam kelompok untuk mendiskusikan dan memahami urutan dalam pembuatan disain Monev b. Fasilitator memantau jalannya diskusi kelompok. 3. Berbagi hasil diskusi (15 menit) Fasilitator menunjuk salah satu dari kelompok peserta untuk berdiri membacakan hasil diskusinya dan meminta kelompok lain untuk menanggapi ataupun memberikan saran.
12
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Gambar 1.1 : Langkah Kegiatan Pemahaman Disain Monev
5 menit
30 menit
10 menit
Pengantar Singkat oleh fasilitator 1
Diskusi kelompok tentang urutan dalam pembuatan disain Monev 2
Berbagi hasil diskusi 3
Format 1.1 : Pemahaman Langkah pembuatan disain Monev Urutan Langkah Kerja
Definisi/Penjelasan
Pendahuluan
BAHAN BACAAN UNTUK FASILITATOR DAN PESERTA Monitoring dan Evaluasi (M&E) merupakan dua kegiatan terpadu dalam rangka pengendalian suatu program. Meskipun merupakan satu kesatuan kegiatan, Monitoring dan Evaluasi mempunyai fokus yang agak berbeda satu sama lain. Namun yang terpenting dengan sistem M&E adalah bagaimana pelaksana program dapat memperoleh data/informasi secara akurat dan tepat waktu serta menggunakannya untuk perbaikan pelaksanaan program. Tersedianya informasi M&E kurang bermanfaat bilamana tidak diterjemahkan dalam bentuk tindakan nyata atau dipakai dalam pengambilan keputusan terkait dengan perbaikan pelaksanaan program. Di sisi lain tersedianya informasi M&E yang tidak akurat dapat menyebabkan kesalahan dalam pengambilan keputusan (false-alarm). Oleh karena itu sistem M&E harus dirancang sedemikan rupa sehingga memungkinkan tersedianya data/informasi M&E yang akurat dan tepat waktu.
13
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Adapun tahapan dalam pembuatan disain atau rancangan M&E dimulai dari membuat pendahuluan yaitu yang berisi latar belakang mengapa harus dilaksanakan M&E. Selanjutnya menentukan dasar hukum yang menjadi acuan sesuai dengan program yang akan di Monev. Selanjutnya menjelaskan pengertian M&E untuk memperkuat penjelasan M&E itu sendiri. Tahap selanjutnya adalah membuat prinsip dasar M&E yang disesuaikan dengan kebutuhan program yang akan dimonitoring dan dievaluasi dilanjutkan dengan menentukan program yang akan dimonitoring dan dievaluasi. Setelah selesai, selanjutnya pada tahap merumuskan tujuan, manfaat M&E, rencana kerja M&E, tempat pelaksanaan M&E, pelaksana M&E, sistem pelaksanaan M&E, metode pelaksanaan M&E, dan pelaporan serta diseminasi M&E disesuaikan dengan program yang telah ditentukan untuk dilaksanakannya system M&E tersebut.
14
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Pengembangan Pendahuluan Monev Waktu : 2 jam
PENGANTAR PP No.39/2006 tentang Tata Cara Pengendalian dan Evaluasi Pelaksanaan Rencana Pembangunan menuntut adanya sebuah sistem yang mengawasi dalam setiap pelaksanaan program. Sebelum program dijalankan pastilah ada dasar atau disain yang dibuat sebagai patokan dalam menjalankan. Dari pendahuluan hingga metode yang digunakan. Pendahuluan adalah hal utama yang menjadi pondasi dalam menyusun disain suatu program. Pada pembahasan tentang pengembangan pendahuluan ini, fasilitator mendorong kepada peserta untuk dapat menemukan permasalahan dan mengembangkannya menjadi latar belakang pada pokok bahasan ini.
TUJUAN Setelah mengikuti program pelatihan, para peserta diharapkan mampu: • Mengembangkan pendahuluan disain Monev
BAHAN DAN ALAT 1. 2. 3. 4.
Tayangan tentang langkah pembuatan pendahuluan Lembar kerja peserta Format 1.2 Contoh Program yang dibawa peserta pelatihan ATK : Kertas Plano, Spidol berwarna,
15
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
LANGKAH KEGIATAN 1. Pengantar Singkat oleh Fasilitator (10 menit) Fasilitator memberikan pengantar singkat tentang rencana kegiatan dan kompetensi yang diharapkan setelah mengikuti kegiatan. 2. Diskusi Kelompok Tentang Merumuskan Pendahuluan (45 menit) a. Fasilitator membagi peserta ke dalam kelompok dengan tiap kelompok beranggotakan 4 orang. Tiap kelompok mendiskusikan tentang apa saja yang terdapat dalam pendahuluan kemudian merumuskannya seperti latar belakang, dasar hukum, pentingannya Monev, dll. b. Fasilitator membantu diskusi kelompok dan menjawab pertanyaan dari peserta bila ada yang bertanya. 3. Tayangan tentang runtuhnya jembatan megah kutai kartanegara (5 menit) Fasilitator menayangkan tentang runtuhnya jembatan megah kutai kartanegara sebagai penguatan pada pendahuluan dan contoh suatu program tanpa adanya sistem Monev yang baik. 4. Berbagi hasil diskusi (15 menit) Dua orang dari perwakilan kelompok mengunjungi kelompok lain untuk mendapatkan informasi kerja kelompok tersebut dan mengomentari hasil kerja kelompok yang dikunjungi, sedangkan dua orang yang tinggal, memaparkan hasil kelompoknya kepada pengunjung yang datang dan menjawab semua pertanyaan yang di sampaikan oleh pengunjung. Fasilitator mengamati jalannya diskusi agar dapat memberikan masukan. 5. Membuat Pendahuluan sesuai program yang dibawa peserta pelatihan (40 menit) Setelah peserta berdiskusi dan berbagi diskusi, fasilitator meminta peserta untuk membuat pendahuluan secara individu di kertas yang telah disediakan oleh fasilitator sesuai dengan program yang dibawa peserta pelatihan per Kabupaten/Kota. Gambar 1.2 : Langkah Kegiatan Pengembangan Pendahuluan Monev
16
10 menit
45 menit
5 menit
Pengantar Singkat oleh fasilitator 1
Diskusi kelompok tentang merumuskan pendahuluan 2
Tayangan tentang runtuhnya jembatan megah kutai kartanegara 3
Membuat pendahuluan 5
Berbagi hasil diskusi 4
40 menit
20 menit
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Format 1.2 : Pengembangan Pembuatan Pendahuluan
Format 1.2 : Pengembangan Pembuatan Pendahuluan Pendahuluan
Definisi/Penjelasan
Pendahuluan Dasar hukum Pengertian M&E Prinsip Dasar M&E Contoh program yang akan di Monitoring dan Evaluasi
BAHAN BACAAN UNTUK FASILITATOR DAN PESERTA Runtuhnya jembatan megah di Kutai Kartanegara membuat banyak pertanyaan bagi masyarakat. Pertanyaan yang muncul diantaranya, apakah disainnya yang salah? Apakah pelaksanaan pembangunannya yang tidak sesuai disain?. Apakah saat pemeliharaan tidak memperhatikan struktur bangunan? Semua ini merupakan jenis-jenis pertanyaan yang merupakan bagian dari Monitoring dan Evaluasi (M&E). Banyak daerah yang tidak menganggap betapa pentingnya melakukan M&E dalam suatu program. Bahkan ada program yang tidak pernah di monitor dan di evaluasi sama sekali. Akibatnya, berbagai kesalahan dalam implementasi program dapat berulang setiap tahun tanpa ada upaya perbaikan. Suatu program tanpa M&E sangat rentan dengan bahaya, karena: a) penilaian kinerja pembangunan dan pengambilan keputusan terbatas pada ketersediaan informasi parsial; b) tidak sejalan dengan prinsip pengelolaan program yang baik–manajemen berbasis kinerja; c) lemahnya mekanisme checks and balance; dan e) bertentangan dengan semangat akuntabilitas dan transparansi sebagaimana disebutkan dalam good governance. Untuk itu, setiap perencanaan program pembangunan sebaiknya juga disertai dengan rencana M&E nya. Mengingat pentingnya kebutuhaan akan hal ini, maka diperlukan suatu panduan sistem perencanaan M&E sebuah program di level kabupaten-kota, sehingga pelaksanaannya sesuai harapan.
Dasar Hukum Pelaksanaan M&E diatur dalam berbagai ketentuan mengikat diantaranya, a) b) c) d) e) f )
Inpres No. 7 Tahun 1999 tentang Laporan Akuntabilitas Kinerja UU No. 25 Tahun 2004 tentang Sistem Perencanaan Pembangunan Nasional (SPPN) PP No.8/2006 tentang Pelaporan Keuangan dan Kinerja Instansi Pemerintah PP No.39/2006 tentang Tata Cara Pengendalian dan Evaluasi Pelaksanaan Rencana Pembangunan PP No.7/2008 tentang Dekonsentrasi dan Tugas Pembantuan Pasal 31 ayat 4c dan Pasal 61 ayat 6 Perda kabupaten Bumi Lemoung No. 1 Tahun 2012 tentang Pelaksanaan Manajemen Keuangan daerah
17
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Pengertian M&E Kegiatan monitoring lebih terfokus pada pengawasan kegiatan yang sedang dilaksanakan. Monitoring dilakukan dengan cara memperoleh informasi secara regular berdasarkan indikator tertentu, untuk mengetahui apakah kegiatan yang sedang berlangsung sesuai dengan rencana dan prosedur yang telah disepakati. Indikator monitoring mencakup esensi aktivitas dan target yang ditetapkan pada awal perencanaan program. Apabila monitoring ini dilakukan dengan baik akan bermanfaat dalam menjaga proses pelaksanaan kegiatan tetap pada jalurnya (sesuai pedoman dan perencanaan program), dan memberikan informasi kepada pengelola program bilamana terjadi hambatan dan penyimpangan, serta sebagai masukan dalam melakukan evaluasi. KOTAK 1 : Pengertian Monitoring Monitoring adalah proses pengumpulan dan analisis informasi (berdasarkan indikator yg ditetapkan) secara sistematis dan kontinu tentang kegiatan program/proyek sehingga dapat dilakukan tindakan koreksi untuk pen-sempurnaan program/proyek itu selanjutnya
Evaluasi lebih tertuju pada kajian terhadap hasil suatu program. Evaluasi dilakukan secara periodik merupakan suatu proses yang sistematis dalam mengumpulkan, meng-analisis, dan menafsirkan data untuk mengetahui tingkat keberhasilan pelaksana-an suatu program, serta untuk mengetahui komponen program mana yang berhasil dan mana yang tidak berhasil. Hal ini dapat dipakai sebagai bahan koreksi untuk perbaikan ataupun pengambilan keputusan dalam menentukan arah kebijakan program mendatang. Evaluasi dapat dilakukan secara formative (dilakukan selagi program masih berjalan) dengan tujuan untuk memperbaiki strategi pelaksanaan program, ataupun secara summative yang dilakukan setelah program selesai sebagai bahan pembelajaran bagi pelaksanaan program sejenis dimasa mendatang. KOTAK 2 : Pengertian Evaluasi Evaluasi adalah proses penilaian pencapaian tujuan dan pengungkapan masalah kinerja program/proyek untuk memberikan umpan balik bagi peningkatan kualitas kinerja program/ proyek.
18
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Prinsip Dasar M&E Adapun prinsip dasar M&E adalah: 1) Sistem M&E dibuat sederhana; disesuaikan dengan kapasitas dan sumber daya yang tersedia. Hal ini untuk menghindari kesulitan implementasi dilapangan. 2) Tujuan yang jelas, kegiatan M&E difokuskan pada hal-hal yang relevan dengan tujuan dari monitoring itu sendiri yang dikaitkan dengan aktivitas dan tujuan program. Jangan mengumpulkan data yang tidak relevan dengan kebutuhan program. Perlu dibuat logframe, intervention logic model, dan rencana kerja M&E yang antara lain mencakup rincian indikator kinerja yang akan dipantau. 3) Dilakukan tepat waktu; ini merupakan esensi monitoring karena ketersediaan data on-time diperlukan bagi pihak manajemen/pengguna data untuk penyelesaian masalah secara tepat waktu. Selain itu ketepatan waktu monitoring juga penting untuk mendapatkan data akurat dalam memantau obyek tertentu pada saat yang tepat. 4) Informasi hasil M&E harus akurat dan objektif; informasi tidak akurat dan objektif bisa menyebabkan false alarm. Perlu mekanisme untuk check konsistensi dan akurasi data. 5) Sistem M&E bersifat partisipatif dan transparan; perlu pelibatan semua stakeholders dalam penyusunan design dan implementasinya, serta hasilnya dapat diakses oleh semua pihak. 6) Sistem M&E dibuat flexible; dalam artian tidak kaku tapi bisa disesuaikan dengan kebutuhan dan kondisi tapi masih dalam batas koridor SOP. 7) Bersifat action-oriented; monitoring diharapkan menjadi basis dalam pengambilan keputusan dan tindakan. Oleh karena itu sejak awal perlu dilakukan analisa kebutuhan informasi untuk menjamin bahwa data monitoring akan digunakan untuk melakukan tindakan. 8) Kegiatan M&E dilakukan secara cost-effective. 9) Unit M&E terdiri dari para specialists yang tidak hanya bertugas mengumpulkan data tetapi juga melakukan analisa masalah dan memberikan rekomendasi pemecahan masalah secara praktis.
Contoh Program yang Akan Dimonitoring dan Dievaluasi Pengembangan disain M&E selalu diawali dengan deskripsi ringkas atas program yang akan dimonitoring dan dievaluasi. Untuk kepentingan ini, program yang akan dijadikan contoh adalah program BOSDA berbasis formula di Kab. Bumi Lemoung (fiktif ). Secara ringkas apa dan mengapa program tersebut dijelaskan dalam Kotak 3: Apa dan Mengapa BOSDA.
19
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
KOTAK 3 : Apa dan Mengapa BOSDA BOSDA adalah bantuan operasional sekolah yang berasal dari anggaran pemerintah daerah (APBD) yang ditujukan untuk mendukung dana BOS yang berasal dari pemerintah pusat. Istilah yang digunakan untuk BOSDA di masing-masing daerah biasanya sangat beragam, misalnya Bantuan Operasional Pendidikan (BOP), Bantuan untuk Pendidikan Gratis, dan lain sebagainya. Penyediaan BOSDA oleh pemerintah daerah ini mengacu pada UU No. 32 Tahun 2004 tentang Pemerintahan Daerah yang menyebutkan bahwa penyelenggaraan pendidikan merupakan salah satu urusan wajib yang menjadi kewenangan pemerintah daerah. BOSDA berbasis formula adalah pengembangan dari BOSDA yang berorientasi sama dengan BOS, dimana sebagian besar BOSDA disalurkan menggunakan formula yang sama dengan yang digunakan oleh BOS nasional, yaitu per siswa per tahun. BOSDA berbasis formula ini mempertimbangkan berbagai karakteristik wilayah termasuk kondisi geografis, profil pendidikan, serta hasil pendidikan yang ingin dicapai.
Tujuan BOSDA Secara umum program BOSDA di Kab. Bumi Lemoung bertujuan untuk meringankan biaya operasional sekolah dan memperkuat implementasi manajemen berbasis sekolah (MBS). Sedangkan tujuan khusus program BOSDA di Kab. Bumi Lemoung yaitu : a) Mengurangi kesenjangan dan ketimpangan pendapatan dana operasional antarsekolah berdasarkan karakteristik daerah b) Membebaskan pungutan biaya operasi sekolah untuk siswa sekolah negeri (SD/SMP). c) Membebaskan pungutan biaya operasional sekolah untuk siswa miskin di sekolah swasta (SD/SMP). d) Meringankan biaya operasional sekolah untuk siswa non miskin disekolah swasta (SD/SMP). e) Pengelolaan sekolah menjadi lebih transparant, akuntabel, dan pastisipatif.
Manfaat BOSDA Manfaat BOSDA antara lain: a) Meningkatkan rasa keadilan dalam pendapatan operasional antarsekolah negeri dan swasta yang berdasarkan kriteria daerah b) Meransang siswa sekolah negeri dan siswa sekolah swasta miskin untuk lebih berprestasi dengan dibebaskannya dari pungutan biaya sekolah c) Membantu meringankan biaya siswa sekolah swasta non miskin
20
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Pengembangan Intervention Logic Monev Waktu : 1 jam 30 menit
PENGANTAR Intervention Logic adalah gambaran umum dari sebuah program. Mulai dari masukan hingga keluaran yang dihasilkan oleh suatu program. Dengan intervention logic sebagai dasarnya dapat dikembangkan pada logframe dan untuk merumuskan tujuan yang ingin dicapai suatu program. Pada pembahasan Intervention Logic ini, fasilitator mendorong para peserta agar mampu membuat dan mengembangkan Intervention Logic sesuai dengan program yang dijalankan
TUJUAN Setelah mengikuti program pelatihan, para peserta diharapkan mampu: • Mengembangkan Intervention Logic disain Monev
BAHAN DAN ALAT 1. 2. 3. 4.
Tayangan tentang langkah pembuatan Intervention Logic Lembar kerja peserta Format 1.3 Contoh program yang dibawa peserta pelatihan ATK : Kertas Plano, Kertas Karton, Double Tape, Spidol Berwarna
LANGKAH KEGIATAN 1. Pengantar Singkat oleh Fasilitator tentang Intervention Logic (10 menit) Fasilitator memberikan pengantar singkat tentang apa itu logframe dan bagaimana cara membuat Intervention Logic yang baik. 2. Diskusi Kelompok Tentang Intervention Logic (35 menit) a. Fasilitator membagi peserta ke dalam kelompok dengan tiap kelompok beranggotakan 4-6 oarang. Tiap kelompok mendiskusikan tentang apa saja yang terdapat intervention logic, kemudian merumuskannya seperti masukan, kegiatan, keluaran, hasil , dan dampak. b. Fasilitator membantu diskusi kelompok dan menjawab pertanyaan dari peserta bila ada yang bertanya. Setelah selesai hasil diskusi ditilus di kertas plano kemudian saling tukar untuk diberikan komentar dari kelompok lain.
21
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
3. Berbagi hasil diskusi (15 menit) Tiga orang dari perwakilan kelompok mengunjungi kelompok lain untuk berbelanja informasi hasil kerja kelompok yang dipajang di dinding dan mengomentari hasil kerja kelompok yang dikunjungi, sedangkan tiga orang yang tinggal, memaparkan hasil kelompoknya kepada pengunjung yang datang dan menjawab pertanyaan dari pengunjung. Fasilitator mengamati jalannya diskusi agar dapat memberikan masukan. 4. Membuat Intervention Logic (30 menit) Fasilitator meminta peserta pelatihan untuk membuat Intervention logic sesuai dengan program yang dibawa masing-masing peserta pelatihan per Kabupaten/Kota. Gambar 1.3 : Langkah Kegiatan Pengembangan Intervention Logic
10 menit
35 menit
15 menit
30 menit
Pengantar Singkat oleh fasilitator tentang Intervention Logic 1
Diskusi kelompok tentang merumuskan pendahuluan 2
Berbagi hasil diskusi 3
Membuat Intervention Logic 4
Format 1.3 : Pengembangan Intervention Logic KOMPONEN
Result
KET Hasil (Outcome)
Hasil evaluasi Hasil Monitoring
Keluaran (Output) Implementation
Kegiatan Masukan (Input)
22
Pelaksanaan Monitoring
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
BAHAN BACAAN UNTUK FASILITATOR DAN PESERTA Setiap program perlu untuk dimonitoring dan di evaluasi. Untuk kepentingan tersebut tentunya harus tahu apa saja yang akan dilihat dan diukur. Hal-hal tesebut dapat dituliskan dalam model Intervention Logic, seperti pada Tabel 1. Tabel 1.1 : Model Intervention Logic
Result
Hasil (Outcome) Keluaran (Output)
Implementation
Kegiatan Masukan (Input)
Efek jangka menengah yang dihasilkan dari outputs
Hasil evaluasi Hasil Monitoring
Barang dan jasa yang dihasilkan Kegiatan yang dilakukan untuk merubah input menjadi output
Pelaksanaan Monitoring
Sumber Daya: manusia, dana, materi, jadwal, sosialisasi, dll
Berdasar tabel 1, dapat dikembangkan contoh Intervention Logic pada Program BOSDA yang terpapar pada Kotak 4.
23
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Kotak 4 : Intervention Logic BOSDA
Result
Hasil (Outcome)
• Hasil (R) 1: meningkatnya tata kelola sekolah dalam pengelolaan dana di sekolah termasuk BOSDA secara transparan dan akuntabel untuk memperkuat penerapan MBS. • Hasil (R) 2: Berkurangnya kesenjangan dan ketimpangan pendapatan dana operasional antarsekolah berdasarkan karakteristik daerah • IR 1 #1 :Meningkatnya akses publik terhadap informasi dana yang diterima sekolah termasuk BOSDA • IR 1 #2 : Meningkatnya ketepatan penggunaan dana BOSDA sesuai kebutuhan sekolah dan peraturan program
Keluaran (Output)
Hasil evaluasi
Hasil Monitoring
Pelaksanaan Monitoring
IR 2 #1 : seluruh sekolah negeri dan swasta yang menerima dana BOS lebih sedikit mendapat dana BOSDA lebih besar saat penyaluran dana BOSDA berformula IR 2 #2 : Seluruh siswa negeri dan swasta miskin terbebas dari biaya operasional sekolah. IR 2 #3 : Seluruh siswa swasta non miskin mendapat keringanan biaya operasional sekolah
Implementation
• KIR 1 #1: dilaksanakan sosialisasi program BOSDA Kegiatan
• KIR 1 #2: Dilakukannya penyaluran dana BOSDA sesuai jadwal • KIR 2 #1: Dilakukannya analisis profil sekolah untuk mendapatkan data sekolah penerima BOSDA • MKIR 1 #1: Adanya tim pelaksana program BOSDA • MKIR 1 #2 : Adanya panduan pelaksanaan program BOSDA
Masukan (Input)
• MKIR 1 #3 Adanya jadwal pelaksanaan program BOSDA • MKIR 1 #4: Adanya alokasi dana BOSDA dalam APBD • MKIR 2 #1: adanya profil sekolah • MKIR 2 #2: adanya profil siswa
24
Pelaksanaan Monitoring
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
J
Unit 2 Langkah Perumusan Awal Disain
25
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Perumusan Tujuan dan Manfaat Monev Waktu : 1 jam
PENGANTAR Tujuan sebuah program adalah dasar yang ingin dicapai program tersebut, dengan adanya tujuan, program akan memiliki sebuah progres untuk mencapai tujuan tersebut. Sedangkan setiap program dibuat pastilah memiliki manfaat tersendiri, baik secara umum maupun secara khusus. Pada pembahasan ini fasilitator memotivasi peserta agar mampu untuk mengembangkan tujuan dan manfaat dari sistem Monev pada Program yang dijadikan contoh.
TUJUAN Setelah mengikuti program pelatihan, para peserta diharapkan mampu: • Merumuskan tujuan disain Monev • Merumuskan manfaat disain Monev
BAHAN DAN ALAT 1. 2. 3. 4.
Tayangan tentang langkah pembuatan tujuan dan manfaat Lembar kerja peserta Format 2.1 Contoh program yang dibawa oleh peserta pelatihan ATK : Kertas Plano, Spidol Berwarna
LANGKAH KEGIATAN 1. Pengantar Singkat oleh Fasilitator (5 menit) Fasilitator memberikan pengantar singkat tentang apa itu tujuan dan manfaat dari sebuah program, dan menginformasikan cara merumuskan tujuan dan manfaat tersebut 2. Diskusi Kelompok Tentang Tujuan dan Manfaat dari sebuah program (30 menit) a. Fasilitator membagi peserta ke dalam kelompok dengan tiap kelompok beranggotakan 4-6 oarang. Tiap kelompok mendiskusikan tentang apa saja yang menjadi tujuan dan manfaat dari program, kemudian menuliskannya pada kertas plano. b. Fasilitator meminta salah satu dari perwakilan kelompok maju untuk mempresentasikan hasil diskusinya, dan meminta kelompok lain untuk memberi tanggapan.
26
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
3. Berbagi hasil diskusi (15 menit) Fasilitator meminta setiap kelompok untuk saling tukar hasil diskusi dan mengomentari hasil diskusi tersebut. Fasilitator mengamati jalannya diskusi agar dapat memberikan masukan. 4. Merumuskan Tujuan dan Manfaat( 10 Menit) Fasilitator meminta peserta pelatihan untuk membuat tujuan dan manfaat dari program yang dibawa masing-masing peserta pelatihan per Kabupaten/Kota. Gambar 2.1 : Langkah Kegiatan Perumusan Tujuan dan Manfaat Monev
5 menit
30 menit
15 menit
10 menit
Pengantar Singkat oleh fasilitator 1
Diskusi kelompok tentang Tujuan dan Manfaat dari sebuah program 2
Berbagi hasil diskusi 3
Merumuskan Tujuan dan Manfaat 4
Format 2.1 : Perumusan Tujuan dan Manfaat Monev Tujuan Monev
Manfaat Monev
27
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
BAHAN BACAAN UNTUK FASILITATOR DAN PESERTA Monitoring dan Evaluasi (M&E) merupakan dua kegiatan terpadu dalam rangka pengendalian suatu program. Meskipun merupakan satu kesatuan kegiatan, Monitoring dan Evaluasi mempunyai fokus yang agak berbeda satu sama lain. Secara umum manfaat dari penerapan sistem monitoring dan evaluasi dalam suatu program adalah sebagai berikut: (a) Monitoring dan Evaluasi (M&E) sebagai alat untuk mendukung perencanaan. • Penerapan sistem M&E yang disertai dengan pemilihan dan penggunaan indikator akan memperjelas tujuan serta arah kegiatan untuk pencapaian tujuan tersebut. • Pemilihan indikator program yang melibatkan berbagai pihak secara partisipatif tidak saja berguna untuk mendapatkan indikator yang tepat tetapi juga akan mendorong ownership dari berbagai pihak untuk mendukung suksesnya program. (b) Monitoring dan Evaluasi (M&E) sebagai alat untuk mengetahui kemajuan program. • Adanya sistem M&E yang berfungsi dengan baik memungkinkan pelaksana program mengetahui kemajuan serta hambatan atau hal-hal yang tidak diduga yang secara potensial dapat menghambat jalannya program secara dini. Hal terakhir bermanfaat bagi pelaksana program untuk melakukan tindakan secara tepat waktu dalam mengatasi masalah. • Informasi hasil M&E dapat memberikan umpan balik kepada pelaksana program tentang hasil capaian program, dalam arti sesuai atau tidak sesuai dengan yang diharapkan. Bilamana hasil program belum sesuai dengan harapan maka pelaksana program dapat melakukan tindakan penyesuaian atau koreksi secara tepat dan cepat sebelum program terlanjur berjalan tidak pada jalurnya. Dengan demikian informasi hasil M&E bermanfaat dalam memperbaiki jalannya implementasi program. (c) Monitoring dan Evaluasi (M&E) sebagai alat akuntabilitas program dan advokasi. • M&E tidak hanya memantau aktivitas program tetapi juga hasil dari aktivitas tersebut. Informasi pemantauan terhadap luaran dan hasil (output dan outcome) program yang dipublikasikan dan dapat diakses oleh pemangku kepentingan akan meningkatkan akuntabilitas program. • Informasi hasil M&E dapat dipakai sebagai bahan masukan untuk advokasi program kepada para pemangku kepentingan. • Informasi tersebut akan memicu dialog dan pembelajaran serta memacu keikutsertaan para pemangku kepentingan untuk secara bersama-sama mendukung suksesnya program.
Perumusan Tujuan M&E Secara umum tujuan pelaksanaan M&E adalah; a. Mengkaji apakah kegiatan-kegiatan yang dilaksanakan telah sesuai dengan rencana b. Mengidentifikasi masalah yang timbul agar langsung dapat diatasi c. Melakukan penilaian apakah pola kerja dan manajemen yang digunakan sudah tepat untuk mencapai tujuan proyek. d. Mengetahui kaitan antara kegiatan dengan tujuan untuk memperoleh ukuran kemajuan, e. Menyesuaikan kegiatan dengan lingkungan yang berubah, tanpa menyimpang dari tujuan.
28
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Dari tujuan umum pelaksanaan M&E diperoleh informasi bahwa tujuan utama M&E adalah memberikan gambaran leng-kap tentang implementasi program serta hasil capaian-nya; terutama untuk menge-tahui apa yang berhasil, apa yang tidak berhasil dan meng-apa hal tersebut terjadi? Informasi ini berguna bagi pengambil keputusan untuk melakukan penyesuaian dan perbaikan guna mencapai target yang telah ditetapkan secara efektif dan efisien. KOTAK 5 : Tujuan Pelaksanaan M&E BOSDA 1. Memastikan bahwa proses BOSDA dilaksanakan sesuai rencana 2. Mengidentifikasi kemungkinan permasalahan yang akan timbul dalam pelaksanaan dan penyaluran BOSDA dan mencari penyelesaiannya 3. Melakukan penilaian pada pola kerja manajemen BOSDA 4. Menyesuaian kegiatan dengan tujuan sebagai tolak ukur untuk melakukan perbaikan program BOSDA
Perumusan Manfaat M&E Manfaat M&E dapat dilihat dari 2 (dua) sisi, yaitu manfaat bagi pihak Penanggung Jawab Program dan manfaat bagi Pengelola Proyek, yaitu Bagi pihak Penanggung Jawab dan Pengelola Program : • Salah satu fungsi manajemen yaitu pengendalian atau supervisi. • Sebagai bentuk pertanggungjawaban (akuntabilitas) kinerja • Untuk meyakinkan pihak-pihak yang berkepentingan • Membantu penentuan langkah-langkah yang berkaitan dengan kegiatan proyek selanjutnya. • Sebagai dasar untuk melakukan M&E selanjutnya. • Membantu untuk mempersiapkan laporan dalam waktu yang singkat • Mengetahui kekurangan-kekurangan yang perlu diperbaiki dan menjaga kinerja yang sudah baik. • Sebagai dasar (informasi) yang penting untuk melakukan evaluasi proyek. Bagi pihak penerima dana BOSDA: • Meringankan beban biaya operasional sekolah • Memacu diri untuk meningkatkan prestasi • Memacu semangat untuk meraih cita-cita Berdasarkan program BOSDA yang dijadikan sebagai contoh, maka dapat dirumuskan manfaat M&E seperti pada Kotak 6 berikut.
29
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Kotak 6 : Manfaat Pelaksanaan M&E BOSDA 1. Memantau kemajuan pelaksanaan BOSDA sesuai dengan rencana dan target. 2. Mengidentifikasi masalah yang terjadi pada program BOSDA dan menemukan cara mengatasinya. 3. Memantau pola kerja program BOSDA. 4. Melihat kesesuaian kegiatan dengan tujuan sebagai tolak ukur untuk melakukan perbaikan program BOSDA
30
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Pengembangan Rencana Waktu dan Tahapan Pelaksanaan Monev Waktu : 1 jam 30 menit
PENGANTAR Rencana waktu dan tahapan pelaksanaan adalah salah satu dari kesatuan sebuah program dimana kedua hal tersebut tidak dapat dipisahkan, tahapan pelaksanaan tidak akan berjalan apabila waktu belum direncanakan, begitu juga seballiknya. Oleh karena itu, kedua hal tersebut sangatlah memerlukan ketepatan dan kematangan dalam merumuskannya. Pada sub bahasan ini fasilitator mengarahkan peserta didik untuk dapat membuat rancangan waktu yang sesuai dengan langkah kerja.
TUJUAN Setelah mengikuti program pelatihan, para peserta diharapkan mampu: • Mengembangkan rencana waktu disain Monev • Mengembangkan tahapan pelaksanaan disain Monev
BAHAN DAN ALAT 1. 2. 3. 4.
Tayangan tentang langkah pembuatan rencana waktu dan tahapan pelaksanaan Lembar kerja peserta Format 2.2 Contoh program yang dibawa oleh peserta pelatihan ATK : Kertas Plano, Double Tape, Spidol Berwarna
LANGKAH KEGIATAN 1. Pengantar Singkat oleh Fasilitator (10 menit) Fasilitator memberikan pengantar singkat tentang bagaimana merumuskan rencana waktu dan tahapan pelaksanaan sebuah program. 2. Diskusi Kelompok Tentang Rencana Waktu dan Tahapan Pelaksanaan (30 menit) a. Fasilitator membagi peserta ke dalam kelompok dengan tiap kelompok beranggotakan 4-6 oarang. Tiap kelompok mendiskusikan tahapan pelaksanaan dan waktu untuk menjalankan tahapan tersebut sesuai program dan menuliskan di kertas plano b. Fasilitator meminta peserta dalam kelompok untuk mencari sebanyak mungkin tahapan pelaksanaan untuk sebuah program, dari awal hingga akhir.
31
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
3. Berbagi hasil diskusi (20 menit) a. Fasilitator menawarkan kepada kelompok yang menemukan langkah terbanyak untuk maju menuliskannya. b. Fasilitator meminta kelompok lain untuk mengomentari atau memberikan ide-ide baru dalam tahapan pelaksanaan dari yang sudah ditulis. c. Fasilitator memberi penguatan terhadap tahapan pelaksanaan sebuah program dengan menggaris bawahi dari tahapan yang telah dibuat peserta yang maju dan memberi tambahan apabila masih ada yang kurang tentang garis besar tahapan pelaksanaan program. 4. Membuat tahapan pelaksanaan dengan rencana waktu (30 menit) Faslitator meminta peserta pelatihan membuat tahapan dan rencana waktu dari program yang dibawa masing-masing peserta per Kabupaten/Kota. Gambar 2.2 : Langkah Kegiatan Rencana Waktu dan Tahapan Pelaksanaan Monev
10 menit
30 menit
20 menit
30 menit
Pengantar Singkat oleh fasilitator 1
Diskusi kelompok tentang rencana waktu dan tahapan pelaksanaan sebuah program 2
Berbagi hasil diskusi tentang tahapan pelaksanaan 3
Membuat tahapan pelaksanaan dengan rencana waktu 4
Format 2.2 : Rencana Waktu dan Tahapan Pelaksanaan Waktu
32
Tahap Pelaksanaan
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
BAHAN BACAAN UNTUK FASILITATOR DAN PESERTA M&E merupakan proses berkelanjutan yang dilakukan selama berlangsungnya program. Setiap tahapan pelaksanaan program harus di-monitor melalui pengumpulan dan analisis data yang berkelanjutan selama berlangsungnya program. Sementara, evaluasi bisa dilakukan pada awal, pertengahan atau akhir program. Namun demikian kegiatan evaluasi harus direncanakan sejak dini termasuk pelaksanaan pengumpulan data dasar (baseline) pada awal pelaksanaan program. M&E harus dilakukan tepat waktu, jangan terlalu sering (mubazir) tetapi juga jangan terlampau jarang (akan terlambat untuk mengambil tindakan/perbaikan). Pada Kotak 7 dapat dilihat rencana waktu dan tahapan rencana kerja M&E atas program BOSDA yang dijadikan contoh. Model ini dibuat dalam bentuk matriks yang memuat jadwal setiap tahapan yang direncanakan.
Kotak 7 : Waktu dan Tahapan Pelaksanaan M&E BOSDA Bulan Ke
Tahap pelaksanaan M&E 1. Pengembangan disain M&E 2. Uji coba finalisasi instrumen 3. Pelatihan petugas M&E 4. Pengambilan data 5. Validasi data 6. Analisis Data 7. Pelaporan 8. Desiminasi
1
2
3
4
5
6
7
8
9
10
11
12
33
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
K 34
Unit 3 Struktur dan Diagram Sistem
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Pengembangan Struktur Organisasi Pelaksana Monev Waktu : 1 jam 30 menit
PENGANTAR Dalam sebuah program terdapat orang atau lembaga yang menjadi motor penggerak program tersebut. Orang atau lembaga tersebut memiliki fungsi dan peran masing-masing dan memiliki garis komando dan koordinasi antar orang atau lembaga sehingga mempermudah jalur komunikasi ataupun jalur pelaksanaan sebuah program.
TUJUAN Setelah mengikuti program pelatihan, para peserta diharapkan mampu: • Mengembangkan struktur organisasi pelaksana Monev
BAHAN DAN ALAT 1. 2. 3. 4.
Tayangan tentang langkah pembuatan struktur organisasi pelaksana Lembar kerja peserta Format 3.1 Contoh program yang dibawa peserta pelatihan ATK : Kertas Plano, Double Tape, Spidol Berwarna
LANGKAH KEGIATAN 1. Pengantar Singkat oleh Fasilitator (5 menit) Fasilitator memberikan pengantar singkat cara menyusun stukrur organisasi pelaksana yang baik. 2. Diskusi Kelompok Tentang Stukrut Organisasi Pelaksana (45 menit) a. Fasilitator membagi peserta ke dalam kelompok dengan tiap kelompok beranggotakan 4-6 orang. Tiap kelompok mendiskusikan siapa saja yang berperan sebagai organisasi pelaksana dan menuliskannya dalam kertas plano. b. Fasilitator mengawasi jalannya diskusi dan memberi bantuan kepada kelompok yang berjalan kurang aktif. 3. Berbagi hasil diskusi (15 menit) a. Fasilitator meminta kelompok untuk memajang hasil diskusinya di meja kelompok. b. Dua orang dari kelompok berjalan mengunjungi kelompok lain untuk melihat hasil kerja kelompok lain dan membandingka dengan hasil kerja kelompok sendiri. Sementara empat orang yang tinggal bertugas untuk menerangkan kepada pengunjung tentang hasil kerja kelompok mereka. 4. Membuat struktur organisasi pelaksana (15 Menit) Fasilitator meminta peserta pelatihan untuk membuat struktur organisasi pelaksan sesuai program yang dibawa masing-masing peserta pelatihan per Kabupaten/Kota.
35
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Gambar 3.1 : Langkah Kegiatan Pengembangan Struktur Organisasi Pelaksana Monev
5 menit
45 menit
15 menit
25 menit
Pengantar Singkat oleh fasilitator 1
Diskusi kelompok tentang struktur organisasi pelaksana 2
Berbagi hasil diskusi 3
Membuat struktur organisasi pelaksana 4
Format 3.1 : Individu, Organisasi dan Lembaga Terkait Individu
Organisasi
Lembaga
BAHAN BACAAN UNTUK FASILITATOR DAN PESERTA Secara umum pelaksana M&E adalah orang yang berkepentingan dengan implementasi sebuah program yaitu para pengelola program pada tiap tingkatan administrasi, masyarakat, dan pemberi dana. Selain itu, untuk kepentingan pertanggungjawaban publik, M&E juga dilakukan oleh auditor pemerintah, seperti inspektorat, BPKP, BPK dll. Memperhatikan hal di atas, maka struktur pelaksana M&E untuk program BOSDA di Kab. Bumi Lemoung dapat dilihat seperti pada Kotak 8.
36
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Kotak 8 : Struktur Organisasi Pelaksana Program M&E BOSDA
Kabupaten Bumi Lemoung Kepala Dinas
Kasi MONEV
- Kabag Perencanaan - Kabag DIKDAS PJOK
Sekolah
Kasi Pendataaan Tim Pelaksana Pengawas Sekolah Kasi SD
Kasi SMP
Keterangan Komando Koordinasi
37
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Pengembangan Diagram Sistem Pelaksanaan Monev Waktu : 1 jam 30 menit
PENGANTAR Diagram adalah gambaran (buram/sketsa) untuk memperlihatkan atau menerangkan sesuatu dan merupakan alat yang digunakan dalam waktu singkat yang dapat menunjukkan pasangan-pasangan yang berurutan dan hubungan antara pasangan-pasangan. Pada pokok bahasan ini, fasilitator mengarahkan dan memotivasi peserta didik untuk dapat membuat alur pelaksanaan Monev dalam bentuk diagram.
TUJUAN Setelah mengikuti program pelatihan, para peserta diharapkan mampu: • Mengembangkan diagram sistem pelaksanaan Monev
BAHAN DAN ALAT 1. 2. 3. 4.
Tayangan tentang langkah pembuatan diagram sistem pelaksanaan Lembar kerja peserta Format 3.2 Contoh program yang dibawa oleh peserta pelatihan ATK : Kertas Plano, Double Tape, Spidol Berwarna
LANGKAH KEGIATAN 1. Pengantar Singkat oleh Fasilitator (5 menit) Fasilitator memberikan pengantar singkat cara menyusun diagram sistem pelaksanaan yang baik. 2. Diskusi Kelompok Tentang Alur sistem Pelaksanaan (40 menit) a. Fasilitator membagi peserta ke dalam kelompok dengan tiap kelompok beranggotakan 3 orang. Tiap kelompok mendiskusikan alur sistem pelaksanaan Monev pada kertas plano. b. Fasilitator mengawasi jalannya diskusi dan memberi bantuan kepada kelompok yang berjalan kurang aktif.
38
Format 3.2 : Alur Sistem Pelaksanaan
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
3. Berbagi hasil diskusi (20 menit) a. Fasilitator meminta kelompok untuk memajang hasil diskusinya di meja kelompok. b. Dua orang dari kelompok berjalan mengunjungi kelompok lain untuk melihat hasil kerja kelompok lain dan membandingka dengan hasil kerja kelompok sendiri. Sementara empat orang yang tinggal bertugas untuk menerangkan kepada pengunjung tentang hasil kerja kelompok mereka. 4. Membuat diagram sistem (25 Menit) Fasilitator meminta peserta pelatihan untuk membuat alur sistem pelaksanaan dalam bentuk diagram sesuai program yang dibawa masing-masing peserta per Kabupaten/Kota.
Gambar 3.2 : Langkah Kegiatan Pengembangan Diagram Sistem Pelaksanaan Monev
5 menit
Pengantar Singkat oleh fasilitator 1
40 menit
Diskusi kelompok tentang diagram sistem pelaksanaan 2
20 menit
25 menit
Berbagi hasil diskusi 3
Membuat diagram sistem 4
Format 3.2 : Alur Sistem Pelaksanaan Ke Dari Ke Dari Ke Dari
39
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
BAHAN BACAAN UNTUK FASILITATOR DAN PESERTA Sistem Pelaksanaan M&E M&E lebih dari sekedar membuat instrumen, mengambil data dan melaporkannya, tetapi menyangkut sebuah sistem yang bekerja menurut tatanan tertentu yang disepakati. Ada beberapa macam model sistem pelaksanaan yang dapat diterapkan pada program BOSDA, salah satu model yang sering digunakan dapat dilihat pada Kotak 9, berikut. Kotak 9 : Diagram sistem Pelaksanaan M&E BOSDA
Perbaikan Pelaksanaan Program
Program
Pengambilan Keputusan
M&E Framework Rencana Kerja Pengumpulan Data Analisa Data Presentasi Data
40
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
L
Jadwal yang Disarankan
41
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Pengembangan Indikator, Alat Ukur, dan Kriteria Keberhasilan Waktu : 2 jam 30 menit
PENGANTAR Indikator yang baik adalah indikator yang jelas, pasti dan dapat diukur. Jelas: tujuan yang dungkapkan secara tertulis dan diinformasikan kepada pembaca sehingga pembaca dan penulis mempunyai pengertian yang sama. Pasti: tujuan mengandung satu pengertian atau tidak mungkin ditafsirkan ke dalam pengertian yang lain. Dapat diukur: tingkat pencapaian suatu program yang ada dalam tujuan dapat diukur dengan tes atau alat pengukur lainnya.
TUJUAN Setelah mengikuti program pelatihan, para peserta diharapkan mampu: • Mengembangkan indikator, alat ukur,dan kriteria keberhasilan
BAHAN DAN ALAT 1. Tayangan tentang indikator, alat ukur, dan kriteria keberhasilan 2. Lembar kerja peserta Format 4.1, 4.2, dan 4.3 3. ATK : Kertas Plano, Spidol Berwarna
LANGKAH KEGIATAN 1. Pengantar Singkat oleh Fasilitator (5 menit) Fasilitator memberikan pengantar singkat cara membuat indikator dan alat ukur , kemudian mengaitkan dengan indikator yang telah dibuat peserta pada sesi latihan sebelumnya dikarenakan indikator tersebut akan digunakan pada sesi latihan ini. 2. Diskusi Kelompok Tentang Indikator dan alat ukur (40 menit) a. Fasilitator membagi peserta ke dalam kelompok dengan tiap kelompok beranggotakan 4-6 orang. Tiap kelompok mendiskusikan indikator yang telah peserta buat, kemudian memilih beberapa indikator yang akan dikembangan menjadi indikator pencapaian serta alat ukurnya. b. Fasilitator mengawasi jalannya diskusi dan memberi bantuan kepada kelompok yang berjalan kurang aktif. c. Fasilitator meminta peserta dalam kelompok untuk saling bertukar dengan peserta lain, kemudian mengomentari atau mengambil data yang di rasa perlu. Setelah dirasa cukup, fasilitator meminta tiap kelompok untuk menuliskan dalam kertas plano dan menyimpannya.
42
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
3. Diskusi Kelompok Tentang Kriterian Keberhasilan (40 menit) a. Fasilitator meminta kelompok untuk mengidentifikasi kriteria keberhasilan yang bisa digunakan untuk memenuhi pengembangan indikator yang telah dibuat oleh peserta kelompok tadi. b. Fasilitator mengawasi jalannya diskusi dan memberi bantuan kepada kelompok yang membutuhkan bantuan c. Fasilitator meminta kepada peserta untuk melakukan saling tukar hasil kerja dengan cara yang sama seperti diskusi sebelumnya. d. Fasilitator meminta menuliskan hasil diskusi pada kertas plano yang telah memuat hasil pengembangan indikator peserta kelompok. 4. Berbagi hasil diskusi (15 menit) Dua orang dari perwakilan kelompok berkunjung ke kelompok lain untuk berbelanja informasi, dan mengomentari hasil kerja kelompok yang dikunjunginya, sementara empat peserta yang tinggal bertugas melayani pengunjung yang datang, baik menjawab pertanyaan, maupun memberikan penjelasan. 5. Membuat indictor pencapaian dan kriteria keberhasilan dalam tabel (50 menit) a. Fasilitator meminta peserta pelatihan untuk membuat pengembangan indikator dan alat ukur sesuai dengan program yang peserta didik bawa per Kabupaten/Kota dengan format seperti format 4.3. Gambar 4.1 : Langkah Kegiatan Pengembangan Indikator, Alat Ukur dan Kriteria Keberhasilan
5 menit
40 menit
40 menit
Pengantar Singkat oleh fasilitator 1
Diskusi kelompok tentang indikator dan alat ukur 2
Diskusi kelompok tentang kriteria keberhasilan 3
Membuat pengembangan indikator dan alat ukur 5
50 menit
Berbagi hasil diskusi 4
15 menit
43
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Format 4.1 : Indikator dan Alat Ukur Indikator
Alat Ukur/Metoda
Format 4.2 : Kriteria Keberhasilan Indikator
Kriteria Keberhasilan
Format 4.3 : Pengembangan Indikator, Alat Ukur dan Kriteria Keberhasilan Indikator
44
Indikator Pencapaian
Definisi
Metoda/ Alat Ukur
Kriteria Keberhasilan
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
BAHAN BACAAN UNTUK FASILITATOR DAN PESERTA Indikator dan alat ukur Pengembangan indikator harus memperhatikan 2 (dua) hal, yaitu Prasyarat Akademik dan Parasyarat Praktis. Prasyarat Akademik adalah memenuhi validitas pengukuran, yaitu hasil pengukuran sesuai ‘seharusnya’, juga harus Objektif, yaitu hasil pengukuran konsisten, dan harus Sensitif, yaitu hasil pengukuran berubah sesuai perubahan, serta harus Spesifik, yaitu hasil pengukuran berubah hanya apabila kondisi yang diukur berubah, bukan yang lain. Prasyarat Praktis harus memenuhi pengukuran dapat dilakukan sesuai sumber daya Spesifikasi indikator • Perlu kejelasan: waktu; tempat; sasaran, • Proporsi atau rate, a) numerator/ pembilang: jumlah unit yang terjangkau/ dijangkau, b) denominator/ penyebut; jumlah unit sasaran yang diharapkan • Menunjukkan besaran atau arah perubahan, tidak menjelaskan mengapa terjadi perubahan Pengembangan indikator tersebut dapat diimplementasikan pada Program BOSDA, sehinggga didapatkan Indikator Keluaran dan hasil seperti pada Kotak 10: Indikator Keluaran BOSDA dan Kotak 11: Indikator Hasil BOSDA. Kotak 10 : Indikator Keluaran BOSDA • Jumlah sekolah memajang rencana penggunaan dana BOSDA di tempat yang mudah diakses publik • Persentase sekolah menggunakan dana sesuai panduan BOSDA • Persentase sekolah sudah merealisasikan program dengan RKAS • Persentase sekolah negeri dan swasta yang menerima dana BOS lebih sedikit mendapat dana BOSDA lebih besar dalam penyaluran dana BOSDA berformula • Persentase Seluruh sekolah negeri yang membebaskan seluruh siswa dari biaya operasional sekolah • Persentase Seluruh sekolah swasta yang membebaskan seluruh siswa miskin dari biaya operasional sekolah • Persentase Seluruh sekolah swasta yang meringankan biaya operasional sekolah bagi siswa non miskin
Kotak 11 : Indikator Hasil BOSDA Persentase sekolah membuat RKS dan RKAS secara PATO Seluruh sekolah yang menerima dana BOSDA tepat waktu Seluruh sekolah yang menerima dana BOSDA tepat jumlah
45
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Pengembangan indikator disesuikan dengan tingkat intervention logic yang sudah dibuat, rumusan indikator dapat dilihat pada table intervention logic sebelumya. Dari indikator ini dikembangkan lagi indikator pencapaian yang menjadi dasar pengembangan instrumentasi. Contoh pengembangannya dapat dilihat pada Kotak 12. Kotak 12 : Indikator, Indikator Pencapaian, Definisi, Metoda dan Kriteria Keberhasilan BOSDA Indikator Meningkatnya tata kelola sekolah dalam pengelolaan dana BOSDA di sekolah untuk memperkuat penerapan MBS
Indikator Pencapaian 1. RKS dan RKAS dibuat secara PATO
1. Meningkatnya akses publik terhadap informasi penggunaan dana BOSDA di sekolah.
Sekolah memajang rencana penggunaan dana BOSDA di papan pengumuman sekolah atau di tempat lain di sekolah yang mudah diakses publik 1. Kesesuaian realisasi program dengan RKAS
Meningkatnya ketepatan penggunaan dana BOSDA sesuai kebutuhan sekolah 2. dan peraturan Sekolah menggunakan program. dana sesuai dengan panduan BOSDA
Berkurangnya kesenjangan dan ketimpangan pendapatan dana operasional antarsekolah berdasarkan karakteristik daerah seluruh sekolah negeri dan swasta yang menerima dana BOS lebih sedikit mendapat dana BOSDA lebih besar saat penyaluran dana BOSDA berformula
46
1. Seluruh sekolah menerima dana program BOSDA tepat waktu. 2. Seluruh sekolah menerima dana Program BOSDA tepat jumlah. 1. % seluruh siswa negeri dan swasta yang menerima dana BOS lebih sedikit mendapat dana BOSDA lebih besar saat penyaluran dana BOSDA berformula
Definisi
Metoda
Kriteria
Kemampuan sekolah dalam mengelola dana BOSDA dalam RKS dan RKAS sehingga tujuan BOSDA sendiri akan tercapai
Pengamatan Langsung
80% Sekolah membuat RKS dan RKAS secara PATO
Pemajangan rencana penggunaan dana BOSDA diperlukan agar publik dapat memantau pengeluaran dana dan melihat dampak dari BOSDA itu sendiri
Pengamatan Langsung
80% sekolah memajang rencana penggunaan dana di papan pengumuman sekolah atau di tempat lain di sekolah yang mudah diakses public
RKAS adalah rencana kerja Pengamatan sekolah yang memuat Langsung semua rencana kerja sekolah selama satu tahun yang berarti program BOSDA harus ada di dalam RKAS
80% Kesesuaian realisasi program dengan RKAS
Dana BOSDA akan tepat Pengamatan guna jika penggunaannya Langsung mengikuti panduan BOSDA
80% sekolah menggunakan dana sesuai dengan panduan BOSDA
Ketepatan waktu dalam penerimaan dana BOSDA dapat menunjang keberhasilan pprogram
Angket
80% sekolah menerima dana Program BOSDA tepat waktu.
Ketepatan jumlah dalam penyaluran disesuaikan dengan kriteria daerah masing-masing
Angket
80% sekolah menerima dana Program BOSDA tepat jumlah.
BOSDA adalah pengembangan dari BOS yang bertujuan untuk mengurangi kesenjangan dalam pendapatan dana antarsekolah
Pengamatan Langsung
80% seluruh sekolah negeri dan swasta yang menerima dana BOS lebih sedikit mendapat dana BOSDA lebih besar saat penyaluran dana BOSDA berformula
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Kotak 12 : Indikator, Indikator Pencapaian, Definisi, Metoda dan Kriteria Keberhasilan BOSDA (lanjutan) Indikator Pencapaian
Indikator 1.
Salah satu Kelebihan Angket dari BOSDA adalah tidak % Seluruh siswa swasta hanya siswa negeri yang miskin terbebas dari biaya operasional sekolah dibebaskan dari biaya sekolah namun juga siswa sekolah swasta namun yang tergolong miskin
80% Seluruh siswa swasta miskin terbebas dari biaya operasional sekolah
Dalam tujuan BOSDA telah Angket jelas disebutkan selain membebaskan siswa negeri dan swasta miskin, BOSDA juga membantu meringankan biaya sekolah bagis siswa swasta non miskin
50 % Seluruh siswa swasta non miskin mendapat keringanan biaya operasional sekolah
Laporan sosialisasi adalah laporan yang memuat hasil dari pelaksanaan sosialisasi yang termasuk daftar hadir peserta
Pengamatan Langsung
Bukti laporan pelaksanaan sosialisasi
Jadwal sosialisasi dipergunakan untuk me7ngatur jalannya sosialisasi itu sendiri
Angket
Adanya bukti jadwal sosialisasi
Daftar hadir digunakan Angket untuk mengetahui jumlah peserta sosialisasi yang hadir.
Adanya bukti daftar hadir peserta sosialisasi
Dana BOSDA adalah dana dari APBD yang dibantu oleh worldbank
80% Dana BOSDA tersalurkan sesuai jadwal
2.
% Seluruh siswa swasta non miskin mendapat keringanan biaya operasional sekolah
1. Tersedia laporan sosialisasi
dilaksanakan sosialisasi tentang program BOSDA
2. Terdapat Jadwal sosialisasi
3. Daftar Hadir peserta sosialisasi
Dilakukannya penyaluran dana BOSDA sesuai jadwal
Kriteria 100% Seluruh siswa negeri terbebas dari biaya operasional sekolah
1. Seluruh siswa swasta non miskin mendapat keringanan biaya operasional sekolah
Bila seluruh siswa negeri terbebas dari biaya operasional, maka program BOSDA telah berhasil mewujudkan tujuannya
Metoda Angket
%Seluruh siswa negeri terbebas dari biaya operasional sekolah Seluruh siswa negeri dan siswa swasta miskin terbebas dari biaya operasional sekolah.
Definisi
1. Dana BOSDA tersalurkan sesuai jadwal
Pengamatan Langsung
47
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Kotak 12 : Indikator, Indikator Pencapaian, definisi, metoda dan Kriteria Keberhasilan BOSDA (lanjutan) Indikator Pencapaian
Indikator 1.
Profil sekolah negeri dan swasta yang berada di wilayah terpencil 2. Dilakukannya analisis profil sekolah untuk mendapatkan data sekolah penerima BOSDA
Profil sekolah negeri dan swasta yang tidak berada di wilayah terpencil
3. Profil siswa miskin
1. Adanya tim pelaksana program BOSDA
Adanya panduan pelaksanaan program BOSDA
Tersedia Tim pelaksana program BOSDA
1. Tersedia panduan pelaksanaan program BOSDA 1.
Adanya jadwal pelaksanaan program BOSDA
Ketersediaan jadwal pelaksanaan program
1. Adanya alokasi dana BOSDA dalam APBD
Ketersediaan dana BOSDA dalam APBD
1. adanya profil sekolah
Pemutakhiran data profil sekolah
1. Pemutakhiran data profil adanya profil siswa siswa
48
Definisi
Metoda
Kriteria
Profil sekolah negeri dan swasta adalah profil sekolah negeri dan sekolah swasta baik sd maupun smp yang akan dicantumkan dalam daftar sekolah penerima dana BOSDA yang berada baik di daerah terpencil maupun yang tidak terpencil
Pengamatan Langsung
Adanya bukti data profil sekolah yang berada di wilayah terpencil
Pengamatan Langsung
Adanya bukti data profil sekolah yang tidak berada di wilayah terpencil
profil siswa digunakan sebagai data acuan berapa banyak siswa negeri dan swasta miskin yang akan mendapatkan dana BOSDA dalam sekolah tersebut.
Angket
100% jumlah profil siswa sekolah negeri dan 80% swasta miskin.
Tim pelaksana adalah tim yang bertugas menjalankan program BOSDA yang berfungsi untuk mencapai dari tujuan program BOSDA
Pengamatan Langsung
Bukti struktur kepelaksanaan program BOSDA
Panduan diperlukan sebagai bahan acuan dalam mengelola dana BOSDA
Pengamatan Langsung
Bukti buku panduan pelaksanaan program BOSDA
Jadwal pelaksanaan program diperlukan untuk mengetahui kapan program dimulai dan kapan program akan berakhir
Pengamatan Langsung
bukti jadwal pelaksanaan program
Dana BOSDA dalam APBD adalah dana yang tersedia untuk dikelola berdasarkan buku panduan BOSDA
Pengamatan Langsung
Bukti laporan pengelolaan dana BOSDA dalam APBD
Data profil sekolah Angket dibutuhkan untuk mengetahui sekolah mana saja yang akan dijadikan objek program BOSDA
bukti data pemutakhiran profil sekolah
Data profil siswa Angket dibutuhkan untuk mengetahui seluruh siswa yang menjadi subjek atau tujuan dari BOSDA itu sendiri
bukti data pemutakhiran profil siswa
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Pengembangan Logframe Waktu : 2 jam
PENGANTAR Sebuah program dapat berjalan dengan baik jika didalamnya terdapat urutan langkah kerja logis yang mengatur program tersebut agar berjalan dengan baik dan maksimal. Logframe dapat dikembangkan dengan berbagai macam bentuk namun pada keseluruhan adalah sama yaitu gambaran atau kerangka kerja suatu program yang didalamnya memuat indikator, alat verifikasi, sumber data, asumsi, resiko, dll. Pada pembahasan logframe ini, fasilitator mendorong para peserta agar mampu membuat dan mengembangkan logframe sesuai dengan program yang dijalankan
TUJUAN Setelah mengikuti program pelatihan, para peserta diharapkan mampu: • Mengembangkan logframe disain Monev
BAHAN DAN ALAT 1. 2. 3. 4.
Tayangan tentang langkah pembuatan Logframe Lembar kerja peserta Format 4.4 Contoh program yang dibawa peserta pelatihan ATK : Kertas Plano, Kertas Karton, Double Tape, Spidol Berwarna
LANGKAH KEGIATAN 1. Pengantar Singkat oleh Fasilitator tentang Logframe (10 menit) Fasilitator memberikan pengantar singkat tentang apa itu logframe dan bagaimana cara membuat logframe yang baik. 2. Diskusi Kelompok Tentang Merumuskan Logframe (60 menit) a. Fasilitator membagi peserta ke dalam kelompok dengan tiap kelompok beranggotakan 4-6 orang. Tiap kelompok mendiskusikan tentang merumuskan logframe dari intervention logic yang telah kelompok buat seperti indikator capaian, alat verivikasi, sumber data, dll. b. Fasilitator meminta pada tiap kelompok untuk menuliskan hasil diskusi pada kertas karton dan meminta tiap kelompok untuk memanjang atau menempel hasil diskusi di dinding yang telah disediakan oleh fasilitator c. Fasilitator mengatur jalannya diskusi dan membantu diskusi kelompok.
49
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
3. Berbagi hasil diskusi (20 menit) Tiga orang dari perwakilan kelompok mengunjungi kelompok lain untuk berbelanja informasi hasil kerja kelompok yang dipajang di dinding dan mengomentari hasil kerja kelompok yang dikunjungi, sedangkan tiga orang yang tinggal, memaparkan hasil kelompoknya kepada pengunjung yang datang dan menjawab pertanyaan dari pengunjung. Fasilitator mengamati jalannya diskusi agar dapat memberikan masukan. 4. Membuat Logframe (30 menit) Fasilitator meminta peserta pelatihan untuk membuat logframe sesuai dengan program yang dibawa peserta pelatihan per Kabupaten/Kota. Gambar 4.2 : Langkah Kegiatan Pengembangan Logframe
10 menit
60 menit
20 menit
30 menit
Pengantar Singkat oleh fasilitator tentang logframe 1
Diskusi kelompok tentang merumuskan logframe 2
Berbagi hasil diskusi 3
Membuat logframe 4
Format 4.4 : Pengembangan Logframe Struktur Program
50
Indikator Capaian
Alat Verifikasi dan Sumber Data
Asumsi, Resiko, dan Faktor
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
BAHAN BACAAN UNTUK FASILITATOR DAN PESERTA Untuk memahami kriteria M&E dalam program BOSDA diperlukan Kerangka Kerja logis (Logical Framework). Berikut adalah Program BOSDA yang disajikan secara ringkas dalam Kotak 13: Kerangka Kerja Logis BOSDA. Kotak 13 : Kerangka Kerja Logis Program BOSDA Struktur Program Hasil (R) 1: Meningkatnya tata kelola sekolah dalam pengelolaan dana BOSDA di sekolah secara transparan dan akuntabel untuk memperkuat penerapan MBS Keluaran (IR) 1 #1: Meningkatnya akses publik terhadap informasi dana yang diterima sekolah termasuk BOSDA. Keluaran (IR) 1 #2: Meningkatnya ketepatan penggunaan dana BOSDA sesuai kebutuhan sekolah dan peraturan program.
Indikator Capaian
Alat Verifikasi dan Sumber Data
• RKS dan RKAS dibuat secara PATO
Bukti RKS dan RKAS yang dibuat secara PATO
• Sekolah memajang rencana penggunaan dana termasuk BOSDA di papan pengunguman sekolah atau tempat lain di sekolah yang mudah diakses oleh publik
Pengamatan langsung ke sekolah
• Kesesuaian realisasi program dengan RKAS.
Pengamatan terhadap Format laporan BOSDA yang telah terisi
• Sekolah menggunakan dana sesuai dengan panduan BOSDA
Asumsi, Resiko, dan Faktor
Asumsi: Penyusunan RKAS sesuai dengan kebutuhan sekolah
• %seluruh sekolah • Wawancara kepada pihak • Resiko: menerima dana program sekolah Berkurangnya kesenjangan penyaluran tidak sesuai BOSDA tepat waktu. jadwal, Ada dana yang dan ketimpangan berkesinambungan pendapatan dana • %seluruh sekolah operasional antarsekolah menerima dana program dalam penyaluran dana berdasarkan karakteristik BOSDA tepat jumlah. BOSDA. daerah Hasil (R) 2:
Keluaran (KIR) 2 #1: Seluruh sekolah yang menerima dana BOS lebih sedikit mendapat dana BOSDA lebih besar saat penyaluran dana BOSDA berformula Keluaran (KIR) 2 #2:
• % seluruh sekolah negeri dan swasta yang menerima dana BOS lebih sedikit mendapat dana BOSDA lebih besar saat penyaluran dana BOSDA berformula
• Laporan penyaluran dan pengelolaan dana BOSDA
• %seluruh siswa negeri terbebas dari biaya operasional sekolah
• Data sekolah negeri yang membebaskan seluruh siswa dari biaya operasional
Seluruh siswa negeri dan • % seluruh siswa swasta swasta miskin terbebas dari miskin terbebas dari • Data sekolah swasta yang biaya operasional sekolah biaya operasional sekolah membebaskan seluruh siswa miskin
51
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Kotak 13 : Kerangka Kerja Logis Program BOSDA (lanjutan) Struktur Program Keluaran (KIR) 2 #3: Seluruh siswa swasta non miskin mendapat keringanan biaya operasional sekolah
Kegiatan (KIR) 1 #1: dilaksanakan sosialisasi program BOSDA
Kegiatan (KIR) 1 #2: Dilakukannya penyaluran dana BOSDA sesuai jadwal Kegiatan (KIR) 2 #1:
Indikator Capaian
Alat Verifikasi dan Sumber Data
• % seluruh siswa swasta non miskin mendapat keringanan biaya operasional sekolah
• Data sekolah swasta yang meringankan biaya operasional siswa non miskin
• Tersedianya laporan sosialisasi
• Bukti laporan sosialisasi
• Terdapat Jadwal sosialisasi
• Bukti daftar hadir peserta
• Bukti jadwal sosialisasi
• Daftar hadir peserta sosialisasi • Dana BOSDA tersalurkan sesuai jadwal
• Data rekapitulasi dana BOSDA yang sudah disalurkan
• Profil Sekolah negeri dan swasta yang berada di wilayah terpencil
• Data dari pemda setempat
• Tersedia Tim pelaksana program BOSDA
• Bukti struktur tim pelaksana program BOSDA
• Tersedia panduan pelaksanaan program BOSDA
• Bukti buku panduan pelaksanaan program BOSDA
• Ketersediaan jadwal pelaksanaan program
• Bukti jadwal pelaksanaan program
• Ketersediaan dana BOSDA dalam APBD
• Data dari pemda setempat
• Pemutakhiran data profil sekolah
• Bukti data pemutakhiran
• Pemutakhiran data profil siswa
• Bukti data pemutakhiran
Dilakukannya analisis • Profil sekolah negeri dan profil sekolah untuk swasta yang tidak berada mendapatkan data sekolah di wilayah terpencil penerima BOSDA • Profil siswa miskin Masukan (MKIR) 1 #1: Adanya tim pelaksana program BOSDA Masukan (MKIR) 1 #2: Adanya panduan pelaksanaan program BOSDA Masukan (MKIR) 1 #3: Adanya jadwal pelaksanaan program BOSDA Masukan (MKIR) 1 #4: Adanya alokasi dana BOSDA dalam APBD Masukan (MKIR) 2 #1: adanya profil sekolah Masukan (MKIR) 2 #2: adanya profil siswa
52
Asumsi, Resiko, dan Faktor
Resiko: Ketidaklengkapan data dari pemda
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Pengembangan Teknik Sampling Waktu : 2 jam
PENGANTAR Sampling adalah Proses pemilihan sampel dari populasi untuk mendapatkan kesimpulan umum mengenai populasi berdasarkan hasil penelitian sampel. Hal ini yang merupakan bagian pentingnya dari suatu program, jika sampel yang diperoleh tidak sesuai dengan kriteria maka akan mengakibatkan terkendalanya sistem Monev dalam melakukan fungsinya. Pada sub bahasan ini fasilitator mengarahkan peserta diidik untuk dapat menyebutkan macam teknik sampling dan membuat teknik sampling yang sesuai dengan program Monev.
TUJUAN Setelah mengikuti program pelatihan, para peserta diharapkan mampu: • Mengembangkan dan memilih teknik sampling yang sesuai dengan program
BAHAN DAN ALAT 1. 2. 3. 4.
Tayangan tentang langkah memilih teknik sampling Lembar kerja peserta Format 4.5 Contoh program yang dibawa peserta pelatihan ATK : kertas plano, spidol berwarna, print out macam-macam teknik sampling
LANGKAH KEGIATAN 1. Pengantar Singkat oleh Fasilitator (5 menit) Fasilitator memberikan pengantar singkat pengertian sampling. 2. Diskusi Kelompok Macam-macam Sampling (40 menit) a. Fasilitator membagi peserta ke dalam kelompok dengan tiap kelompok beranggotakan 5 orang. b. Fasilitator membagi peserta menjadi 5 ahli dalam kelompok seperti gambar dibawah. c. Fasilitator meminta setiap ahli untu berkumpul membentuk kelompok baru dan mendiskusikan tentang keahliannya.
53
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
3. Berbagi hasil diskusi tiap ahli (40 menit) a. Fasilitator meminta tiap ahli untuk kembali kelompok semula, dan bertanggung jawab untuk menerangakan hasil diskusinya pada anggota kelompok b. Fasilitator mengawasi jalannya diskusi dan memberi bantuan kepada kelompok yang membutuhkan bantuan c. Fasilitator meminta kepada peserta untuk melakukan saling tukar hasil diskusi untuk dibaca dan dipahami oleh anggota kelompok d. Fasilitator meminta menuliskan hasil diskusi pada kertas plano. 4. Berbagi hasil diskusi (25 menit) Peserta mempresentasikan hasil diskusi kelompok dengan membacakan dan memperlihatkan contoh teknik sampling. 5. Membuat teknik sampling ( 40 menit) Fasilitator meminta peserta pelatihan untuk membuat teknik sampling yang sesuai dengan program yang dibawa masing-masing peserta per Kabupaten/kota. Gambar 4.3 : Langkah Kegiatan Pengembangan Teknik Sampling
5 menit
40 menit
40 menit
Pengantar Singkat oleh fasilitator 1
Diskusi kelompok tentang macam-macam sampling 2
Berbagi hasil diskusi 3
Membuat teknik sampling 5
Berbagi hasil diskusi 4
40 menit
25 menit
Format 4.5 : Kelemahan dan Kelebihan Teknik Sampling Teknik Sampling Simple Random Sampling
54
Kelebihan
Kelemahan
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Gambar 4.4 : Pendekatan Probability dan Non-Prabibolity
Systemic random sampling
Simple random sampling
Snow Ball random sampling Pendekatan probability dan nonprobability
Purposive random sampling
Cluster random sampling
BAHAN BACAAN UNTUK FASILITATOR DAN PESERTA Teknik Sampling Mengapa harus sampling? Karena sampling dapat menggambarkan dan menganalisis populasi dengan cepat dan tidak memakan biaya yang banyak. Tujuan teknik sampling Tujuan teknik sampling adalah deskriptif (menggambarkan karakteristik populasi), eksploratif (mengetahui lebih dalam akan suatu kondisi), dan analisis (mencari tahu penyebab dari sesuatu). Hal-hal yang musti diperhatikan Ada beberapa hal yg perlu diperhatikan pada saat melakukan sampling, antara lain : 1. Populasi (Target penelitian) 2. Elemen (Karakteristik yang sama pada populasi, contoh elemen industri kecil menengah, mahasiswa indonesia, dsb) 3. Populasi sampel (Bagian dari populasi dan elemen, yang dijadikan objek sampling) 4. Unit (Bagian terkecil pada populasi sampel, contoh budi sang pengusaha kusen) 5. Kerangka sampel (Daftar nama populasi sampel) 6. Pendekatan
55
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Pendekatan terbagi menjadi dua, yaitu pendekatan probabilitas dan nonprobabilitas. Pada penelitian, lebih baik dianjurkan untuk memakai pendekatan probabilitas, karena pendekatan probabilitas lebih bersifat objektif, memberikan kesempatan pada semua orang untuk dapat dijadikan responden, dan dapat menggambarkan opini pada populasi. Sedangkan pada pendekatan nonprobabilitas justru sebaliknya. Pendekatan nonprobabilitas dapat dilakukan apabila pada saat kerangka sampel tidak up to date dan terjadi hal-hal yang sulit di lapangan. Berikut adalah metoda-metoda pada pendekatan probabilitas dan nonprobabilitas, a. Pendekatan nonprobabilitas 1. Purposive Random Sampling teknik sampling purposive yaitu “teknik penentuan sampel dengan pertimbangan tertentu”. Teknik ini bisa diartikan sebagai suatu proses pengambilan sampel dengan menentukan terlebih dahulu jumlah sampel yang hendak diambil, kemudian pemilihan sampel dilakukan dengan berdasarkan tujuan-tujuan tertentu, asalkan tidak menyimpang dari ciri-ciri sampel yang ditetapkan. Untuk lebih memahaminya dapat dilihat pada Kotak 14: Contoh Purposive Random Sampling pada program BOSDA. Kotak 14 : Contoh Purposive Random Sampling pada Program BOSDA Misal pada Kabupaten Bumi lemoung terdapat pupulasi 80 SD dan 54 SMP baik negeri dan swasta yang tersebar merata di kabupaten tersebut. Sedangkan dana BOSDA yang tersedia hanya cukup untuk memenuhi 40 SD dan 27 SMP dari 80 SD dan 54 SMP yang ada di Kab. Bumi Lemoung. Maka pengambilan sampel dapat dilakukan dengan menjabarkan karakteristiknya. Pada purposive sampling akan diambil 40 SD dari 80 SD dan 27 SMP dari 54 SMP yang terdapat di Kab. Bumi Lemoung dengan kriteria jumlah siswa >100 dan <100. Dengan kriteria tersebut di dapat 30 SD dan 22 SMP yang jumlah siswanya >100. Sedangkan sekolah dengan jumlah siswa <100 didapat 10 SD dan 5 SMP. Selanjutnya dari tiap kriteria di atas dikembangkan lagi menjadi 2 kriteria yaitu sekolah dengan akses mudah dan sekolah dengan akses sulit. Dari kriteria dengan jumlah siswa >100 didapat 22 SD dan 18 SMP dengan akses mudah dan sisanya dengan akses sulit. Sedangkan pada kriteria siswa<100 diperoleh 6 SD dan 3 SMP dengan akses mudah dan sisanya dengan akses sulit. Untuk lebih jelasnya dapat dilihat kotak dibawah ini. PEMILIHAN SEKOLAH Sekolah dengan akses mudah
22 SD
18 SMP
Sekolah dengan akses sulit
8 SD
4 SMP
Sekolah dengan jumlah murid kurang dari
Sekolah dengan akses mudah
6 SD
3 SMP
100
Sekolah dengan akses sulit
4 SD
2 SMP
Sekolah dengan jumlah murid lebih dari 100
56
SEKOLAH
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
2. Quota Random Sampling (kuota Sampling) Merupakan metode penetapan sampel dengan menentukan quota terlebih dahulu pada masing masing kelompok, sebelum quata masingmasing kelompok terpenuhi maka peneltian belum dianggap selesai. Untuk penjelasan lebih lanjut dapat dilihat pada Kotak 15: Contoh Quota Random Sampling pada program BOSDA Kotak 15 : Contoh Quota Random Sampling pada Program BOSDA Misal dari contoh sebelumnya terdapat populasi 134 sekolahan yang terdiri dari 80 SD baik negeri maupun swasta dan 54 SMP baik negeri maupun swasta. Dengan dana BOSDA yang cukup untuk memenuhi 40 SD dan 27 SMP. Populasi
Quota Sampling
SD
SMP
SD
SMP
80 SD
54 SD
40 SD
27 SD
Dari populasi tersebut dipilihnya secara acak hingga memenuhi kuota yang telah ditentukan maka diperoleh 3. Snow Ball Random Sampling Metode ini terjadi apabila terjadi kesalahan-kesalahan pada kerangka sampel. Seperti namanya snow ball, metode ini seperti bola salju yang mengelinding, sehingga bola salju tersebut makin lama makin besar. Pada metoda ini, semakin lama, pendapat yang dimintai akan semakin tepat. Untuk lebih memahami dapat dilihat pada Kotak 16: Contoh Snow Ball Random Sampling pada program BOSDA. Kotak 16 : Contoh Snow Ball Random Sampling pada Program BOSDA 1
2
5
3
6
7
4
8
9
10
Dari kotak tersebut sampling Snow Ball dilakukan dengan menurunkan atau memilih populasi hingga menemukan sampel yang diingikan secara random, dengan populasi sama seperti data sebelumnya dan dana Bosda yang sama juga maka diperoleh sampel hingga menemukan 40 SD dan 27 SMP penerima dana BOSDA.
57
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
b. Pendekatan probabilitas 1. Cluster Random Sampling (Area Sampling) Cluster Random Sampling atau sampling daerah adalah Teknik sampling yang digunakan untuk menentukan sampel bila objek yang akan diteliti atau sumber data sangat luas. Untuk lebih memahaminya bias dilihat pada Kotak 17: Contoh Cluster Random Sampling pada program BOSDA Kotak 17 : Contoh Cluster Random Sampling pada Program BOSDA Misalnya dengan populasi dan jumlah dana BOSDA yang sama dengan Kotak 12 dan karena SD dan SMP di Kab. Bumi Lemoung itu berstrata (tidak sama) maka pengambilan sampelnya perlu menggunakan Cluster random sampling. Karakteristik pada teknik ini didasarkan pada jarak sekolah dengan pusat kota. Karakteristik semacam ini perlu diperhatikan sehingga pengambilan sampel menurut cluster populasi itu dapat ditetapkan. Teknik ini dapat digambarkan seperti gambar dibawah ini.
Sekolah yang berada disekitar dekat dengan pusat kota
Sekolah yang berada dipusat kota
Sekolah yang berada dipinggir dari pusat kota
Berdasarkan jumlah dana BOSDA yang tersedia maka diperoleh sampel 28 SD dan 15 SMP untuk sekolah yang berada di pusat kota, 8 SD dan 8 SMP untuk sekolah yang berada di sekitar dekat pusat kota, serta 4 SD dan 4 SMP untuk sekolah yang berada di pinggir dari pusat kota.
2. Sistematis Random Sampling Sampling sistematis adalah teknik pengambilan sampel berdasarkan urutan dari anggota populasi yang telah diberi nomor urut. Untuk lebih jelaskan dapat dilihat pada Kotak 18: Contoh Sistematis Random Sampling pada program BOSDA.
58
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Kotak 18 : Contoh Sistematis Random Sampling pada Program BOSDA Populasi dan jumlah dana BOSDA yang sama dengan kotak 12: Teknik sistematis random sampling dapat dilihat seperti di bawah ini. Penomoran untuk Sekolah Dasar.
1 1 2 2 3 3 4 4 5 5 6 6
11 11 12 12 13 13 14 14 15 15 16 16
21 31 21 31 22 32 22 32 23 33 23 33 24 34 24 34 25 35 25 35 26 36 26 36
41 51 61 71 41 51 61 71 42 52 62 72 42 52 62 72 43 53 63 73 43 53 63 73 44 54 64 74 44 54 64 74 45 55 65 75 45 55 65 75 46 56 66 76 46 56 66 76
Diambil secara Diambil secara Sistematis Sistematis
1 21 41 61 1 21 41 61 3 23 43 63 3 23 43 63 5 25 45 65 5 25 45 65 7 27 47 67 9 7 2927494769 67 119 3129514971 69 13113331535173 71 15133533555375 73 17153735575577 75 19173937595779 77 19 39 59 79
Penomoran untuk Sekolah Menengah Pertama
1 1 2 2 3 3 4 4 5 5 6 6
11 11 12 12 13 13 14 14 15 15 16 16
21 31 21 31 22 32 22 32 23 33 23 33 24 34 24 34 25 35 25 35 26 36 26 36
41 51 41 51 42 52 42 52 43 53 43 53 44 54 44 54 45 45 46 46
Diambil secara Sistematis Diambil secara Sistematis
2 22 42 4 2 242244 42 6 4 262446 44 8 6 282648 46 108 302850 48 1210323052 50 1412343254 52 15143634 54 18153836 20184038 20 40
Pengambilan sampel untuk SD digunakan aturan sistematis nomor ganjil, sedangkan untuk SMP digunakan aturan sistematis kelipatan dari 2. Sehingga diperoleh sampel untuk SD berjumlah 40 SD dan untuk SMP berjumlah 27 SMP. 3. Simple Random Sampling Sampel random sederhana seperti arisan, dilakukan dengan memasukkan nama-nama populasi sampel (kerangka sampel), kemudian dikocok, yang nama yg keluar dari kocokan tersebut adalah unit sampel. Hal yang perlu diperhatikan pada sampel random sederhana adalah karakteristik yang menjadi populasi sampel adalah homogen. Kelemahan dari simple random sampling adalah tidak bisa dilakukan saat populasi sampel berjumlah banyak. Untuk lebih jelasnya dapat dilihat pada Kotak 19: Contoh Simple Random Sampling pada program BOSDA.
59
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Kotak 19: Contoh Simple Random Sampling pada Program BOSDA Dengan populasi yang sama seperti contoh sebelumnya dan dana BOSDA yang sama juga, maka dari 134 sampel yang terdiri dari 80 SD dan 54 SMP akan di pilih sebanyak 40 SD dan 27 SMP secara random dengan cara pengambilannya dengan teknik memberikan kode pada masing-masing sekolah kemudian memasukan semuanya pada sebuah kotak, lalu mengambilnya secara acak hingga didapat jumlah sampel yang diinginkan.
60
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Pengembangan Teknik Pengumpulan Data Waktu : 2 Jam
PENGANTAR Dalam kegiatan monev proses pengumpulan data merupakan suatu hal yang sangat penting. Pengumpulan data ini merupakan suatu kegiatan yang terkait dengan keadaan real di lapangan (empiris). Hasil pengumpulan data ini digunakan untuk penyimpulan pada kegiatan penelitian, termasuk di dalamnya monitoring dan evaluasi (monev). Pengumpulan data merupakan prosedur yang sistematis dan terstandarkan untuk memperoleh data dalam suatu penelitian. Dalam pemilihan metode penelit ian, selalu tergantung pada permasalahan penelitian yang akan dipecahkan dan jenis data yang akan dikumpulkan. Masalah penelitian menentukan jenis data yang diperlukan, dan jenis data ini memandu pemilihan metode atau cara pengumpulan data. Pada monev metode pengumpulan data yang digunakan adalah: survai, observasi, dokumentasi, wawancara, dan isian singkat (angket terbuka).
TUJUAN Setelah mengikuti program pelatihan, para peserta diharapkan mampu: • Membuat dan Mengembangkan Teknik Pengumpulan Data Monev
BAHAN DAN ALAT 1. 2. 3. 4.
Print Out tentang macam-macam teknik pengumpulan data Lembar kerja peserta Format 4.6 Contoh program yang dibawa oleh peserta pelatihan ATK : Kertas Plano, Kertas Buram, Spidol Berwarna
LANGKAH KEGIATAN 1. Pengantar Singkat oleh Fasilitator (5 menit) Fasilitator memberikan pengantar singkat macam-macam teknik pengumpulan data. 2. Diskusi Kelompok Tentang Macam-macam teknik Pengumpulan data (40 menit) a. Fasilitator membagi peserta ke dalam kelompok dengan tiap kelompok beranggotakan 6 orang. Tiap kelompok mendiskusikan macam-macam teknik pengumpulan data Monev dan menuliskannya dalam kertas buram secara individu. b. Fasilitator mengawasi jalannya diskusi dan memberi bantuan kepada kelompok yang berjalan kurang aktif.
61
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
3. Berbagi hasil diskusi 1 (20 menit) a. Fasilitator meminta 7 orang dalam kelompok untuk berpindah ke kelompok lain yang berbeda-beda, sehingga membentuk kelompok baru. b. Tiap peserta memaparkan hasil diskusi kelompok mereka sebelumya pada kelompok baru, kemudian berdiskusi. c. Fasilitator mengawasi jalannya diskusi kelompok. 4. Berbagi hasil diskusi 2 (15 menit) a. Fasilitator meminta tiap peserta kembali ke kelompok semula, dan memaparkan hasil diskusi yang diperoleh b. Peserta membandingkan hasil diskusi, kemudian mengambil kesimpulan dengan menuliskannya pada kertas plano dan lembar kerja Format 4C c. Fasilitator meminta beberapa kelompok untuk mempresntasikan hasil kerja kelompoknya secara singkat. d. Fasilitator mengawasi jalannya diskusi kelompok. 5. Membuat teknik pengumpulan data (40 menit) Fasilitator meminta peserta pelatihan untuk membuat teknik pengumpulan data sesuai dengan program yang dibawa masing-masing peserta pelatihan per Kabupaten/Kota. Gambar 4.5 : Langkah Kegiatan Pengembangan Teknik Pengumpulan Data
5 menit
40 menit
20 menit
Pengantar Singkat oleh fasilitator 1
Diskusi kelompok tentang teknik pengumpulan data 2
Berbagi hasil diskusi 3
Membuat teknik pengumpulan data 5
Berbagi hasil diskusi 4
15 menit
40 menit
Format 4.6 : Teknik Pengumpulan Data Teknik Pengumpulan Data
62
Kelebihan
Kelemahan
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
BAHAN BACAAN UNTUK FASILITATOR DAN PESERTA Metode Pengumpulan Data dan Instrumen Monev 1. Survai Metode survai adalah cara pengumpulan data dimana responden menjawab pertanyaan (kuesioner) yang telah disusun sebelumnya, dengan menggunakan alat yang berupa daftar pertanyaan atau kuesioner. Dengan metode ini dapat dikumpulkan data yang baanyak dalam relative cepat. a. Angket Tertutup Angket jenis ini terdiri dari sejumlah butir pertanyaan yang menghendaki jawaban pendek, dengan alternative jawaban 2 atau lebih. Alernatif berupa jawaban dalam bentuk YA atau TIDAK, a, b, c, d, e, atau 1, 2, 3, 4… dan seterusnya. Alternatif jawaban menunjukan skala nominal sehingga angka-angka pada alternative jawaban merupakan kode. Antara butir pertanyaan yang satu dengan yang lain dalam satu ubahan jumlah alternatif jawaban tidak harus sama. Angket ini disebut juga angket terbatas, karena jawaban responden berpola jawaban ya atau tidak, atau memberi tanda silang (X) atau tanda chek (V) atau memberi tanda lingkaran (0) pada pilihan alternative yang telah disediakan. Untuk mendapatkan informasi yang obyektif sebaiknya diberikan satu alternatif jawaban tambahan, jika diperkirakan ada informasi yang belum tercakup pada alternatif jawaban. b. Angket Terbuka Angket ini disebut angket tidak terbatas, karena menghendaki jawaban bebas dengan menggunakan kalimat atau kata-kata responden sendiri. Jawaban responden sangat bervariasi karena tidak ada aturan atau rambu-rambu dalam butir pertanyaan, sangat tergantung dari pendidikan dan pengalaman responden, dan membutuhkan waktu yang relative lebih lama dari pada angket tertutup. Angket jenis ini diperlukan pada pertemuan survey untuk menentukan kebijakan yang harus diambil, seperti misalnya dalam menerapkan aturan baru tentang pajak, atau melaksanakan pembangunan pemukiman, dan sebagainya. Contoh : 1) Jika tempat ini dibangun sekolah kepribadian bagaimana pendapat saudara? ……………………………………… ……………………………………… 2) Apakah motivasi anda memilih masuk sekolah kepribadian? ……………………………………… ……………………………………… Untuk mendapatkan informasi yang komplit, dalam satu ubahan dimungkinkan menggunakan jenis kuesioner tertutup dan terbuka. Hal-hal yang harus diperhatikan dalam menyusun angket: 1) Isi atau materi pertanyaan disesuaikan dengan kemampuan ataupun pengetahuan responden 2) Pertanyaan atau pernyataan yang dituliskan harus menggunakan kata dan kalimat yang mudah difahami responden 3) Butir pertanyaan/pernyataan tidak terlalu banyak 4) Kemasan instrumen menarik 5) Tata letak pertanyaan/pernyataan
63
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Pemberian skor pada alternative jawaban dapat digunakan model pisah (model semantik), skala tipe Likert atau Thurstone. c. Skala Likert Instrumen skala Likert paling banyak digunakan dari pada yang lain, karena dipandang lebih sederhana dan relative lebih mudah membuatnya. Semua butir pertanyaan pada satu ubahan memiliki rentang skala yang sama, dan bahkan seluruh butir pertanyaan dalam penelitian yang menggunakan skala Likert. Rentangan skala dapat bervariasi antara 4 sampai dengn 7, dapat ganjil atau genap. Pernyataan kata dalam skala mulai dari sangat setuju (SS), Setuju (S), Netral (N), Tidak Setuju (TS), dan Sangat Tidak Setuju (STS), diwujudkan dalam bentuk angka yang menyatakan urutan (order) dari atas ke bawah. Sehingga besar kecilnya akan menunjukan intensitas dari butir. d. Skala Semantic Defferential Instrumen jenis ini hamper sama dengan pada skala Likert, dapat dipergunakan untuk mengumpulkan informasi tentang sikap seseorang terhadap suatu policy yang diambil oleh pimpinan. Perbedaanya terletak pada alternative jawaban pada setiap butir pertanyaan. Jenis Semantic Defferential, alternative jawaban pada setiap butirnya diberikan dengan pertanyaan yang berbeda, tergantung dari hal yang ditanyakan. Pernyataan dua kata diletakkan pada sebelah kiri dan kanan skala, yang menunjukan ukuran tertinggi dan terendah dari skala. Sehinggan system skala Semantic disebut juga dengan skala bipolar. Kelebihan instrument jenis Semantic Defferential dibanding dengan skala Likert adalah lebih adaptif terhadap responden dan mengurangi kejenuhan dari responden. Metode pengumpulan data dengan angket ini memiliki keuntungan dan kelebihan. Keuntungannya adalah peneliti dapat menjangkau responden secara luas dan dalam jumlah banyak. Namun dengan angket, peneliti hanya dapat menanyakan permasalahan yang umum saja dan tidak dapat secara mendalam. Kadang-kadang responden juga menjawab tidak sesuai dengan keadannya, tetapi menjawab sesuai dengan norma-etika- aturan yang berlaku di masyarakat, misalnya jika ditanyakan tentang pelaksanaan kegiatan agama, perilaku seksual, pendapatan dan lain-lain, tentu akan menjawab yang baik-baik saja. Hal inilah yang dinamai dengan social desirability bias. 2. Observasi Pengamatan atau observasi adalah teknik pengumpulan data dimana peneliti mengumpulkan data dengan mengamati secara langsung pada kejadian atau proses di lapangan. Jenis informasi yang diperoleh dapat berupa karakteristik benda, proses interaksi benda, atau perilaku manusia baik interaksinya dengan benda/alat maupun interaksinya dengan manusia lain. Seorang dosen praktek mengajar ingin mengetahui kemampuan mengajar mahasiswa bimbinganya. Dosen tersebut mengadakan observasi di kelas atau di laboratorium tempat praktek mengajar untuk melihat dan mencatat bagaimana penampilanya, penguasaan materi baik teori maupun praktek, pengorganisasian kelas, kemampuan berkomunikasi, penggunaan metode mengajar dan media pendidikan dan sebagainya. Berdasarkan hasil pengamatan, dosen pembimbing mengkaji dan memberikan umpan balik kepada mahasiswa untuk memperbaiki langkah-langkah dalam praktek mengajar. Hasil observasi ini sangat ditentukan oleh pengamat (observer), kondisi tempat terjadinya aktivias, dan alat perekam/pencatat. Tingkat pendidikan dan pengalaman observer akan menentukan jumlah dan kualitas informasi yang diperoleh dalam pengamatan. Beberapa hal yang perlu diketahui oleh seorang observer :
64
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
a. b. c. d.
Melakukan pengamatan secara terencana dan sistematis. Mengetahui scenario aktivitas yang akan diamati. Mengetahui hal-hal pokok yang perlu diperhatikan/difokuskan, dan Membuat/menggunakan alat bantu berupa alat pencatat dan perekam
Kondisi lingkungan dimana observasi dilaksanakan akan mempengaruhi hasil pengamatan. Kondisi lingkungan dapat terjadi secara alami (natural) tanpa adanya pengaruhlain. Keadaan ini memungkinkan hasil pengamatan obyektif sesuai dengan keadaan nyata yang diharapkan. Dengan keadaan alami ini akan diperoleh validitas external yang tinggi (generalisasi hasil penelitian). Keadaan lingkungan dapat diciptakan sebagai tiruan keadaan aslinya atau disebut simulasi. Simulasi ini diciptakan dengan mempertimbangkan aspek yang tidak mungkin dilakukan secara natural karena ketrbatasan waktu atau karena keadaan yang membahayakan. Namun harus dibuat situasi yang mirip karakteristiknya dengan situasi yang sebenarnya. Dalam pengamatan, diperlukan alat untuk mencatan atau merekam peristiwa penting yang terjadi. Hal ini utuk membantu observer karena keterbatasan dalam daya ingatan si peneliti, atau melihat banyaknya peristiwa penting secara keseluruhan pada saat yang bersamaan. Alat bantu yang dipakai dalam observasi antara lain; alat perekam, checklist, skala penilaian, dan kartu skor. Kelebihan dari metode ini adalah peneliti dapat mengamati secara langsung realitas yang terjadi, sehingga dapat memperoleh informasi yang mendalam. Namun metode ini kurang dapat mengamati suatu fenomena yang lingkupnya lebih luas, terkait dengan keterbatasan pengamat. Kemampuan pengamat juga sangat menentukan kualitas data yang diperoleh. Kekurangan ini dapat diatasi dengan membuat lembar observasi dan criteria yang rinci. Jika pengamat lebih dari seorang, perlu ada penyamaan pandangan tentang objek yang diamati sehingga ada kesamaan criteria pengamatan. 3. Wawancara Wawancara (interview) merupakan proses untuk memperleh data dalam suatu penelitian dengan mengadakan tanya-jawab antara peneliti dengan responden dengan bertatapmuka langsung. Wawancara terjadi jika ada interaksi antara pewawancara dengan responden. Keberhasilan pelaksanaan wawancara ini tergantung pada proses interaksi yang terjadi. Unsur yang menentukan proses interaksi ini adalah wawasan dan pengertian (insight) yang dimiliki oleh pewawancara. Faktor lain yang dapat mempengaruhi terjadinya interaksi antara pewawancara dan responden adalah situasi wawancara dan isi pertanyaan yang ditanyakan. Isi pertanyaan yang ditanyakan merupakan factor yang dapat mempengaruhi situasi wawancara, juga dapat berpengaruh pada kenyamanan pewawancara dan responden. Terkait dengan hal ini, diperlukan suatu keterampilan yang dapat menciptakan situasi yang kondusif agar dapat menggugah responden untuk mengungkapkan keadaan yang sebenarnya, sebagai data yang diinginkan dalam penelitian. Karakteristik social pewawancara dan responden merupakan factor yang penting dalam wawancara. Penampilan dari pewawancara, latar belakang pewawancara bisa menunjang atau menghambat pelaksanaan wawancara. Keadaan sosial, sikap, kesehatan dan latar belakang responden juga mempengaruhi interaksi yang terjadi. Keterampilan pewawancara ataupun tingkahlakunya dapat menyebabkan responden menjawab dengan lancar ataupun sebaliknya. Sukar-mudahnya pertanyaan sebaiknya disesuaikan dengan kemampuan responden dalam menangkap dan menjawab pertanyaan, termasuk pemilihan bahasa yang digunakan. Pewawancara harus dapat membuat pertanyaan dan situasi yang mendukung sehingga responden bergairah untuk menjawab pertanyaan dan memberikan keterangan sesuai dengan keadaan yang sebenarnya.
65
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Metode pengumpulan data dengan wawancara memiliki kelebihan dan kekurangan. Pewawancara dapat melakukan improvisasi untuk memperoleh jawaban lebih detail dan menggali jawaban lebih mendalam. Pengumpulan dengan cara ini dapat digunakan untuk memperoleh data dari semua lapisan masyarakat, mulai dari yang buta huruf sampai yang berpendidikan tinggi. Namun, dapat juga karena terlalu mendalam data yang diperoleh, akan menjadi agak jauh dari tujuan penelitian yang utama. Perolehan data dan ketepatan data sangat tergantung pada keterampilan pewawancara. Jika kemampuan pewawancara baik, akan dapat menciptakan situasi dan kondisi sehingga responden mau mengungkapkan data seperti yang diinginkan. Dalam pengumpulan data dengan wawancara, ada beberapa hal yang perlu diperhatikan agar dapat memperoleh data sesuai dengan tujuan penelitian, yakni : 1. Membuat panduan wawancara agar pertanyaan-pertanyaan yang akan ditanyakan kepada responden tidak ada yang terlewatkan atau jika berimprovisasi tidak melenceng terlalu jauh. Dalam menyusun pertanyaan-pertanyaannya, perlu diperhatikan agar pemilihan kata-katanya tidak terlalu sulit, menghindari pertanyaan yang umum sekali, menghidari pertanyaan yang memiliki makna ganda (ambiguous), menghindarkan pertanyaan yang mengandung sugesti, membuat pertanyaan tidak langsung (sekiranya pertanyaan tersebut akan mempermalukan responden), dan menghindari pertanyaan yang perlu kemampuan mengingat sesuatu. 2. Memperhatikan situasi dan waktu yang tepat, disesuaikan dengan kesempatan yang dimiliki oleh responden. Tempat wawancara haruslah merupakan tempat yang dapat diterima responden dan diterima oleh masyarakat sekelilingnya. Waktu untuk wawancara perlu dipilih, sehingga tidak mengganggu pekerjaan responden, dan juga tidak terlalu menyita waktu responden. 3. Penampilan pewawancara disesuaikan dengan keadaan responden. 4. Pewawancara perlu bersikap netral terhadap semua jawaban. 4. Dokumentasi Dalam suatu penelitian, kadang-kadang peneliti tidak perlu melaksanakan pengumpulan/ penjaringan data secara langsung dari responden. Untuk suatu tujuan penelitian tertentu, peneliti menggnakan data sekunder. Data sekunder ini merupakan data yang telah ada, atau data yang telah dikumpulkan oleh peneliti lain ataupun hal-hal yang telah dilakukan oleh orang lain. Cara mengumpulkan data semacam ini merupakan cara pengumpulan data dengan dokumentasi. Data-data sekunder yang terkait dengan penelitian ini disebut dengan dokumen. Dokumendokumen ini biasanya dikumpulkan oleh lembaga-lembaga yang terkait. Misalnya untuk penelitian yang terkait dengan pendidikan, misalnya seorang peneliti akan mengetahui perkembangan kemampuan matematika siswa SMP antar tahun, dapat menghubungi Dinas Pendidikan. Kelebihan metode ini, peneliti tidak langsung berhubungan dengan responden. Cara ini akan menghemat waktu dan biaya yang diperlukan untuk penelitian. Kekurangan metode ini, peneliti hanya dapat memperoleh data yang telah ada dan terbatas pada apa yang telah dikumpulkan. Kadang-kadang untuk dapat memperoleh datanya terhambat oleh sistem birokrasi. Namun pada program BOSDA yang dijadikan contoh Pengambilan data dilakukan menggunakan 2 (dua) cara, yaitu a) Pengamatan langsung dan b) Penggunaan Angket. Pengamatan langsung dilakukan saat terjun langsung ke lapangan, sementara Angket digunakan setelahnya. Berdasarkan LogFrame program BOSDA dapat dikembangkan Kisi-kisi untuk pembuatan instrument seperti pada instrument pengamatan langsung dan instrument angket.
66
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Kotak 20 : Analisis Data Instrument Pengamatan Langsung BOSDA Indikator Meningkatnya Kemampuan sekolah dalam pengelolaan dana BOSDA di sekolah untuk memperkuat penerapan MBS
Indikator Pencapaian RKS dan RKAS dibuat secara PATO
Pengembangan pertanyaan:
No. butir 1
Skor
1. Apakah terdapat RKS dan RKAS yang dibuat secara PATO? (skor maks 5) Meningkatnya akses publik terhadap informasi penggunaan dana BOSDA di sekolah.
sekolah yang memasang rencana penggunaan dana di papan pengumuman sekolah atau di tempat lain di sekolah yang mudah diakses publik
Pengembangan pertanyaan:
2
Skor
2. Apa sekolah memasang rincian penggunaan dana BOSDA pada papan pengunguman atau tempat lain di sekolah yang mudah diakses? (skor maks 5) Meningkatnya ketepatan penggunaan dana BOSDA sesuai kebutuhan sekolah dan peraturan program.
Kesesuaian realisasi program dengan RKAS
Pengembangan pertanyaan:
3
Skor
3. Bagaimana kesesuaian realisasi program BOSDA dengan RKAS Sekolah? (skor maks 5) sekolah menggunakan dana sesuai dengan panduan BOSDA
4 Skor
Pengembangan pertanyaan: 4. Apakah dana BOSDA yang diberikan sudah digunakan sesuai dengan panduan BOSDA? (skor maks 5) Seluruh sekolah yang menerima dana BOS lebih sedikit mendapat dana BOSDA lebih banyak
seluruh sekolah negeri dan swasta yang menerima dana BOS lebih sedikit mendapat dana BOSDA lebih banyak
Pengembangan pertanyaan:
5
Skor
5. Apakah pemberian dana BOSDA lebih banyak untuk sekolah yang menerima dana BOS lebih sedikit sudah terlaksana sesuai ketentuan? (skor maks 5) dilaksanakan sosialisasi program BOSDA
terdapat Jadwal sosialisasi
Pengembangan pertanyaan:
6 Skor
6. Apakah terdapat jadwal pelaksanaan sosialisasi? (skor maks 5) Dilakukannya analisis profil sekolah untuk mendapatkan data sekolah penerima BOSDA
%Profil Sekolah yang berada di wilayah terpencil
Pengembangan pertanyaan:
7 Skor
7 Apa terdapat data tentang profil sekolah dari daerah terpencil? (skor maks 5) %profil sekolah yang tidak berada di wilayah terpencil Pengembangan pertanyaan:
8 Skor
8. Apa terdapat data tentang profil sekolah dari daerah tidak terpencil? (skor maks 5) Adanya tim pelaksana program BOSDA
tersedia Tim pelaksana program BOSDA
Pengembangan pertanyaan:
9 Skor
9. Apakah tersedia Tim Pelaksana BOSDA? (skor maks 5) Adanya panduan pelaksanaan program BOSDA
tersedia panduan pelaksanaan program
10
BOSDA
67
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Kotak 20: Analisis Data Instrument Pengamatan Langsung BOSDA (lanjutan) Pengembangan pertanyaan:
Skor
10. Apakah ada buku panduan pelaksanaan program BOSDA.? (skor maks 5) Adanya jadwal pelaksanaan program BOSDA
ketersediaan jadwal pelaksanaan program
11
Pengembangan pertanyaan:
Skor
11. Apakah terdapat jadwal pelaksanaan program? (skor maks 5) Adanya alokasi dana BOSDA dalam APBD
Ketersediaan dana BOSDA dalam APBD
12
Pengembangan pertanyaan:
Skor
12. Apakah ada dana BOSDA dalam APBD? (skor maks 5)
Kotak 21 : Analisis Data Instrument Angket BOSDA Indikator Berkurangnya kesenjangan dan ketimpangan pendapatan dana operasional antarsekolah berdasarkan karateristik daerah
Indikator Pencapaian
No. butir
%sekolah menerima dana Program BOSDA tepat waktu.
Pengembangan Pertanyaan:
1
KS
K
B
BS
I
BS
I
BS
I
BS
I
BS
I
1. Ketepatan waktu sekolah menerima
% sekolah menerima dana Program BOSDA tepat jumlah. Pengembangan Pertanyaan:
2 KS
K
B
2. Ketepatan jumlah dana BOSDA yang diterima sekolah
Seluruh siswa negeri dan siswa swasta miskin terbebas dari biaya operasional sekolah.
%Seluruh siswa negeri terbebas dari biaya operasional sekolah
Pengembangan Pertanyaan:
3
KS
K
B
3. Bagaimana kinerja sekolah negeri dalam membebaskan biaya operasional bagi siswanya?
% Seluruh siswa swasta miskin terbebas dari biaya operasional sekolah Pengembangan Pertanyaan:
4
KS
K
B
4. . Bagaimana kinerja sekolah swasta dalam membebaskan biaya operasional bagi siswanya yang miskin?
Seluruh siswa swasta non miskin mendapat keringanan biaya operasional sekolah
% Seluruh siswa swasta non miskin mendapat keringanan biaya operasional sekolah
Pengembangan Pertanyaan: 5. Bagaimana kinerja sekolah swasta dalam membantu meringankan biaya operasional bagi siswanya yang non miskin?
68
5
KS
K
B
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Kotak 21: Analisis Data Instrument Angket BOSDA (lanjutan) dilaksanakan sosialisasi tentang program BOSDA
tersedia laporan sosialisasi
Pengembangan Pertanyaan:
6 KS
K
B
BS
I
BS
I
BS
I
6. ketersediaan laporan hasil pelaksanaan sosialisasi.
dilaksanakan sosialisasi tentang program BOSDA
Daftar hadir peserta sosialisasi
Pengembangan Pertanyaan:
7 KS
K
B
7. ketersediaan daftar hadir peserta sosialisasi. Dilakukannya analisis profil sekolah untuk mendapatkan data sekolah penerima BOSDA
Profil siswa miskin
Pengembangan Pertanyaan:
8 KS
K
B
8. pemutakhiran data profil siswa miskin baik negeri maupun swasta.
Keterangan: KS = Kurang Sekali
B = Baik
K = Kurang
BS = Baik Sekali
I = Istimewa
69
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Pengembangan Teknik Pengolaan Data Waktu : 2 jam 15 menit
PENGANTAR Secara garis besar data penelitian dapat dikelompokkan menjadi dua, yaitu data kualitatif dan data kuantitatif. Data kualitatif menjelaskan kualitas (bukan dalam bentuk angka) dari variabel yang diteliti, sedangkan data kuantitatif menjelaskan besarnya nilai variabel yang diteliti.
TUJUAN Setelah mengikuti program pelatihan, para peserta diharapkan mampu: • Membuat dan Mengembangkan Teknik pengolaan/analisis Data Monev
BAHAN DAN ALAT 1. 2. 3. 4.
Tayangan tentang teknik pengolaan data Lembar kerja peserta Format 4.7 dan 4.8 Contoh program yang dibawa peserta pelatihan ATK : Kertas Plano, Kertas Buram, Spidol Berwarna
LANGKAH KEGIATAN 1. Pengantar Singkat oleh Fasilitator (5 menit) Fasilitator memberikan pengantar singkat teknik pengolaan data yang baik. 2. Diskusi Kelompok Tentang Teknik Pengolaan Data (40 menit) a. Fasilitator membagi peserta ke dalam kelompok dengan tiap kelompok beranggotakan 6 orang. Kemudian membagi 3 orang mendiskusikan teknik pengolaan data secara kualitatif dan 3 orang lagi mendiskusikan teknik pengolaan data secara kuantitatif. b. Peserta menggabungkan diskusi dengan kelompoknya dan menuliskan hasil diskusi di kertas plano c. Fasilitator mengawasi jalannya diskusi dan memberi bantuan kepada kelompok yang berjalan kurang aktif. 3. Berbagi hasil diskusi (20 menit) a. Fasilitator meminta 4 orang dalam kelompok untuk berkunjung ke kelompok lain dan melihat serta memberikan komentar terhadap hasil kerja kelompok lain, sedang dua orang yang tinggal bertugas untuk memaparkan hasil kerja kelompok dan menjawab pertanyaan dari pengunjung kelompok lain b. Fasilitator mengawasi jalannya diskusi kelompok. 3. Membuat teknik pengolaan data (40 menit) Fasilitator meminta peserta pelatihan untuk membuat teknik pengumpulan data yang sesuai dengan program yang dibawa per Kabupaten/Kota.
70
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Gambar 4.6 : Langkah Kegiatan Pengembangan Teknik Pengelolaan Data
5 menit
40 menit
20 menit
40 menit
Pengantar Singkat oleh fasilitator 1
Diskusi kelompok tentang teknik pengelolaan data 2
Berbagi hasil diskusi 3
Membuat teknik pengelolaan data 4
Format 4.7 : Analisa Data Kuantitatif
Data
Teknik Pengolaan Data
Kriteria Nilai
Kategori
Deskripsi
Kesimpulan
Rekomendasi Umum
Angket
Format 4.8 : Analisa Data Kualitatif Indikator
Indikator Pencapaian
Analisis
71
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
BAHAN BACAAN UNTUK FASILITATOR DAN PESERTA Teknik pengolahan data Data yang terkumpul dianalisis menggunakan analisis kualitatif dan kuantitatif. Analisis kualitatif dilakukan pada data hasil pengamatan langsung, sedangkan analisa kuantitatif dilakukan pada data hasil angket. Pada data kuantitatif dilakukan analisa statistik deskriptif menggunakan kriteria Penskoran sebagai unit analisa. Berdasarkan hal tersebut, teknik pengolahan data Program BOSDA dapat dikembangkan seperti dalam Kotak 22: Analisis Data Kuantitatif dan Kotak 23: Analisis Data Kualitatif. Kotak 22 : Analisis Data Kuantitatif Data
Teknik pengolahan data
Pengamatan Langsung
Teknik penskoran (skor maks 5)
Angket
Teknik penskoran: KS = skor 1 ; K = skor 2 ; B = skor 3 ; BS = skor 4; I = skor 5
1. Perhitungan Persentase rata-rata penskoran data pengamatan langsung S=
Jumlah Skor Hasil Pengamatan Jumlah Butir Soal x 5
x 100 %
2. Perhitungan Persentase rata-rata penskoran data angket S=
Jumlah Skor Hasil Angket Jumlah Butir Soal x 5
x 100 %
Kriteria keberhasilan Nilai
Kategori
Deskripsi
Kesimpulan
Rekomendasi Umum
81% ≤ S ≤ 100%
Sangat Baik Hampir semua indikator dicapai
Program BOSDA sangat berhasil
61% ≤ S ≤ 80%
Baik
Sebagian besar indikator telah dicapai
Program BOSDA berhasil
Program dapat dilanjutkan dengan perbaikan terhadap sedikit indikator
41% ≤ S ≤ 60%
Cukup
Hanya sebagian indikator yang dicapai
Program BOSDA cukup berhasil
Program dapat dilanjutkan dengan perbaikan terhadap banyak indikator
21% ≤ S ≤ 40%
Kurang
Hanya sebagian kecil indikator yang dicapai
Program BOSDA kurang berhasil
Program dapat dilanjutkan dengan perbaikan terhadap sebagian besar indikator
0% ≤ S ≤ 20%
Sangat Kurang
Hampir semua Program BOSDA indikator tidak dicapai. gagal
Program dapat dilanjutkan tanpa revisi
Program tidak dapat dilanjutkan atau Perlu perbaikan terhadap hampir semua indikator agar program dapat dilanjutkan
Contoh : total skor hasil pengamatan : 58 jumlah butir X 5 = 12 X 5 = 60 skor akhir s= (58/60) x 100% = 96,6667% dilihat dari kriteria keberhasilan, program tersebut dapat dilanjutkan tanpa ada revisi.
72
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Kotak 23 : Analisis Data Kualitatif
Indikator
Indikator pencapaian
Analisis
Meningkatnya tata RKS dan RKAS dibuat kelola sekolah dalam secara PATO pengelolaan dana BOSDA disekolah secara transparan dan akuntabel untuk memperkuat penerapan MBS
Bila tidak terdapat RKS dan RKAS uyang dibuat secara PATO, MBS tidak bias berjalan sedangkan bila hanya terdapat RKS atau RKAS yang dibuat secara PATO berarti MBS belum berjalan secara maksimal,MBS akan berjalan secara maksimal bila terdapat RKS dan RKAS secara PATO.
Meningkatnya akses publik terhadap informasi penggunaan dana BOSDA di sekolah
sekolah memajang rencana penggunaan dana di papan pengunguman sekolah atau di tempat lain di sekolah yang mudah diakses publik
Bila sekolah tidak memajang rencana penggunaan dana di tempat yang mudah diskses berarti ada kemungkinan publik tidak mengetahui perkembangan yang terjadi pada penggunaan dana di sekolah termasuk BOSDA dan sebaliknya bila sekolah memajang penggunaan dana di tempat yang mudah diakses maka publik akan dapat melihat perincian penggunaan dana apa telah sesuai dengan kenyataannya.
Meningkatnya ketepatan penggunaan dana BOSDA sesuai kebutuhan sekolah dan peraturan program.
Kesesuaian realisasi program dengan RKAS.
Bila program tidak sesuai dengan RKAS berarti kemungkinan ada dana yang dipergunakan tidak sesuai dengan kebutuhan sekolah, dan bila program sesuai dengan RKAS maka penggunaan dana BOSDA akan tepat guna.
sekolah menggunakan dana sesuai dengan panduan BOSDA
Bila pengguanaan dana BOSDA tidak sesuai panduan BOSDA bisa terjadi ketidaktahuan pengelolaan dana BOSDA sehingga menyebabkan penyimpangan dari ketentuan program
seluruh sekolah negeri dan swasta yang menerima dana BOS lebih sedikit mendapat dana BOSDA lebih besar saat penyaluran dana BOSDA berformula
%seluruh sekolah negeri dan swasta yang menerima dana BOS lebih sedikit mendapat dana BOSDA lebih besar saat penyaluran dana BOSDA berformula
Bila sekolah yang menerima dana BOS lebih sedikit mendapat dana BOSDA sama dengan sekolah yang menerima dana BOS lebih banyak berarti program BOSDA berformula tidak berjalan sesuai ketentuan. Karena pada BOSDA berformula telah dikembangkan formula yang dapat mengurangi tingkat kesenjangan antarsekolah yang berdasarkan karakteristik daerah.
dilaksanakan sosialisasi program BOSDA
Tersedia laporan sosialisasi
Laporan sosialisasi digunakan untuk melihat sejauh mana program BOSDA telah tersosialisasi, apabila tidak tersedia laporan sosialisasi berarti tidak ada sosialisasi yang terjadi sehingga public tidak mengetahui tentang program BOSDA
Dilakukannya analisis profil sekolah untuk mendapatkan data sekolah penerima BOSDA
Profil Sekolah yang berada di wilayah terpencil
Analisis ini dilakukan untuk menentukan sekolah yang akan mendapatkan dana BOSDA di derah terpencil, jika tidak maka akan terjadi penumpukan dana BOSDA dalam APBD. misalnya dana 1 miliar untuk 24 SD dan 20 SMP hanya tersalurkan setengah dari jumlah SD dan SMP.
profil sekolah yang Sama seperti pada indikator pencapaian sebelumnya, tidak berada di wilayah analisis ini digunakan untuk menentukan sekolah penerima terpencil dana BOSDA di daerah tidak terpencil dengan ketentuan program. Adanya tim pelaksana program BOSDA
tersedia Tim pelaksana program BOSDA
Bila tidak ada tim manajemen BOSDA mustahil program BOSDA dapat dijalankan karena siapa yang akan mengelola, menyalurkan, menganalisis, dll.
Adanya panduan pelaksanaan program BOSDA
tersedia panduan pelaksanaan program BOSDA
Bila buku panduan pelaksanaan program BOSDA tidak ada, maka program BOSDA tidak akan berjalan. Karena ketidaktahuan langkah-langkah program sselanjutnya yang akan menghasilkan program yang berjalan secara maksimal.
73
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Kotak 23 : Analisis Data Kualitatif (lanjutan)
Indikator
Indikator pencapaian
Analisis
Adanya jadwal pelaksanaan Ketersediaan jadwal program BOSDA pelaksanaan program
BIla tidak ada jadwal pelaksanaan program BOSDA, program BOSDA juga tidak akan berjalan karena tidak tahu harus memulai dari mana.
Adanya alokasi dana BOSDA dalam APBD
Ketersediaan dana BOSDA dalam APBD
Bila dana BOSDA tidak ada dalam APBD, secara mutlak program BOSDA tidak akan berjalan, karena ketersediaan dana BOSDA adalah hal yang sangat penting dalam melaksanan program BOSDA, bagaimana bisa membebaskan dan meringankan biaya sekolah siswa. Untuk itu diperlukan adanya dana BOSDA dalam APBD
Berkurangnya kesenjangan dan ketimpangan pendapatan dana operasional antarsekolah berdasarkan karakteristik daerah
%sekolah menerima dana Program BOSDA tepat waktu
BIla setidaknya 80% sekolah tidak menerima dana BOSDA tepat waktu, maka akan terjadi keterlambatan berjalannya RKAS dan program belum berjalan secara maksimal
%sekolah menerima dana Program BOSDA tepat jumlah.
Bila setidaknya 80% sekolah tidak menerima dana BOSDA tepat jumlah, maka akan terjadi kesenjangan antarsekolah dan menimbulkan pemikiran-pemikran negative tentang mekanisme penyaluraan seperti apa terjadi tindak korupsi atau tidak
%Seluruh siswa negeri terbebas dari biaya operasional sekolah
Bila dengan adanya program BOSDA ada setidaknya100% dari seluruh siswa negeri yang terbebaskan biaya operasional sekolah berarti program tersebut telah berhasil dijalankan, sedangkan bila 61%-80% berarti program telah berhasil dengan perbaikan sedikit indikator, apabila 41%60%, program dikatakan cukup berhasil dengan perbaikan banyak indicator, 21%-40%, program kurang berhasil dengan perbaikan hamper sebagian besar indikator, 0%20% program gagal dijalankan, perlu perbaikan disemua indikator.
Seluruh siswa negeri dan siswa swasta miskin terbebas dari biaya operasional sekolah.
% Seluruh siswa swasta Hamper sama dengan indikator sebelumnya hanya saja kali miskin terbebas dari persentase program bias dinytakan berhasil adalah bila 80% biaya operasional siswa swasta miskin terbebas dari biaya opersaional sekolah sekolah Seluruh siswa swasta tidak tergolong miskin mendapat keringanan biaya operasional sekolah dilaksanakan sosialisasi program BOSDA
Dilakukannya analisis profil sekolah untuk mendapatkan data sekolah penerima BOSDA
74
% Seluruh siswa swasta Bila setidaknya 50% siswa swasta non miskin telah non miskin mendapat mendapatkan keringanan biaya operasional, maka program keringanan biaya tersebut dapat terus berjalan operasional sekolah Tersedia laporan sosialisasi
Bukti laporan pelaksanaan sosialisasi program bosda dibutuhkan untuk melihat sejauh mana program BOSDA telah tersosialisasi kepada publik
Daftar hadir peserta
Bukti daftar hadir peserta diperlukan untuk mengetahui jumlah peserta yang hadir
Profil siswa miskin
Profil siswa miskin diperlukan untuk mengetahui jumlah seluruh siswa miskin baik di negeri maupun swasta guna sebagai acuan dalam menentukan sekolah penerima BOSDA
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Pengembangan Diagram Uji Hasil dan Alur Kerja Program Waktu : 2 jam
PENGANTAR Tujuan dari setiap program adalah mengarahkan pada hasil yang diinginkan. Setiap hasil pastilah mempunyai kriteria atau indikator hasil yang menyatakan berhasil tidaknya program tersebut. Indikator hasil tersebut tidak dapat tercipta jika tidak didukung indikator-indikator lainnya. Oleh karena itu dibutuhkan uji hasil yang dapat melihat apakah indikator-indikator tersebut saling berhubungan dan mendukung sehingga indikator hasil dapat menjadi kriteria dari keberhasilan suatu program.
TUJUAN Setelah mengikuti program pelatihan, para peserta diharapkan mampu: • Membuat dan mengembangkan diagram uji hasil dan alur kerja program
BAHAN DAN ALAT 1. 2. 3. 4.
Tayangan tentang contoh diagram uji hasil dan alur kerja program Lembar kerja peserta Format 4.9 dan 4.9A Contoh program yang dibawa peserta pelatihan ATK : Kertas Plano, Kertas Buram, Spidol Berwarna
LANGKAH KEGIATAN 1. Pengantar Singkat oleh Fasilitator (5 menit) Fasilitator memberikan pengantar singkat contoh diagram uji hasil dan alur kerja. 2. Diskusi Kelompok Tentang diagram uji hasil dan alur kerja (60 menit) a. Fasilitator membagi peserta ke dalam kelompok dengan tiap kelompok beranggotakan 6 orang. Kemudian membagi 3 orang sebagai ahli uji hasil dan 3 orang lagi sebagai ahli alur kerja. b. Peserta membentuk kelompok baru sesuai ahli masing-masing dan mendiskusikan keahliannya. c. Peserta kembali lagi ke kelompok semula dan menjelaskan kepada teman sekelompoknya hasil diskusi per ahli sebelumnya. d. Fasilitator mengawasi jalannya diskusi dan memberi bantuan kepada kelompok yang berjalan kurang aktif. Pada lembar kerja ini masukan, kegiatan, keluaran, dan hasil tidak harus dua namun bisa lebih dari sama dengan satu.
75
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
3. Berbagi hasil diskusi (10 menit) a. Fasilitator meminta beberpa kelompok untuk menjelaskan hasil diskusinya b. Fasilitator mengawasi jalannya diskusi kelompok. 4. Membuat teknik pengolaan data (45 menit) Fasilitator meminta peserta pelatihan untuk membuat diagram uji hasil dan alur kerja yang sesuai dengan program yang dibawa per Kabupaten/Kota. Gambar 4.7 : Langkah Kegiatan Pengembangan Diagram Uji Hasil dan Alur Kerja Program
5 menit
40 menit
10 menit
45 menit
Pengantar Singkat oleh fasilitator 1
Diskusi kelompok tentang diagram uji hasil dan alur kerja 2
Berbagi hasil diskusi 3
Membuat diagram uji hasil dan alur kerja 4
Format 4.9 : Uji Hasil Maka Jika Maka Jika
Format 4.9A : Alur Kerja MASUKAN
KEGIATAN
KELUARAN
Masukan 1 Masukan 2 Kegiatan 1 Kegiatan 2 Keluaran 1 Keluaran 2 (sesuai indikator pada logframe)
76
HASIL Hasil 1
Hasil 2
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
BAHAN BACAAN UNTUK FASILITATOR DAN PESERTA Kerangka kerja logis atau Framework juga memerlukan analisis uji hasil. Framework tersebut akan diuji menggunakan hipotesa ”JIKA-MAKA”. Begitu juga dengan Framework BOSDA, ada 2 hal yang diujikan seperti yang tertera pada Kotak 24A dan Kotak 24B. Kotak24A : Diagramatik Uji Coba Hasil 1 BOSDA Tata kelola sekolah dalam pengelolaan dana di sekolah termasuk BOSDA secara transparan dan akuntabel untuk memperkuat penerapan MBS akan meningkat (hasil 1).
Jika
sekolah mampu mengelola dana yang diterima sekolah termasuk BOSDA secara transparan dan akuntabel (hasil 1) Sekolah meningkatkan kemampuannya dalam menerapkan MBS (manajemen berbasis sekolah) (hasil 1).
Jika
Maka
dana digunakan sesuai ketentuan (keluaran 1 #2 ) dan masyarakat menerima informasi pengguanaan dana termasuk BOSDA (keluaran 1 #1). Sekolah akan mengelola dana sesuai dengan ketentuan (keluaran 1 #2) dan akses masyarakat terhadap informasi penggunaan dana termasuk BOSDA meningkat (keluaran 1 #1).
Jika
Maka
Maka
seluruh kegiatan dilaksanakan (Masukan).
Kotak 24B : Diagramatik Uji Coba Hasil 2 BOSDA Kesenjangan dan ketimpangan pendapatan dana operasional antarsekolah berdasarkan kriteria daerah akan berkurang (hasil 2).
Jika
Maka
Sekolah menerima dana BOS lebih sedikit mendapat dana BOSDA lebih banyak. (keluaran 2 #1). Sekolah menerima dana BOS lebih sedikit mendapat dana BOSDA lebih banyak (keluaran 2 #1), Seluruh siswa negeri dan siswa swasta miskin terbebas dari biaya operasional sekolah (keluaran 2 #2),
Maka
Seluruh siswa swasta non miskin mendapat keringanan biaya operasional
Jika
manajemen BOSDA menjalankan program sesuai ketentuan Manajemen BOSDA paham tentang seluruh ketentuan program
Jika
Maka
seluruh kegiatan dilaksanakan (Masukan).
Secara umum alur kerja Program BOSDA di gambarkan seperti pada Kotak 25: Diagram Alur Kerja M&E Program BOSDA
77
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Kotak25 : Diagram Alur Kerja M&E Program BOSDA
Kegiatan di sekolah yang dibiayai program BOSDA dan kegiatan yang dilaksanakan oleh manajemen BOSDA
Masukan 1:
Adanya tim pelaksana program BOSDA
Indikator:
Tersedia tim pelaksana program BOSDA
Masukan 2:
Adanya panduan pelaksanaan program BOSDA
Indikator:
Tersedia panduan pelaksanaan program BOSDA
Masukan 3:
Adanya jadwal pelaksanaan program BOSDA
Indikator:
Ketersediaan jadwal pelaksanaan program BOSDA
Masukan 4:
Adanya alokasi dana BOSDA dalam APBD
Indikator:
Masukan 2:
Indikator:
Indikator:
Adanya profil sekolah
Kegiatan 1:
Indikator:
Indikator:
Indikator:
Keluaran 1:
Kegiatan 2:
Keluaran 1:
Meningkatkan akses publik terhadap informasi penggunaan dana BOSDA di sekolah
Indikator:
Sekolah memajang rencana penggunaan dana di papan pengumuman sekolah atau tempat lain di sekolah yang mudah dilihat
Dilakukannya penyaluran dana BOSDA sesuai jadwal
Dana BOSDA tersalurkan sesuai jadwal
Meningkatkan ketepatan penggunaan dana BOSDA sesuai kebutuhan sekolah dan peraturan Program
Indikator:
1. Kesesuaian realisasi program dengan RKAS 2. Sekolah menggunakan dana sesuai dengan panduan BOSDA
Dilakukannya analisis profil sekolah untuk mendapatkan data sekolah penerima BOSDA
1. Sekolah yang berada di wilayah terpencil 2. Sekolah yang tidak berada di wilayah terpencil 3. Profil siswa miskin
Seluruh sekolah yang menerima dana BOS lebih sedikit mendapat dana BOSDA lebih besar saat penyaluran dana BOSDA berformula
Indikator:
Seluruh sekolah yang menerima dana BOS lebih sedikit mendapat dana BOSDA lebih besar saat penyaluran dana BOSDA
Hasil 1:
Hasil 1:
Indikator:
Indikator:
Meningkatkan tata kelola sekolah dalam pengelolaan dana BOSDA di sekolah untuk memperkuat penerapan MBS
RKS dan RKAS dibuat secara PATO
Pemutakhiran data profil siswa
Ketersediaan dana BOSDA dalam APBD
Kegiatan 2:
1. Tersedianya laporan sosialisasi 2. Terdapat jadwal sosialisasi 3. Daftar hadir peserta
Adanya profil siswa
Pemutakhiran data profil sekolah
Kegiatan 1:
Adanya tim pelaksana program BOSDA
78
Masukan 1:
Keluaran 2:
Keluaran 3:
Indikator:
Indikator:
Seluruh siswa negeri dan siswa swasta miskin terbebas dari biaya operasional sekolah
1. Seluruh siswa negeri yang terbebas dari biaya operasional sekolah 2. Seluruh siswa swasta miskin yang terbebas dari biaya operasional sekolah
Seluruh siswa swasta non miskin mendapat keringanan biaya operasional sekolah
Seluruh siswa non miskin yang mendapat keringanan biaya operasional sekolah
Berkurangnya kesenjangan dan ketimpangan dana antar sekolah berdasarkan karakteristik daerah
1. Sekolah menerima dana Program BOSDA tepat waktu 2. Sekolah menerima dana Program BOSDA tepat jumlah
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
M
Unit 5 Pengembangan Pelaporan dan Desiminasi
79
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
Pengembangan Pelaporan dan Diseminasi Waktu : 1 jam 30 menit
PENGANTAR Format laporan menggambarkan secara umum bagaimana penyajian laporan monev. Format laporan selalu berkembang dan mempunyai format yang berbeda-beda. Perkembangan itu bertujuan untuk menentukan bagian mana yang harus dilaporkan dan bagaimana pelaporannya. Laporan yang disusun memuat proses dan hasil pelaksanaan kegiatan monev. Di samping itu, laporan berisi temuan-temuan, kesimpulan dan rekomendasi. Rekomendasi hasil monev disusun berdasarkan hasil analisis dan temuan-temuan. Substansi rekomendasi difokuskan pada upaya perbaikan dan pemecahan masalah yang ditemukan dalam monitor-ing dan evaluasi. Formulasi rekomendasi seyogyanya disusun dalam bentuk program tindak lanjut.
TUJUAN Setelah mengikuti program pelatihan, para peserta diharapkan mampu: • Membuat dan Mengembangkan Pelaporan dan Dimseminasi Monev
BAHAN DAN ALAT 1. 2. 3. 4.
Tayangan tentang bentuk umum pelaporan dan cara diseminasi Lembar kerja peserta Format 5 Contoh program yang dibawa peserta pelatihan ATK : Kertas Plano, Kertas Buram, Spidol Berwarna
LANGKAH KEGIATAN 1. Pengantar Singkat oleh Fasilitator (5 menit) Fasilitator memberikan pengantar singkat tentang membuat pelaporan dan cara diseminasi. Fasilitator dan peserta berinteraksi dengan Tanya jawab, apa yang peserta ketahui tentang diseminasi? 2. Kerja Kelompok Tentang Membuat pelaporan (15 menit) a. Fasilitator membagi peserta ke dalam kelompok dengan tiap kelompok beranggotakan 4-6 orang kemudian meminta membuat pelaporan monev dari suatu program b. Peserta menuliskan hasil kerja kelompok pada kertas plano c. Fasilitator mengawasi jalannya diskusi. 3. Pelaporan hasil kerja kelompok (10 menit) Fasilitator meminta salah satu kelompok untuk memaparkan hasil kerja kelompoknya, kemudian kelompok lain menanggapi. Peserta aktif dalam bertanya dan memberikan masukan ide-ide baru.
80
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
4. Diskusi kelompok tentang diseminasi (15menit) a. Fasilitator meminta tiap kelompok untuk mendiskusikan macam-macam cara diseminasi. b. Fasilitator meminta tiap kelompok memilih cara diseminasi yang tepat untuk program Monevnya. c. Fasilitator meminta kelompok menuliskan hasil diskusinya pada kertas plano. 5. Berbagi hasil diskusi (10 menit) Peserta kelompok menempelkan kertas plano hasil diskusi pada dinding, kemudian menentukan peserta yang akan berkunjung dan siapa yang tinggal. Peserta mengunjungi kelompok lain dan bertanya tentang hal yang baru yang di dapat dari kelompok lain, kemudian kembali lagi ke kelompok awal untuk membandingkan dan melengkapi hasil kerja kelompoknya. 6. Membuat rencana pelaporan dan diseminasi (35 menit) Fasilitator meminta peserta pelatihan untuk membuat rencan pelaporan dan diseminasi sesuai dengan program yang dibawa masing-masing peserta pelatihan per Kabupaten/Kota. Gambar 4.8 : Langkah Kegiatan Pengembangan Pelaporan dan Diseminasi
5 menit
15 menit
10 menit
Pengantar Singkat oleh fasilitator 1
Diskusi kelompok tentang membuat rencana pelaporan 2
Pelaporan kerja kelompok 3
Membuat rencana pelaporan dan diseminasi 6
Diskusi kelompok tentang diseminasi 5
Diskusi kelompok tentang diseminasi 4
35 menit
10 menit
15 menit
Format 5 : Pelaporan Bab I. Pendahuluan
Bab II. Pelaksanaan M&E Kinerja Kabupaten/Kota
81
Kementerian Pendidikan dan Kebudayaan Republik Indonesia
BAHAN BACAAN UNTUK FASILITATOR DAN PESERTA Laporan dibuat secara bersama-sama oleh petugas yang melaksanakan M&E program BOSDA Kabupaten/kota sasaran berpedoman pada “outline” berikut ini:
Bab I. Pendahuluan 1. 2. 3. 4.
Latar Belakang Dasar Hukum Tujuan Manfaat
Bab II. Pelaksanaan M&E Kinerja Kabupaten/Kota 1. 2. 3. 4. 5. 6.
Lokasi Dasar Penugasan Petugas Alur Kegiatan dan Jadwal Responden Instrumen
Bab III. Hasil dan Pembahasan 1. Hasil Penilaian 2. Pembahasan
Bab IV. Kesimpulan dan Rekomendasi 1. Kesimpulan 2. Rekomendasi
LAMPIRAN 1. 2. 3. 4.
82
Surat Tugas Instrumen Sampel Bukti Fisik Dokumentasi/Foto Kegiatan (jika ada)
Modul Pelatihan Pengembangan Disain Monitoring dan Evaluasi
Lampiran
83
SELAMAT DATANG Peserta Pelatihan Pengembangan Disain Monitoring dan Evaluasi
1. Datang tepat waktu 2. Boleh merokok saat istirahat dan di luar ruang 3. Selama pelatihan, HP cukup bergetar 4. Terima kasih untuk tidak gaduh 5. Kontrak dibuat bukan untuk dilanggar
PERATURAN
Unit 1A
Pemahaman Disain Monev
3. Berbagi hasil diskusi (10 menit)
2. Diskusi kelompok tentang urutan dalam pembuatan disain monev (30 menit)
1. Pengantar singkat (5 menit)
Waktu Pelatihan
6. Perumusan Tujuan M&E
5. Contoh Program
4. Prinsip Dasar
3. Pengertian M&E
2. Dasar Hukum
1. Pendahuluan
Tahapan Pembuatan Disain Monev
12. Pengembangan Metode
11. Sistem Pelaksanaan M&E
10. Pelaksana M&E
9. Tempat Pelaksanaan M&E
8. Rencana Kerja M&E
7. Perumusan Manfaat M&E
Tahapan Pembuatan Disain Monev
7. Pelaporan
6. Teknik Pengelolaan Data
5. Teknik Pengumpulan Data
4. Sumber Data
3. Indikator dan Alat Ukur
2. Teknik Sampling
1. Teknik Pelaksanaan M&E
Pengembangan Metode
Urutan Langkah Kerja
Definisi/Penjelasan
Lembar Kerja
Monitoring dan Evaluasi (M&E) merupakan dua kegiatan terpadu dalam rangka pengendalian suatu program. Meskipun merupakan satu kesatuan kegiatan, Monitoring & Evaluasi mempunya fokus yang agak berbeda satu sama lain.
Namun yang terpenting dengan sistem M&E adalah bagaimana pelaksana program dapat memperoleh data/informasi secara akurat dan tepat waktu serta menggunakannya untuk perbaikan pelaksanaan program.
>
>
Penguatan Materi
Unit 1B
Pengembangan Pendahuluan Monev
Revisi Pendahuluan sesuai input kelompok lain (8 menit)
Berbagi hasil diskusi (20 menit)
Membuat Pendahuluan sesuai program yang dibawa peserta pelatihan (20 menit)
Diskusi Kelompok tentang Merumuskan Pendahuluan (10 menit)
Pengantar Singkat oleh Fasilitator (2 menit)
Langkah Kegiatan
5. Menentukan contoh program yang akan di-Monev
4. Menuliskan prinsip dasar M&E
3. Menjelaskan pengertian M&E
2. Menentukan dasar hukum
1. Merumuskan pendahuluan
Dalam Tahap ini yang akan dilakukan peserta pelatihan adalah:
Tahapan Pengembangan Pendahuluan
Contoh program yang akan di Monitoring dan Evaluasi
Prinsip Dasar M&E
Dasar Hukum Pengertian M&E
Materi Pendahuluan
Lembar Kerja Definisi/Penjelasan
Monitoring adalah proses pengumpulan dan analisis informasi (berdasarkan indikator yang ditetapkan) secara sitematis dan kontinu tentang kegiatan program/proyek sehingga dapat dilakukan tindakan koreksi untuk penyempurnaan program/proyek itu selanjutnya.
Evaluasi adalah proses penilaian pencapaian tujuan dan pengungkapan masalah kinerja program/proyek untuk memberikan umpan balik bagi peningkatan kualitas kinerja program/proyek
>
>
Penguatan Materi
Unit 1C
Pengembangan Intervention Logic Disain Monev
Revisi Intervention Logic
Berbagi hasil diskusi (15 menit)
Membuat Intervention Logic (20 menit)
Diskusi Kelompok tentang Intervention Logic (20 menit)
Pengantar Singkat oleh Fasilitator tentang Intervention Logic (2 menit)
Langkah Kegiatan
D. Apakah hasil yang didapat setelah keluaran tercapai
C. Tentukan keluaran dari kegiatan yang dilakukan
B. Buat kegiatan yang menjalankan indikator masukan
A. Tentukan indikator masukan
Merumuskan Intervention Logic
Implementation
Result
Dilakukannya penyaluran dana BOSDA sesuai jadwal
Kegiatan
Masukan (Input)
Seluruh sekolah negeri dan swasta yang menerima dana BOS lebih sedikit mendapat dana BOSDA lebih besar saat penyaluran dana BOSDA berforma
Keluaran (Output)
Adanya tim pelaksana program BOSDA
Adanya alokasi dana BOSDA dalam APBD
Berkurangnya kesenjangan dan ketimpangan pendapatan dana operasional antarsekolah berdasarkan karakteristik daerah
Hasil (Outcome)
Contoh Intervention Logic Program BOSDA
Pelaksanaan Monitoring
Hasil Monitoring
Hasil
Implementation
Result
Masukan (Input)
Kegiatan
Keluaran (Output)
Hasil (Outcome)
Lembar Kerja
Adanya alokasi dana BOSDA dalam APBD
Pelaksanaan Monitoring
Hasil Monitoring
Hasil
Unit 2A
Perumusan Tujuan dan Manfaat Monev
Revisi
Berbagi hasil diskusi (15 menit)
Merumuskan Tujuan dan Manfaat (15 menit)
Diskusi Kelompok tentang Tujuan dan Manfaat dari sebuah program (15 menit)
Pengantar Singkat oleh Fasilitator (2 menit)
Langkah Kegiatan
5. Rumuskan Tujuan berdasarkan informasi dan Intervention Logic
4. Kaitkan dengan Intervention Logic yang telah dibuat
3. Identifikasi masalah yang mungkin terjadi
2. Kaji semua kegiatan program tersebut
1. Gali informasi yang berhubungan dengan program
Perumusan Tujuan Monev
4. Rumuskan manfaat yang diperoleh
3. Identifikasi dampak positif yang dihasilkan program
2. Kaji faktor yang mempengaruhi program
1. Pahami tujuan program yang telah dibuat
Perumusan Manfaat Monev
Tujuan Monev
Lembar Kerja Manfaat Monev
Monitoring dan Evaluasi (M&E) sebagai alat untuk mendukung perencanaan
Monitoring dan Evaluasi (M&E) sebagai alat untuk mengetahui kemajuan program
Monitoring dan Evaluasi (M&E) sebagai alat akuntabilitas program dan advokasi
>
>
>
Penguatan Materi
Unit 2B
Pengembangan Rencana Waktu dan Tahapan Pelaksanaan Monev
Revisi
Berbagi hasil diskusi (20 menit)
Membuat tahapan pelaksanaan dengan rencana waktu (15 menit)
Tahapan Pelaksanaan (15 menit)
Kelompok tentang Rencana Waktu dan UnitDiskusi 2B
Pengantar Singkat oleh Fasilitator (2 menit)
Langkah Kegiatan
Contoh
3. Gabungkan tahapan pada waktu sehingga terbentuk gambaran proses dan lamanya Monev
Unit2. 2B Tentukan tahapan pelaksanaan Monev
1. Tentukan lamanya Monev akan berjalan
Pengembangan Rencana Waktu dan Tahapan Pelaksanaan Monev
8. Desiminasi
7. Pelaporan
6. Analisis data
5. Validasi data
4. Pengambilan data
3. Pelatihan petugas M&E
2. Uji coba finalisasi instrumen
1. Pengembangan disain M&E Unit 2B
Tahapan pelaksanaan M&E √
1 √
2 √
3
√
4
√
5
√
6
√
7
Bulan Ke
√
8
Contoh Rencana Waktu dan Tahapan Pelaksanaan Monev Program BOSDA
√
9
√
10
√
11
√
12
Unit 2B
Waktu
Lembar Kerja Tahap Pelaksanaan
M&E merupakan proses berkelanjutan yang dilakukan selama berlangsungnya program. Setiap tahapan pelaksanaan program harus di-monitor melalui pengumpulan dan analisis Unit 2B data yang berkelanjutan selama berlangsungnya program. Sementara, evaluasi bisa dilakukan pada awal, pertengahan atau akhir program. Namun demikian kegiatan evaluasi harus direncanakan sejak dini termasuk pelaksanaan pengumpulan data dasar (baseline) pada awal pelaksanaan program. M&E harus dilakukan tepat waktu, jangan terlalu sering (mubazir) tetapi juga jangan terlampau jarang (akan terlambat untuk mengambil tindakan/perbaikan).
>
Penguatan Materi
Unit 3A
Pengembangan Struktur Organisasi Pelaksana Monev
Revisi (8 menit)
Berbagi hasil diskusi (20 menit)
Membuat struktur organisasi pelaksana (15 menit)
Diskusi Kelompok tentang Struktur Organisasi Pelaksana(15 menit)
Pengantar Singkat oleh Fasilitator (2 menit)
Langkah Kegiatan
2. Buat bagan yang sesuai untuk struktur organisasi tersebut
Lembaga
Organisasi
Individu
1. Tentukan siapa saja yang mempunya peran dalam program tersebut
Pengembangan Struktur Organisasi Pelaksana Monev
Individu
Organisasi
Lembaga
Catatan: Bisa langsung buat Struktur Organisasi seperti pada contoh
Lembar Kerja
Kasi SD
Komando Koordinasi
Kasi SMP
Kasi Pendataan
> Kabag Perencanaan > Kabag DIKDAS
Kepala Dinas
Kabupaten Bumi Lemoung
Sekolah
Tim Pelaksana Pengawas Sekolah
PJOK
Kasi Monev
>
Secara umum pelaksana M&E adalah orang yang berkepentingan dengan implementasi sebuah program yaitu para pengelola program pada tiap tingkatan administrasi, masyarakat, dan pemberi dana. Selain itu, untuk kepentingan pertanggungjawaban publik, M&E juga dilakukan oleh auditor pemerintah, seperti inspektorat, BPKP, BPK dll.
Penguatan Materi
Unit 3B
Pengembangan Diagram Sistem Pelaksanaan Monev
Revisi (8 menit)
Berbagi hasil diskusi (20 menit)
Membuat diagram sistem (15 menit)
Diskusi Kelompok tentang Alur Sistem Pelaksanaan(15 menit)
Pengantar Singkat oleh Fasilitator (2 menit)
Langkah Kegiatan
2. Buat diagram yang sesuai denga alur sistem program tersebut
1. Tentukan alur sistem Monev pada program, dari mana ke mana yang pada akhirnya akan kembali lagi
Pengembangan Diagram Sistem Pelaksanaan Monev
Pengumpulan Data
Rencana Kerja
M&E Framework
Program
Analisa Data
Perbaikan Pelaksanaan Program
Presentasi Data
Pengambilan Keputusan
Contoh Diagram Sistem Pelaksanaan Monev Program BOSDA
Dari
Dari
Dari
Ke
Ke
Ke
Catatan: Bisa langsung buat diagram sistem pelaksanaan seperti pada contoh
Lembar Kerja
>
M&E lebih dari sekedar membuat instrumen, mengambil data dan melaporkannya, tetapi menyangkut sebuah sistem yang bekerja menurut tatanan tertentu yang disepakati.
Penguatan Materi
Unit 4A
Pengembangan Indikator, Alat Ukur, dan Kriteria Keberhasilan
Revisi (10 menit)
Berbagi hasil diskusi (25 menit)
Membuat Indikator Pencapaian dan Kriteria Keberhasilan dalam Tabel (30 menit)
Diskusi Kelompok tentang Kriteria Keberhasilan (25 menit)
Diskusi Kelompok tentang Indikator dan Alat Ukur (25 menit)
Pengantar Singkat oleh Fasilitator (2 menit)
Langkah Kegiatan
Lengkapi tabel tersebut
Tuliskan pada tabel
Rumuskan kriteria keberhasilannya
Tentukan alat ukur per indikatornya
Buat indikator berbasis konsep atau teori
Pengembangan Indikator, Alat Ukur dan Kriteria Keberhasilan
Indikator
Format 4.2: Kriteria Keberhasilan
Indikator
Format 4.1: Indikator dan Alat Ukur
Lembar Kerja
Kriteria Keberhasilan
Alat Ukur/Metode
Indikator Indikator Pencapaian Definisi
Metode/ Alat Ukur
Kriteria Keberhasilan
Format 4.3: Pengembangan Indikator, Alat Ukur, dan Kriteria Keberhasilan
Lembar Kerja
Pengembangan indikator harus memperhatikan 2 (dua) hal, yaitu Prasyarat Akademik dan Prasyarat Praktis. Prasyarat Akademik adalah memenuhi validitas pengukuran, yaitu hasil pengukuran sesuai ‘seharusnya’, juga harus Objektif, yaitu hasil pengukuran konsisten, dan harus Sensitif, yaitu hasil pengukuran berubah sesuai perubahan, serta harus Spesifik, yaitu hasil pengukuran berubah hanya apabila kondisi yang diukur berubah, bukan yang lain. Prasyarat Praktis harus memenuhi pengukuran dapat dilakukan sesuai sumber daya
> Spesifikasi indikator : 1. Perlu kejelasan: waktu; tempat; sasaran, 2. Proporsi atau rate, a) numerator/ pembilang: jumlah unit yang terjangkau/ dijangkau, b) denominator/ penyebut; jumlah unit sasaran yang diharapkan 3. Menunjukkan besaran atau arah perubahan, tidak menjelaskan mengapa terjadi perubahan
>
Penguatan Materi
Unit 1B
Pengembangan Logframe
Revisi (8 menit)
Berbagi hasil diskusi (10 menit)
Membuat Logframe (20 menit)
Diskusi Kelompok tentang Merumuskan Logframe(20 menit)
Pengantar Singkat oleh Fasilitator tentang Logframe(2 menit)
Langkah Kegiatan
5. Tulis pada lembar tugas yang disediakan
4. Identifikasi kemungkinan faktor, resiko, dan asumsi yang terdapat pada tiap indikatornya
3. Tentukan alat verifikasi dan sumber data untuk tiap indikator
2. Kembangkan indikator menjadi indikator pencapaian
1. Pergunakan semua indikator pada intervention logic
Pengembangan Logframe
Struktur Program
Indikator Pencapaian
Lembar Kerja Alat Verifikasi dan Sumber Data
Asumsi, Resiko dan Faktor Eksternal
>
Logframe adalah Kerangka kerja logis suatu program yang disusun sedemikian rupa sehingga jelas kerja program tersebut
Penguatan Materi
Unit 4C
Pengembangan Teknik Sampling
Revisi (10 menit)
Berbagi hasil diskusi (20 menit)
Membuat teknik sampling (30 menit)
Diskusi macam-macam sampling di kelompok asal (35 menit)
Diskusi Kelompok Ahli tentang jenis sampling (15 menit)
Penetapan kelompok Ahli dalam kelompok asal (5 menit)
Pengantar Singkat oleh Fasilitator (2 menit)
Langkah Kegiatan
Ambil sampel dengan teknik sampling yang sesuai dengan kebutuhan
Identifikasi kelebihan dan kelemahan masing-masing teknik sampling
Tentukan target yang diinginkan program
Tentukan populasi pada program
Pengembangan Teknik Sampling
Teknik Sampling Simple Random Sampling
Lembar Kerja Kelebihan
Kelemahan
Mengapa harus sampling? Karena sampling dapat menggambarkan dan menganalisis populasi dengan cermat dan tidak memakan biaya yang banyak
Tujuan teknik sampling Tujuan teknik sampling adalah deskriptif (menggambarkan karakteristik populasi), exploratif (mengetahui lebih dalam akan suatu kondisi), dan analisis (mencari tahu penyebab dari sesuatu)
Tujuan teknik sampling Ada beberapa hal yang perlu diperhatikan saat melakukan sampling, antara lain: 1. Populasi (target penelitian) 2. Elemen (karakteristik yang sama pada populasi), contoh elemen industri kecil menengah, mahasiswa Indonesia, dsb) 3. Populasi sample (bagian dari populasi dan elemen yang dijadikan objek sampling) 4. Unit (bagian terkecil pada populasi, sampel, contoh: Budi Sang Pengusaha Kusen) 5. Kerangka sample (daftar nama populasi sampel) 6. Pendekatan
>
>
>
Penguatan Materi
Unit 4D
Pengembangan Teknik Pengumpulan Data
Revisi (8 menit)
Berbagi hasil diskusi (20 menit)
Membuat Teknik Pengumpulan Data (40 menit)
Diskusi Kelompok tentang Macam-macam Teknik Pengumpulan Data (20 menit)
Pengantar Singkat oleh Fasilitator (2 menit)
Langkah Kegiatan
Pilih teknik pengambilan data yang sesuai dengan kebutuhan data
Identifikasi kelebihan dan kelemahan masing-masing teknik
Pahami macam-macam teknik pengambilan data
Pahami data yang diperoleh
Pengembangan Teknik Pengambilan Data
Kuisioner
Pengamatan Langsung
Check List
Rating Scale
Angket
Wawancara
Macam-macam Teknik Pengambilan Data
Teknik Pengumpulan Data
Lembar Kerja Kelebihan
Kelemahan
> Pada program BOSDA yang dijadikan contoh Pengambilan data dilakukan menggunakan 2 (dua) cara, yaitu a) Pengamatan langsung dan b) Penggunaan Angket. Pengamatan langsung dilakukan saat Terjun langsung ke lapangan, sementara Angket digunakan setelahnya. Berdasarkan LogFrame program BOSDA dapat dikembangkan Kisi-kisi untuk pembuatan instrument seperti pada instrument pengamatan langsung dan instrument angket.
Penguatan Materi
Unit 4E
Pengembangan Teknik Pengelolaan Data
Revisi (10 menit)
Berbagi Hasil Diskusi (20 menit)
Membuat Teknik Pengelolaan Data (40 menit)
Diskusi Kelompok tentang Teknik Pengelolaan Data (30 menit)
Pengantar Singkat oleh Fasilitator (5 menit)
Langkah Kegiatan
Kuantitatif
Teknik Pengelolaan Data
Kualitatif
Tentukan rekomendasi umumnya
Buat kesimpulan
Deskripsikan hasil dari data nilai tersebut
Tentukan kategori nilai
Tentukan rentang nilai
Kuantitatif
Pergunakan bahasa yang simple dan mudah dimengerti
Analisis soal tersebut apakah indikator sudah tercapai
Lihat indikator pada tiap soal
Kualitatif
Teknik Pengelolaan Data Nilai
Kategori
Indikator
Indikator Pencapaian
Format 4.8: Analisis Data Kualitatif
Angket
Data
Format 4.7: Analisis Data Kuantitatif
Lembar Kerja Deskripsi
Kriteria
Teknik
Kategori Umum
AnalisisData Pengelolaan
Kesimpulan
>
Data yang terkumpul dianalisis menggunakan analisis kualitatif dan kuantitatif. Analisis kualitatif dilakukan pada data hasil pengamatan langsung, sedangkan analisa kuantitatif dilakukan pada data hasil angket. Pada data kuantitatif dilakukan analisa statistik deskriptif menggunakan kriteria Penskoran sebagai unit analisa.
Lembar Kerja
Unit 4F
Pengembangan Diagram Uji Hasil dan Alur Kerja Program
Revisi (8 menit)
Berbagi hasil diskusi (10 menit)
Membuat teknik pengelolaan data (20 menit)
Diskusi Kelompok tentang diagram uji hasil dan alur kerja (20 menit)
Pengantar Singkat oleh Fasilitator (2 menit)
Langkah Kegiatan
Buat dalam bentuk tabel jika-maka
Lakukan dengan mengkaitkan indikator masukan, kegiatan, atau keluaran sehingga indikator hasil memenuhi kriteria keberhasilan
Lakukan uji hasil dengan hipotesa jika-maka
Pada result/hasil, uji indikator hasilnya
Buka kembali intervention logic yang telah dibuat
Uji Hasil
Lakukan pengecekan untuk mengetahui kesesuaian diagram tersebut dari masukan hingga menghasilkan hasil
Hubungkan kotak-kotak tersebut dengan tanda panah sehingga membentuk sebuah diagram
Tuliskan ke dalam kotak atau design yang dibuat
Pisahkan indikator-indikator sesuai fungsinya
Gunakan intervention logic sebagai dasar pembuatannya
Alur Kerja
(sesuai indikator pada logframe)
Masukan 1
Masukan 2
Masukan Kegiatan 2
Kegiatan Kegiatan 1
Format 4.9a: Alur Kerja
Jika
Jika
Format 4.9: Uji Hasil
Lembar Kerja
Keluaran 1
Keluaran 2
Keluaran Hasil 1
Hasil Hasil 2
Maka
Maka
>
kerangka kerja logis atau Framework juga memerlukan analisis uji hasil. Framework tersebut akan diuji menggunakan hipotesa ”JIKA-MAKA”
Penguatan Materi
Unit 5
Pengembangan Pelaporan
Revisi (8 menit)
Berbagi hasil diskusi (20 menit)
Diskusi dan Kerja Kelompok tentang Rencana Diseminasi (15 menit)
Diskusi dan Kerja Kelompok tentang Rencana Pelaporan (15 menit)
Pengantar Singkat oleh Fasilitator (2 menit)
Langkah Kegiatan
1. Latar Belakang 2. Dasar Hukum 3. Tujuan 4. Manfaat
Bab I. Pendahuluan 1. Lokasi 2. Dasar Penugasan 3. Petugas 4. Alur Kegiatan dan Jadwal 5. Responden 6. Instrumen
Bab II. Pelaksanaan M&E Kinerja Kabupaten/Kota
Pengembangan Pelaporan 1. Hasil Penilaian 2. Pembahasan
Bab III. Hasil dan Pembahasan
1. Kesimpulan 2. Rekomendasi
Bab IV. Kesimpulan dan Rekomendasi 1. Surat Tugas 2. Instrumen 3. Sampel Bukti Fisik 4. Dokumentasi/Foto Kegiatan (jika ada)
Lampiran
Pengembangan Pelaporan
Bab IV.
Bab III.
Bab II. Pelaksanaan M&E Kinerja Kabupaten/Kota
Bab I. Pendahuluan
Lembar Kerja
>
Laporan dibuat secara bersama-sama oleh petugas yang melaksanakan M&E program BOSDA Kabupaten/kota sasaran
Penguatan Materi