Laporan Monitoring dan Evaluasi
Maret – April 2013
BaKTI Pelatihan Barefoot Engineers Laporan ini disusun berdasarkan permintaan BaKTI. Komentar yang terkandung di dalam laporan ini hanya mencerminkan pendapat para konsultan.
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
DAFTAR ISI DAFTAR TABEL.......................................................................................................................... 3 DAFTAR BAGAn ......................................................................................................................... 4 RINGKASAN EKSEKUTIF ........................................................................................................ 5 Deskripsi Proyek dan Konteks................................................................................................................................................................5 Tujuan Evaluasi dan Penggunaan Evaluasi yang Diharapkan...........................................................................................................5 Sasaran Pencapaian Evaluasi......................................................................................................................................................................6 Metodologi Evaluasi.....................................................................................................................................................................................7 Temuan dan Kesimpulan Dasar...............................................................................................................................................................7 Ringkasan Rekomendasi Utama ..............................................................................................................................................................7 Rangkuman Pelajaran yang Dipetik ........................................................................................................................................................8 BAB 1: IKHTISAR PROYEK ..................................................................................................... 9 Pendahuluan ...................................................................................................................................................................................................9 Konteks Proyek ............................................................................................................................................................................................9 BAB 2: METODOLOGI EVALUASI ....................................................................................... 11 Pendahuluan ................................................................................................................................................................................................11 Kendala .........................................................................................................................................................................................................12 Pendekatan dan Metodologi ..................................................................................................................................................................13 Pendekatan Umum ...................................................................................................................................................................................14 Sumber Data ...............................................................................................................................................................................................14 Studi Lacak (Analisis BET I dan II) .......................................................................................................................................................15 Sampling ‘Bola Salju’ ................................................................................................................................................................................... 15 Model Pelatihan dan Evaluasi (Analisis BET III)...............................................................................................................................16 Evaluasi Pelatihan Model ‘Kirkpatrick’ ................................................................................................................................................... 16 Rancangan Metodologi Evaluasi............................................................................................................................................................18 Metodologi Pengumpulan Data ............................................................................................................................................................19 Analisis dan Rancangan Survey .............................................................................................................................................................20 Metodologi Sampling ................................................................................................................................................................................22 Cakupan Survey............................................................................................................................................................................................ 22 Perangkat yang Digunakan .....................................................................................................................................................................22 Prosedur Operasional dan Koordinasi ..............................................................................................................................................23 Asumsi Kerja Monitoring dan Evaluasi...............................................................................................................................................23 Bab 3: temuan evaluasi ............................................................................................................ 24 Data Umum tentang Lulusan dan Pekerjaan....................................................................................................................................24 Melacak Lulusan Barefoot Engineer Training I & II – Papua ...........................................................................................................25 Pekerjaan Berdasarkan Jenis Organisasi................................................................................................................................................ 25 Pekerjaan PNPM sesuai Wilayah Transfer ........................................................................................................................................... 26 Persoalan Gender ......................................................................................................................................................................................... 27 Mendapatkan Pekerjaan............................................................................................................................................................................ 28 Usulan Lulusan BET I dan II...................................................................................................................................................................... 28 Melacak Lulusan Barefoot Engineer Training I & II – Papua Barat ...............................................................................................29 Pekerjaan Sesuai Jenis Organisasi............................................................................................................................................................ 29 Page 1
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Pekerjaan PNPM Berdasarkan Wilayah Transfer ............................................................................................................................... 31 Persoalan Gender ......................................................................................................................................................................................... 32 Mendapatkan Pekerjaan............................................................................................................................................................................ 32 Saran Para Lulusan BET I dan II.............................................................................................................................................................. 33 Kondisi Pekerjaan dan Rekomendasi untuk Perbaikan ................................................................................................................33 Efektivitas Barefoot Engineer Training III..............................................................................................................................................33 Penilaian Kebutuhan.................................................................................................................................................................................... 34 Rencana Pelatihan ....................................................................................................................................................................................... 35 Mengembangkan Kurikulum .................................................................................................................................................................... 36 Evaluasi Kursus Pelatihan .......................................................................................................................................................................... 38 Relasi Gender dan Implementasi Pelatihan .......................................................................................................................................... 40
BAB 5: KESIMPULAN DAN REKOMENDASI................................................................... 44 Kesimpulan ..................................................................................................................................................................................................44 Rekomendasi...............................................................................................................................................................................................45 BAB 6: PEMBELAJARAN ........................................................................................................ 50 Lampiran...................................................................................................................................... 52 Kerangka Acuan.........................................................................................................................................................................................52 Pertanyaan Evaluasi...................................................................................................................................................................................54 Diskusi Kelompok Terfokus (FGD) dan Panduan Wawancara.................................................................................................56 FGD di Kelompok Perempuan (10 Orang) ........................................................................................................................................... 56 FGD dalam Kelompok Campuran (Laki-laki dan Perempuan)........................................................................................................ 57 Panduan Wawancara Mendalam (20 menit) ...................................................................................................................................... 60 Daftar Responden .....................................................................................................................................................................................61 BET I and II Graduates List ....................................................................................................................................................................0 Jadwal Monitoring dan Evaluation .......................................................................................................................................................15
Page 2
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
DAFTAR TABEL
BAGAN 1 MODEL PENYELIDIKAN APRESIATIF 5D ..................................................................................................................................... 13 BAGAN 2 SIKLUS STUDI LACAK................................................................................................................................................................. 15 BAGAN 3 SAMPLING ‘BOLA SALJU’............................................................................................................................................................... 16 BAGAN 4 ULASAN MODEL EVALUASI PELATIHAN ‘KIRKPATRICK'................................................................................................... 18 BAGAN 5 JUMLAH TOTAL LULUSAN BET I DAN BET II ................................................................................................................................... 24 BAGAN 6 PEKERJAAN SESUAI JENIS ORGANISASI ................................................................................................................................................ 25 BAGAN 7 LULUSAN DENGAN STATUS TIDAK DIKETAHUI .............................................................................................................................. 26 BAGAN 8 STATUS LULUSAN DI PNPM .......................................................................................................................................................... 27 BAGAN 9 KABUPATEN TRANSFER LULUSAN ..................................................................................................................................................... 27 BAGAN 10 STATUS ALUMNI PEREMPUAN ........................................................................................................................................................... 28 BAGAN 11 EFEKTIVITAS PELATIHAN ................................................................................................................................................................. 29 BAGAN 12 STATUS LULUSAN BET I DAN II ....................................................................................................................................................... 30 BAGAN 13 LULUSAN BET I DAN II YANG TIDAK BEKERJA ................................................................................................................................ 30 BAGAN 14 STATUS LULUSAN BET I DAN II DI PNPM....................................................................................................................................... 31 BAGAN 15 TRANSFER LULUSAN ....................................................................................................................................................................... 31 BAGAN 16 STATUS LULUSAN PEREMPUAN.......................................................................................................................................................... 32 BAGAN 17 RELASI GENDER – PERSPEKTIF PEREMPUAN ...................................................................................................................................... 40 BAGAN 18 RELASI GENDER – PERSPEKTIF LAKI-LAKI ......................................................................................................................................... 41 BAGAN 19 RESPON PEREMPUAN TENTANG KESETARAAN GENDER DALAM IMPLEMENTASI PELATIHAN ....................................................................... 41 BAGAN 20 RESPON LAKI-LAKI TENTANG KESETARAAN GENDER DALAM IMPLEMENTASI PELATIHAN ......................................................... 42 BAGAN 21 RESPON PEREMPUAN TENTANG MATERI GENDER .......................................................................................................................... 42 BAGAN 22 RESPON LAKI-LAKI TENTANG MATERI GENDER ............................................................................................................................... 43 BAGAN 23 PENATAAN RUANGAN YANG MENDORONG PARTISIPASI DAN MEMPERBAIKI PEMBELAJARAN ................................................ 46 BAGAN 24 RERANGKA DAN BASIS UNTUK PEREKAMAN DATA LULUSAN DAN KEMUNGKINAN PENGGUNAANNYA .............................. 48
Page 3
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
DAFTAR BAGAN
BAGAN 1 MODEL PENYELIDIKAN APRESIATIF 5D .....................................................................................................................................13 BAGAN 2 SIKLUS STUDI LACAK................................................................................................................................................................. 15 BAGAN 3 SAMPLING ‘BOLA SALJU’............................................................................................................................................................... 16 BAGAN 4 ULASAN MODEL EVALUASI PELATIHAN ‘KIRKPATRICK'................................................................................................... 18 BAGAN 5 JUMLAH TOTAL LULUSAN BET I DAN BET II ................................................................................................................................... 24 BAGAN 6 PEKERJAAN SESUAI JENIS ORGANISASI ................................................................................................................................................ 25 BAGAN 7 LULUSAN DENGAN STATUS TIDAK DIKETAHUI .............................................................................................................................. 26 BAGAN 8 STATUS LULUSAN DI PNPM .......................................................................................................................................................... 27 BAGAN 9 KABUPATEN TRANSFER LULUSAN ..................................................................................................................................................... 27 BAGAN 10 STATUS ALUMNI PEREMPUAN ........................................................................................................................................................... 28 BAGAN 11 EFEKTIVITAS PELATIHAN ................................................................................................................................................................. 29 BAGAN 12 STATUS LULUSAN BET I DAN II ....................................................................................................................................................... 30 BAGAN 13 LULUSAN BET I DAN II YANG TIDAK BEKERJA ................................................................................................................................ 30 BAGAN 14 STATUS LULUSAN BET I DAN II DI PNPM....................................................................................................................................... 31 BAGAN 15 TRANSFER LULUSAN ....................................................................................................................................................................... 31 BAGAN 16 STATUS LULUSAN PEREMPUAN.......................................................................................................................................................... 32 BAGAN 17 RELASI GENDER – PERSPEKTIF PEREMPUAN ...................................................................................................................................... 40 BAGAN 18 RELASI GENDER – PERSPEKTIF LAKI-LAKI ......................................................................................................................................... 41 BAGAN 19 RESPON PEREMPUAN TENTANG KESETARAAN GENDER DALAM IMPLEMENTASI PELATIHAN ....................................................................... 41 BAGAN 20 RESPON LAKI-LAKI TENTANG KESETARAAN GENDER DALAM IMPLEMENTASI PELATIHAN ......................................................... 42 BAGAN 21 RESPON PEREMPUAN TENTANG MATERI GENDER .......................................................................................................................... 42 BAGAN 22 RESPON LAKI-LAKI TENTANG MATERI GENDER ............................................................................................................................... 43 BAGAN 23 PENATAAN RUANGAN YANG MENDORONG PARTISIPASI DAN MEMPERBAIKI PEMBELAJARAN ................................................ 46 BAGAN 24 RERANGKA DAN BASIS UNTUK PEREKAMAN DATA LULUSAN DAN KEMUNGKINAN PENGGUNAANNYA .............................. 48
Page 4
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Pelatihan Barefoot Engineers BaKTI
RINGKASAN EKSEKUTIF Deskripsi Proyek dan Konteks Program Nasional Pemberdayaan Masyarakat (PNPM) adalah program prakarsa pemerintah pusat untuk diterapkan di seluruh daerah di Indonesia. Khusus untuk Papua, mulai tahun 2008 program ini telah diintegrasikan dengan kebijakan atau program serupa yang dimulai di daerah, yakni RESPEK (atau Rencana Strategis Pembangunan Kampung). Karenanya, program terpadu yang baru ini diberi nama PNPM MANDIRI/RESPEK. Data dari 2012 menunjukkan bahwa hampir 294 lowongan fasilitator teknis masih belum terisi. Guna mengatasi tantangan ini, Pemerintah, dengan bantuan Fasilitas Pendukung PNPM (PSF) telah merancang program khusus yang disebut Barefoot Engineers (Insinyur Tanpa Alas Kaki). khusus untuk melatih lulusan sekolah menengah atas dan kejuruan di Papua dan Papua Barat untuk menjadi kader teknis, sebelum lebih jauh dilatih sebagai Fasilitator Teknis Kabupaten di PNPM Respek/Perdesaan di Provinsi Papua dan Papua Barat.
Tujuan Evaluasi dan Penggunaan Evaluasi yang Diharapkan Tahun 2008, RESPEK diintegrasikan dengan PNPM Perdesaan. PNPM Perdesaan/RESPEK adalah salah satu dari sedikit program pemerintah yang telah mampu melibatkan berbagai komunitas di provinsi Papua dan Papua Barat dan telah memberikan manfaat yang nyata kepada mereka. Implementasi PNPM Perdesaan/RESPEK menjadi tantangan tersendiri karena keterpencilan dan ragam kultural dan etnis yang sangat besar di kedua provinsi, serta kekurangan kronis fasilitator yang berkualifikasi, khususnya sarjana teknik. Program ini membutuhkan sekitar 560 fasilitator teknis untuk kedua provinsi, namun hanya mampu mengisi sekitar separuh dari lowongan yang ada. Di tahun-tahun sebelumnya, fasilitator seringkali direkrut dari luar Papua dan akan pergi tidak lama kemudian karena kondisi kerja yang berat. Guna mengatasi tantangan ini, Pemerintah, dengan bantuan PSF, merancang program khusus, yakni Barefoot Engineers (Insinyur Tanpa Sepatu). Dua pelatihan pertama sukses diselenggarakan pada tahun
Page 5
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
2002 dan 2009, dan pelatihan tahap 3 kini tengah dilangsungkan yang melatih sekitar 300 lulusan untuk mengisi lowongan fasilitator yang ada di Papua dan Papua Barat. Peserta pelatihan biasanya memiliki latar belakang pendidikan SMA dengan jurusan ilmu pasti, SMK dengan jurusan Bangunan, D3 Teknik Sipil, atau SMA dengan jurusan sosial (khusus untuk pelaksana program PNPM sebelumnya). Mengingat bahwa peserta latihan adalah lulusan SMA atau sederajat, Pelatihan Barefoot Engineers dirancang dengan pendekatan sederhana agar para peserta dapat dengan mudah menyerap materi yang diberikan. Tujuan penting dari pelatihan ini adalah untuk memberi kepada anak-anak muda Papua peluang untuk meningkatkan pendidikan mereka dan memberi kontribusi pada pembangunan di Papua, baik di dalam PNPM maupun di luar program.
Sasaran Pencapaian Evaluasi 1.
Studi Lacak lulusan Pelatihan Barefoot Engineers I & II: dengan bantuan UNCEN dan (BPMK dan KK dan BPM), konsultan akan menyusun daftar lengkap para lulusan dan melacak keberadaan mereka. Konsultan akan mencari tahu apakah para alumni (dipilah berdasarkan gender) kerja untuk PNPM (dalam kapasitas apa) ataukah ada kerja lain di Papua (pemerintah, NGO, dan sektor swasta). Mencari tahu bagaimana pelatihan Barefoot Engineers telah membantu para lulusan mendapatkan pekerjaan. Merekam berbagai usulan dari para lulusan untuk memperbaiki program. Mewawancara para Barefoot Engineer tentang kondisi kerja di PNPM Perdesaan dan berbagai rekomendasi untuk perbaikan.
2.
Evaluasi untuk mengkaji efektivitas Barefoot Engineers III. Konsultan akan meninjau metodologi pengajaran, kurikul, evaluasi bulanan pelatih, dan menggunakan masukan dari para pelatih dan peserta untuk membuat rekomendasi bagaimana memperbaiki pelatihan. Akan dipertimbangkan apakah pendekatan dan materi saat ini sudah sesuai dengan latar belakang pendidikan para peserta pelatihan dan persyaratan kerja. Konsultan juga akan mengkaji apakah keseimbangan antara pelatihan di ruang kelas dan di lapangan sudah memadai. Konsultan akan meminta feedback dari peserta pelatihan perempuan tentang rekomendasi yang mungkin mereka miliki untuk menjadikan pelatihan lebih sesuai untuk mereka.
Page 6
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Metodologi Evaluasi Guna mendapatkan keluaran yang diinginkan, monitoring dan evaluasi menerapkan metode sistematis dengan memberi apresiasi tinggi pada obyektifitas dan metode ilmiah. Aspek-aspek berikut akan dipertimbangkan. Pertama, monitoring dan evaluasi akan mencakup semua tataran dan bidang. Kedua, monitoring dan evaluasi akan melibatkan pihak-pihak yang mewakili para pemangku kepentingan berbagai proyek, baik internal maupun eksternal. Para pemangku kepentingan mencakup pemangku kepentingan kunci yang menjadi sasaran monitoring dan evaluasi.
Temuan dan Kesimpulan Dasar Monitoring dan evaluasi proyek menyimpulkan bahwa proyek telah memenuhi tujuan umumnya. Masih terdapat banyak ruang untuk perbaikan, namun proyek ini dapat menjadi contoh penting bagaimana mengembangkan kapasitas lokal dan mempromosikan kebutuhan lokal serta menggunakan aset lokal untuk pengembangan kapasitas dalam mendukung implementasi PNPM. Kinerja proyek BET I dan II memuaskan dalam implementasinya dan memuaskan sedang dalam hasilnya selama masa berjalan. Masih ada ruang untuk perbaikan untuk pencapaian lebih tinggi lagi pada kegiatan penyegaran kembali berikutnya. Untuk implementasi BET III, dibutuhkan waktu lebih banyak lagi untuk melihat proses keberlanjutan yang kini tengah berjalan. Kinerja BET III sejauh ini memuaskan dalam efektifitas proyeknya berkat penerimaan PNPM terhadap lulusan BET III.
Ringkasan Rekomendasi Utama • Menyasar efektifitas • Pada tingkat kebijakan, manajemen BET mungkin perlu mempelajari lebih lanjut kebutuhan pengisian staf dan persoalan remunerasi kelembagaan PNPM untuk memperbaiki turnover (kebertahanan) para lulusan di lembaga ini. • Walau pengarusutamaan gender tampak mulai berjalan dalam pelatihan, penting bahwa langkah afirmatif ini terus dilanjutkan untuk sementara waktu. • Menyelenggarakan pelatihan yang spesifik-daerah. • Mempelajari efektifitas dan pengembangan rencana aksi. • Proses pembelajaran partisipatif. • BaKTI perlu mengembangkan kajian kebutuhan komprehensif dan rencana pelatihan sebelum dana pelatihan dianggarkan. Page 7
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
• BET perlu memasukkan rencana evaluasi yang mencakup evaluasi Tingkat 1-3. • BaKTI perlu memasukkan uji coba kelas sebelum diimplementasikan di lapangan. • Manajemen BET/BaKTI perlu mengembangkan perangkat untuk memantau pencapaian para lulusan dan diperkenalkan di seluruh negeri sebagai pendekatan sistematis (misalnya, mengadakan studi lacak setiap 2-3 tahun sekali).
• Implementasi studi lacak lulusan harus menjadi tugas normal (wajib) manajemen BET/BaKTI. • BaKTI harus diwajibkan untuk mengadakan sistem perbantuan teknis (technical assistantship) lanjutan untuk mendukung proses pembelajaran yang tengah berlangsung. • Pengembangan
sistem
database
Lulusan
BET
harus
dimasukkan
dalam
database
PNPM
Perdesaan/Respek.
Rangkuman Pelajaran yang Dipetik • Mengembangkan tujuan pembelajaran yang jelas, terukur, dan bermakna. • Memastikan bahwa pelatihan dikembangkan menggunakan prinsip-prinsip pembelajaran orang dewasa. • Mengevaluasi pelatih dan mendorong mereka untuk mengembangkan keahlian fasilitasi.
Page 8
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
BAB 1: IKHTISAR PROYEK Pendahuluan Program Nasional Pemberdayaan Masyarakat (PNPM) adalah program prakarsa pemerintah pusat untuk diterapkan di seluruh daerah di Indonesia. Khusus untuk Papua, mulai tahun 2008 program ini telah diintegrasikan dengan kebijakan atau program serupa yang dimulai di daerah, yakni RESPEK (atau Rencana Strategis Pembangunan Kampung). Karenanya, program terpadu yang baru ini diberi nama PNPM MANDIRI RESPEK. Di bawah program ini, setiap desa dialokasikan dana Rp 100-125 juta. Di Papua Barat, program ini disebut PNPM Mandiri Perdesaan. Tantangan utama dalam implementasi PNPM RESPEK di Provinsi Papua dan PNPM Mandiri Perdesaan di Papua Barat adalah kurangnya ketersediaan fasilitator teknis yang berkualifikasi. Program ini membutuhkan lebih dari 294 fasilitator teknis. Akan tetapi hanya kurang dari setengah jumlah tersebut yang dapat direkrut sejauh ini. Hal ini karena sebagian besar fasilitator datang dari luar kedua provinsi dimaksud, menyebabkan angka turnover yang tinggi, selain persoalan terkait pemekaran daerah.1 Data dari 2012 menunjukkan bahwa hampir 294 posisi fasilitator teknis masih kosong. Untuk mengisi kebutuhan tersebut, Pemerintah, dengan bantuan Fasilitas Pendukung PNPM (PSF) telah merancang program khusus yang disebut Barefoot Engineers (Insinyur Tanpa Alas Kaki)merancang program khusus untuk melatih lulusan Sekolah Menengah Atas dan Kejuruan dari Papua dan Papua Barat menjadi kader teknis, sebelum direkrut sebagai Fasilitator Teknis Kabupaten di PNPM Mandiri Perdesaan/Respek di Provinsi Papua dan Papua Barat.2
Konteks Proyek Tahun 2008, gubernur terpilih pertama Papua dan Papua Barat memulai program pembangunan baru berbasis komunitas yang ambisius, dengan menyalurkan hibah Rp 100 juta kepada 4044 desa di kedua provinsi untuk mengembangkan kegiatan pembangunan di daerah yang mencakup (i) gizi dan keamanan pangan, (ii) pendidikan, (iii) kesehatan dasar, (iv) infrastruktur pedesaan, dan (v) sumber penghidupan ekonomi. Tahun 2008, program RESPEK prakarsa gubernur diintegrasikan dengan PNPM, membawa ratusan fasilitator pembangunan dan sarjana teknik lapangan yang terlatih secara profesional untuk membantu masyarakat dalam perencanaan dan implementasi dana ini. 1 2
Penetapan Kabupaten administrative baru Diakses 11 April 2013, http://pnpm-support.org/sites/default/files/337-PSF_BarefootEngineerstraining2011.pdf
Page 9
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Satu tantangan besar yang dihadapi program PNPM-RESPEK adalah kekurangan kronis sarjana teknik yang terkualifikasi. Program ini membutuhkan lebih dari 400 fasilitator teknis, namun pada awalnya hanya berhasil merekrut 172, sebagian besar dari luar Papua, dan angka turnover cenderung tinggi. Untuk mengatasi kekurangan ini, Pemerintah, dengan bantuan Fasilitas Pendukung PNPM (PSF)merancang program khusus untuk memberi pelatihan dasar kepada lulusan sekolah menegah atas dan kejuruan lokal dalam bidang teknik sipil, mekanika, listrik mikro-hidro, analisis konstruksi/bangunan, perencanaan anggaran dan implementasi serta pelatihan fasilitasi sosial dan pemberdayaan. Pada bulan Agustus 2008, Bank Dunia memberi hibah sekitar US$ 1 juta kepada Universitas Cenderawasih di Jayapura untuk merancang dan menyelenggarakan program pelatihan intensif selama enam bulan dengan aplikasi praktis pengetahuan lapangan baru tentang proyek infrastruktur skala kecil umum yang didanai program PNPM-RESPEK. Pelatihan khusus tersebut sangat sukses. Dari kelas awal 120, di mana 90 persen berasal dari Papua dan 30 persen perempuan, 106 peserta lulus pada bulan Maret 2009, kemudian direkrut sebagai fasilitator teknis dan ditugaskan di kabupaten asal mereka. Bersama 56 lulusan program pelatihan serupa yang dijalankan UC tahun 2003, angkatan Barefoot Engineers 2009 merupakan lebih dari setengah total sarjana teknik lapangan program PNPM-RESPEK. Selain memberi dukungan teknik yang sangat dibutuhkan kepada warga desa Papua melalui PNPMRESPEK, khususnya di daerah terpencil dimana lebih sulit merekrut dan mempertahankan sarjana teknik dari luar Papua, program pelatihan khusus Barefoot Engineers memberi anak muda Papua keterampilan baru, kepercayaan diri dan peluang kerja baru. Supervisi berkala Bank Dunia di Papua dan Papua Barat menunjukkan bahwa penugasan para lulusan ‘Barefoot’ sebagai fasilitator teknis dalam PNPM-RESPEK sangat efektif. Kualitas teknis infrastruktur yang dirancang para lulusan dinilai memuaskan sampai baik, dan kualitas fasilitasi sangat baik. Kemampuan para fasilitator ini berbicara bahasa lokal memungkinkan partisipasi yang lebih luas dan aktif di daerahdaerah terpencil dimana mereka dikerahkan. Keterampilan baru dan kontribusi yang mampu mereka berikan juga menjadi sumber kebanggan tersendiri bagi komunitas mereka. Walaupun putaran pelatihan Barefoot Engineers 2003 dan 2009 serta perekrutan pertengahan 2010 telah membantu mengisi kebutuhan program yang vital, PNPM-RESPEK terus mengalami kekurangan fasilitator teknis yang signifikan. Sekitar 140 posisi sarjana teknis kosong dan tingkat pergantian fasilitator teknis juga tinggi. Oleh karena itu, diusulkan untuk melatih 140 Barefoot Engineer lagi untuk tahun 2011. Karena keterlambatan persetujuan proposal, kebutuhan fasilitator teknis telah meningkat
Page 10
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
dari 140 menjadi 300 tahun 2012. Karenanya, 300 adalah angka terakhir peserta pelatihan yang telah disetujui.
BAB 2: METODOLOGI EVALUASI Pendahuluan Evaluasi ini menggabungkan kajian dokumen mendalam dengan kunjungan lapangan selama 29 hari ke lokasi-lokasi proyek di Papua dan Papua Barat. Dokumen-dokumen berikut dikaji secara saksama sebagai bagian dari monitoring dan evaluasi proyek: •
Laporan Akhir;
•
Laporan Bulanan;
•
Laporan Kunjungan Lapangan;
•
Laporan Peserta Pelatihan;
Komponen kunjungan lapangan dilaksanakan selama 29 hari di Papua dan Papua Barat, yang mencakup kunjungan singkat ke lokasi-lokasi kabupaten: Papua Barat (Kaimana, Sorong, Manokwari) dan Papua (Jayapura, Keerom, Sarmi, Jayawijaya) dan wawancara telepon yang dilakukan di Biak Numfor, Yapen, Merauke, Boven Digoel. Data utama untuk laporan didapat dari wawancara semi-terstruktur dan diskusi kelompok terfokus (FGD) bersama peserta proyek, termasuk Unit Manajemen Proyek, para Pelatih dan Peserta pelatihan. Selain itu, dilakukan total tiga diskusi kelompok terfokus (FGD) yang lebih panjang bersama para pelatih, peserta pelatihan dan Unit Implementasi Proyek (Manajemen BET III). Konsultan menjalankan pemilihan narasumber dan orang-orang yang dilibatkan dalam FGD. Pemilihan kabupaten yang dikunjungi dilakukan berdasarkan data yang tersedia di database PNPM. Selama kunjungan lapangan para konsultan memfasilitasi penentuan jadwal pertemuan dan pengaturan lainnya. Evaluasi berfokus pada taraf pemahaman tentang persoalan pelatihan Barefoot secara umum (untuk BET III) dan persepsi perubahan sikap dan perilaku di masyarakat pada umumnya untuk menentukan signifikansi kegiatan proyek dan output untuk peserta proyek, serta melacak status para alumni selama masa penugasan mereka bersama PNPM (untuk BET I dan II). Oleh karenanya, evaluasi fokus pada data kualitatif daripada hasil numerik konkret, dan rekomendasi serta kesimpulannya didasarkan pada penafsiran atas data tersebut dan komparasi yang bijak pandangan berbagai macam peserta proyek. Secara ilmiah, untuk memenuhi output yang diharapkan, evaluasi menerapkan model penelitian deskriptif dan naratif (descriptive and explanatory) sebagai bagian utama evaluasi ini. Penelitian deskriptif adalah kegiatan ilmiah yang bermaksud untuk menjelaskan suatu fenomenon secara obyektif. Dalam hal ini, Page 11
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
jenis studi semacam ini terutama hendak mengidentifikasi atau mendeskripsikan karakteristik pelatihan, proses, respon para penerima manfaat, dan kesan para pemangku kepentingan internal atau eksternal, pendapat dan feedback mereka tentang kinerja proyek. Bagian analitis studi ini dilakukan untuk menjawab pertanyaan ‘mengapa’. Hasil bagian analitis dari evaluasi ini akan menjelaskan perkembangan proyek sampai belakangan ini. Sebagai bagian analisis, evaluasi akan memahami situasi dampak proyek dengan mencari tahu dan mengukur hubungan kasuistik yang ada. Kedua pendekatan studi – deskriptif dan analitis – dilakukan bersamaan dengan kunjungan lapangan dan kegiatan pencarian fakta.
Kendala Kendala utama evaluasi ini adalah: 1. Kurangnya informasi rona awal (baseline) dari awal proyek. Ditemukan bahwa data disimpan oleh kantor PNPM namun para konsultan harus melacak informasi termutakhir dan hal ini memakan waktu. Kurangnya informasi rona awal dapat diatasi dengan informasi yang disediakan dalam wawancara narasumber kunci dan FGD serta analisis informasi yang disediakan oleh kantor PNPM dan klarifikasi dalam kunjungan lapangan. 2. Manajemen BET I dan II tidak menyimpan database untuk lulusan mereka. Jikapun ada, basis datanya belum mutakhir. Jikapun database pernah diberikan, para lulusan acap kali sudah mengganti nomor telepon mereka atau tidak ingin diwawancara, khususnya mereka yang menganggur. Untuk mengatasi kendala ini, para konsultan menggunakan pendekatan ‘wawancara bola salju’. 3. Para lulusan di daerah perkotaan secara umum tampak sibuk dan tidak memiliki banyak waktu untuk tujuan-tujuan yang tampak tidak produktif. Mereka jarang menepati janji untuk diwawancara. 4. Studi ini hendak melingkupi spektrum lulusan dari berbagai latar belakang wilayah dan jenis pekerjaan (PNPM, PNS, NGO, swasta) dan lokasi geografis. Sementara lokasi geografis tidak menjadi variabel yang terlalu sulit dalam kerangka sampling yang dilakukan, ternyata variabel jenis pekerjaan menjadi variabel sampling yang lebih sulit. Sampling jenis pekerjaan sangat mengandalkan database yang ada, dan sebagian besar database yang didapat sangat bias pada pernyataan “mereka keluar dari PNPM” tanpa penjelasan status yang lebih spesifik.
Page 12
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Pendekatan dan Metodologi Guna mendapatkan keluaran ini, monitoring dan evaluasi akan menerapkan metode sistematis dengan mengutamakan obyektifitas dan metode ilmiah. Aspek-aspek berikut akan dipertimbangkan. Pertama, monitoring dan evaluasi akan mencakup semua tingkatan dan wilayah. Kedua, monitoring dan evaluasi akan melibatkan pihak-pihak yang mewakili para pemangku kepentingan proyek, baik internal maupun eksternal. Pemangku kepentingan mencakup para pemangku kepentingan kunci yang disasar monitoring dan evaluasi. Secara ilmiah, untuk memenuhi output yang diharapkan, monitoring dan evaluasi menerapkan penelitian deskriptif dan naratif sebagai bagian utama monitoring dan evaluasi ini. Penelitian deskriptif adalah kegiatan ilmiah yang mendeskripsikan suatu fenomenon secara obyektif. Dalam hal ini, studi semacam ini terutama mengidentifikasi atau mendeskripsikan karakteristik pelatihan, proses, respon tertarget, dan kesan para pemangku kepentingan internal dan eksternal, pendapat dan masukan balik mereka. Pendekatan umum untuk kegiatan ini adalah penelitian apresiatif yang akan diterjemahkan menjadi metode pengumpulan data dan analisisnya. BAGAN 1 MODEL PENYELIDIKAN APRESIATIF 5D
Page 13
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Pendekatan Umum Pendekatan pengumpulan data secara umum terbagi menjadi dua kategori: Persiapan dan orientasi: Kegiatan dalam fase ini meliputi penjalinan kontak pribadi dengan orang-orang yang dituju, studi dokumen proyek, dan diskusi dengan pemangku kepentingan kunci, khususnya dengan bagian monitoring dan evaluasi. Monitoring dan evaluasi juga akan menjabarkan daftar pengumpulan data per sasaran dan bidang tematis dari monitoring dan evaluasi yang akan ditinjau, serta pengaturan koordinasi. Konsultasi, diskusi dan observasi pada tingkat lokal. Para konsultan melakukan kunjungan berdasarkan hasil kajian persiapan. Di wilayah sasaran, setidaknya satu lokasi akan diambil sampelnya dengan maksud tertentu sesuai dengan kriteria kemudahan akses dan kelengkapan data. Di setiap tempat yang dikunjungi, dilakukan pertemuan dan diskusi dengan pemangku kepentingan dari berbagai latar belakang (dalam pertemuan terpisah). Selain itu, para konsultan juga mengadakan konsultasi mendalam dengan para peserta pelatihan.
Sumber Data Guna mendapatkan informasi yang representatif tentang proyek, para konsultan menggunakan data kualitatif (teks, gambar, grafik, suara) serta kuantitatif (numerik, seperti data statistik). Sumber data yang digunakan untuk tinjauan ini adalah data primer dan sekunder. Data primer, yakni data yang dikumpulkan para konsultan dari lapangan, akan mencakup rekam wawancara observasi, notulensi pertemuan, pendapat, pernyataan testimonial, persepsi dan penilaian pemangku kepentingan, penilaian ahli,
serta pernyataan staf resmi tentang kinerja dan dampak pelatihan Barefoot Engineers. Data
sekunder meliputi dokumen informasi yang diberikan oleh atau didapat dari pelatihan Barefoot Engineers dan yang dikumpulkan dari organisasi yang terkait dengan proyek (metodologi kursus, kurikula, evaluasi pelatih bulanan, dan dokumentasi). TABEL 1 JENIS DATA YANG AKAN DIKUMPULKAN No 1
Jenis Data
Sumber
Primer
Rincian Data
Pemangku Kepentingan:
•
Observasi dan rekam wawancara,
Pemangku kepentingan
•
Catatan pertemuan
pelaksana
•
Opini, pernyataan testimonial, persepsi dan penilaian pemangku kepentingan,
2
Sekunder
•
Mitra pelaksana
•
Penilaian ahli,
•
Pernyataan resmi staf tentang kinerja proyek
•
Dokeumen, laporan, artikel pelatihan Barefoot
Page 14
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Studi Lacak (Analisis BET I dan II) Studi ini disebut studi lacak karena kegiatan utama yang dilakukan, yakni untuk melacak, mencari atau menemukan sekelompok individu. Tugas sesungguhnya melacak para mantan penerima manfaat bisa rumit karena informasi mengenai keberadaannya bisa saja sudah daluwarsa atau tidak lengkap. Dengan studi lacak, sebagian besar upaya adalah untuk melacak narasumber. Studi lacak kadang juga disebut sebagai studi follow up karena melacak individu beberapa waktu setelah suatu peristiwa terjadi, dan mencari tahu apa yang telah terjadi dalam hidup mereka sejak itu3. Dalam monitoring dan evaluasi ini, para konsultan hanya berfokus untuk melacak, mencari atau menemukan para lulusan. BAGAN 2 SIKLUS STUDI LACAK
Sampling ‘Bola Salju’ Untuk studi lacak ini, para konsultan menggunakan metode pengumpulan sampel ‘bola salju’ dengan data sekunder dari kantor PNPM sebagai titik tolak. Sampling bola salju adalah teknik pengumpulan sampel nonprobabilitas yang digunakan para peneliti untuk mengidentifikasi subyek potensial dalam studi-studi di mana para subyek sulit untuk dilacak4.
3 4
IPEC project: Impact Assessment Framework: Further development and follow-up to Tracer and Tracking Methodologies. http://explorable.com/snowball-sampling (diunduh pada 20 Mei 2013)
Page 15
Monitoring dan Evaluasi Pelatihan Barefoot Engineer BAGAN 3 SAMPLING ‘BOLA SALJU’
Model Pelatihan dan Evaluasi (Analisis BET III) Mengevaluasi suatu pelatihan membutuhkan metodologi yang sistematis dan kokoh untuk menentukan betapa efektifnya suatu pelatihan. Bagian ini menjabarkan bagaimana mengevaluasi efektifitas suatu pelatihan, dengan menjelaskan model evaluasi pelatihan yang menjadi titik tolak studi ini. Evaluasi Pelatihan Model ‘Kirkpatrick’ Sekitar 45 tahun yang lalu, Donald Kirkpatrick mengembangkan suatu model untuk mengevaluasi program pelatihan.
5
Model ini mengidentifikasi empat tahap yang masing-masing merupakan
pengembangan tahap sebelumnya: (1) reaksi, (2) pembelajaran, (3) perubahan perilaku, dan (4) hasil. Masing-masing tahap dijelaskan lebih rinci berikut ini. TAHAP 1 - REAKSI . Tahap ini mencari tahu bagaimana peserta menyukai program pelatihan dengan
menggunakan lembar penilaian yang dibagikan di akhir acara pelatihan. Singkatnya, ia mengukur “kepuasan pelanggan” atas pelatihan tersebut. Suatu pelatihan yang efektif, menurut Kirkpatrick, akan ditandai oleh kesan positif para pesertanya. Mayoritas pelatihan diakhiri dengan membagikan lembar penilaian kepada para peserta, walau hasilnya tidak selalu digunakan untuk memperbaiki pelatihan dimaksud. Ukuran reaksi ini juga perlu merekam feedback dari para peserta, menyampaikan “pesan” kepada peserta bahwa opini mereka penting, dan informasi kuantitatif yang bermanfaat bagi penyelenggara. TAHAP 2 – PENGETAHUAN ATAU PEMBELAJARAN . Tahap ini mengukur perubahan sikap peserta, peningkatan pengetahuan, keterampilan atau teknik. Mengukur pembelajaran adalah penting
5
Kirkpatrick, D. L. (1998).Evaluating training programs: The four levels (2nd ed.). San Francisco, CA: Berrett-Koehler.
Page 16
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
karena perubahan perilaku tidak akan mungkin terjadi tanpa pembelajaran. Kuncinya adalah merancang instrumen evaluasi yang dapat membantu memastikan pembelajaran apa saja yang sudah didapat peserta dari pelatihan. Mengukur perubahan dalam perilaku atau peningkatan pengetahuan dapat dengan mudah dilakukan dengan tes di atas kertas (sebelum dan sesudah pelatihan), sementara keterampilan dapat diukur melalui tes kinerja. TAHAP 3 – PERUBAHAN PERILAKU . Tahap ini merujuk pada transfer pengetahuan pada tingkat
individu – perubahan pada kinerja pekerjaan individu berkat pelatihan yang dijalankan. Pada intinya, evaluasi Tahap 3 ingin mengetahui apa yang dilakukan (atau tidak dilakukan) oleh peserta pelatihan ketika mereka kembali ke pekerjaan masing-masing. Evaluasi Tahap 3 lebih sulit dilakukan ketimbang evaluasi Tahap 1 dan Tahap 2 karena faktor yang dipertimbangkan tidak sesederhana itu dapat diukur. Sebagai contoh, mengukur perubahan perilaku memerlukan orang yang diukur (1) telah mendapat pengetahuan atau keterampilan pada pelatihan; (2) memiliki peluang untuk menerapkan pembelajaran atau keterampilan baru ini di pekerjaannya; (3) memiliki insentif untuk menerapkan pembelajaran atau keterampilan baru ini dan terus melakukannya, ketimbang kembali ke kebiasaan lama; dan (4) ada hubungan kausalitas antara perubahan dimaksud dengan pelatihan yang didapat. TAHAP 4 - HASIL . Pada tahap ini, analisis bergeser dari perubahan yang diamati pada individu kepada
dampak terhadap organisasi tempat peserta pelatihan bekerja. Secara khusus, apa saja hasil-hasil keorganisasian terukur yang dapat dihubungkan dengan pelatihan? Secara konseptual, ada juga yang mengembangkan Tahap 4 untuk mencakup return on investment (ROI) dan cost benefit, sementara yang lainnya melakukan analisis ROI terpisah dari Tahap 4 ini6. Model ‘Kirkpatrick’ ini sudah cukup lama menjadi model utama untuk mengembangkan evaluasi pelatihan; ia masih menjadi model yang paling banyak dirujuk dalam literatur evaluasi pelatihan.
6 Phillips, J. (1996, April). ROI: the fifth level of evaluation. Technical Skills & Training. Alexandria, VA: American Society for Training and Development. Diunduh Februari 2005 dari http://www.astd.org/NR/rdonlyres/D0BCF259-880D-4EEC-BF89-7F1B9A88F430/0/phillips.pdf
Page 17
Monitoring dan Evaluasi Pelatihan Barefoot Engineer BAGAN 4 ULASAN MODEL EVALUASI PELATIHAN ‘KIRKPATRICK'
Level One Reaction • participant satisfaction
Level Two Learning • principles, • facts, • skills, • techniques
Level Three Behavior • changes in job performance, • attitudes
Level Four Results • organizational change
Oleh karena itu, model Kirkpatrick ini digunakan di sini, karena ia memiliki karakteristik yang cocok untuk maksud evaluasi ini. Kirkpatrick menggunakan proses 10-langkah untuk perencanaan dan implementasi, yang mencakup: (a) menentukan kebutuhan, (b) menetapkan sasaran, (c) menentukan isi materi, (d) memilih peserta, (e) menentukan jadwal terbaik, (f) memilih fasilitas yang sesuai, (g) memilih instruktur yang sesuai, (h) memilih dan mempersiapkan alat bantu audiovisual, (i) mengkoordinasi program, dan (j) mengevaluasi program. Lebih lanjut lagi, langkah-langkah di atas juga melibatkan empat tingkatan evaluasi yang masing-masing dirancang berdasarkan informasi yang didapat dari tingkat sebelumnya, seperti yang digambarkan dalam bagan di atas. Tingkat pertama – reaksi – adalah mirip dengan mengukur kepuasan pelanggan. Para peserta pelatihan harus menerima programnya, jika tidak mereka tidak akan termotivasi untuk belajar dan dapat bercerita kepada pihak lain tentang pengalaman pelatihannya. Mengukur reaksi kadang juga disebut sebagai “lembar kepuasan” atau “lembar senyum”. Seorang pelatih menggunakan informasi dari lembar tersebut untuk menentukan seberapa efektif programnya dan bagaimana bisa membuatnya lebih baik lagi.
Rancangan Metodologi Evaluasi Komponen yang paling penting dari suatu evaluasi adalah rancangannya. Jenis rancangan evaluasi yang dipilih untuk suatu penilaian tertentu bergantung pada pertanyaan riset yang diajukan, kerja sama sponsor program dan peserta, sumber daya yang tersedia, dan waktu. Selain itu, jenis rancangan evaluasi yang dipilih sering dipengaruhi oleh ketersediaan data yang dibutuhkan untuk merancang studi yang valid
Page 18
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
secara ilmiah yang diimbangi dengan kebutuhan personil dan penerima manfaat program7. Dalam monitoring dan evaluasi ini, kami menggunakan rancangan non-eksperimental. Rancangan noneksperimental mencakup desain refleksif maupun jenis pengumpulan data lainnya yang secara tipikal berdasarkan pada sumber-sumber data kualitatif, seperti studi kasus, wawancara, dan kelompok fokus. Di dalam desain refleksif para peserta membandingkan dirinya sendiri sebelum dan sesudah pelatihan (juga dikenal sebagai desain pra-pasca atau sebelum-dan-sesudah). Selain paling sering digunakan dalam evaluasi, rancangan ini juga adalah yang paling sederhana. TABEL 2 RANCANGAN PRA-PASCA NON-EKSPERIMENTAL SATU-KELOMPOK Pengukuran Pra-Program
Pelatihan
Pengukuran Post-Test
O
X
O
T1
T2
T3
Perlakuan
TABEL 3 RANCANGAN PASCA NON-EKSPERIMENTAL SATU KELOMPOK Pelatihan
Pengukuran Post-Test
X
O
T1
T2
Perlakuan
O = Pengukuran; X = Intervensi; T = Periode waktu
Metodologi Pengumpulan Data Ada tiga jenis metode pengumpulan data utama yang akan digunakan dalam monitoring dan evaluasi ini, Untuk data primer, metode yang digunakan adalah diskusi kelompok terfokus (FGD), wawancara (mendalam dan semi-terstruktur), serta studi-observasi lacak. Wawancara mendalam adalah wawancara tatap muka dengan tema umum yang dapat diperdalam atau diperlebar sesuai dengan kebutuhan informasi pewawancara, yakni para konsultan. Metode ini biasanya akan diterapkan untuk narasumber tertentu dengan informasi yang sangat baik tentang filosofi dan esensi dari proyek. Wawancara semi-terstruktur adalah wawancara tatap muka yang sudah didefinisikan dan dipersiapkan dari awal dalam bentuk daftar centang (checklist). Pertanyaan mendalam dapat diajukan namun hanya untuk tujuan klarifikasi tanpa maksud untuk keluar dari pertanyaan yang sudah disusun. Para narasumber dalam wawancara ini adalah para pemangku kepentingan pelatihan barefoot engineer, 7 Weiss, C. (1998). Evaluation (2nd ed). Upper Saddle River, NJ: Prentice Hall; Rossi, P. H., Lipsey, M. W., & Freeman, H. E. (2004). Evaluation: A systematic approach (7th ed.). Thousand Oaks, CA: Sage.
Page 19
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
terutama dari pihak staf internal, peserta pelatihan, praktisi pemberdayaan perempuan, para mitra yang ada atau yang potensial, pejabat pemerintah lokal, organisasi non-pemerintah (NGO), organisasi masyarakat sipil (CSO). (Wawancara) kelompok fokus, adalah wawancara tatap muka tidak terstruktur yang dipandu oleh para konsultan, sebagai moderator, dengan sekelompok responden yang menanggapi secara alamiah terhadap tiap topik wawancara. Walau disebut tidak terstruktur, moderator sangat memahami informasi yang diharapkan keluar, sehingga ia dapat mengendalikan jalannya wawancara. Sesungguhnya, moderator memang sudah mempersiapkan checklist informasi untuk memastikan bahwa wawancara akan berjalan secara natural dan tetap memegang kendali. Teknik ini akan diterapkan kepada kelompokkelopmpok pemangku kepentingan yang disasar, terutama para pelatih, peserta pelatihan dan mitramitra proyek. Studi dan Observasi Lacak. Teknik ini akan diterapkan pada saat konsultan melacak para alumni Barefoot Engineers Training I dan II. Para konsultan akan menentukan apakah para alumni (dipilah berdasarkan gender) bekerja untuk PNPM (dalam kapasitas apa) ataukah mereka memiliki pekerjaan lain. Pada saat yang sama, para konsultan akan menentukan bagaimana pelatihan Barefoot Engineers telah membantu para lulusan mendapatkan pekerjaan. Dalam kegiatan ini akan dilakukan pencatatan pola-pola perilaku (para pemangku kepentingan), obyek dan peristiwa-peristiwa secara sistematis. Untuk tinjauan ini para konsultan terutama akan mengandalkan teknik observasi personal dan mekanikal untuk pengumpulan data. Dalam observasi personal, konsultan akan mengamati perilaku sesungguhnya pada saat terjadi. Para konsultan tidak akan berusaha untuk mengontrol atau memanipulasi peristiwa yang diamati, namun hanya akan mencatat apa yang terjadi. Ketika perekaman harus dilakukan menggunakan alat (misalnya kamera) para konsultan akan menggunakan observasi mekanis, di mana perekaman untuk mendapatkan suara, gambar atau video akan dilakukan menggunakan kamera/alat perekam.
Analisis dan Rancangan Survey Alat-alat analisis berikut dipersiapkan untuk digunakan selama monitoring dan evaluasi untuk mengukur sikap dan efektifitas pelatihan: Analisis Konten: Ini adalah alat analisis untuk teks kualitatif dan data verbal. Dengan metodemetode ini, para konsultan akan melakukan analisis berdasarkan pesan-pesan yang tercatat, seperti dokumen proyek, pernyataan yang direkam dari wawancara, notulensi pertemuan, atau bagan, dll. Analisis Komparatif: Ini adalah teknik untuk menganalisis baik data kualitatif maupun kuantitatif.
Page 20
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Teknik ini akan digunakan ketika perbandingan data mungkin untuk dilakukan. Survey tentang pengembangan pelatihan Barefoot Engineers akan menggunakan metode-metode ini. Teknik Tabulasi-silang. Analisis tabulasi-silang akan diterapkan ketika konsultan bekerja dengan data kualitatif ordinal atau nominal. Para konsultan akan menggunakan metode tabulasi-silang untuk menganalisis hubungan silang antara dua hal berbeda yang ditinjau. Sebagai contoh, antara perspektif peserta pelatihan dan pelatih. Analisis Kesenjangan (Gap Analysis). Para konsultan akan menggunakan alat ini ketika membandingkan antara standar dan kondisi aktual subyek yang ditinjau. Contoh subyek yang akan dianalisis menggunakan alat ini adalah aspek manajerial atau operasional yang membutuhkan prosedur operasional standar (SOP). Metode Penilaian (Rating). Sebagaimana disebutkan sebelumnya, terdapat dua kelompok pembagian rating dalam tinjauan ini. Untuk persoalan umum, rating-nya menggunakan kategori berikut: Highly Satisfactory (HS, Sangat Memuaskan), Satisfactory (S, Memuaskan), Marginally Satisfactory (MS, Memuaskan Marjinal), Unsatisfactory (U, Tidak Memuaskan). Untuk hasil proyek, rating menilai aspekaspek berikut: relevansi, efektivitas, efisiensi dengan rating sebagai berikut: Highly Satisfactory (HS, sangat memuaskan) artinya bahwa proyek yang ditinjau tidak memiliki kekurangan dalam pencapaian sasarannya, atau dalam hal tertentu mencapai lebih daripada yang diharapkan, diindikasikan oleh praktik-praktik baik yang dihasilkan oleh proyek. Satisfactory (S, memuaskan): Proyek ada sedikit kekurangan dalam pencapaian sasarannya. Moderately Satisfactory (MS, memuaskan sedang): Proyek memiliki kekurangan sedang dalam pencapaian sasarannya. Moderately Unsatisfactory (MU, tidak memuaskan sedang): Proyek memiliki kekurangan signifikan dalam pencapaian sasarannya. Unsatisfactory (U, tidak memuaskan): Proyek memiliki kekurangan besar dalam pencapaian sasarannya. Highly Unsatisfactory (HU, sangat tidak memuaskan): Proyek memiliki kekurangan sangat besar dalam pencapain sasarannya. Untuk mendapatkan informasi tentang pencapaian proyek secara umum, para konsultan menggunakan konsep rating umum. Dalam kasus ini indikator 5C akan mewakili keseluruhan pencapaian proyek. LimaC adalah singkatan consistency, consolidation, coordination, capacity, dan continuity (konsistensi, konsolidasi, koordinasi, kapasitas dan kontinuitas), yang merupakan lima ciri yang mengindikasikan keberhasilan suatu proyek. Menurut indikator-indikator ini, proyek akan dianggap berhasil apabila (1)
Page 21
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
diimplementasikan sesuai dengan mandat dalam desain proyek, juga sesuai dengan kebutuhan orangorang, dan (2) merupakan hasil konsultasi komprehensif dengan pemangku kepentingan yang sesungguhnya, (3) terkoordinasi dengan baik bersama pemangku kepentingan utama, baik secara horizontal maupun vertikal, untuk menghindari tumpang tindih dan inefisiensi, (4) dapat membangun kapasitas pihak internal dan eksternal, serta masyarakat secara keseluruhan, dan (5) menunjukkan kapasitas untuk membangun kepedulian umum dan rasa kepemilikan, sehingga menjamin pendanaan, pemeliharaan dan pengembangan proyek secara mandiri di masa mendatang. Berdasarkan analisis dan rating para konsultan menyimpulkan (1) pembelajaran yang didapat dan praktik terbaik (kemungkinan juga yang buruk), (2) daftar rekomendasi, dan (3) hasil rating yang mencerminkan kinerja proyek.
Metodologi Sampling Guna mendapatkan informasi yang komprehensif, para konsultan akan mengunjungi lokasi (yang disarankan) dan mengakses data yang direkomendasikan. Berdasarkan pertimbangan itu agenda utama para konsultan adalah mengunjungi proyek-proyek. Cakupan Survey Narasumber yang diidentifikasi mencakup peserta pelatihan, institusi, pelatih, dan lembaga penyelenggara pelatihan. Pada waktu survey lapangan dijalankan, Papua dan Papua Barat diidentifikasi (sesuai dengan faktor geografis sampling) untuk semua unsur sampel.
Perangkat yang Digunakan Tinjauan ini akan menggunakan berbagai perangkat pada tiap tahapan pengumpulan data, pemrosesan data dan penilaian. Perangkat tersebut antara lain:
Template wawancara
Checklist informasi
Perangkat dokumentasi dan perekaman (suara, gambar, video).
Tabel survey dan rating
Perangkat komputasi
Transportasi
Page 22
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Prosedur Operasional dan Koordinasi Dalam menjalankan survey, para konsultan bekerja sesuai dengan rancangan kerja yang diajukan dalam laporan permulaan sebagai rencana survey. Para konsultan menentukan jadwal dan prosedur sesuai keadaan. Prosedur operasional terutama diarahkan pada pendekatan kerja dan persoalan metodologis.
Asumsi Kerja Monitoring dan Evaluasi Monitoring dan evaluasi akan berhasil asumsi-asumsi berikut terpenuhi: 1. Bahwa para responden, baik lembaga maupun peserta pelatihan, sebagian besar bisa diwawancara di kantor mereka terdahulu, walau sudah empat tahun berlalu sejak pelatihan terakhir diselenggarakan. Selain itu, para ketua institusi, atau setidaknya anggota manajemen yang mengetahui tentang pelatihan tersebut masih ada. 2. Bahwa para responden mau bekerja sama dalam menjawab pertanyaan tanpa penundaan. 3. Bahwa semua responden, khususnya responden lembaga, masih menyimpan dokumentasi tentang pelatihan dan kegiatan terkait manajemen BET dan yang terakhir masih mudah didapat.
Page 23
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
BAB 3: TEMUAN EVALUASI Data Umum tentang Lulusan dan Pekerjaan Berdasarkan kebutuhan fasilitator teknis PNPM, jumlah lulusan dari BET I ke II menurun secara signifikan, dari 163 menjadi 76 di Papua, dan dari 70 menjadi 34 di Papua Barat. Hal ini terjadi berdasarkan kebutuhan fasilitator teknis PNPM di lapangan. BAGAN 5 JUMLAH TOTAL LULUSAN BET I DAN BET II
Total Lulusan BET I dan BET II 180 160 140 120 100 80 60 40 20 0
BET I BET II Total
Male Papua
Female
Total
Male
Female
Papua Barat
Dari data di bawah ini, terlihat bahwa kelas yang lebih kecil di BET II memiliki dampak lebih baik bagi fasilitator di lapangan, selain persoalan rentang waktu (BET I diadakan pada tahun 2003 dan BET II pada tahun 2009). Jumlah orang-orang yang bekerja pada PNPM di antara lulusan penempatan awal Papua sedikit lebih besar (37%) dibandingkan lulusan dari penempatan awal di wilayah Papua Barat (33%). Bagian ini meningkat karena jumlah besar lulusan di penempatan awal Papua dibandingkan lulusan di Papua Barat. Untuk mereka yang sudah tidak lagi bekerja dengan PNPM, alasan yang paling sering dilaporkan adalah dihapusnya pekerjaan, diikuti gaji yang rendah, keadaan keluarga dan kondisi kerja yang berat.
Page 24
Monitoring dan Evaluasi Pelatihan Barefoot Engineer TABEL 4 TOTAL LULUSAN YANG BEKERJA DI PNPM (TERPILAH SESUAI GENDER) Provinsi
Lulusan Papua
Kerja dengan PNPM
Papua Barat
Gender
BET
Status8
Lulusan Kerja dengan PNPM
I
Lelaki
158
Gender
BET
Perempuan
II
Lelaki
Perempuan
121
37
72
52
20
20
15
5
61
45
16
70
43
27
34
28
6
7
2
5
8
7
1
Melacak Lulusan Barefoot Engineer Training I & II – Papua Untuk mendapatkan informasi tentang implementasi kegiatan lulusan yang dijalankan oleh BET I dan II, dan sejauh mana kegiatan-kegiatan tersebut berkontribusi pada perbaikan kinerja, para konsultan melakukan evaluasi dampak pasca-pelatihan dan respon serta feedback sebagai hasil pelatihan tahun 2003 dan 2009 secara langsung pada kegiatan implementasi, seperti peserta dan pemangku kepentingan lain. Pekerjaan Berdasarkan Jenis Organisasi Informasi yang didapat melalui wawancara bola-salju dengan para lulusan melalui dokumen sekunder yang ada dari kantor PNPM sebagai titik awal. Pada saat survey dilakukan, status lulusan berdasarkan data skeunder dan verifikasi di lapangan menjelaskan bahwa 44% lulusan masih bekerja, baik dengan PNPM maupun pekerjaan lain (sektor swasta, NGO dan PNS). BAGAN 6 PEKERJAAN SESUAI JENIS ORGANISASI
Pekerjaan Sesuai Jenis Organisasi PNPM 37%
45%
GOV'T NGO Private Sector Unemployed
11%
5% 1% 1%
8
Unknown Status
Updated in May 2013
Page 25
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Lulusan dengan penempatan awal di Mimika (29%), Kepulauan Yapen (19%) dan Biak Numfor (18%) memiliki kontribusi angka tinggi untuk lulusan yang tidak diketahui statusnya. Temuan ini didasarkan pada dokumen sekunder dari Kantor PNPM dan diverifikasi selama kunjungan lapangan. BAGAN 7 LULUSAN DENGAN STATUS TIDAK DIKETAHUI
Lulusan Dengan Status Tidak Diketahui 1% 2% 2% 3% 1% 8%
Nabire Kepulauan Yapen 19%
29%
Biak Numfor Paniai Puncak Jaya
18% 6%
11%
Mimika Bovendigul Mappi
Lulusan sebagian besar pindah dari kabupaten terpencil (Tolikara dan Merauke) ke kabupatenkabupaten yang lebih mudah diakses (Jayapura dan Kepulauan Yapen) atau pindah ke Provinsi Papua Barat (Manokwari). Pekerjaan PNPM sesuai Wilayah Transfer Selama penugasan PNPM, banyak lulusan pindah ke distrik lain untuk alasan-alasan seperti: 1. Kebutuhan fasilitator teknis PNPM di kabupaten-kabupaten lain. Ketimbang merekrut fasilitator baru, manajemen PNPM memanfaatkan sumber daya yang ada dari internal PNPM untuk dipindahkan atau untuk memberi dukungan kepada kabupaten lain yang sedang diprospek atau dimekarkan. 2. Kebutuhan fasilitator itu sendiri; ada fasilitator yang diajukan manajemen PNPM untuk dipindahkan ke kabupaten lain dengan alasan spesifik seperti akses (persoalan transportasi atau komunikasi), status daerah konflik atau alasan pribadi.
Page 26
Monitoring dan Evaluasi Pelatihan Barefoot Engineer BAGAN 8 STATUS LULUSAN DI PNPM
Status Lulusan di PNPM
Transferred
49% 51%
Initial Placement
Transfer lulusan dengan kondisi di atas disebar ke kabupaten-kabupaten lain seperti Jayapura (22%) dan Manokwari (20%). Hal ini terjadi karena kebutuhan PNPM akan fasilitator teknis di kabupaten lain. BAGAN 9 KABUPATEN TRANSFER LULUSAN
Kabupaten Transfer Lulusan 2%
Manokwari 5%
2%
9%
20%
Kepulauan Yapen Jayapura Biak Numfor
7% 2% 2%
16% 13%
Waropen Puncak Jaya Keerom
22%
Mimika Supiori
Persoalan Gender Secara umum, dari total 58 lulusan perempuan BET I dan II, 20 lulusan perempuan masih bekerja pada penempatan awalnya dengan PNPM, 22 lulusan perempuan tidak lagi bekerja sebagian besar karena status pernikahan. Page 27
Monitoring dan Evaluasi Pelatihan Barefoot Engineer BAGAN 10 STATUS ALUMNI PEREMPUAN
Status Lulusan Perempuan
21%
29%
PNPM Another Job Unemployed
38%
12%
Unknown Status
Mendapatkan Pekerjaan 63% lulusan BET I dan II mendapatkan pekerjaan lebih baik di sektor pemerintahan, swasta atau NGO. Dibandingkan dengan lulusan pendidikan formal lain, lulusan BET memiliki nilai tambah dan nilai kompetitif yang dapat memengaruhi proses perekrutan ketika mereka melamar untuk pekerjaan lain. Nilai-nilai
ini
dipertimbangkan
ketika
suatu
organisasi
menerima lulusan BET. Usulan Lulusan BET I dan II Selama kunjungan lapangan untuk studi lacak ini, tim
Yusup Roni Dusay adalah lulusan BET I. Ia meninggalkan PNPM dan bekerja sebagai direktur di perusahaan pengadaannya sendiri. Ia memberi dukungan bagi kebutuhan Dinas PU melalui divisi pengadaannya.
melakukan wawancara singkat serta mengumpulkan masukan dari para lulusan tentang bagaimana memperbaiki pelatihan dalam jangka panjang. 1. Menurut para lulusan efektivitas implementasi pelatihan sudah seimbang antara teori dan praktik (35%). Yang lain menyebut antara pelatihannya sangat praktis atau sangat teoretis. Maka usulan untuk implementasi berikutnya adalah menyeimbangkan materi praktis dan teoretis agar lebih efektif (65%) dan bahwa harus diterjemahkan ke dalam manajemen, kurikulum dan silabus pelatihan.
Page 28
Monitoring dan Evaluasi Pelatihan Barefoot Engineer BAGAN 11 EFEKTIVITAS PELATIHAN
Efektivitas Pelatihan sangat praktis 9% seimbang antara praltik dan teori 35% Sangat teoretis 56%
2. Pelatihan partisipatif juga muncul dalam wawancara; para lulusan membutuhkan lebih banyak pelatihan dewasa dengan fokus pada pembelajaran yang berpusat pada pelatihan. Para pelatih harus memfasilitasi kebutuhan peserta pelatihan terkait jenis pembelajaran dan pembelajaran terkait kebutuhan lokal.
Melacak Lulusan Barefoot Engineer Training I & II – Papua Barat Temuan dari Papua Barat lengkap dan terperinci karena cakupan wilayah dan jumlah lulusannya. Informasi dikumpulkan dari data sekunder dari Kantor PNPM di Papua Barat dan diverifikasi selama kunjungan lapangan ke Kaimana, Sorong dan Manokwari. Pekerjaan Sesuai Jenis Organisasi Lulusan
di
Papua
Barat
sebagian
besar
meninggalkan
penempatan awal mereka, dimana 28% bekerja sebagai PNS dan 47% menganggur. Sebagian besar lulusan yang menganggur
Dorkas Debora Naroba adalah lulusan BET I, yang baru kerja untuk Kaimana, Kabupaten Buruwai (6 jam naik perahu dari Kaimana) sebagai fasilitator teknis. Pencapaian dia adalah membangun 20 bangunan fasilitas publim di 3 kabupaten berbeda. Ia mengatakan “PNPM adalah panggilan saya, pelayanan saya kepada Tuhan”
adalah lulusan perempuan karena status pernikahan mereka.
Page 29
Monitoring dan Evaluasi Pelatihan Barefoot Engineer BAGAN 12 STATUS LULUSAN BET I DAN II
Pekerjaan sesuai Jenis Organisasi
23% PNPM 47%
GOV'T Private Sector 28%
Unemployed
2%
Pekerjaan adalah persoalan krusial bagi lulusan BET I dan II. Manokwari memiliki persoalan pekerjaan yang besar (53%). persoalan utama para lulusan meninggalkan pekerjaan PNPM adalah: 1.
Pelanggaran kode etik, regulasi PNPM terlalu kaku, para lulusan merasa lelah dan meninggalkan PNPM
2.
Persoalan geografis, daerah terpencil dan tidak terjangkau, sebagai pertimbangan utama untuk pindah. BAGAN 13 LULUSAN BET I DAN II YANG TIDAK BEKERJA
Lulusan BET I dan II yang Tidak Bekerja 10% 37%
Fakfak Manokwari 53%
Sorong
L
Page 30
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Pekerjaan PNPM Berdasarkan Wilayah Transfer
Lulusan BET I dan II berpindah di 8 kabupaten di Papua dan Papua Barat (24%). 76% lulusan masih tetap bekerja pada penempatan awal. BAGAN 14 STATUS LULUSAN BET I DAN II DI PNPM
Status Lulusan BET I dan II di PNPM
24% Transferred Initial Placement 76%
BAGAN 15 TRANSFER LULUSAN
Transfer Lulusan 4%
4%
4% 4%
4%
Kaimana 9%
Fakfak 9%
Manokwari Jayawijaya
4%
Sarmi
8%
25%
Raja Ampat
8% 13% 4%
Nabire Paniai Bovendigul
Page 31
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Persoalan Gender Lulusan perempuan meninggalkan PNPM untuk pekerjaan lain dengan pemerintah dan/atau alasan status pernikahan (79%). Persoalan pengangguran adalah krusial dalam perspektif gender. Hal ini perlu diidentifikasi dalam proses perekrutan untuk memastikan bahwa peserta perempuan memiliki komitmen jangka panjang pada pekerjaan PNPM. BAGAN 16 STATUS LULUSAN PEREMPUAN
Status Lulusan Perempuan
21% PNPM
47%
Another Job Unemployed 32%
Mendapatkan Pekerjaan 30% lulusan BET I dan II mendapatkan pekerjaan lebih baik di pemerintahan, sektor swasta dan NGO. Hal ini diketahui dari wawancara dengan para lulusan. Akses pada informasi dan peluang bisnis dalam sektor barang/jasa konstruksi dan lowongan PNS dari manajemen PNPM telah memungkinkan para lulusan melamar pekerjaan yang lebih baik. Pada saat itu Papua Barat baru dimekarkan menjadi provinsi baru dan kebijakan pemekaran mulai diimplementasikan, dan ada kebutuhan tinggi akan PNS yang berkualifikasi. Maka para lulusan memilih untuk melamar menjadi PNS ketimbang fasilitator teknis. Dibandingkan dengan lulusan pendidikan formal lainnya, para lulusan BET memiliki nilai tambah dan kompetitif lain yang memengaruhi proses perekrutan ketika melamar pekerjaan lain. Nilai-nilai ini dijadikan pertimbangan ketika organisasi menerima lulusan BET. Sejak pelatihan penyetaraan lulusan tahun 2003 dan 2009 dengan persyaratan D-1 teknik sipil dari Universitas Cenderawasih, gaji PDT lulusan BET I dan II disetarakan dengan fasilitator teknis biasa (setelah 6 tahun bekerja) di Papua Barat, dan perlakuan ini membawa respon yang baik dari para lulusan agar tetap bekerja di PNPM. Page 32
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Saran Para Lulusan BET I dan II Saran-saran yang diterima dari para lulusan tentang perbaikan pelatihan dalam jangka panjang antara lain: 1. Pelatihan diharapkan memiliki penyetaraan dengan syarat-syarat D-1, sehingga para lulusan memiliki posisi tawar dengan staf lain yang direkrut PNPM. 2. Penegakan aturan selama pelatihan masih sangat lemah. Para lulusan mengusulkan untuk menggunakan dan mengadopsi pelatihan prajabatan CPNS. 3. Materi kearifan lokal harus diberikan di kelas kecil, dan tidak hanya fokus pada aspek kognitif, namun juga pada pembentukan sikap/mental dan perumusan strategi untuk membangun kebersamaan dan rasa tanggung jawab yang tinggi dalam memobilisasi partisipasi masyarakat. 4. Materi pembelajaran teknik (engineering) disarankan tidak hanya menggunakan metode manual, namun juga diberikan cara-cara sederhana menggunakan komputer.
Kondisi Pekerjaan dan Rekomendasi untuk Perbaikan Kondisi pekerjaan di PNPM menurut para lulusan tidak stabil terkait dengan manajemen yang rumit, kondisi geografis dan angka turnover yang tinggi di PNPM yang umumnya akibat persoalan pemekaran. Rekomendasi untuk perbaikan atau bantuan susulan yang diterima antara lain: 1. Memberi materi pelatihan tentang pengadaan barang/jasa, aplikasi komputer sederhana, metode praktis menyelesaikan tugas yang belum diselesaikan dan yang akan diselesaikan. 2. Memberi pelatihan tentang pemahaman pembangunan, NLP (Neuro Linguistic Programming)/ hipnosis untuk meningkatkan etika dan moralitas para lulusan.
Efektivitas Barefoot Engineer Training III Rancangan monitoring dan evaluasi menilai pembelajaran apa yang didapat para peserta pada pelatihan dan bagaimana mereka menggunakan pengetahuan dan ketermapilan baru dalam pekerjaan mereka. Temuan monitoring dan evaluasi didasarkan pada dua sumber data berikut: • Laporan unit manajemen proyek • Laporan pelatih Dengan tingkat kesuksesan yang bervariasi pada masing-masing tingkatan, yang digambarkan lebih lengkap pada bab berikutnya, kami menerapkan empat tingkatan evaluasi untuk menilai program pelatihan. Metode utama untuk mengumpulkan data mencakup yang berikut pada masing-masing
Page 33
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
tingkatan evaluasi. • Tingkat 1 (reaksi peserta) data adalah survey tertulis dan laporan oleh pelatih, peserta pelatihan dan observasi evaluator. Tim evaluasi mengamati satu kelas pelatihan secara penuh dan menggunakan survey reaksi peserta yang ada yang sudah dikembangan masing-masing organisasi untuk pelatihan. Para evaluator juga menjalankan wawancara reaksi (FGD) dengan satu sampel peserta pelatihan. • Tingkat 2 (pembelajaran dan pengetahuan yang didapat) data didapat dari wawancara pasca latihan dan tes pengetahuan. Tes pengetahuan ini dirancang oleh pihak yang mengembangkan pelatihan. • Tingkat 3 (perubahan perilaku) data didapat dengan survey dan wawancara telepon. Bilamana mungkin, survey dan wawancara juga dilakukkan dengan pengawas peserta pelatihan. • Tingkat 4 (dampak organisasi) data sedapat mungkin didapat melalui wawancara. Singkatnya, kami dapat menunjukkan kekuatan dan kelemahan mengumpulkan semua tingkatan data evaluasi menggunakan model Kirkpatrick yang dimodifikasi. Monitoring dan evaluasi mencakup tahaptahap pengembangan pelatihan berikut: • Melakukan penilaian kebutuhan • Merancang rencana pelatihan • Mengambangkan kurikulum • Mengevaluasi kursus pelatihan (menyediakan kurikulum dan mengevaluasi pelatihan dan pelatihnya) Penilaian Kebutuhan Analisis penilaian kebutuhan adalah langkah penting pertama yang memberi masukan tentang apa yang dibutuhkan pelatihan, bagaimana pelatihan tersebut harus diberikan, atau apakah pelatihan yang ada telah memenuhi kebutuhan suatu lembaga atau organisasi. Analisis penilaian kebutuhan melibatkan proses multi-langkah untuk mengidentifikasi pengguna penilaian tersebut, mengidentifikasi populasi sasaran pelatihan, menentukan mengapa pelatihan itu dibutuhkan, menjalankan penilaian dan analisis, dan mengkomunikasikan hasilnya. Pada tahap ini, pelatihan harus sepenuhnya dapat dijustifikasi sebelum ada pendanaan yang diinvestasikan untuk pengembangan kurikulum. Jika tidak, pelatihan yang menduplikasi pelatihan lain atau tidak memenuhi kebutuhan hanya akan memboroskan sumber daya yang ada. BaKTI sudah melakukan pekerjaan yang baik dalam menjalankan penilaian kebutuhan sebagai prakondisi yang esensial bagi pengembangan pelatihan. Jika mereka tidak dapat menunjukkan kesenjangan dalam pelatihan Barefoot Engineers terdahulu, mereka tidak akan meneruskan komitmen pengembangan
Page 34
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
pelatihan. Mereka mengumpulkan pemangku kepentingan kunci dan para ahli (para aktor utama PNPM di Papua dan Papua Barat, perwakilan PMD dari kedua provinsi untuk berbagi informasi di antara kebutuhan negara dan lokal, dan ahli-ahli lain di bidang teknik dan pelatihan materi pendukung.) Mereka mengkaji pelatihan sarjana teknik yang sudah ada (misalnya, BET I dan BET II yang dijalankan oleh UnCen). Maka dari itu, BaKTI menentukan, melalui penelitian yang luas, bahwa pelatihan yang diusulkan bersifat unik dan tidak menduplikasi pelatihan yang sudah ada. Mereka juga terdorong oleh laporan dari PNPM Perdesaan/Respek yang mendokumentasi kebutuhan akan fasilitator lapangan tambahan untuk PNPM Perdesaan/Respek. Mereka menemukan bahwa sasaran penerima pelatihan, yakni para fasilitator lapangan yang baru direkrut PNPM Perdesaan/Respek atau yang baru melamar untuk mengisi kebutuhan PNPM Perdesaan/Respek, belum memiliki pelatihan dasar yang terstandardisasi yang dapat mengajarkan dasardasar analisis informasi. Rencana Pelatihan Ketika kebutuhan pelatihan telah dijustifikasi, tahap kedua dari pengembangan pelatihan adalah merancang rencana pelatihan. Tujuan rencana pelatihan ini adalah untuk mematangkan kembali semua komponen manajemen dan administrasi dari pelatihan. Seringkali sedikit perhatian diberikan untuk melakukan penilaian kebutuhan pelatihan atau mengembangkan rencana pelatihan. Biasanya merancang dan mengadakan kurikulum itu sendiri menjadi “titik tolak” bagi banyak organisasi yang merancang program pelatihan yang baru. Kami percaya bahwa ini tidak memberi dasar atau kerangka yang kuat bagi pelatihan. Pada tahap ini, organisasi yang mengadakan pelatihan perlu dengan jelas mengidentifikasi, merumuskan, dan mendokumentasi sasaran yang hendak dicapai – apa yang hendak dicapai dengan pelatihan ini. Bagaimana perbedaan para peserta pelatihan dalam berpikir atau bekerja setelah pelatihan? Bagian rencana ini menggunakan hasil dari tahap penilaian kebutuhan. Manajemen dan administrasi mencakup mengembangkan dasar atau komponen-komponen pelatihan, merekrut para pelatih, mengadakan teknologi yang dibutuhkan, mengiklankan dan mengundang peserta, mengelola logistik (fasilitas pelatihan, makanan/minuman, penginapan, dst), melakukan pencatatan pelatihan, dan lain-lain. Pelatihan terbaik sekalipun akan melemah tanpa dasar organisasi yang kokoh dan berpengalaman untuk mendukung administrasi, manajemen dan logistik pelatihan. Dalam studi kami, BaKTI dan masing-masing stafnya memiliki pengalaman luas dalam mengelola dan
Page 35
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
memberikan pelatihan. Masing-masing mendemonstrasikan pengalaman tersebut dalam pendekatan dan dasar untuk mendukung pelatihan sebelumnya. Pelatihan yang dievaluasi direncanakan dengan baik. Para perencana dan pengembang program pelatihan merancang program untuk memenuhi kebutuhan, memaparkan dengan jelas tujuan dan sasaran pelatihan, dan bekerja untuk memastikan bahwa pelatihan memenuhi kebutuhan. Mereka juga mengoperasionalkan sasaran-sasaran spesifik yang dapat dibawa pulang oleh para peserta dari pelatihan. KRITERIA PEMILIHAN PESERTA DAN MEMASTIKAN KOMITMEN ORGANISASI Organisasi penyelenggara pelatihan perlu menerapkan kriteria pemilihan tertentu kepada para calon peserta agar lembaga penyandang dana mendapatkan kepastian bahwa sumber daya yang diberikannya akan menghasilkan lulusan yang menggunakan dan menerapkan apa yang sudah mereka pelajari di wilayah kerja mereka. BET III memiliki kriteria seleksi peserta yang cukup ketat untuk fasilitator tingkat dasar dari PNPM Perdesaan/Respek dan calon fasilitator lapangan yang telah melalui tes seperti pengetahuan, kepribadian dan kesehatan. Tes ini diarahkan oleh para aktor PNPM Perdesaan/Respek dari Papua dan Papua Barat. Mengembangkan Kurikulum Pada tahap ini dilakukan penyempurnaan sasaran pembelajaran, mengembangkan konten dan materi pelatihan, memilih metode dan media instruksi, dan merevisinya berdasarkan feedback. MENGEMBANGKAN SASARAN PEMBELAJARAN DAN MATERI PELATIHAN BaKTI dapat dengan baik merumuskan sasaran pembelajaran dan mengembangkan materi pembelajaran. Mereka menentukan sasaran pembelajaran yang spesifik. Mereka juga menggunakan berbagai macam UKM di beberapa kelas. Sebagai contoh, BaKTI menggunakan setidaknya dua UKM yang bekerja untuk mengembangkan konten dan materi pelatihan tentang pokok bahasan gender dan etnografi. Rentang waktu beberapa pokok bahasan pelatihan ini mencerminkan suatu upaya yang dipikirkan dengan matang untuk menyeimbangkan antara kebutuhan memenuhi sasaran pelatihan dengan kebutuhan para peserta. Sebagai contoh, waktu paling pendek yang dievaluasi adalah pelatihan tentang gender, yang secara spesifik menyasar peningkatan kepekaan pada keseimbangan gender di lapangan. Pelatihan yang lebih lama dari dua hari akan sulit bagi para peserta untuk menyerapnya. Kami secara formal tidak melakukan pemeringkatan konten dan perbandingan naskah dan buku
Page 36
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
pelatihan di tiap kursus, walau materi tersebut telah ditinjau oleh para ahli pada awal implementasi pelatihan sesuai kriteria sebagai berikut: • Organisasi—bagaimana materi tersebut disusun • Kemudahan dibaca—seberapa mudah konsep-konsepnya dapat dipahami (penulisan yang ringkas dan jelas) • Konten—pokok bahasan yang terkini dan informatif • Nilai instruksional—kebergunaan dan relevasi materi untuk alih pengetahuan Keempat kursus yang dikaji menghasilkan buku catatan pelatihan yang baik. Di tiap-tiap kursus, feedback para peserta pelatihan tentang materi yang disajikan secara umum positif. Salah satu kunci bagi materi kursus yang berguna, khususnya pelatihan membangun keahlian, adalah bahwa peserta pelatihan dapat menggunakan materi kursus sebagai rujukan sekembalinya mereka ke pekerjaan mereka; materi kursus harus berisi contoh-contoh dan teknik yang berguna, tidak hanya prinsip. Salah satu ukuran “kesuksesan” yang lain adalah indikasi bahwa para peserta pelatihanan membagikan materi pelatihan kepada pegawai lain di tempat kerja mereka. Pembagian materi ini membantu mendiseminasi kegunaan pelatihan, walau hal ini akan sulit untuk diukur—ini tampaknya merupakan teori yang “intuitif”. METODE DAN MEDIA INSTRUKSI Metode dan media instruksi bervariasi. BET III sangat mengandalkan kuliah dengan latihan di kelas yang banyak, kuliah yang diikuti role play, narasumber tamu, dan media interaktif. BET III berusaha menggunakan prinsip-prinsip pembelajaran orang dewasa sejauh mungkin. Role play BET III menunjukkan konsep-konsep pembelajaran dewasa tersebut. Latihan role play menggunakan contoh-contoh nyata dan melibatkan semua peserta di kelas. SELEKSI PELATIH BET III mengandalkan konsultan profesional yang bekerja di bidang yang diajarkan. Para pelatih adalah mediator lapangan yang aktif, sekaligus pelatih dengan pengalaman bertahun-tahun. Singkatnya, semua pelatih yang diamati sudah memiliki syarat pendidikan, pengetahuan tentang subyek yang diajarkan, dan pengalaman sebagai pelatih. Mereka memiliki tingkat keterampilan fasilitasi yang berbeda-beda. Selain itu, observasi kami mengkonfirmasi bahwa semua instruktur menyediakan waktu bagi peserta
Page 37
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
selama periode rehat dan setelah kelas. Akan tetapi, BaKTI dapat lebih baik lagi dalam memberi kontak pasca pelatihan, yakni ketika para peserta kembali ke pekerjaan masing-masing. Evaluasi Kursus Pelatihan TINGKAT 1 – REAKSI PESERTA Dalam menilai reaksi peserta (Tingkat 1 dari evaluasi pelatihan), pertanyaan intinya adalah: Apa saja penilaian peserta tentang pelatihan? Apa pendapat mereka tentang konten pelatihan, para instruktur, dan peluang untuk partisipasi dalam kelas, serta berjejaring dengan sumber data lainnya? Temuan didapat dari evaluasi peserta pelatihan. Pengumpulan data untuk evaluasi pelatihan peserta mengandalkan prosedur unit manajemen BET III sendiri untuk mengumpulkan masukan para peserta tentang pelatihan. BET III menggunakan feedback terpisah untuk setiap hari pelatihan dan membagikan formulir tersebut pada akhir pelatihan. Sebagian besar mampu mendapatkan contoh yang memadai. Formulir yang digunakan adalah contoh yang layak diterima secara profesional. BET III membuat perubahan pada jadwal pelatihan dan kurikulum setelah dua bulan pertama sesi pelatihan berkat feedback para peserta. Reaksi Terhadap Pelatihan BET III menggunakan perpaduan kuliah, dan sesi tanya jawab, presentasi PowerPoint, dan latihan individu dan kelompok dalam mengajar peserta. Feedback spesifik juga sangat positif, dengan komentar-komentar seperti: • “Memberi pemahaman dasar. Sangat teroganisir dan baik!” • “Sangat informatif.” • “Sangat aplikatif dan berguna. Informasi praktis untuk digunakan segera. Perangkat dasar yang baik.” • “Dasar yang baik untuk dikembangkan.” • “Untuk pemula – informasi yang sangat mendasar dan baik.”
Page 38
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Tanggapan Tentang Pelatih BET III menggunakan perpaduan staf PNPM Perdesaan/Respek untuk memberi instruksi sesuai modul individual dan pelatih dari luar yang merupakan praktisi berpengalaman dalam pokok-pokok bahasan yang diajarkan seperti pengetahuan engineering dan gender. Secara umum para pelatih sangat dihormati. Sebagian besar peserta memberi penilaian “baik” atau “sangat baik”. Tidak ada peserta yang memberi penilaian “buruk”, dan ada sedikit yang menilai mereka “rata-rata” atau “sedang”. Komentar tentang instruktur antara lain: • “Semua pelatih... benar-benar menjadikan hal ini praktis dan mudah untuk membaca semua topik [dari] awal sampai akhir kelas.” • “Semua instruktur melakukan pekerjaan yang baik. Teruskan.” TINGKAT 2 – PEMBELAJARAN/PELAJARAN YANG DIDAPAT Selama evaluasi BET I dan II – penilaian tentang pembelajaran – pertanyaan intinya adalah: Informasi dan keterampilan apa yang didapat? Temuan apa yang didapat dari intelligence analysis knowledge test yang dijalani peserta di awal dan di akhir pelatihan. Sementara penting untuk mengukur reaksi peserta (Tingkat 1) untuk menilai “keterpikatan” (buy in) mereka pada kursus, Tingkat 2 memberi penilaian yang berguna tentang apa yang didapat peserta dari kursus. Rancangan pra/pasca memberi taksiran awal tentang pengetahuan analisis peserta yang menjadi titik awal untuk perbaikan. Berbagai perangkat evaluasi diterapkan pada Tingkat 2. Lihat tabel berikut untuk ilustrasi. TABEL 5 INSTRUMEN EVALUASI YANG DIGUNAKAN DI TINGKAT 2 (PEMBELAJARAN YANG DIDAPAT)
Program Pelatihan
Instrumen Evaluasi
BET III
Test pengetahuan pra/pasca; diselesaikan saat pelatihan Survey susulan (bantuan pelatih)
Pada pra-wawancara, teknik pasca-survey juga dapat berguna walau memiliki beberapa kekurangan. Pertama, walau hasil yang didapat menunjukkan adanya beberapa perubahan dalam pengetahuan dan sikap, perubahan tersebut tidak dengan mudah terkuantifikasi karena jawabannya cenderung bervariasi. Kedua, tes tidak hanya dilakukan dengan anggota tim pelatihan yang terpilih – tidak semua anggota tim – karena pertimbangan biaya dan kendala dalam menghubungi semua anggota tim.
Page 39
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Nilai tinggi dicapai oleh 11.6% peserta (2% peserta perempuan) dari 284 peserta berdasarkan hasil tes awal. Hasil tes akhir menunjukkan 3% peserta perempuan mencapai nilai tinggi. TINGKAT 3 – PERUBAHAN SIKAP DAN PERILAKU Evaluasi tingkat tiga atas program BET adalah tentang perubahan perilaku. Pertanyaan intinya dalah: Bagaimana kebiasaan kerja dan perilaku peserta berubah berkat pelatihan? Training participants’ derived findings from self-assessments during the field visit survey. Relasi Gender dan Implementasi Pelatihan Persoalan tentang relasi gender dibahas secara terpisah antara kelompok peserta laki-laki dan perempuan dengan materi yang sama; total jumlah responden adalah 46, 23 laki-laki dan 23 perempuan. Jawaban bervariasi, namun tidak jauh berbeda antara kedua kelompok. Secara umum, hasil diskusi tentang persoalan gender adalah sebagai berikut: 1. 61% responden perempuan merasa mereka mampu bekerja di lapangan dengan laki-laki, dan 70% responden laki-laki merasa bisa bekerja dengan perempuan. BAGAN 17 RELASI GENDER – PERSPEKTIF PEREMPUAN
Relasi Gender - Perspektif Perempuan
doubt 9%
enough 30%
feel very workable with male 61%
Page 40
Monitoring dan Evaluasi Pelatihan Barefoot Engineer BAGAN 18 RELASI GENDER – PERSPEKTIF LAKI-LAKI
Relasi Gender - Perspektif Laki-laki
enough 30%
very workable with female 70%
2. Tentang kesetaraan gender, 57% responden perempuan dan 61% responden laki-laki merasa kesetaraan gender lebih sedikit diterapkan dan dipertimbangkan dalam program pelatihan. BAGAN 19 RESPON PEREMPUAN TENTANG KESETARAAN GENDER DALAM IMPLEMENTASI PELATIHAN
Respon tentang Kesetaraan Gender dalam Implementasi Pelatihan
Applied 43%
Less applied 57%
Page 41
Monitoring dan Evaluasi Pelatihan Barefoot Engineer BAGAN 20 RESPON LAKI-LAKI TENTANG KESETARAAN GENDER DALAM IMPLEMENTASI PELATIHAN
Respon Laki-laki Tentang Kesetaraan Gender dalam Implementasi Pelatihan
Applied 39%
Less applied 61%
3. Tentang materi pelatihan gender, 52% responden perempuan dan 61% responden laki-laki menyatakan bahwa gender diterapkan cukup baik selama pelatihan. 9% responden perempuan dan 4% responden laki-laki masih merasa kurang tentang materi yang dipresentasikan tentang pelatihan kesetaraan gender. BAGAN 21 RESPON PEREMPUAN TENTANG MATERI GENDER
Respon Perempuan tentang Materi Gender
Less 9% Good 39% Good enough 52%
Page 42
Monitoring dan Evaluasi Pelatihan Barefoot Engineer BAGAN 22 RESPON LAKI-LAKI TENTANG MATERI GENDER
Respon Laki-laki tentang Materi Gender Less 4%
Good enough 61%
Good 35%
Page 43
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
BAB 5: KESIMPULAN DAN REKOMENDASI Kesimpulan Tabel berikut merangkum studi lacak BET I dan II: TABEL 6 RANGKUMAN PENILAIAN MONITORING DAN EVALUASI
Aspek Implementasi Proyek
Rating
Hasil dan Pencapaian
S
Relevansi
S
Efektivitas
S
Keberlanjutan
MS
Sebagaimana dipaparkan pada bab-bab sebelumnya, Proyek BET I dan II telah berkinerja dengan memuaskan pada implementasi proyek dan memuaskan sedang dalam hasilnya selama proyek berjalan. Masih ada ruang perbaikan untuk pencapaian yang lebih tinggi dalam kegiatan penyegaran berikutnya. Tabel berikut ini merangkum imeplementasi pelatihan BET III: TABEL 7 RANGKUMAN PENILAIAN IMPLEMENTASI PELATIHAN BET III
Aspek Implementasi Proyek
Rating
Hasil dan Pencapaian
HS
Relevansi
HS
Efektivitas
S
Keberlanjutan
MS
Untuk implementasi pelatihan BET III, kami membutuhkan lebih banyak waktu lagi untuk melihat keberlanjutan dari proses yang tengah berjalan. BET III telah berkinerja memuaskan dalam efektifitas proyek berkat diterimanya lulusan BET oleh PNPM.
Page 44
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Rekomendasi • Efektivitas penentuan sasaran. Mengembangkan kriteria seleksi pserta pelatihan, misalnya, profesi, pengalaman, tanggung jawab dan komitmen jangka panjang; Menimbang untuk memperbaiki komposisi gender peserta; Menetapkan jumlah peserta pelatihan yang optimal untuk setiap latihan dan memastikan bahwa upaya implementasi mencapai hal ini. • Pada tingkat kebijakan, manajemen BET mungkin perlu mengkaji lebih lanjut kebutuhan staf dan persoalan remunerasi institusi PNPM untuk memperbaiki turnover para lulusan pada lembaga ini. Turnover adalah persoalan umum di antara para lulusan BET I dan II karena persoalan remunerasi yang rendah. Maka akan sangat baik apabila BET berikutnya juga memasukkan kebutuhan staf dan informasi tentang remunerasi selama proses perekrutan. • Walau pengarusutamaan gender tampak semakin mengakar selama pelatihan, penting agar langkar afirmatif ini diteruskan ke depan. Pengarusutamaan gender tidak hanya diterapkan selama pelatihan, namun juga harus diidentifikasi di lapangan selama penugasan dan kebudayaan lokal. [but also should identify on the field of assignments and local culture.] • Menyelenggarakan pelatihan spesifik-provinsi. Hal ini akan meningkatkan efektivitas dalam hal alih pengetahuan, dan sesudahnya dalam hasil yang didapat dengan mendekatkan pelatihan kepada realita sesungguhnya di provinsi dimaksud. • Efektivitas pembelajaran dan pengembangan rencana aksi. Memperbaiki materi pembelajaran – kecukupan, kemudahan penggunaan, dan kemudahan penerapan; Memperbaiki proses pembelajaran – keseimbangan antara teori, kerja lapangan dan visualisasi; Memasukkan sesi pengembangan rencana aksi khusus untuk peserta pelatihan pada akhir pelatihan, yakni, mengubah pembelajaran menjadi rencana aksi. • Proses pembelajaran partisipatif. Penataan ruangan harus disesuaikan berdasarkan subyek pelatihan dan jumlah peserta di setiap kelas. Pertimbangan penataan ruangan ini harus berfokus pada proses pembelajaran dan perbaikannya.
Page 45
Monitoring dan Evaluasi Pelatihan Barefoot Engineer BAGAN 23 PENATAAN RUANGAN YANG MENDORONG PARTISIPASI DAN MEMPERBAIKI PEMBELAJARAN
• Manajemen BET perlu memasukkan rencana evaluasi yang melibatkan evaluasi Tingkat 1 – 3 BaKTI perlu meninjau kembali rencana evaluasi dan memutuskan apakah organisasi staf pelatihan mampu mengimplementasikannya atau apakah perlu dikelola oleh ahli luar (misalnya, akademisi, konsultan). Dalam rencana evaluasi, BaKTI perlu menunjukkan bahwa ia mampu mendapatkan komitmen lembaga asal para peserta pelatihan untuk bekerja sama sesuai syarat-syarat evaluasi. Evaluasi Tingkat I diperlukan untuk menunjukkan tanggapan segera dan kepuasan para peserta akan pelatihan. Evaluasi Tingkat 2 diperlukan – dan bilamana mungkin didasarkan pada pelatihan yang mengupayakan transfer pengetahuan, keterampilan, atau perubahan sikap – untuk menunjukkan bahwa (1) kursus sudah diikuti oleh peserta yang tepat, dan (2) mereka belajar atau mengubah sikapnya. Tujuan test Tingkat 2 adalah untuk mengupayakan pencapaian tertinggi taksonomi pembelajaran Bloom9. Evaluasi Tingkat 3 perlu menjadi persyaratan dengan melibatkan sampel peserta dalam jumlah yang signifikan. Sekurang-kurangnya, informasi harus didapat dari pengawas peserta enam bulan setelah pelatihan untuk menilai seberapa jauh para peserta pelatihan menggunakan pembelajaran yang didapat dari pelatihan pada pekerjaan. Sementara bukan menjadi persyaratan karena kerumitan dan tantangan yang ada, BaKTI mengusulkan bahwa evaluasi Tingkat 4 perlu diprioritaskan dalam keputusan 9 seeBloom, B. S., Englehart, M. D., Frust, E. J., Hill, W. H., & Krathwohl, D. R. (1956). A taxonomy of education objectives: Handbook I, the cognitive domain. New York: McKay.
Page 46
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
pendanaan. • Unit Implementasi Proyek harus memasukkan kursus rintisan (pilot) sebelum diimplementasikan di lapangan. Uji rintisan harus dideskripsikan dalam rencana pelatihan. Uji rintisan yang rinci barangkali adalah langkah terpenting dalam proses pengembangan pelatihan – maka ia harus dilakukan dengan baik. • Perangkat untuk memantau pencapaian para lulusan harus dikembangkan oleh manajemen BET dan diperkenalkan di seluruh negeri sebagai pendekatan sistematis (yakni, menjalankan studi lacak setiap 2-3 tahun) Hal ini tidak hanya akan menjadi perangkat untuk mengukur hasil, melainkan alat yang penting untuk promosi dan pengembangan institusi. Studi semacam ini harus melacak kembali lulusan yang sama setidaknya sekali untuk mengikuti perkembangan karir mereka. Studi juga harus berfokus mewawancara para pemberi kerja untuk menilai tingkat kepuasan mereka tentang kompetensi para lulusan dan kinerja/kemajuan mereka. Manajemen BET/BaKTI perlu bertanggung jawab menyelenggarakan dan mengkoordinasi studi semacam ini dan merangkum hasilnya. • Implementasi studi lacak lulusan harus menjadi tugas yang normal (wajib) manajemen BET/BaKTI. Database yang lengkap dan diperbaharui secara sistematis tentang para murid dan lulusan (dengan segala detailnya) harus dibuat tidak hanya untuk memudahkan survey serupa di masa depan, namun juga untuk memperbaiki sistem manajemen informasi BET secara umum. BaKTI perlu bertanggung jawab untuk mendukung dan mengkoordinasi kegiatan semacam ini serta menganalisis kebutuhan PNPM Perdesaan/Respoek terkait dengan kualifikasi yang ditawarkan. • BaKTI perlu diharuskan untuk menawarkan sistem perbantuan teknis susulan (follow up technical assistantship) untuk mendukung proses pembelajaran yang berjalan. BaKTI perlu menawarkan semacam follow up yang terorganisasi untuk pertanyaan para peserta pelatihanan melalui email atau situs web. Para pelatih harus didorong dan dibayar untuk menjawab pertanyaan lanjutan sebagai bagian dari tanggung jawab pelatihan mereka. Dalam salah satu proyek yang dievaluasi, banyak peserta berkomentar bahwa hal ini akan menjadi tambahan yang akan sangat membantu bagi pelatihan. Bantuan teknis lanjutan akan secara khusus berharga ketika kursus pelatihan juga memiliki kegiatan pengembangan dan implementasi. Rekomendasi lainnya adalah untuk membentuk sistem online (mailing list atau database telepon yang terbaru) yang akan memungkinkan para peserta
Page 47
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
pelatihanan untuk saling berhubungan, termasuk dengan para pelatihnya. • Pengembangan sistem database lulusan BET perlu dipadukan ke dalam database PNPM Perdesaan/Respek. Database lulusan adalah hal yang vital untuk menjaga hubungan antara pelatihan BET dan keterampilan yang disyaratkan oleh PNPM Perdesaan/Respek atau organisasi potensial lainnya. BAGAN 24 RERANGKA DAN BASIS UNTUK PEREKAMAN DATA LULUSAN DAN KEMUNGKINAN PENGGUNAANNYA
Perencanaan dan
pengembangan
SDM
Gudang data tentang studi lanjutan dan pekerjaan, karir dan mobilitas lulusan
Perbaikan terus-‐ menerus dalam pencocokan keterampilan
Feedback tentang proyek BET
Data dan informasi dari lulusan, pelatih dan PNPM Perdesaan/ Respek
Menginformas ikan berbagai pemangku kepentingan
Tujuan dan pengguna database ini menentukan persyaratan perangkat lunak dan kapasitas host untuk memeliharanya. Dalam hal ini, database akan digunakan untuk: 1.
Merekam informasi pribadi para lulusan dan status pekerjaan mereka;
2.
Penggunaan data untuk analisis dan menyusun laporan untuk perencanaan dan informasi bagi
berbagai pemangku kepentingan; 3.
Melacak para lulusan dan mengkaji dampak pelatihan;
4.
Menjadi titik kontak antara para lulusan dan PNPM Perdesaan/Respek;
Database tersebut perlu memiliki administrator yang akan memelihara dan mengubahnya sesuai dan ketika dibutuhkan. Sistem Manajemen Database adalah program piranti lunak yang akan memungkinkan penciptaan dan manajemen database. Secara umum, database ini akan lebih rumit ketimbang berkas teks atau lembar spreadsheet. Dan memang sebagian besar sistem database hari ini disebut sebagai Sistem Manajemen Database Relasional karena kemampuannya menyimpan data lintas tabel yang jamak. Ada dua jenis database, yakni apa yang disebut Desktop Database dan Server Database. Desktop Database Page 48
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
disebut demikian karena dioperasikan dari komputer desktop. Solusi yang ditawarkan relatif tidak mahal dan sederhana daripada sistem penyimpanan data yang tidak begitu kompleks dan persyaratan manipulasi data. Contoh desktop database adalah Microsoft Access, Filemaker Pro, dll. Desktop database tidak begitu cocok untuk persyaratan database BET. Sedangkan server database memungkinkan suatu organisasi mengelola sejumlah besar data secara lebih efisien dan dalam cara yang memungkinkan banyak pengguna mengakses dan memutakhirkan data secara simultan. Manfaat yang ditawarkan server database adalah keleluasaan, kinerja yang kuat dan kemampuan untuk diperbesar (scalability). Contoh Server Database adalah Microsoft SQL Server, Oracle dan IBM DB2. Server database lebih cocok untuk persyaratan database BET. Server databases yang paling umum digunakan adalah Microsoft SQL Server 2000 dan Oracle. Persyaratan piranti keras untuk database semacam ini diperbandingkan dalam tabel di bawah. Microsoft SQL Server 2000 dianggap sebagai yang paling mudah untuk dipasang dan dikelola, namun hanya dapat menampung 50 akses simultan. Apabila diakses lebih dari 50 pengguna secara simultan, akan terjadi degradasi kinerja yang besar. Oracle 9i dapat menangani lebih banyak akses simultan dan mendukung lebih banyak fitur database. Ia adalah yang terdepan untuk aplikasi skala besar. TABEL 8 KEBUTUHAN PIRANTI KERAS UNTUK ORACLE 9I DAN MICROSOFT SQL SERVER 2008 Kebutuhan Piranti Keras Oracle 9i Microsoft SQL Server 2008 (Hardware) Processor RAM Hard Drive
RAM Hard Drive Platform Maximum Simultaneous Access
Intel or compatible platforms Pentium 166 MHz processor or higher 256 MB 140 MB (System Drive) plus 4.5 GB (FAT) or 2.8 GB (NTFS) Unix Systems 512 MB 4.5 GB Supports all known platforms More 50
Intel or compatible platforms Pentium 166 MHz processor or higher 128 MB 270 MB (Full Installation)
Only Windows-based platforms Up 50
Dari perbandingan di tabel di atas, tampak jelas bahwa Oracle 9i berkinerja lebih baik dibandingkan Microsoft SQL server 2000. Mengingat bahwa BET memerlukan sejumlah besar murid untuk mengakses database untuk memperbarui profil mereka setiap enam bulan, akan perlu kemampuan akses simultan yang besar. Maka karena keunggulan Oracle 9i dan mengingat persyaratan BET, Oracle 9i Database Management System sangat direkomendasikan. TABEL 9 PERBANDINGAN ANTARA ORACLE 9I DAN MICROSOFT SQL SERVER 2008 Oracle 9i Microsoft SQL Server 2008 Technical Economic Operational Performance Availability Security
√ √ √ √ √
√ √
√
Page 49
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
BAB 6: PEMBELAJARAN Pelajaran yang dipetik berikut ditujukan kepada BaKTI yang mengembangkan dan menyampaikan pelatihan BET III. Berikut adalah beberapa pelajaran dari proyek ini yang dapat membantu implementasi pelatihan Barefoot Engineer. • Mengembangkan sasaran yang jelas, terukur, dan bermakna. Sasaran pembelajaran adalah landasan bagi suatu pelatihan dan merupakan fokus evaluasi ini. Konten kursus dirancang untuk memenuhi sasaran pembelajaran ini. BaKTI [perlu] mengambil waktu untuk menyusun dengan matang sasaran pembelajaran ini. Tiap kata di dalam rumusan pernyataan sasaran adalah penting. Pernyataannya jelas dan bermakna. Para pelatih dan manajemen proyek telah mengajarkan sesuai sasaran dan sudah melakukan pemeriksaan ulang untuk memastikan bahwa mereka mengajarkan sesuai sasaran. • Memastikan bahwa pelatihan dikembangkan menggunakan prinsip pembelajaran
dewasa. BaKTI memliki niat terbaik menggunakan prinsip-prinsip pembelajaran dewasa, namun sering mendapati dirinya dalam situasi keterbatasan waktu dan sumber daya dan kembali menggunakan cara pelatihan kelas standar. Prinsip pembelajaran dewasa sudah menjadi praktik standar dalam pelatihan Barefoot Engineer III. • Mengevaluasi pelatih dan mendorong mereka untuk mengembangkan
keterampilan fasilitasi. Ada kecenderungan unit manajemen pelatihan untuk menggunakan praktisi berpengalaman yang sudah pernah menyampaikan pelatihan kepada lembaga mereka, atau lembaga lain, untuk memberi pelatihan Barefoot Engineer ini. Banyak dari pelatih ini, walau berpengetahuan dan berpengalaman, kadang tidak memiliki keterampilan fasilitasi yang sudah berkembang. Bahkan bagi pelatih terbaik sekaligus ada baiknya mendapatkan pendidikan tambahan untuk mengembangkan dan menyempurnakan keterampilan fasilitasinya. Dalam program BET III, unit manajemen proyek mengembangkan dan menyampaikan modul tentang keterampilan fasilitasi kepada semua calon pelatih. Pelatih selalu dievaluasi dari survey reaksi murid dan unit manajemen proyek selalu memastikan bahwa para instruktur menyadari kriteria rating yang digunakan. • BaKTI
mengembangkan
penilaian
kebutuhan
dan
rencana
pelatihan
yang
komprehensif sebelum dana pelatihan diterima.
Page 50
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Istilah “reinventing the wheel” sudah menjadi terlalu umum dalam pelatihan, yang mungkin merupakan duplikasi pelatihan lain yang diberikan di tempat lain. Dari pengalaman BET III, rencana pelatihan dikembangkan sebelum dana diterima dan memberi organisasi pelatihan [peluang] mendokumentasikan rencana komprehensif untuk mengelola dan mendukung upaya pelatihan ini. Rencana pelatihan merinci kriteria seleksi yang digunakan oleh penyelenggara pelatihan untuk merekrut peserta pelatihan.
Page 51
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
LAMPIRAN
Kerangka Acuan Kerangka Acuan untuk Monitoring dan Evaluasi Independen BAREFOOT ENGINEER TRAINING III Latar Belakang Pada tahun 2008, RESPEK diintegrasikan dengan PNPM Perdesaan. PNPM Perdesaan/RESPEK adalah salah satu dari sedikit program pemerintah yang mampu melibatkan komunitas di seantero provinsi Papua dan Papua Barat dan telah menghantarkan manfaat yang nyata kepada mereka. Implementasi PNPM Perdesaan/RESPEK cukup menantang akibat keterpencilan dan keragaman budaya dan etnis yang tinggi di kedua provinsi, serta kekurangan kronis fasilitator yang berkualifikasi, khususnya sarjana teknik. Program ini membutuhkan sekitar 560 fasilitator teknis di kedua provinsi, namun hanya mampu mengisi sekitar setengah dari posisi yang ada. Di tahun-tahun sebelumnya, orang-orang yang direkrut sering berasal dari luar Papua namun akan pergi tidak lama kemudian karena beratnya kondisi kerja. Guna mengatasi tantangan ini, Pemerintah, dengan bantuan Fasilitas Pendukung PNPM (PSF) telah merancang program khusus yang disebut Barefoot Engineers (Insinyur Tanpa Alas Kaki). Dua pelatihan pertama telah berhasil dilaksanakan dengan baik pada tahun 2002 dan 2009, dan putaran ketiga pelatihan ini kini tengah dijalankan dengan sasaran untuk melatih 300 lulusan dan mengisi lowongan fasilitator di Papua dan Papua Barat. Peserta pelatihan biasanya memiliki latar belakang pendidikan Sekolah Menengah Atas (SMA) dengan jurusan ilmu pasti, Sekolah Menengah Kejuruan (SMK) dengan jurusan Bangunan, Diploma III Teknik Sipil, atau Sekolah Menengah Atas (SMA) dengan jurusan sosial. Mengingat bahwa para peserta pelatihan adalah lulusan sekolah menengah atas, Pelatihan Barefoot Engineers ini dirancang dengan pendekatan langsung dan sederhana agar pelajaran mudah diserap oleh peserta. Salah satu capaian penting pelatihan adalah untuk memberi anak muda Papua peluang untuk meningkatkan pendidikan mereka dan membuat kontribusi pada pembangunan di Papua, baik di PNPM maupun di luar program. Lingkup Penugasan Penugasan konsultan ini memliki dua komponen terpisah: 1. Studi Lacak atas para lulusan Barefoot Engineer Training I & II: dengan bantuan UnCEN dan PMD konsultan akan menyusun daftar lengkap semua lulusan dan melacak keberadaan mereka. Konsultan akan menentukan apakah para alumni (terpilah sesuai gender) bekerja untuk PNPM (dalam kapasitas apa) atau memiliki pekerjaan lain di Papua (pemerintah, NGO, swasta, dll). Jika lulusan telah meninggalkan Papua, konsultan akan mencatat lokasinya saat ini dan jenis pekerjaannya [di luar] Papua (pemerintah, NGO, swasta, dll). Tentukan bagaimana pelatihan Barefoot Engineer telah membantu para lulusan mendapatkan pekerjaan. Catat segala usulan dari
Page 52
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
2.
para lulusan untuk perbaikan program. Wawancara para barefoot engineer tentang kondisi kerja di PNPM Perdesaan dan rekomendasi untuk perbaikan. Evaluasi untuk menilai efektivitas Barefoot Engineers III. Konsultan akan meninjau metodologi dan kurikula pelatihan, evaluasi pelatih bulanan, dan menggunakan feedback dari para pelatih dan murid untuk membuat rekomendasi bagaimana memperbaiki pelatihan. Ini akan memperhitungkan apakah pendekatan dan materi saat ini sudah sesuai dengan latar belakang pendidikan para murid dan persyaratan kerja. Para konsultan akan mencari rekomendasi dari peserta pelatihan perempuan tentang bagaimana membuat pelatihan ini lebih cocok untuk mereka.
Rentang Waktu Konsultan akan dikontrak untuk jangka waktu singkat selama 45 hari antara 15 Februari sampai 31 maret 2013. Lokasi: Papua dan Papua Barat Tanggung Jawab Spesifik 1. Presentasi metodologi, panduan wawancara, template pelaporan diajukan dan rencana kerja di awal penugasan 2. Presentasi berdasarkan temuan dan rekomendasi awal (draft laporan) 3. Laporan Akhir
Page 53
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Pertanyaan Evaluasi A Melacak Lulusan Pelatihan Barefoot Engineer I & II No
B
Pertanyaan Kunci
Tujuan
Metode Pengumpulan Data Desk study
1
Lulusan Pelatihan Barefoot Engineer I dan II
Mencatat keberadaan semua lulusan
2
Kerja di Papua dan Papua Barat
Desk study
3
Meninggalkan Papua dan Papua Barat
4
Mendapatkan pekerjaan
Merinci kerja lulusan di Papua: - kerja untuk PNPM (dalam kapasitas apa), - pekerjaan lain (pemerintah, NGO, swasta, dll.) Merinci lulusan yang meninggalkan Papua: - lokasi saat ini, - jenis pekerjaan (pemerintah, NGO, swasta, dll. Mendapatkan pekerjaan: - rekomendasi lain, - keunggulan dalam kompetisi.
5
Usulan lulusan untuk perbaikan Barefoot Engineer Training,
6
Kondisi pekerjaan di PNPM dan rekomendasi untuk perbaikan kapasitas mereka.
Usulan perbaikan: - manajemen pelatihan, - kurikulum dan silabus, - metode pembelajaran, - mekanisme perekrutan. Kondisi Lulusan BET I & II di PNPM: - bimbingan/mentoring upper line, - penerimaan fasilitator berkala, - standardisasi kapasitas dengan fasilitator reguler Rekomendasi untuk perbaikan kapasitas
Responden Kunci
Keluaran
LPM-UnCen, BPMK, Koordinator Provinsi Koordinator Provinsi PPIU (Satker)
Daftar semua lulusan BET I & II
Desk study
PPIU Kabupaten (Satker)
Daftar Fasilitator (Papua dan Papua Barat)
Wawancara mendalam
Lulusan I & II
Laporan wawancara lulusan BET I & II
Wawancara mendalam
Lulusan I & II
Laporan wawancara lulusan BET I & II
Wawancara mendalam
Lulusan I & II
Laporan wawancara lulusan BET I & II
Daftar Fasilitator (Papua dan Papua Barat)
Efektivitas Pelatihan Barefoot Engineer III No 8
Pertanyaan Kunci Feedback rekomendasi perbaikan pelatihan
Tujuan Feedback dari pelatih: - manajemen pelatihan, - kurikulum dan silabus, - metode pembelajaran, - mekanisme perekrutan, - masalah kedisiplinan Feedback dari murid: - manajemen pelatihan, - kurikulum dan silabus, - metode pembelajaran, - mekanisme perekrutan, - layanan pembelajaran, - layanan kesehatan, - kecukupan alat dan media, - pasokan air dan sanitasi - masalah kedisiplinan Feedback dari tim manajemen BET - manajemen pelatihan, - kurikulum dan silabus, - metode pembelajaran, - mekanisme perekrutan, - layanan pembelajaran, - layanan kesehatan, - kecukupan alat dan media,
Metode Pengumpulan Data FGD
Responden Kunci Pelatih, peserta pelatihanan, tim manajemen BET
Keluaran Laporan FGD
Page 54
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
9
Kesesuaian pendekatan dan materi dengan latar belakang pendidikan dan persyaratan kerja,
10
Kecukupan ruang kelas dan pelatihan lapangan,
11
Feedback rekomendasi untuk membuat pelatihan lebih layak untuk peserta pelatihan perempuan.
- pasokan air dan sanitasi - masalah kedisiplinan Pendekatan dan materi pelatihan untuk: - SMA IPA, - SMK Teknik Bangunan, - D-3 Teknik Sipil, - SMA IPS, - kompetensi pemberdayaan komunitas, - kompetensi konstruksi infrastruktur, - kompetensi kepekaan gender. Menghitung jumlah: - Ruang kelas dan pembelajaran lapangan. Feedback dari peserta perempuan: - Keseimbangan gender (peserta pelatihan dan pelatih) - Fasilitas pendukung (kamar mandi, kamar tidur, regulasi, materi berbasis gender). Feedback dari tim manajemen BET - Keseimbangan gender (peserta pelatihan dan pelatih) - Fasilitas pendukung (kamar mandi, kamar tidur, regulasi, materi berbasis gender).
FGD, wawancara mendalam
Pelatih, tim manajemen BET, koordinator provinsi
Laporan FGD dan wawancara
FGD, wawancar amendalam
Pelatih, tim manajemen BET
FGD
Peserta pelatihan perempuan, tim manajemen BET
1. Kurikulum, jadwal pembelajaran 2. Laporan bulanan dan FGD Laporan FGD
Page 55
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Diskusi Kelompok Terfokus (FGD) dan Panduan Wawancara FGD di Kelompok Perempuan (10 Orang) Pendahuluan (5 menit) FGD dibuka dengan perkenalan resmi para fasilitator dan pencatat. hal ini menetapkan peran dan tanggung jawab masing-masing kelompok dan membantu para peserta melihat kepemimpinan fasilitasi dari berbagai perspektif ketimbang sebagai kolega atau teman. Pemanasan Untuk memastikan agar FGD dimulai dalam suasana yang tidak mengancam dan bahwa peserta nyaman dengan sesama dan dengan para fasilitator. Latihan dirancang untuk memikat pandangan yang berbeda dengan menggunakan pernyataan yang provokatif untuk memancing diskusi di antara anggota kelompok,. Komentar yang dibuat oleh anggota FGD kemudian digunakan untuk mengilustrasikan bahwa orang yang berbeda membawa perspektif yang berbeda pada suatu diskusi, berdasarkan latar belakang dan pengalaman masing-masing. Penjelasan tentang aturan dasar: (5 menit) Mengambil beberapa menit untuk menjelaskan aturan dasar sesi untuk menetapkan ekspektasi perilaku kelompok. Penting untuk secara khusus menekankan persoalan kepercayaan/kerahasiaan, agar peserta merasa nyaman untuk mengekspresikan dirinya tanpa khawatir akan konsekuensi pribadi. Aturan dasar umum adalah: · Menjaga kepercayaan (confidentiality) · Berpartisipasi sebanyak mungkin · Menanyakan banyak pertanyaan · Berusaha untuk tidak menginterupsi · Mensunyikan telepon genggam Tanya Jawab: (30 Menit) Pertanyaan1: Apa saja perbedaan utama yang anda amati antara laki-laki dan perempuan ketika kerja bersama? -
Menurut anda, apakah ini merupakan cerminan yang akurat tentang situasi pelatihan ini? Mengapa demikian atau mengapa tidak demikian? Menjadi pemain tim dan pekerja keras dianggap sebagai karakteristik sangat penting bagi seorang “pekerja keras” dalam PNPM RESPEK-FACILITATOR. Bagaimana anda memahami definisi pekerja keras? Bagaimana anda memahami definisi pemain tim? Apakah lebih berat bagi perempuan atau bagi lakilaki untuk bekerja dalam cara ini?
Page 56
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Pertanyaan 2: Dalam PELATIHAN ini siapa yang bertanggung jawab menjamin capaian kesetaraan gender DALAM: - 1) penyusun program - 2) bidang lain: sumber daya manusia (peserta, pelatih, atau perekrutan unit implementasi proyek)? Personel? - 3) hanya peserta Pertanyaam 3: Apa saja kekuatan pendekatan gender SAAT INI oleh MANAJEMEN Pelatihan DALAM? 1) Pelatihan 2) Manajemen Pertanyaan 4: APA SAJA kelemahan pendekatan gender SAAT INI oleh MANAJEMEN Pelatihan DALAM? 1) Pelatihan 2) Manajemen
Rangkuman Akhir (10 menit) Tinjau kembali poin-poin utama yang muncul selama diskusi menggunakan catatan dari flip chart. - Tanyakan apabila rangkuman akhir sudah secara akurat mencerminkan pernyataan kelompok - Tanyakan apakah ada komentar lain Ucapkan terima kasih kepada semua dan ceritakan tentang langkah berikutnya setelah FGD
FGD dalam Kelompok Campuran (Laki-laki dan Perempuan) Pendahuluan (5 menit) FGD dibuka dengan perkenalan resmi para fasilitator dan pencatat. hal ini menetapkan peran dan tanggung jawab masing-masing kelompok dan membantu para peserta melihat kepemimpinan fasilitasi dari berbagai perspektif ketimbang sebagai kolega atau teman Pemanasan Untuk memastikan agar FGD dimulai dalam suasana yang tidak mengancam dan bahwa peserta nyaman dengan sesama dan dengan para fasilitator. Latihan dirancang untuk memikat pandangan yang berbeda dengan menggunakan pernyataan yang provokatif untuk memancing diskusi di antara anggota kelompok,.
Page 57
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Komentar yang dibuat oleh anggota FGD kemudian digunakan untuk mengilustrasikan bahwa orang yang berbeda membawa perspektif yang berbeda pada suatu diskusi, berdasarkan latar belakang dan pengalaman masing-masing. Penjelasan tentang aturan dasar: (5 menit) Mengambil beberapa menit untuk menjelaskan aturan dasar sesi untuk menetapkan ekspektasi perilaku kelompok. Penting untuk secara khusus menekankan persoalan kepercayaan/kerahasiaan, agar peserta merasa nyaman untuk mengekspresikan dirinya tanpa khawatir akan konsekuensi pribadi. Aturan dasar umum adalah: · Menjaga kepercayaan (confidentiality) · Berpartisipasi sebanyak mungkin · Menanyakan banyak pertanyaan · Berusaha untuk tidak menginterupsi · Mensunyikan telepon genggam Tanya Jawab: (60 Menit) Kelompok Campuran akan menggambarkan kultur organisasi Barefoot III menggunakan metode terkenal “Culture Walk”. Metode ini memperkenalkan satu cara untuk mengamati budaya dalam organisasi dengan berjalan di sekeliling gedung dan memerhatikan tanda-tanda fisik suatu budaya. Beberapa pertanyaan yang perlu dijawab oleh kleompok ini, antara lain: •
Bagaimana ruangan dialokasikan? Di mana saja lokasi kantor?
•
Berapa banyak ruang yang diberikan kepada orang mana saja? Di mana saja orangorang berlokasi?
•
Apa yang tertulis dalam peraturan, berita atau buletin yang dipajang di dinding?
•
Apa saja yang dipajang di atas meja atau di tempat-tempat lain di gedung? Dalam kelompok kerja? Di locker atau lemari?
•
Bagaimana areal umum digunakan?
•
Pesan apa saja yang ditulis kepada satu sama lain? Apa nada pesan tersebut (formal atau informal, bersahabat atau bermusuhan, dll.)? Seberapa sering orang-orang berkomunikasi satu sama lain? Apakah semua komunikasi tertulis, ataukah orangorang berkomunikasi secara verbal?
•
Interaksi apa yang anda amati antar pelatih? Bagaimana emosi diekspresikan selama interaksi tersebut?
Page 58
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Pertanyaan 1: Apa saja perbedaan utama yang anda amati antara laki-laki dan perempuan ketika kerja bersama? -
Menurut anda, apakah ini merupakan cerminan yang akurat tentang situasi pelatihan ini? Mengapa demikian atau mengapa tidak demikian? Menjadi pemain tim dan pekerja keras dianggap sebagai karakteristik sangat penting bagi seorang “pekerja keras” dalam PNPM RESPEK-FACILITATOR. Bagaimana anda memahami definisi pekerja keras? Bagaimana anda memahami definisi pemain tim? Apakah lebih berat bagi perempuan atau bagi lakilaki untuk bekerja dalam cara ini?
Question 2: Dalam PELATIHAN ini siapa yang bertanggung jawab menjamin capaian kesetaraan gender DALAM: - 1) penyusun program - 2) bidang lain: sumber daya manusia (peserta, pelatih, atau perekrutan unit implementasi proyek)? Personel? - 3) hanya peserta
Pertanyaan 3: Apa saja kekuatan pendekatan gender SAAT INI oleh MANAJEMEN Pelatihan DALAM? 1) Pelatihan 2) Manajemen
Pertanyaan 4: APA SAJA kelemahan pendekatan gender SAAT INI oleh MANAJEMEN Pelatihan DALAM? 1) Pelatihan 2) Manajemen
Rangkuman Akhir (10 menit) Tinjau kembali poin-poin utama yang muncul selama diskusi menggunakan catatan dari flip chart. - Tanyakan apakah rangkuman sudah secara akurat mencerminkan pernyataan kelompok - Tanyakan apabila ada komentar-komentar lain
Page 59
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Ucapkan terima kasih dan jelaskan mengenai langkah berikutnya setelah FGD. Panduan Wawancara Mendalam (20 menit) Pertanyaan yang diajukan -
Berdasarkan apa yang sudah didiskusikan, langkah apa saja yang diperlu ambil untuk memperdalam komitmen untuk mencapai kesetaraan gender dalam penyusunan program pelatihan ini? Langkah apa saja yang perlu diambil untuk meningkatkan keterampilan teknis? Langkah apa saja yang perlu diambil untuk meningkatkan kesetaraan gender dalam manajemen Barefoot Training? Di antara langkah-langkah ini mana yang paling penting?
Rangkuman Akhir (10 menit) - Tanyakan apabila ada komentar tambahan Ucapkan terima kasih dan jelaskan mengenai langkah berikutnya setelah wawancara.
Page 60
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
Daftar Responden No 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29
Lembaga Uncen Satker BPMK Satker BPMK KM Prov KM Prov KM Prov Pengelola BET Pengelola BET Instruktur Instruktur Instruktur Instruktur Instruktur Instruktur Instruktur Instruktur Instruktur Instruktur Instruktur Instruktur Instruktur Satker BPMK Provinsi Pabar Satker BPMK Provinsi Pabar KM Provinsi Papua Barat KM Provinsi Papua Barat PJO Kab. Manokwari PJO Kec. Mansel Pendamping Kab. Manokwari Pendamping Kab. Manokwari
Nama Otniel Safkaur (Otis) Bp. Donatus Mote Nila Bp. Adi Betel Bp. Towilan Bp. Radhi S Ib. Dewi Ib Sylvie Bp. Anang Widodo Bp. Sigit Hardiyanto Bp. Suparto Legowo Bp. Sapto Heru Bp. Nur Roziqin Bp Srie Adhy Djaka Umarjanta Bp. Agustinus Harefa Ib. Agustin Bp. Dwi Hadi P. Bp. Haryadi Bp. Alwi Basori Bp. Hendri Suprapto Bp. Hilal Ahmari
Catatan
Jayapura
Bp. Yance Samon Sadra Bp. Agus Kurniawan
Manokwari
Bp. Wawan Heryawan Bp. Kristinov Bp. Harjanto Ombesapu Bp.Agustinus Maniani
Manokwari Manokwari Selatan
Bp. Petrus Sabubun
Manokwari
Bp. Baso Irman
Manokwari
Page 61
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62
Graduates BET I Graduates BET II Graduates BET II Graduates BET II Graduates BET II Graduates BET II Graduates BET II Graduates BET III Graduates BET III Graduates BET III Graduates BET III Graduates BET III PJO Kab. Sorong PJO Kec. Aimas Pendamping Kab. Sorong Pendamping Kab. Sorong Pendamping Kab. Sorong Graduates BET I Graduates BET III Graduates BET III Graduates BET III Graduates BET III Graduates BET III Graduates BET III Graduates BET III TPKD Aimas TPKD Aimas Graduates BET I aktif Graduates BET I aktif Graduates BET I tidak aktif Graduates BET I tidak aktif Graduates BET I tidak aktif Graduates BET I tidak aktif
Tetty H. Kadja Antomina Ayamisebu Rikson Demi Jeffri Yan Setia Iryanto Matini Stefanus Rumbobiar Adolf Fonataba Dominggus PZ Muray Daud Pamangin Edi Rumamba Eko Harmawanto Feronika M Mansim Bp. Iskandar Bp. Nurochim
Papua Barat Papua Barat Papua Barat Papua Barat Papua Barat Papua Barat Papua Barat Papua Barat Papua Barat Papua Barat Papua Barat Papua Barat
Bp. Jefrry S. Kareth Ib. Ajeng Parastuti Ib. Helena Rosely Agustina Kalami Ismawati Gerson Felix AP Gerson Mersua Suparno Rolly Soputan Rolland Wattimury Maichel Wodiak Monike Bless Sugiyanti Daud Refideso Dorkas Debora Naroba Apolos Wetebosi Yesaya Nega Luis Ubery Yohan M Megi
Page 62
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90
Pend. Reguler Distrik Kaimana Pend. Reguler Distrik Kaimana TPKD Kaimana TPKD Kaimana TPKD Kaimana BAPPEDA Prov Papua BPMK-KK BPMK-KK BPMK-KK Graduates BET I aktif Graduates BET I aktif Graduates BET I aktif Graduates BET I aktif Graduates BET I tidak aktif Graduates BET I tidak aktif Graduates BET I tidak aktif Graduates BET I tidak aktif Graduates BET II aktif Graduates BET II aktif Graduates BET II aktif Graduates BET II aktif Graduates BET II tidak aktif Graduates BET II tidak aktif Graduates BET II tidak aktif Graduates BET II tidak aktif Atasan langsung (PENKAB,SATKER) Atasan langsung (PENKAB,SATKER) Atasan langsung (PENKAB,SATKER)
Menard Nanlohy Yanti RF Jeni YP Halim N.M Novita M Bp.N.Auri Bp.Donatus Mote Ib.Nila Ib.Sisca Yuliana Banosro Tri Haryanto Aligat Hilapok Paulina Endemina Sayori
Pengelola Data base Pengelola Data base
Siana Yaroseray Dessy Natalia Mayor George Emenu Agus Gerald Helda Ulda Bisai Maxi Eli Manufandu Marice Nuboba Jimmy Mansoben Marlina Trido Rattung Berta Y. Yabaisembut Gerson Tandi Bunna Rizal Saputra Achmad Sofyan Agustinus Idi Ronald Izack Akuray Zelthiel MS
Page 63
Monitoring dan Evaluasi Pelatihan Barefoot Engineer
91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107
Atasan langsung (PENKAB,SATKER) Atasan langsung (PENKAB,SATKER) Atasan langsung (PENKAB,SATKER) Atasan langsung (PENKAB,SATKER) Atasan langsung (PENKAB,SATKER) Pelaksana Kegiatan (Pemateri) Pelaksana Kegiatan (Pemateri) Pelaksana Kegiatan (Pemateri) Pelaksana Kegiatan (Pemateri) Pelaksana Kegiatan (Pemateri) Pelaksana Kegiatan (Pemateri) Masyarakat Masyarakat Masyarakat Masyarakat Masyarakat Masyarakat
Yan Nikolas Upuya Fidelia Asmeta Ibnu Nugroho Stevanus Boma Rudolp Merahabia Ib.Yvonne de Quelyo Bp.Romel Sendoh Patricia Dimara Bp. Redon Bp. Adi Betel Bp.Mus Bp.Numberi Bp.Togodli Bp.Hassor Bp.Sawiyas Ibu.Sawiyas Bp.Yanteo
Sarmi/Betaf Keerom/Arso Keerom/Arso Keerom/Arso Keerom/Arso Jayapura/Kemtuk
Page 64