Evaluasi Dari Awal hingga Akhir

Evaluasi Dari Awal hingga Akhir Kemangkiran Guru di daerah pedalaman India

www.povertyactionlab.org

Masalah • Tingkat kemangkiran guru tinggi di India: 24% secara nasional (Kremer et al.) • Apabila sekolah-sekolah berada di daerah terpencil dan sulit dipantau, tingkat kemangkiran bisa lebih tinggi • Daerah Proyek: Tingkat kemangkiran guru 40% dalam penelitian dasar www.povertyactionlab.org

Pertanyaan-pertanyaan pokok • Dapatkan pemantauan guru dan insentif keuangan digunakan untuk mendorong guru agar hadir di kelas? • Apabila guru datang ke kelas, apakah anak-anak akan belajar lebih banyak?


Jenis evaluasi apa yang terbaik? • Pertanyaan yang bisa digeneralisasikan: – Manfaat evaluasi yang mendalam akan melebihi biaya, karena ini masalah umum di sebagian besar negara berkembang

• Program akan dirintis di sekolah-sekolah terpilih • Didasarkan pada evaluasi dengan sampel teracak www.povertyactionlab.org

Mengapa menggunakan sampel teracak? • Misalkan kita mengumpulkan data kehadiran guru, dan kemudian memberikan sebuah tes kepada anak-anak untuk menentukan tingkat pengetahuan mereka • Kita menemukan korelasi positif antara kehadiran guru dan nilai hasil tes anak • Dapatkah kita mengaitkan nilai hasil tes yang lebih tinggi dengan kehadiran guru yang lebih baik? Apa lagi yang mungkin menyebabkan nilai hasil tes yang lebih tinggi? www.povertyactionlab.org

Mengapa menggunakan sampel teracak? Kehadiran Guru

Anak belajar lebih banyak


Mengapa mengguunakan sampel teracak? Kehadiran Guru

Anak belajar lebih banyak Kualitas Guru www.povertyactionlab.org

Program • Bekerjasama dengan LSM Seva Mandir • Seva Mandir mengelola sekitar 150 pusat pendidikan non-formal di distrik Udaipur, Rajasthan • Setiap pusat pendidikan terdiri atas satu ruangan, dan memiliki satu orang guru www.povertyactionlab.org


Latar Belakang Program: Guru • Pendidikan terakhir: kelas 10 • Umumnya dipekerjakan dari desa setempat (efek jaringan sosial) • Guru menerima gaji sebesar Rs 1.000 untuk satu hari sekolah selama 6 jam, 6 hari seminggu www.povertyactionlab.org

Latar Belakang Program: Anak-anak • Benar-benar buta huruf • Memberikan pendidikan Bahasa Hindi dan Matematika kepada anak-anak, dan mendorong siswa agar terbiasa masuk sekolah • Beberapa anak “lulus” dan masuk ke sekolah pemerintah, yang lainnya terus belajar di NFE www.povertyactionlab.org

Rancangan Program • Seva Mandir membuat sistem pemantauan atas kehadiran guru-guru dan menghubungkan pembayaran gaji guru dengan kehadiran • Setiap guru diberi sebuah kamera, dan diminta mengambil foto dirinya dan anak-anak dua kali sehari • Memerlukan paling tidak 8 anak (atau ½ jumlah anak-anak yang terdaftar) • Rol-rol film dikumpulkan dan dicetak www.povertyactionlab.org



Pembayaran • Gaji pokok sebesar Rs 1.000 untuk 20 hari/bulan • Bonus Rs 50 untuk setiap kelebihan satu hari • Denda Rs 50 untuk setiap kekurangan satu hari • Batas tertinggi denda sebesar Rs 500 www.povertyactionlab.org

Perencanaan: Cara Mengambil Sampel Teracak • Unit observasi: – Pengambilan sampel teracak pada tingkat sekolah (Data yang dikelompokkan)

• Metode Pengambilan Sampel Teracak: – Program Percontohan

• Penggunaan kamera dan program insentif di sekolah-sekolah yang dipilih secara acak • Di sekolah-sekolah lainnya, guru-guru menerima gaji tetap yang normal www.povertyactionlab.org

Perencanaan: Pengumpulan Data • Keluaran: Kehadiran Guru: – Foto-foto di sekolah-sekolah tindakan – Pemeriksaan acak – Metode-metode pengajaran guru


Perencanaan: Pengumpulan Data • Keluaran: Tes Prestasi Belajar Siswa: – September 2003, April 2004, Oktober 2004 • Bagaimana cara melakukan tes pada siswa yang buta huruf?



Jadual Evaluasi Penelitian Dasar dan perencanaan

Pelaksanaan program di sekolah Tindakan

Mengukur kehadiran secara terusmenerus

Tes Tengah Tahun Ajaran

Mengukur hasil www.povertyactionlab.org

Tes Akhir Tahun Ajaran

1.0

Jumlah Sampel  = 0.050 n = 25

0.9

= 0.17, = 0.05

0.8 0.7

K e s a h i h a n

0.6 0.5 0.4 0.3 0.2 0.1

33

62

91

Jumlah kelompok

120


149

Mengelola Ancaman • Masalah Politik • Peningkatan jumlah anak yang mendaftar berkat program (peningkatan besar kelas) • Pengurangan/ keausan – Siswa keluar sekolah – Siswa keluar dari program www.povertyactionlab.org

Mengelola Ancaman • Siswa pindah dari sekolah tindakan ke sekolah kontrol – Niat untuk Memberi Tindakan!


Evaluasi Proses • Evaluasi proses: – Kamera vs. kehadiran dengan cara lain – Peneliti membantu merancang proses teknis (program komputer, sambungan langsung dan cepat dengan memakai kamera, dll.) – Seva Mandir mengelola proses

• Apakah proses tersebut merupakan proses terbaik untuk menjalankan program? • Apabila tidak ada hasil, apakah itu disebabkan oleh kekurangan pada proses dan bukan karena kekurangan pada gagasan program? www.povertyactionlab.org

Evaluasi Kualitatif • Wawancara kualitatif dengan guru-guru untuk memahami proses pengajaran dan reaksi mereka terhadap program • Penting dalam: – Perancangan program – Dapat membantu menafsirkan hasil program

• Terbatas karena kita tidak akan tahu apakah program berhasil www.povertyactionlab.org

Analisis Data dan Temuan-temuan


Langkah Pertama • Menentukan apakah pengambilan sampel secara acak berhasil dengan membandingkan karakteristik awal kelompok tindakan dengan kelompok kontrol


Apakah kualitas sekolah sama sebelum Program?

Jumlah sekolah yang buka

Jumlah siswa yang hadir

Tindakan (1) 0.66

Kontrol (2) 0.63

44

41

17.72

15.54

29

26

Perbedaan (3) 0.02 (0.10) 85 2.19 (2.23) 55

• Sebelum program dilaksanakan, tidak ada perbedaan statistik dalam probabilitas bahwa sebuah sekolah tindakan buka dan dalam jumlah siswa yang hadir www.povertyactionlab.org

Kualitas Guru dan Murid • Tidak ada perbedaan statistik dalam kecakapan guru (diukur dengan nilai tes guru dan nilai tertinggi yang dicapai) • Tidak ada perbedaan dalam perilaku guru (sebagaimana yang diukur melalui interaksi dengan siswa dan perilaku pada papan tulis) • Tidak ada perbedaan statistik dalam nilai hasil tes siswa www.povertyactionlab.org

Kehadiran Guru • Secara rata-rata, guru-guru hadir 58% dari keseluruhan waktu di sekolah pembanding dan 78% dari keseluruhan waktu di sekolah tindakan • Efek program bersifat langsung dan tetap bahkan setelah berakhirnya masa “penelitian”. • Program mengeliminasi guru-guru yang tidak patuh, dan menciptakan kelas baru guru-guru yang “sangat teratur” www.povertyactionlab.org

Gambar 2: Persentasiesekolah yang buka selama pemeriksaan acak 100%

perbaikan

80%

60%

Kontrol 40%

20%

Tes Tengah Tahun

Tes Akhir Tahun

0% Agt

Sep

Okt

Nov

Des

Jan

Feb

Mar

Apr

Mei

Jun

Jul

Agt

Bulan


Sept

Okt

Nov

Des

Jan

Feb

Mar

Gambar 3B: Kehadiran Guru 1.00

0.80

0.60

0.40

0.20

0.00 0

10

20

30

40

50

60

Frekuensi Kehadiran Perbaikan

Kontrol


70

80

90

100

Perilaku Guru • Tidak akan efektif jika guru mengkompensasikan peningkatan kehadirannya dengan kemungkinan yang lebih kecil mereka akan mengajar begitu berada di sekolah


Persentase anak-anak yang duduk dalam kelas Persentase Guru yang berinteraksi dengan murid

Sep 2003-Maret 2005 Tindakan Kontrol Perbedaan (1) (2) (3) 0.89 0.88 0.01 (0.01) 865 633 1498 0.68

0.69

865

633

Papan tulis yang dimanfaatkan 0.93

0.93

843

615


-0.02 (0.03) 1498 0.00 (0.01) 1458

Pengurangan/ Keausan • Pengurangan reguler versus pengurangan/ keausan diferensial – Tes Pertengahan: Perbedaan tipis dalam laju pengurangan (persentase siswa yang dites) antara kelompok tindakan dan kelompok kontrol, dan tidak ada perbedaan dalam angka pra-tes antara mereka yang dites dan tidak dites – Tes Akhir: Tidak ada perbedaan pada laju pengurangan dan tak ada perbedaan pd Nilai Tes

• Meskipun demikian, kita mengontrol nilai pra-tes untuk mendapat keakuratan yang lebih tinggi www.povertyactionlab.org

Memperkirakan Persamaan Metode 1: Perbedaan Sederhana Nilai= β0+ β1tindakan+β2Skor Awal+ε Metode 2: Kontrol atas Angka Pra-tes Nilai= β0+ β1tindakan+β2Skor Awal+ε Metode 3: Perbedaan dalam Perbedaan Nilai= β0 + β1(Tindakan*Sesudah)+β2perbaikan+β3Sesudah+ε

 Catatan: Nilai tes ditransformasi menjadi angka-z. Mengapa? www.povertyactionlab.org

Nilai Tes Siswa • Peningkatan besar dalam nilai tes anak: peningkatan deviasi baku sebesar 0,17 dalam tindakan versus kontrol • Peningkatan sebesar 40% dalam angka kelulusan (dari sekitar 10% menjadi 14%)


Analisa Biaya-Manfaat Biaya Program per Pusat selama masa 12 bulan Barang Biaya A. Biaya Kamera 1

1133 1392 552 1852

Biaya kamera Biaya film Biaya baterai Cuci-cetak foto B. Gaji Gaji guru

2

0 3

Biaya tenaga kerja utk menjalankan program 450 Biaya keseluruhan menjalankan program 5379

• Hal tersebut sama jumlahnya dengan 40% gaji seorang guru, tetapi hanya Rs 268 ($6) per anak per tahun (dengan perkiraan 20 anak per guru)


Analisa Biaya-Manfaat • Biaya: Rs 268 per anak per tahun • Ditulis dalam unit umum: $3.58 per 0,1 deviasi baku dari nilai tes. • Tidak seefektif program Balsakhi, tetapi seefektif beasiswa siswa perempuan di Kenya • Dua kali lebih hemat biaya daripada mempekerjakan guru kedua utk pusat-pusat pendidikan non-formal di Udiapur dalam hal kehadiran (dan program tsb tidak berdampak pada nilai tes). www.povertyactionlab.org

Kesimpulan • Insentif kehadiran guru mendorong mereka untuk hadir di sekolah dan tidak membuat mereka enggan untuk melakukan sesuatu sewaktu di sekolah • Angka kemangkiran turun dari 42% menjadi 22%, siswa mendapat manfaat dari lebih banyak waktu pengajaran, nilai tes 0,17 sd lebih tinggi setelah setahun www.povertyactionlab.org

Pemeriksaan Akhir • Keabsahan Internal: • Keabsahan Eksternal: – Pusat pendidikan non-formal lain? (21 juta anak di India saja) – Sekolah-sekolah Pemerintah – Pusat-pusat kesehatan dan kantor-kantor pemerintah lain? – Negara lain? (Afrika??) www.povertyactionlab.org

Evaluasi Dari Awal hingga Akhir

Recommend Documents