Program Keluarga Harapan dan PNPM-Generasi Survey Baseline – Temuan Awal
Arie Damayanti (LPEM FEUI, Jakarta) Jossy P. Moeis (LPEM FEUI, Jakarta) Robert Sparrow (ISS, Den Haag) Yulia Herawati (World Bank, Jakarta) 24 Januari, 2008
Pendahuluan ~
~
Studi baseline dari program pilot Bantuan Tunai Bersyarat (BTB): • Presentasi ini: Hasil-hasil temuan awal • Februari: laporan draft untuk di-review di kalangan terbatas • 1 Maret: laporan akhir Outline • Program pilot BTB Indonesia • Metodologi: evaluasi dampak dan randomisasi • Studi baseline dan sampel • Temuan-temuan awal • Kesimpulan 2
Program BTB Indonesia (1) ~
Dua program pilot BTB di-launch pada 2007
• •
Program Keluarga Harapan (PKH) Program Nasional Pemberdayaan Masyarakat – Generasi Sehat dan Cerdas (PNPM-Generasi)
3
Indikator Target dan Kondisinya 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12.
Empat kunjungan pemeriksaan prenatal untuk wanita melahirkan Mengkonsumi tablet zat besi selama kehamilan Kelahiran yang dibantu oleh tenaga profesional terlatih Dua kunjungan post-natal Imunisasi anak komplit Memastikan peningkatan berat badan bulanan dari bayi Penimbangan bulanan untuk anak berumur dibawah 3 tahun dan 2 kali setahun untuk anak berumur dibawah 5 tahun Pemberian Vitamin A dua kali setahun untuk anak berumur dibawah 5 tahun Tingkat kehadiran sekolah dasar untuk semua anak berumur antara 6-12 tahun Tingkat kehadiran minimum sebesar 85% untuk anak yang bersekolah dasar Tingkat partisipasi sekolah menengah untuk semua anak diantara umur 13-15 tahun Tingkat kehadiran minimum sebesar 85% untuk anak yang bersekolah di tingkat menengah pertama 4
Program BTB Indonesia (2) ~
Tujuan awal dari program-program BTB • Mengurangi Kemiskinan • Mengurangi kematian ibu melahirkan • Mengurangi kematian anak • Cakupan yang universal untuk pendidikan dasar
~
Indikator-indikator keluaran yang penting: • Tingkat kesehatan ibu lahir: Ibu melahirkan yang menerima • •
pemeriksaan antenatal; Kelahiran yang dibantu oleh pegawai kesehatan terlatih Tingkat kesehatan anak: Tingkat kematian bayi; Tingkat malnutrisi; Tingkat cakupan imunisasi; Partisipasi dalam pemonitoran pertumbuhan anak Pendidikan: Tingkat partisipasi pendidikan menengah pertama; Tingkat kehadiran pendidikan dasar; Tingkat kehadiran 5 pendidikan menengah pertama
Metodologi: Evaluasi Dampak Pertanyaan Utama: ~
Apa pengaruh dari program BTB terkait indikator-indikator penting bagi sang penerima program?
Yaitu, kita ingin membandingkan dua situasi: 1. 2.
Situasi yang terobservasi: Keluaran dari indikator-indikator penting bagi penerima program BTB? Situasi yang konterfaktual: Keluaran dari indikator-indikator penting bagi penerima program BTB jika program tersebut tidak ada?
Permasalahan: kita tidak pernah benar-benar bisa mengobservasi situasi yang konterfaktual! 6
Metodologi: situasi konterfaktual yang hilang Pertanyaan evaluasi: apa efek dari BTB? Efek =
Keluaran A: dengan BTB
Keluaran B: Tanpa BTB
Permasalahan: kita hanya mengobservasi individu yang ~
~
berpartisipasi: atau Tidak berpartisipasi :
A
B
A
B
... Tetapi tidak pernah A dan B terjadi untuk semua orang! 7
Metodologi: randomisasi ~
~ ~ ~ ~
~
Partisipan (A) dan bukan-partisipan (B) tidak dapat diperbandingkan karena BTB adalah ditarget dalam pelaksanaannya Solusi: randomisasi Ciptakan grup treatment dan control yang dapat diperbandingkan Setiap perbedaan diantara control dan treatment setelah program dijalankan dapat diatributkan dengan BTB Tujuan dari adanya baseline: I. Keseimbangan (Balance): mencek kelayakan pembandingan sebelum intervensi II. Kontrol untuk setiap perbedaan pre-program yang tetap ada setelah proses randomisasi Presentasi ini membahas poin (I) 8
Sampling: Survey Baseline Daftar kecamatan perkotaan/pedesaan dalam kabupaten Pembagian kecamatan control & treatment
Daftar komposisi kecamatan kontrol dan treatment di kabupaten/kota dan propinsi
Kontrol
Treatment
Kecamatan terpilih
Kecamatan terpilih
8 desa per kecamatan
8 desa per kecamatan
5 RT terpilih per dusun atau 40 RT per kecamatan
5 RT terpilih per dusun atau 40 RT per kecamatan
9
Ukuran dari program BTB ~
Target populasi untuk proyek pilot BTB di tahun 2007:
Kabupaten Kecamatan Desa Rumah Tangga ~
PNPM-G
PKH
Total
20 129 1,625 -
49 348 4,663 500,000
69 477 6,288 -
Untuk PKH, BPS telah menseleksi 403,000 rumah tangga sebagai penerima potensial, didasarkan pada kondisi berikut:
• • •
Mempunyai anak berumur 6-15 tahun, atau dibawah 18 yang tidak menyelesaikan pendidikan dasar Dan/atau mempunyai anak berumur 0-6 tahun 10 Dan/atau terdiri dari ibu yang hamil atau menyusui
Survey Kuantitatif Baseline Didukung oleh Decentralization Support Facility (DSF) dan World Bank ~ Dilaksanakan oleh Universitas Gadjah Mada diantara bulan Juni sampai Agustus 2007. ~ Tujuan: untuk menghasilkan indikator-indikator referensi dalam mengevaluasi dampak dari dua program BTB tersebut ~ Survey baseline mengumpulkan informasi akan • Status kesehatan dan pendidikan dari anak dan ibunya • Penggunaan jasa kesehatan dan pendidikan • Status Sosial-Ekonomi • Kondisi dari penyedia jasa-jasa tersebut ~
11
Sampel Survey PKH Treatment
Control
Total
Propinsi
6
6
6
Kabupaten
44
44
44
Kecamatan
175
185
360
Desa
1,331
1,392
2,723
Rumah Tangga
6,995
7,331
14,326
Anak dibawah 3 tahun
2,973
3,180
6,153
Anak 6-15 tahun
9,095
9.851
18,946
Puskesmas
173
185
358
SMP
492
523
1,015
Bidan
682
725
1,407 12
Sampel Survey PNPM-Generasi Di-insentif
Tanpa-Insentif
Control
Total
Propinsi
5
5
5
5
Kabupaten
20
20
20
20
Kecamatan
108
100
100
308
Desa
840
760
777
2,377
Rumah Tangga
4,360
3,960
4,000
12,320
Anak dibawah 3 tahun
1,743
1,512
1,620
4,875
Anak 6-15 tahun
3,391
3,089
3,255
9,735
Puskesmas
108
100
100
308
SMP
304
280
287
871
Bidan
418
383
387
1,188 13
Karakteristik Rumah Tangga Terpilih PKH
PNPM-G
Treatment
Control
Treatment Insentif
Treatment Tanpa Ins.
Control
Perempuan
0.49
0.49
0.50
0.50
0.51
Umur
24.41
23.65
27.47
27.68
28.21
Ukuran Rumah Tangga
5.40
5.43
4.45
4.45
4.61
Area Pedesaan
0.77
0.79
0.86
0.86
0.84
Pengeluaran per kapita (Rp)
192,475
195,526
344,104
326,640
333,234
Pertanian (Aktivitas Utama)
0.66
0.65
0.61
0.61
0.64
Lantai dari tanah
0.36
0.34
0.13
0.17
0.17
Air minum bersih
0.30
0.33
0.34
0.39
0.36
Listrik PLN
0.89
0.89
0.80
0.77
0.78
Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan 14
Indikator-indikator target: Kesehatan untuk wanita menikah PKH
PNPM-G
Treatment
Control
Treatment Insentif
Treatment Tanpa Ins.
Control
Jumlah kunjungan antenatal
6.69
6.64
8.04
7.76
7.90
Setidaknya 4 kunj. antenatal
0.70
0.69
0.80
0.78
0.78
Setidaknya 90 pil zat besi diberikan
0.12
0.13
0.18
0.16
0.19
Kelahiran oleh profesional terlatih
0.64
0.59
0.59
0.61
0.63
Jumlah kunjungan pemeriksaan post natal
3.70
3.68
3.69
3.54
3.17
Setidak-tidaknya 2 kunjungan post-natal
0.45
0.44
0.52
0.54
0.48
Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan 15
Indikator-indikator target: Kesehatan untuk anak berumur 0-36 bulan PKH
PNPM-G
Treatment
Control
Treatment Insentif
Treatment Tanpa Ins.
Control
Imunisasi komplit pada usia terkait
0.40
0.38
0.42
0.40
0.43
Imunisasi komplit untuk anak berumur diatas 10 bulan
0.48
0.47
0.53
0.49
0.53
Jumlah berapa kali anak menerima vitamin A (umur 6-36 bulan)
1.76
1.88
1.74
1.60
1.73
Menerima vitamin A setidaktidaknya 2 kali per tahun (dari umur 6 bulan -5 tahun)
0.37
0.39
0.40
0.36
0.42
Jumlah penimbangan selama dua bulan terakhir
1.10
1.05
1.21
1.35
1.25
Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan 16
Indikator-indikator target: Pendidikan untuk anak berumur 6-12 PKH
PNPM-G
Treatment
Control
Treatment Insentif
Treatment Tanpa Ins.
Control
Tingkat partisipasi
0.89
0.87
0.88
0.88
0.88
Tingkat partisipasi di sekolah dasar
0.82
0.82
0.81
0.82
0.83
Kehadiran di sekolah 85% pada 2 minggu terakhir
0.95
0.94
0.92
0.93
0.94
Kehadiran di sekolah 100% pada 2 minggu terakhir
0.91
0.93
0.88
0.90
0.92
Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan
17
Indikator-indikator target: Pendidikan untuk anak berumur 13-15 tahun PKH
PNPM-G
Treatment
Control
Treatment Insentif
Treatment Tanpa Ins.
Control
Tingkat partisipasi
0.69
0.75
0.85
0.86
0.83
Partisipasi pada pendidikan dasar
0.10
0.15
0.17
0.16
0.12
Partisipasi pada pendidikan menengah
0.59
0.59
0.68
0.70
0.71
Kehadiran di sekolah 85% dalam 2 minggu terakhir
0.95
0.92
0.93
0.91
0.90
Kehadiran di sekolah 100% dalam 2 minggu terakhir
0.92
0.89
0.91
0.89
0.88
Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan 18
Indikator-indikator kunci bidang kesehatan: Tingkat morbiditas anak dan tingkat kematian anak PKH
PNPM-G
Treatment
Control
Treatment Insentif
Treatment Tanpa Ins.
Control
Diare di bulan terakhir
0.29
0.26
0.32
0.28
0.25
ARI di bulan terakhir
0.18
0.17
0.19
0.22
0.19
Diare atau ARI
0.39
0.36
0.39
0.38
0.37
kurang dari 1 bulan
0.04
0.03
0.03
0.04
0.05
umur 1-2 bulan
0.01
0.00
0.01
0.01
0.01
umur 3-5 bulan
0.01
0.01
0.01
0.02
0.01
umur 6-11 bulan
0.02
0.01
0.01
0.02
0.01
umur 0-11 bulan
0.08
0.05
0.07
0.09
0.08
Tingkat kematian
Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan
19
Indikator-indikator kunci bidang kesehatan: Malnutrisi diantara anak-anak berumur 0-36 bulan PKH
PNPM-G
Treatment
Control
Treatment Insentif
Treatment Tanpa Ins.
Control
WAZ: tidak kurang nutrisi
0.77
0.75
0.76
0.80
0.77
WAZ: kekurangan nutrisi
0.23
0.25
0.24
0.20
0.23
WAZ: kekurangan nutrisi parah
0.07
0.08
0.08
0.06
0.06
HAZ: tidak kurang nutrisi
0.52
0.45
0.50
0.54
0.52
HAZ: kekurangan nutrisi
0.48
0.55
0.50
0.46
0.48
HAZ: kekurangan nutrisi parah
0.30
0.35
0.27
0.27
0.27
WHZ: tidak kurang nutrisi
0.87
0.86
0.88
0.86
0.87
WHZ: kekurangan nutrisi
0.13
0.14
0.12
0.14
0.13
WHZ: kekurangan nutrisi parah
0.07
0.06
0.04
0.06
0.06
Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan Catatan: WAZ=Weight for Age (Berat-Umur), HAZ=Height for Age (Tinggi-Umur), WHZ=Weight for Height (Berat-Tinggi)
20
Penggunaan Jasa Kesehatan (Jumlah kunjungan pasien pada 1 bulan terakhir) PKH
PNPM-G
Treatment
Control
Treatment Insentif
Treatment Tanpa Ins.
Control
Publik
0.11
0.10
0.12
0.13
0.13
Swasta
0.04
0.04
0.06
0.06
0.07
Publik dan swasta
0.15
0.14
0.18
0.19
0.20
Tradisional
0.00
0.00
0.01
0.01
0.01
Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan
21
Indikator kunci sektor pendidikan PKH
PNPM-G
Treatment
Control
Treatment Insentif
Treatment Tanpa Ins.
Control
0.81
0.83
0.86
0.89
0.89
umur 7-12
0.75
0.74
0.73
0.75
0.74
umur 13-15
0.55
0.54
0.59
0.58
0.58
umur 7-12
0.62
0.61
0.66
0.64
0.63
umur 13-15
0.53
0.53
0.56
0.58
0.56
umur 7-12
0.69
0.68
0.70
0.70
0.70
umur 13-15
0.54
0.54
0.57
0.58
0.57
Transisi sekolah menengah Tes bahasa (% benar)
Tes matematika (% benar )
Tes total (% benar )
Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan 22
Anak bekerja dan Biaya Pendidikan Tidak Langsung: Anak umur 6 sampai 12 PKH
PNPM-G
Treatment
Control
Treatment Insentif
Treatment Tanpa Ins.
Control
Aktivitas kerja ekonomi
0.06
0.07
0.09
0.10
0.10
Aktivitas kerja domestik
0.54
0.53
0.61
0.61
0.65
20 jam kerja (bukan domestik)
0.02
0.02
0.03
0.04
0.03
20 jam kerja
0.16
0.17
0.17
0.19
0.17
Beasiswa di 2 tahun terakhir
0.04
0.05
0.04
0.03
0.04
Waktu perjalanan ke sekolah (menit)
15.29
14.65
15.64
16.32
16.28
Biaya perjalanan ke sekolah (Rp.)
136.45
100.02
183.23
158.66
140.18
Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan
23
Anak bekerja dan Biaya Pendidikan Tidak Langsung: Anak umur 13 sampai 15 PKH
PNPM-G
Treatment
Control
Treatment Insentif
Treatment Tanpa Ins.
Control
Aktivitas kerja ekonomi
0.21
0.21
0.29
0.27
0.26
Aktivitas kerja domestik
0.77
0.71
0.86
0.87
0.81
20 jam kerja (bukan domestik)
0.14
0.12
0.15
0.13
0.11
20 jam kerja
0.41
0.38
0.47
0.41
0.42
Beasiswa di 2 tahun terakhir
0.08
0.07
0.07
0.09
0.10
Waktu perjalanan ke sekolah (menit)
20.52
20.85
24.71
22.67
21.02
Biaya perjalanan ke sekolah (Rp.)
681.15
433.84
1007.03
640.38
653.04
Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan
24
Ringkasan Penutup Analisis baseline bertujuan untuk mencek keseimbangan (balance) pada indikator-indikator kunci dan menyiapkan analisa evaluasi dampak ~ Perbedaan yang telah diduga pada hasil observasi dari program PKH dan PNPM-Generasi karena perbedaan dalam strategi sampling ~ Kualitas data secara keseluruhan adalah baik dan variabelnya terlihat seimbang ~
• Kebanyakan indikator-indikator yang ada telah cukup seimbang seperti pada: • •
~
kesehatan untuk perempuan dan anak, penggunaan jasa kesehatan, keluaran pendidikan Ketidakseimbangan sporadis pada beberapa indikator seperti pada: tingkat morbiditas, pendidikan (partisipasi dan kehadiran) Ketidakseimbangan yang memerlukan investigasi lebih lanjut: HAZ (Height for Age), kerja domestik (anak berumur 12-15 tahun) dan biaya perjalanan menuju sekolah
Pekerjaan lanjutan untuk laporan studi baseline
• Implikasi untuk analisis evaluasi dampak dengan adanya variabel-variabel yang • •
tidak seimbang Investigasi akan kemungkinan bias yang dikarenakan faktor-faktor eksternal Rekomendasi untuk follow-up survey
25
