Cara Pengacakan Lina Marliani J-PAL SEA
Ikhtisar Pelatihan 1. Apa yang dimaksud dengan evaluasi? Mengapa Mengevaluasi? 2. Mengapa melakukan pengacakan? 3. Cara pengacakan 4. Kendala dan Tantangan 5. Evaluasi dari Awal sampai Akhir 6. Analisis Keefektifan Biaya
Ikhtisar Pelatihan 1. Apa yang dimaksud dengan evaluasi? Mengapa Mengevaluasi? 2. Mengapa melakukan pengacakan? 3. Cara pengacakan 4. Kendala dan Tantangan 5. Evaluasi dari Awal sampai Akhir 6. Analisis Keefektifan Biaya
Ikhtisar Paparan • • • •
Tingkat pengacakan Kendala di lapangan Metode-metode pengacakan Variasi dalam kelompok perlakuan-kontrol
Tingkat Pengacakan: Opsi-opsi Dua opsi dasar: 1. Pengacakan di tingkat perorangan / individu 2. Pengacakan di tingkat kelompok “Cluster Randomized Trial” Di tingkat manakah yang akan dilakukan pengacakan?
Tingkat Pengacakan: Perorangan?
Tingkat Pengacakan: Perorangan?
Tingkat Pengacakan: Kelas?
Tingkat Pengacakan: Kelas?
Tingkat Pengacakan: Sekolah?
Tingkat Pengacakan: Sekolah?
Bagaimana Memilih Tingkatannya? • Karakteristik Perlakuan – Bagaimana intervensi dilakukan? – Seberapa luas dampaknya? • Tingkat pengumpulan/ agregasi dari data yang ada • Power calculation • Secara umum, pengacakan lebih baik dilakukan pada tingkat dimana perlakuan dilaksanakan
Ikhtisar Paparan • • • •
Tingkat pengacakan Kendala nyata di lapangan Metode-metode Pengacakan Variasi dalam kelompok perlakuan-kontrol
Kendala: Sumber Daya • Kebanyakan program memiliki keterbatasan sumber daya – Voucher, ruang untuk program pelatihan, anggaran untuk fasilitator masyarakat • Menghasilkan penerima (recipients) yang lebih layak daripada layanan yang dimungkinkan oleh sumber daya • Terbatasnya sumber daya dapat menjadi peluang evaluasi
Kendala: Keuntungan Politis • Lotre bersifat sederhana, umum dan transparan • Berguna ketika tidak ada alasan apriori untuk mendiskriminasi • Peserta mengetahui "pemenang" dan “yang kalah" • Lotre sederhana dapat dianggap adil
Kendala: Kontaminasi Spillovers/Crossovers
• Ingat bahwa kelompok kontrol seharusnya mendekati counterfactual • Jika kelompok kontrol berbeda dari counterfactual, hasilnya dapat bias • Ini dapat terjadi karena • Spillovers • Crossovers
Spillovers: Pengobatan Penyakit Cacingan di Sekolah • Positive spillovers? • Negative spillovers?
Kendala: logistik • Kendala-kendala logistik dalam rancangan penelitian perlu dikenali. • Misal: pengobatan penyakit cacingan oleh pekerja kesehatan secara individu – Banyaknya tanggung-jawab. Tak hanya pengobatan. – Melayani kelompok kontrol maupun kelompok perlakuan – Prosedur berbeda untuk kelompok-kelompok berbeda?
Kendala: keadilan, politik Visibilitas status perlakuan: • Pengacakan pada tingkat anak dalam kelas • Pengacakan pada tingkat kelas dalam sekolah • Pengacakan pada tingkat masyarakat
Kendala: Ukuran Sampel • Program ini hanya cukup untuk melayani segelintir masyarakat • Terutama merupakan persoalan statistical power: terlalu sedikitnya pengamatan artinya semakin kecilnya kemungkinan mengukur dampak yang tepat • Ukuran sampel yang diinginkan ditentukan melalui power calculation (tidak dibahas dalam paparan ini)
Misalkan intervensi menargetkan hasil kesehatan anak-anak melalui pemberian info tentang mencuci tangan. Apakah tingkat pengacakan yang tepat?
A. Tingkat anak B. Tingkat rumah tangga C. Tingkat kelas D. Tingkat sekolah E. Tingkat desa F. Tidak tahu
Ikhtisar Paparan • • • •
Tingkat pengacakan Kendala nyata di lapangan Metode-metode pengacakan Variasi dalam kelompok perlakuan-kontrol
Phase-in: Memanfaatkan ekspansi • Pada akhirnya semua orang akan mendapatkan perlakuan • Cara yang alami untuk mengembangkan program yang mengalami kendala sumber daya • Apa yang menentukan sekolah, cabang, dsb. yang mana yang akan dilaksanakan pada tahun berapa?
Rancangan Phase-in 3 1
Ronde 1
2
3
3
3
1
3
3 2
3
2
Perlakuan: 2/3 Kontrol: 1/3
2
3
1
2
1
3
3
3
2
3
1
2
1
2 2
2
1
3 3
Ronde 3 Perlakuan: 3/3 Kontrol: 0
2
1
Ronde 2
Evaluasi Acak berakhir
2
2
Perlakuan: 1/3 Kontrol: 2/3
2
1 3
1 3 1
2
1
1
2
3 1
Rancangan Phase-in Keuntungan • Pada akhirnya setiap orang mendapat perlakuan • Memberikan insentif untuk mempertahankan kontak Kelemahan • Dapat mempersulit estimasi efek jangka panjang • Harus memperhatikan phase-in windows • Apakah harapan akan sesuatu merubah perilaku sekarang?
Rancangan Dorongan: Apa yang perlu dilakukan ketika Anda tidak dapat mengacak akses
• Kadang pengacakan akses program tidak dimungkinkan dari segi praktis maupun etika. • Tetapi banyak program memiliki tingkat partisipasi kurang dari 100% • Mengacak dorongan untuk menerima perlakuan
Apakah “Dorongan” itu?
• Sesuatu yang membuat orang untuk lebih cenderung menggunakan program daripada yang lain • Bukan merupakan suatu “Perlakuan” dengan sendirinya • Untuk siapa kita mengestimasi efek perlakuan? • Perhatikan siapa yang menanggapi insentif
Dua kelompok yang manakah yang akan Anda bandingkan dalam suatu rancangan dorongan ?
A. Yang diberikan dorongan vs yang tidak diberikan dorongan B. Peserta vs non-peserta C. Compliers vs. Noncompliers D. Tidak tahu
Rancangan Dorongan Dorongan Tidak dapat dorongan Berpartisipasi
Tidak berpartisipasi
Bandingkan yang mendapatkan dorongan dengan yang tidak mendapatkan dorongan Hal-hal ini terkorelasi Jangan bandingkan partisipan dengan nonpartisipan
Metode-metode Pengacakan - Ikhtisar Rancangan
Lotre dasar
Paling berguna saat… •Minat untuk berpartisipasi dalam program berlebihan
Keuntungan •Semua orang mengetahui •Mudah dipahami •Mudah diimplementasikan •Dapat diimplementasikan di masyarakat / publik
Kerugian •Kelompok kontrol mungkin tidak kooperatif •Differential attrition
Metode-metode Pengacakan - Ikhtisar Rancangan
Phase-In
Paling berguna saat…
Keuntungan
•Pengembangan selama kurun waktu tertentu •Setiap orang pada akhirnya harus mendapatkan perlakuan
•Mudah dipahami •Kendala mudah dijelaskan •Kelompok kontrol patuh karena mereka mengharapkan keuntungan dari perlakuan nantinya
Kerugian •Antisipasi terhadap perlakuan dapat mempengaruhi perilaku jangka pendek •Sulit untuk mengukur dampak jangka panjang
Metode-metode Pengacakan - Ikhtisar Rancangan
Dorongan
Paling berguna saat… •Program harus dibuka kepada semua yang ingin berpartisipasi •Saat partisipasi rendah, tetapi mudah ditingkatkan dengan insentif
Keuntungan •Dapat mengacak pada tingkat individual walaupun program tidak dijalankan di tingkat itu.
Kerugian •Mengukur dampak hanya pada mereka yang menanggapi insentif •Memerlukan banyak dorongan untuk meningkatkan partisipasi (take-up) •Dorongan itu sendiri mungkin memiliki efek langsung
Metode acak yang mana akan Anda pilih jika rekan Anda mensyaratkan agar setiap orang mendapatkan perlakuan pada suatu waktu tertentu?
A. Rancangan Phase-in B. Lotre Dasar C. Dorongan D. Tidak tahu
Ikhtisar Paparan • • • •
Tingkat pengackan Kendali nyata di lapangan Metode-metode pengacakan Variasi dalam kelompok perlakuan-kontrol
Lebih dari satu perlakuan • Kadang pertanyaan intinya adalah untuk menentukan dari sejumlah intervensi yang berbeda-beda • Anda dapat mengacak program-program ini • Apakah hal ini mengajarkan kita tentang manfaat dari salah satu intervensi? • Apakah Anda memiliki kelompok kontrol?
Lebih dari satu perlakuan Perlakuan 1 Perlakuan 2
Perlakuan 3
Perlakuan Cross-cutting • Menguji sejumlah komponen perlakuan yang berbeda dalam beragam kombinasi • Menguji apakah komponen-komponen tersebut saling mensubstitusi atau melengkapi • Kombinasi apakah yang paling hemat biaya? • Keuntungan: win-win untuk operator, dapat membantu menjawab pertanyaan, melebihi “dampak” sederhana
Beragam Tingkat Perlakuan • Beberapa sekolah diberikan perlakuan yang penuh – Semua anak mendapatkan pil • Beberapa sekolah diberikan perlakuan sebagian – 50% anak diberikan pil • Menguji subsidi dan harga
Stratifikasi • Tujuan: menyeimbangkan sampel Anda ketika Anda memiliki ukuran sampel kecil • Apakah itu: – Membagikan sampel ke dalam sub-group berbeda – Memilih kelompok perlakuan dan kontrol dari masing-masing sub-group
• Apa yang terjadi jika Anda tidak melakukan stratifikasi?
Kapan Stratifikasi Dilakukan • Lakukan stratifikasi pada variabel-variabel yang dapat memberikan dampak penting terhadap variabel hasil (outcome). • Lakukan stratifikasi pada sub-group yang menarik bagi Anda (yang menurut Anda dapat berdampak berbeda terhadap program). • Stratifikasi lebih penting pada dataset kecil • Dapat menjadi rumit jika stratifikasi dilakukan pada terlalu banyak variabel. • Semakin banyak stratifikasi dilakukan, hasil mennjadi kurang transparan.
Mekanisme Pengacakan • Memerlukan kerangka sampel (sample frame) • Mengambil undian dari sebuah topi/ ember • Menggunakan angka acak dari program spreadsheet untuk menentukan observasi secara acak • Menggunakan program Stata Sumber: Chris Blattman
