Mengapa melakukan pengacakan (Randomization)? John Floretta J-PAL South Asia

Mengapa melakukan pengacakan (Randomization)? John Floretta J-PAL South Asia

Ikhtisar Pelatihan 1. Apa yang dimaksud dengan evaluasi? Mengapa Mengevaluasi? 2. Mengapa melakukan pengacakan? 3. Cara pengacakan 4. Ukuran Sampel 5. Kendala dan Tantangan 6. Evaluasi dari Awal sampai Akhir 7. Analisis Keefektifan Biaya

Ikhtisar Pelatihan 1. Apa yang dimaksud dengan evaluasi? Mengapa Mengevaluasi? 2. Mengapa melakukan pengacakan? 3. Cara pengacakan 4. Ukuran Sampel 5. Kendala dan Tantangan 6. Evaluasi dari Awal sampai Akhir 7. Analisis Keefektifan Biaya

Ikhtisar Paparan I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon pada umumnya

I – Latar Belakang

Dampak: Apa itu?

Hasil Utama

Intervensi

Dampak

Waktu

Bagaimana cara mengukur dampak? Dampak didefinisikan sebagai suatu perbandingan antara:

1. Hasil yang diperoleh setelah beberapa waktu program dilaksanakan 2. Hasil yang dipeoleh di saat yang sama jika program tidak dilaksanakan (”counterfactual”)

7

Dampak: Apa itu? Dampak Hasil Utama

Intervensi

Waktu

Dampak: Apa itu?

Hasil Utama

Intervensi

Dampak

Waktu

Counterfactual • Counterfactual mewakili keadaan dimana para peserta program mengalaminya tanpa kehadiran program (yakni jika mereka tidak berpartisipasi dalam program) • Masalah: Counterfactual tidak dapat diamati • Solusi: Kita perlu “meniru” atau membangun Counterfactual

Membangun counterfactual • Biasanya dilakukan dengan memilih sekelompok individual yang tidak berpartisipasi dalam program • Kelompok ini biasanya dikenal sebagai kelompok kontrol atau kelompok pembanding

• Bagaimana cara pemilihan kelompok ini menjadi pertanyaan penting dalam design evaluasi dampak

Memilih Kelompok Pembanding • Ide: Memilih sebuah kelompok yang hampir sama dengan kelompok peserta dalam segala hal kecuali satu: eksposure mereka terhadap program yang akan dievaluasi

• Tujuan: Untuk dapat menunjukkan perbedaan hasil antara kelompok peserta dan kelompok pembanding (dan bukan karena faktor lain)

Metode evaluasi dampak 1. Eksperimen acak • Dikenal juga sebagai: – Studi Pengelompokan Acak (Random Assignment Studies) – Percobaan Lapangan Acak (Randomized Field Trials) – Eksperimen Sosial (Social Experiments) – Evaluasi Acak (Randomized Controlled Trials/RCTs) – Eksperimen Acak (Randomized Controlled Experiments)

13

Metode evaluasi dampak 2. Metode Non- atau Quasi-Eksperimental a. Perbandingan Sebelum dan Sesudah (pre-post comparison) b. Perbedaan Sederhana (Simple Difference) c. Differences-in-Differences d. Regresi Multivariat e. Pencocokan Statistik (Statistical Matching) f. Interrupted Time Series g. Variabel Instrumental (Instrumental Variables) h. Diskontinuitas Regresi (Regression Discontinuity)

II – Apa itu eksperimen acak?

Pemahaman Dasar Dimulai dengan kasus sederhana: • Ambil sampel para pelamar program • Secara acak kelompokkan mereka dalam salah satu kelompok ini:  Kelompok Perlakuan – mendapat perlakuan  Kelompok Pembanding – tidak mendapat perlakuan (selama periode evaluasi)

Manfaat utama eksperimen Karena anggota kelompok (perlakuan dan kontrol) secara sistematis tidak berbeda di awal eksperimen, perbedaan apapun yang timbul kemudian di antara kedua kelompok dapat dikaitkan kepada program dan bukan kepada faktorfaktor lainnya. 17

Evaluasi “Perempuan Sebagai Pembuat Kebijakan”: desa Perlakuan vs. Kontrol pada baseline Kelompok Perlakuan

Kelompok Kontrol

Perbedaan

Tingkat Melek-Huruf Perempuan

0,35

0,34

0,01 (0,01)

Jumlah Fasilitas Kesehatan Umum

0,06

0,08

-0,02 (0,02)

Air keran

0,05

0,03

0,02 (0,02)

Jumlah Sekolah Dasar

0,95

0,91

0,04 (0,08)

Jumlah Sekolah Menengah Atas

0,09

0,10

-0,01 (0,02)

Variabel

Standard Error dalam tanda kurung. Statistik yang ditunjukkan untuk West Bengal */*/***: Secara statistik signifikan pada tingkat 10% / 5% / 1% Sumber: Chattopadhyay and Duflo (2004)

Beberapa variasi dalam dasar • Mengelompokkan mereka dalam berbagai kelompok perlakuan • Mengelompokkan unit-unit selain individu atau rumah tangga  Pusat Kesehatan  Sekolah  Pemerintahan Daerah  Desa-Desa

Langkah dalam melakukan evaluasi 1. Merancang penelitian secara benar 2. Memilih secara acak orang-orang kedalam kelompok perlakuan dan kontrol 3. Mengumpulkan data baseline

4. Meverifikasi bahwa pemilihan benar dilakukan secara acak 5. Memonitor proses sehingga integritas evaluasi tidak dipertanyakan

Langkah dalam melakukan evaluasi (lanjutan) 6. Mengumpulkan data berikutnya untuk kelompok perlakuan dan kontrol 7. Mengestimasi dampak program dengan membandingkan hasil rata-rata kelompok perlakuan vs. Kelompok kontrol. 8. Menganalisa apakah dampak program statistik signifikan dan sebenarnya signifikan.

III – Mengapa melakukan pengacakan?

Mengapa melakukan pengacakan? – Argumen Konseptual Jika dirancang dan dilaksanakan dengan tepat, eksperimen acak dapat memberikan metode paling kredibel untuk mengestimasi dampak suatu program

23

Mengapa “paling kredibel”? Karena anggota kelompok (perlakuan dan kontrol) tidak berbeda secara sistematis di awal eksperimen, Perbedaan apapun yang kemudian timbul di antara mereka dapat dikaitkan kepada program dan bukan kepada faktor-faktor lainnya. 24

Contoh #1: Program Balsakhi

Case 2: Remedial Education in India

Program Balsakhi : Latar Belakang • Diimplementasikan oleh Pratham, sebuah LSM dari India • Program ini menyediakan guru tambahan (Balsakhi) untuk membantu anak-anak berisiko dengan tugas sekolah mereka • Di Vadodara, program balsakhi dilaksanakan di sekolah-sekolah dasar negeri 2002-2003 • Para guru memutuskan anak-anak mana yang akan mendapatkan balsakhi

Balsakhi: Hasil • Anak-anak diuji di awal tahun sekolah (pretest) dan di akhir tahun (post-test) • PERTANYAAN: Bagaimana kita dapat mengestimasi dampak program balsakhi pada nilai/skor ujian?

Metode-metode untuk mengestimasi dampak • Mari kita lihat berbagai cara untuk mengestimasi dampak dengan menggunakan data dari sekolah-sekolah yang menerima balsakhi 1. Perbandingan sebelum dan sesudah (pre-post comparison) 2. Perbedaan sederhana (simple difference) 3. Difference-in-differences 4. Metode non-eksperimental lainnya 5. Eksperimen Acak

1 – Perbandingan sebelum dan sesudah • Melihat rata-rata perubahan dalam nilai ujian sepanjang tahun ajaran untuk anak-anak yang mendapatkan program balsakhi

1 – Perbandingan sebelum dan sesudah Rata-rata nilai post-test untuk anak-anak program balsakhi

51,22

Rata-rata nilai pretest untuk anak-anak program balsakhi

24,80

Perbedaan

26,42

• PERTANYAAN: Dalam kondisi apakah perbedaan ini (26,42) dapat ditafsirkan sebagai dampak program balsakhi?

Apa yang akan terjadi jika tidak ada program balsakhi? Metode1: Perbandingan sebelum dan sesudah Dampak = 26,42 poin? 75

50

26,42 poin? 25

0 2002 0

2003

2 – Perbedaan sederhana (Simple Difference) Bandingkan nilai ujian dari …

Dengan nilai ujian…

Anak-anak yang menerima program balsakhi

Anak-anak yang tidak menerima program balsakhi

2 – Perbedaan sederhana (Simple Difference)

Rata-rata nilai untuk anakanak program balsakhi

51,22

Rata-rata nilai untuk anakanak yang tidak menerima program balsakhi

56,27

Perbedaan

-5,05

• PERTANYAAN: Dalam kondisi apakah perbedaan ini (-5.05) dapat ditafsirkan sebagai dampak program balsakhi?

Apa yang akan terjadi jika tidak ada program balsakhi? Metode 2: Perbandingan Sederhana Dampak = -5.05 poin? 75 -5.05 poin?

50

25

0 2002 0

2003

3 – Difference-in-Differences Bandingkan perolehan dalam nilai ujian dari…

Anak-anak yang mendapatkan program balsakhi

Dengan perole han dalam nilai ujian…

Anak-anak yang tidak mendapatkan program balsakhi

3 - Difference-in-differences Pretest Rata-rata nilai untuk anak-anak dengan program balsakhi

24,80

Post-test Perbedaan 51,22

26,42

3 - Difference-in-differences Pretest Rata-rata nilai untuk anak-anak dengan program balsakhi Rata-rata nilai untuk anak-anak tanpa program balsakhi

Post-test Perbedaan

24,80

51,22

26,42

36,67

56,27

19,60

3 - Difference-in-differences Pretest Rata-rata nilai untuk anak-anak dengan program balsakhi Rata-rata nilai untuk anak-anak tanpa program balsakhi Perbedaan

Post-test Perbedaan

24,80

51,22

26,42

36,67

56,27

19,60

6,82

• PERTANYAAN: Dalam kondisi apakah 6.82 dapat ditafsirkan sebagai dampak program balsakhi?

4 – Metode Lainnya • Ada lebih banyak metode non-eksperimental yang lebih canggih untuk mengestimasi dampak program: – – – –

Regresi Pencocokan (Matching) Variabel Instrumental Diskontinuitas Regresi

• Metode-metode ini bergantung pada kemampuan untuk “meniru” counterfactual dengan asumsi-asumsi tertentu • Masalah: Asumsi tidak dapat diuji

5 – Eksperimen Acak • Misalkan kita mengevaluasi program balsakhi menggunakan eksperimen acak • PERTANYAAN #1: Apa saja yang diperlukan? Bagaimana kita melaksanakannya? • PERTANYAAN #2: Apa manfaat dari penggunaan metode ini untuk mengevaluasi dampak program balsakhi? Source: www.theoryofchange.org 40

Dampak Balsakhi - Ringkasan Metode

Estimasi Dampak

(1) Perbandingan sebelum dan sesudah (2) Perbedaan Sederhana

-5,05*

(3) Difference-in-Differences

6,82*

(4) Regresi

1,92

*: Secara statistik signifikan pada level 5%

26, 2*


Estimasi Dampak


26,42*


6,82*

(4) Regresi

1,92

(5) Eskperimen Acak

5,87*


-5,05*


Estimasi Dampak


26,42*


6,82*

(4) Regresi

1,92

(5) Eskperimen Acak

5,87*

-5,05*


Intinya: Metode apa yang kita gunakan sangatlah berpengaruh!

Contoh #2 – Microfinance di Afrika Selatan Metode

Estimasi Dampak


2384*


1068*

(4) Regresi

1412

(5) Eksperimen Acak *: Secara statistik signifikan pada level 5%

1838*

Contoh #2 – Microfinance di Afrika Selatan Metode

Estimasi Dampak


2384*


1068*

(4) Regresi

1412

(5) Eksperimen Acak

292*


1838*

Contoh #3 – Program Read India di Pratham


Metode (1) Perbandingan sebelum dan sesudah (2) Perbedaan Sederhana (3) Difference-in-Differences (4) Regresi (5) Eksperimen Acak *: Secara statistik signifikan pada level 5%

Dampak 0,60* -0,90*

0,31* 0,06


Metode (1) Perbandingan sebelum dan sesudah (2) Perbedaan Sederhana (3) Difference-in-Differencess (4) Regresi (5) Eksperimen Acak *: Secara statistik signifikan pada level 5%

Dampak 0,60* -0,90*

0,31* 0,06 0.88*

Contoh #4: Suatu kampanye pemungutan suara di Amerika Serikat

Courtesy of Flickr user theocean

Suatu Kampanye Pemungutan Suara di Amerika Serikat Metode (1) Perbandingan sebelum dan sesudah (2) Perbedaan sederhana

Dampak (suara %) -7,2 pp 10,8 pp *

(3) Difference-in-differences

3,8 pp*

(4) Regresi berganda

6,1 pp *

(5) Pencocokan

2,8 pp *

(5) Eksperimen Acak

Suatu kampanye pemungutan suara Metode (1) Perbandingan sebelum dan sesudah (2) Perbedaan sederhana

Dampak (suara %) -7,2 pp 10,8 pp *

(3) Difference-in-differences

3,8 pp*

(4) Regresi berganda

6,1 pp *

(5) Pencocokan

2,8 pp *

(5) Eksperimen Acak

0,4 pp

IV – Kesimpulan

Kesimpulan – Mengapa Melakukan Acak? • Ada banyak cara untuk mengestimasi dampak suatu program • Pelatihan ini membahas salah satu cara tersebut: ekperimen acak – Argumen konseptual: Jika dirancang dan dilaksanakan dengan tepat, eksperimen acak dapat memberikan metode paling kredibel untuk mengestimasi dampak dari suatu program – Argumen empiris: Metode-metode yang berbeda dapat menghasilkan estimasi dampak yang Source: www.theoryofchange.org 53 berbeda-beda

Kesimpulan – pertanyaan selanjutnya • Kapan RCT tidak mungkin dilakukan? • Jika mungkin dilakukan, kapan RCT tidak perlu dilakukan? • Apa kritik umum yang sering didengar dari RCT? Source: www.theoryofchange.org 54

Selanjutnya …

CARA PENGACAKAN

Mengapa melakukan pengacakan (Randomization)? John Floretta J-PAL South Asia

Recommend Documents