Penerapan Metode Penelitian Campuran pada Proyek Pembangunan Berbasis Masyarakat dan Mediasi Konflik Lokal: Studi Kasus dari Indonesia Patrick Barron, Rachael Diprose, Claire Q. Smith, Katherine Whiteside, and Michael Woolcock
30 June, 2004 Dipersiapkan untuk: Jurnal Sosiologi ‘Masyarakat’ Universitas Indonesia
This paper summarizes the methodological strategies and choices employed in an ongoing research project on conflict and community development in Indonesia. The project seeks to (a) understand the trajectories that local level conflicts take, and the factors that lead to resolution, stalemate, or escalation; (b) examine the impact of the Kecamatan Development Project (KDP) on the ability of communities to manage conflict; and on that basis (c) make recommendations to those designing and implementing related community-driven development (CDD) and conflict mediation projects in Indonesia (and, where relevant, elsewhere). As a relatively new research area, there are few existing models to draw upon. The paper thus grapples with the difficult empirical task of generating evidence to support causal inference, and concludes with some thoughts on how similar research strategies can be adapted to the assessment of other projects and contexts.
Patrick Barron – World Bank, Jakarta Rachael Diprose – World Bank, Jakarta Claire Q. Smith – London School of Economics Katherine Whiteside – World Bank, D.C. Michael Woolcock – World Bank, D.C. and Harvard University
I. Pengantar Tulisan ini adalah ringkasan strategi dan pilihan metodologi yang diaplikasikan dalam proyek penelitian yang sedang dilangsungkan di Indonesia. Proyek penelitian tersebut bertujuan untuk (a) memperoleh pemahaman mengenai jalur yang dipilih oleh konflik lokal, dan mengidentifikasi faktor-faktor apa yang mengarah pada resolusi, deadlock, atau eskalasi; (b) menganalisis dampak Proyek Pembangunan Kecamatan (PPK), proyek pembangunan berbasis masyarakat berskala besar yang didanai oleh Bank Dunia (US$1 milyar),1 terhadap kemampuan masyarakat untuk menangani konflik; dan berdasarkan hal tersebut (c) memberikan rekomendasi untuk para perancang pembangunan dan pelaksana pembangunan yang berbasis masyarakat dan proyekproyek mediasi konflik di Indonesia (dan dimana saja, sejauh ada relevansinya).2 Tujuan PPK dan Studi Negosiasi Konflik pada Masyarakat adalah menguak dampak-dampak program, dengan upaya untuk mengumpulkan bukti–bukti yang mendukung asumsi-asumsi program ini, walaupun secara empiris tugas ini cukup sulit. Oleh karena itu, selain melihat perubahan dalam kapasitas manajemen konflik, evaluasi ini berupaya meletakkan perubahan tersebut langsung pada sumber penyebabnya, melepaskan dampak program PPK, baik langsung maupun tidak, dari kekuatan-kekuatan lain. Tantangan teknis fundamental bagi evaluasi ini diantaranya memperkirakan kondisi counterfactual, dengan kata lain mengevaluasi apa yang dapat terjadi pada partisipan jika program ini tidak dilaksanakan. Oleh karena itu, untuk penelitian ini diambil responden individu, desa dan kecamatan sehingga menghasilkan unit analisis dari berbagai tingkatan (multiple units of analysis). Karena kondisi counterfactual tak dapat diobservasi, untuk mengestimasinya peneliti menggunakan berbagai pendekatan metodologis dan penyelidikan di daerah yang sama yang tidak menerima bantuan. Sementara pendekatan empiris yang paling banyak digunakan adalah memberikan berbagai tugas yang berbeda untuk responden dan kelompok pemilik wewenang (control groups),3 PPK dan banyak inisiatif pembangunan lainnya tidak menjalankannya secara demikian. Maka tantangan penelitian yang pertama adalah membangun metodologi yang bisa mengisolasi dampak PPK ketika partisipasi telah disiapkan. Sebagai tambahan, karena penelitian dimulai setelah program berjalan, studi ini harus mengganti kekurangan data pre-programnya - kondisi daerah sebelum program/baseline data (contohnya dengan menyusun narasi historis dan menanyakan pertanyaan-pertanyaan kepada responden untuk mengingat kembali). Selain tantangan empiris, fokus subyek pada konflik menambah lebih banyak lapisan kompleksitas. Konflik adalah topik yang sensitif dimana orang sering kali merasa tidak nyaman membicarakannya. Rakyat dan pejabat dapat memperoleh bermacam-macam insentif bila mereka menutup mulut, sehingga masalah tidak dilaporkan. Kekerasan juga menambah perhatian praktis dan etis, termasuk di dalam pertimbangan untuk melindungi keselamatan staf lapangan dan memastikan bahwa proses penelitian tidak memunculkan kembali atau memperbesar pertikaian yang telah ada. 1
Untuk ringkasan mengenai PPK dan pemikiran yang mendasarinya, lihat Guggenheim (2004). Metodologi secara rinci lihat Barron et al. (2004). 3 Untuk batas-batas macam-macam tugas tersebut (randomization) sebagai strategi and alat evaluasi, lihat Ravallion (2003). 2
2
Konflik juga merupakan topik yang rumit dengan banyak faktor terkait didalamnya. Di Indonesia, transisi dinamis makro –yaitu dari negara otokratis menuju dasar yang demokratismembantu menjelaskan latar belakang berbagai konflik yang ada tersebut. Selama tiga puluh tahun pemerintah Orde Baru, struktur lembaga pemerintahan yang ‘vertikal’ telah menekan sumber-sumber konflik dengan mengorbankan hak-hak asasi manusia Indonesia. Ketika rejim dengan sistem kontrol dan intimidasi tersebut jatuh, ketegangan yang telah lama tertekan muncul ke permukaan. Pada saat itu, polisi, militer, sistem yudikatif dan legistatif, tidak mampu menahan kekerasan yang semakin merajalela, entah karena terlalu lemah atau terlalu kompromistis. Hukum desentralisasi dan otonomi daerah yang baru mulai berjalan yang dibarengi dengan proses demokratisasi, telah menempatkan negara ini pada jalur potensial untuk perubahan dramatis sikap masyarakat Indonesia (Friend, 2003). Namun demokrasi yang sepenuhnya belum terlaksana dan kekosongan penanganan konflik belum terisi. Pada tingkat lokal, etnis, bahasa, agama, dan berbagai identitas kelompok lainnya, ketidakmerataan ekonomi, dan perdebatan atas sumber daya dan nilai memberikan kontribusi bagi ketegangan sosial. Tanpa kapasitas tingkat lokal yang mampu menangani konflik, ketegangan sosial sangat potensial untuk pecah menjadi konflik kekerasan. Dalam kompleksitas ini, kami ingin memahami kekuatan tertentu yang menambah atau mengurangi konflik, lalu memisahkan dampak program PPK dan prosesnya dari faktor-faktor lainnya. Sebagai suatu lapangan penelitian yang relatif baru, tidak terdapat banyak model untuk membantu tugas kami. Penelitian sebelumnya memfokuskan pada konflik berskala besar, dan melaksanakan salah satu diantara pendekatan satu studi kasus (menimbulkan masalah perluasan untuk penggeneralisasian) atau ragam data kuantitatif nasional (kurang melihat masalah-masalah regional –termasuk variasi, konteks dan prosesnya- secara seimbang). Menyelidiki hubungan kausal mengenai fenomena yang sensitif dan multi-dimensional ini, secara logis tentulah mengarah pada desain metode penelitian campuran dan integratif. Oleh karena itu, penelitian ini menggunakan batasan sampling kuantitatif untuk membatasi generalisasi, memisahkan dampak program terpisah, dan mendukung asumsi kausalnya. Kerja lapangan mengkombinasikan metode-metode kualitatif (yang mengeksplorasi masalah dengan lebih dalam, membangun kepercayaan untuk memfasilitasi diskusi yang sensitif, dan masuk ke dalam proses) dengan kerja lapangan kuantitatif dan analisis data sekunder (yang mengumpulkan data umum dan obyektif yaitu mendokumentasikan tren yang lebih luas, memampukan perbandingan antar desa, dan memampukan kita menguji generalitas hipotesa). Menyatukan dua metodologi memberikan pemahaman mengenai konflik dan hubungan PPK terhadap konflik yang lebih menyeluruh dan terpercaya dibandingkan hanya menggunakan satu pendekatan saja. Sementara fokus penelitian adalah mengevaluasi evolusi konflik pada tingkat lokal dan dampak PPK pada pengelolaan konflik di Indonesia, tujuan yang menyertainya adalah untuk membangun dan membagi metode dan alat penelitian inovatif dengan peneliti yang tertarik serta praktisi pembangunan. Bagaimanapun juga, penelitian yang kami deskripsikan ini tidak dapat diaplikasikan langsung ke lokasi yang baru. Upaya ini telah berevolusi selama beberapa tahun dan bersandar pada kekuatan, sumber dan pengalaman banyak kontributor. Kami rasa tidak berlebihan penekanan mengenai pentingnya pertimbangan konteks lokal yang serius dan
3
diperluas, serta komitmen untuk melatih dan melibatkan semua anggota tim peneliti.4 Jadi dengan semakin banyaknya pembatasan metodologi dan bahan pelatihan, kami harap, akan menyediakan penyesuaian hipotesa dan pertanyaan penelitian serta instrumen lapangan kepada situasi lokal.
4
Bahan-bahan pelatihan yang lengkap yang digunakan untuk mempersiapkan tim peneliti kualitatif (lihat Barron, Diprose and Smith, 2004) akan segera tersedia online bagi siapa saja yang mempertimbangkan atau terlibat dalam penelian yang sama di tempat lain.
4
II. Pertanyaan Penelitian Strategi penelitian bertujuan membuat pertanyaan mengarahkan kearah mana metodenya (Mills, 1959). Oleh karenanya, kita harus mengidentifikasi pertanyaan-pertanyaan yang penting, menarik, dan bisa diteliti; menarik hipotesis khusus untuk diuji, kemudian memilih metode yang paling sesuai untuk mendapatkan jawaban yang baik (lihat Rao dan Woolcock, 2003). Disini kita mencari pemahaman mekanisme dimana proyek pembangunan partisipatif membantu warga desa mengelola konflik lokal. Khususnya, kami ingin mengetahui apa, bagaimana, dan pada kondisi apa PPK mempengaruhi kapasitas pengelolaan konflik lokal. Dilihat dari programnya, kami memprediksikan bahwa PPK dapat mempengaruhi pengelolaan konflik lokal karena ia membutuhkan masyarakat untuk memasukkan proposal untuk bantuan dana pada komite yang merupakan kolega mereka, yang mengevaluasi mereka berdasarkan nilai teknis, efek yang mungkin didapat dan keberlangsungannya, dan memprioritaskan mereka berdasarkan kebutuhan lokal. Proses ini menggabungkan kelompok yang sebelunnya termarjinalisasi dalam proses pembuatan keputusan. PPK kemudian membuat “forum masyarakat yang baru (dan dirancang inklusif) untuk pembuatan keputusan bagi masalahmasalah kunci” (Wetterberg and Guggenheim, 2003). Namun PPK sepertinya hanyalah sebuah potongan dari satu teka-teki besar dan membingungkan yang mempengaruhi dampak, durasi, dan pengelolaan konflik lokal. Maka dari itu, dalam pencarian ‘kebenaran’ mengenai pengaruh PPK , kita juga perlu meneliti dan memahami sejumlah faktor lokal. Khususnya, metodologi dan desain penelitian harus merespon tiga bidang penelitian di bawah ini; masing-masing berhubungan erat dengan pertanyaan penelitian dan hipotesa yang akan diuji.5 1. Faktor lokal yang mempengaruhi tingkat konflik kekerasan Pertanyaan penelitian pertama adalah: Apa faktor utama yang mempengaruhi kapasitas tingkat lokal dalam menangani konflik? Termasuk didalamnya: (a) faktor ekonomi dan struktural yang kami kira dapat menentukan pihak yang terlibat dalam konflik; (b) faktor psikologis dan kultural, yang dapat menjelaskan aktor dan intensitas konflik; dan (c) faktor lembaga sosial dan politik yang potensial menentukan jauhnya dua rangkaian faktor pertama berkembang ke arah yang mendorong atau menghambat konflik kekerasan. 2. Bentuk interaksi warga masyarakat yang membantu menyelesaikan atau mengelola konflik Kelompok pertanyaan penelitian berikutnya termasuk: Seberapa pentingkah sifat dan luas interaksi antara kelompok yang berbeda, dan antara kelompok tersebut dengan pemerintah, pada mediasi konflik lokal? Bagaimana batasan antara kelompok yang berbeda dibangun dan dipertahankan? Disini kami menguji hipotesa yang berhubungan dengan: (a) peran potensial lembaga antar kelompok etnis dalam mereduksi konflik; (b) pentingnya aktivitas formal versus informal antar kelompok etnis dalam mempengaruhi tingkat konflik; (c) apakah kurangnya 5
Hipotesa ini dibangun pada awal penelitian berdasarkan literatur yang kami baca sebelum penelitian lapangan pada tahun sebelumnya di empat provinsi (Lampung, Kalimantan Tengah, Jawa Timur, dan NTT), gambaran dari staf lapangan mengenai sifat dan luasan pengaruh PPK, dan pemikiran kita terhadap dampak mediasi lokal tertentu yang diperkirakan dapat diperoleh dari staf lapangan mengenai sifat dan luas dampak PPK, dan pemikiran kita mengenai dampak yang dapat dihasilkan PPK semaksimal mungkin dalam mempengaruhi mediasi konflik lokal tertentu. Hipotesa tersebut telah diperbaiki dengan semakin terbukanya penelitian, dengan putusan final menunggu sampai analisis data kami lengkap.
5
forum yang menjembatani di dalam komunitas multi-etnis berarti konflik antar kelompok etnis cenderung memicu konflik dengan kekerasan; dan (d) apakah lembaga-lembaga tradisional melarang kapasitas pengelolaan konflik ketika mereka tidak melibatkan kelompok etnis lain dalam pembuatan keputusan.6 3. Hubungan antara PPK dan Pengelolaan Konflik Masyarakat Rangkaian pertanyaan penelitian dan hipotesa terakhir ditujukan khususnya pada peran PPK, dengan menanyakan: Apakah PPK membantu masyarakat mengelola konflik dengan lebih konstruktif? Secara umum, dapatkan agen eksternal membantu masyarakat menciptakan lembaga tingkat lokal yang lebih inklusif, transparan, dan akuntabel untuk memediasi konflik? Jika ya, untuk kasus konflik jenis apa, dan pada kondisi yang seperti apa? Secara lebih spesifik lagi, PPK memberikan dampak positif untuk tipe kasus yang seperti apa? Pada kasus seperti apa ia memperkeruh konflik? Kondisi eksternal apa yang harus dicapai PPK untuk mendapatkan dampak yang positif? Jika PPK memiliki dampak, elemen PPK manakah yang terlihat paling berpengaruh, dan secara spesifik, melalui mekanisme mana PPK dapat mempengaruhi perubahan? III. Menggunakan Metode Campuran Sebagai Jawaban Pertanyaan Penelitian Untuk menjawab serangkaian pertanyaan penelitian dan menyelidiki runtutan kejadian-kejadian yang kausal, kami merancang suatu metode evaluasi yang menggabungkan komponen kualitatif dan kuantitatif dengan cara yang saling melengkapi dan secara positif saling mendorong antara satu dengan lainnya. Sumbangan Metode Kualitatif Kontribusi metode kualitatif berakar pada subyek materinya. Pendekatan kualitatif lebih mampu menganalisis dinamika dan jalur konflik lokal, karena fenomena ini sulit untuk dilaksanakan secara kuantitatif dan terikat pada konteks lokal –area yang sulit itu dideskripsikan dengan pendekatan kuantitatif. Dan karena dinamika konflik tidak pernah habis untuk dipelajari, metode-metode kualitatif membantu tim peneliti untuk tetap terbuka pada penemuan-penemuan yang tak terduga. Lebih jauh lagi, studi ini juga tertarik pada masalah proses, lagi-lagi suatu area yang lebih baik didekati dengan eksplorasi kualitatif. Pertama, pendekatan kualitatif dibutuhkan untuk mengidentifikasi mekanisme utama yang memicu, mempertahankan, atau menyelesaikan konflik. Demi tujuan ini, tim peneliti melaksanakan penelitian lapangan kualitatif kuasiantropologis selama tujuh bulan untuk membangun studi kasus yang menunjukkan seberapa jauh keberbedaan para aktor –warga desa, fasilitator, pemimpin lokal– dalam menegosiasikan bersama-sama (atau gagal menegosiasikan) bermacam-macam jenis konflik dalam situasi yang berbeda-beda. Dengan menggunakan metode proses penelusuran yang telah dimodifikasi (Bennett and George, 1997; Varshney, 2002), peneliti menyelidiki ‘jalur konflik’, dan berusaha untuk memahami tahap-tahap yang berbeda dalam evolusi konflik. Dengan melakukan hal ini, peneliti menjadi lebih bisa mengidentifikasi faktor-faktor yang mentransformasikan ketegangan 6
Walaupun hipotesa awal kami berfokus pada interaksi dan konflik antar kelompok etnis, penelitian kami menemukan bahwa interaksi antar kelompok dalam makna yang lebih luas sama pentingnya.
6
sosial yang melatarbelakangi konflik menuju ke hasil-hasil yang berbeda (kekerasan atau damai). Kedua, sebagai evaluasi terhadap PPK, studi ini harus mendalami berbagai komponen dan proses di dalam program PPK untuk mengerti mengapa setiap pihak berinteraksi dengan konflik dan pengelolaannya. Informasi pengidentifikasian pengaruh positif dan negatif PPK akan digunakan para manager untuk memperbaiki keefektifan program. Untuk kedua area tersebut, metode kualitatif merupakan hal yang krusial untuk memahami mekanisme-mekanisme dimana variabel tertentu dan konteks lokal menjadi penting. Instrumen Kualitatif dan Jenis Data yang Dikumpulkan Peneliti menggunakan tiga instrumen kualitatif -yaitu wawancara mendalam, diskusi kelompok terarah (focus group discussions - FGD), dan wawancara informal/observasi partisipatif- untuk mengumpulkan dua jenis data: Data kasus dan data umum. Alat penelitian yang paling dasar bagi penelitian kualitatif adalah wawancara mendalam, yang dialokasikan pada hampir seluruh waktu peneliti di lapangan dan merupakan bagian yang lebih besar dari data yang harus dianalisis. Secara keseluruhan, kami melaksanakan hampir 800 wawancara mendalam. Peneliti menggunakan pendekatan terbuka, yaitu mereka diberikan cakupan topik untuk dibicarakan, tapi mereka bebas untuk memilih yang mana pada wawancara tertentu; dan mereka diberikan daftar pertanyaan panduan, tetapi bebas untuk mengadaptasikannya untuk mendapatkan informasi yang dibutuhkan. Yang paling penting, semua staf lapangan diberikan pelatihan yang cukup dalam mengenai bagaimana melaksanakan wawancara-wawancara ini dan menulisnya dalam laporan setelah proses tersebut (lihat Barron, Diprose and Smith, 2004). Peneliti juga harus menggunakan instrumen penelitian sekunder, yaitu Focus Group Discussion (FGD), untuk tiga tujuan utama. Pertama, mereka menggunakan FGD untuk mengumpulkan informasi mengenai kasus konflik spesifik dari kelompok yang kelihatannya sulit diakses di tempat lain. Kelompok-kelompok ini termasuk mereka yang ‘termarjinalisasi’ (contohnya perempuan miskin), dan juga yang sulit ditemui atau diakses (contohnya korban kekerasan rumah tangga). Kedua, mereka menggunakan FGD untuk mengumpulkan informasi latar belakang yang umum di desa yang dipelajari, termasuk data kehidupan masyarakat, kelompok, serta jaringan-jaringan yang ada di desa, kondisi ekonomi, dsb. Ketiga, mereka menggunakan FGD untuk mengumpulkan perspektif mengenai konflik, dan lebih luas lagi, keamanan, yang berbeda-beda. Perempuan khususnya, sering kali memiliki sudut pandang yang berbeda dibandingkan tokoh yang berwenang mengenai apa yang memnyebabkan terjadinya masalah dan isu besar di desa. Untuk wawancara mendalam dan FGD, peneliti mengikuti panduan yang spesifik berkaitan dengan sampling responden. Hal ini membuat mereka berhasil mencakup populasi yang beragam, menyeimbangkan antara tokoh-tokoh yang berwenang dan tidak berwenang, dan antara laki-laki dan perempuan. Mereka mewawancarai anggota-anggota dari berbagai lembaga, profesi dan kelompok yang ada di desa. Untuk kasus-kasus konflik, peneliti menggunakan sampling bola salju (snowball sampling) untuk mengidentifikasi ‘orang yang ahli’ pada kasus tertentu -baik mereka yang terlibat maupun yang mengobservasi.
7
Instrumen penelitian ketiga yang kami gunakan sebenarnya terdiri dari dua metode yang berbeda: wawancara informal dan observasi partisipatif. Penggunaan metode informal dilaksanakan untuk dua tujuan utama: pertama, untuk mengumpulkan informasi kunci yang ‘tidak terungkap’ dari cara orang bertindak, hubungan mereka, dan seterusnya; dan yang kedua, untuk mengumpulkan informasi yang diungkapkan orang dari lingkungan-lingkungan informal. Teknik ini membantu penjalinan hubungan yang lebih dalam dan memberikan jalan bagi wawancara mendalam yang formal, yang kesemuanya itu membutuhkan waktu yang tidak sedikit. Tidak seperti instrumen lainnya, tidak ada sampling responden yang formal. Responden hanyalah orang-orang yang ditemui dan dilihat peneliti yang adalah sumber informasi yang potensial. Namun, teknik ini khususnya berguna untuk memperoleh informasi dari kelompok ‘marjinal’ dan ‘yang bungkam.’ Dibeberapa kasus, perempuan tidak merasa nyaman bila diwawancara secara formal, tetapi mereka akan dengan senang hati berbicara sewaktu peneliti membantu mereka dalam pekerjaan rumah tangga. Secara umum, sebagai tambahan untuk mengikuti kasus-kasus yang spesifik, peneliti juga mengumpulkan data konflik dan demografi desa serta kecamatan untuk menciptakan gambaran ‘peta konflik’ yang lebih besar di lokasi penelitian, dan membantu kami menguji generalitas hipotesa dari jalur konflik studi kasus. Sumbangan Metode Kuantitatif Sumbangan metode kuantitatif yang paling utama adalah menciptakan generalitas dan kausalitas –tugas yang sulit dipenuhi dengan kerja kualitatif karena sampel yang kecil dengan seleksi tidak acak, baik untuk pemilihan lokasi penelitian maupun responden. Pada tingkat yang paling luas, rancangan penelitian menggunakan sampling kuantitatif untuk menangkap gambaran dimensi-dimensi heterogenitas di dalam populasi dan meningkatkan kemampuan hasil sehingga dapat diandalkan. Karena kami mencari pola-pola umum dampak proyek, penemuan kami akan semakin diperkuat jika ditopang oleh berbagai situasi yang berbeda. Oleh karena itu, untuk penelitian lapangan kami memilih dua provinsi yang sangat berbeda dengan dua kabupaten yang kapasitasnya tinggi dan rendah, kemudian menelusuri kasus konflik yang mirip antara kecamatan PPK dan non-PPK (lihat bagian berikutnya). Kami menggunakan penyelidikan kualitatif untuk memverifikasi akurasi pasangan yang telah diidentifikasi lewat teknik kuantitatif untuk memastikan bahwa mereka merefleksikan situasi yang sebenarnya di lapangan. Karena data kualitatif rawan untuk dipengaruhi subyektifitas individu peneliti yang mengumpulkannya, kami menggunakan metode yang tidak terlalu konteks untuk memperoleh data numerikal yang lebih obyektif. Survey, secara harafiah, adalah pengumpulan data umum dan bukannya kasus yang spesifik. Dengan memasukkan rangkaian data numerical yang cukup banyak, yang terdiri dari indikator dan variabel yang meliputi cakupan faktor-faktor yang luas yang kami rasa dapat mempengaruhi tingkat konflik lokal, kami dapat menguji validitas dan generalitas rangkaian hipotesis kami. Dengan data seperti ini, kami berupaya menempatkan korelasi antar faktor-faktor yang memberikan kontribusi (faktor-faktor lokal, lembaga masyarakat, PPK) di tempat tersendiri, dan memisahkan dampak PPK dari pengaruh karakter tertentu yang ada di lokasi penelitian. Dengan semakin besarnya sampel, kami dapat menguji
8
cakupan penemuan kami pada lokasi penelitian yang lebih luas (desa, kecamatan, kabupaten, dan provinsi). Metode Kuantitatif dan Jenis Data yang Dikumpulkan Bila instrumen kualitatif mengumpulkan data kasus dan data umum, instrumen survey kuantitatif mengumpulkan data umum yang lebih sedikit. Kami menggunakan tiga instrumen kuantitatif: survey informan kunci yang terfokus, survey informan kunci yang lebih besar tetapi tidak terlalu fokus (PODES), dan survey rumah tangga nasional (GDS).7 Pada fase penelitian kualitatif yang ketiga, tim peneliti melaksanakan survey ke berbagai informan kunci di tingkat kecamatan dan desa yang pada saat itu dibatasi hanya pada lokasi penelitian tempat penelitian kualitatif dilaksanakan. Kuesionernya sebagian besar berfokus pada peran PPK di lokasi tersebut, sejauh mana ia digunakan untuk menyelesaikan masalah (PPK dan non-PPK), dan sejauh mana efek ‘spillover’ dapat ditentukan. Pada setiap empat kabupaten yang diteliti, survey dilaksanakan di tiga kecamatan PPK, dimana di tiap kecamatan dilakukan survey pada dua sampai tiga desa (jadi ada sampel dari dua belas kecamatan dan dua puluh delapan desa). Survey dilakukan terhadap tiga responden di kecamatan, dan delapan lainnya di desa, sehingga diperkirakan sampel adalah 260 responden. Data ini membantu kami mengontrol seberapa baik kinerja PPK di setiap lokasi dan mengeksplorasi hubungan PPK dengan konflik dan pengelolaan konflik. Namun generalisasi dari sumber data ini akan dibatasi hanya pada lokasi penelitian kualitatif. Rangkaian Potensi Desa (PODES) yang dilaksanakan pemerintah lewat Biro Pusat Statistik (BPS) adalah survey yang sudah ada sejak lama dengan pengumpulan data pada tingkat pemerintah lokal terendah. PODES mengumpulkan informasi yang rinci untuk berbagai karakteristik -dari infrastruktur sampai keuangan desa- pada 69.000 desa dan lingkungan di Indonesia. PODES yang terbaru dilaksanakan pada akhir 2002 sebagai bagian dari sensus Desa 2003. Untuk pertama kalinya, PODES 2003 memasukkan bagian politik, konflik, dan kriminal. Data PODES membantu memetakan kejadian konflik dan kekerasan di Indonesia dan membantu peneliti menguji hipotesa dasar mengenai faktor yang dihubungkan dengan konflik yang tingkatnya lebih tinggi (lihat Barron, Kaiser and Pradhan, 2004). Keterbatasan sumber data ini adalah responden yang diwawancarai di tingkat desa hanyalah pemimpin desa yang cenderung ‘tidak melaporkan’ konflik yang ada di desanya dan menggambarkan gambaran kondisi damai dan harmonis agar mendapatkan dana pembangunan. Survey Pemerintahan dan Desentralisasi (GDS) adalah bagian dari proyek Analisis Empiris Desentralisasi di Indonesia (IDEA), yang dilaksanakan oleh Bank Dunia bersama-sama dengan CPPS-GMU (Pusat Studi Kebijakan Publik-Universitas Gajah Mada). Survey ini bertujuan untuk meyakinkan dampak desentralisasi yang sangat cepat yang berlangsung di Indonesia sejak 2001 terhadap beberapa faktor yang bervariasi dari kinerja pemerintah lokal, pelayanan jasa, sampai kepada keberfungsian sistem peradilan. Pendataan awal dilaksanakan di 150 (hampir separuh) dari kabupaten di Indonesia pada tahun 2001. Sebagai bagian dari survey lanjutan yang akan dilaksanakan pada akhir 2004, akan dimasukkan sebuah modul mengenai konflik dan pemecahan 7
Untuk lebih jelasnya, kami merancang dan melakukan survey informan kunci; mengkontribusikan satu modul pada survey GDS tetapi tidak berpartisipasi dalam pelaksanaan, dan meminjam data yang dibuat oleh survey PODES pemerintah.
9
masalah kedalam survey, dengan ikut memperluas sampel. Jadi GDS akan menyediakan sumber data mengenai tingkat konflik yang kaya (seperti yang dilaporkan pada tingkat rumah tangga) dan data mengenai berbagai faktor ‘kelembagaan’ dan ‘pemerintahan’ lainnya yang dapat menurunkan tingkat konflik/kekerasan. Penggodokan modul ini didasarkan pada hipotesa yang muncul dari studi lapangan kualitatif, analisis surat kabar dan hasil survey PODES. Hasil metodologis yang diperoleh dari survey PODES juga mempengaruhi rancangan survey. Data Sekunder Berdasarkan fakta bahwa kekerasan adalah kejadian yang tidak acak dan relatif jarang, dan berdasarkan pada kenyataan keterbatasan dana dan dengan demikian juga ukuran sampel, sangatlah sulit untuk menggunakan instrumen survey rumah tangga untuk menangkap gambaran tingkat kekerasan di level lokal secara akurat. Survey informan kunci mengatasi beberapa masalah ini tapi tidak dapat menghadapi masalah lain seperti konflik yang tidak dilaporkan dan laporan tipe-tipe konflik yang bias.8 Untuk meresponnya, analisis paska-studi lapangan kualitatif terhadap arsip surat kabar lokal akan menunjukkan pembuatan pencatatan data untuk setiap ‘insiden’ konflik kekerasan di kabupaten yang diteliti. Data ini –dengan penggunaan sumber data sekunder lainnya seperti data kriminal milik polisi dan informasi dari penyedia layanan kesehatan- dapat membantu kita memperkirakan agregasi tingkat kekerasan, karakteristik kejadian (tipe konflik, aktor yang terlibat, dampaknya, dsb), dan variasi waktu dan tempat. Penggabungan Metode Rancangan penelitian ini menggunakan strategi yang terus menerus untuk menggabungkan metode kualitatif dan kuantitatif, menciptakan dialog yang terus-menerus antara dua pendekatan ini. Dengan memperdalam subyek materi dari berbagai sudut, kami menggunakan triangulasi untuk memverifikasi bahwa penemuan penelitian kami merefleksikan hubungan yang sebenarnya antara PPK dan konflik. Untuk memulainya, data penelitian awal mengenai lokasi penelitian dikumpulkan sebelum studi lapangan kualitatif dimulai, dan menginformasikan rancangan dan implementasi strategi untuk studi kualitatif dan kuantitatif yang mengikutinya. Studi awal dimulai dengan proses pemetaan konflik (distribusi spasial dan karakteristiknya) untuk membantu sampling di kabupaten dan kecamatan; menyediakan masukan bagi pembangunan hipotesa penelitian dan pertanyaan, serta instrumen pengumpulan data; dan, mengumpulkan dan melakukan analisis awal latar belakang sekunder penelitian (statistik, tulisan-tulisan ilmiah, artikel surat kabar, dsb.). Bila sudah berjalan, penelitian kualitatif mendalam mengidentifikasi jenis pertanyaan yang tepat (dan penyususnan katanya) untuk dimasukkan dalam survey kuantitatif yang lebih umum. Satu hal yang penting, instrumen kuantitatif disusun dan dibangun ketika studi kualitatif sedang dilaksanakan; jadi rancangannya menggambarkan penemuan-penemuan yang muncul –dan pelajaran-pelajaran metodologis dari- studi kualitatif. Sebaliknya, studi lapangan kuantitatif menguji generalitas hipotesa yang muncul dari penelitian kualitatif. Sebagai tambahan, analisis surat kabar dan sumber data sekunder lainnya memberikan perkiraan agregasi tingkat konflik kekerasan di lokasi penelitian kami.
8
Lihat Barron, Kaiser and Pradhan (2004) untuk melihat kelemahan alat survey untuk mengukur konflik.
10
Banyak bidang informasi yang kita inginkan untuk memperoleh data survey yang spesifik yang mencerminkan kategori data umum yang digunakan peneliti kualitatif. Ini memang disengaja: melihat masalah dari berbagai sudut pandang metodologis yang berbeda memberikan kita kepercayaan diri bahwa penemuan kita benar, dan bias yang tak terhindarkan, walaupun variabel, yang dibangun pada metode penelitian manapun akan merusak penemuan penelitian. Singkatnya, jika kita memperoleh dua jawaban yang sama dari satu pertanyaan, tetapi menggunakan metode dan pendekatan yang berbeda, sangatlah beralasan kita yakin bahwa jawaban kita adalah sebenar dan seobyektif mungkin. Secara ringkas, grafik dibawah memberikan ilustrasi bagaimana kombinasi metode dan jenis data memberikan gambaran konflik dan dampak PPK yang lebih holistik dibandingkan hanya dengan satu sumber atau pendekatan metodologis. Jadi masing-masing memberikan kontribusi yang berbeda dalam upaya menggambarkan hal yang benar yang berusaha kami ungkap dalam penelitian ini.
Kualitatif (kedalaman)
Kuantitatif (luas)
Survey Desentralisasi (GDS) Survey Potensi Desa (PODES) Analisis surat kabar
Survey responden kunci
Studi Kasus
IV. Pembatasan Sampling Salah satu aspek penting dari perancangan penelitian adalah penggunaan sampling kuantitatif yang dibatasi dalam memilih lokasi penyelidikan kualitatif. Seperti telah dikemukakan di atas, memasukkan heterogenitas populasi dalam pertimbangan memberikan percaya diri yang lebih besar bahwa penemuan penelitian kita tidak hanya melihat karakteristik tertentu (idiosinkretik?) pada lokasi penelitian kita. Variasi Tingkat Provinsi Tujuan pemilihan provinsi untuk pekerjaan kualitatif adalah untuk memilih dua provinsi yang sama sekali berbeda untuk diteliti: sejalan dengan upaya pencarian pola dampak dari proyek, penemuan kita akan diperkuat jika dibangun dari situasi yang berbeda-beda. Kami memfokuskan 11
pada berbagai variabel untuk menentukan sifat suatu provinsi, termasuk (a) ukuran dan kepadatan populasi, (b) homogenitas etnis, (c) homogenitas agama (dan kelompok keagamaan yang dominan), dan (d) keseluruhan tingkat pembangunan provinsi, termasuk penyediaan dan akses kepada pelayanan publik dan infrastruktur. Kami mengecualikan provinsi dengan tingkat konflik yang paling tinggi dengan yang paling rendah. Sejak PPK beroperasi di tingkat kecamatan dan dibawahnya, faktor eksternal positif manapun yang muncul yang bisa dihasilkannya cenderung untuk diarahkan pada pengelolaan konflik yang ada pada tingkat tersebut. Dengan melihat sifat konflik pada provinsi dengan konflik yang tinggi, dimana pemisahan muncul pada tingkat provinsi atau setidaknya kabupaten, jika kita sudah memilih provinsi tersebut, kita akan membuat penelitian kita terhadap dampak proyek menjadi bias. Bahkan, di daerah dengan konflik yang tinggi –dimana tingkat kekerasan dipengaruhi oleh aktor eksternal dan faktor eksogen (seperti tindakan militer)- akan menjadi lebih sulit untuk memisahkan dampak potensial dari variabel kausal yang lain di lokasi penelitian. Variasi Tingkat Kabupaten Di setiap provinsi, kami memilih dua kabupaten –satu yang kemampuan pengelolaan konfliknya “tinggi” dan satu lagi yang kemampuannya “rendah.” Lokasi tersebut dipilih setelah melalui proses konsultasi yang intensif dengan pemerintah di tingkat provinsi, LSM internasional dan lokal, ahli pembangunan daerah, lembaga penelitian dan agama, universitas, dan staf PPK. Dengan memilih kabupaten yang berkapasitas “tinggi” dan “rendah”, kita dapat mempertahankan klaim kita berkaitan dengan sifat dan luasnya dampak PPK pada resolusi konflik lokal dengan menunjukkan bahwa mereka telah muncul, lepas dari apakah lingkungan yang lebih luas ‘kondusif’ kepada resolusi konflik atau tidak.9 Pemadanan Kecamatan Pada dua fase awal penelitian kualitatif, kami memilih dua kabupaten dalam setiap satu kabupaten yang diteliti –lokasi PPK dan non-PPK yang semirip mungkin satu sama lain. Yang pertama telah memiliki program PPK1 selama 3 tahun (disebut lokasi ‘treatment’); dan yang terakhir belum pernah memiliki PPK1 (disebut lokasi kontrol). Pemilihan pasangan yang mirip dilakukan untuk sebisa mungkin mengontrol dampak non-program yang dapat muncul dari perbedaan sosio-ekonomi, kelembagaan, dan perbedaan lainnya. Kami menggunakan metode campuran untuk mengidentifikasi pasangan. Pertama, kami menggunakan propensity score matching10 untuk memilih lokasi PPK dan non-PPK berdasarkan karakteristik pra-intervensi dari data PODES dan SUSENAS.11 Kemudian kami menggunakan metode kualitatif –wawancara di tingkat kabupaten dengan pejabat pemerintah dan ahli lainnya- unruk memilih diantara pasangan
9
Idealnya, kita harusnya menggunakan data statisktik mengenai insiden konflik untuk membantu pemilihan ini, namun bukti-bukti tersebut tidak ada di Indonesia pada saat itu. 10 Teknik statistik yang digunakan untuk mengidentifikasi dan membandingkan kelompok ‘treatment’ dan ‘nontreatment’ berdasarkan probabilitas pemilihannya. Lihat See Rosenbaum & Rubin (1985), atau Baker (2000) untuk pengantar umum. 11 SUSENAS adalah Survey Pengeluaran Rumah Tangga Nasional yang dilaksanakan oleh badan pemerintah bernama Biro Pusat Statistik.
12
yang dipilih dan menggabungkannya dengan sumber lain yang memiliki kemiripan atau perbedaan.12 Contoh keseluruhan sampel dapat dilihat pada skema di bawah ini. Jawa Timur
Kapasitas Tinggi Ponorogo
PPK Badegan
NonPPK Sampung
NTT
Kapasitas Rendah Pamekasan
PPK Proppo
Non-PPK Palengaan
Kapasitas Tinggi Sikka
PPK Nita
NonPPK Maumere
Kapasitas Rendah Manggarai
PPK Lamba Leda
NonPPK
Kota Kumba
Penelitian kualitatif fase tiga diperluas dengan menambahkan dua kecamatan di tiap kabupaten yang diteliti. Hal ini dilakukan untuk memverifikasi bahwa kinerja PPK di lokasi penelitian mewakili bagaimana ia bekerja di kecamatan lainnya dalam kabupaten yang sama, dan untuk memasukkan lokasi ‘treatment’ yang baru untuk mengganti daerah dimana PPK tidak berjalan sebagaimana mestinya.13 Kami memilih kecamatan tambahan yang memiliki PPK setidaknya selama tiga tahun, telah melewati batas minimum akseptabilitas kinerja PPK yang berkaitan dengan transparansi dan akuntabilitas, dan berbeda dengan lokasi PPK lain yang kita teliti dilihat dari karakteristik budaya, geografis dan demografi. Jadi di Jawa Timur kami menambahkan dia kecamatan PPK (Slahung dan Jenangan) di Ponorogo, dan dua (Pasaen dan Pademawu) di Pamekasan; dan untuk NTT kami menambah dua (Talibura dan Paga) di Sikka, dan dua (Cibal dan Ruteng) di Manggarai. Pemilihan Kasus dan Desa Kami menentukan lokasi penelitian kualitatif berdasarkan kasus konflik, daripada berdasarkan desanya. Kami membuat peta ketegangan sosial besar (disusun pada penelitian Fase1) untuk membantu kita memilih kasus-kasus primer berikut ini di setiap kecamatan untuk penyelidikan di lokasi non-PPK (Fase 2A) dan kemudian dicocokkan dengan lokasi PPK (Fase 2B): Kasus Satu dan Dua: Kasus mirip, hasil berbeda (Dalam satu kecamatan) Kami memilih kasus konflik yang mirip dalam setiap kecamatan, tetapi dengan hasil yang berbeda: satunya dengan kekerasan, sementara yang lainnya dengan damai. Kami mengevaluasi kesamaan berdasarkan jenis dan skala konflik, ketegangan yang mendasarinya, dan tipe aktor. Dengan meneliti kasus yang mirip, kami memperoleh ide yang lebih baik tentang apa yang ada dan yang hilang yang akhirnya menelurkan hasil yang berbeda (kekerasan atau damai). 12
Lewat proses ini kami mempelajari bahwa memastikan keakuratan nilai kemungkinan/propensitas yang cocok melibatkan penyelidikan lapangan yang cukup substantif dari segi jumlah. Pada khususnya, perbedaan budaya mempengaruhi pengelolaan konflik dan sulit untuk diukur dan dicocokkan secara statistik. 13 Ketika program tidak berjalan dengan benar, pengaruh PPK menjadi sulit ditemukan. Untuk menggantinya, kami sengaja memperluas sampel ke kecamatan dimana PPK berjalan dengan baik. Dampaknya adalah penelitian kami menyelidiki dampak PPK dimana ia berjalan dengan relatif baik, dan bukannya dampak program PPK secara umum.
13
Kasus Tiga: Kasus mirip di dua kecamatan (PPK dan non-PPK) Kami memilih kasus ini untuk dicocokkan dengan kasus konflik di kecamatan non PPK dengan kecamatan PPK. Kami menggunakan kemiripan kriteria seperti di atas, tetapi membandingkan dua kecamatan yang berbeda (PPK dan non-PPK) pada kecamatan yang sama. Konfliknya tidak hanya mirip dari segi tipe dan skalanya, tetapi juga karakteristik umum desanya. Kasus Empat dan Lima: Resolusi damai di daerah kekerasan; Kasus kekerasan di daerah damai Kami menggunakan versi kualitatif strategi “perbedaan dalam perbedaan,” dimana kami mengidentifikasi contoh-contoh perdamaian di desa dengan konflik yang relatif tinggi, dan contoh konflik yang tinggi di desa yang sebaliknya relatif damai.14 Hal ini menimbulkan pandangan terhadap mekanisme tingkat lokal untuk perdamaian dan konflik yang semandiri mungkin dari lingkungan kelembagaan yang lebih luas (dan oleh karenanya strategi yang diadopsi di tingkat kabupaten ditiru di tingkat lokal). Jadi kami membandingkan kasus yang sama di lokasi PPK dan non-PPK yang cocok (berdasarkan karakteristik sebelum program masuk) untuk mengevaluasi dampak program yang mungkin muncul. Selanjutnya, kami memilih desa dan kasus yang mirip dengan dinamika konflik yang berbeda. Kasus Enam: Kasus PPK Untuk penelitian di daerah PPK (treatment sites) di Fase 2B, kami juga memilih kasus konflik yang terkait dengan PPK. Kasus ini mungkin adalah contoh dimana PPK telah, baik sengaja maupun tidak, menyebabkan konflik, atau dimana kita telah memiliki bukti-bukti awal bahwa forum, aktor, atau mekanisme PPK lainnya telah digunakan untuk membantu menyelesaikan konflik. V. Kesimpulan Setelah menjabarkan komponen-komponen utama rancangan penelitian, kami akan menutupnya dengan beberapa komentar mengenai realitas dilapangan dan pemikiran yang lebih dalam mengenai strategi penelitian yang dapat diadaptasikan ke proyek dan konteks lain. Melenceng dari Rencana Utama Karena implementasi akan berbeda dari teori aslinya, sangatlah penting untuk menjadi responsif dan fleksibel di lapangan. PPK dan Studi Negosiasi Konflik pada Masyarakat telah menghadapi beberapa kejutan yang dramatis –contohnya, meletusnya gunung di salah satu lokasi penelitian dan banjir bandang di tempat lainnya- yang mengharuskan kami melakukan penyesuaian dan secepatnya mencari lokasi penelitian yang baru. Siklus pemilu dan hari raya keagamaan juga harus dipertimbangkan. Kami menambahkan penelitian kualitatif fase ketiga yang harus dilakukan ketika kami merasa bahwa kami harus memperluas sampel lokasi PPK. Namun sejalan dengan munculnya masalah dan tantangan, kami telah memodifikasi alat penelitian, format perekaman data dan panduan lapangan secara terus menerus.
14
Resolusi konflik yang ‘Damai’ adalah konsep yang relatif, termasuk didalamnya resolusi yang ‘kurang kekerasan,’ dan resolusi yang ‘tidak ada kekerasan tapi tidak harmonis.’ Di Indonesia, resolusi ‘damai’ pada saat itu berarti tekanan pada insiden tertentu, dengan didasari konflik yang terus berupaya mencuat ke permukaan.
14
Awalnya kami merencanakan untuk melaksanakan survey rumah tangga yang cukup besar sebagai tambahan bagi instrumen kuantitatif lainnya seperti dibicarakan di atas. Namun setelah melihat data penelitian pada tiga putaran pertama penelitian yang kami peroleh, kami memutuskan untuk tidak melaksanakan survey rumah tangga yang kuantitatif sebagai salah satu komponen penelitian ini karena dua alasan: (a) survey rumah tangga membutuhkan biaya yang mahal; dan (b) survey rumah tangga tidak terlalu baik untuk menyelidiki proses-proses –yaitu melihat variable-variabel tertentu menjadi relevan sejalan dengan waktu- yang adalah ketertarikan utama kami. Alhasil, kami memutuskan untuk mengganti survey rumah tangga dengan survey informan kunci yang lebih sederhana; untuk menambah modul konflik menjadi survey tingkat nasional yang lebih luas. Kami berharap bahwa evaluasi formal PPK yang akan datang (PODES) dilaksanakan oleh rekan lainnya; dan untuk menganalisis data dari modul konflik GDS. Kami berharap bahwa evaluasi formal PPK itu sendiri mampu menyertakan pertanyaan–pertanyaan yang berkaitan dengan kapasitas mediasi konflik. Replikabilitas (Dapat ditiru) Studi ini diuntungkan oleh gabungan sumber daya, talenta dan komitmen (baik individu maupun lembaga). Melihat hal ini, berapa banyak desain penelitian dan elemen khusus yang dapat ditransplantasikan ke area lain? Pada prinsipnya, pembatasan studi sebagai versi yang lebih maju dari “berpikir kuantitatif, bertindak kualitatif” (Woolcock, 2001) dapat diadaptasikan ke berbagai situasi yang berbeda. Dengan titik awal ini, tim penelitian yang prospektif dapat mereintepretasikan dan mengukur rincian implementasi untuk disandingkan dengan sumber daya yang ada. Karena studi ini berfokus pada proyek dan konflik CDD, rancangannya dapat pula diaplikasikan untuk evaluasi pada jenis intervensi dan masalah substantif lainnya. Oleh karenanya kami percaya bahwa konsep dan prinsip evaluasi dasar yang melandasi dapat menjadi pondasi bahkan untuk penelitian yang paling kecil dan sumber daya yang sangat terbatas sekalipun. Aspek lain dari penelitian juga membutuhkan upaya lebih agar bisa ditiru. Kerja lapangan yang luas dan maju sangat penting untuk membangun hipotesa-hipotesa tertentu untuk diuji dan merancang instrumen penelitian yang relevan untuk konteks Indonesia. Kualitas data yang dikumpulkan, beserta dengan analisis yang mengikutinya, bergantung pada pelatihan, mentoring, dan kemampuan pemahaman yang ekstensif dari para peneliti muda. Komitmen kepada penelitian dan untuk memastikan kualitas harus melibatkan sosialisasi dan pembelajaran kelompok dari semua tingkatan tim peneliti. Di setiap lingkungan penelitian, proses pembuatan keputusan yang adaptif –termasuk mengalokasikan waktu dan tempat untuk penyerapan ideadalah syarat yang krusial dalam pembuatan strategi yang lebih komprehensif untuk menguak “kebenaran” dari pertanyaan kunci yang diteliti.
15
Referensi Baker, Judy. (2000). Evaluating the Impact of Development Projects on Poverty. Washington D.C.: The World Bank. Barron, Patrick, Rachael Diprose, and Claire Q. Smith. (2004). “Training Manuals for the KDP and Community Conflict Negotiation Study”. Mimeo. Washington, D.C.: The World Bank. (Will soon be freely available online.) Barron, Patrick, Rachael Diprose, David Madden, Claire Q. Smith, and Michael Woolcock. (2004). “Do Participatory Development Projects Help Villagers Manage Local Conflicts? A Mixed Methods Approach to Assessing the Kecamatan Development Project, Indonesia.” Post-Conflict and Reconstruction Unit Working Paper No. 9. Revised version. Washington D.C.: The World Bank. Barron, Patrick, Kai Kaiser, and Menno Pradhan. (2004). “Local Conflict in Indonesia: Measuring Incidence and Identifying Patterns.” World Bank Office Jakarta. Mimeo. Bennett, Andrew, and Alexander George. (1997). “Process Tracing in Case Study Research.” Paper presented to MacArthur Foundation Workshop on Case Study Methods. Available at: http://web.mit.edu/17.878/www/Bennett/Process%20Tracing%20in%20CS%20Research.htm Friend, Theodore. (2003). Indonesian Destinies. Cambridge, MA: Belknap Press. Guggenheim, Scott E. (2004) .‘The Kecamatan Development Project, Indonesia,’ in Anthony Bebbington, Scott E. Guggenheim, and Michael Woolcock (eds.) Practical Theory, Reflective Action: Social Capital and Empowerment Strategies at the World Bank. Forthcoming, Mills, C. Wright. (1959). The Sociological Imagination. New York: Oxford University Press. Rao, Vijayendra and Michael Woolcock. (2003). “Integrating Qualitative and Quantitative Approaches in Program Evaluation”, in Francois J. Bourguignon and Luiz Pereira da Silva (eds.) Evaluating the Poverty and Distributional Impact of Economic Policies. New York: Oxford University Press, pp. 165-90. Ravallion, Martin (2003) “Randomized Trials of Development Policies and Projects: Some Comments.” Presentation to OED Conference on Randomized Evaluations, Washington. Rosenbaum, Paul R. and Donald B. Rubin. (1985). “Constructing a control group using multivariate matched sampling methods that incorporate the propensity score.” The American Statistician 39: 33-38. Varshney, Ashutosh. (2002). Ethnic Conflict and Civic Life: Hindus and Muslims in India. New Haven: Yale University Press.
16
Wetterberg, Anna, and Scott Guggenheim, (2003), “Capitalizing on Local Capacity: Institutional Change in the Kecamatan Development Program, Indonesia.” World Bank, East Asia Department, Jakarta, Indonesia. Mimeo. Woolcock, Michael. (2001). “Social Assessments and Program Evaluation with Limited Formal Data: Thinking Quantitatively, Acting Qualitatively.” Social Development Briefing Note No. 68, Washington, D.C.: The World Bank.
17
