Evaluation of DBE1 District Interventions

Decentralized Basic Education 1: Management and Governance

Evaluation of DBE1 District Interventions The DBE1 Experience: 2005 – 2011 Executive Summary

December 2011 This report is one of a series of special reports produced by Research Triangle Institute (RTI), Implementing Partner for the USAID-funded Improved Quality of Decentralized Basic Education (IQDBE) program in Indonesia

Evaluation of DBE1 District Interventions

Table of Contents

Executive Summary ............................................................................................................ 1 Recommendations .............................................................................................................. 5 Ringkasan Eksekutif ........................................................................................................... 8 Rekomendasi..................................................................................................................... 13

iii


iv


Executive Summary Background Objective of the Evaluation This evaluation for the Decentralized Basic Education program component More Effective Decentralized Education Management and Governance, known as DBE1, is to contribute to maximizing the acceptance, widespread use and the implementation of the DBE1 results. The focus of the study is on the acceptance, use and impact of tools to support the use of data in the management and governance of education, particularly at district level. Methodology Conducted in August - November 2011, the evaluation team used four basic methods to obtain information from five provinces, twelve districts and nine schools: Reviewing DBE1 project documents Observations in schools, district and provincial education offices Collection of locally produced evidence of the use of the tools Targeted questions and interviews. The tools are in a process of development and some developments have been occurring very recently. This means that districts’ field experience with some tools is limited. In order to give districts as much experience as possible with the tools, the evaluation was delayed until late 2011. Development of the Tools DBE1 assists district governments to produce development plans, finance plans and budgets to support these plans. Over the six years of the project from 2005, DBE1 and its partners developed a set of budgeting and planning tools. The development of the tools has been through a sequence of four, interconnected ‘phases’. These phases and tools are: Phase 1: Tools for District Planning and Budgeting (SIPPK and AKPK) Phase 2: A Tool to Calculate School Operating Costs (BOSP) Phase 3: Tools to Manage Human Resources (SIMPTK) and Assets (SIMA) Phase 4: A Tool to Calculate Costs to Meet Minimum Service Standards and Universal Access (PBPSAP). Findings Overall strong, positive evidence of acceptance and use of the tools This evaluation has concluded that the tools are very acceptable to users and are being used in productive ways to improve the management and governance of basic education in districts as intended in the project design. The early evidence in support of these positive outcomes comes from many different and mutually confirming sources. There is a strong sense among users in districts of the great utility of the tools in relation to present needs and circumstances. This reflects well on the good quality of the application software prepared by DBE1.

1

Evaluation of DBE1 District Interventions In addition to providing participating districts with the means to provide data to support improvements in the quality of their planning and policy processes, there is evidence that the use of the various application software tools is having an additional impact in revealing the poor quality of data that is currently available, leading in turn, to the recognition of the importance of good quality data and to the adoption of strategies by users to improve the quality of data collections and data management. This move in the direction of achieving better quality data may ultimately be one of the most important and lasting outcomes. Rapid adoption and wide dissemination Much of DBE1’s work in implementing the tools in provinces, districts and schools has occurred only recently – sometimes within the past few months – yet adoption of the technical procedures is clearly very rapid and so too is the most important next step in the analysis and use of new information in the formulation of policies and application strategies. The rapid adoption reflects well on the bottom-up design and implementation strategy followed by DBE1. Moreover, the wide dissemination of the tools to non-DBE districts is further testimony to their value. Integration DBE1’s implementation strategy for this set of management tools illustrates the important outcomes made possible when the three levels of educational management and governance in Indonesia at central, provincial and district levels are considered in holistic and integrated ways rather than separately. Do the tools work? The question is answered from evidence available from several complementary perspectives. First, yes, the tools do work in the technical sense of taking the available data and processing it to produce useful outputs that are used for analysis, planning, policy development, implementation action and monitoring. Second, districts and provinces that use the tools find that they work in the ways listed above and some have refined the tools to met specific local needs. Evidence of helpfulness is in their use, and successful dissemination to other provinces and districts often without direct DBE1 support. As of November 2011, the DBE1 tools have been implemented in 117 districts in 13 provinces. Of these, 78 districts are supported directly with USAID funding; others have used non-project resources to implement the tools in 69 non-DBE districts. Governments at the national, provincial and district levels have used results of the technical assistance from DBE1 to inform education policy, planning and budgeting. Why do the tools work? – A ‘principles-based’ approach The tools work in the ways intended because they meet local needs for data based management, reflect government policy, have been developed collaboratively with districts and have not been imposed top-down. The tools work particularly well where local administrative leadership and competent technical support are present.

2

Evaluation of DBE1 District Interventions From its project implementation experience and from its evaluation studies, DBE1 has developed a sound understanding of the principles underpinning successful change. The implementation of the tools evaluated in this study is a rare case illustrating change in Indonesian education where a technical development has been undertaken within a clear principles-based context that reflects a solid understanding of change processes and lessons learned from past experience in Indonesian education. Attention to analysis and use of data DBE1 has given thorough attention to the analysis and use of data outputs produced by the various tools. This attention is reflected in these ways: In the manuals supporting the software tools, some of which provide explicit criteria against which data can be judged In the training materials such as DBE1 PowerPoint presentations located in district education offices revealing that steps in analysis have been an important part of local capacity development activities. Well positioned DBE1’s technical and professional expertise in district management has been well positioned to meet the evolving needs in districts and provinces for better quality data-based management. Local demand for the tools has been reinforced by central government demands to address such matters as external government audits and the introduction of the concept of Minimum Service Standards. Improved District Management Resources Districts visited gladly produced evidence of their work with the tools in the form of spreadsheets and finished plans and reports. These outputs from the use of the tools indicate a better quality input to local planning and management of education than has been evident in the past. Improved data quality A major outcome of DBE1’s district level interventions with the tools and policy development has been its impact on the quality of data. Beginning with existing data sets, local users who then use this data can see the issues emerging from its quality and are then better informed, and motivated, to ensure better data collections and use of that data for management and governance purposes. This outcome could well be one of the most important and enduring outcomes of all. Immediate Challenges: Sustainability, Service Providers and Dissemination by Other Donors Matters that will arise in the near future for attention concern the sustainability of the software in terms of its maintenance and updating when DBE1 has closed (that is, from the beginning of 2012 onwards). If districts update their own software without some coordinated oversight, this will lead inevitably to the growth over time of very different, and possibly incompatible approaches. If updating is not done to meet changing needs and policies, it is unfortunately the case that the tools will become obsolete very rapidly.

3

Evaluation of DBE1 District Interventions This is an early time to draw firm conclusions about the service provider concept as it is now implemented at district level. It is a relatively new concept. Based on the evaluation the following major conclusions can be made about service providers: The concept appears to have considerable merit as a sustainability strategy and warrants further development and close monitoring. There is a need for advocacy of the concept at district level to overcome the hesitancy identified in this evaluation. The concept will not succeed unless it is backed up by a commitment to high levels of performance in customer service by certified individuals and institutions. The matter of sustaining the quality of professional performance standards set by DBE1 will have to be addressed in the future. Negative comments about services provided by other donors and government agencies are an indicator that this matter is important to ensure capacity development and that support succeeds as intended. Service providers need to sell ‘packages’ of integrated services, including monitoring and troubleshooting, and not just one-off services such as document production. Service providers need to be assisted in the future in selling their services and linking these services to other projects that have a service provider objective, such as USAID’s Kinerja project, until they become self sustaining. It was possible to determine that the tools are being taken up and disseminated by currently on-going projects supported by AusAID, the World Bank and UNICEF. No evaluative data were obtained to assess their experience so far, partly because of the constraints of resources to do so and partly because their experience with the tools at the time of the evaluation was limited. A challenge for the near future is to monitor the implementation experience of these donors and to ensure the continuing harmonized developed and dissemination of the tools. Evidence-based and evidence producing The development and implementation of tools has been firmly based on the evidence from studies in education in Indonesia and lessons learned from DBE1’s own implementation experience. In turn, DBE1’s evaluation studies and its articulation of a set of principles for providing technical assistance have produced evidence of ‘what works’ and further lessons learned that should be used in subsequent development activities. Conclusion and Key Lessons Learned The DBE1 experience from developing and implementing the tools is neatly summarized in this quotation from the literature on policy reform in developing countries: Instead of identifying ideal solutions up-front and top-down, policy implementers need to iteratively develop second or third-best answers that collaboratively agencies and stakeholders can agree upon1.

1

Brinkerhoff, D. and Crosby, B. (2002). Managing policy reform; concepts and tools for decision-making in developing and transitioning countries. Bloomfield, CT: Kumarian Press. p.6.

4

Evaluation of DBE1 District Interventions DBE1’s solutions are not judged to be ‘second best’. However, the key concepts in this conclusion that describe DBE1’s approach are ‘iteratively’ and ‘collaboratively’. These key concepts are also illustrated by the evolution of DBE1’s technical approaches over six years with feedback from users and the progressive development of software in consultation with users as well as with policy-makers at all levels of government. The key lesson from the study is that the set of ‘principles’ articulated by DBE1 for providing technical assistance have been affirmed. In brief, the principles are: Focus on developing products that local governments are required to implement. Products and procedures must be based on government regulations. Utilize technology commonly in use or available in the districts. One-off training is ineffective for developing quality products – it must be ongoing. All interventions include inputs to promote local participation, transparency and accountability. All tools and procedures incorporate facilitation for policy alternatives based on data analysis. All tools and procedures use currently available data. The quality of products is determined by the quality of data; local stakeholders determine the quality of data sufficient for their purposes.

Recommendations The following recommendations are directed principally to USAID and to USAID-supported development programs that may begin in the near future. The recommendations are also relevant to other development partners and to the Government of Indonesia. Recommendation 1: In any future development of tools, the confusion created in their naming should be carefully reviewed with the purpose of simplifying the communication of their names and purposes. Recommendation 2: In future activities that seek to develop the DBE1 tools and their further use, major attention be given to the sustainability of the tools, their continuing technical and policy support, and to the challenges of going to scale through implementation in larger numbers of districts and provinces and dealing with larger-scale management issues. Recommendation 3: A review and synthesis study should be undertaken of DBE1’s research, successful implementation strategies, and lessons learned, with the intention of producing clear and simple guidelines for implementing change and development in Indonesian education. The review should also consider published research, the documented experience of other recent and successful development activities supported by USAID, other donors and the Government of Indonesia. Recommendation 4: When future development of the DBE1 tools is to be undertaken, it is recommended that further and continuing attention be given to the intellectual processes of the analysis and judgment of data in education, to the impacts of corruption, and to the use of data.

5

Evaluation of DBE1 District Interventions Recommendation 5: When subsequent development activities adopt the service provider model, (a) the operation and acceptance of this approach to sustainable development be carefully evaluated to ensure that quality, integrated support services (including networked services) can be advocated and delivered in ways that meet clients’ needs in a timely, professional and cost-effective manner; (b) service provider capacity building needs to begin as early as possible as it requires significant levels of continuing training and mentoring; (c) service providers be recruited from among the pool of knowledgeable and experienced former DBE1 national consultants. Recommendation 6: To strengthen DBE1’s approaches to sustainability, a thorough risk analysis should be undertaken of the tools and of the institutional and organization environments in which the tools are used. The results of that analysis should be used to develop evidence-based strategies to further strengthen the approaches to sustainability currently being implemented. As the professional staffing stability of the district education office is critical in sustainability, this key organization should be guided to develop strategies for sustainability and the institutionalization of tools in further development activities.

6


7


Ringkasan Eksekutif Latar Belakang Tujuan Evaluasi Evaluasi untuk komponen program Pendidikan Dasar yang Terdesentralisasi yaitu Desentralisasi Manajemen dan Tata Kelola Pendidikan yang Lebih Efektif, yang dikenal sebagai DBE1, adalah untuk memberikan kontribusi untuk memaksimalkan penerimaan, penggunaan secara luas dan pelaksanaan hasil DBE1. Fokus kajian adalah pada penerimaan, penggunaan, dan dampak dari alat-alat (tools) untuk mendukung penggunaan data dalam manajemen dan tata kelola pendidikan, khususnya di tingkat kabupaten/kota. Metodologi Dilakukan pada Agustus-November 2011, tim evaluasi menggunakan empat metode dasar untuk mendapatkan informasi dari lima provinsi, dua belas kabupaten/kota dan sembilan sekolah: Mengkaji dokumen proyek DBE1 Pengamatan di sekolah, kantor Dinas Pendidikan kabupaten/kota dan provinsi Mengumpulkan bukti penggunaan alat-alat yang diproduksi di daerah Pertanyaan terstruktur dan wawancara. Alat-alat masih dalam proses pengembangan dan beberapa pengembangan baru dilakukan akhir-akhir ini. Ini berarti bahwa pengalaman kabupaten/kota dalam menggunakan beberapa alat masih sangat terbatas. Untuk memberikan kesempatan kepada kabupaten/kota untuk memperoleh pengalaman sebanyak mungkin dengan alat-alat, evaluasi ini ditunda sampai akhir 2011. Pengembangan Alat-alat DBE1 membantu pemerintah kabupaten/kota untuk menghasilkan rencana pembangunan, rencana keuangan dan kebutuhan anggaran untuk mendukung rencana ini. Selama enam tahun proyek mulai dari tahun 2005, DBE1 dan mitranya mengembangkan seperangkat alat perencanaan dan pennyusunan anggaran. Pengembangan alat-alat telah melalui empat tahapan, yang saling berhubungan. Tahapan dan alat yang dikembangkan adalah: Tahap 1: Alat untuk Perencanaan Kabupaten dan Penganggaran (SIPPK dan AKPK) Tahap 2: Alat untuk Menghitung Biaya Operasional Sekolah (BOSP) Tahap 3: Alat untuk Mengelola Sumber Daya Manusia (SIMPTK) dan Aset (SIMA) Tahap 4: Alat untuk Menghitung Biaya untuk Memenuhi Standar Pelayanan Minimum dan Akses Pendidikan (PBPSAP). Temuan Secara keseluruhan bukti yang kuat dan positif dalam penerimaan dan penggunaan alat Evaluasi ini menyimpulkan bahwa alat-alat sangat dapat diterima oleh pengguna dan sedang digunakan secara produktif untuk meningkatkan manajemen dan tata kelola pendidikan dasar

8

Evaluation of DBE1 District Interventions di kabupaten/kota sebagaimana dimaksud dalam desain proyek. Bukti awal untuk mendukung hasil-hasil positif ini berasal dari beberapa sumber yang saling mengkonfirmasikan. Ada perasaan kuat di antara pengguna di kabupaten/kota bahwa penggunaan alat-alat sangat erat kaitannya dengan keadaan dan kebutuhan saat ini. Hal ini tercermin pada kualitas yang baik dari aplikasi perangkat lunak yang disiapkan oleh DBE1. Selain menyediakan sarana bagi kabupaten/kota mitra untuk menyediakan data dalam mendukung perbaikan kualitas dalam proses perencanaan dan kebijakan, ada bukti bahwa penggunaan berbagai aplikasi perangkat lunak memiliki dampak tambahan dalam mengungkap buruknya kualitas data yang saat ini tersedia, yang menuju pada, kesadaran akan pentingnya kualitas data yang baik dan penerapan strategi oleh pengguna untuk meningkatkan kualitas pengumpulan data dan manajemen data. Pergerakan ke arah pencapaian kualitas data yang lebih baik pada akhirnya dapat menjadi salah satu hasil yang paling penting dan berkelanjutan. Adopsi yang cepat dan penyebaran yang luas Banyak kegiatan DBE1 dalam mengimplementasikan alat-alat di provinsi, kabupaten/kota dan sekolah telah terjadi baru-baru ini - kadang-kadang dalam beberapa bulan terakhir namun adopsi prosedur teknis ini jelas sangat cepat dan demikian juga langkah berikutnya yang paling penting dalam analisis dan penggunaan informasi baru untuk perumusan kebijakan dan strategi aplikasi. Adopsi yang cepat mencerminkan dengan baik adanya desain bottom-up dan strategi pelaksanaan yang dilakukan oleh DBE1. Selain itu, penyebaran luas dari alat-alat ke kabupaten/kota non-DBE merupakan bukti lebih lanjut dari nilai alat-alat tersebut. Integrasi Strategi implementasi DBE1 untuk perangkat alat manajemen menggambarkan hasil penting yang dapat diperoleh apabila tiga tingkat manajemen dan tata kelola pendidikan di Indonesia di tingkat pusat, provinsi dan kabupaten dipertimbangkan secara menyeluruh dan terpadu daripada masing-masing secara terpisah. Apakah alat-alat bekerja dengan baik? Pertanyaan ini dijawab dengan bukti-bukti yang tersedia dari beberapa perspektif yang saling melengkapi. Pertama, ya, alat dapat digunakan dalam arti teknis yaitu mengambil data yang tersedia dan mengolahnya untuk menghasilkan output yang berguna untuk analisis, perencanaan, pengembangan kebijakan, pelaksanaan aksi dan pemantauan. Kedua, kabupaten/kota dan provinsi yang menggunakan alat-alat tersebut bekerja dengan cara yang disebut di atas dan ada beberapa yang telah menyempurnakan alat untuk memenuhi kebutuhan daerah yang spesifik. Bukti dari kegunaan alat adalah penggunaannya dan diseminasi ke provinsi dan kabupaten/kota lain tanpa dukungan langsung dari DBE1. Sampai November 2011, alat-alat DBE1 telah digunakan oleh 117 kabupaten/kota di 13 provinsi. Dari jumlah tersebut, 78 kabupaten/kota didukung langsung dengan pendanaan USAID; 69 kabupaten/kota non-DBE yang lain menggunakan sumber daya non-proyek untuk menggunakan alat-alat tersebut.

9

Evaluation of DBE1 District Interventions Pemerintah di tingkat nasional, provinsi dan kabupaten/kota telah menggunakan hasil bantuan teknis dari DBE1 untuk menginformasikan kebijakan pendidikan, perencanaan dan penganggaran. Mengapa alat bermanfaat? – Pendekatan ‘berbasis prinsip’ Alat-alat digunakan dengan cara yang dimaksudkan karena mereka memenuhi kebutuhan daerah untuk manajemen berbasis data, mencerminkan kebijakan pemerintah, telah dikembangkan bersama-sama dengan kabupaten/kota dan tidak dipaksakan dari atas. Alatalat dimanfaatkan dengan sangat baik di mana terdapat kepemimpinan administratif daerah yang baik dan dukungan teknis yang kompeten. Dari pengalaman pelaksanaan proyek dan dari studi-studi evaluasi, DBE1 telah mendapatkan pemahaman yang baik tentang prinsip-prinsip yang mendukung keberhasilan suatu perubahan. Penggunaan alat-alat yang dievaluasi dalam kajian ini merupakan kasus yang jarang terjadi yang menggambarkan perubahan dalam pendidikan di Indonesia di mana pengembangan teknis telah dilakukan dalam konteks berbasis prinsip yang jelas dan mencerminkan pemahaman yang mantap tentang proses perubahan dan pelajaran yang dipelajari dari pengalaman masa lalu dalam pendidikan di Indonesia. Perhatian terhadap analisis dan penggunaan data DBE1 memberikan perhatian penuh pada analisis dan penggunaan output data yang dihasilkan bermacam-macam alat. Perhatian itu dapat dilihat pada: Dalam pedoman yang mendukung alat-alat perangkat lunak (software tools), beberapa diantaranya memberikan kriteria eksplisit untuk penilaian data Bahan pelatihan seperti presentasi Powerpoint DBE1 yang terdapat di kantor dinas pendidikan kabupaten/kota dan menunjukkan langkah-langkah analisis merupakan bagian penting dari kegiatan pengembangan kapasitas daerah. Penempatan yang baik Keahlian teknis dan profesional DBE1 dalam manajemen kabupaten/kota ditempatkan dengan baik untuk memenuhi kebutuhan yang berkembang di kabupaten/kota dan provinsi untuk kualitas manajemen berbasis data yang lebih baik. Kebutuhan akan alat-alat di daerah telah diperkuat oleh permintaan pemerintah pusat untuk hal-hal seperti audit eksternal pemerintah dan pengenalan konsep Standar Pelayanan Minimal. Peningkatan Sumber Daya Manajemen Kabupaten/Kota Kabupaten/kota yang dikunjungi dengan senang hati memperlihatkan bukti yang dihasilkan dari pekerjaan mereka dengan alat-alat dalam bentuk spreadsheet, serta rencana dan laporan. Output dari penggunaan alat-alat menunjukkan kualitas yang lebih baik untuk masukan perencanaan daerah dan manajemen pendidikan dibandingkan dengan yang terdapat di masa lalu.

10

Evaluation of DBE1 District Interventions Peningkatan kualitas data Sebuah hasil utama dari intervensi DBE1 di tingkat kabupaten/kota dengan alat-alat dan pengembangan kebijakan adalah dampaknya terhadap kualitas data. Dimulai dengan perangkat data yang ada, pengguna di daerah yang kemudian menggunakan data ini dapat melihat isu-isu yang muncul dari kualitas dan kemudian lebih terinformasi, dan termotivasi, untuk memastikan pengumpulan data yang lebih baik dan penggunaan data untuk keperluan manajemen dan tata kelola. Hasil ini bisa jadi menjadi salah satu hasil paling penting dan berkelanjutan dari semua. Tantangan Sekarang: Keberlanjutan, Penyedia Layanan dan Diseminasi oleh Donor Lainnya Hal-hal yang akan timbul dalam waktu dekat berkaitan dengan keberlanjutan dari perangkat lunak adalah dalam hal pemeliharaan dan pembaharuan ketika DBE1 telah selesai (yaitu, dari awal tahun 2012 dan seterusnya). Apabila kabupaten/kota melakukan pemutakhiran (update) perangkat lunak sendiri tanpa pengawasan terkoordinasi, ini akan mengarah pada berkembangnya pendekatan yang sangat berbeda setelah beberapa waktu, dan mungkin tidak kompatibel. Jika pemutakhiran tidak dilakukan untuk memenuhi perubahan kebutuhan dan kebijakan, maka alat akan menjadi usang sangat cepat. Masih terlalu awal untuk menarik kesimpulan tegas tentang konsep penyedia layanan seperti yang sekarang diterapkan di tingkat kabupaten/kota. Ini adalah konsep yang relatif baru. Berdasarkan evaluasi, kesimpulan utama berikut dapat diambil tentang penyedia layanan: Konsep ini tampaknya memiliki manfaat yang cukup besar sebagai strategi keberlanjutan dan menjamin pengembangan lebih lanjut dan pemantauan ketat. Ada kebutuhan untuk memperkenalkan konsep di tingkat kabupaten/kota untuk mengatasi keraguan yang teridentifikasi dalam evaluasi ini. Konsep ini tidak akan berhasil kecuali didukung oleh komitmen untuk tingkat kinerja yang tinggi dalam pelayanan pelanggan oleh perorangan dan lembaga tersertifikasi. Mempertahankan kualitas standar kinerja profesional yang ditetapkan oleh DBE1 harus ditangani di masa depan. Komentar negatif tentang layanan yang disediakan oleh donor lain dan instansi pemerintah merupakan indikator bahwa masalah ini penting untuk memastikan pengembangan kapasitas dan bahwa dukungan dilanjutkan seperti direncanakan. Penyedia layanan perlu menjual 'paket' layanan terpadu, termasuk pemantauan dan pemecahan masalah, dan bukan hanya layanan sekali selesai (one-off services) seperti produksi dokumen. Penyedia layanan harus didukung di masa depan dalam menjual jasa mereka dan menghubungkan layanan mereka pada proyek-proyek lain yang memiliki tujuan penyedia layanan, seperti proyek Kinerja USAID, sampai mereka mampu berdiri diri. Dapat diketahui bahwa alat-alat ini diambil dan sedang disebarluaskankan saat ini oleh proyek-proyek yang sedang berlangsung dan didukung oleh AusAID, Bank Dunia dan UNICEF. Tidak ada data evaluasi yang diperoleh untuk menilai pengalaman mereka sejauh ini, sebagian karena kendala sumber daya untuk melakukannya dan sebagian karena pengalaman mereka dengan alat-alat pada saat evaluasi masih terbatas. Sebuah tantangan untuk waktu dekat adalah untuk memantau pengalaman pelaksanaan para donor dan untuk memastikan terusnya harmonisasi pengembangan dan diseminasi dari alat-alat. 11


Berbasis bukti dan menghasilkan bukti Pengembangan dan implementasi alat-alat telah dilakukan berdasarkan bukti dari kajian dalam pendidikan di Indonesia dan pelajaran dari pengalaman implementasi DBE1 sendiri. Pada gilirannya, kajian evaluasi DBE1 dan artikulasinya dari satu perangkat prinsip untuk memberikan bantuan teknis telah menghasilkan bukti 'apa yang dapat dilakukan' (what works) dan pelajaran yang dipelajari (lessons learned) yang harus digunakan dalam kegiatan pembangunan selanjutnya. Kesimpulan dan Pelajaran Penting yang Dipelajari Pengalaman DBE1 dalam mengembangkan dan menerapkan alat-alat dirangkum dengan baik dalam kutipan yang diambil dari literatur tentang reformasi kebijakan di negara berkembang: Daripada mengidentifikasi solusi yang ideal pada awal dan dari atas-ke bawah, pelaksana kebijakan perlu secara iteratif (iteratively, berulang-ulang dan makin lama makin baik) mengembangkan jawaban kedua atau ketiga terbaik yang dapat disepakati secara bersama antara lembaga dan pemangku kepentingan2. Solusi DBE1 tidak dinilai sebagai 'terbaik kedua'. Namun, konsep-konsep penting dalam kesimpulan ini yang menggambarkan pendekatan DBE1 adalah 'iteratif' dan 'bersama-sama'. Konsep-konsep penting ini juga digambarkan oleh evolusi pendekatan teknis DBE1 selama enam tahun dengan umpan balik dari pengguna dan pengembangan perangkat lunak progresif dalam konsultasi dengan pengguna serta dengan pembuat kebijakan di semua tingkat pemerintahan. Pelajaran utama dari kajian ini adalah bahwa himpunan 'prinsip' yang diartikulasikan oleh DBE1 untuk menyediakan bantuan teknis telah ditegaskan. Secara singkat, prinsip-prinsipnya adalah: Fokus pada pengembangan produk yang harus dilaksanakan oleh pemerintah daerah. Produk dan prosedur harus berdasarkan peraturan pemerintah. Gunakan teknologi yang biasa digunakan atau tersedia di kabupaten/kota. Pelatihan sekali selesai (one-off) tidak efektif untuk mengembangkan produk berkualitas – harus terus menerus. Semua intervensi mencakup masukan untuk mempromosikan partisipasi daerah, transparansi dan akuntabilitas. Semua alat dan prosedur menggabungkan fasilitasi untuk kebijakan alternatif berdasarkan analisis data. Semua alat dan prosedur menggunakan data mutakhir yang tersedia. Kualitas produk ditentukan oleh kualitas data; pemangku kepentingan daerah menentukan kualitas data yang sesuai dengan keperluan mereka.

2

Brinkerhoff, D. and Crosby, B. (2002). Managing policy reform; concepts and tools for decision-making in developing and transitioning countries. Bloomfield, CT: Kumarian Press. p.6.

12


Rekomendasi Rekomendasi berikut terutama ditujukan kepada USAID dan program pembangunan yang didukung USAID yang mungkin dimulai dalam waktu dekat. Rekomendasi ini juga relevan untuk mitra pembangunan yang lain dan Pemerintah Indonesia. Rekomendasi 1: Dalam setiap pengembangan alat-alat di masa mendatang, nama alat hendaknya dikaji dengan baik dengan tujuan untuk menyederhanakan komunikasi tentang nama dan tujuan alat-alat itu sehingga tidak menimbulkan kebingungan. Rekomendasi 2: Dalam kegiatan masa depan yang akan mengembangkan alat-alat DBE1 dan penggunaannya lebih lanjut, perhatian utama harus diberikan pada keberlanjutan alatalat, dukungan teknis dan politis terus menerus,dan tantangan untuk memperluas penggunaannya di lebih banyak kabupaten/kota dan provinsi dan menangani masalah manajemen dalam lingkup yang lebih besar. Rekomendasi 3: Sebuah tinjauan dan studi sintesis perlu dilakaukan pada kajian-kajian DBE1, strategi pelaksanaan yang berhasil, dan pelajaran yang dipelajari, dengan tujuan untuk menyusun pedoman yang jelas dan singkat untuk melaksanakan perubahan dan pembangunan pada pendidikan di Indonesia. Tinjauannya juga harus mempertimbangkan hasil penelitian yang dipublikasi, pengalaman terdokumentasi dari kegiatan pembangunan yang berhasil akhir-akhir ini yang didukung USAID, donor lain dan Pemerintah Indonesia. Rekomendasi 4: Apabila pengembangan alat-alat DBE1 dilakukan lebih lanjut, disarankan agar melanjutkan dan memberikan perhatian secara terus menerus pada proses intelektual dari analisis dan penilaian data pendidikan, pada dampak dari korupsi dan penggunaan data. Rekomendasi 5: Apabila kegiatan pembangunan selanjutnya mengadopsi model penyedia layanan, (a) pelaksanaan dan penerimaan dari pendekatan ini untuk pembangunan berkelanjutan agar dikaji secara hati-hati untuk menjamin kualitas, dukungan terintegrasi (termasuk layanan berjejaring) dapat disampaikan dengan cara-cara yang sesuai dengan kebutuhan pelanggan yaitu dengan cara yang tepat, professional, dan biaya efektif ; (b) pengembangan kapasitas pemberi layanan harus dimulai sesegera mungkin karena membutuhkan tingkat pelatihan yang signifikan dan pemantauan secara terus menerus; (c) pemberi layanan direkrut dari kelompok mantan konsultan nasional DBE1 yang memahami dan berpengalaman. Rekomendasi 6: Untuk memperkuat pendekatan DBE1 pada keberlanjutan, sebuah analisis resiko yang rinci harus dilakukan tentang alat-alat dan lingkungan institusi dan organisasi di mana alat-alat tersebut digunakan. Hasil analisis tersebut hendaknya digunakan untuk mengembangkan strategi berbasis bukti (evidence-based) untuk lebih memperkuat pendekatan pada keberlanjutan yang sekarang dilaksanakan. Karena stabilitas staf professional di dinas pendidikan kabupaten/kota penting untuk keberlanjutan, organisasi utama ini harus dibimbing untuk mengembangkan strategi untuk keberlanjutan dan institusionalisasi alat-alat dalam kegiatan pembangunan berikutnya.

13

Evaluation of DBE1 District Interventions

Recommend Documents