BAB
Disajikan oleh: Uwes A. Ch. – Zulfani S. - Nurdin
KLARIFIKASI PERMINTAAN DAN TANGGUNGJAWAB EVALUASI
Reference: Program Evaluation (3rd Edition): Alternative Approaches and Practical Guidline Jody L. Patrick – James R. Sanders – B. R. Worthen Chapter 10, Page 173 - 198
Ilustrasi Relevansi Konteks: Suatu ketika Anda mendapat telepon dari klien dan meminta Anda untuk melakukan evaluasi: 1. Pertanyaan pertama apa yang terlintas di benak Anda? 2. Adakah batasan waktu yang Anda ajukan sebagai permintaan evaluasi? Jika ya, dengan syarat seperti apa? 3. Bagaimana Anda akan menentukan evaluabilitas atas permintaan klien tersebut? Jangan-jangan permintaan klien ga layak evaluasi? 4. Apakah layak melibatkan oleh evaluator internal atau eksternal? Bagaimana menentukan dasar keputusan pemilihan evaluator internal atau eksternal tersebut? Kriteria apa yang akan Anda gunakan untuk menentukan evaluator baik internal maupun eksternal?
Bab 10 ini akan mengajak Anda untuk menjawab semua pertanyaan di atas. Intinya, ketika kita suatu saat kelak diminta klien untuk melakukan evaluasi, maka langkah pertama yang harus kita lakukan adalah menjawab isu-isu penting seperti tersebut di atas. Karena bab 10 ini merupakan bab pertama dari Bagian 3, buku evaluasi program karya Worthen dan kawan-kawan yang membahas tuntas tentang Panduan Praktis dalam Merencanakan Evaluasi. Jadi, langkah pertama dalam perencanaan evaluasi, menurut Worthen dkk. adalah melakukan Klarifikasi Permintaan Evaluasi serta Tanggung Jawab Evaluasi. Sebelum membahas lebih jauh mengenai permasalahan di atas, terlebih dahulu kita pahami beberapa istilah penting terkait dengan pelaksanaan evaluasi yaitu: sponsor (sponsors), klien (client) , pihak-pihak terkait (stakeholders) dan audien (audiens). Sponsor Evaluasi; adalah lembaga/agensi atau individual yang memberikan kewenangan untuk melakukan evaluasi dan memberikan sumber pendanaan/fiscal untuk melakukannya. Dalam beberapa kasus, sponsor punya kewenangan penuh, termasuk dalam memilih evaluator, dan memberikan kewenangan kepada klien. Umumnya sponsor memiliki kewenangan penuh terhadap evaluasi. Klien Evaluasi; adalah lembaga/agensi khusus atau individu yang mmeminta dilaksanakannya evaluasi. Dalam beberapa kasus, sponsor dan klien adalah instansi yang sama. Contoh, dalam suatu evaluasi program perlakukan terhadap kejahatan domestic yang dilakukan oleh lembaga nir-laba (LSM), LSM ini meminta dan mengatur pelaksanaan evaluasi, tapi persyaratan dan pendanaan evaluasi ditentukan oleh lembaga pemberi sumber dana. Dalam hal ini, LSM adalah klien dan lembaga pemberi dana dalah sponsor. Contoh lain, Kemdiknas misal meminta suatu 1
lembaga untuk mengavaluasi program Bantuan Operasional Sekolah dengan biaya sepenuhnya anggaran Kemdiknas (APBN). Maka, dalam hal ini Kemdiknas berperan baik sebagai klien maupun juga sekaligus sebagai sponsor. Pihak-pihak Terkait (Stakeholders); adalah semua pihak terkait yang berkepentingan. Jadi, stakeholders akan terdiri dari beberapa kelompok/kalangan. Sponsor dank lien dalam hal ini dapat dikatakan sebagai salah satu kelompok stakeholder. Contoh evaluasi program BOS, misalnya, maka stakeholder lain selain sponsor dank lien, yaitu Kemdiknas itu sendiri, antara lain adalah sekolah penerima BOS, komite sekolah, masyarakat, atau bahkan kalangan pakar pendidikan. Audien (Audiens); adalah individu, kelompok atau lembaga/agensi yang mempunyai kepentingan di dalam evaluasi dan menerima hasil evaluasi. Dalam hal ini, bisanya klien dan sponsor merupakan audien utama (primary audiens) dan pihak-pihak terkait lain menjadi audien juga walau bukan yang utama. Tapi, ada kalanya beberapa pihak terkait tidak menjadi audien. Contoh, dalam kasus evaluasi program BOS, misalnya. Audien utama adalah Kemdiknas, audien lain diantaranya sekolah dan komite sekolah. Sementara kalangan masyarakat umum dan kalangan pakar pendidikan tidak menjadi audien secara langsung. -----------------------------------------------------------000--------------------------------------------------MEMAHAMI ALASAN-ALASAN MELAKUKAN EVALUASI Adalah sangat penting bagi kita sebagai tim evaluasi untuk memahami alasan-alasan yang menyebabkan mengapa evaluasi dilakukan. Mengapa penting? Karena sangat terkait dengan maksud sebenarnya yang diharapkan oleh klien dan sponsor untuk melakukan evaluasi. Pendek kata, kita harus tahu alasan mengapa klien dan atau sponsor memutuskan dan menuntut untuk melakukan evaluasi. Kita harus mengklarifikasi maksud mengapa evaluasi harus dilakukan. Dalam beberapa kasus, bahkan kebanyakan kasus, baik klien atau sponsor meminta melakukan evaluasi dimana mereka sendiri tidak tahu persis mengapa dan untuk apa evaluasi harus dilakukan. Beberapa pertanyaan kritis seperti, kebutuhan siapa evaluasi tersebut? Apa yang ingin diketahui oleh kalangan-kalangan tertentu tersebut dari hasil evaluasi? Mengapa? Untuk apa hasil evaluasi yang diharapkan tersebut akan mereka gunakan? Beberapa pertanyaan mendasar seperti tersebut di atas, kadang-kadang tidak bisa dijawab oleh klien dan atau sponsor. Klarifikasi seperti di atas adalah sangat penting untuk memastikan tujuan dan prosedur evaluasi yang akan dilakukan. Oleh karena itu, langkah pertama yang dilakukan tim evaluasi ketika diminta oleh klien untuk melakukan evalausi adalah mengajukan beberapa pertanyaan seperti berikut: 1. Mengapa evaluasi tersebut diminta dilakukan? Apa tujuannya? Pertanyaan apa yang ingin dijawab? 2. Untuk hal-hal apa saja temuan evaluasi akan dimanfaatkan? Oleh siapa? Informasi lain apa saja dari temuan evaluasi yang harus diberikan? 2
3. Apa yang akan dievaluasi? Meliputi apa saja? Apa yang jangan dievaluasi? Dalam jangka waktu berapa lama permintaan evaluasi dilakukan? Siapa klien dari program yang akan dievaluasi? Apa tujuan dari program yang akan dievaluasi? Permasalahan atau isu penting apa saja dari program tersebut yang ingin dicari tahu? Siapa yang bertanggun jawab dalam melaksanakan program yang akan dievaluasi? Apakah pernah dievaluasi sebelumnya? 4. Apa sajakah aktifitas esensial dari program yang akan dievaluasi? Bagaimana kaitannya dengan tujuan program yang akan? Teori apa yang melandasi pelaksanaan program yang akan dievaluasi? 5. Seberapa banyak dana yang disediakan? Berapa lama waktu yang disediakan? Siapa sajakah yang sudah tersedia untuk membantu melakukan evaluasi? Apakah ada informasi tertentu yang diperlukan segera? 6. Seperti apa iklim politik dan konteks terkait dengan program yang akan dievaluasi? Akankah faktor dan kekuatan politis menghambat atau mempengaruhi evaluasi yang baik, benar, adil dan bermakna. Pertanyaan-pertanyaan di atas merupakan panduan belaka, dalam prakteknya kita dapat memperluas dan mengelaborasi lebih jauh lagi. Pertantaan-pertanyaan seperti tersebut di atas akan membantu klien dan sponsor memahami alasan mengapa evaluasi yang mereka minta penting untuk dilakukan dan merasakan manfaatnya untuk mereka. Cronbach (1980) menekankan pentingnya peran evaluator untuk mendidik klien sehingga membantu mereka menentukan arah dan tujuan evaluasi yang mereka inginkan. KONDISI-KONDISI DIMANA SUATU EVALUASI TIDAK TEPAT Kapan suatu evaluasi dianggap tidak tepat sehingga tidak perlu dilakukan? Smith (1988) mengklasifikasikan alasan tersebut kedalam dua kategori besar, yaitu 1) ketika evaluasi dapat merusak bidang evaluasi; 2) ketika evaluasi akan gagal memberikan dukungan terhadap kebaikan atau kemaslahatan social. Beberapa kondisi dimana suatu evaluasi dianggap tidak tepat adalah sebagai berikut: Ketika Evaluasi akan Menghasilkan Informasi yang Sepele (Trivial Information) Evaluasi yang hanya menghasilkan informasi danghkal dan ta bermakna memang tidak berguna. Hal ini dapat disebabkan oleh beberapa faktor. Salah satu misalnya disebabkan karena anggaran yang terlalu kecil sehingga tidak memungkinkan menjangkau subyek evaluasi yang cukup sehingga informasi yang diperoleh sedikit. Dalam perencanaan, tidak didasarkan pada teori dan model evaluasi yang kurang memadai untuk mencapai tujuan yang diharapkan, sehingga hasil evaluasi tidak ada kaitannya dengan program yang dievaluasi. Sempitnya durasi waktu, sehingga evaluasi dilakukan terburu-buru, sempit dan tidak mendalam. Ketika Hasil Evaluasi Tidak akan Digunakan Dalam konteks kita, ini sering terjadi ketika evaluasi dilakukan hanya sebatas menjalankan atau memenuhi daya serap anggaran (red). Oleh karena itu, Worthen dkk dalam bahasan awal di atas, menekankan pentingnya memberikan pemahaman dan klarifikasi tentang alasan mengapa evaluasi dilakukan. Tujuannya adalah agar adanya kesadaran dan komitmen klien/sponsor 3
tentang pentingnya evaluasi dilakukan. Tapi, dalam beberapa kasus, ada situasi dimana hasil evaluasi tidak berguna atau berguna tapi tidak dilakukan karena beberapa faktor. Sebagai contoh, hasil evaluasi menarik perhatian public dan berpengaruh secara politik. Intinya, hasil evaluasi bisa tidak berguna karena evaluasi itu sendiri dianggap meragukan (dubious value). Juga, hasil evaluasi tidak digunakan karena alasan-alasan tertentu terkait dengan stakeholder. Hal ini, bisa dihindari jika langkah awal, pemahaman alasan mengapa evaluasi dilakukan, diklarifikasi dengan klien dan sponsor dengan sebaik-baiknya. Ketika Evaluasi Tidak Dapat Menghasilkan Sesuatu yang Berguna, Informasi Tidak Valid Evaluasi dianggap tidak dapat menghasilkan sesuatu yang berguna (worthfull) ketika evaluasi tersebut dianggpa sangat tidak memungkinkan menghasilkan informasi yang relevan. Misal, suatu evalauasi program terhadap program pencegahan drop-out, dianggap tidak akan menghasilkan informasi yang relevan, karena evaluasinya sendiri dilakukan sebulan sebelum komite sekolah harus mengambil keputusan program tersebut dilanjutkan atau dihentikan. Dalam hal ini, evaluasi dianggap tidak memungkinkan menghasilkan informasi yang berguna karena secara akal sehat, waktu yang pendek tersebut tidak memungkinkan dapat menggali informasi yang komprehensif dan mendalam. Faktor lain yang dapat menyebabkan hal serupa adalah keterbatasan sumber daya, lemahnya dukungan dan kerjasama administrative, keterbatasan waktu, tugas-tugas evaluasi yang tidak logis dan tidak memungkinkan, lemahnya akses terhadap data penting yang diperlukan, dan lain-lain. Dalam konteks ini, Worthen dkk, tidak percaya dan membantah pepatah, “Lebih baik ada evaluasi daripada tidak sama sekali”. Mereka menyatakan, “Evaluasi yang tidak baik lebih jelek, lebih berbahaya dibandingkan dengan tidak melakukan evaluasi sama sekali, data evaluasi yang lemah akan menyesatkan pengambilan keputusan dan tindak lanjut atas hasil evaluasi. Ketika Evaluasi Dilakukan pada Tahap Awal Program Evaluasi dianggap tidak tepat ketika dilakukan pada tahap awal suatu program berjalan. Dalam hal ini, Worthen dkk memberlakukan ketika evaluasi ini dilakukan sebagai evaluasi sumatif, bukan evaluasi formatif. Dalam konteks evaluasi formatif, tidak bermasalah dilakukan pada tahap awal program berjalan. Campbel (1984) menyatakan bahwa salah satu kesalahan fatal evaluasi adalah ketika evaluasi sumatif dilakukan premature (immediate evaluation). Ketika Kepatutan Evaluasi Diragukan Evaluasi dilakukan untuk berbagai ragam alasan, ada yang dilakukan untuk alasan mulia da nada yang bukan. Jika evaluator dapat membuktikan bahwa alasan dilakukannya evaluasi adalah mulia dan patut, maka peluang evaluasi akan sukses tinggi. Tapi, evaluator juga harus mempertimbangkan dan menghindari alasan-alasan yang mungkin sedikit tidak elegant terkait dengan kode etik profesi maupun etika yang berlaku baik lokal maupun universal. Kepatutan menjadi salah satu atribut etika evaluasi. Tiga atribut lain adalah akurasi (accuracy), kelayakan (feasibility) dan manfaat (utility).
4
ASESMEN EVALUABILITAS: MENENTUKAN KAPAN SUATU EVALUASI TEPAT Tahun 1970-an, Josep Wholey dan koleganya di Departemen Kesehatan, Pendidikan dan Kesejahteraan Amerika Serikat mengkritik pelaksanaan evaluasi program yang semakin tidak memberikan sesuait yang berguna untuk pengambilan keputusan. Artinya, ada ekcenderungan, para pengguna hasil evaluasi tidak puas karena tidak mampu memberikan informasi yang berguna. Hal ini disebabkan karena terjadinya kesenjangan antara teori dan realita. Oleh karena itu diperlukan semacam tool untuk mengases evaluabilitas dari suatu evaluasi program yang akan dilakukan. Asesmen evaluabilitas adalah suatu sarana untuk memfasilitasi komunikasi antara evaluator dengan stakeholder untuk menentukan apakah suatu program dapat dievaluasi (evaluable) atau tidak dan untuk memfokuskan evaluasi itu sendiri. Evaluabilitas umumnya dapat dilihat dari 1) kegagalan evaluator dan manajer untuk menyepakati tujuan umum, khusus dan indicator kinerja evaluasi; 2) ketidak mampuan untuk memperoleh data tentang kinerja program; 3) adanya permasalahan terkait dengan maksudmaksud tertentu dan penggunaan dari evaluasi itu sendiri. Tujuan dari asesmen evaluabilitas itu sendiri adalah untuk membatu program mencapai tiga kriteria yang sangat penting untuk evaluasi yang bermakna, yaitu: 1. Tujuan program, efek samping, dan kebutuhan informasi prioritas didefinisikan dengan baik (dalam hal ini manajer program setuju dengan serangkaian tujuane valuasi yang ingin dicapai dan indicator kinerja program yang akan digunakan) 2. Tujuan program layak untuk mencapai audien sasaran, keterampilan dan penegtahuan penyampai program, dan sumber yang diberikan. 3. Penggunaan informasi yang diinginkan didefinisikan dengan jelas, yaitu manajer program setuju dan komotmen untuk penggunaan informasi kinerja program. Bagaimana Kita Menentukan Apakah suatu Program dapat Dievaluasi atau Tidak? Tiga langkah untuk menentukan apakah suatu program dapat dievaluasi atau tidak: 1. Mengklarifikasi teori dan model program yang diinginkan. 2. Mengkaji implementasi program untuk menentukan apakah cocok dengan model atau teori program dan dapat mencapai tujuan program dengan tepat. 3. Menggali pendekatan-pendekatan evaluasi yang berbeda untuk menentukan derajat dimana evaluasi tersebut memenuhi kebutuhan informasi stakeholder dan layak untuk diimplementasikan. 4. Menyepakati prioritas-prioritas evaluasi dan penggunaan dari hasil evaluasi yang diharapkan. Hal ini tidak dapat dilakukan oleh evaluator sendirian, tapi perlu melibatkan pengguna. Caranya? Evaluator memfasilitasi terjadinya diskusi untuk mendengar dan mempelajari program dan pihak-pihak terkait. Cara lain adalah dengan melakukan wawancara personal dengan stakeholder, mengkaji dokumen program yang ada (proposal, laporan, brosur, dll), dan melakukan kunjungan lokasi (site visit) untuk mengamati implementasi program secara langsung. Kesalahan evaluator umumnya adalah mereka mengembangkan model program 5
sendiri dan berasumsi bahwa stakeholder sepakat dengan hal tersebut. Untuk dapat melakukan ini, maka perlu dibentuk semacam tim kerja (working group). Hasil kerja tim, dalam memfasilitasi terjadinya komunikasi untuk menggali informasi secara jelas tentang program yang akan dievaluasi dengan empat langkah seperti di atas menggunakan berbagai teknik pengumpulan data seperti tersebut di atas adalah informasi apakah evaluasi tidak diperlukan atau perlu dilakukan dengan model atau pendekatan tertentu. Evaluasi dapat diputuskan untuk ditunda, jika: 1. Konsesnus tidak dapat dicapai dengan stakeholder utama dari program yang akan dievaluasi. 2. Tindakan program sangat berbeda dengan teori atau model dari program tersebut. Implementasi tidak sama dengan apa yang seharusnya menurut prinsip, konsep dan teori. 3. Stakeholder utama (kebanyakan) tidak mencapai mufakat terkait dengan arah dan tujuan evaluasi. 4. Rencana evaluasi yang diinginkan tidak layak dilihat dari sisi ketersediaan dan sumbersumber daya yang ada. 5. Penggunaan yang diharapkan dari hasile valuasi itu sendiri terlalu ambigu (tidak pasti) MEMILIH DAN MENENTUKAN EVALUATOR: INTERNAL ATAU EKSTERNAL? Apabila telah terjadi consensus atau kesepakatan antara evaluator dengan stakeholder utama, maka langkah berikutnya adalah menentukan apakah akan menggunakan evaluator internal atau eksternal? Keuntungan Menggunakan Evaluator Eksternal Keuntungan menggunakan lembaga atau individu luar untuk melakukan evaluasi dapat diringkas sebagai berikut: 1. Evaluator eksternal dapat dianggap lebih obyektif karena evaluator eksternal memiliki jarak dengan program itu sendiri dan dengan orang-orang yang terlibat dalam perencanaan dan implementasi program dibandingkan dengan evaluator internal. 2. Evaluator eksternal dapat dianggap lebih kredibel bagi audiens luar, khususnya jika program yang akan dievaluasi cukup kontroversial dan temuan evaluasi memungkinkan terjadinya pertentangan. 3. Evaluator eksternal memungkinkan lembaga luar dapat memberikan orang yang lebih ahli dalam evaluasi dibandingkan dengan lembaga internal. 4. Evaluator eksternal dianggap dapat memberikan persfektif dari sisi berbeda dan segar dibandingkan evaluator internal. 5. Dengan evaluator eksternal memungkinkan orang-orang dalam program mau memberikan informasi yang bersifat sensitive kepada pihak luar dibandingkan dengan kepada pihak dalam (internal). 6. Evaluator eksternal dapat merasa lebih nyaman menyampaikan informasi temuan evaluasi yang bersifat apapun. 6
Keuntungan Evaluasi Internal Beberapa keuntungan menggunakan evaluator internal adalah sebagai berikut: 1. Evaluator internal memiliki pengetahuan lebih banyak tentang model program yang akan dievaluasi berikut kronologis sejarahnya. Untuk keperluan formatif evaluator internal sangat tepat. 2. Evaluator internal lebih familiar dengan berbagai pihak-pihak terkait (stakeholder) berikut kepentingan, pengaruh, kepedulian dari masing-masing pihak terkait tersebut. Hal ini penting untuk mendapatkan akses karena hubungan positif dengan stakeholder tersebut pada saat evaluasi sangat diperlukan. 3. Evaluator internal mengetahui sejarah organisasi, klien-kliennya, pendiri-pendirinya dan takeholder lainnya, bahkan termasuk lingkungan dimana program yang akan dievaluasi tersebut dilaksanakan. Sehingga evaluator internal dapat dengan mudah dan akurat mengidentifikasi orang-orang kunci yang potensial dapat memberikan informasi yang optimal. 4. Evaluator internal akan terus berada dalam organisasi, sehingga setelah evaluasi selesai mereka dapat melanjutkan dan menindaklanjuti rekomendasi hasil evaluasi. 5. Dengan evaluator internal, memulai evaluasi relative bisa dilakukan lebih cepat karena mereka memang sudah merupakan bagian dari staf atau pegawai organisasi tersebut, dibandingkan harus meng-hire evaluator eksternal yang harus memakan waktu lama untuk aplikasi-tes-wawancara-hire. 6. Profile valuator internal telah jelas. Kelebihan dan kelemahannya telah diketahui organisasi dan dapat dianalisis siapa saja yang memungkinkan bisa menjadi evaluator internal dengan segera. Keuntungan Mengkombinasikan antara Evaluator Internal dengan Evaluator Eksternal Evaluator internal dan eksternal keduanya sering dianggapa sebagai sama-sama ekslusif, samasama penting. Menggabungkan keduanya dapat saling mengisi kelebihan dan kelemahan masing-masing. Kelemahan evaluator internal dapat diatasi oleh kelebihan evaluator eksternal dan begitu sebaliknya. Keduanya sama-sama saling menjadi “TANDEM”. Dengan adanya evaluator internal (tidak semuanya evaluator eksternal), secara otomatis dapat memberikan efisiensi biaya, baik dari sisi biaya untuk honor, perjalanan, akomodasi, dan lain-lain. Setelah evaluator eksternal selesai bekerja, kontrak habis, maka evaluator internal dapat melanjutkan aspek lain yang mungkin belum tuntas, atau tindak lanjut terhadap implementasi rekomendasi hasil evaluasi yang tidak harus didampingi oleh evaluator eksternal lagi. Jikapun tetap membutuhkan bantuan evaluator eksternal dalam implementasi rekomendasi hasil evaluasi, maka dapat dipilih untuk beberapa tugas kunci dan tidak secara rutin “day-today” mendampingi. Evaluator eksternal dapat memberikan hal-hal yang dianggap sensitive dan tidak bisa dilakukan oleh evaluator internal. KESIMPULAN 1. Evaluasi dapat dilakukan oleh sponsor, klien, audiens atau stakeholder. Setiap kelompok tersebut memiliki kebutuhan dan concern serta informasi tertentu dari hasil evaluasi. Evaluator harus mengidentifikasi setiap kelompok tersebut dan mengakomodir kebutuhan dan kepentingan mereka dalam rencana evaluasi secara tepat. 7
2. Menentukan dan memahami tujuan evaluasi adalah satu aktifitas penting yang harus diselesaikan sebelum evaluasi dimulai. 3. Evaluasi dapat berfungsi banyak seperti penggunaan informasi langsung, mendidik pengguna tentang cara-cara alternative membuat keputusan, menstimulasi dialog antar stakeholder, membangun kesadaran terhadap isu-isu terkait implementasi program atau terhadap pandangan stakeholder. 4. Evaluasi tidak tepat dilakukan jika klien menggunakan hasil evaluasi untuk menghindar dari tanggung jawab, utnuk tujuan public relation (hubungan masyarakat), atau untuk menunda pembuatan keputusan, sumber-sumber daya yang dipelrukan tidak memadai, kemungkinan informasi dangkal dan tidak valid yang akan dihasilkan, atau evaluasi mengarah pada praktek yang tidak etis (melanggar kode etik dan nilai atau norma). 5. Asesmen evakluabilitas (evaluability assessment) dapat digunakan untuk menentukan apakah evaluasi akan produktif. Hal ini membutuhkan kerjasama dengan manajer program untuk menentukan apakah tujuan, model program atau teori dinyatakand engan jelas dan layak serta informasi hasil evaluasi berguna bagi audien. 6. Evaluator internal dan eksternal dapat melakukan evaluasi. Evaluator internal memiliki kelebihan mengetahui organisasi, sejarahnya dan gaya pengambilan keputusan dan akan berada terus dalam organisasi untuk mendorong dan menindaklanjuti hasil evaluasi. Evaluator eksternal dapat memberikan perspektif yang lebih obyektif dan keahlian khusus. -----------------------------------------------------000----------------------------------------------------------
8
BAB
Disajikan oleh: Uwes A. Ch. – Zulfani S. – Nurdin
MENENTUKAN BATASAN DAN ANALISIS KONTEKS EVALUASI
Reference: Program Evaluation (3rd Edition): Alternative Approaches and Practical Guidline Jody L. Patrick – James R. Sanders – B. R. Worthen Chapter 11, Page 199 - 231
Ilustrasi Relevansi Konteks: Menindaklanjuti kasus ilustratif sebelumnya. Andai Anda telah mendapatkan kesepahaman dan kesepakatan (consensus) dengan klien untuk melakukan evaluasi. Maka langkah berikutnya adalah menjawab beberapa pertanyaan berikut: 1. Siapa sajakah audien potensial untuk evaluasi? Kapan dan bagaimana mereka terlibat dalam evaluasi? 2. Apa sebenarnya yang menjadi obyek evaluasi kita? 3. Tool-tool apa saja yang digunakan untuk memperoleh gambaran obyek evaluasi? 4. Apa yang harus dipertimbangkan dalam menganalisis konteks politik dalam evlauasi yang mungkin akan terjadi? Apa dampak pertimbangan politis terhadap evaluasi yang akan dilakukan?
MENGIDENTIFIKASI AUDENS EVALUASI Sebelumnya, perlu diingatkan bahwa yang dimaksud dengan audien adalah semua pihak yang berkepentingan dan akan menerima hasil evaluasi, termasuk didalamnya sponsor, klien, pengelola program, penerima program, dan kalangan-kalangan masyarakat terkait dengan program tersebut. Evaluasi dikatakan buruk, kurang memadai, apabila hanya melibatkan segelintir kelompok audien. Sebagai contoh, suatu evaluasi program sekolah dapat diaktakan kurang baik jika hanya memperoleh informasi dari kepala sekolah, staf, dan guru tanpa melibatkan komite sekolah, siswa, dinas pendidikan, dan lain-lain. Intinya, pemilihan audien tidak boleh sepihak. Jadi, evaluator harus emnyadari betul bahwa audien utama adalah sponsor dank lien. Namun, masih banyak audien lain yang harus dipertimbangkan dan biasanya sponsor dank lien memberikan kewenangan kepada evaluator untuk menggunakan audien lain yang relevan, seperti staf, manajer, penerima/pengguna (user) dari program yang dievaluasi. Sebagai contoh, evaluator diminta mengevaluasi program KTSP oleh Pusat Kurikulum dan Badan Standar Nasional Pendidikan. Maka Puskur dan BSNP kita anggap sebagai sponsor sekalgus klien dan kedua elmbaga ini menjadi audien utama. Tapi, kita sebagai evaluator harus mengidentifikasi audien lain yang terkait seperti dinas pendidikan, para kepala sekolah, guru, siswa, komite sekolah, tokoh pendidikan, dan lain-lain. Guba dan Lincoln mengembangkan panduan yang dapat kita jadikan pegangan sebagai berikut:
9
Tabel Checklist Identifikasi Audiesn yang Relevan (Guba dan Lincoln, 1981) Untuk Untuk Untuk Untuk Individu, kelompok atau Untuk membuat membuat membuat bereaksi kepentingan lembaga kebijakan
keputusan operasional
input kepada evaluator
saja
Pengembang program Pemberi dana program Orang/lembaga yang dianggap sebagai kebutuhan lokal Komite atau lembaga yang menyetujui pelaksanaan program pada level lokal Pemberi dana level lokal Penyedia sumber daya lain (fasilitas, supply dll) Manajer Tertinggi pelaksana program Manajer program Sponsor evaluasi Klien langsung program Pihak yang berkepentingan atau mendapat manfaat tidak langsung (orang tua, karyawan, dll) Adopter potensial program Kelompok yang dikeluarkan dari program Kelompok yang menganggap efek samping negative dari program atau evaluasi Kelompok yang kehilangan power sebagai akibat danya program Anggota komunitas umum dll MENENTUKAN BATASAN: MENENTUKAN APA (OBYEK) YANG AKAN DIEVALUASI 10
Menentukan batasan dalah langkah yang mendasar (fundamental) untuk memperoleh gambaran yang jelas tentang apa yang akan dievaluasi (obyek evaluasi). Tidak ada evaluasi dilakukan tanpa adanya deskripsi yang lengkap tentang program yang akan dievaluasi. Deskripsi tersebut adalah batasan dari program yang sedang dievaluasi. Jadi, deskripsi program adalah batasan evaluasi, atau obyek evaluasi. Obyek evaluasi tercermin dalam deskripsi program. Deskripsi program adalah deskripsi tentang elemen-elemen kritis dari suatu program yang akan dievaluasi. Biasanya deskripsi program meliputi tujuan umum dan khusus, komponen dan aktifitas kritis, dan deskripsi dari udien sasaran (target audiens). Deskripsi juga kadang-kadang mencantumkan model atau flowchart yang menggambarkan kerangka teori yang medasari dilaksanakannya suatu program yang akan dievaluasi beserta alasannya.Lagi-lagi, sebelum evaluasi dilakukan, deskripsi program ini atau batasan evaluasi ini harus disepakati atau setidaknya dipahami sama oleh seluruh stakeholder. Dengan demikian, evaluator mendapatkan consensus dari stakeholder untuk melanjutkan evaluasi. Faktor-Faktor yang Harus Dipertimbangkan dalam Mengidentifikasi Obyek Evaluasi Evaluator dapat mengidentifikasi obyek evaluasi dengan menjawab beberapa pertanyaan berikut: 1. Permaslahan apa yang ingin diperbaiki oleh program yang akan dievaluasi? Kebutuhan apa yang menyebabkan program yang akan dievaluasi dilaksanakan? Apa tujuannya? Siapa yang menjadi sasaran dari program? 2. Terdiri dari apa sajakah program tersebut? Apa sajakah komponen, desain struktur, desain pengelolaan utama dari program yang akan dievaluasi? Untuk dan bagaimana fungsi dari program tersebut? 3. Apa sajakah yang menjadi seting dan konteks dari program tersebut (secara geografis, demografis, politis, dan secara umum lainnya)? 4. Siapa saja yang berpartisipasi dalam program baik yang langsung maupun tidak langsung? Siapa sajakah stakeholder lainnya? 5. Bagaimana sejarah dari program etrsebut? Berapa lama seharusnya program tersebut berjalan? 6. Kapan dan dalam kondisi apa program tersebut diimplementasikan? 7. Sumber daya apa saja yang digunakan untuk membuat program tersebut terlaksana? 8. Apakah program etrsebut telah dievaluasi sebelumnya? Jika ya, apa obyek evaluasinya? Bagaimana hasilnya? Bagimana hasil evaluasi tersebut digunakan? Pentingnya Teori Program untuk Menggambarkan Program Weiss (1972) dan Ftzgibbon dan Moriss (1975), dikembangkan lebih lengkap lagi oleh Chen, Donaldson dan Bickman (1987, 1990, 2002), menggunakan teori program sebagai alat untuk: 1) memahami program yang akan dievaluasi; dan 2) mengembangkan panduan evaluasi. Program teori itu sendiri didefinisikan oelh Chen (1990) sebagai “spesifikasi apa yang harus dilakukan untuk mencapai tujuan yang diharapkan, dampak lain apa saja yang harus diantisipasi dan bagaimana tujuan dan dampak ini dihasilkan”. Program teori terdiri dari dua bagian, yaitu: 1. Normatif; teori normative menjelaskan program sebagaimana seharusnya, tujuan dan hasilnya apa, intervensi dan alasan intervensinya seperti apa dari peprsfektif stakeholder yang beragam. 11
2. Kausatif; teori kasuatif menggunakan penelitian yang ada untuk menjelaskan outcome yang potensial dari program yang dilaksanakan berdasarkan karakteristik dari klien dan kegiatan/tindakan program. Informasi yang diperoleh dari kedua teori ini, kemudian dapat digunakan untuk mengembangkan model program yang jelas. Mengapa teori program diperlukan? Karena, kegagalan evaluasi program lebih disebabkan oleh lemahnya pemahaman yang komprehensif terhadap program yang akan dievaluasi. Metode Memperoleh Gambaran tentang Obyek Evaluasi Untuk mengembangkan deskripsi program atau obyek evaluasi dapat dilakukan dengan berbagai cara. Worthen dkk mengelompokkannya ekdalam tiga pendekatan dasar, yaitu: 1) membaca dokumen yang berisi informasi terkait dengan obyek (program); 2) berbicara dengan berbagai individu yang familiar dengan program; dan 3) mengamati program secara langsung dalam implementasinya. Kesimpulannya, ada tiga metode yang dapat digunakan untuk mengembangkan deskripsi program atau gambaran tentang obyek evaluasi, yaitu: 1. Dokumen deskriptif. Menganalisis terhadap dokumen terkait dengan program. Karena semua program dijelaskan dalam bentuk dokumen seperti proposal terhadap sponsor, dokumen perencanaan, laporan, nutulen rapat, surat-surat, publikasi, dll. 2. Wawancara. Sangat membantu karena tidak semua informasi dapat diperoleh dari dokumen. Dokuemn mungkin hanya dapat memberikan informasi sebagian atau bahkan kurang memadai sehingga perlu ditindak lanjuti dengan wawancara terhadap idnividuindividu tertentu yang terkait dengan program yang akan dievaluasi. 3. Pengamatan. Observasi atau pengamatan dapat memberikan gambaran langsung “program in action”. Jadi banyak pelajaran yang secara obyektif dapat diperoleh dari hasil pengamatan terhadap pelaksaan program yang sedang berjalan. Ketiga metode ini saling mendukung satu sama lain. Ketika hasil pengamatan ternyata berbeda dengan apa yang ada didalam dokumen, maka klarifikasi dapat dilakukan melalui wawancara. Atau sebaliknya, hasil wawancara dan analisis dokumen tidak sama dengan implmentasi senyatanya di lapangan, maka dapat dilengkapi dan dikoreksi dengan hasil pengamatan. Contoh Deskripsi suatu Obyek Evaluasi Program perawatan ini dirancang bagi para pelanggar yang dianggap sebagai peminum berat dan peminum pemula berdasarkan kriteria tertentu seperti jumlah DUI, kadar alcohol pada saat penagkapan, pengukuran kadar alcohol di lab, dll. Program ini bertujuan utnuk menurunkan tingkat kecelakaan dan kematian karena pengendara yang mabuk. Hal ini dilakukan karena perhatian public terhadap maslah ini cukup tinggi dan dipandang perlu diberikan perlakuan khusus bagi para pelanggar jalanan yang mempunyai masalah dengan minuman beralkohol. Tujuannya adalah untuk membantu pelanggar menyadari bahwa dirinya memiliki masalah dengan minuman beralkohol, dampaknya terhadap keselamatan diri dan orang lain, serta memberikan solusi alternative-alternatif pemecahan masalah. Perancang program menyadari bahwa sumbersumber untuk program kurang memadai untuk menghentikan para pecandu alcohol untuk berhenti minum minuman keras. Sehingga teori yang melandasi program ini dimodelkans ebagai berikut: 1) masalah peminum yang dipicu oleh pengaruh alcohol kebanyakan tidak menyadari masalahnya dan dampak dari hal tersebut terhadap 12
keselamatan diri dan orang lain; 2) jika pelanngar ini diberikan informasi terkait dengan penggunaan alcohol dan berpartisipasi diskusi kelompok terkait dengan pengalamannya, mereka akan menyadari masalahnya; 3) program ini akan merujuk mereka ke suatu tempat dimana mereka dapat menerima terapi lebih jauh yang sesuai; 4) dengan menerima perawatan lebih jauh, para pelanggar ini akan mengurangi konsumsi alkoholnya, dan karenanya, frekuensi mengendarai kendaraan dalam kondisi mabuk menjadi menurun; 5) jika dalam kondisi mabuk, pelanggar disarankan untuk menggunakan cara lain dalam melakukan perjalanan, seperti membiarkan teman yang mengendarai kendaraan, naik taxi, atau kendaraan umum lain, dan lain sebagainya.
MENGANALISIS SUMBER DAYA DAN KEMAMPUAN PENDUKUNG EVALUASI Adalah Hurst dan Levin (1975) yang menentangdoktrin “evaluasi bebas biaya (cost-free evaluation) dengan mengatakan bahwa evaluasi bukanlah “partai tambahan atau penggembira” (added-on-extra). Tapi, evaluasi adalah bagian yang tidak terpisahkan dari pengelolaan suatu program yang berfungsi sebagai sarana untuk mengidentifikasi keefektifan biaya terhadap konsekuensi dari implementasi suatu program/proyek. Jika evaluasi digunakan untuk tujuan formatif maka harus mampu memberikan rekomendasi perbaikan program kearah yang lebih baik. Jika evaluasi digunakan untuk tujuan sumatif maka harus mampu memberikan rekomendasi sumatif sebagai upaya untuk mempertahankan atau menghentikan program, meningkatkan efektifitas biaya program, meningkatkan keberhasilan atau menghilangkan faktor yang tidak penting. Apa sajakah sumber daya dan kemampuan pendukung evaluasi yang harus dianalisis? Diantaranya adalah sumber daya keuangan (financial resources); ketersediaan dan kemampuan personel evaluasi, dukungan teknologi dan sumber daya lain, dan konteks politik terkait dengan program yang dievaluasi. Analisis Ketersediaan Dana yang Diperlukan untuk Evaluasi Worthen dkk menyatakan bahwa idealnya perencanaan evaluasi dan anggaran harusnya fleksibel. Namun, penganggaran harus dilakukan sebagai tahap akhir dari perencanaan evaluasi setelah semua hal yang harus dilakukan, ruang lingkup atau batasan evaluasi dan lain-lain teridentifikasi dengan baik sehingga tidak ada pos-pos anggaran yang harus dibiayai secara wajar diperhitungkan dengan cermat. Mengingat klien umumnya tidak tahu persis langkah dan keluasan evaluasi, maka penanggaran odealnya didiskusikan dengan klien mengenai untuk apa, berapa dan mengapa. Dalam hal ini, evaluator dapat menawarkan beberapa alternative anggaran. Misal, alternative A dengan biaya Rp. XXXX akan meliputi YYYY. Alternatif B dengan biaya Rp. XXX akan meliputi YYY. Alternatif C dengan biaya XX akan meliputi YY. Semua itu perlu didialogkan dengan klien dan sponsor. Dalam beberapa kasus, klien sudah menyebutkan sejak awal bahwa kisaran biaya akan sebesar sekian rupiah. Berdasarkan besaran biaya tersebut, evaluator dapat menentukan keluasan evaluasi berdasarkan anggaran yang ada dan menejelaskannya secara logis untuk apa, berapa dan mengapa kepada klien. Analisis Ketersediaan dan Kemampuan Personel Evaluasi Personel evaluasi menjadi penentu keberhasilan evaluasi disamping biaya seperti dijelaskan di atas. Dalam hal ini, evaluator harus mempertimbangkan karakteristik program yang akan
13
dievaluasi (obyek evaluasi). Dengan demikian evaluator dapat mengidentifikasi dan menetukan kebutuhan personel evaluasi, mulai dari pertanyaan: Apakah dibutuhkan evaluator internal? Jika ya, siapa saja dengan kriteria apa? Berpa banyak? Siapa saja evaluator eksternal yang familiar dengan program yang akan dievaluasi? Apakah dalam agensi (evaluator) terdapat orang dalam yang familiar dengan program yang akan dievaluasi. Berapa banyak evaluator eksternal diperlukan dengan kriteria apa saja? Apakah harus menghire dari pihak ketiga? Evaluasi tidak harus menggunakan orang-orang yang ahli evaluasi. Tapi harus juga mempertimbangkan orang-orang yang ahli dalam bidang program yang akan dievaluasi. Jikpun tidak, berarti evauator harus memberikan orientasi, pelatihan dan penegndalian terhadap personel tersebut. Semua hal tersebut adalah pilihan yang perlu dipertimbangakan dan menjadi keputusan evaluator. Menganalisis Usmber Daya Teknologi dan Sumber Daya lain serta Hambatan-hambatan Evaluasi Selain personel dan biaya, jangan lupa untuk mempertimbangkan masalah dukungan teknologi serta sumber daya lain termasuk berbagai hal yang memungkinkan menghambat keberhasilan evaluasi. Diantaranya adalah ketersediaan data, termasuk file, catatan/arsip, evaluasi sebelumnya, dokumen yang relevan, dan lain-lain. Masalah waktu juga menjadi pertimbangan. Ketersediaan teknologi terkait dengan upaya pengumpulan informasi seperti teknologi komunikasi tatap muka, konferensi video, konferensi audio, alat perekam informasi (video recorder, software pengolah data dan informasi, dan lain-lain. Menganalisis Konteks Politik Evaluasi Pada dasarnya evaluasi adalah proses politik. Setiap aktifitas yang melibatkan penerapan nilainilai yang beragam memiliki implikasi politik. Oleh karena itu pertimbangan politis harus diperhatikan baik sejak perencanaan evaluasi, pelaksanaan maupunlaporan hasil evaluasi. Terkait dengan hal ini, evaluator hendaknya mempertimbangkan beberapa pertanyaan berikut: 1. Siapa yang akan memperoleh keuntungan dan kerugian dari hasil evaluasi? Apakah mereka memahami konsekuensi organisasi terhadap hasil evaluasi? 2. Siapa saja baik individu atau kelompok yang memiliki power dalam seting program yang akan dievaluasi? Apakah mereka telah stuju untuk dilaksanakannya evaluasi? Maukan mereka bekerjasama? 3. Bagaimana evaluator diharapkan dapat berhubungan dengan individu atau kelompok yang berbeda-beda? Seperti apa sajakah perbedaan karakteristik dari individu-individu atau kelompok-kelompok tersebut? 4. Dari stakeholder pihak mana saja kerjasama dan informasi esensial akan diperoleh? Stakeholder mana yang kemungkinan sulit bekerjasama? 5. Stakeholder mana saja yang memiliki kepentingan (vested interest) terhadap hasile valuasi? 6. Siapa saja yang perlu diberi informasi selama evaluasi tentang rencana, prosedur, progress dan temuan/hasil evaluasi? 14
KESIMPULAN 1. Pada langkah awal dalam menganalisis konteks evaluasi adalah mempelajari kebutuhan dan persepsi evaluasi dari audien potensial yang berbeda-beda. Oleh karenanya evaluator perlu melakukan identifikasi, interview melibatkan user yang ebrbeda-beda secara tepat. 2. Cara menentukan batasan dan pemahaman komprehensif terhadap program yang akan dievaluasi adalah dengan melakukan deskripsi program. 3. Teori program adlah salah satu ala memahami programs ecara komprehensif yang terdiri dari dua ketagori yaitu normative dan kausatif. 4. Untuk memahami program secara utuh dan komprehensif digunakan tiga metode yaitu: dokumen deskriptif, wawancara, dan observasi. 5. Evaluator harus mempertimbangkan ketersediaan berbagai sumber daya dan kemampuan meliputi anggaran, ketersediaan personel evaluasi, keetrsediaan teknologi dan dukungan sumber daya lain serta pertimbangan konteks politis.
15
