Teori dan Praktek Evaluasi Program DIAN PERMATASARI K.D
• Evaluasi merupakan alat dari berbagai cabang ilmu pengetahuan untuk menganalisis dan menilai fenomena ilmu pengetahuan dan aplikasi ilmu pengetahuan dalam penerapan ilmu pengetahuan dalam praktik profesi. • Stufflebeam (2007) mendefinisikan teori evaluasi program sebagai berikut: “teori evaluasi program mempunyai enam ciri, yaitu: pertalian menyeluruh, konsep-konsep inti, hipotesis-hipotesis teruji mengenai bagaimana prosedur-prosedur evaluasi menghasilkan keluaran yang diharapkan, prosedur-proseduryang dapat diterapkan, persyaratan-persyaratan etikal, dan kerangka umum untuk mengarahkan praktik evaluasi program dan melaksanakan penelitian mengenai evaluasiprogram. • model evaluasi program berfungsi sebagai "peta jalan" untuk memandu praktek evaluasi. Oleh karena itu, untuk merencanakan dan melaksanakan proyekproyek evaluasi, evaluator harus memahami teori utama yang telah membentuk penelitian dan metode evaluasi (Mertens, 2004).
• Evaluasi program penelitian diterapan dalam konteks sosial yang beragam seperti kesehatan, pendidikan, dan pekerjaan sosial. Beberapa konteks memerlukan pendekatan evaluasi yang berbeda, mengangkat isu-isu yang beragam, dan menghasilkan berbagai jenis bukti ilmiah. • Fitzpatrick et al.(2004) mengkategorikan model program evaluasi yaitu (1) berorientasi pada tujuan, (2) berorientasi pada manajeme, (3) berorientasi pada konsumen, (4) berorientasi pada keahlian, dan (5) berorientasi pada pendekatan peserta. • Stufflebeam (2001) diklasifikasikan model ke (1) pseudoevaluations, (2) Pertanyaandan metode yang berorientasi pendekatan,(3) peningkatan/akuntabilitas berorientasi pada pendekatan, dan (4) model advokasi sosial .
EVALUASI POHON ALKIN DAN CHRISTI • Marfin C. Alkin & Cristina A. Cristie mengemukakan penggolongan dan perkembangan teori dalam bentuk evaluasi yaitu dalam bentuk evalauation Theory Tree (pohon teori evaluasi) . Akar dari pohon evaluasi adalah : Accountabillity & control (pertanggung jawaban & control) Kebutuhan dan tuntutan pertanggung jawaban pelaksanaan program menimbulkan kebutuhan akan evaluasi. Evaluasi juga merupakan alat untuk mengontrol apakah program telah telah dilaksanakan dengan terencana. Social inquiry (penelitian ilmu social). Evaluasi merupakan bagian dari penelitian ilmu social merupakan studi mengenal prilaku dari kelompok-kelompok individu dalam antar social dengan mempergunakan berbagai metode.
Perbandingan penilaian Alkin dan Messick • Menurut Messick (1989 ) penilaian terdiri dari tiga kategori : (1) bukti ilmiah, (2) nilainilai, dan (3) konsekuensi . • Menurut Alkin dan Christie mengkonsepkan evaluasi seperti pohon dengan tiga cabang : (1) metode, (2) menilai, dan (3) menggunakan. • Metode adalah proses, dan bukti produk. Demikian pula, menilai adalah penilaian atau interpretasi ditempatkan pada bukti, yang Messick sebut sebagai makna dikaitkan dengan hasil . • Konsep dari Kategori metode,nilai-nilai,dan penggunaan (Alkin & Christie, 2004b) adalah kategori yang sama dengan bukti ilmiah, implikasi dari nilai, dan konsekuensi sosial (Messick, 1989). Untuk alasan ini, Messick (1989) mengatakan kerangka kerja dapat digunakan sebagai model evaluasi program yang komprehensif .
Perbandingan penilaian Alkin dan Messick
Kategori metode, nilai-nilai, dan penggunaan (Alkin & Christie, 2004b) adalah kategori yang sama dengan bukti ilmiah, implikasi nilai, dan konsekuensi sosial. Untuk alasan ini, Messick (1989) kerangka kerja dapat digunakan sebagai model evaluasi program yang komprehensif.
Jenis Metode Evaluasi
Model-Model Evaluasi • Model evaluasi Objective-Oriented Approach (pendekatan penilaian berorientasi tujuan) adalah pendekatan dalam melakukan evaluasi program yang menitik beratkan pada penilaian ketercapaian tujuan. Oleh karena itu, pandangan ini mempersyaratkan bahwa suatu program pendidikan harus menetapkan atau merumuskan tujuantujuan spesifiknya secara jelas. Terhadap tujuan-tujuan program yang sudah ditetapkan tersebut barulah evaluasi program difokuskan.
• Cost-benefit Biaya-manfaat Studi terdiri dari set prosedur kuantitatif untuk menentukan rasio investasi dengan manfaat sosial. Biaya dapat ditentukan dengan menjumlahkan berbagai komponen dari total biaya, termasuk fasilitas, peralatan, dan klien input (Levin, 2001). Masalah utama dari manfaat biaya penelitian adalah bahwa mereka kesulitan untuk mengukur dari segi manfaat pendidikan dengan pendidikan jarak jauh, masa depan perkiraan biaya juga penting, dan perkiraan ini harus mencerminkan cepat dari perubahan teknologi . • Accreditation Akreditasi adalah "proses dimana organisasi memberikan persetujuan lembaga seperti sekolah, universitas dan rumah sakit "(Fitzpatrick et al., 2004, p. 214). Proses ini didasarkan pada pengumpulan informasi dan konsep yang diadopsi dari model evaluasi industri. Salah satu contoh dari studi akreditasi adalah Akreditasi Nasional Guru Pendidikan, yang dilaksanakan oleh publik Amerika universitas setiap 5 tahun. Model Akreditasi menekankan manfaat program dari lembaga yang bersaing. Akreditasi sangat penting untuk memastikan efektivitas dan berkualitas tinggi pelayanan pendidikan.
Model dengan Nilai di Foreground (PONDASI) Ketika kita menyebut model evaluasi berdasarkan nilai-nilai, kita mengacu pada model yang membawa nilai-nilai ke latar depan dalam sejumlah cara. Nilai-nilai yang mendasari pengumpulan dan penggunaan bukti ilmiah tercermin dalam beragam epistemologi, tujuan, sasaran, dan penggunaan program studi evaluasi (Popham , 1993) .
• Responsive evaluation Dalam model evaluasi Stake ini mendefinisikan evaluasi sebagai suatu nilai pengamatan dibandingkan dengan keahlian. Stakes telah menggariskan beberapa ciri pendekatan model evaluasi responsif, yaitu: 1) Lebih ke arah aktivitas program (proses) daripada tujuan program. 2)Mempunyai hubungan dengan banyak kalangan untuk mendapatkan hasil evaluasi. 3) Perbedaan nilai perspektif dari banyak individu menjadi ukuran dalam melaporkan kegagalan dan keberhasilan suatu program. Evaluasi responsive ini adalah sistem yang mengorbankan beberapa fakta dalam evaluasi dengan harapan dapat meningkatkan penggunaan hasil evaluasi kepada individu atau program itu sendiri. Kebanyakan evaluator lebih menekankan pada kenyataan, penggunaan ujian obyektif, menentukan standar program dan laporan penyelidikan. Evaluasi ini kurang memberikan pengaruh dalam komunikasi formal dibandingkan dengan komunikasi biasa. Menurut Stake , peran evaluator adalah untuk mendokumentasikan beberapa realitas semua peserta program , termasuk guru , administrator , dan pembayar pajak .
• Teori berbasis evaluasi Dalam teori berbasis evaluasi, evaluator dimulai dengan teori tentang bagaimana Program seharusnya bekerja dan menggunakan teori program untuk memandu proses evaluasi.
Ada enam komponen inti dalam evaluasi: • 1. Input : sumber , kontribusi , investasi Program 2. Output : kegiatan , layanan, acara, dan produk 3. Hasil : hasil atau perubahan bagi individu , kelompok, masyarakat , dan lain-lain 4. Asumsi : keyakinan tentang program, peserta , dan konteks 5. Faktor eksternal : lingkungan di mana program ini ada 6. Evaluasi : dampak
Model dengan Konsekuensi di Foreground
Model CIIP • Konsep evaluasi model CIPP (Context, Input, Process and Product) pertama kali ditawarkan oleh Stufflebeam pada tahun 1965 sebagai hasil usahanya mengevaluasi ESEA (the Elementary and Secondary Education Act). Konsep tersebut ditawarkan oleh Stufflebeam dengan pandangan bahwa tujuan penting evaluasi adalah bukan membuktikan tetapi untuk memperbaiki. • Evaluasi model CIPP dapat diterapkan dalam berbagai bidang, seperti pendidikan, manajemen, perusahaan sebagainya serta dalam berbagai jenjang baik itu proyek, program maupun institusi. Dalam bidang pendidikan Stufflebeam menggolongkan sistem pendidikan atas 4 dimensi, yaitu context, input, process dan product, sehingga model evaluasinya diberi nama CIPP model yang merupakan singkatan ke empat dimensi tersebut. • Context evaluation dimaksudkan untuk mengevaluasi konteks misalnya mengevaluasi kurikulum yang berkaitan dengan standar kompetensi dan kompetensi dasar. Input evaluation dimaksudkan untuk mengevaluasi masukan seperti kompetensi guru, sumber-sumber belajar atau sarana pembelajaran, karakteristik sekolah, dan lain-lain. Process evaluation dimaksudkan untuk mengevaluasi proses belajar mengajar, fungsi manajemen, efisiensi administrasi, dan lain-lain. Sedangkan product evaluation adalah untuk mengevaluasi keberhasilan outcome sebuah program.
•
Utilization Evaluation evaluasi utilitas yang dikembangkan Patton (1978) dalam satu aspek juga dapat dipandang sebagai pendekatan pembuatan keputusan. Dia menekankan bahwa proses indentifikasi dan pengorganisasian relevansi antara pengambil keputusan dan pengguna informasi merupakan langkah pertama dalam evaluasi. Dalam pandangan dia, penggunaan hasil temuan evaluasi perlu memperhatika pemikiran para pengambil keputusan, informasi apa yang dibutuhkan oleh kelompok sasaran, bagaimana informasi tersebut dikumpulkan, dan bagaimana disajikan kepada mereka. Semua aspek evaluasi diarahkan menuju untuk memaksimalkan peluang dalam menerapkan temuan yang dimaksud dan mereka gunakan, dan sebagai sebuah konsultasi stakeholder yang penting dalam memajukan perubahan proses (Stufflebeam, 2001). Ada beberapa cara di mana proses evaluasi dan temuan dapat digunakan untuk membuat dampak. Misalnya, partisipasi dalam evaluasi Proses dapat menumbuhkan pembelajaran pada individu dan tim dan mengubah organisasi budaya (Patton, 1997).
• Empowerment Evaluation Ketika upaya evaluator eksternal untuk memberdayakan sebuah kelompok untuk melakukan evaluasi sendiri yang maju sebagai evaluasi eksternal atau mandiri, mereka cocok label kami pemberdayaan dengan kedok evaluasi. Sudah kita melihat dua kekurangan dalam pemikiran mereka. Tidak ada klaim tentang pemberdayaan orang dalam evaluasi pemberdayaan.Evaluasi Pemberdayaan tidak dapat dan tidak berusaha untuk memberdayakan siapa pun. Orang memberdayakan diri mereka sendiri. Evaluator pemberdayaan menciptakan lingkungan bagi orang untuk memberdayakan diri mereka sendiri (Fetterman dan Wandersman, 2005). Kedua, tidak ada yang mengklaim bahwa evaluasi pemberdayaan adalah evaluasi eksternal atau independen. Ini secara eksplisit bentuk evaluasi internal yang dirancang untuk mendorong penentuan nasib sendiri dan perbaikan.
Kekuatan evaluasi pemberdayaan adalah menggunakan proses. Semakin banyak orang mengambil peran aktif dalam melakukan evaluasi mereka sendiri semakin besar kemungkinan mereka adalah untuk: 1) menemukan temuan kredibel, dan 2) menerima dan melaksanakan rekomendasi (karena mereka adalah milik mereka).
KESIMPULAN • Model evaluasi Alkin dan Christie (2004a) diklasifikasikan teori evaluasi program sesuai dengan ("fokus utama“) mereka pada (1) metode, (2) nilai-nilai, dan (3) menggunakan. kategori klasifikasi dari Messick (1) bukti ilmiah, (2) nilai-nilai, dan (3) konsekuensi. Untuk alasan ini, kerangka Messick adalah sebuah model omnibus yang komprehensif dari evaluasi program profesional. Kedua model evaluasi program profesional dan kerangka Messick ini mencakup tiga aspek berulang nilai: bukti ilmiah, nilai-nilai, dan konsekuensi. • Menurut Alkin (1969), evaluasi adalah suatu proses meyakinkan keputusan, memilih informasi yang tepat, mengumpulkan,dan menganalisa informasi sehingga dapat melaporkan ringkasan data yang berguna bagi pembuat keputusan dalam memilih beberapa alternatif. Model ini digunakan untuk menilai program. Dalam merumuskan model evaluasi program yang disusunnya, Alkin membuat batasan konstruk evaluasi sebagai suatu proses penentuan area yang akan di evaluasi, pemilihan informasi yang cocok untuk dievaluasi, pengumpulan dan analisis informasi serta penyusunan laporan atau ringkasan data yang berguna bagi pengambil keputusan dalam memilih alternatif yang berguna yang tepat dari berbagai alternatif yang ada.
