BAB IX EVALUASI DAN MODEL EVALUASI PROGRAM
A. Pendahuluan Melakukan evaluasi dalam tiap kegiatan, proyek maupun program merupakan suatu tahapan yang biasa dilakukan oleh berbagai kalangan. Namun demikian, tidak semua evaluasi yang dilakukan dilaksanakan dengan terencana, sesuai dan memiliki langkah yang jelas. Bab ini mengemukakan beberapa model evaluasi program yang dapat dipilih sesuai dengan karakteristik program, proyek maupun kegiatan. Oleh karena itu, anda diminta untuk lebih jeli dan teliti dalam memahami, memantau dan menentukan suatu model yang sesuai dengan program yang akan dievaluasi. Sebelum melangkah jauh, pada permulaan bab ini dikemukakan pula tentang definisi evaluasi program dari berbagai ahli. Dengan demikian, setelah mengikuti perkuliahan ini, anda diharapkan dapat: 1. Menjelaskan definisi Evaluasi Program 2. Membedakan minimal 3 model Evaluasi Program 3. Menentukan model yang tepat untuk evaluasi program pembelajaran di sekolah kejuruan 4. Memanfaatkan minimal 1 model untuk pelaksanaan evaluasi program di sekolah kejuruan.
B. Evaluasi Program Evaluasi merupakan kegiatan yang rutin dilakukan baik di sekolah, perusahaan negara dan swasta maupun instansi-instansi pemerintahan. Evaluasi umumnya juga dilakukan pada program-program yang telah dilaksanakan oleh karena itu, penting kiranya dijabarkan di sini tentang definisi dan konsep dari evaluasi program itu sendiri. Menurut Djaali dan Mulyono (2004:1) mengungkapkan evaluasi sebagai proses menilai sesuatu berdasarkan kriteria atau tujuan yang telah ditetapkan, kemudian diambil keputusan atas obyek yang dievaluasi. Arikunto dan Cepi Safruddin (2010: 2) 161
162 mengatakan evaluasi adalah kegiatan untuk mengumpulkan informasi tentang bekerjanya sesuatu, yang selanjutnya informasi tersebut digunakan untuk menentukan alternatif yang tepat dalam mengambil sebuah keputusan. Kedua Pendapat di atas mengemukakan betapa pentingnya suatu proses dan pengumpulan informasi guna pengambilan keputusan. Adapun pengambilan keputusan tersebut dapat tidak sebatas pada penghakiman, namun lebih jauh dapat berupa upaya perbaikan maupun penyebaran informasi yang berkelanjutan. Senada dengan yang diungkapkan oleh Gall (2003: 542) tentang evaluasi is the process of making judgment about merit, value or worth of educational program. Adapun menurut Stufflebeam, Madaus dan Kellaghan (2002:35) Evaluasi merupakan” Evaluation means a study designed and conducted to assist some audience to asses an object’s merit and worth”. Evaluasi merupakan studi yang dirancang dan dilakukan untuk membantu khalayak untuk mengetahuinilai dan manfaat suatu objek (program). Stake (2004:4) mengatakan “Evaluation is the comparison of the condition or performance of something to one more standars; the report of such a comparasion”. Evaluasi adalah perbandingan kondisi atau kinerja sesuatu untuk satu standars atau lebih. Dalam hal ini, Stake lebih menekankan kesesuaian antara suatu kondisi kerja yang biasa disebut kinerja dengan suatu patokan, acuan atau standarisasi yang telah ditetapkan. Pendapat Stake juga didukung oleh Worthen dan Sanders (2004:5) “Evaluation as the identification, clarification and application of defensible criteria to determine an evaluation object’s value (worth and merit) in relation to those criteria.” Evaluasi (program)
sebagai
identifikasi,
klarifikasi
dan
penerapan
kriteria
yang
dapat
dipertanggungjawabkan untuk menentukan nilai dari suatu objek evaluasi (nilai dan manfaat) dalam kaitannya dengan kriteria yang telah ditetapkan. Berdasarkan pendapat – pendapat di atas, maka dapat dipahami bahwasanya Evaluasi program merupakan serangkaian proses untuk menemukan sesuatu yang bernilai manfaat untuk dasar sebagai pengambilan keputusan. Pandangan para ahli di atas juga mengisyaratkan pentingnya kriteria atau standar tertentu sebagai pembanding yang objektif untuk pengambilan keputusan. Oleh karena itu, kriteria hendaknya disusun atau diajukan sebelum kegiatan evaluasi dilaksanakan, agar tidak terjadi kekeliruan dalam pengambilan keputusan.
163 Pendapat yang mendukung para ahli di atas datang pula dari Stufflebeam dan Shinkfield (2007: 16) yang mengatakan: “Evaluation is the systematic process of delineating, obtaining, reporting, and applying descriptive and judgemental information about some object’s merit, worth, probity, feasibility, safety, significance, and/or equity”. Evaluasi (program) adalah proses sistematis menggambarkan, memperoleh, pelaporan, dan menerapkan informasi deskriptif dan pertimbangan tentang manfaat beberapa objek, senilai, kejujuran, kelayakan, keselamatan, signifikansi, dan/atau ekuitas.Hal serupa juga dikemukakan oleh Schalock (2002: 6) yang mengatakan Evaluation: a process that leads to judgments and decisions about programs or policies. Evaluasi merupakan suatu proses yang mengarah pada penilaian dan keputusan tentang program atau kebijakan. Berdasarkan beberapa pendapat-pendapat di atas, dapat diketahui bahwa evaluasi
program
merupakan
kegiatan
yang
sistematisdalam
memperoleh,
menggambarkan dan menganalisis seperangkat informasi (data) dari suatu kegiatan maupun program sebagai dasar dalampertimbangan dan pengambilan keputusan berdasarkan standar atau kriteria yang telah ditetapkan sebelumnya. Oleh karena itu, evaluasi erat kaitannya dengan proses pertimbangan dan pengambilan keputusan terhadap keberhasilan suatu perencanaan, proses dan hasil yang diharapkan. Evaluasi yang sekarang banyak dikenal dalam bidang pendidikan adalah evaluasi program pendidikan. Pembahasan tentang evaluasi program pendidikan sangat variatif, sehingga berperan dalam mempengaruhi jenis dan model evaluasi. Berbagai jenis dan model evaluasi, umumnya bermuara pada pengukuran, penyediaan serta penggambaran informasi yang diakhiri dengan pengambilan keputusan setelah melalui berbagai pertimbangan dalam berbagai aspek. Evaluasi program dalam bidang pendidikan yang berkembang dewasa ini, merupakan suatu langkah maju bagi dunia pendidikan. Hampir setiap aspek dalam bidang pendidikan dapat dijadikan bahan evaluasi program. Hal ini dapat dipahami, sebagai dampak kesadaran dari berbagai pihak akan pentingnya pendidikan, serta terpanggilnya berbagai kalangan untuk ikut serta dan berkontribusi terhadap kemajuan pendidikan.
164 Owen (2008:290) menyatakan bahwa “Evaluation as complementary to and supportive of, the development and provision of effective and responsive public and private sector inteventions (evaluands)”. Evaluasi (program) sebagai pelengkap dan mendukung, pengembangan dan penyediaan intervensi sektor publik dan swasta yang efektif dan responsif. Menurut Arikunto (2008:290) evaluasi program adalah suatu rangkaian kegiatan yang dilakukan dengan sengaja untuk melihat tingkat keberhasilan program. Senada dengan pendapat Owen di atas, dikemukakan oleh Gelmon, Foucek dan Waterbury (2005:2) yang mengatakan: “Evaluation is necessary to gain information about program efficacy and to identify areas for program improvement. Valuable information can result from learning that a program achieved its goals, but equally valuable information can be derived from examining why a program did not achieve its goals. Evaluation is not only intended to look at "did it work" or not, but also for whom, where, and under what circumstances.” Evaluasi ini diperlukan untuk mendapatkan informasi tentang efektivitas program dan mengidentifikasi area untuk perbaikan program. Informasi berharga dapat hasil dari belajar bahwa program mencapai tujuannya, tetapi informasi yang sama berharga dapat diturunkan dari memeriksa mengapa program tidak mencapai tujuannya. Evaluasi tidak hanya ditujukan untuk melihat "apakah hal tersebut bekerja" atau tidak, tetapi juga untuk siapa, di mana, dan dalam keadaan apa. Lebih lanjut Stufflebeam, Madaus dan Kellaghan (2002:280) menerangkan bahwa evaluasi program merupakan: “... the process of delineating,obtaining, reporting, and applying descriptive and judgmental information about some object’s merit and worth in order to guide decision making, support accountability, disseminate effective practices, and increase understanding of the involved phenomena”. Proses menggambarkan, memperoleh, pelaporan,dan menerapkan informasi deskriptif dan mempertimbangkan tentang beberapa obyek prestasi dan layak untuk dasar pengambilan keputusan, mendukung akuntabilitas, menyebarkan praktek-praktek yang efektif, dan meningkatkan pemahaman tentang suatu fenomena (program).
165 Pendapat para ahli di atas, mengisyaratkan sekurang-kurangnya ada 3 hal penting yang hendaknya diperhatikan dalam melakukan evaluasi program, yaitu: 1) Pentingnya suatu proses dengan rangkaian rencana yang sistematis, 2) Penetapan standar atau kriteria atau indikator yang jelas dan terukur sebelum dimulainya evaluasi, 3) Pertimbangan dan pengambilan keputusan yang dapat dipertanggungjawabkan secara objektif. Berdasarkan uraian tentang konsep evaluasi program di atas disimpulkan bahwa evaluasi program merupakan suatu proses kegiatan yang sistematis dalam memperoleh, menggambarkan dan menganalisis seperangkat informasi (data) dari suatu program sebagai bahan dalam pertimbangan dan pengambilan keputusan berdasarkan standar atau kriteria yang telah ditetapkan sebelumnya. Kirkpatrick dan Kirkpatrick (2006:17) menambahkan ada tiga alasanmengapa diperlukan evaluasi program, yaitu: (1) untuk menunjukan eksistensi dan dana yang dikeluarkan terhadap pencapaian tujuan
dan sasaran program yang dilakukan, (2)
untuk memutuskan apakah kegiatan yang dilakukan akan diteruskan atau dihentikan, (3) untuk mengumpulkan informasi bagaimana cara untuk mengembangkan program di masa mendatang. Menurut Arikunto dan Cepi Safruddin (2010: 22) ada empat kemungkinan kebijakan yang dapat dilakukan berdasarkan hasil evaluasi pelaksanaan program yaitu : 1) Menghentikan program, karena dipandang bahwa program tersebut tidak ada manfaatnya, atau tidak dapat terlaksana sebagaimana diharapkan. 2) Merevisi program, karena ada bagian-bagian yang kurang sesuai dengan harapan (terdapat kesalahan tetapi sedikit). 3) Melanjutkan program, karena pelaksanaan program menunjukkan bahwa segala sesuatu sudah berjalan sesuai dengan harapan dan memberikan hasil yang bermanfaat. 4) Menyebarkan program (melaksanakan program ditempat lain atau mengulangi lagi program di lain waktu), karena program tersebut berhasil dengan baik, maka sangat baik jika dilaksanakan lagi di tempat dan waktu lain.
C. Model Evaluasi Terdapat beberapa model evaluasi program, khususnya program yang berkaitan dengan kependidikan. Meskipun terdapat beberapa perbedaan antara model-model
166 tersebut, tetapi secara umum model-model tersebut memiliki persamaan yaitu mengumpulkan data atau informasi obyek yang dievaluasi sebagai bahan pertimbangan bagi pengambil kebijakan.
a. Model CIPP (Stufflebeam) Model CIPP dikemukakan pertama kali oleh Stufflebeam. Model ini mencakup evaluasi context, input, process dan product. CIPP merupakan model yang dewasa ini sering digunakan para evaluator pendidikan. Hal ini dikarenakan model ini terbilang objektif dan efektif dalam cara pandangnya terhadap suatu program. Stufflebeam (2007: 281) mengatakan bahwaThe CIPP Model reflects an objectivist orientation. Objectivist evaluations are based on the theory that moral good is objective and independent of personal or merely human feelings.”, Mengenai penjelasan tentang evaluasi konteks Lebih lanjut dikemukakan oleh Stufflebeam (2003:31) : “Context evaluations assess needs, problems, and opportunities within a defined environment; they aid evaluation users to define and assess goals and later reference assessed needs of targeted beneficiaries to judge a school program, course of instruction, counseling service, teacher evaluation system, or other enterprise.” Dalam evaluasi konteks, evaluator berkepentingan untuk mengungkap masalahmasalah yang terjadi berdasarkan dasar keberadaan program tersebut. Adapun program tersebut berjalan dapat berupa dasar hukum, kebijakan maupun dasar kebutuhan.Kemudian proses evaluasi konteks dapat pula dikaitkan dengan kebutuhan stakeholders atau pemangku kepentingan pendidikan baik guru, kepala sekolah, maupun pemangku kepentingan lainnya. Mengenai evaluasi input (masukan) dikemukakan oleh stufflebeam (2003:31) bahwa: “Input evaluations assess competing strategies and the work plans and budgets of approaches chosen for implementation; they aid evaluation users to design improvement efforts, develop defensible funding proposals, detail action plans, record the alternative plans that were considered, and record the basis for choosing one approach over the others.” Evaluasi masukan merupakan suatu penilaian atas strategi, rencana kerja dan anggaran dari pendekatan yang dipilih untuk pelaksanaannya.Evaluator membantu
167 pemangku
kepentingan
(stakeholders)
untuk
merancang
upaya
perbaikan,
mengembangkan program, detil rencana aksi, mempertimbangkan alternatif rencana, dan mencari dasar untuk memilih suatu pendekatan yang akan digunakan dalam pelaksanaan program. Mengenai evaluasi proses, Stufflebeam (2003:31) menekankan “Process evaluations monitor, document, and assess activities; they help evaluation users carry out improvement efforts and maintain accountability records of their execution of action plans.” Pada tahapan ini, evaluasi lebih mengutamakan kegiatan pencatatan dan pemantauan dari perjalanan suatu program. Oleh sebab itu, keterlibatan pengelola program hendaknya lebih dilibatkan di tahap ini. Hal ini disebabkan, pengelola program umumnya lebih mempunyai mengakses secara administratif dibandingkan orang lain. Sedangkan dalam evaluasi Produk seperti dikatakan Stufflebeam (2003:31) bahwa: “Product evaluations identify and assess short-term, long-term, intended, and unintended outcomes. They help evaluation users maintain their focus on meeting the needs of students or other beneficiaries; assess and record their level of success in reaching and meeting the beneficiaries' targeted needs; identify intended and unintended side effects; and make informed decisions to continue, stop, or improve the effort.”
Model CIPP pada dasarnya merupakan model yang komprehensif dan terbilang lengkap. Namun demikian, sudut pandang dari model ini lebih kepada manajemen pelaksanaan program dibanding keikutsertaan atau partisipasi evaluator di dalam pelaksanaan program tersebut. Padahal evaluasi partisipatif dalam beberapa program, merupakan suatu hal yang teramat penting untuk memunculkan rekomendasi yang tepat. Hal ini diperkuat oleh Stufflebeam (2003:31) yang mengatakan: “The CIPP evaluation model is a comprehensive framework for conducting formative and summative evaluations of programs, projects, personnel, products, organizations,policies, and evaluation systems. Basically, the model provides direction for assessing context (in terms of an enterprise’s need for corrections or improvements); inputs (strategies, operational plan, resources, and agreements for proceeding with a needed intervention); process (the intervention’s
168 implementation and costs); and products (the effort’s positive and negative outcomes).”
Gambaran tentang model CIPP dengan program yang akan dievaluasi dapat digambarkan sebagai berikut:
Gambar 9.1 Kaitan CIPP dengan Program yang dievaluasi Sumber: Thomas Kellaghan, Daniel L. Stufflebeam, dan Lori A. Wingate,International Handbook of Educational Evaluation (Dordrecht: Kluwer Academic Publishers, 2003),h.33. Keterlibatan evaluator terhadap tujuan program terlihat berada pada evaluasi konteks. Evaluasi konteks mengukur dan menilai sejauh mana tujuan program sesuai dengan kenyataan yang terjadi. Begitu pula pada evaluasi masukan, evaluator mengukur dan menilai kondisi perencanaan yang kemudian disandingkan dengan pelaksanaan program. Pelaksanaan program di evaluasi melalui evaluasi proses, evaluatorlebih kepada memantau, mendeskripsikan, mengadministrasikan dan mencatat proses yang berlangsung melalui rekam jejak program. Sedangkan evaluasi produk lebih berorientasi pada hasil yang bermanfaat atau hasil yang mengakibatkan efek positif bagi pengelola program maupun untuk program itu sendiri.
169
b. Model The Four Levels(Kirkpatrick) Model “The Four Levels” atau umumnya di sebut model Kirkpatrick ini dibangun atas empat tingkatan evaluasi (four levels of evaluation)olehDonald L. Kirkpatrick dan James D. Kirkpatrick. Model evaluasi ini pada dasarnya dimunculkan untuk melihat, memantau serta menentukan efektivitas dari program pelatihan (training) atau biasa disebut pendidikan dan pelatihan (Diklat). Model Kirkpatrick (2006: 21) ini dimulai dari level pertama reaksi (reaction), lalu dilanjutkan ke level berikutnya secara bertahap yakni ke level dua pembelajaran (learning), kemudian level ke tiga perilaku (behavior) sebagian orang mengatakan level transfer (transfer), dan terakhir level empat yakni hasil (result). Informasi yang diperoleh dari setiap tingkatan merupakan dasar bagi pelaksanaan evaluasi pada tingkatan berikutnya. Jadi, setiap level di atasnya merepresentasikan ukuran efektivitas yang lebih tepat tentang Diklat tersebut, akan tetapi pada waktu yang sama mengharuskan adanya analisa. Pruwes (2012: 42) memberikan gambaran bahwa fourlevels of evaluation that progress from minimal to comprehensive: (1) positive reactions to training, (2) achievement of learning objectives , (3) transfer of learning into behavior change, and (4) explicit identification of results. Ilustrasi model Kirkpatrick dapat dilihat pada gambar di bawah ini.
Gambar 9.2 Model Evaluasi Program Model Kirkpatrick Sumber:Yaron Prywes, Cognitive, Behavioral and Affective Outcomes of a coaching program. The International Journal of Mentoring and Coaching. Volume X, issue 1, April 2012, h.43. Model evaluasi Kirkpatrick terdiri dari empat tahapan evaluasi (four levels of evaluation). Untuk mengetahui lebih jauh tentang keempat tingkatan model Kirkpatrick tersebut dan penjelasan tentang hubungan setiap level tersebut perlu dikemukakan satu persatu sebagai berikut:
170
1) Evaluasi terhadap Reaksi Pada dasarnya evaluasi rekasi hampir sama dengan mengukur kepuasan pelanggan dalam hal ini adalah kepuasan dari peserta terhadap Diklat. Efektivitas Diklatmerupakan suatu hal yang penting dalam evaluasi rekasi ini, seperti yang dikatakan Kirkpatrick (2006:9). “Evaluating reaction is the same thing as measuring customer satisfaction. If training is going to be effective, it is important that trainees react favorably to it. Otherwise, they will not be motivated to learn. Also, they will tell others of their reactions, and decisions to reduce or eliminate the program may be based on what they say” Jenis evaluasi tahap ini oleh Kirkpatrick disebut sebagai “smilesheet’. Menurutnya sebuah program minimum harus dievaluasi hingga tahap/level ini untuk menyiapkan perbaikan (improvement) program. Selain itu, reaksi peserta memiliki konsekuensi penting bagi tahap berikutnya, yakni learning level. Reaksi yang negatif sering sekali dapat dikurangi. Pada level reaksi, yang diukur adalah persepsi peserta pelatihan terkait nilai kepuasan dari program pelatihan yang diikuti. Pada tahap ini akan diperoleh informasi sebatas program pelatihan yang dilakukan, sedangkan hasil maupun dampaknya belum dapat diukur, atau dengan kata lain mengukur reaksi peserta pelatihan tidak mengungkapkan seberapa besar efektivitas pelatihan berkontribusi pada peningkatan nilai atau kemampuan peserta.
2) Evaluasi terhadap Pembelajaran Pengukuran efektivitas pelatihan level kedua ini adalah menilai hasil-hasil pembelajaran dari pelatihan yang dilakukan. Pada tahap ini diukur seberapa besar peningkatan pengetahuan, keterampilan sebelum dan sesudah pelatihan. Metode ini dilakukan secara sederhana dengan melakukan pre-test dan post-test. Hasilhasil pembelajaran yang diperoleh sangat dibutuhkan tetapi tidak menjamin aplikasi pengetahuan yang diperoleh. Menurut Kirkpatrick (2006:42) : “There are three things that instructors in a training program can teach: knowledge, skills, and attitudes. Measuring learning, therefore, means
171 determining one or more of the following: What knowledge was learned? What skills were developed or improved? What attitudes were changed?.” Evaluasi
terhadap
pembelajaran
mencakup
tiga
unsur
yaitu;
1)
Pengetahuan, 2) sikap dan 3) keterampilan. Walaupun tergolong sulit dilakukan secara bersamaan. Namun demikian, ada beberapa cara pengumpulan data yang sangat mungkin dilakukan seperti dengan tes, non tes, observasi maupun studi dokumentasi.
3) Evaluasi terhadap Perilaku Level ketiga evaluasi pelatihan model Kirkpatrick adalah mengukur perilaku, melihat efeknya terhadap kinerja dalam penyusunan karya tulis imliah untuk Widyaiswara. Pengukuran perilaku dilakukan dengan cara mengevaluasi perubahan perilaku kerja terkait dengan sebelum dan sesudah pelatihan. Meskipun pembelajaran dan perubahan perilaku belum secara langsung memberikan efek.Namun demikian, peningkatan pengetahuan, keterampilan, sikap perilaku akan diikuti kinerja individu dan organisasi. Pada Level ini diharapkan ada perubahan perilaku yang cenderung menetap di dalam diri peserta. Menurut Kirkpatrick (2007:85) “We all (Kirkpatrick) hope that the rewards for changing behavior will cause the trainee to come to the first of these conclusions. It is important, therefore, to provide help, encouragement, and reinforcement when the trainee returns to the job from the training class. One type of reinforcement is “intrinsic.” Seperti diketahui, bahwa perilaku yang cenderung menetap itu mencakup 3 ranah yaitu, pengetahuan, sikap dan keterampilan. Berdasarkan hal tersebut, maka Kirkpatrick menekankan tentang pentinganya perubahan pengetahuan, sikap dan keterampilan pada level ketiga ini.
4) Evaluasi terhadap Dampak Level keempat efektivitas pelatihan model Kirkpatrick adalah mengukur seberapa jauh pelatihan dan pengembangan berpengaruh bagi pencapaian sasaran program Diklatyang berimbas pada capaian organisasi. Level keempat ini mengukur kesuksesan dalam berbagai hal seperti, dari kualitas karya tulis, kuantitas publikasi,
172 dan kesesuaian dengan pedoman yang dikeluarkan LAN sebagai organisasi yang menaungi Diklatini. Seperti yang dikemukakan oleh Kirkpatrick (2006:108): “An important point that establishes the foundation for level 4 is that it is important to start with the end in mind. Let your stakeholders define for you their expectations for your program. Once you are in clear agreement with them about that, it is then time to go about the business of identifying specific metrics that will best demonstrate and deliver on those expectations Penekanan pada level keempat ini lebih kepada hasil diinginkan oleh stakeholdersbaik secara individual maupun organisasi. Adapun untuk pelatihan yang bersifat menghasilkan produk barang tentunya akan dievaluasi tentang kesesuaian barang tersebut dengan kualitas yang diinginkan. Hal tersebut, akan sangat berbeda dengan pelatihan yang menginginkan peningkatan kemampuan yang bersifat keterampilan maupun pengetahuan dari para pesertanya.
c. Model Evaluation Outcome (Schalock) Evaluasi berbasis Outcome umumnyadigunakan dalam program-program pelayanan sosial seperti pendidikan dan kesehatan. Hal ini dikarenakan model evaluasi ini berbasis pada dampak yang ditimbulkan dari suatu program sosial kemasyarakatan. Menurut Schalock (2002: 6) “Outcome Based Evaluation is A type of evaluation that uses person-and organization-referenced outcomes to determine current and desired person- and program-referenced outcomes and their use (program evaluation), the extent to which a program meets its goals and objectives (effectiveness evaluation), whether a program made a difference compared to either no program or an alternative program (impact evaluation), or the equity, efficiency or effectiveness of policy outcomes (policy evaluation).” Evaluasi Outcome pada dasarnyasuatu jenis evaluasi yang menggunakan hasil atau ukuran yang ditetapkan oleh suatu lembaga atau perorangan, untuk digunakan sebagai rujukan evaluasi (kriteria) dalam menentukan sejauh mana tingkat keberhasilan program tersebut. Penentuan kriteria dalam program ini memang sangat tergantung dari lembaga lain yang dijadikan acuan atau rujukan. oleh karena itu,
173 umumny model evaluasi outcome lebih banyak digunakan dalam evaluasi yang bersifat sosial kemasyarakatan atau evaluasi kebijakan. Adapun tahapan dalam model evaluasi ini dapat digambarkan sebagai berikut: Pertama, konsep hasil pengukuran akan diusulkan sebagai dasar dalam upaya untuk mengukur efektivitas dan efisiensi. Kedua, pembahasan pertanggungjawaban akan diperluas untuk mencakup empat pendekatan pengukuran yang digunakan dalam berbasis hasil evaluasi: penilaian kinerja, penilaian konsumen, penilaian fungsional, dan penilaian pribadi. Ketiga, menentukan tujuan evaluasi, Keempat, membahas tiga langkah-langkah tindakan yang terlibat dalam menggunakan hasil yang diinginkan untuk perbaikan terus-menerus. Kelima, penyajian sejumlah pedoman pemanfaatan yang dapat digunakan di seluruh empat jenis evaluasi Outcome, mengatasi "pemanfaatan" unsur evaluasi berbasis Outcome. Penggambaran dari langkah-langkah evaluasi Outcome dapat ditampilkan sebagai berikut: Type of evaluation • • • •
Program Effectiveness Impact Policy
Focus of Evaluation • •
Organizational Individual
Standar of Evaluation • •
Organizational Value
Outcome Measurement •
Questi on Aksed
• • •
Organizational Performance Organization Value Individual Performance Individual Value
Result and Interpretation Measurement Approaches • • •
Performance Assessment Consumer Appraisal Functional Assessment
• PersonalAppraisal
• • • • •
Internal Validity External Validity Clinical Significance Attrition Contextual Variable
Utilization • Purpose • Succes factors
Gambar 9.3Element of Out Come Based Evaluation Sumber: Robert L. Schalock, Outcome-Based Evaluation. Second Edition (New York: Kluwer Academic Publishers, 2002) h.8
174 Dalam hal pembahasan empat pendekatan pengukuran yang digunakan dalam evaluasi Outcome: penilaian kinerja, penilaian konsumen, penilaian fungsional, dan penilaian pribadi dapat dijabarkan sebagai berikut: 1. Organization performance outcomes: service coordination, financial stability,health and safety, program data, and staff turnover/tenure 2. Organization value outcomes: access to services, consumer satisfaction,staff competencies, family/consumer supports, and community support 3. Individual performance outcomes: physical well-being (health status andwellness indicators) and material well-being (employment status, livingstatus, education status) 4. Individual value outcomes: emotional well-being, personal development,selfdetermination, interpersonal relations, social inclusion, and rights. (Schalock, 2002:10) Schalock menerangkan bahwa Outcome itu pada dasarnya terbagi atas 2 yaitu, Outcome secara organisasi dan Outcome secara individu. Outcome Organisasi merupakan penjabaran dari outcome kinerja organisasi dan outcome nilai organisasi. Kinerja organisasi ditandai dengan adanya stabilitas finansial, koordinasi pelayanan maupun keselamatan kerja. Sedangkan nilai organisasi dapat dilihat dari kepuasan pelanggan, kompetensi pegawai maupun dukungan dari berbagai komunitas di masyarakat. Lebih lanjut dijelaskan bahwa outcome Individu yang terdiri atas outcome kinerja individu dan outcome nilai individu. Kinerja individu mencakup kesehatan fisik dan psikis pegawai. Sedangkan outcomenilai individu mencakup stabilitas emosi pegawai, hubungan interpersonal maupun sosial. Berdasarkan empat pendekatan pengukuran di atas, Schalock kemudian merumuskan model evaluasi berbasis outcome ini dalam permodelan yang lebih sederhana di mana model ini dikembangkan berdasarkan integrasi literatur penelitian Outcome dan evaluasi Outcome.Integrasi ini mengakibatkan pengembangan daftar 40 hasil potensial (Potential Outcome) yang diagregasikan ke dalam model matiks di bawah ini.
175
Gambar 9.4 Model Evaluasi Program Outcome Sumber:Robert L. Schalock, Outcome-Based Evaluation (New York: Kluwer Academic Publishers, 2002), h. 19.
d. Model Responsive (Stake) Pendekatan ini bersifat relativistik karena evaluator tidak berusaha menentukan kesimpulan akhir yang baku maupun proses yang tegas.Dalam melaksanakan evaluasi dengan menggunakan model responsif seringkali ditemukan perbedaan penafsiran tentang data-data dan arah evaluasi yang pada akhirnya bertentangan dengan keinginan pemangku kepentingan (stakeholders). Namun demikian, model ini sangat baik dalam mengungkap fakta-fakta yang mungkin tidak dapat terungkap oleh model evaluasi lain dikarenakan model lain terlalu terpaku pada acuan-acuan yang telah ditetapkan oleh model itu sendiri (Stake, 2004:86). Dalam pendekatan ini diperlukan kemampuan dalam mempelajari secara komprehensif sebuah program.Komprehensif yang dimaksud adalah gambaran menyeluruh dari suatu program sertahasil pengumpulan data dariberbagai laporan dan beragam perspektif. Model ini pada dasarnya mengutamakan perspektif yang bersifat umum dan bebas dari “belenggu” suatu permodelan yang umumnya digunakan dalam sebuah kegiatan evaluasi program. Seperti yang dikatakan Stake (Stake,2004:86):
176 “Responsive evaluation is a general perspective in the search for quality in a program. It is an attitude more than model a recipeNo matter what the role or design fo evaluation, it can be made more responsive or less. Being responsive orienting to the experience of personally being there, feeling the activity, the tension knowing the people and their values. It relies heavily on personal interpretation.” Model responsif seringkali menggunakan kekuatan pemikiran yang negatif, investigatif ataupun keraguan sebagai bekal awal dalam mengevaluasi. Oleh karena itu, tidak jarang penelitian dengan model ini berkembang justru ke arah yang tidak diduga sebelumnya. Walaupun model responsif banyak dikenal dengan model evaluasi yang tidak bermodel, akan tetapi stake berusaha memunculkan tahapan-tahapan atau langkahlangkah yang memandu evaluator dalam melaksanakan model ini yang disebut “The Responsive clock”. Tahapan-tahapan model responsif dimulai dari pertemuan dengan pemangku kepentingan, identifikasi program, sampai kepada menyusun pelaporan. Untuk lebih jelasnya dapat dideskripsikan sebagai berikut:
Gambar 9.5 The Responsive Clock: Prominent event in Responsive Evaluation Sumber : Robert E. Stake, Standar Based & Responsive Evaluation (California: SAGE Publising. 2004), h. 103
177
e. Model Countenance (Stake) Model
Countenance
adalah
model
pertama
evaluasi
kurilulum
yang
dikembangkan Stake. Pengertian Countenance adalah keseluruhan, sedangkan pengertian lain adalah sesuatu yang disenangi (favourable). Tujuan dari model Countenance Stake adalah melengkapi kerangka untuk pengembangan suatu rencana penilaian kurikulum. Perhatian utama Stake (2004:376)adalah hubungan antara tujuan penilaian dengan keputusan berikutnya berdasarkan sifat data yang dikumpulkan. Hal tersebut dikarenakan Stake melihat adanya ketidaksesuaian antara harapan penilai dan guru. Stake (2004:377) mendasarkan modelnya pada evaluasi formal, suatu kegiatan evaluasi yang menyarankan evaluator untuk mengklarifikasi tanggung jawab mereka dalam hal evaluasi individu dengan menjawab lima pertanyaan 1. Is the evaluation to be descriptive, judgmental, or both? 2. Is the evaluation to emphasize antecedents, transactions, outcomes, and/or their functional contingencies? 3. Is the evaluation to emphasize congruence? 4. Is the evaluation to focus on a single program, or will it be comparative? 5. Is the evaluation intended to guide development, or will it be used to choose among available curricula? Stake’s mempunyai keyakinan bahwa suatu evaluasi haruslah memberikan deskripsi dan pertimbangan sepenuhnya mengenai evaluan. Dalam model ini stake sangat menekankan peran evaluator dalam mengembangkan tujuan kurikulum menjadi tujuan khusus yang terukur, sebagaimana berlaku dalam tradisi pengukuran behavioristik dan kuantitatif. Model Countenance Stake terdiri atas dua matriks. Matriks pertama dinamakan matriks Deskripsi dan yang kedua dinamakan Matriks Pertimbangan. Matriks pertimbangan baru dapat dikerjakan oleh evaluator setelah matriks Deskripsi diselesaikan. Matriks Desktripsi terdiri atas kategori rencana (intent) dan observasi. Matriks Pertimbangan terdiri atas kategori standard dan pertimbangan. Pada setiap kategori terdapat tiga fokus yaitu:
1. Antecedents Antecedents refer to relevant background information. In particular, Stake saw this type of information as including any condition existing prior to teaching and learning that may relate to outcomes.
178
2. Transaction, the instructional transactions, includes students’ countless encounters with other persons, such as teachers, parents, counselors, tutors, and other students. Stake advised evaluators to conduct a kind of ongoing process evaluation to discern and document the program’s actual operations
3. Outcomes Outcomes pertain to what results from a program. These include abilities, achievements, attitudes, and aspirations. They also include impacts on all participants: teachers, parents, administrators, custodians, students, and others. They include results that are evident and obscure, intended and unintended, short range and long range. (Stake, 2004: 377)
Gambar 9.6 Model Countenance dari Stake Sumber: Jodi L. Fitzpatrick, James R. Sanders, dan Blaine R. Worthen, Program Evaluation: Alternatives Approach and Practical Guidelines (Boston: Pearson Education Inc., 2004), h. 135.
f. Model Logic (Owen) Dalam model ini, seorang evaluator secara terus menerus melakukan pantauan terhadap
tujuan
yang
telah
ditetapkan.
Penilaian
yang
terus-menerus
melakukanpenilaian. Seperti yang dikatakan Owen (2006:9). “This is logic that is consistent with description of evaluation as the process pf making a judgement about value or worth of an object under review. At this stage it is worth nothing that evaluators use term “evaluand” to generically denote the “object” that is the focus for the evaluation.”
179 Fournier dalam Owen (2006: 9) mengemukakan bahwa model logic dapat digambarkan dengan mengikuti tahapan sebagai berikut: 1. Establishing criteria of worth (menetapkan kriteria yang layak) 2. Construction standart (mengkontruksi strandar/indikator kriteria) 3. Measuring performance and comparing with standart (mengukur hasil dan membandingkan dengan standar/indikator kriteria) 4. Synthesising and integrating evidence into judgement of merit or worth. (melakukan sintesis dan mengintegrasikan bukti yang didapat melalui penilaian dengan memperhatikan manfaat dan kelayakannya) Pendapat di atas mengemukakan bahwa kriteria dan standar adalah dua hal yang berbeda. Hal ini dimaksudkan agar evaluator memiliki ketajaman dalam menganalisa
serta
mensintesiskan
suatu
tahapan
dan
permasalahan
yang
dihadapinya. Standar yang dimaksud dalam model logic ini lebih kepada penajaman dari kriteria yang telah ditetapkan, dengan kata lain dapat disebut sebagai indikator dari kriteria atau sub kriteria.
g. Model Goal Free Evaluation (Scriven) Menurut Scriven dalam Arikunto (2010:41), dalam melaksanakan evaluasi program evaluato tidak perlu memperhatikan apa yang menjadi tujuan program. Yang perlu diperhatikan dalam program tersebut adalah bagaimana kerjanya program, dengan jalan mengidentifikasi penampilan-penampilan yang terjadi, baik hal-hal positif maupun hal-hal negatif. Alasan mengapa tujuan program tidak perlu diperhatikan karena ada kemungkinan evaluator terlalu rinci mengamati tiap-tiap tujuan khusus. Jika masingmasing tujuan khusus tercapai, artinya terpenuhi dalam penampilan, tetapi evaluato lupa memperhatikan seberapa jauh masing-masing penampilan tersebut mendukung penampilan akhir yang diharapkan oleh tujuan umumnya, maka akibatnya jumlah penampilan khusus ini tidak banyak bermanfaat. Lebih lanjutnya dijelaskan oleh Fiztpatrick, Sanders dan Worthen (2004: 84-85) tentang karakteristik umum dari model Goal Free Evaluation sebagai berikut: 1. Evaluator purposefully avoids becoming aware of the program goals. 2. Predetermined goals are not permitted to narrow the focus of the evaluation study. 3. Goal free evaluation focused on actual outcomes rather than intended program outcomes.
180 4. The goal free evaluator has minimal contact with program manager and staff. 5. Goal free increases the likelihood that unanticipated side effect will be noted.
Berdasarkan uraian di atas, yang dimaksud Goal Free evaluation model pada dasarnya bukanlah melepas sama sekali tujuan, tetapi hanya lepas dari tujuan-tujuan khusus. Model ini hanya memfokuskan pada tujuan-tujuan umum yang akan dicapai program, bukan tujuan khusus per komponen program.
h. Model Evaluasi Kesenjangan (Discrepancy Model /DEM) (Provus) Pada dasarnya semua evaluasi berawal dari kesenjangan antara harapan dan kenyataan yang disandarkan pada krietaria evaluasi. Namun demikian, Provus melalui model kesenjangan ini mencoba untuk mempertajamnya dengan mengemukakan suatu model kesenjangan yang biasa disebut Discreapancy Model atau DEM. Langkah-langkah yang ditempuh dalam model evaluasi kesenjangan meliputi proses a) Menyetujui standar-standar, b) Menentukan apakah terdapat kesenjangan antara tampilan program dengan standar pelaksanaan program yang telah ditetapkan, c) Menggunakan informasi kesenjangan untuk menentukan sikap apakah meningkatkan, memperbaiki atau menghentikan program atau hanya beberapa aspeknya (Fitzpatrick, Sanders, dan Worthen, 2004: 75). Proses pembandingan setiap langkah tersebut mengalami perputaran sebagaimana bagan di bawah ini :
Terminate S
S C
1 P
D
2
S C
P A
D
3
S C
P A
C/D Analysis based on new inputs
Terminate
Terminate
D
4
C
D
5
P A
A
Gambar 9.7 Alur Pembandingan Komponen dalam Model Evaluasi Kesenjangan Gambar di atas menunjukkan bahwa S adalah standar/kriteria program, P adalah tampilan pelaksanaan program di lapangan, C adalah pembandingan standar/kriteria program dengan tampilan pelaksanaan program di lapangan, D adalah informasi kesenjangan, dan A adalah perubahan tindakan program atau standar baru program.
181 Provus menetapkan bahwa sebuah program yang sedang dikembangkan harus melalui empat unit evaluasi dan satu unit pilihan. Masing-masing unit melakukan penilaian terhadap aspek a) perancangan program (program design), b) pengoperasian program (program operation), c) hasil sementara program (program interim products), d) hasil akhir program (program terminal product) dan pembiayaan program (program cost) sebagai pilihan. Implementasi model evaluasi kesenjangan bagi penyelenggaraan program uji kompetensi guru melalui langkah-langkah 1) Identifikasi kriteria rancangan program, 2) Pengecekan terhadap pengoperasian kriteria tersebut dengan tampilan pelaksanaan program di lapangan, 3) Penilaian terhadap hasil sementara pelaksanaan program di lapangan berdasarkan kriteria masukan dan kriteria pelaksanaan program, dan 4) Penilaian
hasil
akhir
program
yang
telah
ditetapkan
pada
standar/kriteria
penyelenggaraan program.
D. Pemanfaatan Model Evaluasi Program untuk Sekolah Kejuruan Begitu banyak model evaluasi yang muncul dewasa ini membuat para pendidik, evaluator dan penentu kebijakan dalam bidang pendidikan semakin dipermudah untuk mengevaluasi suatu program, kebijakan atau kegiatan yang ada di sekolahnya masingmasing, terutama pada sekolah kejuruan (SMK). Hal yang demikian sekiranya dapat dimanfaatkan secara bijak oleh para stakholders baik guru, kepala sekoah, kepala dinas maupun para peneliti pendidikan. Ada beberapa model yang sering dipilih oleh para evaluator maupun peneliti di bidang pendidikan kejuruan dalam melaksanakan evaluasi program, kebijakan atau kegiatan. Diantaranya adalah: 1. CIPP, DEM dan Countenance untuk mengevaluasi kebijakan kurikulum 2013 2. CIPP, Logic, Countenance dan Responsive untuk mengevaluasi PSG 3. Kirkpatrick dan Outcome untuk mengevaluasi Diklat Guru mata pelajaran 4. CIPP, DEM dan Responsive untuk mengevaluasi kebijakan Manajemen Berbasis Sekolah. 5. DEM, Countenance dan Responsive untuk mengevaluasi program sekolah berwawasan lingkungan.
182 6. Model Formatif, Sumatif dan Taksonomi Bloom untuk mengevaluasi program pembelajaran di sekolah kejuruan. 7. CIPP, DEM, Countenance dan Responsive untuk mengevaluasi kegiatan hari bahasa di sekolah kejuruan, dll Dari beberapa contoh di atas, pada dasarnya tidak ada satu model yang fit dan fix untuk semua program, kebijakan maupun kegiatan yang ada. Hal tersebut didasarkan pada kebutuhan dan sudut pandang evaluator maupun peneliti dalam memperdalam apa yang akan dikaji lebih jauh. Selain itu, dasar kemampuan dan keahlian evaluator juga mempengaruhi pemilihan model tersebut di samping kecocokan model dengan program.
