In his 1969 AERA audiotape on evaluation, Scriven strongly advised evaluators not to accept an evaluation job until they learn a great deal about the involved politics. He also warned evaluators not to accept the assignment if they would become the client's political tool. Evaluators can use the questions in the preceding paragraph to guide preliminary investigations of stakeholder interests and concerns before accepting an evaluation assignment. Pada tahun 1969 dalam rekaman suara dari AERA tentang evaluasi, disarankan evaluator untuk tidak menerima pekerjaan evaluasi sampai mereka belajar banyak tentang politik. Dia juga memperingatkan evaluator untuk tidak menerima tugas jika mereka akan menjadi alat politik klien. Evaluator dapat menggunakan pertanyaan di paragraf sebelumnya untuk memandu penyelidikan awal dari kepentingan dan perhatian para pemangku kepentingan sebelum menerima tugas evaluasi. Assuming a positive decision to go ahead with an evaluation, the evaluator should sketch an overall plan. This plan should reflect what the evaluator learned about the setting and the evaluative needs of the evaluation's client and broader audience. It should conform to generally accepted standards of sound evaluation. In addition, it should speak, at least in a general way, to the full range of indicated tasks. The evaluator should seek the client's and other stakeholders' reactions to the draft evaluation design. Such exchanges often help evaluators strengthen evaluation designs, solidify agreements with the client, and reach common understandings with the other targeted users on the evaluation procedures and projected evaluation. Dengan asumsi keputusan positif untuk terus maju dengan evaluasi, evaluator harus membuat sketsa rencana keseluruhan. Rencana ini harus mencerminkan apa evaluator belajar tentang pengaturan dan kebutuhan evaluatif klien evaluasi dan khalayak yang lebih luas. Ini harus sesuai dengan standar yang berlaku umum dari bunyi evaluasi itu. Selain itu, harus berbicara, setidaknya secara umum, untuk berbagai tugas ditunjukkan. evaluator harus mencari reaksi klien dan pemangku kepentingan lain untuk desain rancangan evaluasi. pertukaran seperti itu sering membantu evaluator memperkuat desain evaluasi, memperkuat perjanjian dengan klien, dan mencapai pemahaman yang sama dengan pengguna yang ditargetkan lainnya tentang prosedur evaluasi dan proyeksi evaluasi. Table 3 outlines points to be considered in designing an evaluation. These points are applicable when developing the initial design or later when revising or explicating it. They serve only as general indications of the detailed information that the evaluator eventually must provide to flesh out and operationalize the design. Tabel 3 menguraikan poin yang harus dipertimbangkan dalam merancang evaluasi. Titik-titik ini berlaku ketika mengembangkan desain awal atau kemudian ketika merevisi atau memberi penjelasan itu. Mereka melayani hanya sebagai indikasi
umum informasi rinci yang evaluator akhirnya harus menyediakan untuk menyempurnakan dan mengoperasionalkan desain. Table 3. Outline for Documenting Evaluation Design Review of the Charge Definition of the object of the evaluation Identification of the client, intended users, and other right-to-know audiences Purpose(s) of the evaluation (i.e., program improvement, accountability, dissemination, and/or understanding) Type of evaluation (i.e., context, input, process, or product) Values and criteria (i.e., basic societal values, merit and worth, ClPP criteria, institutional values, technical standards, duties of personnel, and ground-level criteria) Plan for Obtaining Information The general strategy (e.g., survey, case study, advocacy teams, or field experiment) Working assumptions to guide measurement, analysis, and interpretation Collection of information (i.e., sampling, instrumentation, data collection procedures and instruments, and permissions from data sources) Organization of information (i.e., coding, filing, and retrieving) Analysis of information (both qualitative and quantitative) Interpretation of findings (i.e., interpretive standards, processing judgements, developing conclusions) Plan for Reporting the Results Drafting of reports Prerelease reviews and finalization of reports Dissemination of reports Provision for follow-up activities to promote the evaluation's impact Plan for Administering the Study Summary of the evaluation schedule Plan for meeting staff and resource requirements
Provision for metaevaluatiom Provision for periodic updates of the evaluation design Budget Memorandum of agreement or contract
Tabel 3. Outline untuk Mendokumentasikan Evaluasi Desain 1. Ulasan tentang biaya Definisi dari objek evaluasi Identifikasi klien, pengguna, dan penonton kanan-ke-tahu lain yang dimaksudkan Tujuan (s) evaluasi (yaitu, perbaikan program, akuntabilitas, diseminasi, dan / atau pemahaman) Jenis evaluasi (yaitu, konteks, input, proses, atau produk) Nilai-nilai dan kriteria (misalnya, nilai-nilai sosial dasar, prestasi dan layak, kriteria CLPP, nilai-nilai kelembagaan, standar teknis, tugas personil, dan kriteria permukaan tanah) 2. Rencana untuk Mendapatkan Informasi Strategi umum (misalnya, survei, studi kasus, tim advokasi, atau percobaan lapangan) Bekerja asumsi untuk memandu pengukuran, analisis, dan interpretasi Pengumpulan informasi (yaitu, sampling, instrumentasi, prosedur pengumpulan data dan instrumen, dan izin dari sumber data) Organisasi informasi (yaitu, coding, pengajuan, dan retrieving) Analisis informasi (kualitatif dan kuantitatif) Interpretasi temuan (yaitu, standar interpretatif, penilaian pengolahan, mengembangkan kesimpulan) 3. Rencana Pelaporan Hasil Penyusunan laporan ulasan prerelease dan finalisasi laporan Diseminasi laporan Ketentuan untuk kegiatan tindak lanjut untuk mempromosikan dampak evaluasi ini 4. Rencana Mengelola Studi Ringkasan dari jadwal evaluasi Rencana pertemuan staf dan kebutuhan sumber daya Penyisihan metaevaluation Ketentuan untuk update berkala dari desain evaluasi anggaran belanja Nota kesepakatan atau kontrak
The formulation of the design requires that the client and evaluators collaborate. from the outset, when they must agree on a charge. The client to define the object to be evaluated and is a prime source for identifying the various groups who should be served by the study. The evaluator should help the client define clear and realistic boundaries for the study. The evaluator also needs to touch base with the potential audiences, including some that may not have been mentioned by the client. He or she should think about the evaluation within the relevant social context to identify the full range of legitimate audiences. Perumusan desain mengharuskan klien dan evaluator berkolaborasi. dari awal, ketika mereka harus setuju pada biaya. klien untuk menentukan obyek yang akan dievaluasi dan merupakan sumber utama untuk mengidentifikasi berbagai kelompok yang harus dilayani oleh penelitian. evaluator harus membantu klien menentukan batas-batas yang jelas dan realistis untuk penelitian. evaluator juga perlu menyentuh dasar dengan pemirsa potensial, termasuk beberapa yang mungkin belum disebutkan oleh klien. Dia harus berpikir tentang evaluasi dalam konteks sosial yang relevan untuk mengidentifikasi berbagai khalayak yang sah. The evaluator should engage the client and other audiences to help clarify the study's purpose and pertinent evaluative criteria. He or she should ask these parties to describe the information they need and how they would use it. The evaluator should ask clarifying questions to sort out different (perhaps conflicting) purposes. He or she should also obtain the assistance of the client and other targeted users in identifying the most important questions. The evaluator should recommend the most appropriate general type(s) of study (evaluations of needs, program plans, implementation, delivery of services, costs, outcomes, program follow-through, etc.). The client should confirm the general choice(s) or help to modify it. In rounding out the charge, the evaluator should emphasize that the evaluation must meet professional standards for sound evaluations, i e., utility, feasibility, propriety, and accuracy. evaluator harus melibatkan klien dan penonton lainnya untuk membantu memperjelas tujuan dan evaluatif terkait kriteria penelitian. Ia harus meminta partai-partai ini untuk menggambarkan informasi yang mereka butuhkan dan bagaimana mereka akan menggunakannya. evaluator harus menanyakan pertanyaan klarifikasi untuk memilah tujuan yang berbeda (mungkin bertentangan). Dia juga harus mendapatkan bantuan dari klien dan pengguna yang ditargetkan lainnya dalam mengidentifikasi pertanyaan yang paling penting. evaluator harus merekomendasikan jenis umum yang paling tepat (s) studi (evaluasi kebutuhan, rencana program, implementasi, pemberian layanan, biaya, hasil, Program tindak lanjut, dll). Klien harus mengkonfirmasikan pilihan umum (s) atau membantu untuk memodifikasinya. Dalam pembulatan keluar biaya, evaluator harus menekankan bahwa evaluasi harus memenuhi standar profesional untuk evaluasi suara, i e., Utilitas, kelayakan, kepatutan, dan akurasi.
The evaluator should provide an overview of the general evaluation strategies. These could include surveys, case studies, site visits, advocacy teams, goal-free searches for effects, adversary hearings, and field experiments. The evaluator should expect stakeholder reactions to influence substantially how he or she will interpret the findings. For example, the evaluator might interpret findings according to guiding values, goals, or prior needs assessments' findings. He or she might base interpretations on her or his professional judgment and/or stakeholder judgments. The evaluator should also write technical plans for collecting, organizing, and analyzing the needed information. The evaluator, client, and other targeted users should come to an understanding that the data collection plan will likely change and expand during the evaluation. This will happen as they identify new audiences and as information requirements evolve. evaluator harus memberikan gambaran tentang strategi evaluasi umum. Ini dapat mencakup survei, studi kasus, kunjungan lapangan, tim advokasi, pencarian tujuanbebas untuk efek, sidang musuh, dan percobaan lapangan. evaluator harus mengharapkan reaksi pemangku kepentingan untuk mempengaruhi secara substansial bagaimana ia akan menafsirkan temuan. Misalnya, evaluator mungkin menafsirkan temuan sesuai dengan nilai-nilai membimbing, tujuan, atau kebutuhan sebelum temuan penilaian '. Ia mungkin mendasarkan interpretasi pada dirinya atau pertimbangan profesional dan / atau penilaian stakeholder. evaluator juga harus menulis rencana teknis untuk mengumpulkan, mengorganisir, dan menganalisa informasi yang dibutuhkan. Evaluator, klien, dan pengguna yang ditargetkan lainnya harus datang ke pemahaman bahwa rencana pengumpulan data kemungkinan akan berubah dan memperluas selama evaluasi. Ini akan terjadi karena mereka mengidentifikasi pemirsa baru dan sebagai persyaratan informasi berevolusi. Evaluators should gear reporting plans to promote use of findings. They should involve clients and other audiences (especially targeted users) in deciding the contents, nature, and timing of needed reports. The evaluators should engage the client and other intended use to help in planning how the evaluator will disseminate findings. The reporting plan should consider report formats and contents, audiovisual supports, review and revision means of presentation, occasions for giveand-take exchanges, and right-to-know audiences. This reporting plan should promote impact through appropriate dissemination procedures. These might include oral reports, hearings, community forums, focus groups to examine and respond to findings, multiple reports targeted to specified audiences, press releases, sociodramas to portray and explore the findings, and feedback workshops aimed at applying the findings. Moreover, the client and evaluator should seriously consider whether the evaluator might play an important role beyond delivering the final report. For example, the client might engage the evaluator to conduct follow-up workshop on applying the findings.
Evaluator harus rencana pelaporan gigi untuk mempromosikan penggunaan temuan. Mereka harus melibatkan klien dan penonton lainnya (terutama ditargetkan pengguna) dalam memutuskan isi, sifat, dan waktu laporan yang dibutuhkan. Evaluator harus melibatkan klien dan tujuan penggunaan lain untuk membantu dalam merencanakan bagaimana evaluator akan menyebarkan temuan. Rencana pelaporan harus mempertimbangkan format laporan dan isinya, mendukung audiovisual, review dan revisi sarana presentasi, Acara untuk memberi dan mengambil pertukaran, dan penonton benar-untuk-tahu. Rencana pelaporan ini harus mempromosikan dampak melalui prosedur diseminasi yang tepat. Ini mungkin termasuk laporan lisan, audiensi, forum komunitas, kelompok fokus untuk meneliti dan menanggapi temuan, beberapa laporan yang ditargetkan untuk khalayak tertentu, siaran pers, sosiodrama untuk menggambarkan dan mengeksplorasi temuan, dan lokakarya umpan balik yang ditujukan untuk menerapkan temuan. Selain itu, klien dan evaluator harus secara serius mempertimbangkan apakah evaluator mungkin memainkan peran penting di luar penyampaian laporan akhir. Misalnya, klien mungkin terlibat evaluator untuk melakukan tindak lanjut workshop menerapkan temuan. The final part of the design is the plan for administering the study. It details the plans for controlling, facilitating, supporting, and assessing the evaluation. The evaluator should identify and schedule the evaluation tasks consistent with the needs of the client and other targeted audiences and in consideration of the relevant practical constraints. The evaluator should define staff assignments and needed special resources, such as office space or special software, and should also make sure the proposed evaluation personnel are credible to the client and other audiences. The evaluator and client need to agree on who will assess the evaluation plans, processes and reports against appropriate standards. They also should agree on a mechanism by which to review, update, and document the evolving evaluation design periodically. They need to lay out a realistic budget. They also should formalize their general agreements about the evaluation's form and function. The discussion of Table 3 has been necessarily general, but it shows that designing an evaluation is a complex and ongoing task. Bagian akhir dari desain adalah rencana untuk mengelola penelitian. Ini rincian rencana untuk mengendalikan, memfasilitasi, mendukung, dan menilai evaluasi. evaluator harus mengidentifikasi dan jadwal tugas evaluasi yang konsisten dengan kebutuhan klien dan khalayak yang ditargetkan lain dan dalam pertimbangan kendala praktis yang relevan. evaluator harus mendefinisikan tugas staf dan membutuhkan sumber daya khusus, seperti ruang kantor atau perangkat lunak khusus, dan juga harus memastikan personil evaluasi yang diusulkan kredibel untuk klien dan penonton lainnya. Evaluator dan klien harus menyepakati siapa yang akan menilai evaluasi rencana, proses dan laporan terhadap standar yang sesuai. Mereka juga harus menyepakati mekanisme yang mengulas, memperbarui, dan mendokumentasikan desain evaluasi berkembang secara berkala. Mereka perlu
untuk lay out anggaran yang realistis. Mereka juga harus merumuskan kesepakatan umum mereka tentang bentuk evaluasi dan fungsi. Pembahasan Tabel 3 telah tentu umum, tapi itu menunjukkan bahwa merancang evaluasi merupakan tugas yang kompleks dan berkelanjutan. CONTRACTING FOR EVALUATIONS The Memorandum of Agreement or Formal Contract is one of an evaluation's most important components and always has been a key component of the CIPP Model. According to the Joint Committee on Standards for Educational Evaluation (1994) evaluators should write evaluation agreements that contain mutual understandings of the specified expectations and responsibilities of both the client and the evaluator" (p. 87). Such an agreement clarifies understandings and helps prevent misunderstandings between the client and evaluators and provides a basis for resolving any future disputes about the evaluation. As the Committee further states. "Having entered into such an agreement, both parties have an obligation to carry it out in a forthright manner or to renegotiate it. Neither party is obligated to honor decisions made unilaterally by the other" (p. 87). written agreements for evaluations should be explicit but should also allow for appropriate, mutually agreeable adjustments during the evaluation. Table 4 contains a checklist designed to help evaluators and clients to identify key contractual issues and make and record their agreements for conducting an evaluation. Advance agreements on these matters can mean the difference between an evaluation's success and failure. Without such agreements the evaluation process is constantly subject to misunderstanding, disputes, efforts to compromise the findings. attack, and/or withdrawal by the client-of cooperation and funds. In one highstakes study, reference to the advance agreements on editorial authority and release of findings helped prevent the client from burying the report or rewriting it. It helped the evaluators assure skeptical stakeholders that the study had provided for and maintained its independence and objectivity. Clients can also reference sound contracts to convince their policy boards and/or constituents that the institution contracted for sound, clearly defined evaluation services and can hold the evaluators to the agreements.
KONTRAK UNTUK EVALUASI Nota Perjanjian atau kontrak formal merupakan salah satu evaluasi yang paling komponen penting dan selalu menjadi komponen kunci dari Model CIPP. Menurut Komite Bersama Standar Evaluasi Pendidikan (1994) evaluator harus menulis perjanjian evaluasi yang mengandung pemahaman saling harapan dan tanggung jawab dari kedua klien dan evaluator yang ditentukan "(hal. 87). Perjanjian semacam itu menjelaskan pemahaman dan membantu mencegah kesalahpahaman antara klien dan evaluator dan menyediakan dasar untuk menyelesaikan setiap
sengketa masa tentang evaluasi. seperti Komite menyatakan lebih lanjut. "Setelah menandatangani kesepakatan tersebut, kedua belah pihak memiliki kewajiban untuk melaksanakannya secara terus terang atau melakukan renegosiasi itu . Tidak satu pihak pun wajib menghormati keputusan yang dibuat secara sepihak oleh yang lain "(hal. 87). perjanjian tertulis untuk evaluasi harus eksplisit tetapi juga harus memungkinkan untuk tepat, penyesuaian yang disetujui bersama selama evaluasi. Tabel 4 berisi checklist yang dirancang untuk membantu evaluator dan klien untuk mengidentifikasi isu-isu kunci kontrak dan membuat dan merekam perjanjian mereka untuk melakukan evaluasi. perjanjian terlebih dahulu tentang hal ini dapat berarti perbedaan antara keberhasilan dan kegagalan evaluasi ini. Tanpa perjanjian tersebut proses evaluasi terus-menerus tunduk kesalahpahaman, perselisihan, upaya kompromi temuan. serangan, dan / atau penarikan oleh klien-kerjasama dan dana Dalam satu penelitian berisiko tinggi, mengacu pada perjanjian muka pada otoritas editorial dan melepaskan f temuan membantu mencegah klien dari mengubur laporan atau menulis ulang i Ini membantu evaluator meyakinkan skeptis pemangku kepentingan bahwa studi ini telah disediakan untuk dan mempertahankan independensi dan objektivitas. Klien juga dapat referensi kontrak suara meyakinkan papan kebijakan dan / atau konstituen bahwa lembaga dikontrak untuk suara, layanan evaluasi yang jelas dan dapat menahan evaluator dengan perjanjian.
CONCLUSION This chapter has stressed the improvement function of evaluation but has also emphasized the importance of summative evaluations. It has updated the CIPP Model, explained its main concepts, and shown how evaluators can use it to guide improvement efforts and serve accountability needs. It has cited applications of the model in a wide range of fields. It has provided general guidelines for designing and contracting for evaluation studies and described applicable techniques. The chapter has also emphasized that evaluators must interact with the client and the other right-to-know audiences throughout, even after an evaluation, in order to learn the audience's information needs and promote and support their effective use of findings The chapter emphasizes that evaluations should be useful, feasible, proper. and accurate. The CIPP Model treats evaluation as a necessary concomitant of improvement and professional responsibility. Society and its agents cannot make their programs, services, and products better unless they know where they are weak and strong. They cannot be sure that their goals are worthy unless they can match them to beneficiaries' needs. They cannot plan effectively and invest their time and resources wisely if they are unaware of options and their relative merits. Service providers cannot earn continued support unless they can present evidence that they
have fulfilled their commitments and produced beneficial results. For these and other reasons, professionals must subject their work to competent evaluation. It must help them sort out good from bad, point the way to needed improvements, be account-able to sponsors and clients, inform institutionalization/dissemination decisions, and better understand their field. Finally, evaluation is an indispensable tool for helping to realize the ideals of a democratic society. The CIPP Model is presented as a general framework supported by a theory of use and many practical guidelines, but also grounded in the principles of a free society and professional standards for evaluations. The model is designed to help evaluators and their audiences design, conduct, and use sound evaluations and thereby continually improve services and outcomes.
KESIMPULAN Bab ini menekankan fungsi perbaikan evaluasi tetapi juga telah menekankan pentingnya evaluasi sumatif. Ini telah memperbarui Model CIPP, menjelaskan konsep utama, dan menunjukkan bagaimana evaluator dapat menggunakannya untuk memandu upaya perbaikan dan melayani kebutuhan akuntabilitas. Ini telah dikutip aplikasi model dalam berbagai bidang. Ini telah memberikan pedoman umum untuk merancang dan kontrak untuk studi evaluasi dan dijelaskan teknik yang berlaku. Bab ini juga menekankan bahwa evaluator harus berinteraksi dengan klien dan lainnya penonton kanan-ke-tahu seluruh, bahkan setelah evaluasi, untuk mempelajari kebutuhan informasi penonton dan mempromosikan dan mendukung penggunaan efektif dari temuan bab ini menekankan bahwa evaluasi harus berguna, layak, tepat. dan akurat. The CIPP Model memperlakukan evaluasi sebagai bersamaan diperlukan perbaikan dan tanggung jawab profesional. Masyarakat dan agen-agennya tidak dapat membuat program-program mereka, layanan, dan produk yang lebih baik kecuali mereka tahu di mana mereka lemah dan kuat. Mereka tidak bisa yakin bahwa tujuan mereka layak kecuali mereka dapat mencocokkannya dengan kebutuhan penerima manfaat. Mereka tidak dapat merencanakan secara efektif dan menginvestasikan waktu dan sumber daya mereka dengan bijak jika mereka tidak menyadari pilihan dan manfaat relatif mereka. Penyedia layanan tidak bisa mendapatkan dukungan kecuali mereka dapat menunjukkan bukti bahwa mereka telah memenuhi komitmen mereka dan menghasilkan hasil yang bermanfaat. Untuk alasan ini dan lainnya, profesional harus tunduk pekerjaan mereka untuk evaluasi yang kompeten. Ini harus membantu mereka memilah yang baik dari yang buruk, menunjukkan jalan untuk perbaikan yang diperlukan, menjadi akun-mampu sponsor dan klien, menginformasikan keputusan pelembagaan / diseminasi, dan lebih memahami bidang mereka. Akhirnya, evaluasi adalah alat yang sangat diperlukan untuk
membantu mewujudkan cita-cita masyarakat yang demokratis. The CIPP Model disajikan sebagai kerangka umum didukung oleh teori penggunaan dan banyak pedoman praktis, tetapi juga didasarkan pada prinsip-prinsip masyarakat bebas dan standar profesional untuk evaluasi. Model ini dirancang untuk membantu evaluator dan khalayak mereka desain, perilaku, dan menggunakan evaluasi suara dan dengan demikian terus meningkatkan pelayanan dan hasil.
