Modul ke:
09
Penelitian Evaluasi Pengertian Penelitian Evaluasi, format penelitian evaluasi, Jenis data dan analisis data penelitian evaluasi
Fakultas
Ilmu Komunikasi Program Studi
S1 Brodcasting
Sri Wahyuning Astuti, S.Psi. M,Ikom
Pengertian penelitian evaluasi • Penelitian evaluasi adalah penelitian yang dilakukan untuk menemukan nilai-nilai dari pelaksanaan suatu teori, konsep maupun program pendidikan (Mc Millan and Schumacher, 2001; Van Dallen, 1973) • Nisbet (1999) menyatakan bahwa perbedaan esensial antara riset evaluasi dan riset konvensional (riset dasar) adalah lebih pada tujuan daripada dalam pemilihan subyek dan metode.
• Riset konvensional bersifat conclusion oriented (berorientasi pada kesimpulan), sedangkan riset evaluasi mempunyai ciri decision oriented, yaitu bertujuan untuk memenuhi kebutuhan akan informasi/data sebagai dasar dalam pengambilan keputusan/perumusan kebijakan.
MODEL EVALUASI 1.Model evaluasi CIPP • Stuffleben (Faridah, 2008) adalah ahli yang mengusulkan pendekatan yang berorientasi pada pemegang keputusan untuk menolong administrator membuat keputusan. Model evaluasi ini terdiri atas • Contect Evaluating to serve panning decition. Konteks evaluasi ini membantu merencanakan keputusan, menentukan kebutuhan yang akan dicapai oleh program dan merumuskan tujuan program.
Lanjutan • Input evaluation, structuring decition. Evaluasi ini menolong mengatur keputusan, menentukan sumber-sumber yang ada, alternatif apa yang diambil, apa rencana dan strategi untuk mencapai kebutuhan. Bagaimana prosedur kerja untuk mencapainya. • Proses evaluating, to serve impelemntation decition. Evaluasi proses untuk membantu mengimplementasikan keputusan, sampai sejauh mana rencana telah diterapkan? Apa yang harus direvisi? Begitu pertanyaan belum terjawab, prosedur dapat dimonitor, dikontrol dan diperbaiki.
lanjutan • Product evalution, to serve recycling decition. Evaluasi produk menolong keputusan selanjutnya. Apa hasil yang telah dicapai? Apa yang dilakukan setelah program berjalan?
2. Evaluasi Model UCLA • Model UCLA dikemukakan oleh Alkin (dalam Farida, 2008). Dalam model ini ada lima macam evaluasi yaitu • Sistem assesment yang memberikan informasi tentang keadaan atau posisi system • Program Planning, membantu pemilihan program tertentu yang mungkin akan berhasil memenuhi kebutuhan program
Lanjutan • Program implementasikan, yang menyiapkan informasi apakah program sudah diperkenalkan kepada kelompok tertentu yang tepat seperti yang direncanakan • Program improvement, yang memberikan informasi tentang bagaimana program berfungsi, bagaimana program bekerja atau berjalan? Apakah menuju pencapaian tujuan, adakah hal-hal atau masalah-masalah baru yang muncul tak terduga. • Program certification, yang memberikan
3. Model Brinkerhoff • Menurut Brinkerhoff (dalam Faridah, 2008) tiga golongan evaluasi yakni: • 1) Fixed vs Emergent Evaluation Design. Desain evaluasi tetap (fixed) ditentukan dan direncanakan secara sistematik sebelum implementasi dikerjakan.
Lanjutan • 2) Formatif vs Sumatif Evaluation. Evaluasi Formatif digunakan untuk memperoleh informasi yang dapat membantu memperbaiki proyek, kurikulum, atau lokakarya. • 3) Experimental atau quasi eksperimental Design vs Natural/Unobtusivase Inquiry. Kemungkinan adanya intervensi, manipulasi kondisi dan fungsi variabel.
lanjutan • 4. Model Stake atau model Countenance. • analisis proses evaluasi yang dikemukakan Stake (1967) membawa dampak yang cukup besar dalam bidang ini dan meletakkan dasar yang sederhana namun merupakan konsep yang cukup kuat untuk perkembangan yang lebih jauh dalam bidang evaluasi.
PENDEKATAN PENELITIAN EVALUASI • 1. Pendekatan Eksperimental • Yang dimaksud pendekatan eksperimental yaitu evaluasi yang berorientasi pada penggunaan eksperimental science dalam program evaluasi. • 2. Pendekatan yang berorientasi pada tujuan • Pendekatan ini memakai tujuan program sebagai Kriteria untuk menentukan keberhasilan. Evaluator mencoba mengukur sampai mana pencapaian tujuan dicapai.
• 3. Pendekatan yang berfokus pada keputusan • Pendekatan evaluasi yang berfokus pada keputusan, menekankan pada peranan informasi yang sistematis untuk pengelolaan program dalam menjalankan tugasnya. • 4. Pendekatan yang berorientasi pada pemakai • Pada pendekatan ini, pemakai informasi potensial adalah yang menjadi tujuan utama.
• 5. Pendekatan yang responsive • Pendekatan ini adalah pendekatan yang mencari pengertian suatu isu dari berbagai sudut pandang dari semua orang yang terlibat, yang berminat dan yang berkepentingan dengan program. • 6. Goal Free Evaluation. • Evaluator sengaja menghindar untuk mengetahui tujuan program
DESAIN EVALUASI PROGRAM • Desain evaluasi program adalah rencana yang menunjukkan bila evaluasi akan dilakukan dan dari siapa evaluasi atau informasi akan dikumpulkan selama evaluasi berlangsung.
Elemen dalam desain Evaluasi • • • • • • • • •
a. Kelompok Eksperimen b. Kelompok Kontrol c. Kelompok Kontrol ekuivalen d. Kelompok Kontrol non ekuivalen e. Postest f. Pre-test g. Mid-Test h. Retensi test i. Time Series Test
Instrumen penelitian dan analisis data • 1) Surveys • Open ended instrument (Instrumen terbuka) • Forced choice instrument (Intrumen pilihan)
• 2) Interviews • • •
Closed format, wawancara dengan format tertutup, pertanyaan, dan jawaban dibacakan kepada responden Semi open (semi terbuka) pertanyaan ditentukan dan pewawancara membuat interpretasi jawaban ke dalam formulir Open format( format terbuka) petunjuk umum diberikan kepada pewawancara , jawaban didesain atau dicatat,direkam dengan
tape.
lanjutan • 3) Observation – Open format, observer membuat catatan atau reaksi umum prilaku dan sebagianya tentang subjek yang dievaluasi – Logs, semacam buku harian dimana observer mencatat reaksi dan prilakunya sendiri – Sign system, dimana setiap prilaku khusus dihitung, dilakukan untuk merekam prilaku tertentu dalam tempo waktu yang telah ditentukan. – Category system, dimana prilaku diamati, digolongkan kedalam kategori tertentu untuk membuat rekaman tentang prilaku yang telah ditentukan dalam waktu yang telah ditentukan.
lanjutan • 4) Test – Multiple choice test – True false – Matching – Short answer, fiil in blank – Essay test • 5) Inventories – Open ended, yaitu responden membuat catatan tentang objek tertentu dan item yang mereka temukan – Check format, yaitu responden mengecek atau menghitung danmemberi nomor di sebelah item yang terdaftar.
lanjutan • 6) Site visit, ekspert reviews , panel hearing. • Dalam prosedur diatas, dapat dianggap bahwa orang itu sendiri sebagai instrument. Instrument bentuk ini dapat berupa – ahli – Wakil konsumen – Anggota, karyawan – Public – Orang tua wali dan lain-lain.
Kriteria instrument • • • • •
a. Validitas 1. Content Validity 2. Concruen Validity 3. Predictive Validity 4. Constant Validity
• B. RELIABILITAS • Stability, repeatability, suatu test atau alat ukur yang menghasilkan skor yang konsisten dari waktu ke waktu realibel stabil. • Inter-judge atau rater agreement, suatu penilaian harus mencerminkan ciri-ciri objek yang dinilai, bukan perbedaan antar pemakai instrument • Equivalency, hal ini berhubungan dengan tingkat konsistensi antara 2 bentuk pilihan test yang sama. Internal consistency, hal ini berhubungan dengan betapa sekelompok item saling berhubungan.
lanjutan • c. Intrumen tidak berubah atau mempengaruhi objek yang diukur dan yang direkam (adakalanya beberapa butir tes akan memberikan kunci untuk jawaban yang benar pada item yang lain). • d. Kesesuain dengan responden, bahasa yang dipergunakan sesuai dengan tingkat pendidikan dan pengetahuan responden.
Lanjutan • e. Sesuai dengan analisis yang dikehendaki dalam jumlah dan katergori yang telah direncanakan. • f. Ekonomis, instrument tidak mahal, dalam memilih ,mengambangkan, menguji coba, merevisi, mengumpulkan , mengnalisis dan menginterpretasi harus mempertimbangkan kemampuan dari segi biaya dan waktu. Dalam hal ini juga memerlukan kesabaran dan keteliaitan dalam menghadapi responden.
ANALISIS DATA • Ada tiga macam analisis data kuantitatif yaitu statistic deskriptif, analisis korelasi dan • Hipotesis testing.
