Teori dan praktek evaluasi pendidikan jarak jauh dan elearning
Oleh Nur Ainiyah
Powerpoint Templates
Page 1
First Page
• • • •
konteks historis evaluasi dan pendidikan jarak jauh Gambaran singkat dan klasifikasi model evaluasi Bukti ilmiah, nilai-nilai, atau konsekuensi Meninjau peneltian otentik praktek evaluasi (menampilkan praktek evaluasi yang tidak diinginkan dalam pendidikan jarak jauh)
Powerpoint Templates
Page 2
Teori evaluasi • Dasar konseptual evaluasi pendidikan jarak jauh dan e learning dikembangkan berdasarkan “evaluasi program” dalam pendidikan. • Model Evaluasi dalam pendidikan jarak jauh mengedepankan pada bukti ilmiah, nilai-nilai dan konsekuensinya. • Hasilnya meliputi data kuantitatif hasil belajar, penyelesaian pembiayaan, tingkat kepuasan siswa, hasil wawancara dan survey terhadap kepuasan siswa, • Relevansinya mengacu pada kesesuaian antara isi pembelajaran dan kebutuhan masyarakat, materi yang otentik, dan penyampaian pembelajaran sesuai kehidupan nyata. Keuntungan pembiayaan mengacu pada pembiayaan pembelajaran keterkaitannya dengan manfaat, efisiensi dan efektifitas
Powerpoint Templates
Page 3
Model evaluasi pendidikan jarak jauh dan elearning dengan mendasarkan pada bukti ilmiah
Powerpoint Templates
Page 4
Model van slyke, kittner dan belanger (1998)
• Model evaluasi ini adalah sebuah model tentang lingkungan belajar, secara khusus hubungan antara variabel kontekstual (input) dan variabel hasil (produk). • Variabel prediktor/input yaitu (siswa, mata pelajaran, pembelajaran jarak jauh dan karakteristik kelembagaan termasuk tujuan, metode penyampaian, dan dukungan instruktur). • Variabel hasil terdiri dari (lembaga dan guru) • Outcome kelembagaan termasuk biaya yang lebih murah, produktifitas guru lebih baik, berbagi sumber daya dengan lembaga lain, dan meningkatkan jangkauan • Outcomes guru termasuk kessadaran teknis dan ketrampilan
Powerpoint Templates
Page 5
Belanger dan jordan (2000)
Powerpoint Templates
Page 6
Variabel penelitian
• Karakter siswa meliputi: tujuan siswa, ketrampilan personal, kemampuan komputer, menejemen waktu, komunikasi interpersonal, pemecahan masalah, perencanaan, pengalaman teknologi sebelumnya, cita-cita yang diharapkan dan sikap • Karakteristik pembelajaran termasuk proyek kelompok, metode evaluasi, dan komponen pendukung (misalnya teknologi dimediasi komputer untuk mendukung tugas-tugas kolaborasi). • Karakteristik teknologi termasuk dampak kemajuan teknologi dimana teknologi tidak memberikan atau memberikan kenyamana dalam belajar.
Powerpoint Templates
Page 7
Hasil evaluasi
• Guru meliputi: peningkatan kesadaran teknologi dan ketrampilan serta kualitas yang lebih tinggi yaitu kemampuan mengakses yang lebih baik pada guru. • Kelembagaan: biaya yang lebih rendah, peningkatan jangkauan geografis, meningkatkan produktifitas guru, berbagi sumber daya pembelajaran dengan lembaga lain • sosial termasuk: tenaga kerja yang profesional, peningkatan kualitas hidup, peningkatan akses pendidikan (terlepas dari budaya, kelas, atau status keuangan).
Powerpoint Templates
Page 8
Bates(1995) action model • Akses: bagaimanakah aksebilitas dan fleksibilitas dari teknologi • Biaya: bagaimankah struktur pembiayaan? Berapakah biaya persiswa? • Pengajaran dan pembelajaran: belajar apa? Pendekatan pembelajaran, dan teknologi yang terbaik • Interaktifitas dan keramahan pengguna: jenis interaksi apa yang disediakan, sebarapa mudah? Bagaimana kehandalan teknologi? Apakah sering ada kegagalan atau kerusakan? • Masalah organisasi: apa persyaratan organisasi? Dan hambatannya? • Novelty: bagaimanakan teknologi baru? • Kecepatan: seberapa cepat pembelajaran dapat dirubah untuk mengakomodasi perbaikan dan pembaharuan
Powerpoint Templates
Page 9
Karakteristik action model
• Implementasi dari model evaluasi ini terdiri dari dua level yaitu: 1. Level individu siswa : respon siswa terhadap akses, pengajaran dan pembelajaran, interaktivitas, dan biaya 2. Level organisasi: masalah organisasi, novelty, dan kecepatan • Kegagalan dan kerusakan tidak dianggap sebagai konsekuensi yang tidak diinginkan dan model ini tidak memasukkan referensi pada nilai-nilai dasar pendidikan jarak jauh.
Powerpoint Templates
Page 10
Model CIAO
Powerpoint Templates
Page 11
• Mencakup analisis tujuan pembelajaran, dokumen kebijakan, dan rekaman pertemuan tim pembelajaran • Peneliti menekankan hasil belajar tetapi mengakui kesulitan dalam menghubungkan hasil belajar terhadap teknologi. • Model ini menekankan pada bukti ilmiah tetapi bukan nilai nilai atau konsekuensi yang tidak diharapkan
Powerpoint Templates
Page 12
Model Kirkpatrick dan Kirkpatrick (2006)
Powerpoint Templates
Page 13
• Model ini biasanya digunakan untuk mengevaluasi program pelatihan tetapi biasa juga digunakan dalam evaluasi pendidikan jarak jauh. • Pada level 1 reaksi mengacu pada tingkat kepuasan siswa, level 2 pembelajaran mengacu pada perubahan sikap, peningkatan pengetahuan dan ketrampilan, level 3 prilaku mengacu pada prilaku baru dalam konteks yang tepat, level 4 hasil mengacu pada tingkat kualitas • Menurut penulis lebih baik jika program direncanakan secara terbalik, sedangkan alat evaluasinya adalah wawancara terhadap peserta program, cheklist terhadap ketrampilan dan sikap, dan rubrik penilaian kerja
Powerpoint Templates
Page 14
• Ketajaman data pada level 1 sangat penting karena siswa perlu merespon secara positif terhadap pelatihan sebelum mereka dapat mengubah sikap dan prilaku. Pada level 2,3 dan 4 diimplementasikan jika pembiayaan dan staff tersedia • Model ini sangat praktis dan sederhana tetapi didasarkan pada bukti yang dikumpulkan dalam 4 tingkatan yang berbeda dan tidak termasuk nilai-nilai dasar dan konsekuensi yang tidak diinginkan
Powerpoint Templates
Page 15
Hughes and Attwell’s (2002) E-Learning Model
• Model ini mempunyai lima kluster variable: 1. Individu siswa (demografi, pembelajaran sejarah, sikap siswa, motivasi siswa, dan kebiasaan dengan teknologi 2. Lingkungan belajar(fisik, kelembagaan, dan variabel lingkungan) 3. Teknologi (hardware, software, dan konektivitas) 4. Kontekstual (konteks politik: siapakah yang membiayai elearning dan mengapa?, latar belakang budaya: seberapa tinggi elearning dihargai, lokasi geografis) 5. Pedagogik (tingkat dan sifat dari sistem pendukung siswa, aksebilitas, akreditasi dan sertifikasi) • Yang termasuk dalam Model ini adalah fakta-fakta, nilai-nilai dan konsekuensi karena ini cukup komprehansif, meskipun konsekuensi bukan sebuah kriteria Powerpoint Templates
Page 16
E LEARNING Model
Powerpoint Templates
Page 17
• Model ini sangat kompleks dan berlapis-lapis. Lebih dari 450 pertanyaan survei disusun dan dikategorikan dalam lima dimensi (sesuai bagan diatas) • Model ini memungkinkan anggota tim untuk merefleksikan dan berkolaborasi serta menciptakan alur kerja yang tepat sehingga memungkinkan dilakukan perbaikan secara terus menerus sesuai dengan kebutuhan
Powerpoint Templates
Page 18
Sebuah model kegunaan elearning dan pengaruhnya bagi siswa
Powerpoint Templates
Page 19
• Zaharias (2005) mengembangkan Kerangka kerja konseptual evaluasi kegunaan aplikasi asyinchonus elearning untuk peserta didik dewasa dalam pengaturan pelatihan perusahaan. Kerangka kerja ini merupakan perpanjangan kemampuan interaksi antara manusia dan komputer didasarkan pada gagasan tentang langkah –langkah kegunaan tradisional yan efektif dan kepuasaan yang tidak memadai untuk semua konteks elearning • Kegunaan elearning secara langsung berkaitan dengan nilai pedagogis. Model ini memprediksi motivasi belajar dari kegunaan web dan parameter desain pembelajaran. • Dimensi desain kegunaan ini adalah: konten, belajar dan dukungan, desain visual, navigasi, aksesibilitas, interaktivitas, evaluasi diri dan learnibility • Model ini sebenarnya digunakan untuk mengembangkan kuosioner tentang uji pshychometrically • Kuosioner ini juga digunakan untuk model regresi, dan dapat digunakan untuk evaluasi sumatif dan formatif Powerpoint Templates
Page 20
Model Berdasarkan Bukti, Nilai, Dan Konsekuensi
Powerpoint Templates
Page 21
Model collis Model ini memiliki lima tahap: 1. Analisis asumsi, tujuan dan perencanaan proyek 2. Penilaian asumsi, tujuan, perencanaan, dan indikator keberhasilan 3. Pengamatan tentang dinamika yang mendasari, seperti ambisi pribadi. 4. Penilaian kesesuaian antara apa yang direncanakan dan apa diamati. 5. Interpretasi kesenjangan dalam sistem.
Powerpoint Templates
Page 22
Clark (1994a) • Clark (1994a) menyebutkan dua kerangka kerja: berdasarkan reaksi peserta dan pencapaian tujuan program, termasuk bukti ilmiah, nilainilai, dan konsekuensi yang tidak diinginkan. • Survey dapat dilakukan untuk mengetahui persepsi siswa dan menemukan konsekuensi yang tak diinginkan • tujuan program harus dibagi menjadi "setidaknya dua kategori: mereka yang terkait dengan penyampaian dan yang berhubungan dengan pembelajaran "(hal. 69). teknologi penyampaian termasuk "peralatan, mesin dan media," sedangkan teknologi instruksional termasuk "pelajaran, contoh, praktik dan tes" (hal. 64). Teknologi penyampaian harus dievaluasi untuk mengetahui kemampuan menyediakan akses dan kualitas teknis, sedangkan teknologi instruksional harus dievaluasi untuk perubahan dalam belajar, transfer, motivasi, dan penerapan pengetahuan di luar kelas. Powerpoint Templates
Page 23
Model Lima pilar kerangka kerja kualitas
Lorenzo dan Moore (2002) mengusulkan kerangka kerja kualitas yang terdiri lima pilar yang dapat membantu membuat tolok ukur dan standar untuk kualitas didasarkan pada kualitas perbaikan berkelanjutan (p 1.): 1.Learning effectiveness. 2.Cost effectiveness 3.institutional commitment. 4.Access. 5.Faculty satisfaction. 6.Student satisfaction.
Powerpoint Templates
Page 24
Ringkasan model evaluasi dalam pendidikan jarak jauh
Powerpoint Templates
Page 25
Nilai-nilai dan konsekuensi yang tidak diinginkan
• Nilai-nilai yang mendasari program jarak jauh adalh sangat penting, teknologi baru selalu membawa nilai-nilai baru. Kemampuan teknologi baru telah mengubah konsepsi dasar tentang pembelajaran dan kelembagaan. • Nilai-nilai, ideologi, dan teori pedagogik menjadi dasar yang penting dalam mengembangkan pendidikan jarak jauh • Konsekuensi yang tidak diinginkan ini meliputi kesenjangan antara yang ideal dan yang nyata, efek negatif, mengapa dan bagaimana suatu elemen bekerja atau tidak bekerja.
Powerpoint Templates
Page 26
Penelitian evaluasi pendidikan jarak jauh
• Hanya sedikit studi evaluasi pendidikan jarak jauh yang dapat diakses, ini biasanya hanya proyek yang sukses saja yang cenderung dilaporkan • Studi evaluasi ini berkaitan dengan pertanyaan: sejauh mana penelitian ini dipandu oleh model evaluasi teoritis? Dapatkah kita menemukan contoh dari konsekuensi yang tidak diinginkan muncul dilatar belakang? Apakah ada cukup contoh untuk membenarkan atau membuktikan masuknya nilai-nilai dan konsekuensi dalam model evaluasi?
Powerpoint Templates
Page 27
Pendekatan dalam penelitian evaluasi pjj
• penelitian kuantitatif: dalam evaluasi program, penelitian evaluasi dalam pendidikan jarak jauh diawali dengan desain eksperimen, yang mencakup analisis tingkat penyelesaian, nilai, hasil survey kepuasan siswa, sikap dan kebiasaan belajar menggunakan teknologi. Contoh penelitian yang membandigkan pembelajaran yang inovatif dengan pembelajaran tradisional, tujuan dari penelitin ini adalah untuk menunjukkan kesetaraan antara keduanya meskipun dengan pengalaman belajar yang bebeda
Powerpoint Templates
Page 28
Lanjutan… • Penelitian kualitatif: dalam penelitian ini digunakan metode observasi dan wawancara terbuka terhadap siswa, perancang pembelajaran, instruktor/guru untuk mendapatkan berbagai perspektif pada karakteristik pembelajaran yang baik dalam lingkungan yang inovatif. • Fokus dari pendekatan ini untuk mengidentifikasi aspek tertentu dalam proses pelaksanaannya, contoh faktor yang mendorong atau menghambat pembelajaran dan menemukan cara untuk menngkatkan unsur-unsur yang lemah "(Reigeluth & Frick, 1999). • Studi kualitatif memberikan "wawasan tentang bagaimana peserta didik benar-benar menanggapi untuk teknologi, "demikian mengungkapkan" kelemahan serta kekuatan “ jarak program (Selwyn, 1997). • Contoh studi McAlister (1998) melakukan studi etnografi dari 36 peserta didik dewasa yang mengeksplorasi efek dari faktor individu, sosial, dan kelembagaan pada hasil peserta didik (lulusan) dengan kualifikasi rendah. Powerpoint Templates
Page 29
• Mix methode: fokus pada proses dan hasil, sehingga menghasilkan kedalaman dan luasnya studi evaluasi (Greene & Caracelli, 1997; Tashakkori & Teddlie, 1998). • Contoh pada tahun 1980 dilakukan penelitian multidimensi yang melibatkan proyek-proyek yang berkaitan dengan apakah biaya dari siswa untuk pembelian dan perawatan komputer pribadi mempunyai nilai manfaat • Beberapa contoh penelitian menggunakan mix methode: 1. Universitas terbuka. Telah dilakukan penelitian multidimensional pada uneversitas terbuka tentang penggunaan komputer dalam pembelajaran dari tahun 1980an-1998 yang menghasilkan penelitian sbb: Ada tiga alasan responden tidak menggunakan tutorial yang ditawarkan: takut bodoh, takut salah, takut melihat Powerpoint Templates
Page 30
Lanjutan… penelitian tentang biaya siswa secara pribadi dalam membeli dan merawat komputer apakah mempunyai nilai manfaat. Ditemukan konsekuensi yang tidak diinginkan positif dalam penelitian ini bahwa membaca manual menjadi pilihan terakhir siswa.
Powerpoint Templates
Page 31
Program master degree’s
Sebuah penelitian evaluasi program master degrees dengan mix methode yang difokuskan pada tujuan, perbaikan program dan kerangka kerja yang dapat disesuaikan dengan program lain. Martinez, Liu, Watson, dan Bichelmeyer (2006) mengevaluasi program master degrees berbasis web di sebuah universitas riset AS midwestern. Mereka menemukan nilai-nilai yang mendasari program ini adalah: • Meningkatkan reputasi program • Memberikan penelitian dan pengembangan kesempatan bagi dosen dan mahasiswa PhD • Memberikan kesempatan sedikit akses bagi mereka terhadap pekerjaan atau tanggung jawab keluarga • Meningkatkan sumber penghasilan Powerpoint Templates
Page 32
Analisis pembiayaan
•
alat evaluasi yang dirancang untuk membuat keputusan dengan membandingkan manfaat atau hasil untuk setiap alternatif dengan biaya • Bates (1995) mengusulkan menghitung biaya rata-rata per siswa perjam belajar menggunakan teknologi tertentu kali jumlah siswa selama masa kursus, nilai-nilai, tingkat kepuasan pelajar, atau jumlah siswa yang menyelesaikan kursus.
Powerpoint Templates
Page 33
Praktek evaluasi Beberapa model evaluasi yang banyak dijadikan literatur adalah: • Question oriented approaches • Cost–benefit • Quality assurance • CIAO model • Collis’s (1993) model • ACTION model (Bates, 1995) • Participatory and expertise-oriented • models (Martinez et al., 2006) • Lorenzo and Moore’s (2002) five pillars
Powerpoint Templates
Page 34
Question-Oriented Approaches • Dalam metode berorientasi pendekatan, studi ini didujkung dengan desain penelitian dan metodologi yang tepat; penekanannya adalah pada kualitas teknis, bukan penilaian yang komprehensif tentang kelayakan dan kegunaan (Stufflebeam, 2001). Yang termasuk dalam kategori ini adalah penelitian eksperimental, studi kualitatif, studi kasus, dan penelitian mix method (Stufflebeam, 2001).
Powerpoint Templates
Page 35
Apakah Konsekuensi yang tidak diinginkan muncul dalam studi evaluasi? • Konsekuensi yang tidak diinginkan biasanya muncul dari penggunaan inovasi teknologi baru, hal ini memunculkan respon negatif dalam pembelajaran jarak jauh, misalnya perilaku yang mengganggu, respon negatif terhadap pembelajaran, dan ketidakmampuan untuk mentransfer pembelajaran (Forsyth et al., 1995). • Pendidikan jarak jauh selalu berkaitan dengan inovasi teknologi baru oleh karena itu konsekuensi yang tidak diinginkan harus selalu diantisipasi
Powerpoint Templates
Page 36
Konsekuensi yang tidak diinginkan dalam pembelajaran • Braun (1994) menyebutkan perubahan yang tidak diinginkan dalam guru-murid hubungan setelah teknologi diperkenalkan. • . (1996) evaluasi etnografi Jones et al. perangkat lunak yang digunakan menemukan bahwa peserta didik menggunakan sistem pengetahuan dengan cara yang berbeda dari yang dimaksudkan oleh desainer kursus. • Herrmann, Fox, dan Boyd (1999) megklasifikasikan konsekuensi yang tidak diinginkan dari web di seluruh dunia melalui sistem komunikasi komputer (CMC) pada pendapatTenner (1996) yaitu kategori menata ulang, mengulangi, melengkapi kembali/recomplicating,memperbaharui, dan efek penghambat Powerpoint Templates
Page 37
• Kategori Menata kembali: waktu yang dihabiskan dalam memprogram HTML, mengembangkan dan memprtahankannya • Efek ulangi: kecepatan dan ketepatan siswa dalam mengakses informasi , • Recomplicating: penggunaan ID, password • Regenerasi: pengeluaran biaya oleh siswa dalam menggunakan teknologi, dan ketidak mampuan/kecocokan antara hardware dan software • Recongesting: ketika jumlah pengguna internet meningkat maka menyebabkan jaringan internet macet dan gangguan dalam mengakses
Powerpoint Templates
Page 38
Efek positif dari konsekuensi yang tidak diinginkan • Menurut Bates (2000), teknologi instruksional juga dapat mengakibatkan konsekuensi yang tidak diinginkan positif. Ruhe (2002), • Misal program spillover yaitu seperti ketika anak-anak belajar keterampilan membaca menjadi lebih kooperatif dan tidak tergganggu (Weiss, 1998), Siswa penyandang cacat "menemukan suara mereka" dalam interaksi secara online dan "merasa lebih otoritatif "karena bandwidth rendah menciptakan kehadiran online sama dengan teman sekelas mereka (Dede, 2005, hal. 120).
Powerpoint Templates
Page 39