Model Penilaian dan Evaluasi Aplikasi Perangkat Lunak E-Learning

Konferensi Nasional Sistem Informasi 2016

1

STT Ibnu Sina Batam , 11 – 13 Agustus 2016

Model Penilaian dan Evaluasi Aplikasi Perangkat Lunak E-Learning Uky Yudatama1), Ardhin Primadewi2), Setiya Nugroho3) Universitas Muhammadiyah Magelang Jl. Mayjen Bambang Soegeng Km. 5 Mertoyudan-Magelang, 0293-326945 e-mail: [email protected]

Abstrak Banyaknya model penilaian kualitas e-learning memberikan banyak pilihan bagi stakeholder untuk menentukan standarisasi mana yang akan digunakan. Tidaklah mudah untuk menentukan aspek penilaian mana yang digunakan karena hal ini memerlukan pertimbangan yang matang. Dalam penelitian telah membuat model penilaian sebuah aplikasi perangkat lunak dengan memperhatikan aspek atau dimensi ekosistem dalam kebutuhan pembelajaran dan kemampuan teknis organisasi dan peserta didik. Aspek tersebut antara lain : Aspek konten terkait, Komunikasi dan aspek Kolaborasi terkait, Aspek didaktikal, Aspek teknik, Aspek penggunaan dan Usability terkait, Efektivitas biaya / aspek nilai terkait. Dari keenam aspek tersebut telah diujicobakan untuk menilai dan mengevaluasi beberapa intitusi yang hasilnya adalah aspek penggunaan dan usability terkait institusi X memilki nilai lebih tinggi, untuk aspek didaktikal institusi Y lebih menonjol sedang aspek kolaborasi dan komunikasi terkait intitusi Z lebih dominan.

Kata kunci: Penilian, Evaluasi, E-Learning, Aspek

1. Pendahuluan Perkembangan penggunaan aplikasi e-learning terutama di dunia pendidikan, semakin pesat, hal ini dikarenakan kebutuhan mahasiswa maupun dosen terhadap sistem pembelajaran yang lebih fleksibel. Selain itu, penggunaan teknologi e-learning, ternyata mampu menghemat biaya yang harus dikeluarkan oleh pihak universitas atau institusi pendidikan. Banyaknya aspek penilaian kualitas e-learning memberikan banyak pilihan bagi stakeholder untuk menentukan standarisasi mana yang akan digunakan [5] [6]. Tidaklah mudah untuk menentukan aspek penilaian mana yang digunakan karena hal ini memerlukan pertimbangan yang matang. Penelitian sebelumnya mengembangkan penilaian kualitas pada e-learning dan pendidikan berbasis ISO 19796-1. Berdasarkan definisi yang ada pada standar ISO, maka tahapan dalam proses adaptasi ISO 19796 dibagi menjadi tiga tingkat konsep, yaitu kepedulian terhadap kualitas (quality awareness) pada tingkatan individu, strategi untuk meningkatkan kualitas (quality strategy) pada tingkatan organisasi, dan pengembangan kualitas (quality development) pada tingkatan integrasi dengan stakeholder. Pada penelitian ini diajukan metode penilaian dan evaluasi produk e-learning berdasarkan dimensi ekosistem dengan memperhatikan beberapa aspek kebutuhan pembelajaran dan kemampuan teknis organisasi serta peserta didik. 2. Dasar Teori 2.1. Konsep Penilaian Dan Evaluasi Dalam E-Learning Konsep penilaian dan evaluasi pendidikan dalam e-learning pada prinsipnya sama dengan penilaian dan evaluasi dalam pembelajaran konvensional. E-learning dalam pendidikan adalah sebagai media pembelajaran yang berfungsi, sebagai Suplemen (tambahan), Komplemen (pelengkap) dan Substitusi (pengganti). Menurut Thorndike dan Hagen (1977) tujuan dan kegunaan penilaian pendidikan dapat diarahkan kepada keputusan-keputusan yang menyangkut (1) pengajaran (2) hasil belajar (3) Diagnosis dan usaha perbaikan (4) penempatan (5) seleksi (6) bimbingan dan konseling, (7) kurikulum, dan (8) penilaian kelembagaan. Penilaian kualitas e-lerning adalah  L-2

2 serangkain proses evaluasi yang dilakukan selama dan sesudah pembelajaran (proyek) e-learning dilaksanakan. Penilaian tersebut meliputi beberapa faktor : 1. Efek dari pembelajaran e-learning (antara lain: transfer pengetahuan, kemajuan dalam pembelajaran) 2. Efisiensi penggunaan metode (misalnya: kombinasi face to face dan online) 3. Rasio biaya-keuntungan (perbandingan antara bisarnya biaya dan keuntungan yang didapatkan) Untuk mengimplementasikan proses evaluasi kualitas e-learning dapat dilakukan dengan tiga metode, yaitu : a. Interview Interview dapat dilakukan dengan memberikan pertanyaan-pertanyaan kepada peserta kursus e-learning. Media yang digunakan antara lain melalui: Polling ataupun Feedback. b.

Observasi Evaluasi melalui observasi ini lebih komplek dan lebih sulit dalam scenario e-learning. Observasi ini dilakukan untuk mengetahui kepuasan dari peserta maupun stakeholder. Dapat dilakukan melalui diskusi forum.

c. Test. Evaluasi melalui test ini dilakukan untuk mengukur pengetahuan aktual dan peningkatan performance (ketrampilan, kompetensi) dari peserta. Dilihat dari bentuknya dalam e-learning terdapat dua bentuk yang berbeda dari penilaian e-learning: 1. Self-testing: melayani peserta e-learning untuk mendefinisikan posisi dan kemampuannya dalam proses e-learning. Test biasanya singkat dan otomatis dan mengikuti segment-segment pembelajaran.hal ini memberikan ide tentang tingkat pengetahuannya dan beberapa keinginannya secara cepat untuk setiap bagian dalam e-learning 2. Learning Progress Assessment: menyediakan untuk peserta persyaratan dan tujuan mengikuti kursus serta untuk proses evaluasi e-learning, seperti untuk pemberian sertifikat. 2.2. Konsep Pengujian Dalam E-Learning Pengujian otomatis (Automated test) dalam e-learning dapat dilakukan melalui beberapa model antara lain : 1. Self-testing (pengecekan secara pribadi pada isi materi dalam e-learning) 2. Pengujain awal atau pre-testing. Untuk menguji pengetahuan peserta dan memberikan prioritas dan masukan terhadap apa yang akan dipelajari. Beberapa bentuk-bentuk test yang dapat dilakukan dalam e-learning antara lein: a. Multiple Choice Test (Pilihan Ganda) Tes pilihan ganda merupakan tes yang menggunakan pengertian/ pernyataan yang belum lengkap dan untuk melengkapinya maka kita harus memilih satu dari beberapa kemungkinan jawaban benar yang telah disiapkan. Pilihan ganda biasa (melengkapi pilihan) 1. Pilihan ganda biasa (melengkapi pilihan). Bentuk ini merupakan suatu kalimat pernyataan yang belum lengkap dan diikuti empat atau lima kemungkinan jawaban yang tepat dan melengkapi pernyataan tersebut. 2. Hubungan antar hal (Sebab akibat) Bentuk tes ini terdiri dari dua kalimat : satu kalimat pernyataan dan satu kalimat alasan. Ditanyakan apakah pernyataan memiliki hubungan sebab akibat atau tidak dengan alasan. 3. Analisa Kasus Bentuk tes analisa kasus ini menghadapkan peserta pada satu masalah. 4. Membaca Diagram, atau table. Bentuk soal ini mirip dengan bentuk pilihan ganda biasa, hanya saja disertai dengan tabel. 5. Asosiasi pilihan ganda Bentuk soal ini sama dengan bentuk soal melengkapi pilihan, yakni suatu pernyataan yang tidak lengkap yang diikuti dengan beberapa kemungkinan, hanya perbedaan pada bentuk asosiasi pilihan ganda kemungkinan jawaban bisa lebih dari satu, sedangkan melengkapi pilihan hanya satu yang paling tepat. b. Free Text Composition / Complementary Test (Test isian) Tes isian terdiri dari kalimat yang dihilangkan (diberi titik-titik). Bagian yang dihilangkan ini yang diisi oleh peserta tes merupakan pengertian yang diminta agar pernyataan yang dibuat menjadi pernyataan yang benar. Cara Memberikan Skor: Pada tes ini sulit dilakukan tebakan, sehingga tidak diperlukan denda terhadap jawaban yang salah. Maka rumus yang digunakan adalah : Skor = Jumlah jawaban benar.  L-2

 3

c. Jumled Senteces Exercises. Test ini menyediakan kombinasi suatu karakter, kata atau kalimat kemudian harus menyusun kalimat tersebut atau meletakkan suatu kata sehingga mengandung pengertian yang benar.

d. Crossword Puzzles. (teka-teki silang) Dalam test ini terdapat beberapa pertanyaan yang harus di jawab dan beberapa jawaban harus dicocokan dengan jawaban yang lain berdasarkan sesuai dengan karakter atau kesamaan hurufnya. e. Matching Exercises (Menjodohkan) Menjodohkan terdiri atas satu sisi pertanyaan dan satu sisi jawaban, setiap pertanyaan mempunyai jawaban pada sisi sebelahnya. Peserta ataua sisea ditugaskan untuk memasangkan atau mencocokkan, sehingga setiap pertanyaan mempunyai jawaban yang benar. Beberapa yang harus diperhatikan berkaitan dengan test menjodohkan antara lain: 1. Banyaknya jawaban di sebelah kanan lebih dari jawaban di sebelah kiri 2. Lebihnya jawaban hendaknya menunjukkan jawaban yang salah 3. Materinya setiap sisi baiknya mengenai satu pokok bahasan saja 4. Pisahkan menjadi dua kolom, kolom pertama memuat jawaban, nomor soal dan pertanyaan. Sedangkan kolom kedua memuat kode dan pilihan jawaban. 5. Cara Memberikan Skor. Penskoran pada tes menjodohkan tidak diberikan denda terhadap jawaban yang salah. Skor = Jumlah jawaban benar. f. True and False Test Bentuk tes benar salah memiliki soal yang berupa statemen. Statemen tersebut dapat disusun sedemikian rupa, ada yang benar dan ada yang salah. Beberapa kelebihan tes benar salah : a. Dapat mencakup bahan yang luas dan tidak memakan tempat yang banyak. b. Mudah dalam penyusunannya c. Petunjuk mengerjakannya mudah dimengerti d. Dapat digunakan berkali-kali e. Objektif Sedangkan kelemahan bentuk test ini ialah: a. Mudah ditebak b. Banyak masalah yang tidak dapat dinyatakan hanya dengan kemungkinan benar atau salah c. Hanya dapat mengungkapkan daya ingat dan pengenalan kembali Beberpa hal yang harus diperhatikan dalam penyusunan soal dalam bentuk benar salah ini yaitu: a. Hindari kalimat negatif, yakni kalimat yang mengandung kata “tidak” atau “bukan” b. Pernyataan harus disusun sedemikian rupa sehingga siswa yang memiliki pengertian samar-samar dapat terkecoh dalam menjawabnya c. Dalam menyusun keseluruhan tes, diharapkan item yang mengandung “salah sedikit” cukup banyak d. Cara Melakukan Penskoran Tes Benar Salah ada dua cara yaitu: 1. Dengan Denda Menggunakan rumus : Skor = Jumlah jawaban benar – Jumlah jawaban Salah . 2. Tanpa Denda Menggunakan rumus : Skor = Jumlah jawaban yang benar. 3. Metode Penelitian Bagian ini menjelaskan alur kerja yang dilakukan penulis dalam menjalankan penelitian ini. Secara garis besar artikel ini memiliki alur kerja. Yang pertama adalah melakukan studi literatur dengan melakukan analisa terhadap beberapa penelitian terkait. Dari beberapa penelitian yang terkait tersebut diharapkan dapat ditemui berbagai permasalahan-permasalahan umum yang sering terjadi pada proses pengembangan dan implementasi serta kondisi aplikasi tersebut saat telah beredar di pasar. Permasalahan-permasalahan tersebut nantinya akan digunakan sebagai acuan dan data pendukung pentingnya penelitian ini harus dilakukan. Kemudian yang dilakukan selanjutnya adalah melakukan pembangunan model pengukuran untuk menilai sebuah aplikasi e-learning. A. Studi literatur

 L-2

Model Penilaian dan Evaluasi Aplikasi Perangkat Lunak E-Learning (Uky Yudatama)

4 Saat studi literatur, yang dilakukan adalah mencari sebanyak-banyaknya permasalahan-permasalahan umum yang dihadapi dalam pengembangan model pengukuran untuk menilai sebuah aplikasi e-learning diperoleh dari penelitian-penelitian terkait. Permasalahan-permasalahan tersebut akan dikelompokkan sesuai dengan karateristiknya. Selanjutnya yaitu akan ditarik beberapa spesifikasi-spesifikasi umum yang ditarik dari hasil pengelompokkan tersebut. B. Pengelompokan aspek variabel Spesifikasi-spesifikasi ini nantinya akan digunakan sebagai calon aspek-aspek yang mempengaruhi tingkat kualitas dari sebuah aplikasi model pengukuran untuk menilai sebuah aplikasi e-learning. C. Perancangan angket Poin-poin yang akan disurveikan adalah spesifikasi-spesifikasi yang telah dibentuk dari hasil analisa sebelumnya. Hasil survey diharapkan dapat dapat membentuk aspek-aspek yang benar-benar dibutuhkan dalam mengukur tingkat usabilitas model pengukuran untuk menilai sebuah aplikasi elearning karena telah dilihat dari dua buah sisi yang berbeda namun saling terkait secara tidak langsung yaitu adalah pengembang dan pengguna. Aspek-aspek ini yang nantinya dipilih untuk menyusun model pengukuran. 4. Hasil dan Pembahasan Adapun untuk mengevaluasi produk e-learning sehingga memiliki gambaran yang jelas tentang kebutuhan pembelajaran dan kemampuan teknis organisasi dan peserta didik maka harus memperhatikan aspek sebagai berikut : a. Aspek konten terkait 1. Produk yang dihasilkan sesuai dengan sasaran komunitas pemakai. 2. Tujuan pembelajarannya jelas serta isinya menarik dan interaktif. 3. Konten terstruktur dengan baik. 4. Bahasa yang digunakan mudah dipahami dan menyediakan link ke sumber informasi tambahan. 5. Referensi 6. Konten berkaitan dengan disiplin ilmu lain.(referensi untuk model, teori maupun praktek) 7. Ada latihan terkait dengan konten; ada petunjuk yang jelas 8. Penilaian termasuk penilaian / diri b. Komunikasi dan aspek Kolaborasi terkait 1. Kemungkinan untuk berkomunikasi serentak (chatting). 2. Kemungkinan untuk berkomunikasi asynchronous (email, forum, SMS ...). 3. Penetapan batas waktu untuk komunikasi asynchronous. 4. Kemungkinan untuk membentuk kelompok atau group. 5. Kemungkinan untuk meng-upload / download dokumen. 6. Produk meliputi (fungsi catatan) kalender. 7. Perlu latihan di mana komunikasi sangat penting. c. Aspek didaktikal 1. Menghormati berbagai tingkat keahlian. 2. Adanya bentuk interaktif pembelajaran. 3. Adanya fasilitas pendukungan / penjelasan. 4. Sebagai sarana untuk memahami / menerapkan / mengembangkan pengetahuan. 5. Apakah itu memungkinkan dukungan guru / FAQ? 6. Apakah itu termasuk studi kasus? d. Aspek teknik 1. Waktu untuk instalasi. 2. Apakah itu sesuai standar (AICC, IMS, SCORM)? 3. Apakah ada hotline? 4. Kemungkinan untuk memperpanjang 5. Kemungkinan untuk beradaptasi untuk kebutuhan sendiri Informasi tentang plugins / persyaratan sistem 6. Multimedia

 L-2

 5

e. Aspek penggunaan dan Usability terkait 1. Kemudahan penggunaan 2. Bagaimana dalam kemudahan menambahan konten, dihapus, atau upgrade oleh staf. 3. Paket menyajikan jelas, penampilan profesional. Grafis, gaya visual, suara dan animasi, pilihan harus meningkatkan poin pembelajaran. 4. Apakah desain yang menarik? 5. Navigasi dan orientasi harus mudah. 6. Apakah dapat menemukan informasi dengan cepat? Indeks berisi kata-kata kunci atau topik. 7. Adanya menu penolong (help). f. Efektivitas biaya / aspek nilai terkait 1. Paket pembelajaran harus efektif biaya. 2. Lisensi pengguna yang diperlukan. 3. Adanya jenis dukungan yang diperlukan. Gambar 4.1 merupakan hasil penilaian setelah diadakan penyebaran angket yang telah diisi oleh beberapa responden. Adapun responden yang menilai terdiri dari beberapa praktisi dan akademisi yang terbiasa bergelut dalam dunia pendidikan dan IT. Data hasil yang telah didapat menunjukkan hampir semua institusi memilki nilai yang sama, hanya beberapa aspek yang menonjol yang dimiliki dari masingmasing institusi, misalnya aspek penggunaan dan usability terkait dimiliki oleh institusi X, untuk aspek didaktikal institusi Y lebih menonjol sedang kolaborasi dan aspek komunikasi terkait intitusi Z lebih menonjol.

Gambar 4.1 Hasil Penilaian Aplikasi Perangkat Lunak E-Learning pada sebuah institusi XYZ

5. Simpulan Dari hasil peneitian ini dapat disimpulkan antara lain : a. Penilaian aplikasi perangkat lunak e-learning dapat dijadikan tolok ukur seberapa jauh aplikasi tersebut memilki nilai kebermanfaatan yang dapat dirasakan oleh pengguna. b. Penilaian aplikasi perangkat lunak banyak modelnya, namun model yang menggunakan dan memperhartikan beberapa aspek sangat efektif untuk diterapkan. Adapun aspek tersebut antara lain Aspek konten terkait, Komunikasi dan aspek Kolaborasi terkait, Aspek didaktikal, Aspek teknik, Aspek penggunaan dan Usability terkait, Efektivitas biaya / aspek nilai terkait

 L-2

Model Penilaian dan Evaluasi Aplikasi Perangkat Lunak E-Learning (Uky Yudatama)

6 Daftar Pustaka [1] Ahmad Faiq Abror, PENGEMBANGAN DAN ANALISIS KUALITAS APLIKASI PENILAIAN ELEARNING SMK BERBASIS ISO 19796-1 DI YOGYAKARTA, Jurnal Pendidikan Vokasi Volume 6, No 1, Februari 2016 (1-14). [2] Andharini Dwi Cahyani , Daniel Oranova Siahaan , Sarwosri, Penilaian Kualitas Sistem Elearning Dengan Menggunakan ISO 19796-1, Jurusan Teknik Informatika, Fakultas Teknologi Informasi, Institut Teknologi Sepuluh Nopember. [3] Firma K (1993), Diktat perkulian Methode pendidikan Institut teknologi bandung, Bandung. [4] Joesmani, Pengukuran dan Evaluasi Dalam Pengajaran Depdikbud Dirjen Pendidikan Tinggi, Proyek Pengembangan, Lembaga Pendidikan Tenaga Kependidikan, Jakarta, 1988. [5] Hsu CM. Development of Design Criteria and Evaluation Scale for Web-based Learning Platforms. International Journal of Industrial Ergonomics. 39: 90-95. 2009. [6] Paechter M. Students’ expectations of, and experiences in e-learning: Their relation to learning achievements and course satisfaction. Computers & Education. 54: 222-229. 2010 [7] Suharsimi Arikunto, Dasar-dasar Evaluasi Pendidikan, Penerbit Bumi Aksara, Jakarta, 1992

 L-2