SEMINAR PROGRES TUGAS AKHIR – CF 1380
SISTEM PENILAIAN ESAI OTOMATIS PADA E-LEARNING DENGAN METODE COSINE SIMILARITY Penyusun: Rohmawati Fuat
5206 100 014
Pembimbing: Rully Agus Hendrawan, S.Kom, M.Eng
LABORATORIUM SISTEM PENDUKUNG KEPUTUSAN JURUSAN SISTEM INFORMASI FAKULTAS TEKNOLOGI INFORMASI INSTITUT TEKNOLOGI SEPULUH NOPEMBER
Latar Belakang Beberapa institusi pendidikan mulai mengembangkan sistem e-learning dalam proses pengajarannya Pelaksanaan ujian dapat dilakukan secara online, mulai dari menjawab soal ujian hingga proses penilaian Selama ini kebanyakan proses ujian dan penilaian dilaksanakan secara manual Perlu adanya sistem penilaian otomatis
LOGO
Perumusan Masalah
Bagaimana implementasi pengukuan Text Similarity dalam pengembangan Sistem Penilaian Esai Otomatis? Bagaiamana proses integrasi Sistem Penilaian Esai Otomatis dengan E-learning? Bagaimana hasil kinerja Sistem Penilaian Esai Otomatis dibandingkan dengan human raters
LOGO
Batasan Masalah
Esai yang dinilai dalam sistem ini menggunakan bahasa Inggris. Data uji coba yang digunakan adalah data hasil ujian esai secara online mata kuliah Pengantar Sistem Informasi di Jurusan Sistem Informasi, ITS. Tipe jawaban esai yang dinilai dalam sistem ini bersifat definitif. Aplikasi e-learning yang digunakan adalah Moodle.
Tujuan
Pembuatan sistem penilaian esai otomatis pada elearning dengan mengimplementasikan pengukuran Text Similarity.
www.themegallery.com
LOGO
Manfaat Tugas Akhir
Membantu dosen dalam memberikan penilaian ujian mahasiswa secara objektif Mengurangi waktu dan tenaga dosen dalam menilai ujian mahasiswa
LOGO
Konsep E-learning
TINJAUAN PUSTAKA
E-learning merupakan suatu sistem dimana penyampaian materi pembelajaran, pelatihan atau program pendidikan menggunakan peralatan elektronik dalam tujuan memberikan materi pelatihan, pendidikan atau pembelajaran E-learning bisa digunakan sebagai: 1. Tempat sharing materi pembelajaran 2. Tempat pemberian tugas peserta didik 3. Tempat latihan soal atau ujian 4. Tempat diskusi
LOGO
Pengukuran Cosine Similarity o o
o o o
TINJAUAN PUSTAKA
= bobot term j dalam dokumen ke i = jumlah term j yang terdapat pada dokumen ke i = jumlah dok yang mengandung term j D = jumlah total dokumen = bobot term j dalam query q
LOGO
Metodologi Penelitian Start
Studi Literatur
Perancangan Sistem No
Implementasi Sistem
Uji Coba Sistem
Yes
Evaluasi Kinerja Sistem
Integrasi Sistem dengan E-Learning
Pembuatan Dokumentasi TA
Stop
Back
LOGO
Gambaran Sistem Form Pertanyaan Dosen • Turn editing on • Add an activity ---> QUIZ Membuat • Pengaturan Quiz Quiz • create new question ---> Essay • Input pertanyaan dan jawaban Membuat Soal Esai • Menambah soal ke quiz
Form Ujian Mahasiswa
Mengikuti Quiz
• Attempt Quiz • Input jawaban • Submit
LOGO
Perancangan Sistem Perancangan Data
Data Input
•Pertanyaan •Jawaban Dosen •Jawaban Mhs
Data Proses
Kumpulan kata penting
Data Output
Nilai Mhs
LOGO
LOGO
Desain Proses Text Preprocessing Start
Jawaban Dosen
Case Folding
Tokenizing
Filtering (Stopword Removal)
Stemming
IMPORT LIBRARY PORTER STEMMER
1
LOGO
Desain Pengukuran Text Similarity 1
- Data proses Mhs (Q) - Data proses Jwb Dosen (D) - Data kata sinonim
J = 1 J <= jumlah kata
J++
tfj = frekuensi kemunculan kata j dfj = jumlah doc mengandung kata j D = total doc IDFj = log(D/dfj) Wj = tfj * IDFj
|Q| = SQRT(∑W²qj) |D| = SQRT(∑W²dj) Q∙D = SQRT(∑Wqj * Wdj) Cosine = Q∙D / |Q| * |D|
Nilai Mhs
Stop
LOGO
Konversi Nilai Similarity Berdasarkan range
LOGO
Implementasi Data Dosen memasukkan pertanyaan dan jawaban
LOGO
Dosen memasukkan pertanyaan dan jawaban
LOGO
Tabel mdl_question
LOGO
Mahasiswa memasukkan jawaban
LOGO
Tabel mdl_question_states
LOGO
Implementasi Proses
Text Preprocessing Proses pengukuran similarity Konversi nilai
1) mdl_question_states nilai per jawaban 2) mdl_quiz_attempts nilai total
LOGO
Tabel word
LOGO
Tampilan Nilai di Moodle
LOGO
UJI COBA SISTEM
Data uji coba
Data meliputi : Pertanyaan Kunci jawaban Jawaban mahasiswa
Sumber : http://www.miislita.com/ Ralph M.Stair, George W. Reynolds, 2003. “Principles of Information Systems, Sixth Edition”, Thomson Course Technology. Canada.
LOGO
Uji Coba Validitas
UJI COBA SISTEM
LOGO
Uji Coba Behaviour
UJI COBA SISTEM
Data
LOGO
UJI COBA SISTEM
Hasil
LOGO
UJI COBA SISTEM
Uji Coba Kinerja
LOGO
UJI COBA SISTEM
Hasil 120
100
Nilai
80
60
40
20
0 1
2
3
4
5
6
7
8
9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
Peserta Quiz Soal No.1
Nilai Human Raters
Nilai Sistem
LOGO
UJI COBA SISTEM
Hasil Rata-rata standar deviasi antara nilai sistem dengan nilai human raters untuk setiap soal 12
Nilai Deviasi
10 8 6 4 2 0 1
2
3
4
5
Nomor Soal Standar Deviasi
LOGO
UJI COBA SISTEM
Hasil Tingkat agreement dari hasil uji coba
LOGO
Kesimpulan Implementasi Algoritma cosine similarity dalam Sistem Esai Penilaian Otomatis Akurat Nilai similarity yang dihasilkan sistem dikonversi ke dalam nilai mahasiswa berdasarkan range yang sudah didefinisikan. Sistem Penilaian Otomatis yang dibangun telah berhasil diimplementasikan ke Moodle , aplikasi E-learning. Hasil uji coba menunjukkan kesesuaian nilai sistem dengan nilai human raters antara 78.57% - 96.99% dan rata-rata standar deviasi 5.19.
LOGO
Saran Penentuan bobot kata dapat dipertimbangkan dalam mengembangkan sistem penilaian yang lebih akurat sehingga dapat dihasilkan nilai yang mirip dengan nilai manual Pengembangan sistem yang dapat mengenali kata-kata antonim yang sebenarnya memiliki makna sama
LOGO
