ISSN: 1693-6930
167
SISTEM PENILAIAN OTOMATIS JAWABAN ESSAY MENGGUNAKAN ONTOLOGI PADA MOODLE Andi Besse Firdausiah, Daniel Oranova S., Umi Laili Yuhana, Toshihiro Kita Jurusan Teknik Informatika, Institut Teknologi Sepuluh Nopember Surabaya, Jl.Raya ITS, Kampus ITS, Sukolilo, Surabaya, Telp 031- 5939214, Fax 031- 5913804 e-mail:
[email protected] Abstract This paper proposes a combination technique that called hybrid algorithm to be applied into automated scoring for essay e-learning system. This algorithm consists of two main processes: synonym comparison based on WordNet-based semantic similarity measurement and scoring process based on ontology structure. The process for searching a synonym will produce some outputs on different levels. This difference will stimulate a difference calculation of score due to every level reflects to a different similarity of degree. The matching process from input with key answer will generate an accurate matching process. In addition it also added with investigation of ontology class relationship. A different relationship will cause a different score. The last step is integrating this hybrid algorithm and ontology concept into Moodle e-learning system. The evaluation process will evaluate whether the hybrid algorithm can run very well inside ontology system that has been built. Besides that, it is expected that the integration process of hybrid algorithm into Moodle system can support the performance of Moodle elearning system from essay auto grading perspective. Keywords: e-learning system, hybrid algorithm, Moodle, ontology, WordNet
Abstrak Paper ini akan mengemukakan suatu teknik gabungan yang disebut algoritma hybrid pada penilaian essay di sistem e-learning. Proses didalamnya adalah: pencarian sinonim berdasarkan pengukuran similaritas semantik berbasis WordNet dan pemberian skor pada kemiripan objek pada data ontologi. Proses pencarian sinonim pada WordNet akan menghasilkan beberapa output sinonim yang berada pada level berbeda. Perbedaan level ini akan menstimulasikan hasil penghitungan yang berbeda karena level tersebut mencerminkan tingkat kemiripan dari suatu sinonim. Proses pencocokan kata inputan dengan kunci jawaban akan menghasilkan suatu proses pencocokan yang lebih akurat. Hasil dari proses penelusuran akan menghasilkan skor kemiripan dari masing-masing kata, yang nantinya akan digunakan untuk inputan penghitungan skor antara kalimat. Bagian akhir dari paper ini adaalah proses pengintegrasian algoritma dan konsep ontologi ini ke dalam sistem e-learning Moodle guna melihat hasil penerapan pada sistem yang nyata. Proses evaluasi pada paper ini akan dilakukan untuk melihat apakah algoritma hybrid dapat berjalan dengan baik pada sistem ontologi yang dibangun. Selain itu hasil yang diharapkan adalah dapat berintegrasinya algoritma hybrid sistem Moodle, sehingga dapat menunjang kinerja sistem e-learning Moodle dari sisi proses otomatisasi penilaian pertanyaan essay. Kata kunci: algorithm hybrid, Moodle, ontologi, sistem e-learning, WordNet
1. PENDAHULUAN Sistem Penilaian dan koreksi otomatis pada jawaban essay telah menjadi fokus utama untuk bahan penelitian sejak dulu sampai sekarang. Proses evaluasi terhadap suatu penulisan telah dimulai sejak tahun 1966 [1]. Seiring dengan munculnya teknologi–teknologi LMS (learning management system) seperti Moodle dan Dukeos [2-3], maka konsep untuk mengevaluasi sangat penting untuk dikaji lebih lanjut. Selain perkembangan sistem e-learning, teknologi web juga menjadi tumpuan untuk mendukung proses evaluasi otomatis pada sistem
Sistem Penilaian Otomatis Jawaban Essay Menggunakan ……(Andi Besse Firdausiahi)
168
ISSN: 1693-6930
e-learning. Saat ini teknologi web yang banyak menjadi sorotan adalah bahasa semantik yang banyak digunakan pada sistem web terbaru. Semantik web dengan pendekatan bahasa ontologi [4-6] memberikan prospek yang cerah dalam menyelesaikan permasalahan yang dihadapi pada proses pengkoreksian jawaban essay. Proses pemberian nilai otomatis pada jawaban essay akan sangat membantu banyak pihak seperti guru atau pengajar, dan staff pendidikan [3]. Essay merupakan point penting yang mampu mengatur dan menyatukan ide. Selain itu juga mampu menginterpretasikan data dan aplikasi dari suatu data, namun kesulitan terbesar dari proses evaluasi dan penilaian essay adalah bagaimana bisa mengerti subjektivitas dari masing masing essay [7-10]. Tanveer [11] menambahkan bahwa sistem penilaian pada jawaban essay harus memegang prinsip konsistensi, konsumsi waktu dan biaya yang kecil, suatu teknik untuk melakukan pengecekan kemiripan pada web semantik dengan menggunakan web search engines dan sistem ekstraksi pola-pola sintaktis (lexico-syntactic patterns) berdasarkan perhitungan kemiripan dari semantik dari potongan-potongan kata yang didapatkan dari suatu mesin pencari (search engine).
2. METODOLOGI PENELITIAN Bagian ini akan membahas secara detail tentang bagaimana metodologi untuk membentuk struktur ontologi, melakukan proses pencocokan dan pemetaan serta bagaimana mengintegrasikan pada sistem e-learning Moodle. 2.1. Desain dan Arsitektur Sistem Proses evaluasi essay pada dasarnya dibagi ke dalam 3 bagian utama yaitu: (1) Proses yang berkaitan dengan penyiapan data ontologi (preliminary process) (2) Process inti yang berhubungan dengan proses pengecekan jawaban dan skoring. (3) Proses integrasi pada sistem e-learning Moodle
Gambar 1. Desain arsitektur sistem Di dalam membentuk suatu data ke dalam bentuk format ontologi, maka harus disiapkan data yang akan dimasukan ke dalam basis data sesuai dengan format ontologi yang digunakan. Proses ini bertujuan untuk memudahkan proses query data yang nantinya juga akan membantu pada proses selanjutnya. Algoritma hybrid yang digunakan disini adalah proses pemisahan attribute data yang ditulis oleh mahasiswa ke dalam beberapa bagian kemudian melakukan perbandingan dengan data ontologi yang sudah ada di dalam pangkalan data (database). Setelah itu, baru dilanjutkan proses integrasi pada sistem e-learning yang telah ada. Sebagai studi kasus pada paper ini adalah system e-learning dengan menggunakan Moodle. Mahasiswa akan memasukkan jawaban essay ke dalam sistem Moodle, kemudian dengan menggunakan algoritma hybrid, jawaban dari mahasiswa akan diproses. Penjelasan lebih detailnya dapat dilihat pada diagram desain sistem di Gambar 1.
TELKOMNIKA Vol. 6, No. 3, Desember 2008: 167 - 172
TELKOMNIKA
ISSN: 1693-6930
169
Algoritma hybrid yang diusulkan pada paper ini terdiri dari 3 fungsi utama yaitu: (1) Pencarian sinonim pada WordNet berdasarkan WordNet-based semantic similarity measurement [11]. (2) Pemberian skor pada kemiripan objek pada data ontologi Semua proses fungsi utama ini dibuat berdasarkan standard sintaks XML dan OWL agar bisa menghasilkan semantik web yang efisien dan dinamis. 2.2. Proses Match and mapping dengan hybrid algorithm Didalam melakukan proses pencocokan dan pemetaan jawaban essay dari mahasiswa dengan kunci jawaban essay dari dosen, kami menambahkan beberapa sub proses untuk menambahkan presisi dari proses tersebut. Sub proses pertama adalah pencarian sinonim. Kami mengadopsi sistem thesaurus dengan menyediakan database untuk beberapa sinonim sehingga dapat mencakup jawaban essay dari mahasiswa secara luas. Proses penelusuran sinonim juga penting untuk menjaga subjektivitas dari pengkoreksian jawaban. Proses pencocokan disini adalah mencocokkan jawaban dari user dengan berbagai sinonim dari suatu kata yang ada dikunci jawaban. Proses pemberian skor pada sinonim ini berdasarkan pada database WordNet.
Gambar 2. Diagram use case sistem penilaian otomatis
Input untuk database jawaban dilakukan oleh administrator atau dosen , yang kemudian akan dimasukkan ke dalam database ontology kunci jawaban. Ketika ada input dari Mahasiswa, maka sistem akan melakukan parsing dan pengklasifikasian jawaban essay ke dalam format OWL, serta memasukkan datanya ke dalam database ontologi jawaban Mahasiswa. Setelah itu akan dilakukan proses pencarian sinonim pada WordNet, dan memberikan skor terhadap kemiripan dari masing-masing sinonim. Setelah itu akan dilakukan proses penelusuran terhadap relasi yang ada pada masing-masing objek dimodel ontologi yang telah dibuat. Setelah itu dilakukan penghitungan untuk menilai skor akhir dari suatu jawaban essay. Prosesproses yang terjadi di dalam system dan interaksinya dapat dilihat pada diagram use case pada Gambar 2. 3. HASIL DAN PEMBAHASAN Hasil uji coba yang telah dilakukan melalui dua jenis program yang berjalan pada background layer dan presentation layer. 3.1. Program Background Layer Program background layer disini berfungsi sebagai pemrosesan parsing (tokenization), word stemming dan word disambugity serta pembuatan struktur ontology jawaban.
Sistem Penilaian Otomatis Jawaban Essay Menggunakan ……(Andi Besse Firdausiahi)
170
ISSN: 1693-6930
3.1.1. Proses Parsing dan POS-Tagging Parsing berfungsi untuk memecah kalimat menjadi beberapa kata sehingga setiap kata bisa diteliti kebenarannya berdasarkan English Grammar yang standard. Ada beberapa kategori kata yang dibuat sebagai standard dalam kalimat bahasa inggris (English Sentence) yaitu: noun, verb, adverb dan adjective.
Gambar 3. Contoh Kalimat input yang diproses (parsing)
Setelah proses pemecahan kalimat menjadi beberapa suku kata, maka proses selanjutnya adalah proses pengecekan setiap kata apakah susah sesuai dengan standard English Word ataukah tidak. Proses pengecekan ini melibatkan WordNet library. Setiap kata yang telah diparsing akan dimasukkan ke dalam tabel di MYSQL database berdasarkan jenis katanya (dapat dilihat pada Gambar 3 dan 4 untuk penjelasan secara detail).
Gambar 4. Contoh kata-kata yang telah selesai di-parsing dan dimasukkan ke dalam database MYSQL Proses parsing, dan pengecekan kata menggunakan library dari WordNet disebut POSTagging. Di dalam penelitian ini proses POS-tagging berdasarkan pada Brill tagger C# library yang juga bisa berkomunikasi dengan database WordNet untuk proses pencarian sinonim dan relasi dari suatu kata.
WnLexicon.WordInfo wordInfo = WnLexicon.Lexicon.FindWordInfo(words[i], true); if (wordInfo.partOfSpeech != Wnlib.PartsOfSpeech.Unknown) {if (wordInfo.text != string.Empty) words[i] = wordInfo.text; Wnlib.PartsOfSpeech[] posEnum = (Wnlib.PartsOfSpeech[])Enum.GetValues(typeof(Wnlib.PartsOfSpeech));
TELKOMNIKA Vol. 6, No. 3, Desember 2008: 167 - 172
TELKOMNIKA
ISSN: 1693-6930
Gambar 5. Struktur umum ontology jawaban
171
Gambar 6. Struktur OWL Ontology Jawaban
3.1.2. Proses Pembuatan Ontology Untuk membangun suatu ontologi, pada penelitian ini digunakan OWL sebagai dasar dari ontologi jawaban. OWL terdiri dari individuals, properti, dan classes. Individual merepsentasikan objek dalam suatu domain yang diinginkan. Contoh struktur ontologi yang umum dapat dilihat pada Gambar 5. Sedangkan struktur ontologi yang berdasarkan kepada OWL dapat dilihat pada Gambar 6 yang merupakan output dari project protégé. 3.2. Program Presentation Layer Program presentation Layer yang ada di penelitian ini dimaksudkan sebagai tampilan dari web presentation yang berhubungan dengan MODDLE SYSTEM. Sistem Moodle adalah system untuk e-learning yang sudah stabil. Tujuan akhir dari penelitian ini adalah mengintegrasikan system penilaian essay otomatis utnuk melengkapi fitur pada sistem Moodle. Gambar 7 menunjukkan tampilan halam utama dari Moodle, sedangkan Gambar 8 hasil perhitungan dari sistem penilaian otomatis.
Gambar 7. Halaman utama Moodle Sistem Penilaian Otomatis Jawaban Essay Menggunakan ……(Andi Besse Firdausiahi)
172
ISSN: 1693-6930
Gambar 8. Hasil Proses perhitungan otomatis 4. SIMPULAN Sistem penilaian otomatis ini sudah dapat melakukan perhitungan kemiripan suatu kalimat berdasarkan kedekatan masing-masing katanya di dalam struktur database WordNet. Selain itu jawaban akan dilihat hubungannya lagi berdasarkan pada struktur ontology yang ada pada jawaban di ontologi dengan di ontologi yang dimasukkan oleh user. Proses pengintegrasian tahap pertama pada Moodle telah dapat dilakukan dengan menambahkan link pada Moodle untuk menampilkan proses hasil dari program Background Layer ke dalam halaman web. Hasil akhir yang didapatkan dengan menghitung rata-rata skor dari kemiripan kata pada WordNet dengan struktur ontologi-nya.
DAFTAR PUSTAKA [1]. Valenti, S., F. Neri, and A. Cucchiarelli, “An overview of current research on automated essay grading”, Journal of Information Technology Education, volume 2, 2003. [2]. Moodle, “Moodle packages for Windows: Moodle 1.7.6+”, http://download.Moodle.org/download.php/windows/MoodleWindowsInstaller-latest-17.zip. [3]. John Palmer, Robert Williams and Heinz Dreher, “Automated Essay Grading System Applied to a First Year University Subject – How Can We do it Better?”, Curtin University of Technology, Perth, WA, Australia, 2002. [4]. Yuhan, U.L., “Ontology Building”, white paper, 2007. [5]. Mutiara, B.A., “Ontology: Bahasa dan Tools Protege”, white paper, http://paperwgdbis.abmutiara.info/tutorial/Bahasa_tool_ontology.pdf, 2007. [6]. Davies J., et.al., “Towards the Semantik Web: Ontologi-driven Knowledge Management”, Wiley Interscience, 2003. [7]. Bollegala, D., Matsuo, Y. and Ishizuka, M., “Measuring Semantik Similarity between Words Using Web Search Engine, Semantic Web: similarity and axtraction”, Banff, Alberta, Canada, 2007. [8]. Naveen, B., “The future of the Web is Semantik”, IBM DeveloperWorks, 2005. [9]. Tim Berners-Lee, “What the Semantic Web can Represent”, 1998. [10]. Dao, T. N. dan Simpson T., “Measuring Similarity between sentences”, http://wordnetdotnet.googlecode.com/svn/trunk/Projects/Thanh/Paper/WordNetDotNet_S emantic_Similarity.pdf, 2006. [11]. Tanveer S.M. , et.al., “Matching And Mapping For Semantik Web Processes”, Book Chapter of Semantic Web Services, Processes and Applications, Springer US, Chapter 9, 2006.
TELKOMNIKA Vol. 6, No. 3, Desember 2008: 167 - 172
