PENILAIAN UJIAN BERTIPE URAIAN (ESSAY) MENGGUNAKAN METODE KEMIRIPAN TEKS (TEXT SIMILARITY) SKRIPSI

perpustakaan.uns.ac.id

digilib.uns.ac.id

PENILAIAN UJIAN BERTIPE URAIAN (ESSAY) MENGGUNAKAN METODE KEMIRIPAN TEKS (TEXT SIMILARITY)

SKRIPSI

Disusun Oleh :

ADAM ASSHIDIQ M0509001

JURUSAN INFORMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SEBELAS MARET 2014

commit to user

i


digilib.uns.ac.id


Oleh :

ADAM ASSHIDIQ M0509001

SKRIPSI Ditulis dan diajukan untuk memenuhi sebagian persyaratan memperoleh gelar Sarjana Informatika

JURUSAN INFORMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SEBELAS MARET 2014 to user commit

ii


digilib.uns.ac.id

commit to user

iii


digilib.uns.ac.id

commit to user

iv


digilib.uns.ac.id MOTTO

“Bacalah dengan nama Tuhanmu yang menciptakan. Dia telah menciptakan manusia dari segunmpal darah. Bacalah, dan Tuhanmulah Yang Maha Pemurah. Yang mengajar dengan Qalam. Dialah yang mengajar manusia segala yang belum diketahui” (Q.S Al-„Alaq 1-5)

“Harga Kebaikan manusia adalah diukur menurut apa yang telah dilaksanakan / diperbuatnya” (Ali Bin Abi Thalib)

“Apabila Anda berbuat kebaikan kepada orang lain, maka Anda telah berbuat kebaikan terhadap diri sendiri” (Benyamin Franklin)

“If you do nothing, you get Nothing. But if you do something, you will get everything” (Adam Asshidiq)

commit to user

v


digilib.uns.ac.id PERSEMBAHAN

Aku persembahkan Skripsi ini untuk : 1. 2. 3. 4.

Abah, Mamah, dan adikku tercinta Jurusan Informatika UNS Sahabat-sahabatku di bumi Cirebon Teman-teman seperjuangan angkatan 2009

commit to user

vi


digilib.uns.ac.id KATA PENGANTAR

Puji dan Syukur Penulis sampaikan kehadirat Allah SWT yang senantiasa memberikan rahmat, nikmat, serta hidayah-Nya sehingga Penulis dapat menyelesaikan skripsi ini dengan baik. Shalawat serta salam semoga selalu terlimpah bagi baginda Rasul, Nabi Muhammad SAW, para sahabat, dan umatnya hingga akhir zaman. Skripsi ini berjudul “Penilaian Ujian Bertipe Uraian (Essay) Menggunakan Metode Kemiripan Teks (Text Similarity)”. Skripsi ini disusun sebagai salah satu syarat dalam meraih gelar Sarjana Informatika di Universitas Sebelas Maret (UNS) Surakarta. Penulis juga mengucapkan terima kasih kepada semua pihak yang membantu memberikan bantuan, masukkan, dukungan, serta motivasi kepada Penulis selama proses penyusunan skripsi ini. Terkhusus, Penulis sampaikan rasa terima kasih Penulis kepada : 1. Ibu Umi Salamah, M.Kom, selaku ketua Jurusan Informatika UNS. 2. Bapak Didiek Sri Wiyono, S.T., M.T., selaku Pembimbing Akademik yang selalu membantu dan memotivasi Penulis selama masa perkuliahan di Informatika UNS. 3. Bapak Ristu Saptono, S.Si, M.T., selaku dosen pembimbing I dan Bapak Meiyanto Eko Sulistyo S.T., M.Eng., selaku dosen pembimbing II yang penuh kesabaran membimbing, mengarahkan, dan memotivasi Penulis untuk menyelesaikan skripsi. 4. Bapak dan Ibu Dosen serta Karyawan Jurusan Informatika FMIPA UNS yang telah mengajari Penulis berbagai macam hal selama masa perkuliahan di Informatika UNS. 5. Keluarga tercinta, Abah, Mamah, dan Liza, yang telah memberikan dorongan motivasi serta mendoakan Penulis agar dapat menyelesaikan studi di Universitas Sebelas Maret. 6. Teman-teman seperjuangan, khususnya angkatan 2009, yang selalu setia menemani dengan dukungan dan semangatnya. 7. Sahabat-sahabat saya di bumi Cirebon yang selalu mendukung Penulis secara moril. Penulis pun berharap semoga skripsi ini dapat bermanfaat bagi semua pihak yang berkepentingan. commit to user

Surakarta, Januari 2014 Penulis

vii


digilib.uns.ac.id

ASSESSMENT ESSAY EXAM USING TEXT SIMILARITY METHOD

ADAM ASSHIDIQ Informatics Departement, Mathematics and Science Faculty, Sebelas Maret University.

ABSTRACT Exam is one way to measure the performance of students in the learning process. Type of test that is often tested on each student's learning activities are the type of test description (essay). This study focuses on the manufacture of automatic assessment to test extensions of type descriptions using text similarity. This method has several stages such as text mining, text preprocessing with stemming process using Nazief – Adriani algorithms, text transforming, then judgment tf - idf method, and cosine similarity. The results of this study is the final value assessment system uses text similarity does not differ significantly from the results of expert assessment. It is proved by testing using paired T test with degrees of freedom ( α ) of 5 % , where the value ttable > thitung ( 2.045 > 0.3755 ) as well as the significance value > degrees of freedom ( 0.71 > 0.05). However, there are several different types of questions that the result is significant because there is a unique character which is recorded in the database as well as the answers to the key does not contain the appropriate keywords to the relevance of the correct answer.

Keywords : essay test, automatic assessment, text similarity, keywords.

commit to user

viii


digilib.uns.ac.id


ADAM ASSHIDIQ Jurusan Informatika, Fakultas MIPA, Universitas Sebelas Maret Surakarta.

ABSTRAKSI Ujian adalah salah satu cara untuk mengukur performa siswa dalam proses belajar. Jenis ujian yang sering diujikan pada setiap kegiatan belajar siswa adalah tipe ujian uraian (essay). Penelitian ini berfokus pada pembuatan ekstensi penilaian otomatis untuk ujian bertipe uraian dengan menggunakan metode text similarity. Metode ini mempunyai beberapa tahapan seperti text mining, text preprocessing dengan proses stemming menggunakan algoritma Nazief-Adriani, text transforming, lalu penilaiannya menggunakan metode tf-idf, serta cosine similarity. Hasil penelitian ini adalah nilai akhir hasil penilaian menggunakan sistem text similarity tidak berbeda signifikan dengan hasil penilaian dari pakar. Hal ini dibuktikan dengan pengujian menggunakan uji T berpasangan dengan derajat kebebasan (α) sebesar 5%, dimana nilai ttabel > thitung (2.045 > 0.3755) serta nilai signifikansi > derajat kebebasan (0.71 > 0.05). Namun, terdapat beberapa tipe soal yang hasilnya berbeda signifikan dikarenakan terdapat karakter unik yang terekam di dalam database serta jawaban pada kunci tidak mengandung keywords yang sesuai dengan relevansi jawaban yang benar.

Kata Kunci : ujian essay, penilaian otomatis, text similarity, keywords.

commit to user

ix


digilib.uns.ac.id DAFTAR ISI

HALAMAN JUDUL ................................................................................................................ i HALAMAN PERSETUJUAN................................................................................................ iii HALAMAN PENGESAHAN ................................................................................................ iv HALAMAN MOTTO .............................................................................................................. v HALAMAN PERSEMBAHAN ............................................................................................. vi KATA PENGANTAR ........................................................................................................... vii ABSTRACT .......................................................................................................................... viii ABSTRAKSI .......................................................................................................................... ix DAFTAR ISI............................................................................................................................ x DAFTAR TABEL ................................................................................................................. xiii DAFTAR GAMBAR ............................................................................................................ xiv BAB I. PENDAHULUAN ....................................................................................................... 1 1.1. Latar Belakang ........................................................................................................... 1 1.2. Rumusan Masalah ...................................................................................................... 2 1.3. Batasan Masalah ........................................................................................................ 2 1.4. Tujuan Penelitian ....................................................................................................... 3 1.5. Manfaat Penelitian ..................................................................................................... 3 1.6. Sistematika Penulisan ................................................................................................ 3 BAB II. TINJAUAN PUSTAKA ............................................................................................ 5 2.1. Dasar Teori ................................................................................................................ 5 2.1.1. Kuis Online .................................................................................................... 5 2.1.2. Learning Management System (LMS) ............................................................ 5 2.1.3. Moodle ........................................................................................................... 6 2.1.4. Text Mining .................................................................................................... 7 commit to user 2.1.4.1. Text Preprocessing............................................................................ 7 x


digilib.uns.ac.id

2.1.4.2. Text Transforming ............................................................................. 7 2.1.4.3. Pattern Discovery ............................................................................. 8 2.1.5. Term Frequency (tf) – Inverse Document Frequency (idf) ............................ 8 2.1.6. Vector Space Model ..................................................................................... 10 2.1.7. Matching Document ..................................................................................... 11 2.1.8. Metode Nazief-Andriani .............................................................................. 12 2.2. Penelitian Terkait ..................................................................................................... 20 2.3. Rencana Penelitian................................................................................................... 23 BAB III. METODOLOGI PENELITIAN ............................................................................. 24 3.1. Pengumpulan Data ................................................................................................... 24 3.2. Pemodelan Ujian Essay ........................................................................................... 24 3.3. Konstruksi Ujian Essay dengan Text Similarity ...................................................... 25 3.4. Modifikasi Moodle dengan Fitur Ujian Essay ......................................................... 25 3.5. Pengujian ................................................................................................................. 25 BAB IV. PEMBAHASAN..................................................................................................... 26 4.1. Pembuatan stemming menggunakan Algoritma Nazief-Andriani ........................... 26 4.2. Perancangan Sistem ................................................................................................. 27 4.3. Spesifikasi Perangkat Implementasi dan Pengujian ................................................ 27 4.4. Perhitungan metode Text Similarity......................................................................... 28 4.4.1. Text Preprocessing ........................................................................................ 28 4.4.2. Text Transforming ......................................................................................... 29 4.4.3. Pattern Discovery .......................................................................................... 31 4.5. Pengujian ................................................................................................................. 34 4.6. Hasil Pengujian ........................................................................................................ 35 BAB V. PENUTUP ............................................................................................................... 38 5.1. Kesimpulan .............................................................................................................. 38 5.2. Saran ........................................................................................................................ 39 DAFTAR PUSTAKA ............................................................................................................ 40 commit to user

xi


digilib.uns.ac.id

LAMPIRAN I ........................................................................................................................ 43 LAMPIRAN II ....................................................................................................................... 67 LAMPIRAN III...................................................................................................................... 72 LAMPIRAN IV ..................................................................................................................... 80

commit to user

xii


digilib.uns.ac.id DAFTAR TABEL

Tabel 2.1. Kombinasi Awalan-Akhiran yang tidak diizinkan.............................................. 13 Tabel 2.2. Pemenggalan Awalan Stemmer Nazief dan Andriani ......................................... 14 Tabel 2.3. Cara Menentukan Tipe Awalan Untuk awalan “te-” .......................................... 15 Tabel 2.4. Jenis Awalan Berdasarkan Tipe Awalannya ....................................................... 16 Tabel 2.5. Matriks Pembahasan Literatur ............................................................................ 23 Tabel 4.1. Dokumen hasil proses tokenizing ........................................................................ 29 Tabel 4.2. Dokumen sebelum proses filtering dan stemming .............................................. 30 Tabel 4.3. Dokumen setelah proses filtering dan stemming................................................. 30 Tabel 4.4. Perhitungan banyak frekuensi term dalam kunci jawban dan jawaban siswa .... 31 Tabel 4.5. Perhitungan bobot antar term .............................................................................. 32 Tabel 4.6. Perhitungan panjang vektor antar term ............................................................... 33 Tabel 4.7. Hasil Penilaian Sistem dan Penilaian Pakar terhadap beberapa siswa pada lima soal pertama ........................................................................................................ 34 Tabel 4.8. Hasil uji-T nilai akhir penilaian pakar dengan penilaian sistem ......................... 35 Tabel 4.9. Hasil uji-T penilaian pakar dengan penilaian sistem untuk setiap soal .............. 36

commit to user

xiii


digilib.uns.ac.id DAFTAR GAMBAR

Gambar 2.1. Ilustrasi Algoritma Pembobotan tf-idf ................................................................ 9 Gambar 2.2. Contoh

model

ruang

vektor

dengan

dua

dokumen

D1

dan

D2,

serta query Q (Mandala, 2006) ......................................................................... 11 Gambar 2.3. Matriks Representasi VSM (Mandala, 2006) ................................................... 11 Gambar 3.1. Diagram Metodologi Penelitian........................................................................ 24 Gambar 4.1. Alur Algoritma Nazief-Andriani (Ledi Agusta, 2009) ..................................... 26 Gambar 4.2. Alur Sistem Penilaian ....................................................................................... 27

commit to user

xiv

PENILAIAN UJIAN BERTIPE URAIAN (ESSAY) MENGGUNAKAN METODE KEMIRIPAN TEKS (TEXT SIMILARITY) SKRIPSI

Recommend Documents