BAB 2
TINJAUAN PUSTAKA
2.1 Landasan Teori 2.1.1
Artificial Intelligence Menurut Winston (2002:2), AI adalah pembelajaran komputasi yang memungkinkan komputer dapat memahami, menjawab, dan beraksi. Dan menurut Russell dan Norvig (2010:1-5), dalam perkembangannya, Artificial Intelligence memiliki 4 kelompok definisi sebagai berikut :
2.1.1.1 Acting Humanly Pada tahun 1950, Alan Turing merancang “The Turing Test” untuk menyediakan definisi kecerdasan yang berjalan lancar. Komputer berhasil melalui uji coba apabila manusia penguji tidak mengetahui tulisan respon dibuat oleh manusia atau komputer. Kini, komputer yang digunakan untuk melalui uji coba diharuskan memiliki kemampuan sebagai berikut : a.) Natural Language Processing Kemampuan untuk dapat berkomunikasi dengan Bahasa Inggris. b.) Knowledge Representation Kemampuan untuk menyimpan hal yang diketahui atau didengar. c.) Automated Reasoning Kemampuan
untuk
menyimpan
informasi
untuk
menjawab
pertanyaan dan mengambil kesimpulan. d.) Machine Learning Kemampuan untuk beradaptasi dengan kondisi baru dan untuk mendeteksi dan mengekstrapolasi pola. e.) Computer Vision Kemampuan untuk mengenali objek. f.) Robotics Kemampuan untuk memanipulasi objek dan bergerak.
7
8 2.1.1.2 Thinking Humanly Untuk dapat membangun program yang berpikir seperti manusia, dibutuhkan metode untuk menentukan bagaimana manusia berpikir. Terdapat 3 metode untuk menentukan bagaimana manusia berpikir : a.) Introspeksi Mencoba mensimulasikan pikiran manusia dalam melakukan sesuatu. b.) Eksperimen Psikologi Mengamati perilaku manusia. c.) Pencitraan otak Mengamati kegiatan dalam otak. Ketika berhasil memahami bagaimana manusia berpikir, maka program komputer dapat dibuat berpikir seperti manusia. 2.1.1.3 Thinking Rationally Seorang filsafat Yunani, Aristoteles adalah manusia pertama yang mencoba untuk merancang cara berpikir yang benar. Silogisme yang dibuat oleh Aristoteles memunculkan studi yang dinamakan logika. Pada tahun 1965, program komputer berhasil diciptakan untuk menyelesaikan masalah yang dideskripsikan dengan notasi logika, apabila tidak menghasilkan solusi, maka program tersebut akan mengulangi proses komputasi selamanya. 2.1.1.4 Acting Rationally Program komputer dibuat untuk melakukan sesuatu, dan agen komputer diharapkan untuk melakukan lebih dari yang dilakukan program komputer, seperti beroperasi secara mandiri, melihat lingkungan, bertahan dalam jangka waktu yang panjang, beradaptasi, membuat dan mengejar tujuan. Agen yang rational bertindak untuk meraih hasil terbaik di dalam kondisi yang tidak tentu sekalipun.
9 2.1.2 Natural Language Processing Menurut Pustejovsky dan Stubbs (2013:4), Natural Language Processing (NLP) merupakan salah satu bidang ilmu komputer yang berkembang dengan mengkombinasikan studi bahasa dan komputasi linguistik dengan studi Artificial Intelligence.Pengembangan NLP bertujuan untuk merancang dan membangun aplikasi yang dapat memfasilitasi interaksi manusia dengan mesin melalui natural language. Penerapan NLP meliputi : 2.1.2.1 Question Answering System (QAS) Question Answering System adalah contoh penerapan NLP yang digunakan untuk menjawab pertanyaan yang diajukan manusia dengan bahasa sehari-hari (natural language). Contoh penerapan QAS adalah aplikasi SIRI yang dapat digunakan pada produk Apple Inc., iPhone. 2.1.2.2 Summarization Summarization adalah contoh penerapan NLP yang berkemampuan untuk mengolah sekumpulan dokumen atau email, dan menciptakan rangkuman yang koheren dengan kontennya. 2.1.2.3 Machine Translation Machine Translation merupakan cabang ilmu NLP yang pertama kali diteliti. Contoh program Machine Translation yaitu Google Translate, yang digunakan untuk menerjemahkan berbagai bahasa ke bahasa lainnya. 2.1.2.4 Speech Recognition Speech Recognition merupakan penerapan NLP yang paling rumit. Hingga kini, Speech Recognition terus dikembangkan dan dapat digunakan pada ponsel atau komputer untuk mengenali bahasa yang diucapkan baik berupa pertanyaan, dan perintah. 2.1.2.5 Document Classification Document Classification merupakan cabang ilmu NLP yang paling sukses. Document Classification bertujuan kategori suatu dokumen.
untuk mengidentifikasi
Contoh penerapannya seperti penyaringan
spam, klasifikasi artikel, ulasan film, dan lain sebagainya.
10 2.1.3 Automated Essay Scoring Automated Essay Scoring (AES) merupakan salah satu cabang dari bidang document classification. AES merupakan teknologi yang sedang berkembang, yang digunakan untuk menilai esai secara otomatis. Akurasi dan keandalan sistem AES juga telah terbukti tinggi. Sampai saat ini, peningkatan mutu mesin penilai esai masih berlanjut dan berbagai studi dilangsungkan untuk meningkatkan tingkat efektifitas sistem AES karena AES berguna untuk mengatasi masalah waktu, biaya, dan generalisasi isu pada esai (Dikli, 2006:1). Hingga saat ini, terdapat empat tipe AES, yang secara luas digunakan oleh perusahaan pengujian, universitas, dan sekolah-sekolah umum, diantaranya adalah Project Essay Grader (PEG) yang merupakan sistem pertama yang diciptakan untuk menilai esai, Intelligent Essay Assessor (IEA) yang merupakan sistem penilai esai yang menggunakan metode Latent Semantic Analysis, E-rater yang digunakan Educational Testing Service untuk menilai esai pada Graduate Management Admissions Test, dan IntelliMetric, AES yang dikembangkan oleh Vantage Learning dan digunakan oleh College Board.
2.1.4 Latent Semantic Analysis Latent Semantic Analysis (LSA) merupakan metode yang menggunakan model statistik matematis yang digunakan untuk menganalisa struktur semantik suatu teks. LSA digunakan untuk menilai esai dengan mengkonversi esai menjadi matriks-matriks yang diberi nilai pada masingmasing term untuk dicari kesamaan dengan term referensi (Wild, Stahl, Stermsek, dan Neumann, 2005). Langkah-langkah LSA dalam menilai esai adalah sebagai berikut : 2.1.4.1
Text Preprocessing
2.1.4.1.1 Stopwords Removal Pada stopwords removal, kata yang tergolong kata depan, kata penghubung, dan sejenisnya dihilangkan dari kalimat. Contoh modifikasi hasil proses stopwords removal :
11 a
Membuang kata “am, is, are, and, in, etc.” dan singkatan.
b
Mengubah kata yang diawali dengan huruf besar menjadi huruf kecil.
Contoh : “Latent Semantic Analysis (henceforth LSA) is a linguistic theory and method. It has been used in natural language processing to determine semantic relationships in large bodies of corpora.” Menjadi : “latent semantic analysis linguistic theory method used natural language processing determine semantic relationships large bodies corpora” 2.1.4.1.2 Stemming Langkah berikutnya adalah stemming, pada proses ini kata akan direduksi menjadi kata dasar. Berikut contoh hasil stemming dari teks yang telah melalui stopword removal : Contoh : “latent semantic analysis linguistic theory method used natural language processing determine semantic relationships large bodies corpora” Menjadi : “latent semantic analysis linguistic theory method use nature language process determine relationship large body corpo” 2.1.4.1.3 Term Document Matrix Setelah dirubah menjadi kata dasar, kemudian sistem matriks dibuat dengan menempatkan kata hasil proses stemming (term) ke dalam baris. Matriks ini disebut term-document matrix. Setiap baris mewakili sebuah kata yang unik, dan setiap kolom mewakili konteks dari mana kata-kata tersebut diambil. Konteks yang
12 dimaksud bisa berupa kalimat, paragraf, atau seluruh bagian. Berikut contoh term-document matrix: Tabel 2.1 Contoh Term-document Matrix
:
Document 1
Document 2
Document 3
Document n
Term 1
1
2
0
N
Term 2
1
0
3
N
Term 3
1
1
0
N
Term 4
1
0
0
N
Term 5
0
0
4
N
Term 6
1
1
0
N
Term 7
1
0
0
N
Term 8
0
2
1
N
Term 9
1
1
0
N
Term n
n
n
n
N
Pada Tabel 2.1. baris pertama mewakili stemmed term (term 1, term 2, dst), dan bagian kolom mewakili konteks, yaitu teks. Nilainilai yang ada pada Tabel 2.1 menunjukkan berapa kali suatu term muncul dalam sebuah dokumen. contohnya, term 1 muncul 1 kali pada dokumen 1, dan muncul 2 kali pada dokumen 2, tapi tidak muncul pada dokumen 3, dan seterusnya.
2.1.4.2 Singular Value Decomposition Singular Value Decomposition (SVD) merupakan teorema aljabar linear yang mengatakan bahwa persegi panjang matriks A dapat dipecah menjadi tiga matriks, yaitu : a.) Matriks orthogonal U b.) Diagonal matriks S c.) Transpose dari matriks V orthogonal. Yang dirumuskan dengan :
13
Amn
=
matriks awal
Umm
=
matriks orthogonal U
Smn
=
diagonal matriks S
VTnn
=
transpose matriks V orthogonal
Hasil dari proses SVD adalah vektor yang akan digunakan untuk menghitung similaritasnya dengan cosine similarity.
2.1.5
Cosine Similarity
Menurut Aji, Baizal, dan Firdaus (2011:2), Cosine Similarity digunakan untuk menghitung nilai kosinus sudut antar vektor dokumen dengan vektor query, semakin kecil sudut yang dihasilkan, maka tingkat kemiripan esai semakin tinggi. Vektor merupakan besaran yang memiliki nilai dan arah. Cosine Similarity dirumuskan sebagai berikut:
Keterangan : A
= vektor dokumen
B
= vektor query •B
= perkalian dot vektor A dan vektor B
|A|
= panjang vektor A
| |
= panjang vektor B
| ||B|
= cross product antara |A| dan |B|
α
= sudut yang terbentuk antar vektor A dan B
Dari hasil cosine similarity¸ akan didapatkan nilai yang akan dibandingkan dengan penilaian manusia untuk diuji selisih nilainya.
14 2.1.6 Algoritma Menurut Cormen, Leiserson, Rivest, dan Stein (2009:6), algoritma adalah prosedur komputasi yang terdefinisi dengan baik yang menggunakan suatu data atau sekumpulan data sebagai input, dan menghasilkan data atau sekumpulan data sebagai output. Secara sederhana, algoritma adalah urutan langkah komputasi yang mentransformasikan input menjadi output. Algoritma digunakan sebagai alat untuk menyelesaikan masalah komputasi. Masalah komputasi didefinisikan input dan output yang diinginkan. Tugas algoritma adalah mendeskripsikan prosedur komputasi yang spesifik untuk mencapai input dan output yang ingin dicapai pada suatu permasalahan komputasi.
2.1.7 Structured Programming Menurut McCalla (1985:15), pada tahun 1985, ilmuwan komputer telah mengembangkan teknik yang dinamakan structured programming, yang dapat menghasilkan program komputer yang lebih mudah dibaca, di-debug, dan ditulis. Structured programming juga mudah untuk didokumentasikan karena
tiap
modul fungsional
dapat
dideskripsikan
dengan
baik.
Berdasarkan prinsip structured programming, prosedur dapat diprogram dengan menggunakan satu atau lebih dari 3 tipe struktur logika. Struktur logika hanya memiliki 1 entry point dan 1 exit point, karakteristik tersebut yang menyebabkan structured programming menghasilkan program komputer yang lebih mudah ditulis dan dibaca. Struktur logika tersebut dibagi menjadi 3 struktur, yaitu: a.) Struktur Sequence Struktur Sequence menunjukkan instruksi komputer dalam urutan topdown atau berurutan. Struktur Sequence digambarkan sebagai berikut :
15
Gambar 2.1 Struktur Sequence b.) Struktur Selection Struktur Selection memerika kondisi, jika kondisinya benar, maka instruksi yang dijalankan adalah cabang keputusan yang kondisinya benar, namun jika kondisinya salah, maka yang dijalankan adalah cabang keputusan lainnya, yang kondisinya tidak benar. Struktur Selection digambarkan sebagai berikut :
16
Gambar 2.2 Struktur Selection
c.) Struktur Iteration Struktur Iteration atau Repetition memeriksa suatu kondisi, jika kondisinya salah atau belum terpenuhi, maka instruksi akan terus dijalankan hingga kondisinya benar atau sudah terpenuhi. Namun jika kondisinya benar atau sudah terpenuhi, maka program akan keluar dari struktur. Struktur Iteration digambarkan sebagai berikut :
17
Gambar 2.3 Struktur Iteration 2.1.7 Bahasa Inggris Bahasa Inggris adalah bahasa yang paling banyak digunakan di dunia (sebagai bahasa pertama atau kedua dunia) yang digunakan sebagai bahasa nasional oleh beberapa negara, seperti United States, sebagian besar Kanada, British Isles, Australia, dan New Zealand. Dalam beberapa tahun, Bahasa Inggris merupakan bahasa resmi negara kolonial seperti Britain, mencakup India, Nigeria, Ghana, Kenya, dan negara anglophone di Afrika. Bahasa Inggris memiliki dialek yang berbeda-beda di tiap negara (Fromkin, Rodman, dan Hyams, 2014:284).
2.1.8 N-gram Menurut Russell dan Norvig (2010), n-gram didefinisikan sebagai urutan panjang simbol yang tertulis dengan sebutan unigram untuk 1-gram, bigram untuk 2-gram, trigram untuk 3-gram, dan seterusnya. Pemodelan n-gram adalah pemodelan yang memetakan distribusi probabilitas dari urutan huruf-n. Pemodelan N-gram didefinisikan sebagai urutan rantai Markov. Contoh n-gram : a.) Unigram : “best”, “great”, “friend”
18 b.) Bigram : “best friend”, “great friend”
2.1.9 Python Python adalah bahasa pemrograman berorientasi objek yang sering kali diinterpretasikan sebagai scripting language. Pada mulanya, Python didesain oleh Guido van Rossum di Stichting Mathematisch Centrum di Netherlands pada awal tahun 1990. Selanjutnya Python dikembangkan oleh Python Software Foundation. Python biasa digunakan untuk aplikasi sistem administrasi, dan tugas komputer lainnya yang berskala relatif kecil. Python bersifat open-source dan tersedia di platform umum komputer (Sebesta, 2010: 119). Pada penelitian ini juga digunakan library NLTK untuk mendukung proses pada suatu NLP. Berikut contoh code untuk mencetak deret fibonacci pada Python : >>> def fib(n): >>>
a, b = 0, 1
>>>
while a < n:
>>>
print(a, end=' ')
>>>
a, b = b, a+b
>>>
print()
>>> fib(1000)
2.1.10 PHP PHP Hypertext Processor (PHP) adalah scripting language di sisi server yang didesain khusus untuk web. PHP dapat ditanamkan dengan halaman HyperText Markup Language (HTML) yang akan dieksekusi pada saat halaman tersebut dikunjungi. PHP merupakan software yang bersifat opensource, yang berarti kita dapat menggunakan, mengganti, dan berbagi tentang source code PHP tanpa biaya (Welling dan Thomson, 2001:3). Berikut adalah contoh code PHP untuk mengkoneksikan PHP dengan MySQL :
19 die('Could not connect: ' . mysql_error()); } echo 'Connected successfully'; mysql_close($link); ?>
2.1.11 MySQL MySQL adalah sistem database relasional. MySQL lebih cepat, lebih dapat diandalkan, dan lebih murah dibandingkan sistem database lain (termasuk sistem komersil seperti Oracle dan DB2). MySQL menggunakan bahasa database, yakni Structured Query Language (SQL). SQL adalah bahasa terstandarisasi untuk melakukan query dan memperbaharui data dan untuk administrasi database (Kofler, 2005:5-6). Berikut adalah contoh query MySQL : SELECT * FROM daftar_dosen WHERE nama_dosen LIKE '%i' OR alamat LIKE 'm%';
Query tersebut digunakan untuk mencari kolom nama dosen yang diakhiri dengan huruf í’ atau kolom alamat yang diawali dengan huruf ‘m’.
2.1.12 jQuery jQuery adalah library yang kuat dan kompleks yang dirilis pertama kali pada bulan Agustus 2006. jQuery merupakan pendukung JavaScript yang lebih memudahkan para developer dalam membangun suatu web (Franklin, 2013:1). Berikut adalah contoh code jQuery yang berfungsi untuk menghilangkan teks ketika teks diklik oleh user : <script> $(document).ready(function(){ $("p").click(function(){ $(this).hide(); }); });
20 2.1.13 State Transition Diagram Menurut O’Brien dan Marakas (2006), State Transition Diagram merupakan diagram yang bertujuan untuk menggambarkan perpindahan state, dari suatu kondisi ke kondisi lainnya. State Transition Diagram dinotasikan sebagai berikut : 2.1.13.1 State Pada State Transition Diagram, terdapat 2 jenis state, yaitu : a.) Initial State Initial state adalah state/keadaan awal suatu proses pada sistem. Sebuah sistem hanya diperbolehkan memiliki 1 initial state. b.) Final State
Final state adalah state/keadaan akhir suatu proses pada sistem. Sebuah sistem diperbolehkan memiliki lebih dari 1 final state. Notasi state dapat dilihat pada Gambar 2.4.
Gambar 2.4 Notasi State (Sumber : O’Brien dan Marakas, 2006) 2.1.13.2
Perpindahan State Perpindahan state dinotasikan dengan panah. Perpindahan state ditandai dengan adanya kondisi dan aksi yang menghubungkan suatu state dengan state yang lain. Notasi perpindahan state dapat dilihat pada Gambar 2.5.
Gambar 2.5 Notasi Perpindahan State (Sumber : O’Brien dan Marakas, 2006)
21 2.2
Penelitian Terkait Penilai esai otomatis sudah banyak diteliti sejak tahun 1966, mulai dari Page, Landauer, dan peneliti lain yang meneliti bidang penilai esai otomatis. Dari penelitian tersebut, didapat peningkatan kualitas sistem penilai esai otomatis, dari yang semula hanya menilai esai dari jumlah kata, tanda baca, hingga sistem penilai esai otomatis yang menilai tentang hubungan antar kata secara semantik. Berikut adalah beberapa penelitian penilai esai otomatis yang telah dilakukan para peneliti :
2.2.1
Project Essay Grading Pada tahun 1966, atas permintaan College Board, Ellis Page mengembangkan sistem komputer untuk mengolah penilaian esai dalam skala besar yang dapat berjalan lebih praktis dan efektif. PEG menggunakan pengukuran proxes untuk memprediksi kualitas intrinsik suatu esai (trins). Proxes lebih merujuk pada gaya penulisan seperti total kata rata-rata, panjang esai, jumlah titik koma atau koma, dan lain-lain. PEG memiliki beberapa keunggulan, yaitu nilai prediksinya dapat dibandingkan dengan penilaian manusia, dan komputasinya dapat dilacak untuk mencari kesalahan penulisan. Namun, karena PEG hanya menilai gaya penulisan, maka sangat memungkinkan para pembuat esai membuat esai dengan gaya standar penulisan yang akan mendapat nilai tinggi (Dikli, 2006). Dikli (2006) juga menambahkan bahwa dalam sistem PEG, terdapat 2 tahapan, yaitu training dan scoring. Jumlah esai yang diperlukan PEG dalam tahapan training sebanyak 100-400 esai. Pada tahapan training, variabel proxes ditentukan untuk tiap esai dan tiap variabel memasuki ke persamaan prediksi. Pada akhir proses, nilai esai diberikan dengan koefisien bobot awal komputasi yang didapat dari tahapan training. Penghitungan trins pada esai yang belum dinilai dapat diprediksikan dengan persamaan regresi standar. Akurasi yang dihasilkan oleh PEG sebesar 0,87 dibandingkan dengan penilaian manusia.
22 2.2.2
Intelligent Essay Assessor Intelligent Essay Assessor (IEA) adalah salah satu penilai esai otomatis yang dikembangkan oleh Pearson Knowledge Analysis Technologies yang menganalisa dan menilai esai menggunakan metode analisa teks semantik yang dinamakan Latent Semantic Analysis (LSA). IEA berfokus pada keterkaitan konten dibandingkan organisasi bahasa pada konten. IEA menggunakan 3 sumber untuk menganalisa esai, yaitu esai murid yang belum dinilai, esai ekspertis, dan perbandingan internal esai yang belum dinilai. Pertama, IEA membandingkan kemiripan konten antara esai mahasiswa dan esai lain dengan topik yang sama yang dinilai oleh manusia agar dapat ditentukan jarak kemiripan konten antar esai. Berikutnya, IEA akan memprediksi nilai esai dengan menambahkan “gaya penulisan statistik korpus” dan mekanik (Dikli, 2006:8-9). Menurut Valenti, Neri, dan Cucchiarelli (2003:3), IEA sangat tepat untuk menganalisa dan menilai esai ekspositori dengan topik seperti ilmu alam, studi sosial, sejarah, medis atau bisnis. Dalam uji coba yang dilakukan, IEA berhasil meraih kemiripan dengan nilai manusia sebesar 85 % - 91 %.
2.2.3 E-Rater E-Rater dikembangkan oleh Burstein dan rekan-rekannya menggunakan MsNLP
untuk
melakukan
parsing
kalimat
pada
esai.
E-Rater
menggunakan kombinasi statistik dan teknik NLP untuk mengekstrak fitur lingual dari esai untuk dinilai. Esai yang dievaluasi diukur dengan esai yang dinilai manusia. E-Rater memiliki fitur untuk menganalisa struktur wacana, struktur sintaktis, dan penggunaan kata. Kini, E-Rater dibenamkan pada Criterion. Criterion merupakan sistem AES versi realtime berbasis web yang dikembangkan oleh ETS Technologies. E-Rater merupakan AES yang kompleks dan membutuhkan banyak training dibandingkan AES lainnya. Pada uji coba yang dilakukan, dengan menguji lebih dari 750000 esai GMAT yang telah dinilai, diperoleh kemiripan sebesar 87 % - 94 % (Valenti, Neri, dan Cucchiarelli, 2003:3).
23 2.2.4
Generalized Latent Semantic Analysis Berdasarkan penelitian yang dilakukan oleh Islam dan Hoque (2012), GLSA membuat n-gram berdasarkan dokumen matriks, bukan dengan kata dengan dokumen matriks dari LSA. Sebuah n-gram adalah bagian item n dari urutan tertentu. Item bisa fonem, suku kata, huruf, kata atau pasangan dasar sesuai dengan aplikasi. Sebuah n-gram ukuran 1 disebut sebagai "unigram", ukuran 2 adalah "bigram" (atau, kurang umum, sebuah "digram"), ukuran 3 adalah "trigram", dan ukuran 4 atau lebih hanya disebut "n-gram" Menurut GLSA, vektor bigram untuk "carbon dioxide " adalah kata atomik, berbeda dengan kata "carbon" dan "dioxide". Dari contoh tersebut menunjukkan GLSA memperhatikan urutan kata. Arsitektur sistem secara keseluruhan telah dipartisi menjadi dua bagian utama: training essay set generation dan evaluasi esai hasil training.
2.2.4.1
Training Essay Set Generation
Gambar 2.6 Training Essay Set Generation (Sumber : Islam dan Hoque, 2012:619)
Gambar 2.6 menunjukkan gambaran proses yang dilakukan dengan metode GLSA. Langkah-langkah yang digunakan untuk membangun suatu GLSA, di antaranya : a.) Preprocessing the training essays
24 Preprocessing dilakukan dalam tiga langkah: penghapusan stopword, stemming kata-kata ke kata dasar dan memilih term indeks n-gram. 1. Penghapusan stopword Pada langkah penghapusan stopword, kata yang paling sering dihapus adalah "a", "an", "the", "on", dll. 2. Word stemming Setelah menghapus stopword, dilakukan stemming untuk mengubah kata-kata ke kata dasar. Menggunakan algoritma stemming M.F. Porter. 3. Memilih term indeks n-gram Term indeks n-gram dipilih untuk membuat n-gram dengan dokumen matriks. Materi kuliah dan jumlah esai yang belum dinilai yang memadai ini dipilih untuk membuat term indeks. Script Jawaban yang belum dinilai kemudian digunakan sebagai training set esai. N-gram yang muncul di lebih dari satu esai pelatihan dipilih sebagai term indeks.
b.) Perhitungan SVD SVD pada GLSA dihitung dari n-gram dengan dokumen matriks. SVD bertujuan untuk mengurangi dimensi. Tujuan dari pengurangan dimensi adalah untuk mengurangi noise agar terlihat rincian penting dalam data sehingga struktur semantik yang mendasar dapat digunakan untuk membandingkan isi esai. Operasi
pengurangan
dimensi
dapat
dilakukan
dengan
menghapus satu atau lebih nilai singular terkecil dari singular matriks S dan juga akan dihapus jumlah yang sama kolom dan baris masing-masing dari U dan V. 2.2.4.2
Evaluasi Esai Hasil Training Setelah hasil training diperoleh, query matriks dapat terbentuk dengan membuat n-gram by document matrix, dan query vektor dapat diperoleh dari esai, query vektor dirumuskan dengan :
25
= transpose query matriks = perpotongan matriks orthogonal kiri = perpotongan matriks singular SVD
Kemudian dilakukan perhitungan cosine similarity sebagai berikut :
=
bobot query vektor
=
bobot vektor esai training
Nilai similaritas terbesar antara query vektor dengan vektor esai training digunakan untuk menilai esai. Dari penelitian ini, didapatkan hasil akurasi nilai GLSA dengan nilai manusia sebesar 0,89 – 0,95.
2.2.5 Conceptual Rater Conceptual Rater (C-Rater) merupakan prototipe AES yang berbasis NLP yang berfokus menilai jawaban singkat terkait pertanyaan berbasis konten. CRater mengadaptasi beberapa alat pemrosesan natural language dan teknik yang dikembangkan untuk E-Rater. C-Rater dan E-Rater memiliki perbedaan tujuan penilaian. E-Rater menilai kemampuan menulis esai dibandingkan spesifikasi konten, sementara C-Rater menilai respon tergolong benar atau tidak. Penilaian respon dapat dilakukan dengan mengevaluasi keterkaitan kandungan informasi dengan konsep area yang spesifik. C-Rater tidak membutuhkan kumpulan esai yang besar untuk proses training.
Tingkat
akurasi C-Rater sebesar 80% dengan penilaian instuktur (Valenti, Neri, dan Cucchiarelli, 2003:3).
Berdasarkan penelitian - penelitian terkait yang telah dipaparkan, dapat diambil kesimpulan :
26
Tabel 2.2 Penelitian Terkait Judul
Tujuan
Metode
Hasil
Automated
Membantu
Menggunakan
PEG
Essay
manusia
Grading
menilai
(Dikli, 2006)
yang disebabkan untuk
terhadap
banyaknya
namun
yang
Akurasi berhasil 0,87
untuk prinsip Trin dan mendekati Trin penilaian manusia
esai Proxes.
esai mengkomputasi
dinilai hasil
variabel PEG
dapat membuat intrinsik, manusia
Proxes
esai, karena hanya
dan menitikberatkan untuk pada
kesulitan dalam menghitung
gaya
penulisan, seperti
mempertahankan hasil dari non- banyaknya konsistensi
variabel
penilaian esai.
intrinsik. lebih
jumlah
titik,
PEG membuat banyak pihak
menitikberatkan menyalahgunakan pada
gaya PEG
dan
penulisan
mengakali
dibanding
dengan membuat
konten.
esai yang pasti mendapat
PEG
nilai
tinggi ketika diuji dengan sistem.
27
Judul An of
Tujuan
Overview Menguji Automated metode
Scoring
Metode
Hasil
Akurasi
Memberikan
Pearson
0,85 – 0,91
LSA prediksi skala mengklaim
of untuk menilai nilai
Essays
hubungan
(Dikli, 2006)
semantik pada dan konten esai.
yang IEA
hanya
tengah dinilai, membutuhkan dengan 100 data set
metode IEA
LSA, untuk dinilai melakukan
layak
training, lebih
digunakan
sedikit
dalam penilai dibanding esai
otomatis penilai
esai
karena tingkat otomatisnya. korelasinya
Hal
tersebut
mendekati
dipercaya
penilaian dari disebabkan manusia.
karena
IEA
dapat memprediksi skala
nilai
pada suatu esai secara otomatis
28 Judul
Tujuan
Metode
Hasil
Akurasi
An Overview
Menguji
Menggunakan
Metode
0,87 – 0,94
of Current
penilaian
NLP
Research on
berdasarkan
mengidentifikasi ini
Automated
pengukuran
fitur
untuk besutan
fakultas dengan menilai
(Valenti,
koleksi
Neri,
and kompleksitas
dinilai
penilaian cukup berhasil
Essay Grading pemilihan kata,
ETS
sampel Graduate
dan menyimpan Management
Cucchiarelli,
leksikal,
dengan bobot ke Admission
2003)
proporsi
dalam database.
Test (GMAT)
kesalahan tata
Analytical
bahasa,
Writing
proporsi
Assessment
kesalahan
(AWA)
penggunaan
memberikan
bahasa,
penilaian yang
lain-lain.
dan
dan
memiliki korelasi yang baik
dengan
human raters
29 Judul
Tujuan
Metode
Hasil
Automated
Menguji
Menggunakan
Hasil penilaian 0,89 – 0,95.
Essay Scoring penilaian esai n-gram
Akurasi
untuk dengan GLSA
with
berdasarkan
membuat
memberikan
Generalized
kombinasi
dokumen
korelasi
nilai
Latent
LSA
serta dengan
nilai
Semantic
memperhatikan mereduksi
manusia yang
Analysis
urutan kata.
SVD
sangat
menggunakan
yaitu 0,89 –
truncated
0,95.
(Islam
and
Hoque, 2012)
dengan matriks,
SVD,
serta
memperhatikan urutan dalam penelitian.
kata
baik
30 Judul
Metode
Hasil
An overview of Menjawab
Menggunakan
C-Rater tidak 0,80
Current
teknik Natural memerlukan
Research
Tujuan
jawaban on singkat
Automated
berkaitan
Essay Grading
dengan
yang Language Processing
Akurasi
banyak
data
training, Rater
Chanya
(Valenti, Neri, pertanyaan
membutuhkan
and
berbasis
jawaban kunci
Cucchiarelli,
konteks
yang
2003:5)
disediakan instruktur.
