BABI PENDAHULUAN 1.1
Latar Belakang Named entity recognition(NER) merupakan salah satu bagian domain
Information Extraction(IE) pada sistem Natural Language Processing(NLP). Sistem NER bertujuan untuk menyelesaikan identifikasi dan klasifikasi entitas secara kontekstual. Klasifikasi umum pada sistem NER meliputi: organisasi, person/orang, lokasi, tanggal, waktu, mata uang, persentase, fasilitas dan geo political entities(GPE)[1]. Salah satu contoh aplikasi NER dalam melakukan klasifikasi berdasarkan konteksnya ialah pada dua kalimat bahasa Indonesia berikut. “Gadjah Mada seorang patih dari kerajaan Majapahit” Pada kalimat pertama ini frase “Gadjah Mada” diklasifikasikan sebagai person/orang. “Gadjah Mada merupakan salah satu universitas tertua di Indonesia” pada kalimat kedua frase “Gadjah Mada” diklasifikasikan sebagai organisasi. Penelitian NER bahasa Indonesia yang ada saat ini telah mengadopsi pendekatan berbasis tradisional berupa rule-based maupun statistical method serta pendekatan machine learning(ML). Salah satu penelitian NER berbahasa Indonesia dengan konsep rule-based ialah penelitian yang dilakukan oleh Budi [2]. Pada penelitiannya ia mengembangkan system NER dengan konsep rulebased. Dari penelitian Budi didapatkan hasil yang lebih menonjol pada akurasi klasifikasi saja, bukan pada jumlah entitas yang ditemukan. Pendekatan machine-learning terutama pada model supervised learning ditemui pada penelitian yang dilakukan oleh Lutfi [3]. Penelitian yang dilakukan ialah membentuk mesin klasifikasi NER dengan menggunakan support vector machine (SVM) dan data berlabel dari DBPedia. Hasil klasifikasi NER yang dikembangkan menunjukkan nilai yang mendekati skor 90% untuk nilai recall dan precision.
1
Pengembangan sistem NER yang berbasis supervised learning cenderung memberikan hasil yang lebih baik, namun memiliki kendala harus memiliki data berlabel dalam jumlah yang ideal. Data berlabel yang dibutuhkan merupakan data yang memiliki tag atau label dan cenderung membutuhkan “cost” atau “effort” dalam mengumpulkannya karena harus mendapatkan bantuan dari expert. Dilain pihak data tanpa label sangat banyak sekali tersedia dan dapat dengan mudah dikumpulkan melalui internet dengan teknik web mining atau text mining[4], [5]. Data tanpa label dalam bahasa Indonesia dapat didapatkan secara mudah seperti melalui text mining atau data mining dari situs-situs berita nasional. Data tersebut dapat digunakan menjadi sebuah kumpulan data tanpa label. Permasalahan yang dihadapi ialah apabila sistem NER yang dikembangkan menggunakan konsep supervised learning yang mensyaratkan data training merupakan data yang berlabel maka data ini menjadi tidak bermakna, sedangkan jumlahnya ada sangat banyak. Pendekatan ML dengan model pembelajaran semi-supervised learning memungkinkan
penggunaan
data
tanpa
label
untuk
membantu
proses
pembelajaran. Pada tahun 1998 Blum dan Mitchell mengembangkan sebuah gagasan mengenai penggunaan unlabeled data untuk meningkatkan performa dalam sistem kalasifikasi mereka. Hasil klasifikasi menunjukkan hasil tingkat akurasi sebesar 95% untuk 788 halaman web yang menjadi uji coba[5]. Penelitian yang dilakukan oleh Gerrish dkk [6] mengenai pengujian kombinasi algoritme Bayesian dan K-Nearest Neighbor (KNN) dengan cotraining memberikan hasil peningkatan dibanding dengan menggunakan algoritme asli Bayesian atau KNN saja. Pierce dkk [7] melakukan penelitian yang berjudul “Limitations of Co-Training for natural Language Learning from Large Datasets”. Dalam penelitian tersebut terindikasi co-training merupakan salah satu metode yang effisien untuk pembelajaran “bracketing” dengan jumlah data berlabel yang sedikit. Memanfaatkan konsep pembelajaran semi-supervised learning, peneliti mencoba untuk memanfaatkan data tanpa label dengan menggunakan pendekatan
2
semi-supervised learning untuk meningkatkan kemampuan sistem NER bahasa Indonesia. Pembelajaran dilakukan dengan menggabungkan data berlabel yang diambil dari DBPedia Indonesia (dengan jumlah terbatas) dengan data tanpa label yang didapatkan dari artikel situs-situs berita nasional di Indonesia. Penelitian
ini
melakukan
improvisasi
dengan
mengkombinasikan
algoritme co-training dan algoritme klasifikasi SVM. Pemanfaatan data tanpa label dalam penelitian ini diharapkan dapat meninkatkan performa sistem NER bahasa Indonesia. Pengembangan sistem ini juga diharapkan dapat mengurangi cost atau effort dalam pengembangan sistem NER dengan memanfaatkan data tanpa label yang banyak tersedia. 1.2
Perumusan masalah Berdasarkan uraian latar belakang masalah dalam permasalahan Named
Entity Recognition, maka diperoleh permasalahan sebagai berikut. 1.
Banyak tersedianya data tanpa label berbahasa Indonesia yang berupa unstructured text dari situs-situs berita nasional di Indonesia.
2.
Belum adanya penelitian mengenai penyelesaian permasalahan NER berbahasa Indonesia dengan memanfaatkan data tanpa label dalam membantu proses klasifikasi entitas.
1.3
Keaslian penelitian Hingga saat ini belum banyak pengembangan sistem NER berbahasa
Indonesia dengan penyelesaian berbasis machine learning. Beberapa penelitian menunjukan bahwa penyelesaian sistem NER masih diselesaikan dengan metode rule-based dan basis data. Penelitian yang dilakukan oleh Budi [2] dalam sistem NER yang dibangun menggunakan association rules. Menurut Budi, sistem NER yang dikembangkan sesuai untuk penyelesaian klasifikasi yang mementingkan tingkat akurasi pada kualitas klasifikasi dibandingkan dengan quantity result. Pada tahun berikutnya Budi dkk [8] mengembangkan kembali sistem NER dengan pendekatan yang lebih baru yang dinamakan InNER (Indonesian Named
3
Entity Recognition). InNER menggunakan set aturan dalam menangkap konteks, morfologi dan part of speech yang diperlukan dalam klasifikasi entitas pada teks berbahasa Indonesia. Rules atau set aturan yang digunakan pada InNER sendiri dikembangkan dari knowledge yang dimiliki oleh expert. Hasil pengujian dari sistem InNER sendiri memiliki nilai 63,43% dan 71,84% untuk nilai “yield recall” dan “precision”. Menurut Budi dkk, hasil yang dicapai lebih tinggi dibandingkan dengan penelitian mereka sebelumnya terkait pengembangan NER dengan metode rule-based NER yang mereka kembangkan pada tahun 2003. Perkembangan penelitian klasifikasi NER hingga saat ini pada umumnya menggunakan SVM sebagai algoritme mesin klasifikasinya. Seperti penelitian yang dilakukan oleh Suwarningsih dkk [9] yang melakukan penelitian terhadap pengembangan sistem NER untuk kebutuhan medical named entity berbahasa Indonesia. Suwarningsih memiliki tujuan untuk mengembangkan sistem medical NER dengan sumber daya bahasa Indonesia yang tersedia. SVM digunakan sebagai mesin klasifikasi dalam penelitian ini. Hasil yang dicapai oleh sistem medical NER berbahasa Indonesia ini mencapai hampir 90% untuk nilai akurasinya. Luthfi dkk [3] pada tahun 2014 melakukan pengembangan sistem NER dengan menggunakan basis data Wikipedia dan DBPedia sebagai data training. Sistem NER yang mereka gunakan sendiri menggunakan Stanford-NER. Stanford NER merupakan sistem NER yang menggunakan Support Vector Machine(SVM) sebagai mesin klasifikasinya. Pada awal penelitiannya sistem NER yang dikembangkan ini berfokus pada tiga entitas yaitu person/orang, place/lokasi dan organization/organisasi. Hasil evaluasi sistem NER yang dikembangkan oleh Lutfi dkk memiliki tingkat persentase diatas 90% untuk nilai precision dan recall. Penyelesian permasalahan klasifikasi NER mulai mengadopsi konsep machine learning sebagai pendukung penyelesaian permasalahannya. Namun adanya keterbatasan data berlabel untuk proses pembelajaran mesin klasifikasi NER terutama pada model supervised learning menjadikan beberapa peneliti mencoba konsep pembelajaran semi-supervised learning pada mesin klasifikasi
4
NER. Penggunaan pembelajaran co-training sendiri diawali dengan riset mengenai text classification dengan algoritme tersebut. Penelitian email classification dengan algoritme co-training yang dilakukan oleh Kiritchenko dkk [10] mengemukakan pada gagasan awal bahwa terjadi kekurangan dalam data berlabel. Kekurangan data berlabel ini menjadi masalah utama yang dihadapi oleh mesin klasifikasi secara umum. Hal ini berkaitan pula dengan pengumpulan data berlabel yang sifatnya “costly” atau membutuhkan effort. Konsep pembelajaran semi-supervised learning memanfaatkan data tanpa label untuk meningkatkan performa data berlabel yang jumlahnya terbatas. Hasil percobaan klasifikasi email yang didapatkan sendiri bervariasi, tergantung dengan algoritme apa yang dugunakan untuk melakukan klasifikasi. Dalam kesimpulan penelitian disebutkan bahwa algoritme SVM memberikan performa lebih baik dibandingkan algoritme Bayesian dalam penelitian mereka dengan pendekatan semi-supervised. Pada tahun 2009 Liao dkk [11] melakukan sebuah penelitian aplikasi pembelajaran semi-supervised pada klasifikasi NER. Penelitian ini menggunakan metode klasifikasi conditional random fields (CRFs) yang digunakan untuk menginduksi data tanpa label, dengan memberikan label yang memiliki presisi tinggi ke kumpulan data tanpa label. Hasil pengujian memberikan peningkatan 12 poin pada nilai recall dan 4 poin pada nilai precission dibandingkan dengan pembelajaran supervised. Penggunaan pembelajaran semi-supervised dan SVM dikenalkan pula dalam penelitian yang dilakukan oleh Park Seong-Bae dkk [12]. Penelitian ini melakukan pendekatan untuk melakukan klasifikasi teks tidak terstruktur dalam skala besar. Pembelajaran co-training dan algoritme SVM digunakan untuk melakukan training data baik data berlabel dan data tanpa label. Hasil penelitian menunjukkan pembelajaran co-training memberikan peningkatan performa dari sistem klasifikasi dokumen yang mereka kembangkan baik untuk lexical dan syntactic information. Rangkuman penelitian pada bidang klasifikasi entitas atau NER ynag telah dilakukan oleh peneliti terdahulu ialah seperti pada Tabel 1.1.
5
1.4
Tujuan Penelitian Tujuan pengembangan sistem NER untuk bahasa Indonesia dengan
metode pembelajaran semi-supervised ini ialah sebagai berikut. a. Rancang bangun sistem NER bahasa Indonesia dengan pendekatan pembelajaran semi-supervised co-training, dengan memanfaatkan data tanpa label untuk meningkatkan performa sistem klasifikasi NER. b. Melakukan evaluasi unjuk kerja sistem NER yang dikembangkan dengan pendekatan pembelajaran semi-supervised co-training. 1.5
Manfaat Penelitian Penelitian pengembangan sistem NER untuk bahasa Indonesia dengan
pendekatan
metode
pembelajaran
semi-supervised
ini
diharapkan
dapat
meningkatkan performa sistem NER dengan keterbatasan data initial (data berlabel) dengan memanfaatkan data tanpa label yang berasal dari artikel situssitus berita nasional di Indonesia.
6
Table 1.1 Penelitian klasifikasi entitas yang telah ada Peneliti
Judul
Tahun Objek
Budi Indra
Association Rules Mining for Name Entity 2003 Recognition
I. Budi, S. Bressan, G. Wahyudi, Z. A. Hasibuan, dan B. A. A. Nazief
Named Entity Recognition for the 2005 Indonesian language: Combining contextual, morphological and part-ofspeech features into a knowledge engineering approach
Metode
Hasil
News Article
Association Rules
Baik untuk penyelesaian taks yang mengedepankan kualitas klasifikasi daripada kuantitas klasifikasi.
Indonesian Text
Rule based: Precision: 71,84% and recall: combining 63,43% contextual, morphological and part of speech tagging.
S. Wiwin, S. imNER Indonesian Medical Named Entity 2014 Iping, and P. Recognition Ayu
Medical Entities SVM
~ 90% accuracy
A. Luthfi, B. Building an Indonesian named entity 2014 Distiawan, recognizer using Wikipedia and DBPedia and R. Manurung
Text Classifcation
Precision: ~90% dan recall: ~90%
7
SVM
S. Email Classification with Co-Training Kiritchenko and S. Matwin
2001
Email Classification
Co-training: Algoritme klasifikasi dengan SVM dan SVM memberikan performa Bayesian lebih baik daripada Bayesian.
W. Liao and A simple semi-supervised algorithm for 2009 S. named entity recognition Veeramacha neni
Named Entities SSL Precision score naik 4 poin in News conditional dan recall score naik 12 poin. Document random fields (CRFs)
S. B. Park Co-trained support vector machines for 2004 and B. T. large scale unstructured document Zhang classification using unlabeled data and syntactic information
Text classification
8
Co-training - Peningkatan performa SVM klasifikasi pada lexical dan syntactic information.
