EKSPANSI KUERI PADA SISTEM TEMU KEMBALI INFORMASI BERBAHASA INDONESIA MENGGUNAKAN KAMUS DWIBAHASA
NETTY LAORA SITOHANG
DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR BOGOR 2009
EKSPANSI KUERI PADA SISTEM TEMU KEMBALI INFORMASI BERBAHASA INDONESIA MENGGUNAKAN KAMUS DWIBAHASA
NETTY LAORA SITOHANG
Skripsi sebagai salah satu syarat untuk memperoleh gelar Sarjana Komputer pada Departemen Ilmu Komputer
DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR BOGOR 2009
ABSTRACT NETTY LAORA SITOHANG. Query Expansion on Indonesian Information Retrieval System using Bilingualism Dictionary. Under the supervision of JULIO ADISANTOSO. The most frequent problem on information retrieval is the users inability in representing information they need, in a query form. Thus, one of the solutions to overcome such situation is by applying query expansion technique. By applying the method, query will be expanded, and the new query produced will be used to do the search task. One of the approaches in determining the term of the expansion is Translation with Bilingualism Dictionary, which works through query translation process using dictionary, and the calculation of weight from each expanded candidate terms. In order to increase the relevance of the search result, this research uses Translation with Bilingualism Dictionary as the method to apply. Acknowledging the influence of the method, the research trial and error through the observation of the eleven recall precision number is applied to the produced retrieval result by using different expansion terms. Based on the observation of the produced precision number, it is identified that the use of Translation method in this research has not been successfull in increasing the relevance of the search results. The more expansion terms used, the smaller the precision number produced. Keywords: query expansion, query translation, information retrieval, bilingualism dictionary
Judul Nama NRP
: Ekspansi Kueri pada Sistem Temu Kembali Informasi Berbahasa Indonesia menggunakan Kamus Dwibahasa : Netty Laora Sitohang : G64052490
Menyetujui: Pembimbing
Ir. Julio Adisantoso, M. Komp. NIP 19620714 198601 1 002
Mengetahui: Ketua Departemen
Dr. Ir. Sri Nurdiyati, M. Sc NIP 19601126 198601 2 001
Tanggal Lulus:
PRAKATA
Puji dan syukur penulis panjatkan kepada Tuhan Yang Maha Esa yang telah memberikan rahmat dan karunia-Nya sehingga tugas akhir dengan judul Ekspansi Kueri Pada Sistem Temu Kembali Informasi menggunakan Kamus Dwibahasa dapat diselesaikan dengan baik. Selama menyelesaikan penelitian ini penulis mendapatkan banyak bantuan, dukungan dan semangat dari berbagai pihak. Untuk itu ucapan terima kasih penulis sampaikan kepada: 1 Ayah, Ibu, abang Nico, kakak Butet, dan adik Inri, atas segala doa, dukungan, dan semangat yang diberikan kepada penulis. 2 Bapak Ir. Julio Adisantoso, M. Komp. atas bimbingannya kepada penulis selama melakukan penelitian. 3 Bapak Ahmad Ridha, S. Kom, MS dan Bapak Sony Hartono Wijaya, M. Kom. selaku penguji, atas segala kritik dan saran yang telah diberikan. 4 Teman-teman satu bimbingan, Tara, Elen, Utis, Muthia, ka Edo, atas bantuan dan kebersamaannya selama melakukan penelitian. 5 Sutanto, Elenur, Annisa, dan Idaliana, atas dukungan dan bantuannya kepada penulis dalam menyelesaikan penelitian 6 Teman-teman Departemen Ilmu Komputer IPB angkatan 42 atas kebersamaan dan keceriaan yang boleh penulis rasakan. 7 Ka Christ, Andhica, dan Muthia atas kesediaanya menjadi pembahas pada pelaksanaan seminar hasil penelitian penulis. 8 Saudara-saudara kelompok kecilku, ka Juventy, Nita, Vera, Agustiani, Lenny, Nova, atas segala doa dan semangat yang diberikan kepada penulis. 9 Sahabat-sahabat terbaikku, Maria, Marie, Mery, Doris, dan Serasi untuk setiap doa dan dukungan yang telah diberikan kepada penulis. 10 Teman-teman Kompers PMK IPB dan FM BUD KUKAR atas kebersamaan dan dukungan yang diberikan selama penulis berada di IPB. 11 Teman-teman Wisma Melati, Dean, Irma, Isni, Leng-leng, Maul, Ncha, Noe, Reni, Rias, Rizka, Tina, Titis, Unee, untuk setiap keceriaan dan kebersamaan yang dapat penulis rasakan. Penulis juga mengucapkan terima kasih kepada semua pihak yang telah membantu penulis dalam menyelesaikan tugas akhir ini yang namanya tidak dapat disebutkan satu per satu. Semoga penelitian ini dapat bermanfaat, amin.
Bogor, Desember 2009
Netty Laora Sitohang
RIWAYAT HIDUP Penulis lahir di Tenggarong pada tanggal 21 Maret 1988 yang merupakan anak ketiga dari empat bersaudara dengan ayah bernama Bluster Sitohang dan Ibu bernama Lamsina Manurung. Pada tahun 2005 penulis lulus dari Sekolah Menengah Atas (SMA) Negeri 1 Tenggarong dan pada tahun yang sama diterima di Institut Pertanian Bogor melalui jalur Beasiswa Utusan Daerah (BUD). Pada tahun 2006 penulis diterima di Departemen Ilmu Komputer Fakultas Matematika dan Ilmu Pengetahuan Alam Institut Pertanian Bogor. Pada tahun 2008, penulis melakukan kegiatan Praktik Kerja Lapangan di Badan Koordinasi Survei dan Pemetaan Nasional selama dua bulan
DAFTAR ISI Halaman DAFTAR GAMBAR ........................................................................................................................ v DAFTAR TABEL ............................................................................................................................. v DAFTAR LAMPIRAN ..................................................................................................................... v PENDAHULUAN Latar Belakang.............................................................................................................................. 1 Tujuan ........................................................................................................................................... 1 Ruang Lingkup ............................................................................................................................. 1 TINJAUAN PUSTAKA Sistem Temu Kembali Informasi .................................................................................................. 1 Ekspansi Kueri.............................................................................................................................. 2 Penerjemahan Kueri ..................................................................................................................... 2 Evaluasi Temu Kembali Informasi ............................................................................................... 3 METODE PENELITIAN Koleksi dokumen pengujian ......................................................................................................... 3 Praproses ..................................................................................................................................... 3 Penerjemahan istilah .................................................................................................................... 3 Pemilihan istilah ekspansi ........................................................................................................... 4 Pengukuran kemiripan ................................................................................................................. 4 Evaluasi ....................................................................................................................................... 4 Perangkat keras dan perangkat lunak ........................................................................................... 4 HASIL DAN PEMBAHASAN Koleksi Dokumen Pengujian ....................................................................................................... 4 Pengolahan Dokumen .................................................................................................................. 5 Ekspansi Kueri ............................................................................................................................. 5 Evaluasi Sistem Temu Kembali Informasi .................................................................................. 5 Perbandingan Metode Ekspansi ................................................................................................... 8 KESIMPULAN DAN SARAN Kesimpulan .................................................................................................................................. 9 Saran ........................................................................................................................................... 10 DAFTAR PUSTAKA ...................................................................................................................... 10 LAMPIRAN ..................................................................................................................................... 11
DAFTAR GAMBAR Halaman Ilustrasi proses temu kembali informasi ...................................................................................... 2 Gambaran umum proses temu kembali dengan ekspansi kueri ................................................... 4 Grafik recall precision temu kembali .......................................................................................... 6 Grafik QE1 .................................................................................................................................. 6 Grafik QE2 .................................................................................................................................. 6 Grafik QE3 .................................................................................................................................. 6 Grafik perbandingan recall precision pada temu kembali dengan ekspansi kueri ....................... 7 Grafik perbandingan recall precision antara proses temu kembali dengan dan tanpa ekspansi kueri ............................................................................................................................................. 8 9 Perbandingan sistem temu kembali model peluang, model similarity thesaurus dan penerjemahan kueri ...................................................................................................................... 8 10 Ekspansi kueri dengan penambahan 5 istilah pada model peluang, model similarity thesaurus dan 1 istilah hasil penerjemahan kueri .......................................................................................... 8 11 Ekspansi kueri dengan penambahan10 istilah pada model peluang, model similarity thesaurus dan 2 istilah hasil penerjemahan kueri .......................................................................................... 9 1 2 3 4 5 6 7 8
DAFTAR TABEL
1 2 3 4
Halaman Ilustrasi perhitungan recall precision .......................................................................................... 3 Contoh istilah kueri dan hasil terjemahan yang berhasil meningkatkan precision ...................... 7 Contoh istilah kueri dan hasil terjemahan yang tidak berhasil meningkatkan precision .............. 7 Perbandingan nilai AVP .............................................................................................................. 7
DAFTAR LAMPIRAN
1 2 3 4 5
Halaman Contoh koleksi dokumen ............................................................................................................ 12 Daftar kueri dan jumlah dokumen relevan ................................................................................. 13 Daftar istilah kueri dan istilah hasil terjemahan .......................................................................... 14 Daftar kata buangan .................................................................................................................... 16 Tampilan sistem temu kembali ................................................................................................... 18
1
PENDAHULUAN
Latar Belakang Tujuan dari sistem temu kembali informasi adalah menemukan keberadaan dokumen yang dianggap relevan, yaitu dokumen yang memiliki topik yang berhubungan dengan kebutuhan informasi pengguna. Pengguna merepresentasikan kebutuhan akan informasi dalam bentuk kueri. Jumlah dokumen relevan yang ditemukembalikan dipengaruhi oleh jumlah kata kunci dalam kueri (Xu & Croft 2005, Paiki 2006). Salah satu masalah yang dihadapi adalah seringkali pengguna tidak mampu merepresentasikan kebutuhan informasi yang diinginkan ke dalam bentuk kueri. Masalah lain yang sering muncul adalah pilihan kata yang digunakan seringkali berbeda dengan pilihan kata yang digunakan penulis. Salah satu cara untuk mengatasi masalah tersebut adalah dengan menggunakan teknik ekspansi kueri. Dengan menggunakan teknik ini pengguna akan dibantu untuk menentukan istilah apa saja yang akan ditambahkan pada kueri awal yang diberikan. Kueri yang telah mengalami perluasan akan digunakan untuk melakukan pencarian selanjutnya. Dengan menggunakan teknik ini diharapkan dokumen yang diperoleh akan lebih banyak dan relevan. Paiki (2006) telah menggunakan metode similarity thesaurus pada model temu kembali vektor space model (VSM) dan dapat meningkatkan kinerja sistem temu kembali. Akan tetapi dalam penelitian tersebut tidak diperhatikan jumlah istilah yang akan digunakan untuk ekspansi kueri. Selanjutnya Adisantoso (1997) dan Rusidi (2008) melakukan ekspansi kueri dengan memilih istilah berdasarkan keeratan hubungan antara istilah pada kueri dan istilah lain. Keeratan hubungan berdasarkan kemunculan dua objek dapat diukur menggunakan konsep peluang. Peluang munculnya istilah ti akibat adanya istilah tj dalam suatu dokumen dinyatakan sebagai peluang bersyarat ti setelah tj atau P(ti|tj). Dalam penelitian tersebut berhasil diperoleh jumlah istilah yang lebih sedikit yang dianggap lebih baik dibandingkan dengan jumlah istilah kueri yang banyak. Padahal jumlah kueri yang terlalu sedikit juga kurang baik untuk menemukembalikan dokumen yang relevan.
Metode lain yang diharapkan bisa lebih meningkatkan kinerja sistem dalam mengekspansi kueri adalah dengan melakukan penerjemahan kueri menggunakan kamus dwibahasa. Dengan metode ini ekspansi dilakukan dengan menggunakan sejumlah sinonim dari istilah pada kueri. Sinonim diperoleh dari bahasa asing dengan mencari padanan istilah yang memiliki makna sama. Tujuan Penelitian ini bertujuan untuk menerapkan teknik ekspansi kueri untuk meningkatkan relevansi hasil pencarian pada sistem temu kembali informasi dengan menggunakan kamus. Ruang Lingkup Penerjemahan kueri ke dalam bahasa asing menggunakan kamus dwibahasa IndonesiaInggris dan Inggris-Indonesia.
TINJAUAN PUSTAKA
Sistem Temu Kembali Informasi Menurut Rijsbergen (1979) dalam Rusidi (2008), Information Retrieval System (IRS) tidak memberitahu pengguna masalah yang ditanyakan. Sistem tersebut hanya memberitahukan keberadaan dan keterangan dokumen yang berhubungan dengan permintaan pengguna. Kegiatan temu kembali informasi diawali dengan penyediaan koleksi dokumen yang akan digunakan. Dengan mengunakan operasi teks, dokumen diolah menjadi suatu berkas inverted index. Proses temu kembali dimulai dengan menggunakan database dokumen berupa inverted index. Untuk mengawali proses temu kembali, pengguna diminta merepresentasikan kebutuhan dalam bentuk kueri. Selanjutnya kueri akan diproses dengan menggunakan operasi yang serupa seperti pada koleksi dokumen. Kueri yang telah diproses digunakan untuk memperoleh dokumen hasil temu kembali. Sebelum diberikan kepada pengguna, dokumen yang akan ditemu kembalikan diurutkan berdasarkan jarak keterhubungan antara koleksi dokumen dengan kueri (Baeza-Yates & Ribeiro-Neto 1999). Ilustrasi rangkaian proses di dalam mesin temu kembali informasi dapat dilihat pada Gambar 1.
2
Ekspansi Kueri
Penerjemahan Kueri
Dalam relevance feedback pengguna memberikan input tambahan pada koleksi dokumen yang diberikan dengan memberi tanda pada dokumen yang dianggap relevan. Selanjutnya input ini digunakan untuk memperbaiki kueri yang telah diberikan pengguna. Sedangkan dalam ekspansi kueri pengguna memberikan input tambahan pada kueri awal berupa kata ataupun frase (Manning et al. 2008).
Terdapat empat metode untuk menerjemahkan kueri yaitu menggunakan mesin penerjemah, kamus dwibahasa, korpus pararel, dan penerjemahan transitif. Penerjemahan kueri dengan menggunakan mesin penerjemah atau juga dikenal dengan Statistical Machine Translation (SMT) dilakukan dengan dua cara, yaitu:
Gambar 1 Ilustrasi proses temu kembali informasi Terdapat tiga jenis ekspansi kueri yaitu Manual Query Expansion (MQE), Automatic Query Expansion (AQE), dan Interactive Query Expansion (IQE). Pertanyaan yang sering muncul adalah bagaimana pemilihan istilah dan berapa jumlah istilah yang digunakan untuk ekspansi kueri. Beberapa cara diantaranya memilih istilah dengan mengambil beberapa yang terbaik atau memasukkan seluruh istilah dokumen relevan (relevance feedback) (Aly . 2008). Metode pembobotan yang digunakan untuk memilih istilah ekspansi hasil terjemahan adalah dengan menggunakan idf yang diperoleh dengan persamaan (1),
idft = ……………………. (1)
dan selanjutnya dikoreksi dengan banyaknya dokumen dalam koleksi, menjadi :
idft = log ………………. (2)
Sedangkan idft adalah inverse document frequency untuk istilah t, N adalah jumlah dokumen di koleksi, dan dft adalah banyaknya dokumen yang mengandung istilah t.
1 Dengan menggunakan kalimat lengkap yang berisi sejumlah kata yang merupakan sinonim dari konteks kueri yang diinginkan 2 Dengan mengartikan term pada kueri ke dalam bahasa tertentu dan mencari padanan kata dalam bahasa tersebut, dan selanjutnya dilakukan penerjemahan kembali ke bahasa awal kueri (Riezler et al. 2007). Ide utama dari teknik SMT adalah mencari sinonim dari istilah tertentu dengan terlebih dahulu mencari padanan kata dari bahasa asing. Sehingga sinonim istilah dalam bahasa asli kueri diperoleh dari penerjemahan terhadap istilah bahasa asing yang memiliki makna yang serupa dengan istilah pada kueri. Bentuk dasar dari model SMT terdiri dari model translasi (translation model) dan model bahasa (language model). Persamaan dasar dari mesin penerjemah (machine translation) mendefinisikan bahwa sistem penerjemah ini bekerja dengan cara menemukan string e yang merupakan terjemahan dari string f, persamaannya adalah : ê arg max |
arg max Pf|ePe ………… (3)
Persamaan (3) memisahkan antara model bahasa P(e) dan model penerjemah P(f|e). Keuntungan dari penggunaan model penerjemahan yaitu adanya keterhubungan antara istilah pada dokumen dan istilah pada kueri dari pengguna. Model penerjemahan disini mengikutsertakan variabel dari bagian yang tidak terlihat (hidden alignment) yang sebenarnya memiliki peluang untuk diterjemahkan dan menjadi sumber untuk dijadikan kandidat istilah untuk ekspansi (Riezler et al. 2008). Penerjemahan kueri dengan menggunakan kamus dwibahasa dilakukan dengan menerjemahkan kata per kata dari kueri. Teknik pemilihan kata hasil terjemahan adalah berdasarkan pada analisa statistik. Jadi kata
3
dengan nilai bobot yang lebih tinggi akan terpilih sebagai istilah hasil terjemahan. Evaluasi Temu Kembali Informasi Recall dan precision mengukur kemampuan sistem dalam menemu kembalikan dokumen-dokumen yang relevan dan menahan dokumen-dokumen yang tidak relevan. Recall merupakan rasio jumlah dokumen relevan yang ditemu kembalikan terhadap jumlah seluruh dokumen relevan di dalam koleksi. Precision merupakan rasio jumlah dokumen relevan yang ditemu kembalikan terhadap jumlah seluruh dokumen yang ditemu kembalikan. Ilustrasi perhitungan nilai recall-precision dapat dilihat pada Tabel 1 (Manning et al. 2008). Tabel 1 Ilustrasi perhitungan recall precision Relevant
Nonrelevant
Retrieved
tp
fp
Not retrieved
fn
tn
Sehingga:
P
R
………………… (4) ………………… (5)
Pengukuran kinerja dengan mempertimbangkan aspek keterurutan atau ranking dapat dilakukan dengan melakukan interpolasi antara precision dan recall. Keuntungan penggunaan nilai rata-rata interpolated precision maupun non interpolated precision dalam evaluasi performansi adalah nilai dapat langsung mencerminkan performansi sistem temu kembali informasi. Nilai rata-rata interpolated precision dapat mencerminkan urutan dari dokumen-dokumen relevan pada perangkingan. Standar yang biasa digunakan adalah 11 standar tingkat recall, yaitu 0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.10. Misalkan rj, j = {0,1,2,….,10} adalah tingkat standar recall ke-j maka: Prj max rj ≤ r ≤ rj+1 Pr ……(6) Prinsip interpolasi ini adalah pada tiap standar tingkat recall diambil nilai precision maksimum di antara standar tingkat recall kej dan j+1 (Baeza-Yates & Ribeiro-Neto 1999).
METODE PENELITIAN
Penelitian dilakukan dalam lima tahap, yaitu: (1) Praproses, (2) Penerjemahan kueri, (3) Memilih istilah ekspansi, (4) Pengukuran kemiripan dan (5) Evaluasi. Gambaran umum proses temu kembali informasi dengan menggunakan ekspansi kueri dapat dilihat pada Gambar 2. Koleksi dokumen pengujian Dokumen yang digunakan untuk pengujian adalah sejumlah dokumen dalam bidang pertanian berbahasa Indonesia sebanyak 1000 dokumen. Dalam penelitian ini juga digunakan pasangan kueri-dokumen relevan. Dokumen pengujian dan pasangan kueridokumen relevan diambil dari koleksi yang ada di laboratorium temu kembali informasi Departemen Ilmu Komputer IPB. Praproses Tahap ini diawali dengan tahap tokenisasi (tokenizing), pembuangan kata buangan (stopwords), dan diakhiri dengan tahap pembobotan (weighting). Teknik yang akan digunakan sebagai pendekatan dalam menentukan bobot dalam penelitian ini adalah pendekatan tf-idf. Nilai dari tf-idf diperoleh dengan menggunakan persamaan (7) (Manning et al. 2008).
Wi,j tfi x idfi ………………………….. (7) Sedangkan wi,j adalah bobot istilah ti pada dokumen dj dan tfi adalah frekuensi kemunculan istilah ti pada dokumen dj. Penerjemahan istilah Penerjemahan istilah bertujuan untuk menemukan istilah lain yang memiliki makna yang serupa dengan istilah pada kueri. Kueri berupa istilah dalam Bahasa Indonesia terlebih dulu diterjemahkan ke dalam Bahasa Inggris, selanjutnya istilah dalam Bahasa Inggris diterjemahkan kembali ke dalam Bahasa Indonesia. Hasil dari proses ini adalah beberapa istilah baru dalam Bahasa Indonesia yang memiliki makna yang serupa dengan kueri istilah pada kueri awal. Proses penerjemahan dilakukan dengan menggunakan pasangan kamus IndonesiaInggris dan Inggris-Indonesia yang sudah tersedia di Laboratorium Temu Kembali Informasi.
4
Pemilihan istilah ekspansi Pemilihan istilah ekspansi dilakukan untuk menentukkan istilah hasil terjemahan yang akan digunakan untuk ekspansi. Pemilihan dilakukan berdasarkan nilai idf yang dimiliki oleh masing-masing istilah. Nilai idf yang telah diperoleh melalui tahap praproses, digunakan sebagai dasar untuk menentukan bobot istilah dari istilah hasil terjemahan. Nilai idf yang diperoleh oleh setiap istilah menunjukkan tingkat kepentingan dari sitilah tersebut, yaitu dengan menghitung banyaknya dokumen yang mengandung istilah tertentu. Nilai idf untuk setiap istilah dapat dihitung dengan menggunakan Persamaan 2.
sim(dj,dk) =
) .*
+) +,* ,
……………... (8)
Dengan dj adalah vektor dokumen dan dk sebagai vektor kueri. Hasil dari pengukuran kemiripan digunakan sebagai dasar untuk menentukan dokumen yang akan ditemukembalikan. Evaluasi Metode evaluasi yang digunakan recall dan precision. Untuk setiap setiap kueri yang digunakan telah ditentukan dokumen apa saja yang relevan. Dari setiap hasil temu kembali dilakukan penghitungan nilai precision untuk sebelas tingkat nilai recall. Hasil nilai precision untuk masing-masing kueri kemudian dirata-ratakan untuk mendapatkan nilai average precision (AVP). Untuk melihat pengaruh dari penggunaan teknik ekspansi kueri dilakukan dengan penentuan nilai recall precision terhadap empat jenis proses temukembali, yaitu: • • • •
QE0, yaitu proses temu kembali tanpa ekspansi kueri QE1, yaitu proses temu kembali dengan mengambil satu istilah teratas sebagai istilah ekspansi QE2, yaitu proses temu kembali dengan mengambil dua istilah teratas sebagai istilah ekspansi QE3, yaitu proses temu kembali dengan mengambil tiga istilah teratas sebagai istilah ekspansi.
Perangkat keras dan perangkat lunak Penelitian ini dilakukan dengan menggunakan perangkat keras dan perangkat lunak sebagai berikut: •
Gambar 2 Gambaran umum proses temu kembali dengan ekspansi kueri
•
Perangkat keras: Processor Intel Pentium Dual-Core, memori DDR RAM 384 MB dan harddisk 70 GB. Perangkat lunak: Microsoft Windows XP Service Pack 2, PHP 5.1.6, Apache 2.2.3, MySQL 5.0.24.
Pengukuran kemiripan Pengukuran kemiripan dilakukan untuk menentukan nilai kesamaan antara dokumen yang dihasilkan pada praproses dan kueri. Pengukuran kemiripan dilakukan dengan menggunakan kueri awal dan juga kueri perluasan. Pengukuran kemiripan dilakukan dengan menggunakan cosine similarity, seperti pada persamaan (8).
HASIL DAN PEMBAHASAN
Koleksi Dokumen Pengujian Koleksi dokumen yang digunakan untuk menguji sistem yang telah dibuat diambil dari korpus yang sudah tersedia di Laboratorium Temu Kembali Informasi Departemen Ilmu Komputer IPB. Koleksi terdiri dari 1000
5
dokumen dengan format teks (.txt) dengan struktur tag XML pada masing-masing dokumen. Contoh dokumen pengujian yang digunakan dapat dilihat di Lampiran 1. Tag yang digunakan dalam koleksi dokumen yang digunakan, yaitu: •
•
• • • •
<doc>, mewakili keseluruhan dokumen. Di dalamnya terdapat tag lain yang mendeskripsikan isi dokumen secara lebih jelas. <docno>, mewakili ID dokumen. ID yang dipakai merupakan kombinasi nama sumber berita, tanggal berita, dan urutan berita pada tanggal yang sama.
, mewakili judul dokumen.
, mewakili penulis dokumen.
, mewakili tanggal penulisan.
, mewakili isi dokumen.
Selain itu untuk mengevaluasi sistem yang dihasilkan dari penelitian ini digunakan pasangan kueri-dokumen relevan yang diambil dari Laboratorium Temu Kembali Informasi. Daftar kueri dan jumlah dokumen relevan dapat dilihat di Lampiran 2. Untuk memperoleh istilah sebagai perluasan dari kueri digunakan kamus Indonesia-Inggris dan Inggris-Indonesia yang sudah tersedia. Daftar istilah kueri dan istiah hasil terjemahan dapat dilihat di Lampiran 3.
untuk mempercepat sistem saat melakukan pemrosesan koleksi dokumen. Ekspansi Kueri Proses ekspansi kueri dengan metode penerjemahan dilakukan tanpa sepengetahuan pengguna (Automatic Query Expansion). Pada tampilan pengguna (user interface) diberikan dua pilihan untuk menjalankan sistem. Pencarian dengan menggunakan temu kembali klasik atau dengan menggunakan ekspansi kueri. Jika yang dipilih adalah dengan menggunakan ekspansi kueri maka dilakukan proses penerjemahan untuk memodifikasi kueri. Ekspansi kueri dilakukan dengan menerjemahkan setiap kueri dengan menggunakan kamus dwibahasa. Untuk setiap kueri yang masuk diproses sehingga dihasilkan token kueri, selanjutnya untuk setiap token kueri yang ada akan dicari padanannya dalam Bahasa Inggris. Selanjutnya kata dalam Bahasa Inggris diterjemahkan kembali ke dalam Bahasa Indonesia, sehingga diperoleh beberapa istilah baru yang digunakan sebagai istilah untuk ekspansi kueri. Proses penerjemahan menghasilkan sejumlah istilah baru dalam Bahasa Indonesia. Untuk menentukan istilah yang digunakan pada ekspansi kueri dilakukan pemilihan berdasarkan nilai idf dari masing-masing istilah hasil penerjemahan.
Pengolahan Dokumen
Evaluasi Sistem Temu Kembali Informasi
Tahap awal dari pemrosesan dokumen adalah tokenisasi. Pada tahapan ini diambil setiap kata unik dari masing-masing dokumen. Selanjutnya dalam tahapan ini juga dilakukan pembuangan sejumlah kata umum yang dianggap tidak berpotensi untuk digunakan sebagai penciri dokumen. Daftar kata buangan menggunakan hasil penelitian (Ridha 2002) seperti pada Lampiran 4. Hasil dari tahap tokenisasi berupa daftar kata unik beserta frekuensi kemunculan kata (tf) tersebut pada masing-masing dokumen. Selain itu juga diperoleh banyaknya dokumen yang mengandung kata unik penciri dokumen (df).
Proses evaluasi dilakukan setelah hasil temu kembali infomasi diperoleh. Perbandingan dilakukan antara hasil temu kembali tanpa menggunakan ekspansi kueri dan hasil temu kembali dengan menggunkan ekspansi kueri. Untuk evaluasi digunakan nilai recall dan precision dari hasil pengujian terhadap 30 pasangan kueri dan dokumen relevan.
Teknik pembobotan (weighting) yang digunakan adalah pembobotan tf.idf. Dengan menggunkan nilai (tf) dan (df) pada tahapan sebelumnya diperoleh bobot setiap kata unik. Hasil dari tahap pengindeksan disampan dalam file teks tersendiri, hal ini bertujuan
Awal dari tahap pengujian adalah melakukan kegiatan temu kembali dengan menggunakan metode klasik. Kegiatan temu kembali dilakukan terhadap 30 kueri yang sudah disediakan. Selanjutnya untuk masingmasing hasil temu kembali dari setiap kueri dihitung nilai recall dan precision. Gambar 3 menunjukkan hasil dari interpolasi dengan menggunakan nilai rata-rata terhadap nilai recall dan precision pada hasil temu kembali tanpa menggunakan ekspansi kueri.
6
Proses selanjutnya adalah pengujian dengan menggunakan ekspansi kueri. Istilah yang digunakan untuk memperluas kueri diperoleh dengan metode penerjemahan. Jadi untuk setiap kueri Bahasa Indonesia dicari padanan katanya dalam Bahasa Inggris, dan selanjutnya istilah dalam Bahasa Inggris ditrjemahkan kembali ke dalam Bahasa Indonesia. Sehingga akhirnya diperoleh beberapa istilah baru yang akan digunakan untuk ekspansi kueri. Penentuan istilah yang akan ditambahkan pada kueri dilakukan dengan menggunakan nilai idf dari masingmasing istilah. Setiap istilah baru diurutkan berdasarkan nilai idf yang dimiliki. Selanjutnya istilah dengan nilai idf yang lebih tinggi dipilih menjadi istilah untuk ekspansi.
Pengujian QE2 dengan menggunakan dua istilah untuk ekspansi menghasilkan grafik recall precision seperti pada Gambar 5. Pada pengujian ini digunakan dua istilah untuk ekspansi kueri. Istilah yang dipilih adalah dua istilah yang memiliki nilai idf tertinggi. Pengujian QE3 dengan menggunakan tiga istilah untuk ekspansi menghasilkan grafik recall precision seperti pada Gambar 6. Pada pengujian ini digunakan tiga istilah untuk ekspansi kueri. Istilah yang dipilih adalah tiga istilah yang memiliki nilai idf tertinggi.
Dalam tahapan pengujian dengan ekspansi kueri dilakukan percobaan sebanyak tiga kali, yaitu dengan mengambil satu istilah (QE1), dua istilah (QE2), dan tiga istilah (QE3) pada posisi urutan teratas.
Selanjutnya untuk bahan perbandingan dilakukan kegiatan temu kembali menggunakan ekspansi kueri dengan jumlah istilah baru yang sudah ditentukan. Penentuan nilai recall dan precision dilakukan pada masing-masing pengujian untuk melihat pengaruh dari penggunaan metode yang digunakan.
Gambar 4 Grafik QE1
Gambar 5 Grafik QE2
Gambar 3 Grafik recall precision temu kembali Kurva recall dan precision untuk pengujian QE1 yaitu ekspansi kueri dengan menggunkan jumlah istilah sebanyak satu dapat dilihat pada Gambar 4. Pada saat menggunakan satu istilah untuk ekspansi maka istilah yang diambil adalah istilah yang memiliki nilai idf tertinggi. Nilai idf yang tinggi menunjukkan bahwa istilah tersebut memiliki peluang kemunculan yang tinggi pada koleksi dokumen.
Gambar 6 Grafik QE3
7
Penggunaan metode penerjemahan kueri dengan kamus dwibahasa dalam menentukan istilah ekspansi kueri pada pengujian yang dilakukan hanya mampu meningkatkan nilai precision untuk dua kueri masukan dari 30 kueri yang diujikan, dan peningkatan terjadi pada saat penambahan satu istilah ekspansi. Tabel 2 dan Tabel 3 menunjukkan contoh istilah ekspansi yang merupakan hasil terjemahan.
kondisi dokumen pada korpus, dimana terdapat kesalahan penulisan isi pada koleksi dokumen. Selain itu penyebab dari kecilnya nilai AVP dikarenakan untuk setiap pasang kueri dengan dokumen relevan, terdapat banyak kueri yang memiliki sedikit jumlah dokumen relevan. Sehingga jika dibandingkan dengan jumlah dokumen yang besar menghasilkan nilai recall dan precision yang kecil.
Perbandingan untuk tiga pengujian dengan ekspansi kueri dapat dilihat pada Gambar 7. Dari grafik terlihat bahwa hasil temu kembali yang lebih baik ditunjukkan oleh QE1. Pada penggunaan satu istilah untuk ekspansi kueri, ini berarti istilah tersebut memiliki nilai idf yang tertinggi. Ini menunjukkan bahwa istilah yang terpilih memiliki peluang kemunculan yang tinggi pada koleksi dokumen.
Tabel 2 Contoh istilah kueri dan hasil terjemahan yang berhasil meningkatkan nilai precision Istilah
Hasil terjemahan
impor
mendatangkan, diimpor, mengimpor, barang, kepentingan, perdagangan, impor, luar, negeri
beras
nasi, gabah, beras, padi
penyakit
Sakit, keadaan, penyakit
hewan
binatang, piaraan, hewan
ternak
ternak, peternakan
Tabel 3 Contoh istilah kueri dan hasil terjemahan yang tidak berhasil meningkatkan nilai precision
Gambar
7
Grafik perbandingan recall precision pada temu kembali dengan ekspansi kueri
Tabel 4 Perbandingan nilai AVP Metode
Nilai AVP
Tanpa QE
0.524
QE1
0.461
QE2
0.429
QE3
0.407
Pada Gambar 8 dapat dilihat perbandingan hasil nilai recall dan precision hasil temu kembali informasi dengan dan tanpa Istilah Hasil terjemahan menggunakan ekspansi kueri. Dapat dilihat pingsan, pilek, berdarah, dingin, bahwa hasil temu kembali dengan ekspansi flu angin, tertarik, mata, masuk kueri tidak lebih baik jika dibandingkan dengan proses temu kembali tanpa ekspansi manisan, sayang, enak, manis, hati, gula kueri. Pada grafik precision untuk hasil temu bersifat, gula kembali yang menggunakan ekspansi kueri hadiah, menghargai, berharga, ganti, g (QE1, QE2, QE3) malah menghasilkan nilai harga ongkos, dihargai, menilai, nilai, harga yang lebih kecil dibandingkan tanpa menggunkan ekspansi kueri (QE0). Hal ini dikarenakan istilah yang merupakan hasil Pada Tabel 4 dapat dilihat perbandingan terjemahan kueri cukup banyak dan beberapa nilai AVP dari proses temu kembali informasi diantaranya tidak sesuai dengan konteks dengan dan tanpa menggunakan ekspansi pencarian. Masalah tersebut mengakibatkan kueri. Nilai yang dihasilkan ini dapat hasil temu kembali yang diperoleh malah dikatakan cukup kecil, hal ini dikarenakan tidak sesuai dengan yang diharapkan. Akan
8
tetapi untuk beberapa kueri yang memiliki cakupan khusus di bidang pertanian bisa menghasilkan hasil pencarian yang lebih baik.
dikatakan bahwa temu kembali QE0 memberikan hasil yang lebih baik dibandingkan similarity thesaurus, tetapi QE0 tidak selalu lebih baik jika dibandingkan dengan hasil temu kembali menggunakan peluang bersyarat. Peningkatan nilai precision yang dihasilkan pada temu kembali QE0 bisa terjadi karena penggunaan koleksi dokumen yang lebih besar yaitu 1000, sedangkan untuk proses temu kembali pada dua penelitian sebelumnya hanya menggunakan 700 dokumen. 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3
Grafik perbandingan recall precision antara proses temu kembali dengan dan tanpa ekspansi kueri
Perbandingan Metode Ekspansi Pada penelitan sebelumnya yang berhubungan dengan ekspansi kueri telah dibahas penggunaan similarity thesaurus (Paiki 2006) dan peluang bersyarat (Rusidi 2008). Untuk dua penelitian terdahulu pengujian untuk melihat kinerja sistem dilakukan dengan melakukan perbandingan terhadap tiga kegiatan temu kembali, yaitu temu kembali tanpa ekspansi kueri, dan temu kembali dengan 5 istilah dan 10 istilah. Hasil dari penelitian sebelumnya akan dibandingkan dengan penggunaan metode penerjemahan kueri dengan kamus dwibahasa dengan temu kembali tanpa ekspansi kueri dan temu kembali dengan 1 istilah dan 2 istilah.
Dari Gambar 9 dapat dilihat perbandingan hasil temu kembali tanpa menggunakan ekspansi (QE0, IRX0, NoTH-1, dan NoTHidf). Dari Gambar 9 terlihat bahwa grafik precision yang dihasilkan QE0 berada di atas grafik similiarity thesaurus, dan pada nilai recall 0 sampai dengan 0.4 grafik QE0 berada di atas grafik peluang bersyarat. Walaupun pada nilai recall 0 nilai precision yang dihasilkan QE0 berada dibawah similiarity thesaurus, tapi untuk nilai recall selanjutnya QE0 selalu berada di atas grafik similiarity thesaurus. Dari grafik yang menunjukkan perbandingan hasil temu kembali dapat
0.2 0.1 0 Precision
8
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Recall
Gambar 9 Ekspansi kueri dengan penambahan istilah 0 model peluang, model dan similarity thesaurus penerjemahan kueri. 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 Precision
Gambar
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Recall
Gambar
10
Ekspansi kueri dengan penambahan 5 istilah pada model peluang, model similarity thesaurus dan 1 istilah hasil penerjemahan kueri.
9
Perbandingan hasil temu kembali dengan menggunakan ekspansi kueri dilakukan terhadap pengujian dengan menggunakan 5 istilah ekspansi pada model peluang bersyarat dan similarity thesaurus dengan teknik penerjemahan kueri menggunakan 1 istilah ekspansi. Proses perbandingan ini dilakukan karena pada metode ekspansi kueri dengan hasil terjemahan 1 istilah ekspansi memberikan hasil yang lebih baik dibanding dua pengujian lainnya, yaitu dengan dua dan tiga istilah ekspansi. Pada Gambar 10 terlihat bahwa grafik QE1 berada di bawah dua grafik TH5-1 dan TH5-idf pada nilai recall 0, tetapi untuk nilai recall selanjutnya grafik QE1 selalu berada di atas grafik similiarity thesaurus (TH5-1 dan TH5-idf). 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1
istilah ekspansi dan penerjemahan kueri dengan dua istilah ekspansi (Gambar 11). Pada nilai recall 0 nilai precision yang dihasilkan metode penerjemahan kueri lebih kecil dibandingkan dengan hasil similiarity thesaurus, tetapi untuk nilai recall selanjutnya (sampai dengan 0.9) nilai precision selalu lebih tinggi. Untuk perbandingan terhadap model peluang bersyarat pada nilai recall 0 nilai precision yang dihasilkan teknik penerjemahan kueri lebih kecil, tetapi untuk nilai recall selanjutnya nilai precision yang dihasilkan teknik penerjemahan kueri selalu lebih tinggi daripada yang dihasilkan model peluang bersyarat. Dari hasil perbandingan tiga teknik ekspansi kueri terlihat bahwa kinerja sistem ekspansi dengan menggunkan metode penerjemahan kueri memiliki hasil yang lebih baik jika dibandingkan dengan penggunaan model peluang bersyarat dan similarity thesaurus. Hal ini ditunjukkan dengan nilai precision yang dihasilkan oleh teknik penerjemahan yang lebih tinggi hampir pada semua tingkat nilai recall. Peningkatan nilai precision yang terjadi diakibatkan jumlah koleksi dokumen pengujian yang lebih besar, sehingga jumlah dokumen relevan yang ditemukembalikan juga menjadi lebih banyak.
Precision
0.0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Recall
Gambar
11
Ekspansi kueri dengan penambahan 10 istilah pada model peluang, model similarity thesaurus dan 2 istilah hasil penerjemahan kueri.
Hasil perbandingan menunjukkan bahwa proses temu kembali dengan ekspansi kueri dengan menggunakan penerjemahan kueri memberikan hasil yang lebih baik dibandingkan similiarity thesaurus. Perbandingan antara ekspansi kueri dengan penerjemahan kueri dan model peluang bersyarat menunjukkan bahwa pada nilai recall 0 model peluang bersyarat menghasilkan nilai precision yang lebih tinggi dibandingkan dengan metode penerjemahan kueri. Tetapi untuk nilai recall selanjutnya nilai precision yang dihasilkan tidak jauh berbeda. Perbandingan selanjutnya dilakukan terhadap ekspansi kueri dengan peluang bersyarat dan similarity thesaurus dengan 10
KESIMPULAN DAN SARAN
Kesimpulan Penelitian ini telah mengimplementasikan teknik ekspansi kueri pada proses temu kembali. Metode yang digunakan dalam melakukan ekspansi kueri adalah penerjemahan kueri menggunakan kamus dwibahasa. Berdasarkan nilai recall precision yang dihasilkan untuk setiap pengujian, diketahui bahwa ekspansi kueri dengan penambahan istilah baru dalam jumlah yang lebih banyak akan semakin mengurangi nilai precision. Dapat disimpulkan bahwa penggunaan ekspansi kueri dengan metode penerjemahan untuk memperoleh istilah perluasan hanya dapat meningkatkan relevansi hasil temu kembali untuk beberapa kueri tertentu. Metode penerjemahan yang digunakan hanya berhasil meningkatkan nilai precision untuk beberapa kueri tetapi secara keseluruhan nilai precision yang diperoleh adalah semakin kecil. Jika dilakukan perbandingan hasil
10
penggunaan teknik ekspansi dengan model peluang bersyarat dan similarity thesaurus, diketahui bahwa terdapat peningkatan nilai precision pada penggunaan metode penerjemahan. Hal ini dikarenakan penggunaan koleksi dokumen yang lebih besar. Saran Untuk penelitian selanjutnya berhubungan dengan ekspansi disarankan untuk melakukan :
yang kueri,
1 Perbaikan terhadap kesalahan penulisan yang ada pada isi koleksi dokumen 2 Penggunaan wordnet untuk menghindari ambiguitas 3 Penggunaan koleksi dokumen dalam jumlah yang lebih besar.
DAFTAR PUSTAKA Adisantoso J. 1997. Temu Kembali Informasi Menggunakan Peluang Bersyarat. [Tesis]. Jakarta: Program Pascasarjana, Universitas Indonesia. Aly AA. 2008. Using a Query Technique to Improve Document Retrieval, El-Minia University, Egypt. Baeza-Yates R, Ribeiro-Neto B. 1999. Modern Information Retrieval. AddisonWesley, New York. Manning CD, Raghavan P, Schutze H. 2008. Introduction to Information Retrieval. America, New York. Paiki
FF. 2006. Evaluasi Penggunaan Similarity Thesaurus terhadap Ekspansi Kueri dalam Sistem Temu Kembali Informasi Berbahasa Indonesia. [Skripsi]. Bogor: Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor.
Ridha A. 2002. Pengindeksan Otomatis dengan Istilah Tunggal untuk Dokumen Berbahasa Indonesia. [Skripsi]. Bogor: Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Riezler S, Vasserman A, Tsochantaridis I, Mittal V, Liu Y. 2007. Statistical Machine Translation for Query Expansion in Answer Retrieval. Proceedings of the 45th annual Meeting of the Association for Computational
Linguistics (ACL ’07). Prague. Czech Republic. Riezler S, Liu Y, Vasserman A. 2008. Translating Queries into Snippets for Improved Query Expansion. Google Inc. 1600 Amphitheatre Parkway. Rusidi. 2008. Ekspansi Kueri dalam Sistem Temu Kembali Informasi Berbahasa Indonesia Menggunakan Peluang Bersyarat. [Skripsi]. Bogor: Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor.
11
LAMPIRAN
12
Lampiran 1 Contoh koleksi dokumen.
gatra230103-002 <TITLE>Semarang Kembangkan Sapi Potong Gemuk Tma, Ant 23 Januari 2003 Dinas Pertanian kota Semarang selama dua tahun berturut-turut sampai dengan tahun 2002 lalu, mengembangkan program penggemukan sapi potong yang disalurkan melalui proyek pengembangan tani terpadu kawasan desa kota.
Menurut Kasi Humas Kantor Informasi dan Komunikasi Semarang, Achyani di Semarang, Kamis, selama dua tahun itu, petani desa kota di Semarang yang dilibatkan dalam program tersebut sebanyak 80 petani.
Ke-80 petani yang sudah mendapatkan faslitas bantuan pengembangan penggemukan ternak sapi potong itu, rata-rata memiliki sapi berumur 2,5 tahun. Saat diserahkan, sapi masih berumur 1,5 tahun.
Sapi berumur 2,5 tahun itu, sudah layak dilelang. Hasilnya, sesuai kesepakatan, dibagi dua; 60 persen keuntungan untuk petani, dan 40 persen untuk Dinas Pertanian.
Menurutnya, dengan berat sapi yang dikembangkan hingga rata-rata 250 kg, petani bisa menjualnya seharga Rp 3 juta-Rp 4 juta.
"Sementara harga standar yang ditetapkan Dinas Pertanian, untuk pengembalian bantuan dana, ditetapkan sebesar Rp 2,3 juta. Sehingga keuntungan yang diperoleh petani -jika terjual seharga Rp3 juta- adalah 60 persen dari Rp 700.000," kata Achyani.
13
Lampiran 2 Daftar kueri dan jumlah dokumen relevan. Kueri bencana kekeringan dukungan pemerintah pada pertanian flu burung gabah kering giling industri gula institut pertanian bogor kelangkaan pupuk kelompok masyarakat tani/kelompok tani laboratorium pertanian musim panen pembangunan untuk sektor pertanian penerapan bioteknologi di indonesia/penerapan bioteknologi/bioteknologi di indonesia penerapan teknologi pertanian penyakit hewan ternak/penyakit ternak penyuluhan pertanian perdagangan hasil pertanian pertanian organik/sistem pertanian organik petani tebu peternak unggas/peternak ayam/peternak burung produk usaha peternakan rakyat/produk peternakan pupuk organik riset pertanian swasembada pangan tadah hujan tanaman pangan upaya peningkatan pendapatan petani/peningkatan pendapatan petani
Jumlah dokumen relevan 39 29 21 24 19 40 20 32 21 40 46 42 39 13 27 30 24 20 20 19 20 69 30 18 43 35
14
Lampiran 3 Daftar istilah kueri dan istilah hasil terjemahan. Kueri ayam
Istilah terjemahan ditakuti, jago, keran, jantan, melirik, ayam, mudah
bencana beras
mala, petaka, merusakkan, malapetaka, kegagalan, bencana, kerusakan, besar nasi, gabah, beras, padi penyokong, sokongan, sandaran, menyangga, tiang, dinding, penyangga, persetujuan, dukungan, bantuan, membantu pingsan, pilek, nada, berdarah, huruf, dingin, angin, tertarik, kelas, angka, mata, sekali, pertama, masuk, satu tangkai, mengejar, padang, mengikuti, batang, sawah, padi lalai, menjatuhkan, lupa, gangguan, kelemahan, kegagalan, meninggalkan, jatuh, gagal, kerusakan, kekurangan, rusak menggiling, pemintalan, menggulung, gulungan, menggelinding, gulung, penggilingan, rol manisan, sayang, apel, enak, manis, uang, hati, bersifat, gula, membuat hadiah, menghargai, berharga, ganti, ongkos, dihargai, korban, menetapkan, menilai, harganya, meminta, nilai, harga mengalah, menyerah, panenan, gandum, pemilihan, sukses, keberhasilan, karya, mengakibatkan, menghasilkan, kali, panen, produksi, hasil, pertanian hewani, binatang, protein, pemeliharaan, ilmu, hewan, peternakan awan, hujan, turun, musim Membawakan, menyadarkan, pengimpor, mendatangkan, diimpor, mengajukan, importir, mengadakan, mengimpor, membawa, menimbulkan, barang, kepentingan, menyebabkan, menghasikan, perdagangan, impor, luar, negeri bahasa baja, kerajinan, perindustrian, proyek, kota, industri
dukungan flu gabah gagal giling gula harga hasil hewan hujan impor indonesia industri institut
komoditas
mengadakan, institut, lembaga mengeringkan, dikeringkan, pengeringan, sifat, kemarau, kekeringan, sekali, kering, musim, masa bakar, kayu, kekurangan pengelompokkan, grup, berkumpul, tandan, sekelompok, anggur, kategori, golongan, buah, kelompok, kecil mengeringkan, gersang, dikeringkan, pengeringan, menarik, menguntungkan, kering, tanah dagangan, keperluan, pokok, barang, utama, bahan
laboratorium musim
mantri, pembantu, asisten musim,masa
obat organik
serbuk, racun, kedokteran, belajar, ilmu, kimia, obat, bahan karbon, mengandung, dasar
panen pangan
pemungutan, memungut, memotong, memanen, panen, padi, hasil masakan, makanan, bahan, pangan susunan, pendirian, penegakan, pembentukan, bangunan, pembukaan, pembuatan, perkembangan, pertumbuhan, bentuk, perusahaan, pembangunan pemerintahan, polotik, ilmu, pemerintah
kekeringan kelangkaan kelompok kering
pembangunan pemerintah pendapatan penerapan peningkatan
bayaran, gaji, upah, penghasilan, memperoleh, pendapatan penggunaan, ketekunan, pemasangan, majelis, kumpulan, penerapan, pertemuan, permintaan datar, meratakan, mempertinggi, timbangan, nada, melontarkan, melancarkan, huruf, naikknya, reaksi, menaikkan, berkembangnya, memperluas, derajat, pertambahan, dataran, ketinggian, kelas, permukaan, bertambah,kenaikan
15
Lanjutan Kueri
petani peternak
Istilah terjemahan jahat, menyusahkan, penyebar, kesusahan, kekacauan, jelek, susah, busuk, sakit, buruk, mengganggu, keadaan, meminta, persoalan, penyakit hiasan, uraian, penerangan, cahaya, penjelasan, keterangan, memperoleh, bagian, pusat kejuruan, ketrampilan, langganan, menukar, berdagang, pembeli, tukar, tambah, perdagangan tani, petani keturunannya, peternak
peternakan produk
hewani, binatang, protein, pemeliharaan, ilmu, hewan, peternakan, pertanian kali, hasil, pertanian
pupuk rakyat
memupuk, pupuk khalayak, ramai, massa, rakyat, penduduk
riset sektor
menyelidiki, penyelidikan, meneliti, ilmiah, riset, penelitian kawasan, bidang, sektor
sistem swasembada
sistim, susunan, jaringan, cara, sistem secukupnya, dirinya, mengatur, diri, sendiri, cukup lubuk, tangki, bak, kolam, dibawah, wadah, menempatkan, penyimpanan, waduk, gudang, tempat, tanah, air bangunan, gedung, tumbuhan, penanaman, pabrik, tumbuh, tanam, panen, tanaman, hasil tani, petani rotan, buluh, tongkat, alang, kursi, memukul, sayang, bermacam, sejenis, manis, tebu, semacam, uang, alat, kebun, gula keahlian, mesin, pabrik, teknologi gerobak, lembu, menaikkan, menambah, sapi, daging, ternak, peternakan
penyakit penyuluhan perdagangan
tadah tanaman tani tebu teknologi ternak unggas upaya usaha
tangkis, bola, bulu, unggas, burung harta, kekayaan, karya, alat, cara, upaya, usaha pengerahan, kejuruan, pemerasan, paksa, langganan, keterampilan, menukar, sukar, mengerjakan, penyelenggaraan, mengusahakan, menjalankan, pembeli, tukar, mengolah, buruh, tugas, pekerjaan, karya, dibuat, tambah,upaya, kerja
16
Lampiran 4 Daftar kata buangan. acapkali ada adakah adakan adalah adanya adapun aduh agak agaknya agar aja akalan akan akankah akhir akhirnya akibat akibatkan akibatnya aku ala alangkah alasan alasannya alih alihkan amat amatlah ambil anda andai anggap anggapan antar antara antaranya apa apabila apakah apalagi apalah apanya apapun arti artian artinya asalan asalkan asumsi asumsinya atas atasnya atau ataukah ataupun awal bagai bagaikan bagaimana bagaimanakah bagaimanapun bagi baginya bagus bagusnya bahkan bahwa baik baiknya balik
banding bandingkan banyak banyaknya barangkali baru bawah bawahnya beberapa begini beginilah begitu begitulah begitupula begitupun belakang belakangan belum belumlah benar benarkah benarnya berada berakhir berakhirnya berakibat berakibatkan beralasan beralih beralihnya beranggapan berapa berapanya berapapun berarti berasumsi berbagai berbagi berbanding berbeda berdampak berdasarkan berhadapan berharap berhubung berhubungan berikan berikanlah berikut berikutnya berjumlah berkenaan berkesan berkesempatan berkesimpulan berlalu berlalunya berlama berlangsung bermula bersama bersamaan bertepatan beruntun berupa besarnya beserta besok besoknya betapa biar
biarlah biasa biasanya bicarakan bila bilamana bilang bisa bisakah bisanya boleh buat buatnya bukan bukankah bukanlah bukannya buktikan cara cerita ceritanya contoh contohkan contohnya cukup cuma daerah dahulu dalam dan dapat dapatkah dapatkan dapatlah dari darinya daripada dekat dekatnya demi demikian demikianlah dengan dengannya depan depannya dia dialah dialami dialihkan diambil diambilkan diambilnya dianggap diantara diantaranya dibagi dibagikan dibeberapa diberbagai diberi diberikan dibiarkan dibiasakan dibilang dicontoh dicontohkan dicontohkannya didapat didapati didapatkan
didapatnya didasarkan digolongkan digunakan diharapkan dijadikan dijadikannya dikarenakan dikatakan dikatakannya dikategorikan dikembangkan diketahui diketahuinya dilaksanakan dilakukan dimana dimulai dimulailah dimulainya dimungkinkan dipaparkan dipersilahkan disaat disebabkan disejumlah diseluruh disertai disertakan disimpulkan disitulah ditanggapi ditanya ditanyakan dituturkan diucapkan dkk dll dsb dua dulu dulunya empat enggak engkau esok habis habisan habiskan habisnya hal hampir hanya hanyalah hari harus harusnya hendak hendaknya hingga ialah ingin ini inipun itu itulah itupun iya jadi jadikan jadilah
jadinya jangan jarang jauh jelaskan jika jikalau juga justru juta kabupaten kadang kalau kalaupun kali kalian kami kamu kan kapan karena karenanya kata katakan katakanlah katanya kau kayaknya kebanyakan kebetulan kebiasaan kecil kecuali kemana kemanakah kembali kemudian kemungkinan kemungkinannya kenapa kenapakah kepada kepadanya kepala ketika ketimbang khususnya kini kita kurang lagi lagian lagipula lain lainnya laksana lakukan lalu lalui lama lanjut lantaran lantas lebih lepas lewat lokasi maka makin mampu mampukah
17
Lanjutan mampunya mana manakala manalagi manapun masa masih masihkah masing masuk masyarakat mau maupun melainkan melakukan melalui melihat memang memaparkan membagi membagikan memberi memberikan memberinya membiarkan membolehkan membuat memeperoleh memiliki meminta mempersilahkan mempunyai memungkinkan menanggapi menanggapinya menanyakan mencapai mencontohkan mendapat mendapati mendapatkan mendapatkannya menerus mengada mengaku mengalami mengalihkan mengambil mengambilnya menganggap mengapa mengatakan mengembangkan mengenai menggunakan mengungkapkan meningkat meningkatkan menjadi menjadikan menjadikannya menjelang menjelaskan menuju menunjukkan menurut menurutnya menuturkan
menyatakan menyebabkan menyebutkan menyia mereka merupakan meski meskipun mesti mestinya misal misalkan misalnya mudah mula mulai mulanya muncul mungkin mungkinkah namun nanti negara nilai nyaris nyiakan oleh orang pada padahal padanannya paling panjangnya papar paparan paparkan paparnya para pasti pastilah pastinya pelak pelbagai pemaparan pembagian pembagiannnya pendapat pengalihan pengambil pengambilan pengandaian per peralihan percuma perihal perlahan perlu pernah persen pertamanya pinggir pula pun rata relevankah rendah saat saatnya
saatnyalah saja salah sama sambil sambutannya sampai sana sang sangat sangatlah satunya saya sayangnya seakan seandainya sebab sebabkan sebagai sebagaimana sebagainya sebagian sebaik sebaiknya sebaliknya sebanyak sebelum sebelumnya sebenarnya seberapa seberat sebesar sebetulnya sebuah secara sedalam sedang sedangkan sedapat sedemikian sedikit sedikitnya segera sehabis seharusnya seharusnyalah sehingga sehubungan sejak sejauhmana sejumlah sekalian sekaligus sekalipun sekarang sekedar sekeliling seketika sekian sekitar selagi selain selalu selama selanjutnya selesai selesaikah seluruh
seluruhnya semakin semenjak sementara semestinya semoga semua semuanya semula seolah seorang seorangpun sepadan sepanjang sepasang sepele sependapat seperti sepertinya seputar seraya serba serentak sering seringkali seringkalinya seringlah seringnya serta sertanya sesaat sesama sesamamu sesedikit seseorang sesuai sesuatu sesuatunya sesudah sesudahnya sesukanya sesungguhnya setelah setelahnya seterusnya setiap setidak setidaknya seusai sewaktu seyogyanya sia sialnya siap siapa siapakah siapapun silahkan singkatnya sini sinilah situ sosok sosoknya suatu sudah sulit sungguh
sungguhpun supaya tak tambahnya tanggapan tanpa tapi tatkala telah tempat tengah tentang tentu tentunya tepatnya terbagi terbalik terbiasa terbilang terdapat tergolong terhadap terjadi terjadilah terjadinya terkadang terkait terkecuali terlalu terlebih termasuk ternyata tersebut tertentu terus tetap tetapi tiap tiba tidak tidaklah tiga tinggi tutur tuturnya ucap ucapan ucapannya ucapkan ucapnya ujar ujarnya umpamanya umum ungkap ungkapan untuk usah usahlah usai usianya waktu walau walaupun warga yaitu yakni yang
18
Lampiran 5 Tampilan sistem temu kembali.
