IMPLEMENTASI QUESTION ANSWERING SYSTEM DENGAN METODE RULE-BASED PADA BANYAK DOKUMEN BERBAHASA INDONESIA
ROMAIDA DOLAROSA SIANTURI
DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR 2008
Sebab Aku ini mengetahui rancangan-rancangan apa yang ada pada-Ku mengenai kamu, demikianlah firman TUHAN, yaitu rancangan damai sejahtera dan bukan rancangan kecelakaan, untuk memberikan kepadamu hari depan yang penuh harapan. Dan apabila kamu berseru dan datang untuk berdoa kepada-Ku, maka Aku akan mendengarkan kamu; apabila kamu mencari Aku, kamu akan menemukan Aku; apabila kamu menanyakan Aku dengan segenap hati, Aku akan memberi kamu menemukan Aku, demikianlah firman TUHAN Yeremia 29 : 11-14a
Kupersembahkan untuk Yesus Kristus, Bapak, Mama, serta Adik-adikku tercinta
IMPLEMENTASI QUESTION ANSWERING SYSTEM DENGAN METODE RULE-BASED PADA BANYAK DOKUMEN BERBAHASA INDONESIA
Skripsi Sebagai salah satu syarat untuk memperoleh gelar Sarjana Komputer pada Fakultas Matematika dan Ilmu Pengetahuan Alam Institut Pertanian Bogor
Oleh: ROMAIDA DOLAROSA SIANTURI G64103003
DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR 2008
ABSTRAK ROMAIDA DOLAROSA SIANTURI. Implementasi Question Answering System dengan Metode Rule-Based pada Banyak Dokumen Berbahasa Indonesia. Dibimbing oleh JULIO ADISANTOSO DAN SONY HARTONO. Question Answering System (QAS) menggunakan metode rule-based dapat diterapkan untuk membangun sistem temu kembali jawaban atas pertanyaan dari banyak dokumen berbahasa Indonesia. Dengan memasukkan kueri berupa pertanyaan ke dalam sistem, maka sistem akan mengembalikan suatu kalimat sebagai jawabannya. Proses penemukembalian jawaban dimulai dengan memecah (parsing) suatu dokumen menjadi kalimat-kalimat. Kalimat-kalimat tersebut dipecah dan di-stem menjadi token-token. Begitu pula dengan kalimat pertanyaan pada kueri dipecah dan di-stem menjadi token-token. Token-token dari setiap kalimat dokumen maupun kalimat kueri diproses dalam rule sesuai dengan tipe pertanyaannya. Dalam penelitian ini digunakan lima tipe pertanyaan, yaitu: APA, SIAPA, KAPAN, MANA, dan MENGAPA. Proses di dalam rule itu memberikan nilai untuk masingmasing kalimat dokumen. Kalimat yang memiliki nilai tertinggi akan dikembalikan sebagai kalimat jawaban. Semakin besar hasil persentase jumlah kalimat relevan yang ditemukembalikan terhadap jumlah kalimat yang ditemukembalikan, maka kinerja sistem akan semakin baik. Kalimat jawaban yang dikembalikan bisa lebih dari satu karena ada kemungkinan beberapa kalimat yang memiliki nilai yang sama. Dari evaluasi sistem, kinerja sistem sangat berbeda satu sama lain. Kueri pertanyaan “KAPAN”, “MANA” dan “SIAPA”, kinerja sistem tertinggi dicapai dengan penggunaan nilai ambang batas 26, akurasi rata–ratanya adalah 67,88%. Sementara untuk kueri pertanyaan “MENGAPA” kinerja sistem tertinggi yitu 64,19% dicapai dengan penggunaan nilai ambang batas 7 dan untuk kueri pertanyaan “APA” kinerja sistem tertinggi yitu 25,88% dicapai dengan penggunaan nilai ambang batas 9. Dari evaluasi berdasarkan rule, rule “KAPAN” mempunyai kinerja paling tinggi dengan nilai Recall Precision tertinggi sebesar 0,93. Kata kunci: Information Retrieval, Question Answering, Rule-based
Judul
: Implementasi Question Answering System dengan Metode Rule-Based pada Banyak Dokumen Berbahasa Indonesia Nama : Romaida Dolarosa Sianturi NRP : G64103003
Menyetujui:
Pembimbing I
Pembimbing II
Ir. Julio Adisantoso, M.Kom. NIP 131578807
Sony Hartono Wijaya, S.Kom. NIP
Mengetahui: Dekan Fakultas Matematika dan Ilmu Pengetahuan Alam Institut Pertanian Bogor
Dr. drh. H. Hasim, DEA. NIP 131578806
Tanggal lulus:
RIWAYAT HIDUP Penulis dilahirkan di Balimbingan pada tanggal 13 Mei 1986 sebagai anak pertama dari empat bersaudara, anak pasangan Bapak Romulus Sianturi dan Ibu Damaris br. Purba. Tahun 2003, penulis lulus dari SMUN 1 Tanah Jawa dan pada tahun yang sama, melalui jalur Undangan Seleksi Masuk IPB, menjadi mahasiswa Program Studi Ilmu Komputer, Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Pada tahun 2006, penulis menjalankan praktek lapangan di Pusat Informasi Konservasi Alam Bogor selama kurang lebih dua bulan dengan bidang kajian Sistem Informasi Laporan Kawasan Konservasi (SILKK) Lingkup Direktorat Jendral Perlindungan Hutan dan Konservasi Alam. Selama mengikuti perkuliahan, penulis pernah aktif di Persekutuan Mahasiswa Kristen (PMK), Komisi Pembinaan dan Pemuridan (KPP) dan Tim Kelompok Kecil Pemuridan (KKP).
PRAKATA Puji dan syukur penulis panjatkan ke hadirat Allah Bapa atas segala rahmat dan karunia-Nya sehingga tugas akhir dengan judul Implementasi Question Answering System dengan Metode RuleBased pada Banyak Dokumen Berbahasa Indonesia ini dapat diselesaikan. Penulis menyadari bahwa selesainya penulisan karya ilmiah ini tidak terlepas dari pihak-pihak yang telah banyak membantu. Oleh karena itu penulis ingin mengucapkan terima kasih kepada : 1. 2.
3.
4. 5. 6. 7. 8.
9. 10.
11. 12.
13. 14.
Bapak, Mama, Adek Iman, Adek Uli, adek Jaya serta keluarga besarku yang selalu mendoakan, memberikan kasih sayang, dan dukungannya kepada penulis. Bapak Ir. Julio Adisantoso, M.Kom. selaku pembimbing I, Sony Hartono Wijaya, S.Kom. selaku pembimbing II yang telah memberikan bimbingan, wawasan, saran, dan kritik yang membangun bagi penulis selama pengerjaan tugas akhir ini, serta Ibu Dr. Ir. Sri Nurdiati, M.Sc. yang telah menjadi penguji. Pegawai Tata Usaha Departemen Ilmu Komputer yang sudah banyak membantu saya dalam mengurus seminar dan sidang, Pak Yadi, Pak Pendi, Pak Soleh dan Bapak/ Ibu yang namanya tidak dapat Saya sebutkan satu persatu. Robinhot Dapinardo Purba, atas doa, kesabaran, cinta kasih dan dukungan yang selalu diberikan kepada penulis. Kak Dikta yang udah sabar banget ngajarin aku VB.Net. Semangat untuk nyelesain skripsinya yah Kak. Good Luck! Anak-anak Kelompok Kecilku, Jane, Riris, Veranova. Aku mengasihi kalian dan trimakasih untuk banyak hal yang telah kalian berikan dan kita alami bersama-sama. Saudara Kelompok Kecilku, Besty dan Junika. I love u, sist. Mom, K’Olly & K’Ochi. Bersama kalian membuatku semakin dewasa dalam Dia. Thanx for all. Tim KKP, Lenny, Jim’s, Iwan, Ance, Yohana, Fitri, Dony, Ricky dan yang baru-baru. Trim’s untuk kerjasama selama dalam Tim. It’s sweet to serve The Lord. KKP selamanya yah. Keluarga PERKANTAS Bogor dan semua pengurus PMKB atas dukungan doa dan pengertian yang diberikan selama menyelesaikan skripsi ini. Seluruh anggota PMK IPB (teman-temanku angkatan 40, kakak-kakak,abang-abang dan adik-adik kelas), KPPers (Pengurus 40 dan adik-adik yang pernah aku layani). Trimakasih atas kebersamaan selama ini. Pembentukan yang Tuhan izinkan lewat pelayanan, pembinaan dan banyak hal yang kualami bersama-sama dengan kalian. Mega, Ines, Duma, Freddy, Tono, Tumpal, atas kasih persaudaraan yang sudah terjalin diantara kita. Teman-teman di Wisma Milenium: Vivi cayang, Arti, Mba Pita, Mba Erni, Mba Erna, Essa, Arma, Anin, Angela, dan semua anak kosan, atas canda tawa, dukungan dan kebersamaan selama ini. Sukses buat semuanya. Chita, Amel, Teh Arum, Gibhta, Risa, Tera dan semua Ilkomerz 40. Dan pihak-pihak lain yang tidak dapat disebutkan satu persatu.
Sebagaimana manusia yang tidak luput dari kesalahan, penulis menyadari bahwa karya ilmiah ini jauh dari sempurna. Namun penulis berharap semoga tulisan ini dapat bermanfaat, amin.
Bogor, Juli 2008
Romaida Dolarosa Sianturi
vii
DAFTAR ISI Halaman
DAFTAR TABEL .................................................................................................. ix DAFTAR GAMBAR ............................................................................................. ix DAFTAR LAMPIRAN .......................................................................................... ix PENDAHULUAN .................................................................................................. 1 Latar Belakang ................................................................................................................................ 1 Rumusan Masalah .......................................................................................................................... 1 Tujuan ............................................................................................................................................. 1 Ruang Lingkup ............................................................................................................................... 1 Manfaat ........................................................................................................................................... 2
TINJAUAN PUSTAKA ......................................................................................... 2 Temu Kembali Informasi ............................................................................................................... 2 Kalimat............................................................................................................................................ 2 Question Answering........................................................................................................................ 2 QUARC (Question Answering System for Reading Comprehension) .......................................... 2 Parsing ............................................................................................................................................ 3 Stemming......................................................................................................................................... 3 Ambang Batas Nilai (Treshold of Score) ....................................................................................... 3 Recall Precision.............................................................................................................................. 3
METODE PENELITIAN ........................................................................................ 4 Gambaran Umum Sistem ............................................................................................................... 4 Identifikasi Tipe Pertanyaan........................................................................................................... 4 Pengelompokan Tipe Jawaban ....................................................................................................... 5 Temu Kembali Jawaban ................................................................................................................. 5 Evaluasi Question Answering System ............................................................................................ 5 Asumsi ............................................................................................................................................ 5 Lingkungan Implementasi .............................................................................................................. 6
HASIL DAN PEMBAHASAN ............................................................................... 6 Koleksi Dokumen Pengujian .......................................................................................................... 6 Indexing .......................................................................................................................................... 6 Algoritme Rule ............................................................................................................................... 7 Parsing dan WordMatch ................................................................................................................ 8 Hasil Percobaan .............................................................................................................................. 8 Evaluasi Question Answering System Berdasarkan Ambang Batas Nilai (Treshold of Score) .... 8 Evaluasi Sistem Berdasarkan Rule ................................................................................................. 9 Kelebihan dan Kekurangan Sistem .............................................................................................. 10
KESIMPULAN DAN SARAN ............................................................................. 10 Kesimpulan ................................................................................................................................... 10 Saran ............................................................................................................................................. 11
DAFTAR PUSTAKA ........................................................................................... 11 LAMPIRAN .......................................................................................................... 12
ix
DAFTAR TABEL
1 2 3
Halaman Struktur tabel tb_dokumen ....................................................................................................... 6 Struktur tabel tb_kalimat .......................................................................................................... 6 Struktur tabel tb_kata................................................................................................................ 7
DAFTAR GAMBAR
1 2 3 4
Halaman Pengukuran Ketepatan Sistem .................................................................................................. 4 Gambaran Umum Sistem. ........................................................................................................ 4 Persentase Hasil yang Benar .................................................................................................... 9 Recall Precision ........................................................................................................................ 9
DAFTAR LAMPIRAN
1 2 3
Halaman Relevance Judgement ............................................................................................................. 13 Hasil Indexing sebagai basis data dan data uji sistem ........................................................... 39 Antarmuka prototipe Question Answering System ................................................................ 41
PENDAHULUAN Latar Belakang Sistem temu kembali informasi saat ini sudah sangat berkembang. Berbicara mengenai temu kembali informasi sangat erat kaitannya dengan search engine. Google menjadi salah satu search engine yang paling populer karena berbagai kemudahan yang ditawarkan kepada pengguna misalnya kueri yang hanya menggunakan kata atau kalimat dalam pencarian informasinya. Namun kadang kala, informasi yang ditemukembalikan kurang relevan dengan kebutuhan pengguna. Berbeda dengan Google, saat ini juga sudah banyak dikembangkan search engine yang memiliki fitur kueri berupa pertanyaan atau yang sering dikenal dengan Question Answering System misalnya www.Ask.com Pengguna dan www.answerbus.com. memasukkan kueri berupa pertanyaan bukan berupa kata atau kalimat saja. Dengan adanya fitur kueri berupa pertanyaan, informasi yang dikembalikan dapat lebih spesifik sesuai dengan kebutuhan pengguna. Question Answering System (QAS) dapat diterapkan untuk membangun sistem temu kembali jawaban atas pertanyaan dalam suatu bacaan. Dengan memasukkan kueri berupa pertanyaan, akan diperoleh sebuah kalimat sebagai jawabannya. Misalnya dengan kueri “Apa komputer itu?”, kalimat yang mungkin akan dikembalikan sebagai jawaban adalah : “Komputer adalah alat yang dipakai untuk mengolah informasi menurut prosedur yang telah dirumuskan”. Kalimat jawaban sesuai dengan bacaan yang dipilih. Dengan bacaan yang berbeda, tentu jawaban yang dikembalikan akan berbeda. Ballesteros & Xiaoyan-Li (2007) telah mengimplementasikan Question Answering yang digunakan untuk monolingual English dan Chinese QA. Dalam mengembalikan kalimat jawaban atau informasi yang relevan, pemberian skor pada koleksi dokumen dilakukan secara heuristic dan bergantung pada syntactic factor yang didefenisikan sebagai aturan-aturan untuk mengidentifikasi kandidat kalimat relevan atau kalimat jawaban. Berbeda dengan penelitian yang dilakukan oleh Ballesteros & Xiaoyan-Li (2007), penelitian sebelumnya juga sudah dilakukan oleh Riloff & Thelen (2000). Mengacu pada penelitian yang dikembangkan oleh Riloff &
Thelen (2000) yaitu “A Rule-based Question Answering System for Reading Comprehension Tests”, Ikhsani (2006) telah mengimplementasikan QAS untuk menemukan jawaban dari kueri pertanyaan dengan hanya menggunakan satu dokumen bacaan yang diberikan dan dokumen bacaan yang diberikan adalah dokumen yang menggunakan kalimat yang sudah baku. Padahal QAS seharusnya diterapkan untuk membangun sistem temu kembali jawaban atas kueri pertanyaan terhadap banyak dokumen dan tidak hanya untuk dokumen yang kalimatnya sudah menggunakan bahasa yang baku. Selain itu, Anggraeny (2007) mengimplementasikan QAS dengan menggunakan surat Al-Baqarah yang terdiri dari beberapa ayat sebagai koleksi dokumen sehingga rule yang digunakan tidak bersifat umum. Rumusan Masalah Penelitian lebih jauh dibutuhkan untuk menjawab beberapa hal yang masih menjadi masalah pada penelitian sebelumnya, yaitu : 1. Bagaimana QAS berbasis aturan (rulebased) dapat diimplementasikan pada banyak dokumen (multidocument)? 2. Sejauh mana aturan yang disusun dalam rule tersebut dapat digunakan pada dokumen bahasa Indonesia yang tidak hanya menggunakan bahasa yang baku (sesuai dengan EYD)?. Misalnya menggunakan dokumen dari internet, dokumen dari media koran, dokumen dari media majalah, dan lain-lain. Tujuan Tujuan penelitian ini adalah : 1 Mengimplementasikan sistem temu kembali informasi menggunakan kueri pertanyaan (Question Answering) untuk banyak dokumen berbahasa Indonesia. 2 Menelaah kinerja sistem yang akan dibangun dalam mengembalikan jawaban yang relevan dari banyak dokumen bahasa Indonesia yang tidak hanya menggunakan bahasa yang baku. Ruang Lingkup Ruang lingkup penelitian ini adalah: 1 Korpus terdiri atas beberapa dokumen bidang pertanian berbahasa Indonesia.
2
2 Proses pengembalian jawaban hanya terbatas pada menemukembalikan kalimat jawaban yang sesuai dengan kueri pertanyaan yang diberikan dan koleksi dokumen yang dimiliki.
sebelah kanannya agar kalimat lebih lengkap dan biasanya dicari dengan menggunakan kata tanya ”BAGAIMANA”. -
Objek adalah sesuatu (kata atau frase atau gabungan kata) yang dikenai sesuatu oleh Subjek. Ciri objek adalah berada di samping kanan Predikat, berkelas kata benda, dapat berpindah menjadi Subjek bila Predikatnya diubah menjadi pasif dan dapat diganti dengan akhiran ”nya”.
-
Keterangan dicirikan oleh letaknya yang bisa berpindah-pindah, bisa dihilangkan di sebuah kalimat, biasanya kata atau kelompok kata didahului oleh kata depan. Contoh : keterangan tempat, orang dan waktu.
Manfaat Dari penelitian ini diharapkan terbentuk suatu Question Answering System (QAS) yang dapat menemukembalikan jawaban atas beberapa kueri pertanyaan dari koleksi dokumen yang ada dan membuat korpus untuk jawaban yang relevan dari beberapa kueri pertanyaan standar yang dibuat oleh penulis.
TINJAUAN PUSTAKA Temu Kembali Informasi Temu kembali informasi berkaitan dengan representasi, penyimpanan, pengorganisasian, dan pengaksesan informasi. Sistem temu kembali informasi menyediakan kemudahan akses informasi bagi pengguna. Pengguna harus menerjemahkan kebutuhan informasinya ke dalam bentuk kueri. Dengan adanya kueri yang diberikan pengguna, tujuan utama dari sistem temu kembali informasi adalah mengembalikan informasi yang relevan dengan kueri dan informasi yang tidak relevan sesedikit mungkin (Baeza-Yates & RibeiroNeto 1999). Kalimat Kalimat adalah gugusan kata bersistem (beraturan) yang mampu menimbulkan makna sempurna atau makna yang dapat diterima oleh orang lain sesuai dengan maksud pembuat kalimat. Kumpulan kata akan dimaknai sebagai kalimat jika memiliki strukstur minimal Subjek (S) dan Predikat (P). Suatu kalimat dapat unsur-unsur sebagai berikut : -
-
memiliki
Subjek adalah sesuatu (kata atau frase atau gabungan kata) yang menjadi pokok pembicaraan penulis dalam kalimat sementara. Adapun yang menjadi ciri dari subjek yaitu : berkelas kata benda, bukan merupakan kata tugas, bukan kata ganti tanya, dapat dicari dengan menggunakan kata tanya ”APA” dan ”SIAPA” dan pada umumnya berada di awal kalimat. Predikat adalah kata atau kelompok kata yang menjelaskan subjek. Ciri predikat yaitu umumnya berada di sebelah kanan subjek, berkelas kata kerja, mengisyaratkan perlu tidaknya kata lain di
Contoh kalimat lengkap yang mengandung unsur-unsur di atas : Mahasiswa Agribisnis melaksanakan S P praktik lapangan di Cikabayan. O Ket. Question Answering Question Answering merupakan aplikasi nyata dari teknologi Natural Language Processing (NLP). Tujuan utama dari Question Answering (QA) adalah menampilkan jawaban atas pertanyaan yang diberikan pengguna. Ide utama QA adalah (Lin 2004) : -
menentukan tipe semantik jawaban yang diharapkan.
-
menentukan dokumen-dokumen memiliki keywords seperti pertanyaan.
-
mencari entitas dengan tipe yang sesuai dengan pertanyaan, yang dekat dengan keywords.
yang pada
QUARC (Question Answering System for Reading Comprehension) QUARC (Question Answering System for Reading Comprehension) adalah QAS dengan metode rule-based yang dikembangkan oleh Riloff & Thelen (2000). Cara kerjanya suatu dokumen diberi kueri pertanyaan, kemudian sistem akan menghitung nilai dari masing–masing kalimat pada dokumen tersebut. Pemberian nilai berdasarkan pada jumlah nilai hasil perbandingan kata yang sama antara
3
kueri dengan kalimat dan nilai pada masing–masing rule berdasarkan tipe pertanyaan. Suatu rule dapat memberikan empat kemungkinan nilai, yaitu : clue (+3), good_clue (+4), confident (+6), dan slam_dunk (+20). Kalimat yang memiliki nilai tertinggi akan dikembalikan sebagai jawaban atas kueri yang diberikan. Ikhsani (2006) telah melakukan implementasi QAS untuk dokumen bacaan berbahasa Indonesia dengan menggunakan rule yang dibuat oleh Riloff & Thelen (2000). Ikhsani (2006) melakukan modifikasi terhadap rule yang sudah ada dengan melakukan penyesuaian terhadap kaidah tata bahasa Indonesia. Adapun algoritme rule yang dibuat oleh Ikhsani (2006) mencakup pertanyaan dengan menggunakan kata tanya “KAPAN”, “MANA”, “MENGAPA”, “SIAPA”, dan “APA”, seperti yang dituliskan di bawah. 1
“KAPAN” Score(S) += WordMatch(Q,S) If contains (S, WAKTU) and contains (S,{saat,ketika,kala,semenjak,sejak, waktu, setelah,sebelum}) then Score(S) += slam_dunk If contains (S,WAKTU) then Score(S) += good_clue If contains(S,{saat,ketika,kala, semenjak, sejak, waktu, setelah, sebelum} then Score(S) += good_clue
2
“ MANA” Score(S) += WordMatch(Q,S) If contains (S,TEMPAT) and contains (S,{dalam,dari,pada }) then Score(S) += slam_dunk If contains (S,{dalam,dari,pada}) then Score(S) += clue If contains (S,TEMPAT) then Score(S) += good_clue
3
“MENGAPA” Score(S) += WordMatch(Q,S) If contains (S,{karena,sebab,akibat, maka}) then Score(S) += confident
4
“SIAPA” Score(S) += WordMatch (Q,S) If ~contains (Q, ORANG) and contains (S, ORANG) then Score(S) += slam_dunk
5
“APA” Score(S) += WordMatch (Q,S)
If contains (Q, {tujuan,manfaat}) and contains (S,{untuk,guna}) then Score(S) += confident Elseif contains (Q,maksud) contains (S,{adalah,ialah}) then Score(S) += slam_dunk
and
Elseif contains (S,{adalah,ialah}) then Score(S) +=confident
Keterangan: S = sentence (kalimat dokumen) Q = query (kalimat kueri) Parsing Untuk pemrosesan, dokumen dipilah menjadi unit-unit yang lebih kecil misalnya berupa kata, frasa, atau kalimat. Unit pemrosesan tersebut disebut sebagai token. Proses ini memerlukan pengetahuan bahasa untuk menangani karakter-karakter khusus, serta menentukan batasan satuan unit dalam dokumen. Dalam proses ini biasanya juga digunakan sebuah daftar kata buang (stoplist) yakni daftar kata-kata yang tidak digunakan (dibuang) karena tidak signifikan dalam membedakan dokumen atau kueri, misalnya: yang, hingga, dan dengan (Ridha 2002). Stemming Menurut Porter (1980), stemming adalah proses pemotongan imbuhan dari kata untuk mendapatkan kata dasarnya. Penggunaan utama dari stemming adalah sebagai bagian penting dalam proses normalisasi yang biasanya dilakukan ketika membangun sistem temu kembali informasi. Dengan proses stemming, kata mencanangkan akan dipotong menjadi men-canang-kan, sehingga didapatkan kata dasarnya canang. Ambang Batas Nilai (Treshold of Score) Ambang batas nilai berguna untuk membatasi nilai terendah dari skor yang harus dimiliki oleh kalimat dokumen yang ditemukembalikan. Skor yang dimaksud dalam penelitian ini adalah nilai keseluruhan yang diperoleh suatu kalimat dokumen berdasarkan pembobotan yang diberikan kepada kalimat dokumen melalui proses WordMatch dan rule. Penentuan ambang batas nilai tergantung dari nilai yang dimasukkan oleh pengguna pada sistem. Recall Precision Keakuratan suatu sistem dalam mengembalikan informasi yang relevan dapat diukur dengan menghitung nilai Recall
4
Precision. Menurut Grossman (2008), Recall adalah jumlah kalimat atau informasi yang relevan yang dikembalikan oleh sistem dibandingkan dengan jumlah kalimat atau informasi relevan yang seharusnya dikembalikan oleh sistem. Sementara Precision adalah jumlah kalimat atau informasi yang relevan yang dikembalikan oleh sistem dibandingkan dengan jumlah kalimat atau informasi keseluruhan (relevan dan tidak relevan) yang dikembalikan oleh sistem (Gambar 1).
Dokumen relevan
Recall =
Dokumen Dokumen yang relevan yang dikembalikan dikembalikan oleh sistem oleh sistem
Precision =
Gambar 1 Pengukuran Ketepatan Sistem Keterangan : ArS =
Dokumen relevan yang dikembalikan oleh sistem
Ar
=
Dokumen relevan
A
=
Dokumen yang dikembalikan oleh sistem
METODE PENELITIAN Gambaran Umum Sistem Gambaran umum Question Answering System (QAS) yang dikembangkan dapat dilihat pada Gambar 2. Proses awal pada QAS adalah dengan mengambil dokumen-dokumen berekstensi text (*.txt) yang terdapat pada satu direktori dan menyimpan nama masing-masing dokumen dalam tabel penyimpanan dokumen. Kemudian, dokumen-dokumen tersebut dipecah menjadi kalimat-kalimat yang dimasukkan ke dalam tabel penyimpanan kalimat. Pemecahan menjadi kalimat-kalimat dilakukan dengan proses parsing dokumen. Pada masing-masing kalimat dokumen dilakukan parsing kalimat dan stemming hasil parsing yang akan menghasilkan token-token kalimat. Token-token dari kalimat dokumen disimpan dalam tabel penyimpanan kata.
Gambar 2 Gambaran Umum Sistem. Selanjutnya, pengguna memasukkan kueri berupa kalimat pertanyaan. Kalimat kueri juga mengalami parsing dan stemming yang akan menghasilkan token–token kueri. Token-token pada setiap kalimat dokumen dan kalimat kueri dibandingkan dalam proses WordMatch, kemudian masuk ke dalam rule sesuai dengan tipe kueri yang diberikan. Rules yang dibuat berbeda satu sama lain sesuai dengan tipe pertanyaan. Dari proses tersebut, masing-masing kalimat akan memperoleh nilai berdasarkan nilai hasil WordMatch dan rule. Kalimat-kalimat jawaban akan dikembalikan sesuai dengan nilai ambang batas yang digunakan dan terurut dari yang memiliki skor paling tinggi. Untuk kalimat yang memiliki skor yang sama maka sistem akan mengembalikan berdasarkan urutan dokumen pada basis data. Identifikasi Tipe Pertanyaan Ada beberapa tipe pertanyaan yang digunakan dalam Bahasa Indonesia, yaitu: 1
APA, yang menanyakan suatu pengertian, tujuan, manfaat, kata benda, baik abstrak
5
maupun konkret (tidak termasuk di dalamnya yes/no question). 2
SIAPA, yang menanyakan orang atau makhluk hidup lain yang melakukan sesuatu.
3
KAPAN, yang menanyakan terjadinya suatu peristiwa.
waktu
4
MANA, yang menanyakan tempat.
5
MENGAPA, yang menanyakan tujuan atau sebab terjadinya sesuatu.
Dalam penelitian ini, tipe pertanyaan BAGAIMANA tidak diikutsertakan karena jawabannya adalah suatu penjelasan. Begitu pula dengan tipe pertanyaan MANA yang menanyakan suatu pilihan. Pengelompokan Tipe Jawaban Untuk dapat menemukan jawaban yang tepat, perlu dilakukan pembelajaran terhadap sistem, di antaranya adalah pengelompokan tipe jawaban. Tipe jawaban ini disusun dalam suatu kamus. 1 ORANG, jawaban dari pertanyaan SIAPA, yang dapat diidentifikasi dengan adanya gelar, panggilan (misalnya Bapak), dapat pula menyatakan suatu pekerjaan (misalnya penulis). Tipe jawaban ini disimpan dalam kamus bernama kamus_orang.txt. 2 WAKTU, jawaban dari pertanyaan KAPAN, terdiri dari hari dan bulan. Tipe jawaban ini disimpan dalam kamus bernama kamus_waktu.txt. 3 TEMPAT, jawaban dari pertanyaan MANA, terdiri dari beberapa nama kota di Indonesia dan beberapa nama negara. Tipe jawaban ini disimpan dalam kamus bernama kamus_tempat.txt. Selain mengelompokkan tipe jawaban, untuk memperoleh jawaban yang akurat tentu saja disertai implementasi rules. Untuk jawaban dari pertanyaan MENGAPA dan APA langsung diimplementasikan dalam sistem. Untuk jawaban MENGAPA dilakukan dengan cara mengidentifikasi kata ’sebab’, ’karena’, dan sejenisnya dari proses tokenizer. Temu Kembali Jawaban Pembobotan terhadap kalimat dilakukan dengan proses WordMatch dan rule. Dalam WordMatch, setiap token pada kalimat dokumen yang sama dengan token pada kueri akan diberi nilai clue(+3). Sementara tiap
petunjuk pada kalimat dalam dokumen akan mendapatkan nilai berdasarkan rules yang ada. Penelitian ini menggunakan empat tingkatan nilai, yakni (Riloff & Thelen 2000): • clue (+3) • good-clue(+4) • confident (+6) • slam_dunk(+20). Kalimat yang mendapatkan nilai tertinggi akan dikembalikan sebagai jawaban dari kueri pertanyaan yang diberikan. Namun kalimat yang ditemukembalikan bisa jadi tidak hanya satu, karena ada kemungkinan beberapa kalimat memiliki skor yang sama. Banyaknya kalimat yang ditemukembalikan oleh sistem juga bergantung pada nilai ambang batas yang dimasukkan oleh pengguna. Evaluasi Question Answering System Evaluasi Question Answering System ini dilakukan dengan melihat banyaknya kalimat jawaban yang ditemukembalikan dan banyaknya hasil yang benar maupun yang salah. Semakin banyak hasil yang benar, tentu kinerja sistem akan semakin tinggi. Setiap kueri bisa memiliki satu atau lebih kalimat jawaban atau tidak sama sekali sehingga akan dilihat persentase berapa jawaban yang relevan untuk beberapa nilai ambang batas. Penulis juga melakukan evaluasi menggunakan Recall Precision untuk melihat perbandingan jawaban yang relevan yang dikembalikan oleh sistem dengan jawaban relevan yang seharusnya dikembalikan oleh sistem. Asumsi Asumsi-asumsi yang dibuat oleh penulis dalam membangun sistem adalah sebagai berikut : 1. Kueri pertanyaan dibuat sendiri oleh penulis, 2. Kamus yang digunakan dibuat secara manual oleh penulis, 3. Rules yang digunakan dibuat sendiri berdasarkan asumsi penulis dengan mengacu pada rules yang dibuat oleh Riloff & Thelen (2000) dan Ikhsani (2006). Satu kueri pertanyaan dapat memiliki lebih dari satu kalimat jawaban yang relevan atau tidak ada sama sekali. Daftar kueri yang digunakan dan jawaban yang benar (relevance judgement) dapat dilihat pada Lampiran 1.
6
Lingkungan Implementasi Lingkungan implementasi yang digunakan adalah sebagai berikut :
Tabel 1 Struktur tabel tb_dokumen Nama Tipe Data Keterangan Kolom
Perangkat lunak :
idDok
INT
Primary key
• • •
namaDok
VARCHAR (100)
-
Sistem operasi Windows XP Professional Microsoft Visual Basic.NET 2005 SQL Srever 2000
Perangkat keras : • • •
Prosesor AMD Turion, 2.2 GHz RAM 512 MB Harddisk dengan kapasitas 80 GB
HASIL DAN PEMBAHASAN Koleksi Dokumen Pengujian Dokumen yang digunakan sebagai dokumen uji diambil dari korpus yang sudah tersedia di Laboratorium Temu Kembali Informasi Departemen Ilmu Komputer IPB. Sumbernya adalah media koran, media majalah, media internet, dan lain-lain. Dari 958 dokumen dan 30 topik yang dibicarakan dalam dokumen, penulis hanya mengambil 60 dokumen dan 5 topik (bencana kekeringan, pertanian organik, flu burung, gagal panen dan kelangkaan pupuk) yang dibicarakan di dalamnya sebagai koleksi dokumen. Pengambilan dokumen dan topik dilakukan secara acak atau tidak memiliki aturan tertentu. Dokumen sebagai koleksi memiliki format teks (*.txt) dan terdapat struktur tag XML didalamnya. Dokumen disimpan dalam satu direktori. Nama dokumen berdasarkan sumber data dan tanggal data tersebut diterbitkan, misalnya Gatra070203.txt yang berarti data berasal dari majalah Gatra dan diterbitkan oleh Gatra pada tanggal 07 bulan Februari tahun 2003. Satu dokumen dapat berisi beberapa artikel bacaan. Satu dokumen berisi minimal satu kalimat dan sebuah kalimat harus diakhiri dengan tanda titik (.). Sementara untuk kalimat yang diakhiri dengan tanda tanya (?), tanda seru (!) dan tidak berhubungan dengan kalimat sesudahnya maka dilakukan penambahan tanda titik (.) secara manual. Indexing Hal yang pertama dilakukan pada saat Indexing adalah menyimpan nama dokumen yang digunakan sebagai dokumen uji ke tabel tb_dokumen. Struktur tabel tb_dokumen dapat dilihat pada Tabel 1.
Proses penyimpanan nama dokumen tidak berurutan karena pengambilan nama dokumen oleh sistem dilakukan secara acak. Kolom idDok merupakan urutan penyimpanan dokumen berdasarkan jumlah dokumen yang digunakan. Nama dokumen disimpan dalam kolom namaDok. Parsing yang dilakukan pada dokumen diawali dengan memisahkan kalimat-kalimat dokumen berdasarkan separator titik (.). Hasil proses ini berupa array kalimat yang kemudian disimpan dalam tabel tb_kalimat. Struktur tabel tb_kalimat dapat dilihat pada Tabel 2. Tabel 2 Struktur tabel tb_kalimat Nama Tipe Data Keterangan Kolom idKal
INT
Primary key
idDok
INT
Primary key
kalimat
VARCHAR(8000)
-
score
INT
-
Kolom idKal menunjukkan urutan kalimat pada dokumen bersangkutan. Kolom idDok mengacu ke kolom idDok pada tabel tb_dokumen. Kolom kalimat berisi array kalimat yang dihasilkan oleh proses parsing. Kolom score digunakan untuk menyimpan nilai yang diperoleh masing-masing kalimat dari proses WordMatch dan pembobotan berdasarkan rule. Pada Indexing dokumen dan awal proses pengolahan terhadap kueri pengguna, kolom score masing-masing kalimat diberi nilai nol (0). Parsing pada kalimat diawali dengan proses case folding (membuat semua huruf pada teks yang akan diparsing menjadi huruf kecil). Penelitian ini tidak melakukan penghilangan stopwords karena semua kata dianggap penting dan masih akan mengalami proses stemming. Penulis memanfaatkan algoritme parsing Ikhsani (2006). Proses ini akan menghasilkan token-token yang disimpan pada array sementara untuk
7
kemudian stemming.
dilanjutkan
dengan
proses
Stemming dilakukan pada setiap token hasil parsing kalimat dengan menggunakan algoritme stemming Ikhsani (2006). Dalam prosesnya, stemming menghasilkan beberapa kata yang tidak sesuai dengan tata bahasa baku misalnya kata leta. Proses stemming melakukan penghilangan huruf k di awal dan akhir kata. Sehingga kata letak menjadi leta. Padahal ketika menjadi kata leta, kata tersebut menjadi tidak memiliki makna apaapa. Tetapi hal tersebut tidak mempengaruhi sistem yang dibangun karena setiap kueri pertanyaan yang akan diproses oleh sistem juga mengalami proses parsing dan stemming. Proses selanjutnya, hasil stemming dimasukkan ke dalam tabel tb_kata. Struktur tabel tb_kata dapat dilihat pada Tabel 3. Tabel 3 Struktur tabel tb_kata Nama Tipe Data Kolom idKata
INT
Keterangan Primary key
containsS(S, TIME) then Score(S) += good_clue If contains(S,{saat, ketika, kala, semenjak, sejak, waktu, setelah, sebelum}) then Score(S) +=good_clue
Untuk algoritme rule menggunakan kata tanya “KAPAN”, juga memiliki perbedaan dengan algoritme rule yang sudah dibuat oleh Ikhsani (2006). Selain pada pemberian nilai score, untuk kondisi if yang pertama, penulis menambahkan kata “sesudah”, “selama” dan “pada”. 2 “MANA” Score(S) += WordMatch(Q,S) If contains(S,LOCATION) and contains(S,{dalam, dari, pada}) then Score(S) += slam_dunk If contains(S,{dalam, then Score(S) += clue If
dari,
contains(S,LOCATION) Score(S) += good_clue
pada})
then
3 “MENGAPA” Score(S) += WordMatch(Q,S)
idKal
INT
-
kata
VARCHAR(100)
-
Kolom idKal mengacu pada kolom idKal pada tabel tb_kalimat. Hasil parsing dan stemming untuk masing-masing kalimat pada tabel tb_kalimat disimpan di kolom kata pada tabel tb_kata. Setelah proses Indexing selesai dilakukan diperoleh hasil seperti yang ada di Lampiran 2. Algoritme Rule Mengacu pada algoritme yang dibuat Riloff & Thelen (2000) dan algoritme yang diimplementasikan oleh Ikhsani (2006), penulis membuat algoritme rule dengan melakukan beberapa modifikasi. Algoritme rules yang dibuat dan diimplementasikan ke dalam sistem adalah algoritme “APA”, “SIAPA”, “KAPAN”, “MANA” dan “MENGAPA”. Seperti yang dituliskan di bawah. 1 “KAPAN” Score(S) += WordMatch(Q,S) If contains(S,{saat, ketika, kala, semenjak, sejak, waktu, setelah, sebelum, sesudah,selama, pada}) and contains(S, TIME) then Score(S) += slam_dunk If contains(Q,TIME) Or
If contains(S,{karena, sebab, akibat, maka, agar, supaya}) then Score(S) += clue
Untuk kueri pertanyaan dengan menggunakan kata tanya “MANA” algoritme rule yang dibuat sama dengan yang sudah dibuat oleh Ikhsani (2006). Sementara untuk kueri pertanyaan dengan menggunakan kata tanya “MENGAPA”, perbedaannya terletak pada kondisi if yaitu pemberian nilai score untuk dan penambahan kata “agar” dan “supaya”. 4 “SIAPA” Score(S) += WordMatch(Q,S) If
contains(Q,HUMAN) Score(S) += confident
then
Berbeda dengan kueri pertanyaan dengan kata tanya “APA”, algortima rule untuk kueri pertanyaan dengan kata tanya “SIAPA” yang diimplementasikan pada sistem yang dibangun oleh penulis berbeda dengan algoritme rule yang telah diimplementasikan oleh Ikhsani (2006). Perbedaannya terletak pada pemberian nilai score. 5 “APA” Score(S) += WordMatch(Q,S) If contains(Q,{tujuan, manfaat}) and contains(S,{untuk, guna}) then Score(S) += confident
8
Elseif contains(Q,{maksud}) and contains(S,{adalah, ialah, yaitu}) then Score(S) += slam_dunk
yang sudah dibuat sebelumnya oleh penulis. Antarmuka prototipe Question Answering System dapat dilihat pada Lampiran 3.
Elseif contains(S,{adalah, then Score(S) += confident
Penghitungan persentase hasil jawaban yang benar yang berhasil dikembalikan oleh sistem dilakukan untuk masing-masing tipe pertanyaan. Penghitungan dilakukan dengan cara membandingkan jumlah kalimat yang benar yang ditemukembalikan oleh sistem dengan jumlah keseluruhan kalimat yang ditemukembalikan oleh sistem pada masingmasing nilai ambang batas yang ditentukan.
ialah})
Algortima rule untuk kueri pertanyaan dengan kata tanya “APA” yang diimplementasikan pada sistem yang dibangun oleh penulis sama dengan algoritme rule yang telah diimplementasikan oleh Ikhsani (2006). Fungsi dan notasi yang digunakan dalam rules tersebut adalah sebagai berikut : • Notasi S = sentence (kalimat dokumen). • Notasi Q = query (kalimat kueri). • Fungsi contains adalah fungsi untuk memeriksa kalimat dokumen dan kalimat kueri pertanyaan, apakah mengandung kata yang telah ditentukan. •
Fungsi WordMatch adalah fungsi untuk memeriksa kesamaan kata.
•
Fungsi score adalah fungsi pemberian nilai pada kalimat dokumen.
Parsing dan WordMatch Algoritme parsing dokumen menjadi kalimat-kalimat berdasarkan separator titik (”.”) dibuat sendiri oleh penulis. Namun untuk parsing kalimat-kalimat dokumen dan kalimat kueri menjadi token-token serta algoritme stemming, penulis memanfaatkan algoritme yang sudah ada di Laboratorium Temu Kembali Informasi, Departemen Ilmu Komputer, Institut Pertanian Bogor (IPB). Algoritme WordMatch memanfaatkan algoritma yang sudah digunakan pada penelitian yang dilakukan oleh Ikhsani (2006). Algoritme WordMatch membandingkan token-token pada setiap kalimat dokumen dengan token-token pada kalimat kueri, yang telah melalui proses stemming. Setiap token yang sama akan menambahkan nilai clue (+3) pada kalimat dokumen tersebut. Hasil Percobaan Percobaan dilakukan pada seluruh dokumen yang ada. Dokumen yang digunakan sebanyak 60 dokumen. Seluruh dokumen diberi lima tipe kueri pertanyaan yang kalimat pertanyaannya menggunakan kata tanya “APA”, “SIAPA”, “KAPAN”, “MENGAPA” dan “MANA”. Untuk masing-masing tipe pertanyaan diberikan empat kueri pertanyaan
Yang dimaksud dengan hasil yang benar adalah jika ada jawaban yang relevan yang berhasil dikembalikan walaupun tidak memiliki nilai tertinggi. Hasil percobaan berdasarkan nilai ambang batas dapat dilihat pada Gambar 3 dan berdasarkan Recall Precision dapat dilihat pada Gambar 4. Evaluasi Question Answering Berdasarkan Nilai Ambang Batas
System
Tujuan dari temu kembali informasi yaitu menemukembalikan informasi yang relevan dan sesedikit mungkin menemukembalikan informasi yang tidak relevan. Hasil dari Gambar 3 dapat diuraikan sebagai berikut : 1 Tipe pertanyaan “KAPAN”, terlihat bahwa kinerja sistem paling tinggi dicapai saat pemakaian nilai ambang batas 26. Dengan ambang batas 26, persentase hasil yang benar mencapai 94,44 % dan nilai persentase yang paling kecil dicapai saat pemakaian ambang batas 3 yaitu 14,67 %. 2 Tipe pertanyaan “MANA”, terlihat bahwa kinerja sistem yang tinggi dicapai saat pemakaian nilai ambang batas 13, 15 dan 26. Dengan ambang batas 13, 15, persentase hasil yang benar mencapai 64,95% dan ambang batas 26 mencapai 76,8 %. Nilai persentase yang paling kecil dicapai saat pemakaian ambang batas 3 yaitu 21,55 %. 3 Tipe pertanyaan “MENGAPA”, terlihat bahwa kinerja sistem paling tinggi dicapai saat pemakaian ambang batas 7. Dengan ambang batas 7, persentase hasil yang benar mencapai 64,19% dan nilai persentase yang paling kecil dicapai saat pemakaian ambang batas 3 yaitu 7,22%. 4 Tipe pertanyaan “SIAPA”, terlihat bahwa kinerja sistem paling tinggi dicapai saat pemakaian ambang batas 26 dan 29.
9
100,0% 90,0% Persentase Relevansi (%)
80,0%
KAPAN MANA MENGAPA SIAPA APA
70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0% 3
6
7
9
10
12
13
15
23
26
29
Treshold of score
Gambar 3 Persentase hasil yang benar
1,0
Precision
0,9 0,8 0,7 0,6
KAPAN MANA
0,5
MENGAPA
0,4 0,3
SIAPA APA
0,2 0,1 0,0 0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
Recall
Gambar 4 Recall Precision Dengan ambang batas 26 dan 29, persentase hasil yang benar mencapai 50% dan nilai persentase yang paling kecil dicapai saat pemakaian ambang batas 3 yaitu 7,22 %. 5 Tipe pertanyaan “APA”, terlihat bahwa kinerja sistem kurang baik dengan nilai persentase yang sangat kecil. Nilai tertinggi yaitu sebesar 25,88% dicapai saat pemakaian ambang batas 9.
Nilai persentase untuk ambang batas 3 sangat kecil karena sistem mengembalikan sedikit jawaban yang benar dari semua kalimat jawaban yang terdapat pada relevance judgement dan mengembalikan semua kalimat pada basis data yang memiliki score = 3. Evaluasi Sistem Berdasarkan Rule Setiap rule yang dibuat pasti tidak memiliki kinerja yang sama dengan rule yang lain. Gambar 4 menunjukkan perbedaan
10
kinerja sistem untuk masing-masing menggunakan rumus Recall Precision.
rule
Berdasarkan Gambar 3 dan Gambar 4 terlihat bahwa kinerja sistem yang paling buruk adalah kueri pertanyaan dengan menggunakan kata tanya “APA”. Berbeda dari sistem yang telah diimplementasikan oleh Ikhsani (2007), rule APA memiliki kinerja yang paling baik dibandingkan dengan rules yang lain yaitu mencapai 81,94%. Sementara untuk sistem ini, persentase hasil jawaban yang benar hanya mencapai 25,88% dan nilai Recall Precision tertinggi mencapai 0.46. Hal ini disebabkan oleh rule “APA” yang hanya membatasi kalimat jawaban yang dikembalikan mengandung kata ialah, adalah, maksud, untuk, guna, manfaat dan tujuan. Sementara di dokumen yang digunakan sebagai dokumen uji jarang sekali ditemukan kalimat yang mengandung kata-kata tersebut. Dengan demikian sistem akan mengembalikan kalimat jawaban yang relevan lebih sedikit. dibandingkan dengan kalimat jawaban yang tidak relevan. Selain itu koleksi dokumen yang menggunakan bahasa yang tidak baku (tidak sesuai dengan EYD) juga mempengaruhi kinerja rule APA. Kinerja sistem yang paling tinggi dicapai oleh kueri pertanyaan “KAPAN”. Terlihat bahwa nilai persentase hasil jawaban yang benar mencapai 94,44 % dan nilai Recall Precision mencapai 0,93. Kenaikan cukup drastis dicapai pada nilai ambang batas 26 dan membuat nilai Recall Precision mencapai nilai tertinggi. Hal ini disebabkan oleh karena sistem mengembalikan kalimat jawaban yang relevan lebih banyak dibandingkan dengan kalimat jawaban yang tidak relevan dan rule yang digunakan sudah cukup baik. Kinerja sistem untuk kueri pertanyaan “MANA” sudah cukup baik dengan nilai Recall Precision tertinggi sebesar 0,88 dan nilai ambang batas tertinggi sebesar 76,86 %. Dengan menggunakan nilai ambang batas tertinggi yaitu 26, sistem mengembalikan cukup banyak kalimat jawaban yang relevan yang membuat nilai Recall Precision cukup tinggi. Untuk kueri pertanyaan “MENGAPA”, nilai Recall Precision yang dicapai sebesar 0.65 dan dicapai saat pemakaian nilai ambang batas = 7. Kueri pertanyaan “SIAPA”, nilai Recall Precision yang dicapai sebesar 0,84 dan nilai tersebut dicapai ketika menggunakan nilai
ambang batas = 26. Masih banyak kalimat jawaban yang tidak relevan yang dikembalikan oleh sistem. Hal ini mungkin disebabkan rule yang masih belum sempurna. Kelebihan dan Kekurangan Sistem Kelebihan dan kekurangan Question Answering System (QAS) yang telah dibangun adalah sebagai berikut : Kelebihan: •
Indexing dokumen hanya dilakukan satu kali yaitu di awal pembangunan sistem.
•
Kueri pertanyaan menggunakan bahasa yang alami.
•
Penggunaan nilai ambang batas yang memudahkan pengguna untuk menentukan sendiri score minimal yang harus dikembalikan dan memutuskan sendiri kalimat jawaban yang relevan menurut pengguna.
Kekurangan: •
Jika terdapat penambahan dokumen, maka harus dilakukan pengindeksan ulang.
•
Tidak dilakukan kajian terhadap makna semantik dalam dokumen.
•
Kamus yang digunakan belum dibuat otomatis tapi secara manual dibuat penulis.
•
Masih harus ada penyempurnaan untuk algoritme rule agar dokumen yang dikembalikan nilai persentasenya lebih bagus.
KESIMPULAN DAN SARAN Kesimpulan Berdasarkan penelitian yang dilakukan, dapat disimpulkan bahwa metode rule-based dapat diterapkan untuk implementasi QAS (Question Answering System) untuk temu kembali banyak dokumen berbahasa Indonesia. Kinerja sistem sangat berbeda satu sama lain. Kinerja sistem tertinggi dengan penggunaan nilai ambang batas 23, yang mengembalikan rata–rata 0,5 atau sebagian kalimat jawaban yang relevan dari keseluruhan kalimat jawaban yang relevan yang seharusanya dikembalikan oleh sistem. Berdasarkan evaluasi menggunakan ”KAPAN”, ”MANA”, ”MENGAPA”, ”SIAPA” dan ”APA”, rule “KAPAN” memiliki kinerja tertinggi.
11
Grossman
Saran Melihat pencapaian dari sistem yang sudah dibuat, ada beberapa hal yang harus ditambahkan atau diperbaiki untuk penelitian ke depan seperti : -
-
Indexing dapat dilakukan tidak hanya sekali yaitu dengan cara setiap sistem pertama kali dijalankan, maka hal pertama yang dilakukan oleh sistem adalah merefresh database atau mengosongkan semua isi tabel dalam basis data dan kemudian mengambil kembali data yang akan digunakan dari sumber data pada directory yang telah ditentukan. Kelemahannya, proses loading awal akan sangat lambat sehingga untuk mengatasinya harus didukung dengan perangkat keras yang memadai, Menambahkan Part of Speech Tagging (POS Tagging) untuk mengidentifikasi jenis kata (kata kerja, kata benda, kata sifat, dan sebagainya), agar kinerja sistem dapat ditingkatkan walau menggunakan dokumen yang kompleks,
-
Membuat kamus otomatis agar hasil yang dicapai lebih objektif,
-
Membuat WordMatch yang tidak hanya simple matching, misalnya dengan ukuran kesamaan,
-
Menyempurnakan kinerja sistem misalnya dengan melakukan ekspansi kueri.
DAFTAR PUSTAKA Anggraeny M. 2007. Implementasi Question Answering System dengan Metode RuleBased pada Terjemahan Al-Qur’an Surat Al-baqarah [skripsi]. Bogor. Fakultas Matematika dan Ilmu Pengetahuan Alam. Institut Pertanian Bogor. Baeza-Yates R, Ribeiro-Neto B. 1999. Modern Information Retrieval. AddisonWesley. Ballesteros, L. A, Xiaoyan-Li. 2007. Heuristic and Syntactic Scoring for Cross-language Question Answering NTCIR-6 Workshop Meeeting.
D.
IR
Book.
http://www.ir.iit.edu/~dagr/cs529/ir _book/ [12 Februari 2008]. Ikhsani N. 2006. Implementasi Question Answering System dengan Metode RuleBased untuk Temu Kembali Informasi Berbahasa Indonesia [skripsi]. Bogor: Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Krishnawati H, dkk. 2005. Bahasa Indonesia. Bogor: Institut Pertanian Bogor Lin J. 2004. An Introduction to Information Retrieval and Question Aswering. College of Information Studies University of Maryland. Porter M. 1980. The Porter Stemming Algorithm.
http://tartarus.org/~martin/PorterSte mmer/ index-old/ [12 Februari 2008]. Ridha A. 2002. Pengindeksan Otomatis dengan istilah Tunggal untuk Dokumen Berbahasa Indonesia [skripsi]. Bogor: Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Riloff E, Thelen M. 2000. A Rule-based Question Answering System for Reading Comprehension Tests. ANLP/NAACL2000 Workshop on Reading Comprehension Tests as Evaluation for Computer-Based Language Understanding System.
LAMPIRAN
13
Lampiran 1 Relevance Judgement Tipe Pertanyaan “ KAPAN ” No 1
Kueri Kapan panen gagal?
Kalimat jawaban yang diharapkan Tahun lalu kekeringan telah menyebabkan gagal panen di beberapa tempat, yang mengharuskan Indonesia mengimpor beras satu juta ton lebih. Jambi - Dalam kurun waktu satu tahun terakhir ini tercatat 643,13 hektar lahan pertanian rusak akibat banjir, 356,5 hektar tanaman padi gagal panen, dan 286,63 hektar diantaranya mengalami puso. Di balik berita kekeringan dan gagal panen yang dialami ribuan petani Indonesia akhir-akhir ini, sejatinya tersimpan tragedi yang jauh lebih dalam dan tragis. Pada bagian lain diperoleh keterangan, tanaman padi seluas 2.138 hektare di Jawa Tengah sejak awal tahun ini hingga 17 Februari 2004 puso atau gagal panen akibat terlanda banjir karena hujan terus-menerus di daerah ini. Karena hanya dalam waktu kurang dari enam bulan, bencana ini telah membuat puluhan ribu hektar sawah dan empang gagal panen.
2
Kapan merebak flu burung?
Mawardi di Sampit, Selasa mengatakan sebanyak 17 ribu ekor ayam ras yang mati diduga terserang flu burung itu sejak Desember 2003.
Nama Dokumen jawaban mediaindonesia160603
indosiar031203
kompas031003
suarakarya000000-011
indosiar260803-003
gatra270104-001
Pakistan pertama kali terserang flu burung pada 1994. "Saya mendengar sejak akhir Juli, flu burung sudah terdeteksi di Medan," kata Ketua Pusat Informasi Unggas Indonesia, drh. Hartono, kepada Rini Anggraini dari GATRA.
gatra300104
14
Lampiran 1 Lanjutan Tipe Pertanyaan “ KAPAN ” No
Kueri
Kalimat jawaban yang diharapkan
Nama Dokumen jawaban
Ini teramati pertama kali pada serangan virus flu burung di Hong Kong tahun 1997. Kasus serangan flu burung pada manusia paling anyar terjadi Januari ini, ketika tes laboratorium di Vietnam Utara menyimpulkan, H5N1 telah menelan enam nyawa.
gatra300104
Pertengahan Desember, ada anggota tim yang mengatakan virus itu AI, tapi ada juga yang menyebut flu burung. 3
Kapan bencana kekeringan?
Bencana kekeringan selama musim kemarau hingga pertengahan tahun 2003 juga Banyumas - Musim kemarau yang akan terjadi pada pertengahan bulan Juni mendatang akan mengakibatkan sekitar 2.400 hektare lahan pertanian di Kabupaten Banyumas, Jateng mengalami kekeringan. Bencana kekeringan tahun ini yang melanda hampir diseluruh Pulau Jawa, meski dinilai masih normal, namun cukup membuat masyarakat terutama petani waswas. Sementara itu, menurut Sutarto luas areal persawahan yang terkena bencana kekeringan pada tahun ini lebih rendah jika dibandingkan periode yang sama 2000.
indosiar170603
indosiar220503
indosiar260803-003
mediaindonesia050604001
Selama Januari-Mei 2004 bencana kekeringan melanda lahan pertanian hingga seluas 12. BELUM hilang dari ingatan masyarakat, bencana kekeringan pada 2002 yang memukul sebagian besar sentra produksi tanaman pangan dan daerah marginal di Indonesia.
mediaindonesia160603
15
Lampiran 1 Lanjutan Tipe Pertanyaan “ KAPAN ” No
Kueri
Kalimat jawaban yang diharapkan
Nama Dokumen jawaban
Tahun lalu kekeringan telah menyebabkan gagal panen di beberapa tempat, yang mengharuskan Indonesia mengimpor beras satu juta ton lebih. Sejak masa pemerintah kolonial, catatan panjang yang dihimpun Quinn dkk (1978) untuk periode 1830-1953 menunjukkan 93% bencana kekeringan di Indonesia memang terjadi pada masa El Nino.
mediaindonesia160603
Di era modern kini, Indonesia pernah terkena dampak paling buruk dari bencana El Nino Southern Oscillation (ENSO) itu pada 1997/1998 dan 1992/1993, berupa kekeringan amat hebat dan penurunan produksi lebih dari 30%. Bencana kekeringan terparah terjadi pada Oktober 2002 yang melanda 40.
gatra070203
Di balik berita kekeringan dan gagal panen yang dialami ribuan petani Indonesia akhir-akhir ini, sejatinya tersimpan tragedi yang jauh lebih dalam dan tragis.
Kompas031003
Jumlah ini mengalami peningkatan yang cukup menonjol, karena dua pekan sebelumnya, lahan yang terkena kekeringan 50.272 hektare.
mediaindonesia110703
Menurut Dedi, ancaman kekeringan itu, muncul saat perkiraan kemarau panjang tahun ini, menjadi kenyataan 4
Kapan terjadi banjir?
Selama musim hujan 2002/2003 diperkirakan 7.225 hektar (ha) areal persawahan di tanah air mengalami rusak berat (puso) akibat bencana banjir. Sedangkan berdasarkan waktunya, tambahnya, kerusakan berat akibat banjir terjadi selama Januari 2003.
republika090804-01
gatra070203
16
Lampiran 1 Lanjutan Tipe Pertanyaan “ KAPAN ” No
Kueri
Kalimat jawaban yang diharapkan
Nama Dokumen jawaban
Menyinggung potensi kehilangan hasil akibat bencana banjir selama MH 2002/2003, Sutarto menyatakan, diperkirakan dari luas areal yang terkena serangan lebih kurang 80.
gatra070203
Menurut Sutarto, meskipun secara prosentase areal persawahan yang mengalami kerusakan berat akibat bencana banjir selama MH 2002/2003 relatif kecil namun pemerintah tetap mengupayakan berbagai langkah antisipasi. Jambi - Dalam kurun waktu satu tahun terakhir ini tercatat 643,13 hektar lahan pertanian rusak akibat banjir, 356,5 hektar tanaman padi gagal panen, dan 286,63 hektar diantaranya mengalami puso.
indosiar031203
Bencana banjir yang terjadi di Provinsi Jambi sejak 10 April hingga November 2003, telah mengakibatkan kerusakan tananam padi seluas 643,13 hektar, dengan kerugian mencapai 1 milyar rupiah. Jumlah area pertanaman padi musim tanam 2002/2003 yang terkena banjir hingga 11 Februari 2003 mencapai 66.499 hektare. Sementara itu, Menteri Pertanian (Mentan) Bungaran Saragih mengakui, banjir yang terjadi pada tahun ini relatif masih kecil jika dibandingkan pada tahun 2002 lalu. Menyinggung potensi kehilangan hasil akibat bencana banjir selama musim hujan 2002/2003, Sutarto mengatakan, diperkirakan dari luas areal yang terkena serangan lebih kurang 80.000 ton sedangkan untuk sawah yang puso sekitar 28.000 ton.
mediaindonesia140203
17
Lampiran 1 Lanjutan Tipe Pertanyaan “ KAPAN ” No
Kueri
Kalimat jawaban yang diharapkan
Nama Dokumen jawaban
Departemen Pertanian memperkirakan selama musim hujan (MH) 2003/2004 hampir 50 ribu hektar (ha) sawah tanaman padi mengalami rusak berat atau puso akibat banjir. Menurut dia, meskipun luas areal pertanaman yang tergenang banjir maupun puso tahun ini meningkat dibanding MH 2002/2003, namun hal itu tidak menurunkan target produksi padi secara nasional untuk 2004. Selain Kabupaten Karawang, menurut Jafar, selama MH 2003/2004 areal persawahan di wilayah lain di Jawa Barat, khususnya kawasan Pantai Utara (Pantura) yang terkena banjir yakni Indramayu, Subang dan Bekasi. Dirjen Bina Produksi Tanaman Pangan Deptan, Jafar Hafsah di Kabupaten Karawang Jawa Barat, Jumat, menyatakan secara keseluruhan selama MH 2003/2003 atau dari Oktober 2003-Februari 2004 areal sawah yang tergenang banjir mencapai 197 "Luas areal yang terkena banjir maupun puso tahun ini memang meningkat dibanding tahun lalu karena intensitas curah hujang yang lebih tinggi," katanya ketika meninjau areal persawahan yang terkena banjir di Kabupaten Karawang 138 hektare di Jawa Tengah sejak awal tahun ini hingga 17 Februari 2004 puso atau gagal panen akibat terlanda banjir karena hujan terus-menerus di daerah ini
suarakarya000000-011
18
Lampiran 1 Lanjutan Tipe Pertanyaan “ KAPAN ” No
Kueri
Kalimat jawaban yang diharapkan
Nama Dokumen jawaban
Pada tahun 2003, tambahnya, selama Januari-Mei tercatat luas areal yang terkena banjir mencapai 124 "Luas areal pertanian yang terkena banjir tahun ini lebih tinggi dibanding dengan periode yang sama pada 2003," katanya
mediaindonesia050604
Tipe Pertanyaan “ MENGAPA ” No 1
Kueri Mengapa impor unggas dilarang?
Kalimat jawaban yang diharapkan Departemen Pertanian sedang mempertimbangkan melarang impor unggas dari Amerika Serikat (AS) setelah di negara itu juga ditemukan beberapa ternak unggas tertular wabah flu burung.
Nama Dokumen jawaban
mediaindonesia090204
Deptan sebelumnya telah menetapkan pelarangan impor unggas dan produk unggas dari 10 negara endemik tanpa masa tenggang kedatangan barang, terkait pemberantasan virus flu burung atau Avian Influenza (AI). Jepang menghentikan impor ayam dan daging unggas lainnya dari Kanada menyusul laporan mengenai munculnya virus flu burung di negara tersebut, demikian Kementrian Pertanian Jepang mengatakan, Jumat. 2
Mengapa Indonesia impor beras?
Tahun lalu kekeringan telah menyebabkan gagal panen di beberapa tempat, yang mengharuskan Indonesia mengimpor beras satu juta ton lebih.
mediaindonesia200204
mediaindonesia160603
19
Lampiran 1 Lanjutan Tipe Pertanyaan “ MENGAPA ” No
Kueri
Kalimat jawaban yang diharapkan Apabila produksi gabah tidak sampai mencapai 50 juta ton pada 2003, dengan tingkat konsumsi beras demikian tinggi maka Indonesia diperkirakan harus melakukan impor beras sekitar 1,5 juta ton atau lebih.
3
Mengapa gagal panen?
Nama Dokumen jawaban
mediaindonesia160603
"Bila panen gagal dan kita perlu mengimpor beras, maka Menperindag bisa menunjuk importir untuk mengimpor beras agar kebutuhan di dalam negeri bisa tetap dipenuhi," katanya.
suaramerdeka120104
Jawa Tengah - Ratusan hektar tanaman bawang merah di Tegal Jawa Tengah, gagal panen karena rusak di serang hama ulat.
indosiar010504
Jambi - Dalam kurun waktu satu tahun terakhir ini tercatat 643,13 hektar lahan pertanian rusak akibat banjir, 356,5 hektar tanaman padi gagal panen, dan 286,63 hektar diantaranya mengalami puso.
indosiar031203
Akibat dari semua itu, hasil pertanian pun tidak optimal, dan bahkan gagal panen. Kegagalan panen itu akibat banyaknya areal sawah yang terendam air akibat tersumbatnya saluran pembungan serta serangan hama (Kompas, 4/5). ''Yang sering mengakibatkan petani Bali gagal panen itu adalah akibat serangan hama, bukan karena faktor sistem pengairannya,'' ucap I Ketut Suwarja, petani di Desa Beraban Kekeringan yang berujung pada kegagalan panen terjadi di Bali jika embung benarbenar sudah kehabisan air.
kompas170504
republika080703
20
Lampiran 1 Lanjutan Tipe Pertanyaan “ MENGAPA ” No
Kueri
Kalimat jawaban yang diharapkan
Nama Dokumen jawaban
Di Tasikmalaya, ratusan hektare tanaman padi terancam puso (gagal panen) akibat kekeringan.
republika090804-01
Pada bagian lain diperoleh keterangan, tanaman padi seluas 2.138 hektare di Jawa Tengah sejak awal tahun ini hingga 17 Februari 2004 puso atau gagal panen akibat terlanda banjir karena hujan terus-menerus di daerah ini. Akibatnya, lahan jagung rusak dan puluhan hektare tanaman kacang gagal panen.
suarapembaruan120104
Tahun lalu kekeringan telah menyebabkan gagal panen di beberapa tempat, yang mengharuskan Indonesia mengimpor beras satu juta ton lebih.
mediaindonesia160603
Karena hanya dalam waktu kurang dari enam bulan, bencana ini telah membuat puluhan ribu hektar sawah dan empang gagal panen. 4
Mengapa pupuk langka?
suarakarya000000-011
Cirebon, Kompas - Kelangkaan pupuk urea yang terjadi di wilayah Kabupaten Cirebon, Jawa Barat, selama dua bulan terakhir ini, bukan disebabkan oleh percepatan awal musim tanam (MT) gadu yang dilakukan oleh para petani.
indosiar260803-003
kompas210504
Beberapa waktu lalu, Kepala Pemasaran Pusri Kabupaten (PPK) Cirebon Gunawan Jusuf pernah mengatakan, kelangkaan pupuk di wilayah Cirebon disebabkan ketidaksesuaian data kebutuhan pupuk yang dimiliki Pusri sebagai produsen dengan kenyataan kebutuhan petani di lapangan. Berdasarkan pantauan Deperindag, langkanya pupuk di Jawa Barat akibat permainan pengecer yang menimbun pupuk.
indosiar190504-001
21
Lampiran 1 Lanjutan Tipe Pertanyaan “ MENGAPA ” No
Kueri
Kalimat jawaban yang diharapkan Deperindag mengindikasikan, kelangkaan pupuk di Jawa Barat, lebih disebabkan banyaknya pembelian pupuk oleh pengecer dari daerah yang belum memasuki masa pemupukan. Disinyalir terjadinya kelangkaan pupuk di lapangan kerena pupukpupuk urea yang dijual pasaran dibeli para pedagang atau distributor dari Banten. Kelangkaan tersebut memang terjadi akibat banyaknya agenagen penyalur pupuk yang sulit untuk dikontrol. Kelangkaan pupuk diberbagai daerah diperkirakan akibat penyimpangan distribusi pupuk yang sebenarnya subdisi pemerintah ke daerah lain.
Nama Dokumen jawaban indosiar190504-001
indosiar200104
indosiar260504
indosiar290604
Penyebab lainnya adalah kebijakan subdisi gas yang diberikan kepada pabrik yang tidak lagi berada di jalur distribusi sehingga turut memicu kelangkaan pasokan pupuk. Tangerang - Para petani di Tangerang, Banten, belakangan mengeluh sulit mendapat pupuk akibat langkanya persediaan di agen-agen pengecer Semua kematian akibat flu burung di Vietnam dinyatakan sebagai akibat dari penularan dari ternak unggas ke manusia yang kini merebak di Vietnam wilayah utara
indosiar060204
suaramerdeka200104
22
Lampiran 1 Lanjutan Tipe Pertanyaan “ MANA ” No 1
Kueri
Kalimat jawaban yang diharapkan
Mana merebak flu burung?
Sekurangnya 17 ribu ayam ras milik peternak diwilayah kabupaten Kotawaringin Timur (Kotim) Kalimantan Tengah mati dan kuat dugaan akibat terserang virus avian influenza (AI) atau yang lagi ramai disebut penyakit flu burung.
Nama Dokumen jawaban
gatra270104-001
Sementara itu, berita tentang ternak ayam di Sampit terserang penyakit flu burung telah menyebar di masyarakat . Pemerintah Pakistan, Senin menyatakan, ribuan ayam di wilayah selatan negara tersebut mati diserang flu burung. Negara yang paling parah terserang adalah Thailand dan Vietnam, dimana sedikitnya tujuh orang tewas dan 13,9 unggas mati atau disisihkan.
gatra270104-002
Turunan-turunan flu burung juga dideteksi di Kamboja, Indonesia, Jepang, Laos, Korea Selatan dan Taiwan. Pakistan pertama kali terserang flu burung pada 1994. Flu burung atau avian influenza (AI) memang sedang jadi momok di seantero Asia. Wabah itu mulai merebak awal 2003 di Hong Kong, kemudian menerpa Korea Selatan pada akhir Desember lalu. Setelah itu merambat ke Vietnam, Jepang, Thailand, Indonesia, Pakistan, Laos, dan Cina. Enam orang Vietnam, lima di antaranya bocah, dan dua anak di Thailand meninggal dalam dua pekan terakhir ini akibat flu burung.
gatra300104
23
Lampiran 1 Lanjutan Tipe Pertanyaan “ MANA ” No
Kueri
Kalimat jawaban yang diharapkan
Nama Dokumen jawaban
"Saya mendengar sejak akhir Juli, flu burung sudah terdeteksi di Medan," kata Ketua Pusat Informasi Unggas Indonesia, drh.
gatra300104
Ini teramati pertama kali pada serangan virus flu burung di Hong Kong tahun 1997. MoU tersebut merupakan bentuk dari perhatian FAO untuk penanggulangan flu burung di Indonesia. Tilia (37), salah seorang peternak ayam di kabupaten Donggala ketika ditemui kemarin (Senin, 23/02/2004) mengatakan semenjak merebaknya flu burung sangat berdampak terhadap usaha ternak ayam maupun telur di daerahnya.
indosiar020304
indosiar240204
Wabah flu burung yang melanda Indonesia, ternyata berdampak terhadap usaha peternakan ayam, termasuk di kabupaten Donggala, Sulawesi Tengah. Departemen Pertanian sedang mempertimbangkan melarang impor unggas dari Amerika Serikat (AS) setelah di negara itu juga ditemukan beberapa ternak unggas tertular wabah flu burung. Sepuluh negara yang oleh Organisasi Kesehatan Hewan Dunia (OIE) dinyatakan terkena wabah AI yakni Jepang, Korsel, Vietnam, Hongkong, RRC, Laos, Taiwan, Thailand, Pakistan dan Kamboja. Menurut Bungaran, sebenarnya bukan hanya dari AS Deptan mempertimbangkan melarang impor unggas tapi juga dari seluruh negara untuk menghindari makin meluasnya wabah flu burung di Indonesia.
mediaindonesia090204
24
Lampiran 1 Lanjutan Tipe Pertanyaan “ MANA ” No
Kueri
Kalimat jawaban yang diharapkan Delapan provinsi Thailand kini telah terjangkit penyakit Flu Burung baru, penyakit yang merusak unggas Asia awal tahun ini dan kini mungkin telah kembali lagi ke Bangkok, kata seorang pejabat Kementerian Pertanian, Rabu.
Nama Dokumen jawaban
mediaindonesia140704
"Flu Burung dikonfirmasi telah melanda dua peternakan di propinsi Sukothai dan Chiang Rai," kata Yukol Limlaemthong, Kepala Bagian Peternakan, departemen tersebut, kepada para wartawan. Minggu lalu, penyebaran virus Flu Burung H5N1 dikonfirmasi di dua propinsi wilayah tengah, yang mengakhiri harapan Thailand bahwa penyebaran Flu Burung yang menghancurkan peternakanpeternakan unggas di Asia sebelumnya tahun ini telah lenyap.
mediaindonesia140704
Jepang menghentikan impor ayam dan daging unggas lainnya dari Kanada menyusul laporan mengenai munculnya virus flu burung di negara tersebut, demikian Kementrian Pertanian Jepang mengatakan, Jumat.
mediaindonesia200204
Sejauh ini belum ada laporan mengenai korban flu burung di Malaysia
republika120704-005
Budi mensinyalir, masuknya wabah flu burung ke Indonesia pada akhir 2003 terjadi akibat Guna mencegah menyebarnya kembali wabah flu burung di Indonesia, pemerintah hanya menunjuk beberapa perusahaan importir obat hewan yang boleh memasukan vaksin flu burung dari luar negeri.
republika190604-005
25
Lampiran 1 Lanjutan Tipe Pertanyaan “ MANA ” No
Kueri
Kalimat jawaban yang diharapkan China, kata dia, diduga masih tergolong negara yang terjangkit wabah penyakit mulut dan kuku (PMK) serta penyakit flu burung ''Ini seperti pukulan kedua bagi para peternak setelah sebelumnya terkena imbas dari mewabahnya virus flu burung di Indonesia,'' kata Ronny kepada Republika tadi malam.
Nama Dokumen jawaban republika190604-005
republika210504-001
Wabah flu burung pernah melanda Tangerang sejak pertengahan September lalu. Seorang remaja laki-laki tewas akibat flu burung di Thailand. Sejauh ini India belum melaporkan kasus flu burung, namun Pakistan telah terserang strain flu burung yang lebih lunak yang tidak bisa menularkan penyakit itu ke manusia
suaramerdeka160204
suaramerdeka160204
PBB telah mendesak negaranegara Asia agar jangan kendur dalam perangnya melawan flu burung karena epidemi tersebut masih menyebar di Kamboja, China, Indonesia, dan Laos. Seorang gadis delapan tahun dikonfirmasikan sebagai orang kelima yang tewas di Vietnam akibat wabah flu burung WHO menyatakan sangat mengkhawatirkan kondisi menghebatnya penularan flu burung di Vietnam dan telah mengeluarkan sejumlah aturan yang diketahui sebagai panduan bagi daerah yang terkena pandemik influenza. 2
Mana bencana kekeringan?
Palu - Bencana kekeringan ternyata tidak hanya melanda areal produktif di sejumlah kabupaten di Sulawesi Tengah.
suaramerdeka200104
indosiar010903
26
Lampiran 1 Lanjutan Tipe Pertanyaan “ MANA ” No
Kueri
Kalimat jawaban yang diharapkan
Nama Dokumen jawaban
Bahkan Kota Palu yang sebagian warganya hidup dari pertanian pun kebagian. Dari 38.694 hektar areal produktif yang ada di Kota Palu, 1113 hektar diantaranya dilanda kekeringan. ''Areal terluas yang dilanda kekeringan itu berada di Mamboro, 327 hektar dan Pantoloan, 299 hektar,''jelasnya.
indosiar010903
Dalam surat tersebut, disampaikan sehubungan dengan bencana kekeringan yang melanda sebagian wilayah Sulteng termasuk Kota Palu maka kiranya dapat dialokasikan dana anggaran untuk menanggulangi keadaan tersebut Jawa Barat - Puluhan hektar sawah diwilayah Cirebon, Kuningan dan Indramayu terancam puso karena kekeringan. Sekitar 50 ribu hektar lahan tanaman padi di Indramayu, Kuningan, Majalengka dan Cirebon, dilanda kekeringan akibat berkurangnya curah hujan yang turun diwilayah tersebut.
indosiar170603
Bencana kekeringan selama musim kemarau hingga pertengahan tahun 2003 juga terjadi di Kabupaten Majalengka. Banyumas - Musim kemarau yang akan terjadi pada pertengahan bulan Juni mendatang akan mengakibatkan sekitar 2.400 hektare lahan pertanian di Kabupaten Banyumas, Jateng mengalami kekeringan. Lahan pertanian yang dipastikan mengalami kekeringan itu terdapat di Kecamatan Rawalo, Jatilawang, Wangon, Purwojati, Ajibarang, Jatilawang, Lumbir dan Gumelar.
indosiar220503
27
Lampiran 1 Lanjutan Tipe Pertanyaan “ MANA ” No
Kueri
Kalimat jawaban yang diharapkan Menurut Budi, lokasi kekeringan di Kecamatan Rawalo tepatnya akan terjadi di Desa Tambaknegara dengan luas 60 ha, Desa Rawalo 45 ha, Desa Menganti 45 ha, Desa Losari 40 ha, Desa Karanglewas 15 ha, dan Desa Adisara seluas 10 ha. Mereka kehilangan penghasilan karena tidak ada lagi ikan yang ditangkap setelah empangempang yang ada mengalami kekeringan.
Nama Dokumen jawaban
indosiar220503
indosiar260803-003
Bencana kekeringan tahun ini yang melanda hampir diseluruh Pulau Jawa, meski dinilai masih normal, namun cukup membuat masyarakat terutama petani was-was. Musibah ini juga diderita Seneng (56), warga Wonogiri, Jawa Tengah, lahan pertanian yang dikelolanya bertahuntahun kini terpaksa ditinggalkan karena kering kerontang kekurangan air
indosiar260803-003
Tagor menyebutkan, penyuluhan mengenai antisipasi kemarau itu diprioritaskan di tiga kabupaten yang selama ini selalu terkena kekeringan seperti Kabupaten Batanghari, Bungo dan sebagian Tanjungjabung Timur. Sentra-sentra pangan di tiga kabupaten itu selalu terkena kekeringan karena petani banyak menggarap lahan rawa, sawah tadah hujan dan ladang di kawasan DAS Daerah pertanian tanaman pangan yang selalu terkena kekeringan di tiga kabupaten itu, selama ini mencapai 240 hektare atau sekitar 1,5 persen dari luas areal tanaman pangan sekitar 16
indosiar310504
28
Lampiran 1 Lanjutan Tipe Pertanyaan “ MANA ” No
Kueri
Kalimat jawaban yang diharapkan Pada kesempatan itu Mentan Bungaran Saragih juga mengungkapkan, kekeringan akan dibahas secara khusus dalam rapat Kabinet, karena kekeringan yang terjadi di beberapa wilayah Indonesia lebih banyak sebagai akibat persoalan di luar Departemen Pertanian, seperti irigasi, kehutanan, lapangan pekerjaan dan infrasturktur pedesaan.
Nama Dokumen jawaban
kompas250803
Sementara itu, menurut Sutarto luas areal persawahan yang terkena bencana kekeringan pada tahun ini lebih rendah jika dibandingkan periode yang sama 2003.
mediaindonesia050604001
catatan panjang yang dihimpun Quinn dkk (1978) untuk periode 1830-1953 menunjukkan 93% bencana kekeringan di Indonesia memang terjadi pada masa El Nino.
mediaindonesia160603
Sementara itu selama periode yang sama luas areal persawahan yang puso akibat bencana kekeringan mencapai 12.236 ha dari lahan pertanaman seluas 52.637 ha yang terkena kekeringan. Areal persawahan yang terluas mengalami puso akibat kekeringan yakni di Sulawesi Tenggara, disusul Jabar, Jatim dan sisanya meliputi Sumsel, Jateng, Yogyakarta, Sulsel, Jamb, Sumut, Kalsel dan Kaltim.
gatra070203
29
Lampiran 1 Lanjutan Tipe Pertanyaan “ MANA ” No
Kueri
Kalimat jawaban yang diharapkan Di balik berita kekeringan dan gagal panen yang dialami ribuan petani Indonesia akhir-akhir ini, sejatinya tersimpan tragedi yang jauh lebih dalam dan tragis. Peminggiran pembangunan sektor pertanian yang telah dilakukan selama 30 tahun menempatkan para pelaku di sektor pertanian (petani) dalam kondisi yang hampir "sekarat".
Nama Dokumen jawaban kompas031003
Seluas 89.812 hektare lahan pertanian di 23 daerah tingkat dua di Jabar telah terkena kekeringan, dan sebagian di antaranya sudah mengalami puso. Jadi, seluruh lahan pertanian yang sudah mengalami dan terancam akan mengalami kekeringan di Jabar mencapai 123.269 hektare. Dia menambahkan, kekeringan yang paling parah mengancam daerah persawahan Indramayu dengan luas 12.363 hektare.
mediaindonesia110703
Kekeringan terparah kedua melanda daerah persawahan Majalengka seluas 5.799 hektare. Sedangkan kekeringan yang melanda di sejumlah daerah di Jawa Timur (Jatim) bukan merupakan bencana, karena masih dalam batas toleransi. Dia menyebut daerah yang dinilai parah adalah sepanjang Bengawan Solo, yakni Bojonegoro dan Tuban. Saya akui di beberapa daerah ada kekeringan, tapi belum bisa dikatakan sebagai bencana, kata Gubernur Jawa Timur Imam Utomo di Surabaya, kemarin
mediaindonesia110703
30
Lampiran 1 Lanjutan Tipe Pertanyaan “ MANA ” No
Kueri
Kalimat jawaban yang diharapkan Kekeringan yang berujung pada kegagalan panen bisa terjadi di Bali jika embung (telaga) benarbenar sudah kehabisan air.
Nama Dokumen jawaban republika080703
Di Tasikmalaya, ratusan hektare tanaman padi terancam puso (gagal panen) akibat kekeringan. Catatan 2003 lalu menyebutkan, wilayah Kecamatan Kawalu merupakan daerah yang paling luas mengalami kekeringan yakni 262 hektare.
republika090804-01
Disusul Kecamatan Cibeureum 131 hektare dan Indihiang 62 hektare. Hampir sebagian besar sawah di wilayah itu kering dan tak ada tanaman 3
Mana kelangkaan pupuk?
Brebes - Kelangkaan dan mahalnya harga pupuk dan obatobatan pertanian di Jawa Tengah dimanfaatkan orang tidak bertanggung jawab dengan mengedarkan pestisida palsu. Tangerang - Para petani di Tangerang, Banten, belakangan mengeluh sulit mendapat pupuk akibat langkanya persediaan di agen-agen pengecer.
suaramerdeka130602
indosiar010704
indosiar060204
Menyusul adanya kelangkaan pupuk dibeberapa wilayah, para petani di daerah Mauk Tangerang, mengaku kesulitan mendapatkan pupuk sejak bulan lalu Agen pengecer pupuk Sri Wijaya mengakui, langkanya pupuk di Mauk dalam sebulan belakangan ini. Berdasarkan pantauan Deperindag, langkanya pupuk di Jawa Barat akibat permainan pengecer yang menimbun pupuk.
indosiar060204
indosiar190504-001
31
Lampiran 1 Lanjutan Tipe Pertanyaan “ MANA ” No
Kueri
Kalimat jawaban yang diharapkan
Nama Dokumen jawaban
Departemen Perindustrian dan Perdagangan meminta produsen pupuk untuk segera memasok pupuk dibeberapa daerah di Jawa Barat yang mengalami kelangkaan pupuk.
indosiar190504-001
Deperindag mengindikasikan, kelangkaan pupuk di Jawa Barat, lebih disebabkan banyaknya pembelian pupuk oleh pengecer dari daerah yang belum memasuki masa pemupukan. Bandar Lampung - Kelangkaan pupuk urea pada beberapa daerah di Lampung, seperti Tangganu dan Tulang Bawang, akan segera diatasi.
indosiar200104
Disinyalir terjadinya kelangkaan pupuk di lapangan kerena pupukpupuk urea yang dijual pasaran dibeli para pedagang atau distributor dari Banten. Diketahui bahwa Banten saat ini mengalami kelangkaan pupuk urea. Jakarta - Kelangkaan pupuk yang terjadi di beberapa wilayah Indonesia, seperti di Jawa Timur, hanya terjadi secara sporadis.
indosiar260504
Mengenai kelangkaan pupuk di Cirebon yang hanya terjadi di beberapa kecamatan, Bungaran Saragih menegaskan bahwa produsen pupuk setempat telah menutupi kelangkaan tersebut dengan pengiriman pupuk dari luar wilayah Cirebon. Untuk kelangkaan pupuk di wilayah Jawa Timur, menurut Rini, hal itu merupakan tanggungjawab produsen PT Pupuk Pusri.
indosiar260504
32
Lampiran 1 Lanjutan Tipe Pertanyaan “ MANA ” No
Kueri
Kalimat jawaban yang diharapkan
Nama Dokumen jawaban
Dalam beberapa bulan terakhir sejumlah wilayah mengalami kelangkaan pupuk, akibatnya harga di pasaran semakin melambung. Kelangkaan pupuk di Pantura, Jawa Barat tersebut mulai dirasakan pertengahan Juni yang lalu, ketika stok pupuk di gudang Petro Kimia Gresik yang ada di pelabuhan, Cirebon menipis.
indosiar290604
Di Jambi dilaporkan bahwa kelangkaan berbagai jenis pupuk di provinsi termasuk pupuk bersubdisi akhir-akhir ini semakin mencemaskan. Kelangkaan pupuk diberbagai daerah diperkirakan akibat penyimpangan distribusi pupuk yang sebenarnya subdisi pemerintah ke daerah lain. Kelangkaan pupuk urea yang terjadi di wilayah Kabupaten Cirebon, Jawa Barat, selama dua bulan terakhir ini, bukan disebabkan oleh percepatan awal musim tanam (MT) gadu yang dilakukan oleh para petani
kompas210504
Beberapa waktu lalu, Kepala Pemasaran Pusri Kabupaten (PPK) Cirebon Gunawan Jusuf pernah mengatakan, kelangkaan pupuk di wilayah Cirebon disebabkan ketidaksesuaian data kebutuhan pupuk yang dimiliki Pusri sebagai produsen dengan kenyataan kebutuhan petani di lapangan. Sementara itu, Kepala Pemasaran Pusri Daerah (PPD) Jawa Barat, Herfian Idrus, berdalih, keterlambatan pasokan pupuk untuk Jawa Barat turut disebabkan oleh bertambahnya daerah yang menjadi tanggung jawab PT Pusri.
kompas210504
33
Lampiran 1 Lanjutan Tipe Pertanyaan “ MANA ” No 4
Kueri Mana gagal panen?
Kalimat jawaban yang diharapkan Tahun lalu kekeringan telah menyebabkan gagal panen di beberapa tempat, yang mengharuskan Indonesia mengimpor beras satu juta ton lebih.
Nama Dokumen jawaban mediaindonesia160603
Jawa Tengah - Ratusan hektar tanaman bawang merah di Tegal Jawa Tengah, gagal panen karena rusak di serang hama ulat.
indosiar010504
Jambi - Dalam kurun waktu satu tahun terakhir ini tercatat 643,13 hektar lahan pertanian rusak akibat banjir, 356,5 hektar tanaman padi gagal panen, dan 286,63 hektar diantaranya mengalami puso.
indosiar031203
Di balik berita kekeringan dan gagal panen yang dialami ribuan petani Indonesia akhir-akhir ini, sejatinya tersimpan tragedi yang jauh lebih dalam dan tragis.
kompas031003
Seperti diungkapkan oleh Ketua Forum Komunikasi Kepala Desa (FKKD) Kecamatan Tirtayasa, Kabupaten Serang H Fadhil, ribuan hektar sawah di kawasan pantai utara Banten mengalami gagal panen.
kompas170504
''Yang sering mengakibatkan petani Bali gagal panen itu adalah akibat serangan hama, bukan karena faktor sistem pengairannya,'' ucap I Ketut Suwarja, petani di Desa Beraban.
republika080703
Kekeringan yang berujung pada kegagalan panen bisa terjadi di Bali jika embung (telaga) benarbenar sudah kehabisan air. Di Tasikmalaya, ratusan hektare tanaman padi terancam puso (gagal panen) akibat kekeringan.
republika090804-01
34
Lampiran 1 Lanjutan Tipe Pertanyaan “ MANA ” No
Kueri
Kalimat jawaban yang diharapkan Pada bagian lain diperoleh keterangan, tanaman padi seluas 2.138 hektare di Jawa Tengah sejak awal tahun ini hingga 17 Februari 2004 puso atau gagal panen akibat terlanda banjir karena hujan terus-menerus di daerah ini.
Nama Dokumen jawaban suarakarya000000-011
Tipe Pertanyaan “ SIAPA ” No 1
Kueri Siapa pemasok pupuk?
Kalimat jawaban yang diharapkan Menurut Sathori, alasan pihak PT Pupuk Sriwidjaja (Pusri) yang menyalahkan percepatan tanam tersebut sama sekali tidak berdasar, karena seharusnya sebagai penanggung jawab pemasok pupuk di wilayah Cirebon, Pusri harus setiap saat menyediakan kebutuhan pupuk petani.
Nama Dokumen jawaban
kompas210504
Akan tetapi, karena kerusakan pabrik pupuk milik PT Pupuk Iskandar Muda (PIM) di Aceh yang seharusnya bertanggung jawab terhadap Sumatera Utara (Sumut) dan NAD, dan keterbatasan kemampuan PT Pupuk Kujang untuk memenuhi kebutuhan pupuk di seluruh Jawa Barat, akhirnya Pusri ikut memasok kebutuhan pupuk bagi Sumut, NAD, dan Jabar. Departemen Perindustrian dan Perdagangan meminta produsen pupuk untuk segera memasok pupuk dibeberapa daerah di Jawa Barat yang mengalami kelangkaan pupuk.
indosiar190504-001
35
Lampiran 1 Lanjutan Tipe Pertanyaan “ SIAPA ” No
Kueri
Kalimat jawaban yang diharapkan Jawa Barat - Departemen Perindustrian dan Perdagangan meminta produsen pupuk untuk segera memasok kebutuhan ke petani yang saat ini tengah kesulitan mendapatkan pupuk Berdasarkan kerjasama operasi atau KSO yang telah ditandatangani oleh PT Petro Kimia Gresik pada tahun ini, Pusri mendapat alokasi memasok pupuk urea ke Jawa Timur sebanyak 200 ribu ton.
2
Siapa pakar flu burung?
"Jika benar, belum ada laporan tentang jenis binatang seperti itu yang mati akibat flu burung," kata Profesor Malik Peiris, seorang pakar flu burung di Universitas Hong Kong.
Nama Dokumen jawaban indosiar190504-001
indosiar290604
suaramerdeka160204
Para pakar berpendapat virus tersebut, yang telah memaksa pemotongan sekitar 80 juta ayam di kawasan itu, sebagian besar di Vietnam dan Thailand, mungkin disebarkan oleh burung-burung pendatang. 3
Siapa menteri pertanian?
Menteri Pertanian, Bungaran Saragih di Jakarta, Senin (25/8) menyatakan, kebijakan pemutihan terhadap kredit petani bukan kewenangan Departemen Pertanian, tetapi terkait dengan Menteri Negara Koperasi dan UKM serta pihak perbankan sebagai penyalur.
kompas250803
Menteri Pertanian (Mentan) Bungaran Saragih mengatakan, perkembangan indeks Produk Domestik Bruto (PDB) membuktikan bahwa sektor pertanian dan peternakan mampu pulih lebih awal dibanding sektor ekonomi secara keseluruhan.
gatra220604
36
Lampiran 1 Lanjutan Tipe Pertanyaan “ SIAPA ” No
4
Kueri
Siapa korban flu burung?
Kalimat jawaban yang diharapkan
Nama Dokumen jawaban
Namun seperti dikatakan Menteri Pertanian Malaysia, Muhyiddin Yassin, Malaysia berada dalam kondisi siaga tinggi menyusul munculnya kembali penyakit tersebut di beberapa negara Asia, seperti di Cina, Vietnam, dan Kamboja.
republika120704-005
Sementara itu, Menteri Pertanian (Mentan) Bungaran Saragih mengakui, banjir yang terjadi pada tahun ini relatif masih kecil jika dibandingkan pada tahun 2002 lalu.
mediaindonesia140203
Sementara itu, uang ganti bagi peternak ayam yang menjadi korban flu burung, hingga kini belum ada yang disalurkan.
indosiar020304
Seorang remaja laki-laki tewas akibat flu burung di Thailand, sehingga jumlah korban tewas akibat wabah mematikan itu di Asia menjadi 20 orang, kemarin. Dia menjadi korban terakhir virus H5N1 yang hingga saat ini menewaskan enam orang Thailand dan 14 Vietnam. Ekaphan dan korban-korban lain dari Thailand - empat anak berusia enam dan tujuh tahun dan seorang wanita berusia 58 tahun diduga terjangkit virus tersebut setelah melakukan kontak langsung dengan unggas yang terinfeksi penyakit mematikan itu.
suaramerdeka160204
37
Lampiran 1 Lanjutan Tipe Pertanyaan “ APA ” Kueri
No 1
2
Apa keuntungan pertanian organik?
Apa flu burung?
Kalimat jawaban yang diharapkan
Nama Dokumen jawaban
Bertani dengan cara organis mempunyai banyak keuntungan terutama untuk menjaga kelestarian alam dan memperoleh hasil yang lebih mahal dibanding dengan cara konvensional.
indosiar250204-002
Tekad ini muncul karena hasil panen raya perdana padi seluas 25 hektar yang mereka tanam dengan pupuk organik, Desember 2001, berhasil dan memiliki nilai ekonomi yang lebih tinggi dan tentu menguntungkan kelestarian lahan pertanian
kompas300502-001
Sekurangnya 17 ribu ayam ras milik peternak diwilayah kabupaten Kotawaringin Timur (Kotim) Kalimantan Tengah mati dan kuat dugaan akibat terserang virus avian influenza (AI) atau yang lagi ramai disebut penyakit flu burung.
gatra270104-001
"Namun kasus kematian massal ayas ras di Kotim kemungkinan besar akibat akibat serangan virus avian influenza yang bila menular kepada manusia namanya menjadi flu burung," ucapnya.
3
Apa puso?
Sedangkan flu burung adalah penyakit dari hewan yang sudah menyerang manusia.
gatra300104
JAKARTA--MIOL: Departemen Pertanian memperkirakan selama lima bulan pertama 2004 atau Januari-Mei luas lahan pertanian yang mengalami puso atau rusak berat akibat bencana banjir mencapai 45.871 hektar.
kompas250803
Selama musim hujan 2002/2003 diperkirakan 7.225 hektar (ha) areal persawahan di tanah air mengalami rusak berat (puso) akibat bencana banjir.
gatra070203
38
Lampiran 1 Lanjutan Tipe Pertanyaan “ APA ” No
4
Kueri
Pupuk apa yang langka?
Kalimat jawaban yang diharapkan
Nama Dokumen jawaban
Di Tasikmalaya, ratusan hektare tanaman padi terancam puso (gagal panen) akibat kekeringan.
republika090804-01
Kegembiraan dan optimisme itu terpancar karena munculnya tekad yang kuat dari para petani di lereng Gunung Semeru ini melepaskan ketergantungannya pada pupuk kimia seperti urea yang menjadi langka dan tidak terjangkau harganya saat musim tanam tiba
kompas300502-001
Cirebon, Kompas - Kelangkaan pupuk urea yang terjadi di wilayah Kabupaten Cirebon, Jawa Barat, selama dua bulan terakhir ini, bukan disebabkan oleh percepatan awal musim tanam (MT) gadu yang dilakukan oleh para petani Disinyalir terjadinya kelangkaan pupuk di lapangan kerena pupukpupuk urea yang dijual pasaran dibeli para pedagang atau distributor dari Banten
kompas210504
indosiar200104
Diketahui bahwa Banten saat ini mengalami kelangkaan pupuk urea com, Bandar Lampung Kelangkaan pupuk urea pada beberapa daerah di Lampung, seperti Tangganu dan Tulang Bawang, akan segera diatasi Para petani tebu di Cirebon, Jawa Barat, kini harus pula menghadapi kebingungan, karena kelangkaan pupuk ZA, ditengah kebutuhan pupuk untuk kepentingan taman
indosiar290604
39
Lampiran 2 Hasil Indexing sebagai basis data dan data uji sistem No.
Nama Dokumen
Jumlah Kalimat (Kalimat)
Jumlah Kata (Kata)
1
suarapembaruan120104
33
443
2
suaramerdeka130602
10
235
3
situshijau280404-004
27
521
4
republika190604-005
26
285
5
republika120704-005
37
765
6
republika080703
38
581
7
mediaindonesia160603
31
296
8
mediaindonesia110703
31
433
9
kompas300502-001
69
1027
10
kompas250803
39
514
11
kompas210504
40
497
12
kompas050802
63
902
13
kompas010499
11
158
14
indosiar290604
39
498
15
indosiar250204-002
36
639
16
indosiar200104
61
855
17
indosiar060204
22
370
18
indosiar010903
4
103
19
gatra300104
39
958
20
gatra220604
10
222
21
suaramerdeka200104
29
311
22
suaramerdeka120104
64
971
23
republika290704-002
12
132
24
republika190504-001
27
506
25
republika090804-01
55
930
26
mediaindonesia240503
44
427
27
mediaindonesia140704
48
954
28
mediaindonesia090204
15
294
29
kompas270502-002
49
1055
30
kompas241203
16
299
31
kompas170504
28
490
40
Lampiran 2 Lanjutan No.
Nama Dokumen
Jumlah Kalimat (Kalimat)
Jumlah Kata (Kata)
32
kompas031003
57
1122
33
jurnal000000-017
40
807
34
indosiar260803-003
17
252
35
indosiar240204
47
938
36
indosiar190504-001
59
857
37
indosiar031203
61
1103
38
indosiar010704
13
182
39
gatra270104-002
15
248
40
gatra190802
38
73
41
suaramerdeka160204
12
231
42
suarakarya000000-011
9
163
43
republika210504-001
11
163
44
republika131203-001
16
214
45
republika090604
29
387
46
mediaindonesia200204
9
133
47
mediaindonesia140203
11
175
48
mediaindonesia050604-001
9
144
49
kompas260304
12
169
50
kompas221001
12
241
51
kompas081203
13
206
52
kompas030502-002
14
206
53
indosiar310504
11
157
54
indosiar260504
14
241
55
indosiar220503
132
1626
56
indosiar170603
17
315
57
indosiar020304
17
342
58
indosiar010504
12
331
59
gatra270104-001
4
50
60
gatra070203
25
304
1760 kalimat
28041 kata
Jumlah Keseluruhan
60 dokumen
41
Lampiran 3 Antarmuka prototipe Question Answering System