Pembobotan Fitur Tekstual dengan Inferensi Metaheuristik untuk Pengurutan Jawaban

Pembobotan Fitur Tekstual dengan Inferensi Metaheuristik untuk Pengurutan Jawaban Hapnes Toba#1, Setia Budi*2 #

Program Studi D3 Teknik Informatika, Universitas Kristen Maranatha Jalan Suria Sumantri 65 Bandung 40164 [email protected] *

Jurusan Sistem Informasi, Universitas Kristen Maranatha Jalan Suria Sumantri 65 Bandung 40164 [email protected]

Abstrak — In this paper, an approach to construct a dynamic feature weighting in question answering system is proposed. In order to find a set of optimum weights for a question and its answer (candidate) pair(s), a combination of genetic algorithm and logistic regression technique are introduced in our approach. As part of our experimental study, a standard dataset of non-factoid question and answer pairs, called UIUC, is used as a testing-case. The experiment results show that our approach can produce a set of feature weights which leads to a better performance compared to the conventional static weighting. Keywords— metaheuristik, algoritma genetika, regresi logistik sistem tanya jawab, pengurutan jawaban.

I. PENDAHULUAN Sistem tanya jawab (STJ) adalah sebuah penerapan temu balik informasi yang diharapkan dapat memberikan sebuah kandidat jawaban secara langsung. Ditinjau dari sisi artitektur perangkat lunak, STJ memiliki empat komponen utama [1], yaitu: 1. analisis pertanyaan; 2. pembentuk kueri; 3. mesin pencarian; 4. validasi jawaban. Salah satu faktor yang dapat menentukan performa STJ adalah kemampuan sistem untuk memprediksi pada bagian teks yang manakah jawaban tersirat. Dengan kata lain, sebelum validasi jawaban dilakukan, sistem harus terlebih dahulu memastikan bahwa kandidat-kandidat jawaban baik berada pada urutan awal hasil temu balik informasi. Penelitian-penelitian terkini perihal pengurutan kandidat jawaban banyak mengandalkan pembelajaran empiris dengan menerapkan teknik pembelajaran mesin saat menentukan bobot fitur. Beberapa teknik pembelajaran mesin yang sering diterapkan antara lain: support vector machine (SVM) [2], perceptron [1, 3], dan regresi logistik [4]. Melalui pembelajaran mesin tersebut, setiap fitur yang digunakan akan mendapatkan bobot yang tetap sesuai dengan model yang dihasilkan dari pembelajaran. Salah satu kelemahan dengan pendekatan pembelajaran mesin seperti ini adalah: dimungkinkannya ketidakcocokkan pada saat bobot dipakai dalam lingkungan data yang sifatnya berbeda.

Untuk inilah diperlukan adanya semacam pendekatan yang memungkinkan bahwa bobot dapat dihasilkan secara dinamis mengikuti karakteristik dari obyek yang sedang dipelajari, dalam hal ini adalah pasangan pertanyaan dengan (kandidat) jawabannya. Pembobotan dinamis seperti ini diharapkan dapat meniru cara manusia dalam menentukan jawaban, yaitu dengan melakukan inferensi dari karakteristik jawaban secara independen kasus per kasus, tanpa dipengaruhi karakteristik jawaban lainnya [5, 6]. Dengan mengacu pada beberapa permasalahan dan potensi sebagaimana tertulis di atas, maka dalam makalah ini penulis mengajukan beberapa hal untuk dijadikan sebagai pertanyaan riset: 1. Bagaimana mempelajari karakteristik sebuah pasangan pertanyaan dan jawaban? 2. Bagaimana komposisi bobot untuk setiap pasangan dapat diidentifikasi secara unik? 3. Bagaimana pengaruh karakteristik yang teridenfikasi pada hasil pengurutan jawaban? Untuk menjawab pertanyaan riset di atas, di dalam penelitian akan digunakan pendekatan metaheuristik [7]. Perhitungan secara metaheuristik menjamin bahwa untuk setiap nilai yang hendak dicapai -misalnya: maksimum skor yang menggambarkan kekuatan relasi antara sebuah pertanyaan dengan kandidat jawabannya - akan terdapat komposisi nilai fitur yang optimum sehingga nilai akhir yang hendak dicapai juga optimum [8]. Pendekatan dengan dinamisasi bobot seperti ini, diharapkan memiliki nilai lebih dibandingkan dengan konsep pembelajaran mesin yang biasa, yaitu dapat menghasilkan bobot tanpa adanya supervisi (unsupervised learning). Dalam kaitannya dengan STJ, kita dapat berhipotesa bahwa jika sebuah pasangan pertanyaan-jawaban dipandang sebagai pasangan yang unik dan baik, maka akan dihasilkan sebuah komposisi bobot yang optimum, yang menggambarkan derajat "kebaikan" antara pertanyaan dengan jawaban. Dengan cara seperti ini diharapkan bahwa semua kandidat jawaban baik akan berada pada urutan yang lebih baik (di urutan atas), dibandingkan dengan kandidat yang kurang baik.

II. METODOLOGI A. Inferensi sebagai Problem Optimasi Dalam penelitian ini, inferensi didefinisikan sebagai sebuah problem metaheuristik untuk mencari bobot fitur yang optimum sehingga dapat mengidentifikasi karakteristik setiap pasangan pertanyaan dengan jawaban. Kerangka kerja metaheuristik sebagaimana diuraikan dalam [7], menjamin bahwa persoalan-persoalan kombinatorial, seperti halnya mencari komposisi nilai optimum dari beberapa parameter, akan dapat diselesaikan. Unsur utama yang perlu diperhatikan untuk sebuah metaheuristik adalah representasi persoalan ke dalam sebuah rangkaian formula yang dianggap cocok untuk merepresentasikan persoalan. Kerangka kerja umum untuk persoalan metaheuristik dapat dilihat dalam Algoritma 1.

nilai fungsi logistik sebagai kombinasi linear hasil perkalian bobot dengan nilai fitur. Fungsi logistik banyak dimanfaatkan untuk mempelajari karakteristik data dengan memberikan contoh positif/negatif, misalnya dalam [4, 6]. Dalam pembelajaran dengan fungsi logistik, sesuatu dianggap "baik" jika nilai fungsi sama dengan atau di atas 0,5, dan "buruk" jika nilai fungsi di bawah 0,5. Karakteristik inilah yang dimanfaatkan dalam penelitian, yaitu dengan mengasumsikan bahwa setiap pertanyaan akan berpasangan dengan kandidat jawaban yang "baik". Dengan bertumpu pada asumsi ini, dibangunlah sebuah mesin inferensi yang bertugas untuk menghasilkan komposisi nilai parameter yang optimal, sehingga dapat memaksimalkan nilai dari fungsi logistik. Konfigurasi regresi logistik yang dilakukan dapat dilihat dalam Gambar 1.

Algoritma 1. Kerangka kerja metaheuristik.

Beberapa contoh metaheuristik yang sering digunakan adalah: tabu search, algoritma genetika, dan simulated annealing. Dalam penelitian ini, digunakan pendekatan algoritma genetika dengan representasi obyektif tunggal (single objective). Salah satu kelebihan algoritma genetika adalah kemampuannya untuk menelaah dengan ukuran yang relatif luas di mana pendekatan pencarian linear yang konvensional dinilai tidak lagi relevan untuk diaplikasikan. Algoritma genetika memiliki tiga operator utama dalam melakukan proses pencarian, yaitu: seleksi, persilangan dan mutasi. Operator mutasi memungkinkan sebuah proses pencarian terhindar dari keterpakuan pada nilai optimum lokal tertentu [7, 8]. Implementasi algoritma genetika yang digunakan dalam penelitian ini adalah NSGAII [8] dari pustaka Java bernama jMetal [9]. Konfigurasi operator genetika yang digunakan adalah sebagai berikut:  seleksi = BinaryTournament2;  persilangan = SBXCrossover; dan  mutasi = PolynomialMutation. Batasan jumlah generasi dan juga ukuran maksimum dari tiap populasi yang dihasilkan di tiap generasi adalah: generasi: 1000, populasi: 50. Konfigurasi ini mengacu pada penelitian [10], yang memberikan hasil positif untuk optimasi kueri pada mesin temu balik. B. Inferensi dengan Regresi Logistik Dalam pembahasan di atas disebutkan bahwa dalam penelitian ini digunakan representasi obyektif tunggal. Dalam hal ini, optimasi ditujukan untuk memaksimalkan

Gambar 1. Konfigurasi fungsi logistik dan peran mesin inferensi untuk memaksimalkan nilai fungsi logistik.

Dalam konfigurasi di Gambar 1, dapat dilihat bahwa dengan meminimalkan fungsi jarak J(θ) pada saat regresi dilakukan, maka pada mesin inferensi, sebagaimana dibahas pada bagian II.A, diharapkan akan diperoleh suatu komposisi bobot optimal θ. C. Pemilihan Fitur Tekstual Terkait dengan pengukuran kekuatan relasi antara suatu pertanyaan dengan suatu pasangan jawaban, terdapat bermacam-macam fitur yang dapat digunakan dan dikombinasikan satu dengan lainnya [4, 11, 12]. Dalam penelitian ini, fitur-fitur pengukuran yang dipilih adalah fitur-fitur tekstual yang umum digunakan dalam Community-based Question Answering (CQA), seperti: Yahoo!Answer 1 . Dalam CQA, seorang pengguna dapat mengajukan pertanyaan ataupun menjawab pertanyaan yang diajukan. Dengan demikian CQA memiliki kemampuan inferensi yang lebih dalam dibandingkan STJ konvensional karena jawaban langsung diberikan oleh manusia, dan bukan hasil temu balik informasi [11, 12]. Alasan utama digunakannya fitur-fitur tekstual CQA adalah untuk menjamin bahwa mesin inferensi dapat "mendekati" kemampuan manusia dalam memberikan / menilai sebuah jawaban. Dalam [12] diusulkan penggunaan 1

answers.yahoo.com/

31 fitur tekstual yang secara intrinsik mengidentifikasikan kualitas sebuah jawaban. Dari 31 fitur tekstual yang tersedia, kemudian akan dilakukan proses seleksi lebih lanjut sehingga akan dihasilkan sekumpulan fitur yang memiliki signifikansi dalam proses pengukuran kekuatan relasi pasangan pertanyaan dan jawaban. Dalam penelitian ini digunakan dua tahap seleksi fitur, dengan mengkombinasikan: 1. Kuadrat Chi (X2) yang berbasis statistik; dan 2. Algoritma genetika yang berbasis evaluasi korelasi subhimpunan fitur [13]. Implementasi seleksi fitur dilakukan dengan memanfaatkan pustaka yang terdapat dalam perangkat penggalian data Weka [14]. Algoritma seleksi fitur dapat dilihat pada Algoritma 2.

Algoritma 2. Seleksi Fitur sebagai kombinasi antara pendekatan statistik dan evaluasi sub himpunan.

Hasil akhir seleksi fitur dengan menggunakan Algoritma 2 di atas dapat dilihat pada Tabel I. TABEL I. HASIL AKHIR SELEKSI FITUR BESERTA BOBOTNYA UNTUK DATASET UIUC (PEMBAHASAN TENTANG DATA PENELITIAN DAPAT DILIHAT PADA BAGIAN III.B)

Fitur Terpilih Jarak kosinus 1 gram Jumlah kata unik beririsan Jumlah kata benda pada jawaban Jumlah kata kerja pada pertanyaan Jumlah kata penting pada jawaban Jarak kosinus 2 gram Jumlah kata benda pada pertanyaan

Nilai Bobot 0.34 0.30 0.12 0.08 0.07 0.06 0.03

adanya hasil temu balik informasi beserta judgment / penilaian relevansi hasil temu balik. Untuk saat ini relevansi yang digunakan diambil dari penelitian [15].

Gambar 2. Kerangka kerja eksperimen.

Ekstraksi fitur dilakukan dengan menggunakan fitur-fitur tekstual kualitas pasangan pertanyaan-jawaban pada [12]. Seleksi fitur akan dilakukan setelah ekstraksi fitur (lihat juga bagian II.C). Hasil seleksi fitur inilah yang akan dioptimasi dengan algoritma genetika untuk mencari bobot fitur optimal pada setiap pasangan pertanyaan-jawaban, dan dipakai untuk mengurutkan ulang hasil temu balik informasi. B. Data Penelitian Data penelitian diambil dari penelitian [15], yaitu sebuah dataset untuk STJ open domain dengan tipe pertanyaan kompleks dalam bahasa Inggris. Pertanyaan kompleks disini mengacu pada pertanyaan-pertanyaan non-faktoid, yaitu pertanyaan mengenai: definisi (What is ...?), prosedur (How ...?), dan sebab-akibat (Why ...?). Di dalam dataset terdapat 136 pertanyaan dengan 9.558 kandidat jawaban dalam ukuran kalimat, dan 2.591 kandidat jawaban dalam ukuran paragraf. Sebagaimana dilaporkan dalam [15], penilaian relevansi untuk dataset ini dilakukan oleh manusia dengan mengacu pada urutan hasil temu balik STJ bernama YourQA pada korpus AQUAINT-2 2 [2]. Tipe pertanyaan dalam dataset didominasi oleh tipe definisi, sejumlah 123 pertanyaan. Setiap pertanyaan cenderung memiliki kemungkinan jawaban pada lebih dari satu kalimat / paragraf. Namun dalam dataset ini, proporsi relevansi lebih cenderung pada kalimat / paragraf yang tidak relevan, dengan perbanding antara jawaban "relevan/tidak relevan" adalah: 309/9558 (±3%) untuk kalimat dan 106/2591 (±4%) untuk paragraf. Dengan pertimbangan inilah sebenarnya dalam melakukan seleksi fitur perlu dilakukan dengan proporsi seimbang (lihat bagian II.C). C. Cara Evaluasi dan Sistem Pembanding Evaluasi performa dilakukan dengan menggunakan dua ukuran metrik, yaitu TRR (total reciprocal rank), dan T1RR (1st answer reciprocal rank) [16]. Reciprocal rank (RR) memberikan proporsi urutan kemunculan jawaban relevan untuk suatu kueri tertentu, dan difenisikan dalam rumus (1). 𝑹𝑹 = 𝟏/𝑹𝒂𝒏𝒌 ... (1)

III. RANCANGAN EKSPERIMEN A. Kerangka Kerja Eksperimen Kerangka kerja yang dilakukan dalam eksperimen dapat dilihat pada Gambar 2. Dalam Gambar 2 terlihat bahwa untuk melakukan pengurutan ulang jawaban diperlukan

Secara definisi metrik TRR memberikan nilai jumlah total RR untuk semua kueri, dan metrik T1-RR memberikan

2

http://trec.nist.gov/data/qamain.html

nilai jumlah total RR untuk jawaban pertama yang relevan untuk semua kueri. Sistem pembanding yang digunakan untuk menilai performa metode optimasi meliputi: 1. YourQA [2, 15]; 2. Pembobotan dengan regresi logistik biasa a. Dataset seimbang (proporsi 50%-50%); b. Dataset natural (proporsi: lihat bag. IIIA); 3. Bayesian Analogical Reasoning (BAR) [4]. Terkait dengan kebutuhan adanya pelatihan pada sistem pembanding nomor 2 dan 3, maka dataset dibagi ke dalam kelompok data pelatihan dan data pengujian secara acak. Data pelatihan menggunakan 75% dari keseluruhan data (132 pertanyaan; 7.132 kalimat; 1.922 paragraf). Data pengujian menggunakan 25% dari data (34 pertanyaan; 2426 kalimat; 669 paragraf). IV. HASIL UJI COBA Dalam bagian mengenai hasil uji coba ini disampaikan hasil tercapai dalam eksperimen. Hasil TRR dapat dilihat pada Tabel II. TABEL II. HASIL EKSPERIMEN UNTUK TRR

TRR (Total Reciprocal Rank ) Sistem Kalimat Paragraf YourQA 9.12 16.25 Bal. LR 12.25 12.95 Nat. LR 14.61 15.12 BAR 4.76 11.33 Opt. Bbt. 7.63 16.17

 Untuk jawaban dalam bentuk kalimat: hasil T1-RR dengan optimasi bobot (4,52), seperti halnya dengan hasil TRR, masih belum dapat mengungguli performa metode lainnya, kecuali BAR (1,26). TABEL III. HASIL EKSPERIMEN UNTUK T1-RR

T1-RR (1st ans Reciprocal Rank ) Sistem Kalimat Paragraf YourQA 6.06 9.67 Bal. LR 6.31 7.45 Nat. LR 7.05 8.50 BAR 1.26 4.02 Opt. Bbt. 4.52 9.75

Dalam bagian mengenai hasil uji coba ini disampaikan pula sebuah contoh pasangan pertanyaan dengan kandidat jawaban yang berupa paragraf, sebagai berikut:  "What is Wimbledon?"  "Wimbledon became the first $5-million tennis tournament with the announcement of a 23% increase in prize money. "That boosted the purse to $5.3 million, an increase of $1 million, for this summer's event." The previous record for a tennis tournament was last summer's $4.4 million at the US Open. Wimbledon officials said they expect the Americans to top their amount when the prizes for the tournament in New York in September are announced next month". Dalam Tabel IV, terdapat tujuh fitur yang dioptimasi sebagaimana dijabarkan dalam bagian II.A dan II.B. TABEL IV. CONTOH OPTIMASI BOBOT

Beberapa hal yang dapat dilihat dalam Tabel II adalah:  Untuk jawaban dalam bentuk paragraf: hasil TRR dengan optimasi bobot (16,17) setara dengan sistem pembanding YourQA (16,25), dan jauh mengungguli performa dari sistem lainnya. Hal ini menunjukkan bahwa optimasi bobot (sesuai fitur yang digunakan) memiliki potensi untuk dapat menemukan jawaban benar dengan meniru kecenderungan manusia dalam menilai jawaban.  Untuk jawaban dalam bentuk kalimat: hasil TRR dengan optimasi bobot (7,63) masih belum dapat mengungguli YourQA (9,12) ataupun hasil pembelajaran dengan regresi logistik (12,25 untuk data seimbang dan 14,61 untuk data natural). Namun, metode optimasi bobot mampu melampaui salah satu metode termutakhir untuk pengurutan ulang hasil temu balik informasi, yaitu BAR [4]. Hasil eksperimen untuk T1-RR dapat dilihat pada Tabel III. Beberapa hal yang dapat dilihat pada Tabel III adalah:  Untuk jawaban dalam bentuk paragraf: hasil T1-RR dengan optimasi bobot (9.75) melampaui performa semua sistem lainnya. Hal ini menunjukkan bahwa dengan optimasi bobot, kemungkinan bahwa jawaban pertama yang relevan berada pada urutan atas lebih besar jika dibandingkan dengan metode lainnya.

Answer_ Answer_ Query_n Query_ Cosine_1_ Overlap_1_G number_ number_ umber_ number Grams rams non_stop nouns verbs _nouns words Nilai Fitur Kalimat

0.14

1

8

1

9

1

Bobot Opt.

0.9484

0.9986

0.9998

0.9996

0.9983

0.9962

Norm. Bobot

0.1395

0.1469

0.1471

0.147

0.1469

0.1465

Nilai Fitur Paragraf

0.1601

1

61

2

34

1

Bobot Opt.

0.911

0.8888

0.9981

0.9828

0.9982

0.8509

Norm. Bobot

0.1526

0.1489

0.1672

0.1647

0.1672

0.1426

Hasil optimasi bobot untuk setiap fitur dapat dilihat pada tabel pada Tabel IV. Untuk bentuk jawaban berupa kalimat (berupa kalimat yang bergaris bawah pada butir contoh di atas), dapat dilihat pada baris kedua. Untuk jawaban berupa paragraf dapat dilihat pada baris keempat. Nilai optimasi dipilih untuk berada dalam cakupan 0...1. Normalisasi dari

hasil optimasi tersebut - yaitu dengan membuat jumlah bobot keseluruhan sama dengan 1 - dapat dilihat pada baris ketiga untuk bentuk jawaban berupa kalimat, dan pada baris ke keenam untuk bentuk jawaban berupa paragraf. Komposisi bobot pada baris ketiga dan keenam ini adalah hasil akhir optimasi yang kemudian dipakai untuk mengasilkan sebuah skor akhir yang menggambarkan nilai "kebaikan" sebuah pasangan pertanyaan-jawaban. Sebagai contoh untuk jawaban dalam bentuk paragraf hasil akhir dari skor adalah 16.39, yang diperoleh dengan menerapkan rumus (2). 𝒔𝒄𝒐𝒓𝒆 𝑸, 𝑨 = 𝟕𝒊=𝟏 𝒘𝒊 ∗ 𝒇𝒆𝒂𝒕(𝑸, 𝑨)𝒊 ... (2) 𝑠𝑐𝑜𝑟𝑒 𝑄, 𝐴 = 0.1526 ∗ 0.1601 + 0.1489 ∗ 1 + 0.1672 ∗ 61 + 0.1647 ∗ 1 + 0.1672 ∗ 34 + 0.1426 ∗ 1 + 0.0567 ∗ 0 = 𝟏𝟔. 𝟑𝟗 Contoh perubahan urutan yang terjadi untuk setiap metode pengurutan untuk contoh pada Tabel IV, dapat dilihat pada Gambar 3. Dalam Gambar 3 ini dapat dilihat pengaruh dari setiap metode pengurutan berdasarkan model / rumus dan bobot yang digunakan. Dalam contoh ini, terlihat bahwa urutan yang diperoleh dengan metode optimasi bobot (19) memiliki kesetaraan urutan (17) dengan metode YourQA untuk bentuk jawaban kalimat, dan jauh mengungguli (urutan 1 vs. 17) untuk bentuk jawaban berupa paragraf.

dengan jawaban ditelaah secara unik untuk setiap pasangan. Hal ini akan menguntungkan apabila terdapat ketidakseimbangan jumlah data, misalnya: apabila jumlah jawaban relevan jauh lebih sedikit dibanding jumlah jawaban yang tidak relevan. Salah satu hal yang menunjukkan bahwa pendekatan optimasi bobot sangat menjanjikan adalah hasil pengurutan temu balik yang lebih baik dibanding sistem YourQA untuk bentuk jawaban berupa paragraf. Dalam sistem YourQA bobot untuk fitur-fiturnya dianggap optimal untuk pasangan pertanyaan-jawaban yang bersifat faktoid dengan bentuk jawaban berupa kalimat [2], dan bersifat statik (lihat juga rumus YourQA pada Gambar 3), dalam hal ini nilai α = 0.6, β = 0.2, dan γ = δ = 0.1. VI. KESIMPULAN DAN KEBERLANJUTAN Beberapa kesimpulan yang dapat dituliskan dari hasil eksperimen terkait dengan pertanyaan riset adalah: 1.

2.

3.

Gambar 3. Contoh pengaruh model pada urutan jawaban.

V. DISKUSI SINGKAT TERKAIT HASIL Dengan melihat pada hasil eksperimen sebagaimana dituliskan pada bagian IV, beberapa hal yang menarik untuk diulas adalah: 1.

2.

Optimasi bobot dengan tujuh fitur utama yang telah terseleksi lebih cocok untuk digunakan pada jawaban dalam bentuk paragraf. Salah satu faktor yang mungkin menjadi penyebab adalah fitur-fitur yang terpilih lebih banyak menekankan pada "jumlah" karakteristik tertentu, misalnya: jumlah kata penting pada jawaban. Hal ini sangat terpengaruh pada "panjang jawaban, yaitu: jumlah kata dalam jawaban", yang sangat variatif untuk jawaban dalam bentuk kalimat, namun lebih stabil untuk jawaban dalam bentuk paragraf. Salah satu hal yang mungkin untuk dilakukan guna mengatasi hal ini adalah dengan menormalisasi jumlah berdasarkan panjang jawaban atau panjang pertanyaan kebutuhan. Optimasi bobot tidak memerlukan data pembelajaran (unsupervised), karakteristik pasangan pertanyaan

Karakteristik sebuah pasangan pertanyaan dan jawaban dapat dipelajari dari fitur-fitur terpilih yang menunjukkan kualitas "kebaikan" relasi antara keduanya. Dalam penelitian ini digunakan 31 fitur instrinsik, yang kemudian diseleksi menjadi 7 fitur utama. Komposisi bobot untuk setiap pasangan pertanyaan dan jawaban dapat diidentifikasi dengan menerapkan konsep metaheuristik yang bertugas untuk mencari nilai optimum dari setiap bobot pada fitur. Dalam penelitian digunakan algoritma genetika NSGAII dan fungsi logistik sebagai sebuah fungsi obyektif yang akan dimaksimalkan nilainya. Dari hasil eksperimen pada dataset UIUC terlihat bahwa pendekatan optimasi bobot dapat mempengaruhi hasil pengurutan kandidat jawaban, dan berpotensi untuk menggantikan peran pembobotan yang bersifat statik.

Untuk keberlanjutan penelitian, beberapa hal yang masih perlu untuk diteliti adalah: 1.

2.

3. 4.

Melihat pengaruh kombinasi fitur-fitur berbasis linguistik dan statistik pada pengurutan kandidat jawaban. Pada penelitian saat ini masih terkonsentrasi pada fitur-fitur berbasis statistik. Menghasilkan sebuah model yang mampu mengagregasi komposisi bobot optimum pada beberapa dataset sehingga dapat mengurangi kompleksitas algoritma genetika pada saat mencari komposisi bobot ideal. Meneliti pengaruh sebaran nilai fitur dalam proses pencarian komposisi bobot ideal. Memanfaatkan optimasi bobot dalam melakukan proses inferensi analogi [5], yang mungkin dapat berperan untuk menemukan strategi menjawab pertanyaan untuk tipe-tipe pertanyaan faktoid yang memerlukan jawaban tunggal, misalnya pertanyaan-pertanyaan yang terkait dengan pencarian lokasi, nama orang ataupun waktu.

DAFTAR PUSTAKA [1]

[2]

[3] [4]

[5] [6]

[7]

[8]

[9]

[10]

[11]

[12]

[13] [14]

[15]

[16]

M.W. Bilotti, J. Elsas, J. Carbonell, & E. Nyberg, “Rank Learning for Factoid Question Answering with Linguistic and Semantic Constraints,” Prosiding CIKM'10, 2010. S. Quarteroni, & S. Manandhar, “Designing an Interactive OpenDomain Question Answering System,” Natural Language Engineering, vol. 15 no. 1, pp. 73-95, 2009. M.A. Pasca, & S.M. Harabagiu, “High Performance Question/Answering,” Prosiding SIGIR'01, 2001. R. Silva, K. Heller, Z. Ghahramani, & E.M. Airoldi, “Ranking Relations Using Analogies in Biological and Information Networks,” The Annals of Applied Statistics, vol. 4, no. 2, pp. 615-644, 2010. R.J. Sternberg, “Component Processes in Analogical Reasoning,” Psychological Review, vol. 84, no. 4, pp. 353-378, 1977. J.N. Marewski, & L.J. Schooler, “Cognitive Niches: An Ecological Model of Strategy Selection,” Psychological Review, vol. 118, no. 3, pp. 393-437, 2011. S. Ólafsson, “Metaheuristics,” in Nelson and Henderson (eds.). Handbook on Simulation, Handbooks in Operations Research and Management Science VII, Elsevier, 633-654, 2006. K. Deb, A. Pratap, S. Agarwal, & T. Meyarivan, “A Fast and Elitist Multiobjective Genetic Algorithm: NSGAII,” IEEE Trans. on Evolutionary Computation, vol. 6 no. 2, 2002. J.J. Durillo, A.J. Nebro, & E. Alba, “The jMetal Framework for Multi-Objective Optimization: Design and Architecture,” Prosiding CEC'10, 2010. J. Tiedemann, “Improving Passage Retrieval in Question Answering using NLP,” Progress in Artificial Intelligence LNCS vol. 3808, pp. 634-646, 2005. E. Agichtein, C. Castillo, D. Donato, A. Gionis, & G. Mishne, “Finding High-Quality Content in Social Media,” Prosiding WSDM'08, 2008. H. Toba, M. Zhao-Yan, M. Adriani, & C.T. Seng, “Discovering High-Quality Answer in CQA Archives using a Hierarchy of Classifiers,” submitted to Information Sciences, Feb 2013. H. Liu, & R. Setiono, “A Probabilistic Approach to Feature Selection,” Prosiding ICML'96, 1996. I.H. Witten, E. Frank, & M.A. Hall, Data Mining: Practical Machine Learning Tools and Techniques, 3rd ed., Morgan Kauffmann Publishers, 2011. S. Quarteroni & A. Moschitti, “A Comprehensive Resource to Evaluate Complex Open Domain Question Answering,” Prosiding LREC'10, 2010. D. Radev et al., “Probabilistic Question Answering on the Web,” J. American Society for Information Sci. & Tech., vol. 56, no.6, pp. 571–583, April 2005.