5
Lingkungan Pengembangan Perangkat lunak yang digunakan dalam penelitian ialah: Sistem Operasi Windows 7. Sphinx Search. XAMPP versi 1.7.3. Named Entity Tagger bahasa Indonesia. Perangkat keras yang digunakan dalam penelitian ini ialah: Prosesor AMD C50 (2 CPU) 1.0 GHz. RAM 2 GB. Hard disk 300 GB.
HASIL DAN PEMBAHASAN
penamaan secara manual dengan temporal tagging pada penelitian Mani dan Wilson (2000), serta pada tag NUMBER dengan memberikan tag pada lambang bilangan yang dinyatakan dengan huruf. Tag entitas penamaan digunakan untuk proses perolehan kandidat jawaban sesuai dengan jenis pertanyaan. Berkas tunggal yang berisi kumpulan dokumen ditempatkan ke sebuah direktori khusus untuk diolah lebih lanjut. Berikut ini merupakan contoh potongan dokumen pada berkas tunggal yang telah dilakukan proses tagging: 1 2 3
Koleksi Dokumen Pengujian Dokumen uji yang digunakan merupakan koleksi 100 buah dokumen berita sambung jaring (online news) yang memiliki jangka terbit tahun 2000-2011. Topik dokumen meliputi politik, pertanian dan berita olahraga. Dokumen berita sambung jaring dipilih karena mengandung informasi temporal. Setiap dokumen memiliki struktur XML yang sama berupa tag dengan berbagai fungsi. Pada baris pertama terdapat tag DOC yang berfungsi membedakan satu dokumen dengan dokumen lainnya, diikuti tag DOCNO, AUTHOR, TITLE, PUBLISHED, dan TEXT, yang masingmasing menunjukkan nama dokumen, penulis dokumen, judul dokumen, waktu dokumen diterbitkan, dan isi dokumen. Sebagai contoh: 1 2 3 4 5 6 7
detiknews211009-2344 Indra Subagja–detikNews <TITLE> Mentan Suswono Siap Bantu Tingkatkan Kesejahteraan Petani 2009/10/21|23:44 Jakarta - Menteri Pertanian Suswono …
Dokumen-dokumen berstruktur XML diberi tag kemudian ditempatkan ke dalam berkas tunggal dan disesuaikan mengikuti struktur XML varian Sphinx dengan menambahkan elemen <sphinx:document> (Aksyonoff 2011). Proses tagging dilakukan terhadap entitas penamaan (named entity) pada dokumen uji menggunakan Named Entity Tagger bahasa Indonesia hasil penelitian Citraningputra (2009). Tag yang digunakan terdiri atas NAME, ORGANIZATION, LOCATION, DATE, TIME, NUMBER, dan CURRENCY. Perlakuan khusus diberikan pada tag DATE dan TIME, yaitu dengan menyesuaikan
4 5 6
7
<sphinx:document id="3"> <docno> detiknews211009-2344.txt
Indra Subagja-detikNew Mentan Suswono Siap Bantu Tingkatkan Kesejahteraan Petani 2009/10/21|23:44 Jakarta - Menteri Pertanian (Mentan) [NAME]Suswono[/NAME]…
Pengolahan Query Query yang digunakan pada penelitian ini berupa bahasa alami berbentuk kalimat yang diawali dengan kata tanya dan diakhiri dengan tanda tanya (?), dengan setiap kata penyusun dipisahkan oleh whitespace atau spasi. Kata tanya yang digunakan pada penelitian ini dibatasi pada ‘siapa’, ‘kapan’, ‘di mana’, dan ‘berapa’. Total query pertanyaan yang digunakan ialah 80 query, dengan 5 query pertanyaan untuk 4 jenis pertanyaan temporal dari setiap kata tanya yang disusun mengikuti isi serta susunan kalimat pada dokumen acuan (Lampiran 1 - 4). Query kemudian didekomposisi untuk mendapatkan bentuk pertanyaan yang lebih sederhana. Dekomposisi terdiri atas 3 tahap, yaitu identifikasi dan normalisasi ekspresi temporal, identifikasi tipe pertanyaan, dan pemenggalan pertanyaan (question splitting). Identifikasi dan normalisasi ekspresi temporal berfungsi untuk mendapatkan ekspresi temporal yang terdapat dalam query dan menormalisasinya menjadi bentuk yang eksplisit. Proses normalisasi menghasilkan bentuk ekspresi temporal yang dapat dipahami sesuai format baku numerik tanggal atau periode, yaitu YYYY/MM/DD. Ekspresi temporal diawali dengan 4 digit tahun Y, 2 digit bulan M, dan diakhiri 2 digit hari D, masing-masing dipisahkan dengan garis miring (/) seperti yang ditunjukkan pada Tabel 3.
6
Tabel 3 Contoh normalisasi ekspresi temporal Ekspresi Temporal 2000 17 Agustus 1945 90-an abad ke-21
Pertanyaan Temporal
Normalisasi Value 2 Value 1 2000/01/01 1945/08/17 1990/01/01 2000/01/01
2000/12/31 Null 1999/12/31 2099/12/31
Analisis Pertanyaan
TIDAK
Identifikasi tipe pertanyaan bertujuan mengelompokkan query menjadi 4 tipe pertanyaan dengan menyadur taksonomi pertanyaan temporal Saquete et al. (2009), yaitu: 1 Kejadian tunggal (single event) tanpa ekspresi temporal. Pertanyaan jenis ini dibentuk oleh kejadian tunggal dan dapat dipecahkan secara langsung dengan Question Answering System. Contohnya ‘Kapan diadakan Pemilihan Presiden?’. 2 Kejadian tunggal dengan ekspresi temporal. Pertanyaan kejadian tunggal tetapi terdapat satu atau beberapa ekspresi temporal yang perlu dianalisis. Sebagai contoh, pertanyaan ‘Siapa yang memenangkan Pemilihan Presiden pada tahun 2004?’ memiliki ekspresi temporal tahun 2004. 3 Kejadian jamak (multi-event) tanpa ekspresi temporal. Pertanyaan yang terdiri dari dua atau lebih kejadian yang terhubung dengan sebuah temporal signal. Signal tersebut menandakan urutan kejadian pada sebuah pertanyaan. Sebagai contoh, pertanyaan ‘Siapa yang terpilih menjadi presiden setelah Pemilihan Presiden berakhir?’ memiliki temporal signal ‘setelah’, dan dapat didekomposisi menjadi (1) ‘Siapa yang terpilih menjadi presiden?’ (2) ‘Kapan Pemilihan Presiden berakhir?’. 4 Kejadian jamak dengan ekspresi temporal. Pertanyaan kejadian jamak dan terdapat satu atau beberapa ekspresi temporal yang perlu dianalisis. Sebagai contoh, pertanyaan ‘Di mana Susilo Bambang Yudhoyono kuliah sebelum diadakan Pemilihan Presiden tahun 2004?’ memiliki temporal signal ‘sebelum’, dan ekspresi temporal tahun 2004. Pertanyaan tersebut dapat didekomposisi menjadi (1) ‘Di mana Susilo Bambang Yudhoyono kuliah?’ (2) ‘Kapan diadakan Pemilihan Presiden?’. Terdapat penyesuaian penentuan urutan tipe dengan jenis pertanyaan jamak pada Saquete et al. (2009). Tipe 3 pada penelitian ditentukan sebagai Tipe 4, sebaliknya Tipe 4 ditentukan sebagai Tipe 3. Hal ini dilakukan untuk mempermudah implementasi sistem tanpa
TIDAK
Ekspresi Temporal
YA
YA
TIDAK
Temporal Signal
YA
Temporal Signal
Tipe 1
Tipe 3
Tipe 2
Tipe 4
Gambar 2
Pohon keputusan untuk indentifikasi tipe pertanyaan temporal.
mengubah perlakuan terhadap masing-masing tipe pertanyaan. Sebuah query tanpa ekspresi temporal akan dikategorikan sebagai Tipe 1 jika tanpa signal, dan Tipe 3 jika terdapat signal. Sementara itu, sebuah query yang memiliki ekspresi temporal akan dikategorikan sebagai Tipe 2 jika tanpa signal, dan Tipe 4 jika terdapat signal. Proses identifikasi dilakukan karena setiap tipe memiliki skenario perlakuan yang berbeda. Query dengan Tipe 1 dan Tipe 2 dapat diolah secara langsung tanpa perlu dilakukan pemenggalan query awal, sedangkan Tipe 3 dan Tipe 4 lebih kompleks dan perlu dilakukan penyederhanaan. Proses identifikasi tipe dilakukan dengan menggunakan pohon keputusan (decision tree) seperti yang ditunjukkan pada Gambar 2. Selain menggunakan pohon keputusan yang menyadur taksonomi pertanyaan temporal, identifikasi dilakukan dengan memeriksa keberadaan sub-pertanyaan pada pertanyaan yang memiliki ekspresi temporal. Hal tersebut berguna dalam identifikasi query pertanyaan seperti ‘Siapa Presiden Indonesia setelah tahun 2009?’ agar tidak dikategorikan sebagai pertanyaan jamak, meskipun memiliki temporal signal dan ekspresi temporal. Pemenggalan pertanyaan hanya dilakukan pada query pertanyaan jamak (Tipe 3 dan Tipe 4). Pada tahap ini, pertanyaan akan dipenggal menjadi 2 sub-pertanyaan, yaitu Q-Focus dan QRestriction. Tiap sub-pertanyaan akan saling berelasi. Q-Focus biasanya diikuti signal dan
7
menghasilkan keluaran berupa deret (list) jawaban, sedangkan Q-Restriction selalu diubah bentuk menjadi query dengan kata tanya ‘kapan’ dan akan selalu menghasilkan keluaran berupa ekspresi tanggal. Signal yang terdapat pada query menunjukkan hubungan waktu antarkejadian yang terkait. Hasil dekomposisi query berupa Q-Focus dan Q-Restriction diubah perhurufannya menjadi huruf kecil (case folding) kemudian diparse. Pada proses parsing, kata-kata pada query yang termasuk stopwords akan dihilangkan dan selanjutnya digunakan pada tahap temu kembali dokumen. Berikut ini merupakan contoh hasil dekomposisi untuk query ‘Siapa Presiden Indonesia setelah Pemilihan Presiden?’: 1
siapa presiden indonesia setelah pemilihan presiden? 3 siapa presiden indonesia? kapan pemilihan presiden? <SIGNAL> setelah
2 3 4 5
Pengolahan Dokumen Pada tahap awal pengolahan dokumen, dilakukan konfigurasi pengindeksan pada sistem Sphinx. Hasil pengindeksan disimpan dalam sebuah berkas yang akan digunakan untuk proses pencarian n dokumen teratas. Banyaknya n pada dokumen teratas ditentukan maksimal 10 buah. Hal ini dilakukan untuk mempermudah proses pembentukan kalimat dan passage. Query yang telah di-parse kemudian diberi bobot. Kata pada query kecuali kata tanya dicocokkan dengan dokumen teratas. Hasil temu kembali berupa kumpulan n dokumen teratas yang terurut mulai dari bobot tertinggi sampai terendah, dan disimpan dalam variabel larik (array) dokumen teratas. Pemeringkatan yang digunakan pada penelitian ini ialah pemeringkatan BM25 dan Proximity yang diterapkan secara terpisah. Berikut ini merupakan contoh hasil pemeringkatan BM25 untuk query ‘Siapa Presiden Indonesia?’, dengan indeks weight menunjukkan bobot dokumen: 1 2 3 4 5 6 7 8
[matches] => Array ( [0] => Array ( [id] => 15 [weight] => 2468 [attrs] => Array ( [docno] => detiknews1502071213.txt [author] => Muhammad Nur Hayid [title] => Beras Amburadul, Reshuffle Mentan Wewenang Presiden
9 10 11
[content] => Jakarta – pemerintah kembali impor beras. Kebijakan ini… [published] => Kamis, 15/02/2007 | 12:13 WIB ) … ) … )
Pada pemeringkatan Proximity, dokumen dianalisis berdasarkan posisi keyword pada dokumen. Dokumen yang memiliki sub-frase yang cocok dengan query akan diberi nilai sesuai jumlah kecocokan kata. Contoh hasil pemeringkatan Proximity untuk query ‘Siapa Presiden Indonesia?’ sebagai berikut: 1 2 3 4 5 6 7 8 9 10 11
[matches] => Array ( [0] => Array ( [id] => 14 [weight] => 2 [attrs] => Array ( [docno] => detiknews2110092226.txt [author] => Anwar Khumaini [title] => Susunan Kabinet Indonesia Bersatu II [content] => Jakarta – Usai sudah rangkaian audisi yang dilakukan Presiden… [published] => Rabu, 21/10/2009 | 22:26 WIB ) … ) … )
Pembentukan Kalimat Dokumen teratas yang telah ditemukembalikan oleh sistem kemudian dibagi per kalimat. Kalimat yang dibentuk dimulai dengan huruf kapital dan diakhiri dengan titik (.), tanda tanya (?), atau tanda seru (!). Kalimatkalimat tersebut disimpan dalam variabel array hasil pembentukan kalimat. Ilustrasi pembentukan kalimat sebagai berikut: 1 2 3 4 5 6
Array ( [doc1] => [0] => [1] => [2] => … ) … )
Array( Kalimat ke-1. Kalimat ke-2. Kalimat ke-3.
Pembentukan Passage Pembentukan passage dilakukan dengan cara menggabungkan 2 kalimat dari masingmasing dokumen secara saling meliputi (overlap) dengan kalimat sebelumnya dan kalimat sesudahnya. Dengan demikian, dari 1 kalimat akan terbentuk 2 passage, namun hal ini tidak berlaku pada kalimat pertama dan terakhir. Hasil proses ini disimpan dalam variabel array hasil pembentukan passage, dengan indeks asosiatif berupa nama dokumen. Ilustrasi pembentukan passage sebagai berikut: 1 2 3 4 5
Array ( [doc1] => Array( [0] => Kalimat ke-1. Kalimat ke-2. [1] => Kalimat ke-2. Kalimat ke-3. … ) … )
8
Pengolahan Passage Pada proses pembobotan, hanya passage yang mengandung tag entitas penamaan yang digunakan. Passage disimpan dalam variabel array passage berentitas penamaan, kemudian diseleksi berdasarkan pasangan kata tanya dan entitas penamaan. Pembobotan passage dilakukan menggunakan metode heuristic (Ballesteros & Li 2007) dengan mengikuti tahapan pada penelitian Umriadi (2011). Ketentuan perhitungan bobot pada metode heuristic berdasarkan kecocokan kata, urutan kata dan kedekatan kata. Tujuan dari pembobotan passage ialah memperoleh n passage dengan bobot tertinggi. Kandidat jawaban dan hasil temu kembali jawaban akan didapatkan dari n passage teratas. Banyaknya n ditentukan maksimal 10 buah. Berikut ini merupakan contoh hasil pembobotan passage untuk Q-Focus ‘Siapa Presiden Indonesia?’, dengan bobot passage ditunjukkan pada indeks score_passage: 1 2 3 4 5 6
Array ( [0] => Array( [docno] => radarlampung191209-0210.txt [selected_passage] => Ini tentu melegakan. Sebab… [score_passage] => 4.0697674418605) … ) … )
Perolehan Kandidat Jawaban Kandidat jawaban diperoleh dari passage teratas dengan menyeleksi kata yang memiliki tag entitas penamaan sesuai dengan kata tanya. Hasil seleksi disimpan dalam variabel array kandidat jawaban. Indeks pada array kandidat jawaban digunakan untuk menghitung jarak antara kandidat jawaban dan kata-kata penyusun query. Perolehan Entitas Jawaban Entitas jawaban diperoleh dengan menghitung bobot jarak antara kata yang sesuai dengan query pada n passage teratas dan kandidat jawaban. Kandidat jawaban dengan jarak terkecil menjadi entitas jawabannya. Berikut ini merupakan tahap perolehan jarak tiap kandidat jawaban pada passage teratas untuk Q-Focus ‘Siapa Presiden Indonesia?’: i Pengambilan bobot jarak kandidat jawaban berdasarkan indeks kata yang merepresentasikan posisi kata pada kalimat, seperti yang ditunjukkan pada array kandidat jawaban berikut ini: 1 2 3 4
Array ( [0] => Array( [6] =>[NAME] Susilo Bambang Yudhoyono [/NAME]) …
5 6 7
[3] => Array( [5] =>[NAME] Megawati Soekarnoputri[/NAME]) … )
ii Pengambilan bobot jarak kata-kata penyusun query (keyword) yang terdapat pada passage teratas. Indeks pada tiap kata menunjukkan posisi kata pada kalimat, seperti berikut: 1 2 3 4 5 6 7 8 9 10
Array ( [0] => Array( [4] => Presiden [5] => Indonesia [10] => Indonesia) … [3] => Array( [4] => Presiden [27] => Indonesia) … )
iii Perhitungan bobot jarak antara kandidat jawaban dan keyword pada passage, yaitu dengan menghitung jumlah total setiap jarak antara kandidat jawaban dan keyword yang terdapat pada passage dibagi dengan jumlah keyword. Hasil perhitungan disimpan pada array entitas jawaban, dengan indeks score menunjukkan hasil perhitungan jarak, serta text dan docno masing-masing menunjukkan kandidat jawaban dan nama dokumen, seperti berikut: 1 2 3 4 5 6 7 8 9 10 11
Array ( [0] => Array( [docno] => radarlampung1912090210.txt [text] => Susilo Bambang Yudhoyono [score] => 3.5) … [6] => Array( [docno] =>kompas240503.txt [text] =>Megawati Soekarnoputri [score] => 11.5) … )
Entitas jawaban yang memiliki jarak antara kandidat jawaban dan keyword pada passage dengan bobot terkecil akan dikembalikan sebagai jawaban. Rekomposisi Jawaban Tujuan utama rekomposisi jawaban ialah menghasilkan jawaban akhir atas pertanyaan kompleks menggunakan variabel masukkan hasil dekomposisi dan entitas jawaban yang dikembalikan. Rekomposisi jawaban terbagi atas 2 tahap, yaitu penyaringan jawaban (individual answer filtering) serta pembandingan dan penyusunan jawaban (answer comparision and composition), mengacu pada arsitektur temporal layer (Saquete et al. 2009). Contoh kinerja temporal layer untuk query ‘Siapa Presiden Indonesia
9
Siapa Presiden Indonesia setelah Pemilihan Presiden?
Q-Focus:
Signal:
Q-Restriction:
Siapa Presiden Indonesia?
setelah
Kapan Pemilihan Presiden?
Jawaban:
Jawaban:
Megawati (2001-2004) Yudhoyono (2004-2009)
2004
Temporal Compatible Answer: Yudhoyono (2004-2009)
Gambar 3 Contoh kinerja temporal layer. setelah Pemilihan Presiden?’ ditunjukkan pada Gambar 3. Penyaringan jawaban dilakukan untuk menyaring deret (list) jawaban dari Q-Focus dan jawaban dari Q-Restriction. Hanya jawaban yang memiliki ekspresi waktu yang dikembalikan. Pengambilan ekspresi waktu pada tiap jawaban dilakukan dengan menghitung jarak terkecil antara entitas jawaban dan ekpresi waktu pada dokumen yang mengandung jawaban tersebut. Ekspresi waktu yang terdekat dikembalikan sebagai informasi temporal jawaban. Berikut ini merupakan contoh jawaban yang memiliki informasi temporal untuk QFocus ‘Siapa Presiden Indonesia?’: 1 2 3 4 5 6 7 8 9 10 11 12
Array ( [0] => Array( [docno] => radarlampung1912090210.txt [text] => Susilo Bambang Yudhoyono [score] => 3.5 [VALUE1] => 2009/12/18) … [6] => Array( [docno] => kompas240503.txt [text] => Megawati Soekarnoputri [score] => 11.5 [VALUE1] => 2002/08/12) … )
Pada tahap pembandingan dan penyusunan jawaban, hasil penyaringan jawaban yang memiliki informasi temporal dibandingkan berdasarkan ketetapan signal dan ordering key. Hasil pembandingan kemudian disusun dan dikembalikan sebagai jawaban akhir yang mengandung informasi temporal (temporal compatible answer).
Evaluasi Hasil Percobaan Pada tahap evaluasi, sistem diberi 20 query pertanyaan yang mewakili kata tanya ‘siapa’, ‘kapan’, ‘di mana’, dan ‘berapa’ untuk setiap tipe pertanyaan temporal, sehingga terdapat total 80 query pertanyaan yang dievaluasi (Lampiran 5 - 20). Evaluasi dilakukan dengan menghitung nilai Right (R), Wrong (W), dan Unsupported (U) dari hasil rekomposisi dan jawaban yang dikembalikan oleh sistem. Persentase nilai jawaban dari setiap kata tanya untuk jenis pertanyaan kejadian tunggal (Tipe 1 dan Tipe 2) serta kejadian jamak (Tipe 3 dan Tipe 4) dengan menggunakan mode pemeringkatan BM25 ditunjukkan pada Tabel 4, dan pemeringkatan Proximity ditunjukkan pada Tabel 5. Tabel 6 menunjukkan hasil temu kembali Question Answering System umum untuk query pertanyaan factoid hasil penelitian Umriadi (2011). Sistem diberikan query dan dokumen yang sama, namun tanpa dilakukan penyesuaian temporal tagging terlebih dahulu karena sistem dibangun tanpa fungsi pengolahan informasi temporal. Evaluasi dilakukan pada sistem yang memiliki perbedaan metode pengembangan, sehingga ketika diberikan pertanyaan, terdapat kemungkinan sistem tidak menghasilkan jawaban apapun (null) yang tidak sesuai dengan kriteria penilaian. Untuk itu, pada hasil evaluasi dilakukan pendekatan dengan menetapkan jawaban null sebagai jawaban salah (bernilai Wrong). Evaluasi Pertanyaan Kejadian Tunggal (Tipe 1 dan 2) Pada pertanyaan kejadian tunggal, kinerja sistem dalam pengolahan query pertanyaan temporal Tipe 1 dengan menggunakan pemeringkatan BM25 maupun Proximity cukup baik, ditunjukkan dengan persentase kedua pemeringkatan yang menghasilkan nilai Right tertinggi untuk kata tanya ‘siapa’ sebesar 100%, sedangkan kata tanya ‘kapan’, ‘di mana’ dan ‘berapa’ sebesar 80%. Pada tipe pertanyaan ini, jawaban yang dikembalikan sistem tidak dibatasi oleh waktu tertentu, sehingga satu pertanyaan dapat memiliki beberapa jawaban yang relevan. Kekurangan sistem pada tipe pertanyaan ini disebabkan ketika proses ekstraksi jawaban, sistem mengembalikan jawaban dengan jarak terdekat, namun kemudian dianggap salah atau tidak relevan. Pada pertanyaan temporal Tipe 2, sistem telah mampu mengolah ekspresi temporal dan menormalisasi ke dalam bentuk ekspresi tanggal baku. Persentase nilai jawaban Right yang menggunakan pemeringkatan BM25, untuk kata
10
Tabel 4
Persentase perolehan jawaban untuk pertanyaan temporal menggunakan pemeringkatan BM25
Kata Tanya
Tipe 1 (%) R W U
Tipe 2 (%) R W U
Tipe 3 (%) R W U
Tipe 4 (%) R W U
Siapa
100
0
0
80
20
0
100
0
0
80
20
0
Kapan
80
20
0
100
0
0
100
0
0
80
20
0
Di mana
80
20
0
60
40
0
100
0
0
80
20
0
Berapa
80
20
0
60
40
0
80
20
0
60
40
0
R: Right, W: Wrong, U: Unsupported. Tabel 5
Persentase perolehan jawaban untuk pertanyaan temporal menggunakan pemeringkatan Proximity
Kata Tanya
Tipe 1 (%) R W U
Tipe 2 (%) R W U
Tipe 3 (%) R W U
Tipe 4 (%) R W U
Siapa
100
0
0
60
40
0
80
20
0
80
20
0
Kapan
80
20
0
100
0
0
100
0
0
80
20
0
Di mana
80
20
0
80
20
0
100
0
0
80
20
0
Berapa
80
20
0
60
40
0
60
40
0
80
20
0
R: Right, W: Wrong, U: Unsupported. Tabel 6
Persentase perolehan jawaban untuk pertanyaan temporal menggunakan Question Answering System umum (Umriadi 2011) Tipe 1 (%) R W U
Tipe 2 (%) R W U
Tipe 3 (%) R W U
Tipe 4 (%) R W U
Siapa
60
40
0
60
40
0
40
60
0
20
80
0
Kapan
60
40
0
60
40
0
80
20
0
40
60
0
Di mana
60
40
0
60
40
0
80
20
0
80
20
0
Berapa
60
40
0
40
60
0
40
60
0
20
80
0
Kata Tanya
R: Right, W: Wrong, U: Unsupported. tanya ‘kapan’ mencapai 100%, ‘siapa’ sebesar 80%, sedangkan kata tanya ‘di mana’ dan ‘berapa’ memiliki persentase nilai Right terkecil, yaitu sebesar 60%. Kekurangan tersebut disebabkan pada saat proses rekomposisi, kandidat jawaban yang relevan tidak dikembalikan sebagai jawaban akhir karena tidak memiliki relasi waktu yang memenuhi ketentuan, akibatnya sistem mengembalikan jawaban lain berupa jawaban berperingkat teratas. Perolehan nilai Right Tipe 2 dengan menggunakan pemeringkatan Proximity untuk kata tanya ‘kapan’ sebesar 100%, ‘di mana’ sebesar 80%, sedangkan ‘siapa’ dan ‘berapa’ memiliki nilai sebesar 60%. Hal tersebut disebabkan adanya kandidat jawaban yang saling berdekatan, sehingga memungkinkan pengembalian jawaban yang tidak relevan. Secara keseluruhan, rata-rata nilai Right untuk
pertanyan kejadian tunggal (Tipe 1 dan Tipe 2) dengan menggunakan pemeringkatan BM25 maupun Proximity mencapai 80%. Evaluasi Pertanyaan Kejadian Jamak (Tipe 3 dan 4) Pada jenis pertanyaan kejadian jamak, terdapat proses rekomposisi untuk menghasilkan jawaban yang sesuai urutan kejadian. Metode pendeteksian temporal signal dan pemenggalan pertanyaan yang digunakan untuk jenis pertanyaan ini telah mampu menyederhanakan pertanyaan yang lebih kompleks, terlihat dari persentase nilai jawaban Right yang diperoleh. Persentase nilai Right untuk pertanyaan temporal Tipe 3 dengan menggunakan pemeringkatan BM25 memiliki kinerja baik, yaitu menghasilkan nilai Right untuk kata tanya ‘siapa’, ‘kapan’ dan ‘di mana’ sebesar 100%, sedangkan ‘berapa’ sebesar 80%. Hasil berbeda
11
Nilai Right (%)
100
95 85 85
85 75 75
80
75
80
60 40 20 0 Tipe 1
Tipe 2 BM25
Tipe 3
Tipe 4
Proximity
Gambar 4 Hasil pemeringkatan BM25 dan Proximity untuk pertanyaan temporal. ditunjukkan dengan menggunakan pemeringkatan Proximity. Persentase nilai Right yang diperoleh untuk kata tanya ‘kapan’ dan ‘di mana’ mencapai 100%, ‘siapa’ sebesar 80%, sedangkan ‘berapa’ sebesar 60%. Kekurangan sistem dalam mengolah kata tanya ‘berapa’, khususnya menggunakan pemeringkatan Proximity disebabkan mode pemeringkatan tersebut memungkinkan pengembalian passage yang hanya memiliki salah satu keyword di frase, sehingga berpengaruh pada proses ekstraksi jawaban. Selain itu, adanya kandidat jawaban yang saling berdekatan juga memungkinkan pengembalian jawaban salah atau tidak relevan. Proses rekomposisi pada pertanyaan temporal Tipe 4 jauh lebih kompleks, karena selain terdapat signal yang menentukan urutan kejadian juga terdapat ekspresi temporal. Persentase nilai jawaban Right dengan menggunakan pemeringkatan BM25 untuk masing-masing kata tanya ‘siapa’, ‘kapan’ dan ‘di mana’ sebesar 80%. Nilai lebih rendah dihasilkan untuk kata tanya ‘berapa’ sebesar 60%. Sementara itu, menggunakan pemeringkatan Proximity persentase kata tanya ‘siapa’, ‘kapan’, ‘di mana’ dan ‘berapa’ masing-masing sebesar 80%. Jawaban salah yang dikembalikan oleh sitem untuk jenis pertanyaan kejadian jamak disebabkan terdapat perbedaan periode waktu yang berelasi pada kandidat jawaban (Q-Focus) dan pada jawaban yang berasosiasi waktu (QRestriction) yang umumnya berupa ekspresi tanggal. Sebagai contoh kasus, diberikan pertanyaan yang meminta nama presiden yang menjabat pada tahun 2009. Berdasarkan relevansi data, diketahui bahwa periode jabatan Presiden Yudhoyono adalah tahun 2004-2009. Akan tetapi, sistem menetapkan relasi waktu pada entitas ‘Yudhoyono’ adalah tahun 2005. Pada kasus tersebut, entitas ‘Yudhoyono’
dengan relasi waktu 2005 dianggap sudah benar berdasarkan periode waktu yang relevan tahun 2004-2009, namun entitas tidak dikembalikan sebagai jawaban akhir karena tidak memenuhi waktu yang telah ditentukan, yaitu tahun 2009. Kekurangan tersebut disebabkan jumlah dokumen yang digunakan dapat memengaruhi sebaran atau granulasi waktu yang menentukan relasi waktu kandidat jawaban. Rata-rata nilai Right untuk jenis pertanyaan kejadian jamak (Tipe 3 dan Tipe 4) menggunakan pemeringkatan BM25 sebesar 85%, lebih tinggi dibandingkan menggunakan pemeringkatan Proximity sebesar 82.50%. Gambar 4 menunjukkan hasil pengolahan setiap tipe pertanyaan temporal menggunakan pemeringkatan BM25 dan Proximity. Pada Tipe 1 dan Tipe 2, kedua mode pemeringkatan menghasilkan rata-rata nilai Right yang sama, yaitu sebesar 85% dan 75%. Pada Tipe 3, penggunaan pemeringkatan BM25 untuk pertanyaan temporal menghasilkan rata-rata nilai Right lebih baik, yaitu sebesar 95%, dibandingkan dengan pemeringkatan Proximity sebesar 85%. Sementara itu, pada Tipe 4, penggunaan pemeringkatan BM25 menghasilkan rata-rata nilai Right lebih rendah, yaitu sebesar 75%, dibandingkan dengan pemeringkatan Proximity sebesar 80%. Pembandingan Sistem Pembandingan sistem dilakukan pada Question Answering System (QAS) umum untuk query pertanyaan factoid hasil penelitian Umriadi (2011). Sistem diberikan query dan dokumen yang sama, namun tanpa dilakukan penyesuaian temporal tagging terlebih dahulu karena sistem tersebut dibangun tanpa fungsi pengolahan informasi temporal. Pengolahan pertanyaan temporal untuk Tipe 1, Tipe 2, Tipe 3, dan Tipe 4 menghasilkan nilai Right masing-masing hanya sebesar 60%, 55%, 60%, dan 40%. Rata-rata nilai Right keseluruhan pengolahan pertanyaan temporal sebesar 53.75%. Hasil tersebut jauh lebih rendah dibandingkan dengan hasil pengolahan pertanyaan temporal pada sistem yang telah dibangun, yaitu dengan rata-rata nilai Right sebesar 82.50% menggunakan BM25 dan 81.25% mengunakan Proximity. Kekurangan pengolahan pertanyaan temporal pada QAS umum (Umriadi 2011) disebabkan query diolah langsung oleh sistem tanpa dilakukan proses identifikasi ekspresi temporal dan temporal signal yang berguna dalam menentukan urutan kejadian dan skenario perlakuan query. Perbandingan hasil pengolahan pertanyaan temporal menggunakan
