7
BAB 2 LANDASAN TEORI
2.1
Intelegensia Semu Intelegensia semu adalah bidang studi yang mempelajari bagaimana cara untuk membuat sebuah komputer dapat melakukan hal yang membutuhkan intelegensi ketika dioperasikan oleh manusia (Luger and Stubblefield, 1993). Kecerdasan semu terkategorikan menjadi 4 bagian besar, yaitu sistem yang berpikir seperti manusia (pendekatan kognitif), sistem yang berpikir secara rasional (Pendekatan the laws of thought), sistem yang bertindak seperti manusia (Pendekatan Turing Test) dan sistem yang bertindak secara rasional (Pendekatan Rasional Agent). Apabila dilihat secara keseluruhan, kecerdasan semu dapat dibedakan menjadi 2 jenis konsep, yaitu kecerdasan semu konvensional dan kecerdasan semu komputasional. 1. Kecerdasan Semu Konvensional Teknik pembuatan program intelegensia semu sangat berbeda dengan teknik pemrograman
menggunakan
bahasa
konvensional.
Dalam
software
konvensional kita memerintah komputer bagaimana menyelesaikan suatu masalah. Sebaliknya, dalam intelegensia semu kita tidak memerintah komputer untuk menyelesaikan masalah, tetapi memberitahu komputer tentang adanya masalah. Dalam komputasi konvensional, kita memberikan data kepada komputer dan program yang telah kita susun terlebih dahulu dengan langkah
8
demi langkah kemudian memspesifikasikan cara data digunakan sampai komputer bisa memberikan solusi. Dalam komputasi intelegensia semu, komputer mendapatkan pengetahuan tentang suatu wilayah subyek masalah tertentu dengan ditambah kemampuan inferensi. Kita tidak memerintahkan komputer untuk memecahkan masalah tetapi sebaliknya komputer dan software-nya yang menentukan metode untuk mencapai suatu solusi. Program komputer konvensional didasarkan pada suatu algoritma yang disusun dengan jelas, rinci, serta langkah sampai pada hasil yang sudah ditentukan sebelumnya. Program bisa berupa rumus matematika atau prosedur berurutan yang tersusun dengan jelas yang mengarah ke suatu solusi. Algoritma tersebut kemudian dipindahkan ke dalam program komputer. Daftar instruksi disusun berurutan untuk mengarahkan komputer agar bisa sampai pada hasil yang diinginkan. Selanjutnya, algoritma bisa digunakan untuk mengolah data bilangan, huruf, atau kata lainnya. 2. Kecerdasan Semu Komputasional Software
intelegensia
semu
tidak
didasarkan
pada
algoritma,
tetapi
didadasarkan pada representasi dan manipulasi simbol. Di dalam intelegensia semu, sebuah simbol bisa merupakan huruf, kata, atau bilangan yang digunakan untuk menggambarkan objek, proses, dan hubungannya. Sumber bisa merupakan cetakan atau elektronik. Objek bisa berupa orang, benda, ide, pikiran, peristiwa, atau pernyataan suatu fakta. Dengan menggunakan simbol, komputer bisa menciptakan suatu basis pengetahuan yang menyatakan fakta, pikiran, dan hubungannya satu sama lain. Berbagai proses digunakan untuk memanipulasi simbol agar mampu memecahkan masalah. Pengolahannya
9
bersifat kuantitatif, bukan kualitatif seperti halnya komputasi yang didasarkan pada algoritma. Dalam perkembangannya intelegensia semu dapat dikelompokkan sebagai berikut: 1. Sistem pakar (Expert System), komputer sebagai sarana untuk menyimpan pengetahuan para pakar sehingga komputer memiliki keahlian menyelesaikan permasalahan dengan meniru keahlian yang dimiliki pakar. 2. Pengolahan bahasa alami (Natural Language Processing), pengguna dapat berkomunikasi dengan komputer menggunakan bahasa sehari-hari, misalnya bahasa inggris, Bahasa Indonesia, dan sebagainya. 3. Pengenalan ucapan (Speech Recognition), manusia dapat berkomunikasi dengan komputer menggunakan suara. 4. Robotika & Sistem Sensor. 5. Computer Vision, menginterpretasikan gambar atau objek-objek tampak melalui komputer. 6. Intelligent Computer-Aided Instruction, komputer dapat digunakan sebagai tutor yang dapat melatih & mengajar. 7. Game Playing. 8. Soft Computing.
10
2.2
Information Retrieval Inti dari information retrieval adalah sekumpulan, algoritma dan teknologi untuk melakukan pemrosesan, penyimpanan dan menemukan kembali informasi yang ada. Proses dari information retrieval terdiri dari beberapa langkah, dimulai dari peinginputan query untuk menentukan dokumen mana yang sesuai dengan query yang diinput hingga memprioritaskan dokumen mana yang paling relevan dengan query yang diinput. Langkah-langkah dalam penemuan dokumen yang sesuai dengan query akan dilakukan di belakang layar atau disembunyikan dari user, sehingga user hanya perlu melakukan input query dan melihat hasil dari query tersebut. Langkah-langkah dalam penemuan dokumen yang sesuai juga bervariasi, beberapa diantaranya yaitu: Boolean Model, Vector Space Model, Probabilistic Model, Latent Semantic Indexing Model dan lain-lainnya (Jae-wook: 2010).
2.2.1 Arsitektur Information Retrieval 2.2.1.1
Proses Retrieval
Proses information retrieval secara garis besar digambarkan dalam diagram di bawah ini :
11
User Interface Ranked documents Text Operation Kebutuhan Informasi Query Operation
Indexing
DB Manager Module
Query Searching Retrieved documents Ranking
Text Database
Gambar 2.1 Proses Information Retrieval Secara detil, penjelasan mengenai arsitektur information retrieval terdiri dari beberapa langkah, yaitu : 1. Sebelum proses retrieval dilakukan, kita perlu merancang dan memodelkan bentuk dari database yang akan digunakan untuk keperluan information retrieval. Beberapa hal yang harus dilakukan dalam merancang dan memodelkan Database
• Penentuan jenis dokumen yang akan digunakan (Semi Structured dan Unstructured)
12
-
semi–structured (dokumen yang memiliki struktur tree, misalnya dokumen XML) biasanya memberikan tag tertentu pada term – term pada dokumen, sedangkan pada dokumen.
-
unstructured (dokumen yang tidak memiliki pola, misalnya artikel atau paragraf) proses ini akan dilewati dan term pada dokumen akan dibiarkan tanpa imbuhan tag.
• Operasi dasar yang akan dilakukan terhadap text pada isi dokumen. •
Sistem akan membentuk indeks dari text.
• Indeks merupakan bagian yang sangat kritikal karena akan berpengaruh pada proses pencarian yang cepat dalam volume data yang sangat besar. Struktur indeks dapat berbeda-beda, namun yang paling popular untuk digunakan adalah inverted index. (Modern Information Retrieval:2010). Pembuatan indeks akan melibatkan DB Manager Module untuk mengambil data-data indeks yang telah disimpan pada text database sebelumnya.
• indeks tersebut akan disimpan ke dalam text database melalui DB Manager Module. 2. Ketika document text database selesai dibentuk, maka user sudah dapat melakukan pencarian. Untuk melakukan pencarian, langkah – langkah yang harus dilakukan adalah sebagai berikut :
•
Pada suatu kebutuhan pencarian data atau kebutuhan informasi pengguna akan merepresentasikan kebutuhan tersebut dengan menggunakan query.
•
Query Operation akan dilakukan setelah user menginput query.
13
•
Proses searching pada query akan menghasilkan retrieved documents.
•
Sebelum data dikembalikan ke user, dokumen yang di-retrieved akan diranking berdasarkan kedekatan dokumen dengan query.
2.2.1.2 Text Operation Text Operation berperan penting dalam proses information retrieval, karena seluruh proses yang berhubungan dengan penggalian informasi dari sumber dokumen ataupun teks dilakukan pada proses text operation. Dari awal mulanya sebuah sumber yang memberikan informasi yang kurang ter-summarize dan kurang tepat, menjadi sebuah sumber yang lebih akurat dan ter-summarize. Pada text operation, terdapat beberapa langkah yang harus dan tidak harus dilakukan di dalam sebuah sistem Information Retrieval tergantung kepada model retrieval yang digunakan, langkah-langkah tersebut adalah sebagai berikut :
• Tokenisasi • Penghilangan Stop-word • Normalisasi • Stemming dan Lemmatisasi
14
Untuk langkah-langkah text operation dapat dilihat pada diagram di bawah ini :
Dokumen
Tokenisasi Token Penghilangan Stopword (Optional) Token tanpa stopword Normalisasi (Optional) Term Stemming dan Lemmatisasi (Optional) Lemma
Gambar 2.2 Proses Text Operation
15
1. Tokenisasi Tokenisasi merupakan proses pemotongan kumpulan karakter menjadi sebuah kata tunggal atau token. Contoh tokenisasi : •
Input : Friends, Romans, Countrymen, Lend, Me, Your, Eyes
•
Output : Friends Romans Countrymen Lend Me Your Eyes
Terkadang token dapat dikatakan juga sebagai term atau kata. Pemotongan kumpulan karakter biasanya berdasarkan karakter spasi, namun beberapa permasalahan yang terjadi dalam proses tokenisasi yaitu terdapat beberapa kata yang akan berbeda arti bila dipotong berdasarkan spasi seperti San Fransisco akan memiliki arti yang berbeda bila dipotong menjadi San dan Fransisco. Setiap dokumen dan query direpresentasikan dengan model bag-of-words, yaitu model yang mengabaikan urutan dari kata – kata dan struktur yang ada di dalam dokumen. Dokumen diubah menjadi sebuah ‘tas’ yang berisi kata – kata yang independen.
2. Penghilangan Stop Word Stop-word didefinisikan sebagai term yang tidak berhubungan (non-relevant) dengan subjek utama dari database meskipun kata tersebut sering muncul di dalam dokumen. Penghilangan stop-word tidak bersifat wajib pada beberapa desain dari modern information retrieval memliki cara sendiri untuk menyelesaikan masalah kata-kata yang sering digunakan dengan menggunakan data statistik.
16
Contoh stop-word dalam bahasa inggris:a, an, the, this, that, these, those, her, his, its, my, our, their, your, all, few, many, several, some, every, for, and, nor, bit, or, yet, so, also, after, although, if, unless, because, on, beneath, over, of, during, beside, dan etc. Contoh stop-word dalam bahasa Indonesia : yang, juga, dari, dia, kami, kamu, aku, saya, ini, itu, atau, dan, tersebut, pada, dengan, adalah, yaitu, ke, tak, tidak, di, pada, jika, maka, ada, pun, lain, saja, hanya, namun, seperti, kemudian, dll.
3. Normalisasi (Equivalence classing of term) Normalisasi merupakan pengelompokan kata yang memiliki nilai sama. Proses normalisasi dapat mengurangi nilai recall den meningkatkan nilai precision. Cara standar yang paling sering dilakukan untuk melakukan normalisasi adalah membuat sebuah equivalence class, yang biasanya dinamakan menjadi salah satu member dari class. Sebagai contoh: anti-discriminatory dan anti discriminatory keduannya akan dikelompokkan kedalam sebuah term yaitu anti discriminatory. Kegunaan utama dari pengelompokkan ini adalah menghilangkan karakter tanda hubung. Cara lain untuk membuat sebuah equivalence class adalah memberikan hubungan antara kata yang saling berhubungan , dengan membuat daftar kata yang memiliki arti sama seperti car dan automobile.
17
4. Stemming dan Lemmatisasi Sebuah kata kerja dalam dokumen sering kali memiliki banyak bentuk atau tata bahasa yang berbeda, untuk mengatasinya dilakukan stemming dan lemmatisasi. Tujuan akhir dari stemming maupun lemmatisasi merupakan proses mereduksi kata menjadi kata dasar, proses ini dilakukan dengan pemotongan akhiran dan awalan kata. Dengan cara ini, diperoleh kelompok kata yang mempunyai makna serupa tetapi berbeda wujud sintaktis satu dengan lainnya. Kelompok tersebut dapat direpresentasikan oleh satu kata tertentu.
Meskipun demikian stemming dan
lemmatisasi memiliki perbedaan dalam cara kerjanya. Stemming melakukan proses pemotongan akhiran dan awalan untuk mencapai tujuan tersebut, sedangkan lemmatisasi melihat penggunaan kata kerja serta analisis morfologi terlebih dahulu sebelum melakukan pemotongan, hasil dari lemmatisasi biasa disebut dengan lemma. Misalkan sebuah kata saw, stemming hanya akan mengembalikan kata see, sedangkan lemmatisasi akan memotongnya ke bentuk see atau saw tergantung pada penggunaan katanya sebagai verb atau noun. Meskipun lemmatisasi membantu meningkatkan precision untuk sebagian besar query namun lemmatisasi akan menurunkan performa karena membutuhkan proses yang cukup besar. Stemming akan meningkatkan recall dan menurunkan precision.
2.2.1.3 Indexing Proses indexing adalah proses yang merepresentasikan document collection ke dalam bentuk tertentu untuk memudahkan dan mempercepat proses pencarian dokumen yang relevan.
18
Pembuatan index dari document collection adalah tugas pokok pada tahapan pre-processing di dalam information retrieval. Efektitifitas dan efisiensi information retrieval dipengaruhi oleh kualitas indeks-nya. Pengindeksan membedakan dokumen satu dengan dokumen yang lain yang berada di dalam satu collection. Indeks dengan ukuran yang kecil dapat memberikan hasil yang kurang baik dan bisa saja beberapa dokumen yang seharusnya relevan terabaikan. Sementara indeks dengan ukuran yang besar memungkinkan ditemukannya dokumen yang tidak relevan dan menurunkan kecepatan pencarian. Pembuatan inverted index harus melibatkan konsep linguistic processing yang bertujuan mengekstrak term-term penting dari dokumen yang direpresentasikan sebagai bag-of-words.
Query
Dokumen
Representasi dokumen
Representasi query
Proses pencocokan
Daftar dokumen
Gambar 2.3 Proses Esktraksi Term
19
2.3
Model-Model Information Retrieval 2.3.1 Boolean Model Boolean Model adalah model yang paling sederhana dalam information retrieval. Pada model ini, setiap query yang dibentuk menggunakan sekumpulan kata-kata yang biasanya disebut sebagai Keyword dan dihubungkan menggunakan Boolean operator seperti AND, OR dan NOT (Peter : 2010). Boolean Model adalah salah satu teknik pemecahan masalah dalam information retrieval. Boolean Model hanya menentukan apakah di dalam dokumen-dokumen yang tersedia mengandung query yang ingin dicari dengan logika NOT, AND dan OR. Boolean Model merupakan teknik yang paling sederhana dalam menyelesaikan permasalahan information retrieval karena Boolean Model hanya menggunakan logika 1 (mengandung) dan 0 (tidak mengandung) dalam menemukan query di dalam dokumen-dokumen yang ada, berbeda dengan halnya dengan model-model lainnya yang melakukan perhitungan rumit dalam menentukan seberapa besar keterkaitan antara query dan dokumen yang ada.
Gambar 2.4 Flowchart Training Boolean Model
20
Gambar 2.5 Flowchart Testing Boolean Model Untuk dapat memahami lebih detil tentang Boolean Model, berikut diberikan contoh penyelesaian sistem information retrieval dengan Boolean Model. Pada sebuah document collection, terdapat : -
Dokumen : Anthony, Julius, Tempest, Hamlet, Othello, Bert.
-
Word
: Anthony, Brutus, Caiser, Calpurnia, Cleopatra, Mercy, Worser.
-
Query
: Brutus AND Caiser AND NOT Calpurnia
Hal yang diketahui selain informasi di atas adalah mengenai keterkaitan antara dokumen dengan word, keterkaitan dokumen dengan word akan diilustrasikan dengan tabel di bawah ini : 0 = apabila word tidak terdapat di dalam dokumen 1 = apabila word terdapat di dalam dokumen Tabel 2.1 Keterkaitan Antara Word dan Dokumen Boolean Model Word/dokumen Anthony
Julius
Tempest
Hamlet
Othello
Bert
Anthony
1
1
0
0
0
1
Brutus
1
1
0
1
0
0
Caiser
1
1
0
1
1
1
Calpurnia
0
1
0
0
0
0
21
Cleopatra
1
0
0
0
0
0
Mercy
1
0
1
1
1
1
Worser
1
0
1
1
1
0
Untuk mendapatkan hasil pencarian untuk Caiser AND Brutus AND NOT Calpurnia, hal yang harus dilakukan adalah : 1. Mengambil nilai matriks dari masing-masing query (Caiser, Brutus dan Calpurnia) Caiser : 110111 Brutus : 110100 Calpurnia : 010000 NOT Calpurnia : 101111 2. Melakukan operasi bitwise AND untuk seluruh query, agar mendapatkan dokumen mana yang mengandung query yang diminta. Caiser
: 110111
Brutus
: 110100
NOT Calpurnia : 101111 Hasil bitwise 3. Melakukan
: 100100 pengecekan
pada
tabel
dokumen
dan
word
dengan
menggunakan hasil bitwise untuk mendapatkan dokumen mana yang dapat memenuhi query yang diminta.
22
Tabel 2.2 Hasil Pencarian Menggunakan Bitwise Boolean Model Word/dokumen Anthony
Julius
Tempest
Hamlet
Othello
Bert
Brutus
1
1
0
1
0
0
Caiser
1
1
0
1
1
1
Calpurnia
0
1
0
0
0
0
Bitwise
1
0
0
1
0
0
Maka dapat ditentukan bahwa dokumen yang dapat memenuhi query yang diminta adalah Anthony dan Hamlet. Menggunakan cara di atas belum menyelesaikan permasalah sistem information retrieval secara keseluruhan. Kasus yang terjadi adalah jumlah dokumen yang besar dan masing-masing dokumen memiliki konten yang banyak, sehingga table yang dimiliki akan sangat besar dan perbandingan yang harus dilakukan oleh sistem menjadi sangat banyak. Misalkan untuk 100 dokumen dengan masing-masing memiliki 500 word didalamnya maka matriks yang akan dihasilkan adalah 100 x 500 = 5000, dapat dibayangkan untuk membandingkan query dengan dua kata saja sebagai contoh: Calpuria and Brutus akan membutuhkan operasi bitwise sejumlah 2 x 500 kali. Tentu saja cara di atas sangat tidak efektif untuk melakukan pencarian pada query, karena akan memberikan performa yang sangat buruk atau dengan kata lain pencarian yang sangat lambat. Untuk itu perlu dilakukan optimasi dan indeksing pada saat melakukan pencarian, penyelesaian yang dapat dilakukan untuk
23
menyelesaikan masalah di atas adalah dengan cara membuat inverted index. Langkah – langkah pembuatan inverted index adalah sebagai berikut : 1. Kumpulkan dokumen-dokumen yang ada untuk diindeks. Dalam hal ini pengindeksan yang dimaksud adalah memberikan penomoran pada setiap dokumen untuk dijadikan sebagai indeks. 2. Potong kalimat-kalimat yang telah diindeks. 3. Potong setiap kata yang terdapat pada masing-masing dokumen yang telah diindeks. Hasil dari langkah pertama hingga langkah ketiga dapat dilihat pada gambar di bawah ini : Tabel 2.3 Hasil Index Pada Boolean Model Word
dokumen yang telah diindeks
Brutus
1
2
4
11
31
45
173
Caesar
1
2
4
5
6
16
57
Calpurnia
2
31
54
101
132
...
Pada gambar di atas menjelaskan bahwa setiap word telah dindeks pada dokumen yang tersedia. Apabila kata yang ingin dicari terdapat pada dokumen tersebut, maka cukup menuliskan nomor indeks dokumen tersebut. 4. Urutkan inverted indeks berdasarkan jumlah dokumen yang mengandung keyword secara ascending.
24
5. Melakukan proses pengambilan informasi mulai dari jumlah dokumen terkecil dibandingkan dengan dokumen terkecil berikutnya. Contohnya : Diketahui dokumen dan word sebagai berikut : Word
dokumen
Brutus
1
3
6
Caiser
2
3
7
Calpurnia
3
5
7
7
9
8
Diurutkan berdasarkan jumlah dokumen terkecil, sehingga menjadi : Word
dokumen
Caiser
2
3
7
Calpurnia
3
5
7
8
Brutus
1
3
6
7
9
Setelah diurutkan, maka dokumen yang akan dibanding adalah word Caiser dan Calpurnia. 6. Proses perbandingan untuk proses pengambilan informasi dilakukan dengan algoritma berikut :
25
o Membuat sebuah
variabel vektor untuk menampung hasil
perbandingan antara 2 dokumen, o Melakukan proses perulangan while dengan kondisi “Selama salah satu word masih mengandung dokumen, maka proses perbandingan akan terus berjalan”, o Selama proses perulangan berjalan akan dilakukan pengecekan terhadap word yang satu dengan yang lainnya apakah mengandung indeks dokumen yang sama, dengan kondisi sebagai berikut :
Apabila terdapat indeks dokumen yang sama, maka indeks dokumen akan ditambahkan ke dalam vektor jawaban dan masing-masing word indeksnya akan ditambah.
Apabila tidak terdapat dokumen dengan indeks dokumen yang sama, maka akan dilakukan pengecekan terhadap indeks dokumen mana yang lebih besar, dengan kondisi “word dengan indeks terkecil akan ditambah dan yang terbesar akan tetap pada posisinya”.
o Setelah proses perulangandan selection di atas selesai, maka informasi telah ditemukan dan akan di return berupa nilai vektor. 7. Apabila jumlah word yang ingin dicari lebih dari dua, maka proses keenam akan dilakukan hingga semua word yang ingin dicari pada dokumen ditemukan. Dengan cara membandingkan 2 dokumen. Contoh : Word
dokumen
Caiser
2
3
7
Calpurnia
3
5
7
Jawaban : 3,7
8
Jawaban : 3,7
26
Brutus
1
3
6
7
9
Maka jawaban untuk pencarian informasi untuk keyword Caiser, Calpurnia dan Brutus terdapat pada dokumen 3 dan 7. Untuk inverted index sebenarnya telah cukup untuk menyelesaikan masalah performa dari sistem information retrieval, proses pencarian dapat lebih dioptimalkan dengan menambahkan operator-operator logika.
2.3.2 Vector Space Model Vector Space Model berbeda dengan Boolean Model dalam berbagai aspek, walaupun pada Vector Space Model query yang diinput oleh user juga dianggap sebagai kumpulan kata-kata, akan tetapi kata-kata tersebut dapat dihitung bobotnya, dapat juga difokuskan tingkat kepentingan kata-katanya (Edie : 2010). Vector Space Model (VSM) menganggap dokumen sebagai kumpulan dari katakata dan biasanya digunakan dalam penelusuran informasi seperti pencarian katakata. Dalam VSM, kata-kata di dalam dokumen direpresentasikan dengan vektor matematika. Dengan kata lain, tingkat pentingnya sebuah kata dalam dokumen dinyatakan dengan Word Frequncy (TF) dan Inverse Dokumen Frequency (IDF). TF-IDF didesain untuk menyatakan kekuatan keterkaitan antar kata dalam sebuah dokumen ataupun antar dokumen. (Salton, 1971). Menurut Salton, vector space model adalah model information retrieval yang menggabungkan informasi lokal dan global dan mengibaratkan baik query maupun dokumen sebagai sebuah vektor n-dimensi. Pada vektor tersebut, tiap dimensi diwakili oleh sebuah term. Term yang digunakan biasanya adalah term yang
27
terdapat di keyword atau query, dengan demikian jika ada term yang ada pada dokumen tetapi tidak ada pada query atau keyword maka term tersebut bisa diabaikan
Gambar 2.6 Flowchart Training Vector Space Model
Gambar 2.7 Flowchart Testing Vector Space Model
Berikut adalah persamaan vector space model untuk menghitung bobot term yang diperkenalkan oleh Salton:
Dimana:
28
jumlah term atau seberapa sering term i muncul di dalam sebuah dokumen. jumlah dokumen yang mengandung term i jumlah dokumen secara kesuluruhan
Pada persamaan diatas, nilai rasio dari
adalah besarnya peluang terpilihnya
dokumen yang mengandung term-query. Lalu
adalah frekuensi dari
inverse dokumen,
adalah informasi lokal
dan merupakan informasi global dan
Untuk lebih jelasnya mengenai hubungan antara informasi global dan informasi lokal, berikut akan disediakan contohnya: Berikut adalah kumpulan dokumen yang terdiri dari lima dokumen, D1, D2, D3, D4, dan D5. Dari semua dokumen yang ada, hanya ada tiga dokumen yang mengandung term “CAR”, yaitu dokumen D1, D2, dan D3, sehingga nilai dari IDF untuk term ini adalah
= 0.2218
Gambar 2.8 Diagram Dokumen TF-IDF
29
Pada D1, nilai Nilai dari
= 1 dikarenakan D1 hanya mengandung satu kata “car”.
adalah nilai untuk informasi lokal, sementara nilai
adalah nilai dari informasi global yang ada. Nilai
di atas adalah
yang merupakan jumlah term
secara keseluruhan dari semua dokumen. Persamaan vector space model untuk menghitung bobot term yang diperkenalkan oleh salton menunjukkan bahwa nilai dengan bertambahnya nilai
akan bertambah seiring
. Hal ini akan menyebabkan model di atas rentan
terhadap pengulangan term yang akan mengakibatkan nilai
menjadi tinggi (hal
ini dikenal dengan keyword spamming), jika diberikan query q, maka 1. Dokumen yang dengan jumlah kata yang sama, maka dokumen yang mengandung term yang terdapat pada query q tentunya akan mendapatkan nilai yang lebih tinggi 2. Dokumen yang panjangnya tidak sama, maka kemungkinan dokumen yang lebih panjang akan mendapatkan nilai
yang lebih tinggi karena dokumen tersebut
mungkin saja lebih banyak mengandung term pada query .
2.3.2.1 TF – IDF Term Frequency (TF) menurut Polettini (2004) adalah formula yang dipakai untuk menghitung berapa kali suatu term muncul di sebuah dokumen. Frekuensi term i dalam dokumen j didefinisikan oleh Cios et al (2007) sebagai:
30
Dimana:
= jumlah kemunculan term i pada dokumen j
Inverse Dokumen Frequency (IDF) digunakan untuk mengidentifikasi seberapa besar perbedaan yang dihasilkan oleh term i. Biasanya term yang muncul dalam berbagai dokumen kurang dapat digunakan untuk mengukur suatu topik yang spesifik. Rumus untuk mengukur inverse document frequency adalah:
Dimana
= jumlah dokumen yang mengandung term i
digunakan untuk menekan efek relatif terhadap Vector space model dapat diterapkan pada indeks kata tertentu atau pada keseluruhan teks. Vector space model terdiri dari dua kali langkah perhitungan, yaitu: 1. Bobot tiap indeks kata pada seluruh dokumen dihitung. Perhitungan ini menentukan seberapa penting sebuah kata di dalam collection. 2. Bobot tiap index kata di dalam dokumen yang diberikan dihitung sesuai sebanyak N dokumen. Perhitungan ini menentukan seberapa penting sebuah kata di dalam sebuah dokumen. Berikut adalah contoh sederhana perhitungan vector space model, untuk penyederhanaan, kita akan menggunakan vector space model sederhana yang:
31
-
Tidak melakukan stemming
-
Data pada term dan query tidak dinormalisasi
-
Menggunakan semua term, termasuk stop-word Terdapat query “gold silver truck” dan tiga dokumen (D=3) dengan konten
berikut: D1: “Shipment of gold damaged in a fire” D2:“Delivery of silver arrived in a silver truck” D3: “Shipment of gold arrived in a truck” Tabel 2.4 Tabel TF-IDF
Terms
Q
Weights, wi = tfi * IDFi
Counts,tfi D1
D2 D3 dfi D/dfi
IDFi
Q
D1
D2
D3
A
0
1
1
1
3
3/3=1
0
0
0
0
0
Arrived
0
0
1
1
2
3/2=1.5
0.1761
0
0
0.1761
0.1761
Damaged
0
1
0
0
1
3/1=3
0.4771
0
0.4771
0
0
Delivery
0
0
1
0
1
3/1=3
0.4771
0
0
0.4771
0
Fire
0
1
0
0
1
3/1=3
0.4771
0
0.4771
0
0
Gold
1
1
0
1
2
3/2=1.5
0.1761
0.1761
0.1761
0
0.1761
In
0
1
1
1
3
3/3=1
0
0
0
0
0
32
Of
0
1
1
1
3
3/3=1
0
0
0
0
0
Silver
1
0
2
0
1
3/1=3
0.4771
0.4771
0
0.9542
0
Shipment
0
1
0
1
2
3/2=1.5
0.1761
0
0.1761
0
0.1761
Truck
1
0
1
1
2
3/2=1.5
0.1761
0.1761
0
0.1761
0.1761
Tiga kolom terakhir di atas adalah perhitungan bobot dari semua term yang ada. Berikut adalah penjelasan mengenai kolom – kolom di atas: -
Kolom 1 – 6: Pertama kita menganalisis indeks dari term dari dokumen dan menentukan jumlah tfi untuk query dan setiap dokumen Dj.
-
Kolom 7 – 9: Lalu hitung frekuensi dokumen Dj untuk setiap dokumen.
-
Kolom 10 - 12: Kita akan menghitung tf * IDF dan menghitung bobot dari masing – masing term. Setelah melakukan perhitungan seperti diatas, selanjutnya akan dilakukan
perhitungan similarity analysis. Terdapat beberapa metode perhitungan similarity pada vector space model, antara lain: cosine, dot product, Jaccard coefficient dan Euclidean distance. Metode yang dipakai pada penelitian kali ini adalah metode cosine. Langkah - langkah perhitungan similarity dengan metode cosine adalah : 1. Hitung panjang vektor untuk setiap dokumen dan query (abaikan term dengan nilai 0)
33
2. Kemudian hitung semua dot product (abaikan nilai 0)
3. Kemudian hitung tingkat kemiripan pada tiap dokumen
34
Sehingga hasil pemeringkatannya adalah: 1. D2 = 0.8246 2. D3 = 0.3271 3. D1 = 0.0801 Normalisasi frekuensi dari sebuah term i pada dokumen j bisa dilakukan dengan rumus berikut:
Dimana: = frekuensi normalisasi
35
= frekuensi dari term i di dalam dokumen j
= frekuensi maksimum term i di dalam dokumen j
Contoh, jika sebuah dokumen terdiri dari term – term berikut: -
Motherboard , 5
-
RAM , 10
-
Memory , 3
-
Speed , 2
-
Casing , 5 Pada contoh di atas, term RAM adalah term yang paling banyak muncul
sehingga normalisasi frekuensi adalah sebagai berikut: -
Motherboard , 5 / 10 = 0.50
-
RAM , 10 / 10 = 1
-
Memory , 3 / 10 = 0.30
-
Speed , 2 / 10 = 0.20
-
Casing ,5 / 10 = 0.50 Bobot pada term i di dalam dokumen j dapat dinormalisasi dengan rumus:
Sementara bobot term i pada query q dapat dinormalisasi dengan rumus:
36
Hasil dari normalisasi bobot di atas kemudian digunakan untuk menghitung vektor dokumen dan query.
2.3.3 Latent Semantic Indexing (LSI) LSI adalah metode pengindeksan secara otomatis yang dibuat untuk mengatasi dua masalah dasar yang kerap ditemui pada pengindeksan tradisional yang memakai metode pencocokan keyword: synonymy dan polysemy. Synonymy adalah keadaan dimana terdapat beberapa kata berbeda, tetapi kata - kata tersebut mempunyai arti yang sama, sementara polysemy adalah keadaan dimana satu kata mempunyai lebih dari satu arti. LSI adalah metode pengindeksan hasil pengembangan dari ruang model vektor. Pada ruang model vektor, dokumen dan term dinyatakan sebagai sebuah vektor, sementara LSI (latent semantic indexing) lebih condong menggunakan matriks untuk me-retrieve dokumen.
Gambar 2.9 Flowchart Training LSI Model
37
Gambar 2.10 Flowchart Testing LSI Model
2.3.3.1 SVD (Singular Value Decomposition) SVD adalah metode dari aljabar linear untuk faktorisasi terhadap sebuah matriks dengan dimensi
menjadi tiga matriks. Hal ini terkait dengan
dekomposisi nilai Eigen dari matriks (Golub and Van Loan, 1996). SVD digunakan untuk menurunkan peringkat dari matriks tanpa harus menghilangkan konten – konten yang penting dan SVD juga berguna untuk mengurangi noise (konten – konten yang tidak penting). Pada vector space model, hanya term atau dokumen yang direpresentasikan ke dalam
vector
space
model.
Sementara
pada
LSI,
term
dan
dokumen
direpresentasikan ke dalam satu ruang. Hal ini memungkinkan dihitungnya tingkat kemiripan antara sesama dokumen, antara sesama term, antara term dan dokumen.
38
SVD membagi matriks matriks A
dimana
dan
menjadi tiga
matriks
LSI dirancang untuk menemukan struktur lemantik laten dari document collection dengan membuat sebuah ruang semantik. Karena itu LSI menganalis pola penggunaan kata yang ada pada document collection. Pada ruang semantik yang dibuat oleh LSI, terdapat term dan document. Latent Semantic Indexing dikembangkan untuk mengatasi kelemahan model ruang vektor. Misalnya kita mempunyai lima buah document: : Romeo and Juliet. : Juliet :O happy dagger! : Romeo died by dagger. : “live free or die”, that’s the New-Hampsphire’s motto. : Did you know, New-Hampspire is in New-England Dan query yang dipakai adalah : dies, dagger. Jika dilakukan pencarian dokumen yang relevan, jelas bahwa
berada pada
peringkat teratas karena dokumen tersebut mengandung kata dies, dan dagger. Dokumen
dan
berada dibawah dokumen
karena masing – masing
dokumen mengandung satu query. Lalu bagaimana dengan dokumen
dan
?
Jika yang menganalisis dokumen – dokumen di atas adalah seorang manusia, akan disimpulkan bahwa dokumen sementara itu dokumen
sebenarnya berhubungan dengan query diatas,
tidak terlalu berkaitan dengan query yang dimasukkan.
39
Dengan kata lain dokumen daripada dokumen
seharusnya berada di posisi yang lebih tinggi
.
Jika menggunakan metode vector space model, hal tersebut tidak dapat dilakukan, tetapi dengan menggunakan LSI, hal tersebut mungkin dilakukan. Pada contoh diatas LSI bisa mengetahui bahwa term dagger sebenarnya berhubungan dengan dokumen dokumen
karena term dagger muncul bersamaan bersama term pada
, yaitu pada dokumen
dengan dokumen
dan dokumen
Romeo pada dokumen dokumen
dan dokumen
. Term dies juga berhubungan
karena muncul bersamaan dengan term
di dalam dokumen
dan term New-Hampshire pada
di dalam dokumen
. Dari hubungan antar dokumen di atas, LSI
menyimpulkan bahwa dokumen
lebih berhubungan dengan query daripada
dokumen
karena dokumen
mempunyai hubungan dengan term dagger
melalui Romeo dan Juliet dan juga mempunyai hubungan dengan term die melalui term Romeo, sementara dokumen
hanya mempunyai satu hubungan dengan term
die melalui term New-Hamspire. Pada
LSI,
proses
pengindeksannya
menggunakan
Singular
Value
Decomposition (SVD) yang berguna untuk menemukan struktur semantik. Pada LSI, terjadi dua proses utama, yaitu preprocessing dan proses pencarian. 1. The Preprocessing Pada tahap preprocessing, ruang term-dokumen dari document collection dibuat, biasanya proses ini selesai pada saat pertama kali dijalankan, atau pada saat terjadi perubahan pada corpus (subjek yang independent) atau pada saat document
40
collection telah selesai dibuat. Karena itu, waktu yang diperlukan pada proses ini tidak begitu mempengaruhi efisiensi sistem. Langkah – langkah preprocessing adalah : 1.
LSI pertama – tama mengindeksan semua term yang ada di dalam corpus atau di setiap dokumen yang ada pada document collection. Kemudian stop- word yang terdapat pada dokumen tersebut dihilangkan. Hasilnya adalah table yang berisi seberapa seringnya sebuah term muncul di setiap dokumen.
2.
Menghitung seberapa pentingnya sebuah term di dalam dokumen dan di keseluruhan document collection dengan melakukan pembobotan lokal dan global.
3.
Nilai dari setiap indeks dimasukkan ke dalam Term Document Matrix (TDM) dimana setiap baris merepresentasikan term dan setiap kolom merepresentasikan dokumen.
adalah jumlah term i yang terdapat pada
dokumen j. Biasanya TDM menghasilkan matrix sparse m * n, hal ini karena secara umum tidak setiap kata muncul di setiap dokumen . Matrix sparse adalah matrix yang nilai selnya sebagian besar nol. 4.
SVD adalah metode matematika yang digunkana untuk melakukan faktorisasi dari sebuah matrix menjadi 3 matrix, yaitu matrix U, matrix S dan matrix V. 2. Proses Pencarian Berikut adalah proses yang akan dijalankan setiap kali terjadi proses pencarian :
1.
Pertama pengguna menentukan tipe pencarian yang akan digunakan. Tipe – tipe yang ada adalah : •
Pencarian term yang mirip dengan term yang dimasukkan
41
2.
•
Pencarian dokumen yang mirip dengan dokumen yang dimasukkan
•
Pencarian dokumen yang mirip dengan term yang dimasukkan
•
Pencarian dokumen yang mirip dengan query yang dimasukkan
Pengguna memasukkan query Berikut adalah contoh sederhana perhitungan Latent Semantic Indexing:
Terdapat query “silver gold truck” dan tiga dokumen (D=3) dengan konten berikut: D1: “Shipment of gold damaged in a fire” D2:“Delivery of silver arrived in a silver truck” D3: “Shipment of gold arrived in a truck” Tabel 2.5 Data Dokumen LSI Model
Terms
D1
D2
D3
Shipment
1
0
1
Damaged
1
0
0
Gold
1
0
1
Fire
1
0
0
Arrive
0
1
1
Truck
0
1
1
Silver
0
2
0
42
Delivery
0
1
0
Of
1
1
1
A
1
1
1
In
1
1
1
Langkah – langkah yang dilakukan untuk menghitung hasil dari LSI adalah: 1.
Buat matrix TDM (Term Document Matrix) dimana kolom matriks mewakili dokumen dan baris mewakili term
2.
Cari nilai SVD (Singular Value Decomposition) dari matriks di atas. Cari matriks U, S, V dari matriks di atas.
a. Cari nilai matriks U. Buat matriks transpose dari matriks A. Matriks transpose adalah matriks dimana kolom matriks A menjadi baris dan baris menjadi kolom. Matriks transpose A dilambangkan dengan
. Kalikan matriks
untuk menghasilkan matriks
43
Hitung nilai eigen dari vektor eigen di atas
44
Untuk mencari nilai sebagai persamaan sistem linear
, jadikan persamaan matriks di atas
45
Selesaikan persamaan diatas sehingga terdapat 11 nilai eigen, yaitu 16.80, 5.58, 0 , 1.62, 0, 0, 0, 0, 0, 0, dan 0 dan vektor eigen yang dihasilkan adalah:
Kemudian lakukan proses ortonormalisasi Gram-Schmidt pada matriks di atas untuk mendapatkan matriks U, sehingga:
46
b. Setelah menghitung nilai ,cari nilai matriks V. Pertama hitung nilai
Cari nilai eigen dari matriks di atas:
Untuk mencari nilai persamaan sistem linear:
Yang bisa ditulis menjadi:
jadikan persamaan matriks di atas sebagai
47
Selesaikan persamaan diatas sehingga nilai eigen yang didapat adalah dan
,
dan vektor eigen yang didapat adalah:
c. Matriks terakhir yang dicari adalah matriks S, dimana matriks ini adalah matriks diagonal. Untuk matriks ini, akarkan semua nilai eigen non-zero matriks U dan V dari yang terbesar sampai yang terkecil. Nilai yang terbesar ditaruh di kolom 1 baris 1 dan seterusnya.
d. Setelah menemukan matriks U, V dan matriks S. Rumus untuk menghitung nilai LSI adalah:
Dimana :
matriks invers S matriks transpose query
48
Matriks invers dari matriks
adalah:
Matriks transpose dari matriks query adalah:
Sehingga:
e. Setelah menemukan nilai matriks R, tentukan panjang vektor tiap dokumen:
49
Sehingga, urutan dokumen yang paling similar adalah: D2,D3,D1 2.4
Tools Penelitian Dalam penelitian ini, digunakan beberapa tools yang mendukung terbentuknya hasil dari penelitian ini, diantaranya yaitu : -
Standford NLP
-
IrTester
-
Matlab
50
2.4.1
Standford NLP
Standford NLP (Standford Natural Languages Processing) adalah tools yang disediakan oleh Standford University yang digunakan untuk pengolahan kata yang nantinya hasil dari pengolahan kata tersebut akan digunakan dalam membantu penelitian ini. Seperti yang kita ketahui bahwa di dalam information retrieval terdapat beberapa langkah yang harus dilakukan agar sebuah informasi yang awalnya hanya berbentuk kata-kata pada umumnya menjadi sebuah hasil kesimpulan yang dapat digunakan.
2.4.2
IrTester
IrTester merupakan tools yang digunakan untuk membandingkan ketiga model yang diteliti yang dibuat menggunakan algoritma dan cara kerja dari masing-masing model. Tools IrTester yang dibuat hampir menyerupai tools pembanding Weka yang biasanya digunakan untuk membandingkan antara model-model information retrieval.
Perbedaan
antara
Weka
dan
IrTester
adalah
IrTester
hanya
membandingkan 3 model yaitu model Boolean Model, Vector Space Model dan Latent Semantic Indexing, sedangkan Weka membandingkan hampir keseluruhan model information retrieval yang ada. IrTester merupakan tools yang berbasiskan web, tools ini dibuat menggunakan bahasa pemrograman Java, dibantu dengan menggunakan framework Struts dan Maven. Cara penggunaannya sangat sederhana, beberapa hal yang harus dilakukan oleh tester untuk mendapatkan kesimpulan model mana yang terbaik adalah sebagai berikut:
51
-
Melakukan inisialisasi atau upload dokumen ke dalam repository/database,
-
Tester dapat menginput query-query tertentu ke dalam suatu textbox yang tersedia, sehingga query tersebut dapat diproses oleh sistem sesuai dengan model masing-masing dan menghasilkan informasi yang sesuai.
Selain itu tester juga dapat menggunakan IrTester sebagai pembanding ketiga model yang ada, dengan cara memberikan input query yang diinginkan, sistem akan melakukan kalkulasi, dari ketiga model, model manakah yang memiliki proses yang paling baik dalam information retrieval.
2.4.3
MATLAB
MATLAB (matrix laboratory) diciptakan pada akhir tahun 1970-an oleh Cleve Moler. MATLAB adalah bahasa pemrograman bahasa tingkat tinggi dan mempunyai GUI yang interaktif untuk komputasi numerik, visualisasi dan programming.
Matlab
juga
bisa
digunakan
untuk
menganalisa
data,
mengembangkan sebuah algoritma dan membuat aplikasi atau model. Untuk mempermudah perhitungan matriks pada penelitian ini, digunakan software MATLAB dalam melakukan perhitungan matriksnya terutama dalam perhitungan SVD pada LSI Model.
2.5
Evaluasi Information Retrieval Secara standard untuk mengukur keefektifan dari sebuah information retrieval, kita membutuhkan tiga komponen: 1. Koleksi dokumen
52
2. Test untuk informasi yang dibutuhkan (dapat direpresentasikan melalui sebuah query) 3. Tolak ukur perbandingan, untuk menentukan dokumen mana yang relevan dan dokumen mana yang tidak relevan Jumlah dari dokumen pengetesan harus berada pada ukuran yang logis, dibutuhkan koleksi dokumen dalam jumlah besar, agar hasil pengetesan dapat berbeda untuk tiap kebutuhan informasi user. Dalam pengetesan koleksi dokumen akan ditandai dengan relevan dan tidak relevan. Dokumen akan dinyatakan relevan jika memenuhi kebutuhan user, bukan hanya karena dokumen tersebut mengadung sebagian atau keseluruhan kata dari query yang user masukkan. Misalkan informasi yang dibutuhkan adalah : “Informasi mengenai apakah meminum anggur merah lebih efektif untuk menurunkan penyakit jantung dibandingkan dengan anggur putih” Kebutuhan informasi ini dapat diterjemahkan menjadi sebuah query berikut: “Wine AND red AND White AND Heart AND Attack AND Effective” Tolak ukur standard yang sering dijadikan perbandingan antara suatu model information retrieval yang satu dengan model yang lainnya adalah membandingkan precision dan recall untuk masing-masing model dengan bahan/dokumen yang sama. Tujuan melakukan pengukuran menggunakan precision dan recall adalah agar dapat mengetahui mana dokumen yang ditemukan, relevan dan yang tidak relevan. Selain itu tujuan lainnya adalah mengetahui hasil pengukuran relevansi antara dokumen yang terurut dari tingkat relevansi tertinggi ke tingkat relevansi terendah.
53
Semakin tinggi nilai precision, maka semakin besar tingkat akurasi sistem dalam melakukan retrieval informasi, sedangkan semakin tinggi nilai recall, maka semakin besar performa sistem dalam melakukan retrieval informasi. Dalam kondisi tertentu salah satu dari penilaian precision dan recall akan menjadi lebih penting. Misalnya untuk kebanyakan pengguna internet yang melakukan pencarian di web akan sangat senang bila data yang dicari muncul di page pertama (precision yang tinggi) , namun orang dengan tipe seperti ini tidak memiliki keinginan untuk mencari semua dokumen yang relevan. Sedangkan untuk seorang researcher professional akan lebih mengharapkan untuk mendapatkan recall setinggi mungkin , dan akan mentolerir precision yang kecil untuk mendapatkan recall tinggi tersebut.
2.5.1 Evaluasi Unrank Retrieval Model Unrank retrieval digunakan untuk model information retrieval yang bersifat exact match dimana kata dalam query dipastikan terdapat dalam dokumen yang diretrieve. Pengukuran unrank retrieval yang mengasumsikan bahwa semua koleksi dokumen yang di-retrieve sudah dievaluasi atau sudah dilihat oleh user. 2.5.1.1 Precision Precision adalah perbandingan jumlah materi relevan yang di-retrieve terhadap jumlah materi yang di-retrieve. Average precision adalah suatu ukuran evaluasi yang diperoleh dengan menghitung rata-rata tingkat precision pada berbagai tingkat recall (Grossman D 2002). Berikut adalah rumus umum untuk menghitung nilai precision:
54
2.5.1.2 Recall Recall adalah perbandingan jumlah materi relevan yang di-retrieve terhadap jumlah materi yang relevan (Grossman D 2002). Berikut adalah rumus umum untuk menghitung nilai recall:
2.5.1.3 F-Measure Jika hanya menggunakan precision dan recall untuk parameter evaluasi information retrieval, hasil yang didapatkan tidak akan optimal karena: o Nilai precision dan recall mengandung trade-off o Setiap pengguna mempunyai kebutuhan berbeda antara precision dan recall. Untuk itu, pada penelitian ini menggunakan parameter pengukuran yang baru, yaitu F-Measure yaitu pengukuran yang mengkombinasikan precision dan recall yang diterapkan ke dalam deret harmonik. Berikut adalah rumus umum untuk menghitung F-measure:
55
2.5.2 Evaluasi Rank Retrieval Model Pada standard sebuah search engine hasil retrieval berupa koleksi dokumen akan diurutkan berdasarkan ranking, dengan demikian user akan mengevaluasi dokumen mulai dari dokumen dengan rating tertinggi, sehingga belum tentu seluruh koleksi dokumen yang di-retrieve dievaluasi atau dilihat oleh user. Dalam situasi ini dibutuhkan suatu standard pengukuran baru untuk mengevaluasi hasil retrieval yang berbentuk ranking. Pada rank based retrieval, akan dibentuk sebuah kurva precision recall, dimana nilai precision dihitung berdasarkan pada nilai 11 nilai level recall standard yaitu 100%, 90%, 80%, 70%, 60%, 50%, 40%, 30%, 20%, 10%, 0%. Diberikan sebuah query (q) nilai precision dan recall untuk kurva precision recall akan dibentuk berdasarkan perhitungan dari keseluruhan dokumen yang diretrieve, dimulai dari ranking yang teratas (a = 1) hingga ranking terakhir (a = jumlah dokumen yang di-retrieve).
Agar untuk tiap query documen yang di-retrieve dipastikan dapat memenuhi syarat dari seluruh level recall yang sudah ditentukan, dan untuk mehilangkan
56
gejolak pada kurva precision recall maka digunakan Precision interpolasi yang dirumuskan:
Precision interpolasi pada suatu titik r didefinsikan sebagai nilai precision terbesar pada semua titik recall
.
2.5.2.1 Average Precision Pada 11 Level Recall
Dimana : Rata-rata precision pada level recall ke-r : Jumlah dari query yang dilakukan : Precision pada level recall ke-r untuk query ke-i
2.5.2.2 Mean Average Precision (MAP) Mean average precision memberikan sebuah nilai tunggal terhadap seluruh titik recall, dari seluruh pengukuran Mean Average Precision dan sudah terbukti dapat menunjukkan tingkat perbedaan dan stabilitas yang baik. (Cambridge University Press:2010, pg 159).
57
Mean average precision akan dihitung terhadap sejumlah k dokumen teratas dari dokumen yang di-retrieve dan relevan, dan angkanya akan dirata-ratakan sesuai dengan kebutuhan informasi user.
Mean Average Precision hanya akan mempehitungkan dokumen yang relevan saja, dengan menggunakan Mean Average Precision level recall tidak ditetapkan secara baku, dan sehingga tidak ada interpolasi. Mean Average Precision untuk sebuah koleksi dokumen merupakan rata-rata precision untuk sebuah kebutuhan informasi.
2.5.2.3 Precision@K Pengukuran MAP dan Average Precision pada 11 level recall akan menganalisis seluruh data yang di-retrieve sedangkan untuk sebuah aplikasi seperti web search, yang terpenting adalah berapa banyak hasil yang relevan di halaman pertama atau untuk tiga halaman pertama, hal ini dapat digambarkan dengan menggunakan pengukuran Precision@K, dimana K merupakan batas pengukuran.
