BAB 4 HASIL PENELITIAN DAN PEMBAHASAN
4.1 Proses Retrival Berikut ini adalah contoh tampilan hasil dari kueri: 1. Kategori Gajah
Gambar 4.1 Hasil kueri kategori gajah dengan histogram biasa
48
Gambar 4.2 Hasil kueri kategori gajah dengan pembagian
Gambar 4.3 Hasil kueri kategori gajah dengan pembobotan
49
2. Kategori Bunga
Gambar 4.4 Hasil kueri kategori bunga dengan histogram biasa
Gambar 4.5 Hasil kueri bunga dengan pembagian
50
Gambar 4.6 Hasil kueri kategori bunga dengan pembobotan
3. Kategori Mobil
Gambar 4.7 Hasil kueri kategori mobil dengan histogram biasa
51
Gambar 4.8 Hasil kueri mobil dengan pembagian
Gambar 4.9 Hasil kueri kategori mobil dengan pembobotan
52
4. Kategori Makanan
Gambar 4.10 Hasil kueri kategori makanan dengan histogram biasa
Gambar 4.11 Hasil kueri makanan dengan pembagian
53
Gambar 4.12 Hasil kueri kategori makanan dengan pembobotan
5. Kategori Blob
Gambar 4.13 Hasil kueri kategori blob dengan histogram biasa
54
Gambar 4.14 Hasil kueri blob dengan pembagian
Gambar 4.15 Hasil kueri kategori blob dengan pembobotan
4.2 Evaluasi 4.2.1 Prosedur Pengujian Evaluasi terhadap RCBK yang telah dibuat, dilakukan dengan menghitung nilai precision dan recall. Evaluasi dilakukan menggunakan 500 citra, yang terdiri dari 5 55
kategori, dimana masing – masing kategori berisi 100 citra. Pertama – tama terhadap 500 citra tersebut akan dilakukan pengindeksan, kemudian akan dilakukan kueri sebanyak total 500 kali untuk setiap metode, dengan perincian, masing – masing 100 kali untuk 5 kategori yang ada, dengan kata lain, terhadap semua citra dalam basis data akan dilakukan kueri. Untuk setiap citra, akan dikueri dengan empat macam metode, yaitu histogram warna biasa, histogram warna dengan pembagian, histogram warna dengan pembobotan dan Color Coherence Vector (CCV). Metode CCV dimasukkan dalam pengujian sebagai pembanding, karena CCV juga bertujuan memodifikasi histogram
warna untuk memasukkan informasi spasial. Dalam melakukan evaluasi, digunakan program yang dibuat dengan Visual Studio 2008 Express Edition dengan bahasa pemrograman C#. Program dipakai dengan tujuan melakukan otomatisasi terhadap kueri dan evaluasi terhadap hasil kueri. Untuk setiap kueri yang dilakukan, akan dilakukan pengukuran nilai precision pada 11 titik recall standar (0%, 10%, 20%, 30%,..100%). Kemudian digunakan precision interpolasi lalu dihitung rata – rata precision untuk setiap kategori dan juga nilai rata – rata precision untuk semua kueri. Pengujian dilakukan menggunakan komputer dengan spesifikasi :
Prosesor AMD Athlon II X4 620 (2600MHZ)
RAM 4GB DDR2 1066MHZ
Hard Disk SATA2 640GB
Sistem Operasi Windows 7 Professional 64 bit
56
4.2.2 Hasil Pengujian Berikut adalah hasil percobaan yang dilakukan, berupa tabel recall dan precision untuk tiap kategori, disertai dengan grafik recall dan precision dari setiap tabel. 1. Kategori gajah Tabel 4.1 Rata - rata precision kategori gajah CCV 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Histogram Biasa
1 0.610397647 0.435921169 0.364524684 0.312479954 0.28313956 0.255541355 0.243115404 0.233906728 0.224584325 0.203490502
1 0.586114436 0.434856699 0.372839412 0.328698427 0.30699376 0.286465085 0.267133928 0.254195656 0.241292342 0.205790895
Pembagian
Pembobotan
1 0.604140441 0.421361383 0.338959037 0.298165321 0.269248677 0.245195214 0.231500841 0.221762092 0.212943489 0.201480504
1 0.655047875 0.466903836 0.376189663 0.326639795 0.305059072 0.291173958 0.274546699 0.259512387 0.229327207 0.208228824
Grafik Rata - Rata Precision Kategori Gajah 1 0,9 0,8 Precision
0,7 0,6
CCV
0,5 0,4
Histogram Biasa
0,3
Pembagian
0,2
Pembobotan
0,1 0 0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
Recall
Gambar 4.16 Rata – rata precision kategori gajah
57
2. Kategori bunga Tabel 4.2 Rata - rata precision kategori bunga CCV 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Histogram Biasa
1 0.774227065 0.614651207 0.479393835 0.396176659 0.339137261 0.298876345 0.275497858 0.255527386 0.240930052 0.208295718
Pembagian
1 0.7968838 0.639883989 0.521799928 0.444346803 0.384298342 0.338555155 0.306972107 0.280584525 0.250438099 0.207733706
Pembobotan
1 0.778943984 0.628710412 0.52124194 0.434188881 0.379436512 0.338384058 0.312881487 0.294309178 0.26374181 0.216488029
1 0.697013075 0.481917854 0.342382669 0.274528154 0.239062237 0.218528211 0.206516768 0.201431717 0.200659302 0.200116232
Grafik Rata - Rata Precision Kategori Bunga 1 0,9 0,8 Precision
0,7 0,6
CCV
0,5 0,4
Histogram Biasa
0,3
Pembagian
0,2
Pembobotan
0,1 0 0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
Recall
Gambar 4.17 Rata – rata precision kategori bunga
3. Kategori mobil Tabel 4.3 Rata - rata precision kategori mobil CCV 0
Histogram Biasa 1
Pembagian 1
58
Pembobotan 1
1
0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
0.796794358 0.69290325 0.571723534 0.448694485 0.340828549 0.278015727 0.251551371 0.235827604 0.212263623 0.201206955
0.818550764 0.733158757 0.664108009 0.568372552 0.45225871 0.365707515 0.300999619 0.263259697 0.225658198 0.202330903
0.761302485 0.626456569 0.490118817 0.382413278 0.317822251 0.26656169 0.243013784 0.222949273 0.207145688 0.202309701
0.84873265 0.786385542 0.74254025 0.69021264 0.619105004 0.517646363 0.410072746 0.332110927 0.255057156 0.203367426
Grafik Rata - Rata Precision Kategori Mobil 1 0,9 0,8 Precision
0,7 0,6
CCV
0,5 0,4
Histogram Biasa
0,3
Pembagian
0,2
Pembobotan
0,1 0 0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
Recall
Gambar 4.18 Rata – rata precision kategori mobil
4. Kategori Makanan Tabel 4.4 Rata - rata precision kategori makanan CCV 0 0.1 0.2 0.3 0.4 0.5 0.6
1 0.859805333 0.811165185 0.771664906 0.724908189 0.681604518 0.62404621
Histogram Biasa 1 0.869699331 0.819159923 0.775195813 0.742133239 0.702754063 0.64923936 59
Pembagian 1 0.884478799 0.843449605 0.806912193 0.7548278 0.703232617 0.638587862
Pembobotan 1 0.890343853 0.850117028 0.810362327 0.768185885 0.722108441 0.664950365
0.7 0.567088613 0.8 0.471126481 0.9 0.337880966 1 0.21266857
0.593198196 0.514818506 0.390224672 0.223222844
0.570777813 0.60913421 0.485514811 0.532627603 0.349644572 0.405855087 0.216155721 0.251655531
Precision
Grafik Rata - Rata Precision Kategori Makanan 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0
CCV Histogram Biasa Pembagian Pembobotan 0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
Recall
Gambar 4.19 Rata – rata precision kategori makanan
5. Kategori blob Tabel 4.5 Rata - rata precision kategori blob CCV 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
1 0.990337341 0.981810214 0.971845481 0.755482158 0.692094767 0.639615822 0.440027276 0.304029505 0.249767423 0.20126753
Histogram Biasa 1 0.991094917 0.984533033 0.982043149 0.959002084 0.852129964 0.74408237 0.504988237 0.423839846 0.3455339 0.20315652
60
Pembagian 1 0.989139847 0.98549644 0.982329248 0.929422236 0.841863498 0.749732555 0.523361946 0.447406747 0.345137877 0.211435857
Pembobotan 1 0.996578947 0.994682384 0.993211344 0.983267099 0.979331041 0.970394937 0.959117804 0.922458312 0.857569522 0.377333947
Grafik Rata - Rata Precision Kategori Blob 1 0,9 0,8 Precision
0,7 0,6
CCV
0,5 0,4
Histogram Biasa
0,3
Pembagian
0,2
Pembobotan
0,1 0 0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
Recall
Gambar 4.20 Rata – rata precision kategori blob
Dari hasil pengujian didapat juga nilai rata – rata precision dari keseluruhan kueri. Tabel 4.6 Rata - Rata Precision CCV 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
1 0.806312349 0.707290205 0.631830488 0.527548289 0.467360931 0.419219092 0.355456104 0.300083541 0.253085278 0.205385855
Histogram Biasa 1 0.81246865 0.72231848 0.663197262 0.608510621 0.539686968 0.476809897 0.394658417 0.347339646 0.290629442 0.208446974
61
Pembagian 1 0.803601111 0.701094882 0.627912247 0.559803503 0.502320711 0.447692276 0.376307174 0.33438842 0.275722687 0.209573962
Pembobotan 1 0.81754328 0.716001329 0.65293725 0.608566714 0.572933159 0.532538767 0.491877645 0.449628189 0.389693655 0.248140392
Grafik Rata - Rata Precision 1 0,9 0,8 Precision
0,7 0,6
CCV
0,5 0,4
Histogram Biasa
0,3
Pembagian
0,2
Pembobotan
0,1 0 0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
Recall
Gambar 4.21 Rata – rata precision
4.3 Pembahasan Berdasarkan data hasil pengujian pada subbab 4.2, terlihat bahwa pada kategori pertama yaitu gajah, metode pembobotan merupakan metode yang memiliki performa paling baik jika dibandingkan ketiga metode lainnya. Pada kategori ini, metode pembagian memiliki performa paling buruk. Pada kategori kedua yaitu bunga, metode histogram biasa dan pembagian memiliki performa paling baik, metode pembagian unggul dibanding histogram biasa untuk titik recall diatas 0.5, pada kategori ini, metode pembobotan memiliki performa paling buruk dibanding metode lain. Pada kategori ketiga yaitu mobil, metode pembobotan unggul dibanding ketiga metode lainnya. Pada kategori ini, metode pembagian merupakan metode dengan performa terburuk.
62
Pada kategori keempat, yaitu makanan, metode pembobotan kembali menjadi metode yang paling baik. Metode pembagian unggul dari histogram warna biasa sampai pada titik recall 0.5. Pada kategori ini CCV merupakan metode terburuk. Pada kategori kelima, yaitu blob. Metode pembobotan unggul sangat jauh dibanding metode lainnya. Pada kategori ini, CCV menjadi metode terburuk. Dari performa rata – rata pada tabel 4.6 metode pembobotan sedikit kalah dari histogram biasa pada titik recall 0.2 - 0.3, untuk titik recall lainnya, metode pembobotan lebih unggul cukup jauh, bahkan mencapai sekitar 10% pada titik recal 0.7. Metode pembagian memiliki performa yang hampir sama dengan CCV keduanya memiliki keunggulan dititik recall tertentu, pembagian lebih unggul dari CCV untuk titik recall diatas 0.3, kedua metode ini sedikit buruk dibandingkan metode histogram biasa. Dapat disimpulkan bahwa performa rata- rata metode pembobotan unggul cukup jauh dibanding metode lainnya, terutama pada titik recall diatas 0.4. Dari hasil percobaan yang dilakukan, usulan untuk memodifikasi histogram warna dengan memasukkan informasi spasial menjadi metode pembobotan berhasil meningkatkan performa retrival RCBK, sedangkan untuk metode pembagian, hasilnya masih kurang memuaskan. Dari hasil percobaan terlihat bahwa suatu metode hanya unggul di satu atau lebih kategori citra, namun belum ditemukan suatu metode yang unggul untuk semua kategori citra. Bahkan metode pembobotan yang secara rata – rata paling baik, merupakan metode terburuk pada citra dengan kategori bunga.
63
4.4 Percobaan Tambahan Berdasarkan hasil percobaan yang telah dilakukan, didapatkan beberapa kesimpulan sebagai berikut: -
Metode pembobotan memiliki performa yang paling baik pada citra yang objeknya berada di tengah.
-
Penggunaan fitur warna akan membedakan 2 buah objek yang memiliki bentuk yang sama tetapi memiliki warna yang berbeda.
-
Metode pembagian memiliki performa yang kurang memuaskan karena mengakibatkan objek terpotong, sehingga diperlukan metode pemotongan yang lebih baik untuk metode ini.
Metode pembobotan menunjukkan performa yang paling baik pada citra yang objeknya berada di tengah citra akan tetapi pada citra yang objeknya menyebar metode ini dapat menunjukkan performa yang kurang baik. Oleh karena itu dilakukan percobaan untuk menentukan secara otomatis apakah sebuah citra cocok digunakan untuk metode pembobotan atau tidak yaitu mendeteksi apakah objek dari sebuah citra berada di tengah atau tidak. Percobaan dilakukan dengan menghitung variance dari histogram warna pada blok yang berada di tengah citra. Dari hasil percobaan, ditemukan bahwa citra yang objeknya berada di tengah cenderung memiliki nilai variance yang kecil. Akan tetapi hal ini tidak terjadi pada semua objek. Oleh karena itu akurasi dari menghitung variance masih belum memuaskan, sehingga perlu dilakukan penelitian lebih lanjut.
64