METODE SUPPORT VECTOR MACHINE UNTUK KLASIFIKASI PADA SISTEM TEMU KEMBALI CITRA
VITA YULIA NOORNIAWATI G64103034
DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR 2007
METODE SUPPORT VECTOR MACHINE UNTUK KLASIFIKASI PADA SISTEM TEMU KEMBALI CITRA
Skripsi sebagai salah satu syarat untuk memperoleh gelar Sarjana Komputer pada Fakultas Matematika dan Ilmu Pengetahuan Alam Institut Pertanian Bogor
Oleh: VITA YULIA NOORNIAWATI G64103034
DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR 2007
ABSTRAK
VITA YULIA NOORNIAWATI. Metode Support Vector Machine untuk Klasifikasi pada Sistem Temu Kembali Citra. Dibimbing oleh YENI HERDIYENI dan AGUS BUONO. Citra memiliki bentuk, tekstur dan warna yang sangat beragam. Hal ini menyebabkan sulitnya dilakukan pencarian citra. Klasifikasi citra merupakan salah satu tahap yang paling penting pada temu kembali berbasis citra. Penelitian ini mengimplementasikan metode Support Vector Machine (SVM) dengan algoritma optimisasi Sequential Minimal Optimization (SMO) untuk tahap klasifikasi pada sistem temu kembali citra berdasarkan ciri warna. Penelitian juga membandingkan kinerja SVM dengan pendekatan jarak Euclidean pada sistem temu kembali citra. Data yang digunakan diambil dari basis data Caltech dan www.flowers.vg sebanyak 300 citra untuk berbagai macam objek. Format citra adalah JPEG berukuran 50×50 piksel. Seluruh citra di dalam basis data disegmentasi menggunakan algoritma Expectation-Maximization (EM) dan diekstraksi menggunakan metode Fuzzy Color Histogram (FCH) untuk membentuk indeks warna citra di dalam basis data. Kemudian indeks warna citra ini dilatih menggunakan algoritma optimisasi SMO untuk membentuk model klasifikasi SVM. Model klasifikasi ini digunakan untuk mengklasifikasikan citra. Dari hasil klasifikasi, diambil citra di dalam basis data yang memiliki kelas yang sama dengan citra kueri dan citra dari kelas lain yang memiliki tingkat kemiripan yang tinggi dengan citra kueri sebagai citra hasil temu kembali. Evaluasi terhadap hasil temu kembali dilakukan menggunakan rataan precision untuk setiap tingkat recall. Berdasarkan penelitian ini, temu kembali citra menggunakan metode klasifikasi SVM memiliki hasil temu kembali dengan rataan precision mencapai 76.76%, sedangkan pada temu kembali citra yang hanya berdasarkan jarak Euclidean antar citra memiliki rataan precision 50.91%. Kata Kunci: content-based image retrieval, expectation-maximization, fuzzy color histogram, support vector machine, sequential minimal optimization.
Judul Nama NRP
: Metode Support Vector Machine untuk Klasifikasi pada Sistem Temu Kembali Citra : Vita Yulia Noorniawati : G64103034
Menyetujui: Pembimbing I
Yeni Herdiyeni, S.Si., M.Kom. NIP 132 282 665
Pembimbing II
Ir. Agus Buono, M.Si., M.Kom. NIP 132 045 532
Mengetahui: Dekan Fakultas Matematika dan Ilmu Pengetahuan Alam Institut Pertanian Bogor
Prof. Dr. Ir. Yonny Koesmaryono, MS NIP 131 473 999
Tanggal Lulus:
RIWAYAT HIDUP Penulis dilahirkan di Sukoharjo pada tanggal 7 Juli 1984 dari ayah Sutarno dan ibu Sudarmi. Penulis merupakan putri keempat dari empat bersaudara. Tahun 2003 penulis lulus dari SMU Negeri 6 Surakarta dan pada tahun yang sama diterima sebagai mahasiswa Departemen Ilmu Komputer IPB melalui jalur USMI (Undangan Seleksi Masuk IPB). Penulis memilih Program Studi Ilmu Komputer, Departemen Ilmu Komputer, Fakultas Matematika dan Ilmu Pengetahuan Alam. Pada bulan Juli sampai Agustus 2006, penulis melakukan Praktik Kerja Lapangan di The Southeast Asian Regional Centre For Tropical Biology Seameo Biotrop.
PRAKATA Alhamdulillahirabbil ‘alamin, puji syukur penulis panjatkan kepada Allah Subhanahu wa ta’ala atas segala curahan rahmat dan karunia-Nya, sehingga penulis dapat menyelesaikan skripsi metode Support Vector Machine untuk klasifikasi pada sistem temu kembali citra ini. Shalawat serta salam juga penulis sampaikan kepada junjungan kita Nabi Muhammad Shalallahu ‘alaihi wasallam beserta seluruh keluarga, sahabat dan umatnya hingga akhir zaman. Penulis mengucapkan terima kasih kepada Ibu Yeni Herdiyeni, S.Si., M.Kom. dan Bapak Ir. Agus Buono, M.Si., M.Kom. selaku pembimbing I dan pembimbing II yang telah banyak memberi saran, masukan dan ide-ide kepada penulis serta semangat untuk selalu berusaha yang terbaik. Penulis juga mengucapkan terima kasih kepada Bapak Irman Hermadi, S.Kom., M.S. selaku penguji yang telah memberi saran dan masukan. Selanjutnya, penulis ingin mengucapkan terima kasih kepada: 1 Ibu, Bapak, Mas Heru, Mbak Danik, Mas Yelly, dan Mas Rudhy, serta seluruh saudara di Solo yang senantiasa memberikan dukungan, doa dan kasih sayang. Untuk Bapak semoga cepat sembuh dan kembali ceria seperti dulu. 2 Fadlul Fadkur Rahman atas semuanya yang tidak bisa dijabarkan, tak lupa juga Nia ucapkan selamat atas kelulusannya, dan semoga tetap semangat dan ceria dalam menjalani hari-hari kerjanya di tanah rantau. 3 Yulia atas kerjasamanya dalam menyelesaikan tugas akhir ini, karena tanpa hasil segmentasimu, mungkin aku masih menjadi mahasiswi sejati. 4 Citha, Ghibta, Nacha dan rekan-rekan di Laboratorium Computational Intelligence (CI) atas semangat kekeluargaan serta bantuannya dalam menyelesaikan penelitian ini. 5 Meynar, Nanik, Dina dan penghuni wisma RZ lainnya yang telah banyak membantu dan memotivasi penulis melalui kebersamaan dan dukungan untuk terus berusaha yang terbaik. 6 Departemen Ilmu Komputer, dosen dan staf yang telah banyak membantu penulis pada masa perkuliahan dan penelitian. 7 Ratih, Yayan, Sofi, Aristi, dan seluruh rekan Ilkomerz 40 yang banyak membantu penulis baik secara teknis maupun non-teknis pada masa perkuliahan hingga akhir penyusunan makalah skripsi ini. Penulis menyadari bahwa masih banyak kekurangan dalam penelitian ini. Oleh karena itu, penulis sangat mengharapkan kritik dan saran untuk perbaikan di masa mendatang. Penulis berharap hasil dari penelitian ini dapat bermanfaat dan dapat menjadi acuan bagi penelitian berikutnya.
Bogor, Agustus 2007
Vita Yulia Noorniawati
DAFTAR ISI Halaman DAFTAR TABEL .............................................................................................................................. .vi DAFTAR GAMBAR .......................................................................................................................... vi DAFTAR LAMPIRAN ....................................................................................................................... vi PENDAHULUAN ................................................................................................................................ 1 Latar Belakang ................................................................................................................................ 1 Tujuan.......... .................................................................................................................................... 1 Ruang Lingkup ................................................................................................................................ 1 TINJAUAN PUSTAKA....................................................................................................................... 1 Content-Based Image Retrieval ...................................................................................................... 1 Expectation-Maximization .............................................................................................................. 1 Ektraksi Ciri Warna ......................................................................................................................... 1 Fuzzy Color Histogram ................................................................................................................... 2 Fuzzy C-Means ................................................................................................................................ 2 Fungsi Cauchy ................................................................................................................................. 2 K-Fold Cross Validation ................................................................................................................. 2 Support Vector Machine ................................................................................................................. 3 Sequential Minimal Optimization ................................................................................................... 4 Recall dan Precision........................................................................................................................ 5 METODE PENELITIAN ..................................................................................................................... 5 Data Penelitian ................................................................................................................................ 5 Segmentasi Warna dengan EM ....................................................................................................... 5 Ekstraksi Ciri Warna dengan FCH ................................................................................................. 6 Data Latih dan Data Uji ................................................................................................................. 6 Pelatihan dengan SVM .................................................................................................................... 6 Pengujian dengan SVM................................................................................................................... 6 Hasil Temu Kembali ....................................................................................................................... 7 Evaluasi Hasil Temu Kembali ........................................................................................................ 7 Perangkat Lunak dan Perangkat Keras yang Digunakan ............................................................... 7 HASIL DAN PEMBAHASAN............................................................................................................ 7 Segmentasi Citra.............................................................................................................................. 7 Ekstraksi ciri warna ......................................................................................................................... 8 Data Uji dan Data Latih .................................................................................................................. 8 Klasifikasi...... .................................................................................................................................. 8 Hasil Temu Kembali ....................................................................................................................... 9 Evaluasi Hasil Temu Kembali ...................................................................................................... 10 KESIMPULAN DAN SARAN.......................................................................................................... 11 Kesimpulan..... ............................................................................................................................... 11 Saran ........................ ..................................................................................................................... 11 DAFTAR PUSTAKA ........................................................................................................................ 11 LAMPIRAN ....................................................................................................................................... 13
DAFTAR TABEL Halaman 1 Rataan akurasi hasil proses pengujian untuk setiap pasangan C dan σ............................................ 8 2 Hasil proses pengujian dengan C = 26 dan σ = 2-1 ............................................................................ 9 3 Nilai rataan precision hasil temu kembali citra .............................................................................. 11
DAFTAR GAMBAR Halaman 1 Data terpisah secara linier. .............................................................................................................. 3 r 2 Fungsi Φ( x ) memetakan data ke ruang vektor berdimensi lebih tinggi........................................ 3 4 Contoh citra sebelum dan sesudah segmentasi menggunakan algoritma EM. .............................. 7 5 Gambar wajah.................................................................................................................................. 8 6 Hasil FCH dengan FCM 25 bin. ..................................................................................................... 8 7 Contoh hasil temu kembali tanpa menggunakan SVM. ................................................................. 9 8 Contoh hasil temu kembali menggunakan SVM. ........................................................................... 9 9 Contoh hasil temu kembali citra menggunakan SVM.................................................................. 10 10 Grafik rataan precision hasil temu kembali citra menggunakan SVM dan tanpa menggunakan SVM……………………………….………......………………………………………….............11
DAFTAR LAMPIRAN Halaman 1 Seluruh citra dalam basis data setelah melalui proses segmentasi................................................. 14 2 Warna kuantisasi untuk 25 bin histogram ...................................................................................... 17 3 Hasil klasifikasi SVM ..................................................................................................................... 18 4 Citra kueri yang diujicobakan pada proses temu kembali citra ..................................................... 21 5 Contoh hasil temu kembali citra berdasarkan ciri warna menggunakan SVM............................. 22 6 Nilai recall-precision hasil temu kembali citra menggunakan SVM untuk setiap citra kueri……26 7 Nilai recall-precision hasil temu kembali citra tanpa menggunakan SVM untuk setiap citra kueri............................................................................................................................................ ................ .27
1
PENDAHULUAN Latar Belakang Seiring dengan banyaknya aplikasi multimedia dan perkembangan internet, jumlah citra pun meningkat secara tajam. Para pengguna sangat mudah untuk mengakses ratusan bahkan ribuan citra, akan tetapi seringkali tidak mudah mendapatkan citracitra yang sesuai dengan yang dibutuhkan pengguna. Oleh karena itu, perlu dikembangkan metode pencarian citra untuk mempermudah pencarian data. Pencarian citra dapat dilakukan berdasarkan isi citra atau sering disebut Content-Based Image Retrieval (CBIR). CBIR ini mencari citra dengan mencocokkan isinya yang berupa tekstur, bentuk, atau warna. Salah satu metode pencarian citra yang banyak dikembangkan adalah berdasarkan warna citra. Pada sistem temu kembali citra yang hanya berdasarkan jarak Euclidean antar citra, citra yang ditemukembalikan adalah citra di dalam basis data yang mempunyai tingkat kemiripan yang tinggi dengan citra kueri. Banyak kemungkinan citra yang ditemukembalikan adalah citra yang bukan dari jenisnya sendiri. Hal ini dapat menyebabkan tingkat keefektifan hasil temu kembali citra menjadi kurang baik. Oleh karena itu, diperlukan sebuah model klasifikasi untuk memperbaiki tingkat keefektifan hasil temu kembali citra. Model klasifikasi tersebut dapat dibangun melalui proses pelatihan, dan digunakan untuk mengklasifikasikan citra. Citra yang ditemukembalikan pada sistem temu kembali menggunakan model klasifikasi adalah citra hasil klasifikasi di dalam basis data yang terdapat dalam kelas citra yang sama dengan citra kueri dan citra dari kelas lain yang memiliki tingkat kemiripan yang tinggi dengan citra kueri. Platt (1998) telah menggunakan algoritma Sequential Minimal Optimization (SMO) untuk proses pelatihan dalam metode Support Vector Machine (SVM) dengan waktu komputasi yang lebih cepat. Zhang et al. (2001) telah menggunakan metode SVM untuk klasifikasi pada sistem temu kembali citra berdasarkan ciri warna. Berdasarkan hasil penelitian Gosselin dan Cord (2004), metode SVM memberikan hasil klasifikasi yang lebih baik dibandingkan dengan metode klasifikasi Bayes dan k-Nearest Neighbors (kNN). Oleh karena itu, pada penelitian ini
dikembangkan sebuah sistem temu kembali citra berdasarkan ciri warna menggunakan metode klasifikasi SVM dengan algoritma optimisasi SMO. Tujuan Penelitian Tujuan penelitian ini adalah mengimplementasikan dan menganalisis kinerja metode SVM dengan algoritma optimisasi SMO dalam tahap klasifikasi citra dan pada sistem temu kembali citra berdasarkan ciri warna. Ruang Lingkup Ruang lingkup penelitian ini difokuskan pada metode klasifikasi menggunakan SVM. TINJAUAN PUSTAKA Content-Based Image Retrieval Content-Based Image Retrieval (CBIR) merupakan suatu pendekatan untuk masalah temu kembali citra yang didasarkan pada ciri yang terkandung di dalam citra seperti warna, bentuk atau tekstur dari citra (Han & Ma 2002). Expectation-Maximization Expectation-Maximization (EM) adalah salah satu metode optimisasi untuk mencari dugaan parameter maximum likelihood ketika ada data yang hilang atau tidak lengkap. Di dalam algoritma EM, dilakukan perhitungan dugaan kemungkinan untuk mengisi data yang tidak lengkap (E-step) dan perhitungan dugaan parameter maximum likelihood dengan memaksimalkan dugaan kemungkinan yang diperoleh dari E-step (M-step). Nilai parameter yang diperoleh dari M-step digunakan kembali untuk memulai E-step selanjutnya. Proses ini akan berulang hingga mencapai konvergensi nilai likelihood (Belongie et al. 1998). Ektraksi Ciri Warna Ekstraksi ciri warna merupakan salah satu bagian dari CBIR untuk menentukan arti fisik suatu citra melalui proses pengindeksan warna. Proses ini bisa dilakukan dengan pendekatan histogram warna (Belongie et al. 1998). Histogram warna merupakan representasi peluang keberadaan setiap warna dalam sebuah citra. Banyaknya nilai warna (bin) ditetapkan sesuai kebutuhan pembuatan histogram. Dengan bin sejumlah n, maka histogram warna untuk citra I yang
2
mengandung N piksel dapat dirumuskan seperti H ( I ) = [ h1 , h2 ,..., hn ] dengan hi =
⎧1; piksel j terkuantisasi ke bin ke - i . Pi| j = ⎨ ⎩0; selainnya Histogram warna seperti ini disebut juga conventional color histogram (CCH) (Han & Ma 2002). Fuzzy Color Histogram Fuzzy Color Histogram (FCH) adalah salah satu metode yang merepresentasikan informasi warna dalam citra digital ke dalam bentuk histogram. Di dalam FCH, setiap warna direpresentasikan dengan himpunan fuzzy (fuzzy set). Hubungan antar warna dimodelkan dengan fungsi keanggotaan (membership function) terhadap fuzzy set. Fuzzy set F pada ruang ciri Rn didefinisikan oleh ηF : Rn → [0,1] yang biasa disebut membership function. Untuk tiap vektor ciri n f ∈ ℜ , nilai dari η F ( f ) disebut derajat keanggotaan dari f terhadap fuzzy set F (derajat keanggotaan F). Nilai dari η F ( f ) yang mendekati 1 lebih representatif terhadap vektor ciri f dan terhadap fuzzy set f (Zhang R & Zhang Z 2004). Fuzzy C-Means Fuzzy C-Means (FCM) adalah suatu teknik pengelompokan data (clustering) tanpa proses pelatihan (unsupervised learning). Algoritma FCM adalah sebagai berikut (Han & Ma 2002): 1
Masukkan jumlah cluster c, konstanta pembobot m, dan toleransi nilai error e.
2
Inisialisasi
cluster
ui
untuk
1≤ i ≤ c.
3
Data input X = {x1 , x 2 ,..., x n }.
4
Menghitung c pusat cluster {u i(l ) } dengan n
v
(l ) i
=
∑ (u k =1
ik
∑ (u k =1
5
⎛ x −u ⎜ k i ∑ ⎜ j =1 ⎜ x − u j ⎝ k c
1 N ∑ P , N j =1 i| j
pusat
) m xk ik
i =1,2,...,c.
1
u ik =
, untuk 1 ≤ i ≤ c .
)m
Perbaharui nilai keanggotaan U (l ) dengan
6
Jika U
(l )
−U
2
2 A 2 A
(l −1)
k = 1,2,...,n.
⎞ m −1 ⎟ ⎟ ⎟ ⎠ > e maka l = l + 1
dan kembali ke tahap 4. Jika tidak maka berhenti. Hasil FCM adalah sejumlah pusat cluster dengan derajat keanggotaan setiap titik data terhadap cluster tersebut yang digambarkan sebagai matrik U = [u ik ] n×n' . Fungsi Cauchy
Beberapa fungsi keanggotaan adalah fungsi Cauchy, Cone, dan Trapezoidal. Berdasarkan hasil penelitian Zhang R dan Zhang Z (2004), fungsi Cauchy lebih baik daripada fungsi keanggotaan yang lain. Fungsi n Cauchy C : R → [0,1] didefinisikan sebagai berikut: r v ∈ R, 1 r C(x) = , d , α ∈ R, α, r r 1+ x − v / d d > 0, α ≥ 0
(
)
r v adalah titik tengah dari lokasi fuzzy set, d merepresentasikan lebar dari fungsi dan α merepresentasikan tingkat fuzziness (kekaburan). K-Fold Cross Validation
K-Fold Cross Validation dilakukan untuk membagi data pelatihan dan data pengujian. K-Fold Cross Validation membagi data contoh secara acak ke dalam K subset yang saling bebas. Satu subset sebagai data pengujian dan K-1 subset sebagai data pelatihan. Proses cross-validation akan diulang sampai K kali (Fu 1994). Pada metode tersebut, data awal dibagi menjadi k subset yang saling bebas secara acak, yaitu S1,S2,…,Sk, dengan ukuran setiap subset kira-kira sama. Pelatihan dan pengujian dilakukan sebanyak k kali. Pada proses ke-i, subset Si diperlakukan sebagai data pengujian dan subset lainnya diperlakukan sebagai data pelatihan. Pada proses pertama S2,...,Sk menjadi data pelatihan dan S1 menjadi data pengujian, pada proses kedua S1,S3,...,Sk menjadi data pelatihan dan S2 menjadi data pengujian, dan seterusnya.
3
l
Support Vector Machine
Support Vector Machine (SVM) adalah salah satu teknik klasifikasi data dengan proses pelatihan (supervised learning). Salah satu ciri dari metode klasifikasi SVM adalah menemukan garis pemisah (hyperplane) terbaik sehingga diperoleh ukuran margin yang maksimal. Titik yang terdekat dengan hyperplane disebut support vector. Margin adalah dua kali jarak antara hyperplane dengan support vector. Ilustrasi SVM untuk data yang terpisahkan secara linier dapat dilihat pada Gambar 1.
dengan 0 ≤ α i ≤ C , (i = 1,2,..., l ) , ∑ α y = 0 , dan i i i =1 αi adalah lagrange multiplier. Data yang berkorelasi dengan α i yang positif disebut sebagai support vector. Support vector inilah yang akan digunakan untuk menghitung bobot NSV w = ∑ αi yi xi dan bias b = w. xi − yi untuk i =1
i=1,2,...,NSV. Selanjutnya, kelas dari data input x dapat ditentukan dengan persamaan (1).
Hyperplane optimal Ciri 1 Class 1 y=1
Support
Class 2 y=-1
t
w
margin
Gambar 2 Fungsi Φ ( xr ) memetakan data ke ruang vektor berdimensi lebih tinggi.
w x-b≥1
w.x-b=0 w.x-b≤1
Ciri 2
Gambar 1 Data terpisah secara linier. Diberikan data latih (x1, y1), (x2, y2),...,(xn, yn ) , di mana x ∈ ℜn, y ∈{+1− , 1} . Jika data terpisah secara linier seperti pada Gambar 1, maka akan berlaku fungsi diskriminan linier: (1) u = w.x − b , dengan w = vektor bobot yang tegak lurus terhadap hyperplane, x = data yang diklasifikasi, b = bias. Hyperplane adalah garis u=0. Margin antara dua kelas adalah m = 2 . Margin dapat w 2
dimaksimalkan menggunakan optimisasi Lagrangian seperti
fungsi berikut:
Jika data terpisah secara tidak linier, SVM dimodifikasi dengan memasukkan fungsi r Φ ( x ) . Dalam SVM yang tidak linier, pertamatama data dipetakan oleh fungsi Φ( xr ) ke ruang vektor baru yang berdimensi lebih tinggi, seperti pada Gambar 2. Selanjutnya di ruang vektor yang baru itu, SVM mencari hyperplane yang memisahkan kedua kelas secara linier. Pencarian ini hanya bergantung pada dot product dari data yang sudah dipetakan pada ruang baru yang berdimensi lebih tinggi, yaitu Φ (xr i ).Φ xr j . Karena r umumnya transformasi Φ( x ) ini tidak diketahui dan sangat sulit untuk dipahami, maka perhitungan dot product dapat digantikan dengan fungsi Kernel yang dirumuskan sebagai berikut:
( )
r r r r K ( x i , x j ) = Φ ( x i ). Φ ( x j ),
1 r2 l r r r L(w, b, α ) = w − ∑ αi yi xi , w + b − 1 i =1 2
sehingga persamaan (3) menjadi seperti berikut:
Dengan
l 1 l l r r L = ∑ α i − ∑ ∑ α i α j y i y j K ( xi .x j ) i =1 2 i =1j =1
( ((
memperhatikan
l = w − ∑ αi yi xi = 0 i=1 ∂w ∂L
dan
) )) (2).
sifat
gradien:
l = ∑ αi yi = 0 , ∂b i=1
∂L
persamaan (2) dapat dimodifikasi sebagai maksimalisasi L yang hanya mengandung αi, sebagaimana persamaan (3). l 1 l l r r L = ∑ α i − ∑ ∑ α i α j yi y j ( xi .x j ) (3) i=1 2 i=1j =1
(4)
dan persamaan (1) menjadi seperti berikut: NSV r r u = ∑ α i y i K xi , x − b i =1
(
)
(5),
NSV adalah data pelatihan yang termasuk support vector. Fungsi Kernel yang sering
4
- Ambil α yang memberikan nilai |E1-E2| terbesar sebagai α2. E1 dan E2 merupakan error cache untuk α1 dan α2 .
digunakan untuk SVM adalah fungsi Kernel Gaussian RBF (Mak 2000):
⎛ r r 2⎞ ⎜ xi − x j ⎟ r r K ( xi , x j ) = exp⎜ − ⎟. 2 2σ ⎜ ⎟ ⎝ ⎠
- Jika dua data identik, maka buang α2 ini dan ke tahap 4. Selainnya, hitung nilai L dan H untuk α2 : ⎧⎪max (0,α 2 − α1), jika y1 = y2 L=⎨ ⎪⎩max (0,α 2 + α1 − C ), jika y1 ≠ y2
Sequential Minimal Optimization
Sequential Minimal Optimization (SMO) adalah algoritma untuk proses pelatihan SVM yang dapat memberikan solusi pada masalah optimisasi. Pada dasarnya penggunaan SVM hanya terbatas pada masalah yang kecil karena algoritma pelatihan SVM cenderung lambat, kompleks, dan sulit untuk diimplementasikan. Berdasarkan hasil penelitian sebelumnya, algoritma SMO lebih sederhana, lebih mudah diimplementasikan, dan lebih cepat waktu komputasinya daripada algoritma Chunking (Platt 1998 ).
⎧⎪min (C, C + α2 − α1), jika y1 = y2 . H =⎨ ⎪⎩min (C,α2 + α1), jika y1 ≠ y2
- Jika L=H, maka perkembangan optimisasi tidak dapat dibuat, buang α2 ini dan ke tahap 4. Selainnya, hitung nilai η : r
4
- Jika α1 diperoleh maka ke tahap 3.
- Cari α2 dari data yang tidak terdapat pada batas.
r
- Lakukan iterasi pada data yang tidak terdapat pada batas sampai diperoleh α2 yang dapat membuat perkembangan optimisasi di tahap 3.
- Jika α2 tidak diperoleh setelah dua iterasi tersebut, maka lewati nilai α1 yang diperoleh dan kembali ke tahap 2 untuk mencari α1 baru yang melanggar sifat gradien.
- Jika iterasi pada seluruh data latih selesai, maka lakukan iterasi pada data yang tidak terdapat pada batas.
3
r
- Jika tidak diperoleh, maka lakukan iterasi pada seluruh data latih sampai diperoleh α2 yang dapat membuat perkembangan optimisasi di tahap 3.
- Lakukan iterasi pada seluruh data latih, cari α1 yang melanggar sifat gradien.
- Lakukan iterasi pada seluruh data latih dan pada data yang tidak terdapat pada batas secara bergantian untuk mencari α1 yang melanggar sifat gradien sampai seluruh α memenuhi sifat gradien.
r
- Jika α baru − α lama lebih kecil dari nilai 2 2 perubahan terkecil α ( ε ), maka buang nilai α2 ini dan ke tahap 4. Selainnya ke tahap 5.
- Inisialisasi nilai lagrange multiplier α dan bias b. 2
r
- Jika nilai η negatif, maka hitung nilai α2 yang baru. Selainnya, hitung fungsi objektif pada titik L dan H dan gunakan nilai α2 yang memberikan fungsi objektif paling tinggi sebagai nilai α2 yang baru.
Algoritma SMO adalah sebagai berikut (Platt 1998): - Masukkan data latih (x1, y1), (x2, y2),...,(xn, yn) , nilai parameter SMO C, dan nilai parameter kernel σ .
r
η = 2 K ( x1 , x 2 ) − K ( x1 , x1 ) − K ( x 2 , x 2 ) .
SMO memilih menyelesaikan masalah optimisasi pada persamaan (4) seminimal mungkin untuk setiap tahapnya. Pada setiap tahap, SMO memilih dua lagrange multipliers αi untuk dioptimisasi bersama-sama, mencari nilai yang paling optimal untuk lagrange multiplier tersebut, dan memperbaharui SVM dengan nilai optimal yang baru.
1
,
5
- Hitung nilai α2 yang baru. - Perbaharui nilai b dan error cache. - Simpan nilai α1 dan α2 yang baru. - Kembali ke tahap 2.
5
Recall dan Precision
Data Penelitian
Dua parameter utama yang dapat digunakan untuk mengukur keefektifan temu kembali citra, yaitu recall dan precision. Recall adalah perbandingan jumlah materi relevan yang ditemukembalikan terhadap jumlah materi yang relevan, sedangkan precision adalah perbandingan jumlah materi relevan yang ditemukembalikan terhadap jumlah materi yang ditemukembalikan (Grossman 2006).
Data yang digunakan diambil dari basis data Caltech dan www.flowers.vg sebanyak 300 citra untuk berbagai macam objek. Format citra adalah JPEG berukuran 50×50 piksel.
recall =
jumlah citra relevan hasil temu kembali jumlah citra relevan dalam basis data
precision =
jumlah citra relevan yang terambil jumlah seluruh citra yang terambil
Average precision adalah suatu ukuran evaluasi yang diperoleh dengan menghitung rata-rata tingkat precision pada berbagai tingkat recall (Grossman 2006). METODE PENELITIAN
Metode penelitian ini dapat dilihat pada Gambar 3.
Segmentasi Warna dengan EM
Pada tahapan segmentasi ini, setiap citra akan disegmentasi untuk mengelompokkan warna yang dikandung oleh setiap piksel dari citra ke beberapa segmen yang sudah ditentukan jumlahnya, yaitu dua, tiga, empat, dan lima. Segmen ini merupakan representasi dari warna-warna dominan citra. Setiap piksel dari citra dibangkitkan dari salah satu G segmen. Peluang sebuah piksel masuk ke dalam segmen adalah sebagai berikut: g p( x | Θ ) = ∑ p x | θ l π l . l =1
(
)
Masing-masing segmen diasumsikan mempunyai distribusi normal Gauss, sehingga peluang piksel dari segmen l dapat dihitung dengan formulasi sebagai berikut:
(
)
p x | θl =
1 ⎫ ⎧ 1 T −1 exp⎨− ( x − μl ) Σl ( x − μl )⎬. 1 d ⎭ ⎩ 2 (2π ) 2 det(Σl ) 2
Algoritma EM mempunyai dua tahapan utama yaitu tahapan Expectation (E-step) dan Maximization (M-step). Pada tahapan Expectation, data X diasumsikan sebagai data yang tidak lengkap dengan missing value berupa label yang menyatakan keanggotaan tiap piksel dari X ke dalam salah satu G segmen. Yang dilakukan pada tahapan ini adalah menghitung peluang tiap piksel dari tiap segmen dan membentuk matriks Z yang akan melengkapi data X , sehingga data yang lengkap dapat dinyatakan sebagai Y = ( X , Z ) . Label tiap piksel didapatkan dari segmen yang mempunyai peluang tertinggi dalam Z . Nilai likelihood dari data yang lengkap adalah n g p (Y | Θ) = ∑ ∑ p ( x | Θ ). i =1l =1
Gambar 3 Metodologi Penelitian.
Pada tahapan Maximization, parameter untuk iterasi berikutnya ditentukan sesuai dugaan variabel dari Z . Formulasi untuk menduga kembali parameter segmen adalah sebagai berikut: 1 N i t +1 πl = ∑z , N i =1 l
6
N i ∑ zl xi t +1 , μl = i =1 N i ∑ z i =1 l
(
)(
)
N i t +1 t +1 T xi − μ l ∑ z l xi − μ l t +1 i =1 . ∑l = N i ∑z i =1 l
Nilai parameter yang baru dari M-step ini akan digunakan kembali untuk E-step pada iterasi berikutnya. Proses E-step dan M-step akan terus berulang sampai didapatkan nilai likelihood yang kecil sehingga hasil perhitungan sudah tidak terlalu banyak mengalami perubahan. Ketika nilai likelihood hanya sedikit berubah, maka hasil dianggap konvergen. Ekstraksi Ciri Warna dengan FCH
Proses ekstraksi warna dengan FCH tidak terlalu beragam hasilnya pada perbedaan ruang warna (RGB, HSV, Lab) (Vertan & Boujemaa 2000). Oleh karena itu, pengolahan citra pada penelitian ini dilakukan pada ruang warna RGB untuk mempermudah pengolahan citra. Langkah pertama yang dilakukan untuk menghitung FCH adalah menghitung histogram awal. Pada penelitian ini, nilai warna kuantisasi awal tersebut didasarkan pada sebaran warna citra dalam basis data yang memiliki 10 kelas citra dengan jenis dan warna yang bervariasi. Untuk tiap kelas citra diambil 10 warna piksel yang muncul terbanyak sehingga dihasilkan 100 warna semesta tanpa ada warna yang sama. Dari histogram awal dihasilkan jumlah ciri yang terlalu banyak sehingga diperlukan waktu komputasi yang besar untuk ekstraksi ciri sebuah citra. Oleh karena itu perlu dilakukan pengelompokan warna (clustering) dari 100 warna semesta tersebut ke dalam beberapa pusat cluster warna menggunakan Fuzzy C-Means (FCM). Setiap pusat cluster FCM merepresentasikan bin FCH. Jumlah bin FCH yang digunakan sebanyak 25. Untuk perhitungan FCH selanjutnya diperlukan matriks derajat keanggotaan, dimana nilai keanggotaannya dapat diperoleh menggunakan fungsi Cauchy: μ c ' (c ) =
1 1 + ( d (c ' , c ) / σ )
α
, dengan
d(c’,c) = jarak Euclid antara warna c dengan c’, c’ = warna pada bin FCH, c = warna semesta, α = untuk menentukan kehalusan dari fungsi, σ = untuk menentukan lebar dari fungsi keanggotaan. Nilai parameter α = 2 dan σ = 15 diperoleh dari hasil percobaan sebelumnya (Balqis 2006). Perhitungan akhir FCH dengan FCM dinotasikan sebagai berikut: h2 (c' ) = ∑ μ c ' (c) * h(c) , dengan c∈μ
h2 h(c ) μ c ' (c )
= fuzzy color histogram, = conventional color histogram, = nilai keanggotaan dari warna c ke warna c’.
Data Latih dan Data Uji
Sesuai dengan metode 10-fold cross validation, seluruh data hasil ekstraksi ciri warna yang terdapat di dalam basis data dibagi menjadi 10 subset, yaitu S1,S3,...,S10. Masing-masing subset memiliki ukuran yang sama. Pembagian data dilakukan secara acak dengan mempertahankan perbandingan jumlah citra setiap kelas. Pada proses pertama S2,...,S10 menjadi data pelatihan dan S1 menjadi data pengujian, pada proses kedua S1,S3,...,S10 menjadi data pelatihan dan S2 menjadi data pengujian, dan seterusnya. Pelatihan dengan SVM
Pada proses pelatihan SVM digunakan algoritma SMO dengan fungsi Kernel Gaussian RBF untuk membangun model klasifikasi. Di dalam algoritma SMO diperlukan nilai konstanta C dan nilai parameter kernel σ. Oleh karena itu perlu dilakukan proses pelatihan untuk setiap pasangan nilai C (20,21,...,29) dan σ (2-2,2-1, dan 20) untuk mendapatkan model klasifikasi terbaik. Data yang dimasukkan pada proses pelatihan ini adalah data citra pelatihan yang sudah ditentukan sebelumnya. Karena SVM bersifat supervised learning, maka setiap citra mengandung vektor ciri citra dan label kelas. Pengujian dengan SVM
Proses pengujian dilakukan dengan memprediksi terlebih dahulu data pengujian dengan persamaan (5). Persamaan (5) tersebut juga menggunakan fungsi Kernel Gaussian RBF, dengan nilai parameter kernel σ sama
7
dengan nilai σ yang digunakan pada tahap pelatihan sebelumnya. Selanjutnya dilakukan perhitungan tingkat akurasi SVM terhadap citra yang telah diprediksi secara benar dan tidak benar oleh model klasifikasi. Proses pengujian dilakukan berdasarkan metode 10fold cross validation. Model klasifikasi dikatakan terbaik jika mencapai nilai akurasi yang paling tinggi ketika diaplikasikan ke data uji dengan nilai C dan σ terbaik. Model klasifikasi inilah yang akan digunakan untuk menentukan hasil klasifikasi akhir. Hasil Temu Kembali
Dari hasil klasifikasi akhir, diambil citra di dalam basis data yang memiliki kelas yang sama dengan citra kueri dan citra dari kelas lain yang memiliki tingkat kemiripan yang tinggi dengan citra kueri sebagai citra hasil temu kembali. Pengukuran tingkat kemiripan citra kueri terhadap citra dari kelas lain menggunakan perhitungan jarak Euclidean. Jarak Euclidean antara citra a dan b dirumuskan dengan formula: d a ,b =
[
HASIL DAN PEMBAHASAN
Penelitian ini menekankan pada penerapan metode SVM untuk mengklasifikasikan citra berdasarkan ciri warna citra. Citra yang digunakan sebanyak 300 dengan format JPG yang kemudian distandarkan ke dalam ukuran 50×50 piksel. Terdapat 10 kelas citra yang berbeda yang digunakan dalam penelitian ini yaitu buaya, bonsai, macan, pesawat, kapal, wajah, bunga, kura-kura, gentong, dan budha. Segmentasi Citra
Pada tahapan segmentasi ini, setiap citra akan disegmentasi untuk mengelompokkan warna yang dikandung oleh setiap piksel dari citra ke beberapa segmen (cluster) yang sudah ditentukan jumlahnya, yaitu dua, tiga, empat, dan lima. Cluster ini merupakan representasi dari warna-warna dominan citra. Tahapan segmentasi ini bertujuan mendapatkan kelompok-kelompok warna dominan dan mengurangi jumlah warna citra asli seperti yang terlihat pada Gambar 4.
]
1) dua cluster
B 2 ∑ fcha (i ) − fchb (i ) , i =1
dengan fch = hasil ekstraksi ciri warna dengan menggunakan FCH, B = jumlah bin pada histogram warna.
2) tiga cluster
Evaluasi Hasil Temu Kembali
Pada tahap evaluasi dilakukan penilaian tingkat keefektifan proses temu kembali terhadap sejumlah koleksi pengujian. Evaluasi menggunakan nilai recall dan precision dari hasil temu kembali citra berdasarkan penilaian relevansinya. Recall adalah perbandingan jumlah citra relevan yang terambil terhadap jumlah citra relevan di dalam basis data, sedangkan precision adalah perbandingan jumlah citra relevan yang terambil terhadap jumlah seluruh citra yang terambil. Perangkat Lunak dan Perangkat Keras yang Digunakan
Perangkat lunak yang digunakan pada penelitian ini adalah Matlab 7.0.1 dan sistem operasi Windows XP Professional SP 1, sedangkan spesifikasi perangkat keras yang mendukung adalah komputer dengan processor Pentium IV 1.8 GHz dan memori 512 MB.
citra asli
3) empat cluster
4) lima cluster
Gambar 4 Contoh citra sebelum dan sesudah segmentasi menggunakan algoritma EM. Selanjutnya dilakukan pemilihan keempat hasil segmentasi tersebut secara manual untuk dijadikan masukan pada tahap ekstraksi warna. Berdasarkan Gambar 4, dapat dilihat bahwa hasil segmentasi keempat adalah hasil segmentasi yang paling baik. Hal ini dikarenakan citra hasil segmentasi tersebut paling mirip dengan citra aslinya. Hasil
8
segmentensi yang sudah terpilih sebagai masukan pada tahap ekstraksi warna untuk seluruh citra di dalam basis data dapat dilihat pada Lampiran 1. Ekstraksi ciri warna
Pada tahapan ekstraksi ini, setiap piksel pada citra akan direpresentasikan dengan peluang atau frekuensi piksel-piksel tersebut terhadap nilai warna (bin) yang sudah ditentukan sebanyak 25. Bin tersebut diperoleh dari FCH menggunakan FCM. Bin FCH yang digunakan pada penelitian ini dapat dilihat pada Lampiran 2.
Gambar 5 Gambar wajah.
beberapa nilai C dan σ untuk dicari yang terbaik, yaitu untuk nilai C (20,21,...,29) dan σ (2-2,2-1, dan 20). Di dalam metode 10-fold cross validation, dilakukan proses pelatihan dan proses pengujian terhadap data latih dan data uji. Proses pelatihan dan pengujian ini bertujuan membangun model klasifikasi dan menghitung tingkat akurasi SVM dalam memprediksi citra uji. Model klasifikasi dikatakan terbaik jika mencapai nilai akurasi yang paling tinggi ketika diaplikasikan ke data uji dengan nilai C dan σ terbaik. Nilai C dan σ dikatakan terbaik jika mencapai rataan akurasi yang paling tinggi ketika digunakan dalam klasifikasi SVM. Akurasi adalah perbandingan jumlah citra yang telah diprediksi benar terhadap jumlah data uji. Rataan akurasi adalah nilai rata-rata dari akurasi di setiap pasangan nilai C dan σ. Rataan akurasi hasil proses pengujian untuk setiap pasangan nilai parameter C (20,21,...,29) dan σ (2-2,2-1, dan 20) dapat dilihat pada Tabel 1. Tabel 1 Rataan akurasi hasil proses pengujian untuk setiap pasangan C dan σ σ C
Gambar 6 Hasil FCH dengan FCM 25 bin. Gambar 6 adalah hasil FCH dengan FCM dari Gambar 5. Berdasarkan Gambar 6, dapat dilihat bahwa bin 4 yang cenderung berwarna hijau merupakan warna yang paling banyak muncul. Data Uji dan Data Latih
Seluruh data citra hasil ekstraksi ciri warna di dalam basis data sebanyak 300 citra, dibagi secara acak ke dalam 10 subset. Setiap subset memiliki jumlah citra yang sama, yaitu 30 citra. Subset-subset tersebut akan digunakan sebagai data latih dan data uji sesuai dengan metode validasi silang, yaitu metode 10-fold cross validation. Klasifikasi
Di dalam proses pelatihan SVM yang menggunakan algoritma SMO dan fungsi Kernel Gaussian RBF diperlukan parameter C dan σ. Sedangkan di dalam proses pengujian SVM yang menggunakan fungsi Kernel Gaussian RBF juga diperlukan parameter σ. Untuk memilih nilai parameter C dan σ terbaik digunakan metode 10-fold cross validation. Pada penelitian ini, dicobakan
20 21 22 23 24 25 26 27 28 29
2-2 53.67% 54.33% 53.67% 54% 51% 51% 51.33% 52.33% 52.33% 52.33%
2-1
20
52% 52.66% 53.67% 53% 53.33% 53.67% 55.67% 53.70% 51.67% 51.67%
51.33% 51.33% 52% 53% 53% 52.03% 54% 55.33% 52.50% 54.67%
Berdasarkan Tabel 1, dapat dilihat bahwa untuk pasangan nilai parameter C = 26 dan σ = 2-1 dihasilkan rataan akurasi yang paling tinggi, yaitu 55.67%. Hal itu menunjukkan bahwa nilai C = 26 dan σ = 2-1 merupakan pasangan nilai C dan σ terbaik. Rincian akurasi untuk setiap tahap pengujian dengan menggunakan C = 26 dan σ = 2-1 dapat dilihat pada Tabel 2. Berdasarkan Tabel 2, dapat dilihat bahwa proses pengujian ke-10 memiliki akurasi yang paling tinggi, yaitu 86.67%. Hal itu menunjukkan bahwa model klasifikasi SVM terbaik telah terbentuk dari proses pelatihan ke-10 dengan C = 26 dan σ = 2-1. Model
9
klasifikasi ini mengandung bias (b), 240 buah citra dari data latih ke-10 yang terpilih sebagai support vector, dan α i yi , (i = 1,2,...,240) . Citra yang termasuk support vector ini memiliki nilai lagrange multiplier 0 ≤ α ≤ C . Tabel 2 Hasil proses pengujian dengan C = 26 dan σ = 2-1 Pengujian 1 2 3 4 5 6 7 8 9 10 Rataan
Akurasi 43.33% 56.67% 56.67% 63.33% 53.33% 40% 53.33% 46.67% 56.67% 86.67% 55.67%
Model klasifikasi terbaik digunakan untuk menentukan hasil klasifikasi akhir dengan menghitung nilai fungsi diskriminan seperti pada persamaan (5). Dalam perhitungan nilai fungsi diskriminan tersebut tidak digunakan seluruh citra di dalam basis data, akan tetapi hanya digunakan citra di dalam basis data yang termasuk support vector. Hasil klasifikasi akhir untuk seluruh citra di dalam basis data dapat dilihat pada Lampiran 3.
Citra yang relevan di dalam basis data yang ditemukembalikan sampai 30 citra teratas hanya sebanyak 10 dari 30 citra yang relevan di dalam basis data. Terdapat beberapa citra yang ditemukembalikan memiliki warna berbeda sekali dengan warna citra kueri, yaitu citra pada peringkat 4, 5, 8, 10, 11, 12, 14, 18, 22, 23, 26, 27, 28, dan 30. Citra-citra tersebut cenderung berwarna biru, berbeda sekali dengan warna citra kueri yang cenderung berwarna hijau kekuningan. Hal ini dikarenakan sistem tidak mengenal kelas citra dan sistem hanya menemukembalikan citra di dalam basis data yang mempunyai tingkat kemiripan yang tinggi dengan citra kueri. Kekurangan sistem ini diperbaiki oleh temu kembali citra menggunakan SVM yang dapat dilihat pada Gambar 8.
Gambar 7 Contoh hasil temu kembali tanpa menggunakan SVM.
Hasil Temu Kembali
Pada penelitian ini, temu kembali citra diujicobakan ke dua metode yang berbeda untuk melihat perbedaan tingkat keefektifan hasil temu kembali citra. Dua metode ini adalah temu kembali citra tanpa menggunakan SVM dan temu kembali citra menggunakan SVM. Citra di dalam basis data yang digunakan sebagai citra kueri adalah citra yang termasuk data uji ke-10 (Lampiran 4). Hal ini dikarenakan hasil proses pengujian yang paling baik dicapai saat model klasifikasi diaplikasikan terhadap data uji ke10. Hasil temu kembali citra tanpa menggunakan SVM hanya didasarkan pada kemiripan ciri warna menggunakan perhitungan jarak Euclidean. Contoh hasil temu kembali tanpa menggunakan SVM dapat dilihat pada Gambar 7. Gambar 7 memperlihatkaan bahwa citra hasil temu kembali tidak sepenuhnya berasal dari jenis citra yang sama dengan citra kueri.
Gambar 8 Contoh hasil temu kembali menggunakan SVM. Berdasarkan Gambar 8, dapat dilihat bahwa citra hasil temu kembali sudah terlihat sangat baik meskipun masih ada satu citra lainnya yang relevan di dalam basis data tidak ditemukembalikan sampai 30 citra teratas. Masih terdapat satu citra yang ditemukembalikan dari jenis yang berbeda dengan citra kueri, yaitu citra pada peringkat
10
21. Citra tersebut tidak sejenis dengan citra kueri, akan tetapi memiliki warna yang cenderung sama dengan citra kueri. Hasil temu kembali citra yang sangat baik ini dikarenakan sistem mengenal kelas citra dan melakukan prediksi baik terhadap citra kueri maupun terhadap seluruh citra di dalam basis data sehingga diperoleh kelas yang baru untuk setiap citra. Citra yang ditemukembalikan adalah citra hasil klasifikasi di dalam basis data yang terdapat dalam kelas citra yang sama dengan citra kueri dan citra dari kelas lain yang memiliki tingkat kemiripan yang tinggi dengan citra kueri. Hasil temu kembali menggunakan SVM yang baik ini juga dipengaruhi oleh model klasifikasi yang terbaik. Pada tahap klasifikasi sebelumnya, telah dipilih model klasifikasi terbaik yang mencapai nilai akurasi 86.67% setelah diaplikasikan terhadap data uji ke-10. Nilai akurasi SVM yang baik ini, menyebabkan hasil temu kembali citra juga baik.
Gambar 9 Contoh hasil temu kembali citra menggunakan SVM. Gambar 9 adalah contoh hasil temu kembali menggunakan SVM. Berdasarkan Gambar 9, dapat dilihat bahwa warna citra yang ditemukembalikan cenderung mirip dengan warna pada citra kueri, meskipun hanya dua citra yang relevan di dalam basis data yang ditemukembalikan sampai 30 citra teratas. Hal ini disebabkan hasil perhitungan fungsi diskriminan dengan SVM menunjukkan bahwa indeks warna citra kueri masuk ke kelas citra lain, yaitu citra buaya. Kesalahan klasifikasi ini menyebabkan hasil temu kembali citra menjadi kurang baik. Oleh karena itu, untuk penelitian selanjutnya dapat digunakan metode relevance feedback dalam temu kembali citra agar hasil temu kembali citra menjadi lebih baik. Dalam penggunaan metode relevance feedback, model klasifikasi SVM dapat dibentuk dari citra yang relevan dan yang tidak relevan dengan citra kueri
yang merupakan hasil penandaan oleh pengguna. Dengan model klasifikasi tersebut, sistem dapat menemukembalikan lebih banyak citra di dalam basis data yang relevan dengan citra kueri. Contoh hasil temu kembali citra berdasarkan ciri warna menggunakan SVM untuk setiap kelas citra dapat dilihat pada Lampiran 5. Evaluasi Hasil Temu Kembali
Pada tahap evaluasi dilakukan penilaian tingkat keefektifan dalam proses temu kembali terhadap sejumlah koleksi pengujian dengan menghitung nilai recall dan precision dari proses temu kembali citra berdasarkan penilaian relevansinya. Penentuan relevansi citra hasil temu kembali dibuat berdasarkan kelas citra di dalam basis data, di mana terdapat 10 kelas citra yang berbeda, yaitu: 1 2 3 4 5 6 7 8 9 10
Buaya, Bonsai, Macan, Pesawat, Kapal, Wajah, Bunga, Kura-kura, Genthong, Budha.
Di dalam basis data terdapat 300 citra dari 10 kelas citra dengan 30 citra untuk setiap kelas citra. Dengan demikian untuk setiap kueri citra terdapat 30 citra relevan di dalam basis data yang penilaian relevansinya didasarkan atas kesamaan kelas citra. Penilaian relevansi tersebut kemudian digunakan sebagai acuan pada saat melakukan evaluasi terhadap hasil temu kembali untuk setiap citra kueri. Nilai recall yang digunakan adalah 0,0.1,0.2,...,1. Nilai ini menunjukkan jumlah bagian citra dari seluruh citra terambil untuk perhitungan nilai precision. Misalkan untuk nilai recall 0.1 berarti jumlah citra yang digunakan untuk perhitungan nilai precision adalah 10% dari seluruh citra yang terambil. Nilai precision untuk nilai recall 0.1 adalah perbandingan banyaknya citra relevan yang terambil dari seluruh citra dengan jumlah tersebut. Nilai rataan precision hasil temu kembali citra dapat dilihat pada Tabel 3. Nilai recall-precision hasil temu kembali citra menggunakan SVM untuk setiap citra kueri dapat dilihat pada Lampiran 6. Nilai recall-
11
precision hasil temu kembali citra tanpa menggunakan SVM untuk setiap citra kueri dapat dilihat pada Lampiran 7. Tabel 3 Nilai rataan precision hasil temu kembali citra Dengan SVM 100% 80% 72.78% 72.59% 72.22% 73.33% 73.52% 74.29% 74.72% 74.94% 76% 76.76%
Rataan Precision (%)
Recall 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Rataan
Tanpa SVM 100% 74.44% 56.67% 50.37% 46.67% 43.11% 41.3% 40.16% 37.78% 35.56% 34% 50.91%
menggunakan SVM, dapat dilihat bahwa nilai rataan precision cenderung selalu mengalami penurunan pada setiap nilai recall. Hal ini dikarenakan banyak kueri citra yang menemukan sedikit citra yang relevan di dalam basis data. KESIMPULAN DAN SARAN Kesimpulan
Hasil penelitian menunjukkan bahwa metode SVM telah memberikan hasil temu kembali citra yang lebih baik daripada hasil temu kembali citra tanpa menggunakan metode SVM. Dengan metode 10-fold cross validation, didapatkan model klasifikasi terbaik dan citra kueri dari proses pelatihan dan pengujian ke-10, dengan akurasi SVM sebesar 86.67%. Nilai rataan precision untuk hasil temu kembali menggunakan SVM mencapai 76.76%, sedangkan nilai rataan precision untuk hasil temu kembali tanpa menggunakan SVM mencapai 50.91%.
100 90 80 70 60 50 40 30 20 10 0
Saran
0
0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
1
Recall dengan SVM
tanpa SVM
Gambar 10 Grafik rataan precision hasil temu kembali citra menggunakan SVM dan tanpa menggunakan SVM. Berdasarkan Gambar 10, dapat dilihat bahwa nilai rataan precision temu kembali citra menggunakan SVM cenderung lebih besar daripada nilai rataan precision temu kembali citra tanpa menggunakan SVM pada setiap nilai recall lebih dari nol. Hal ini menunjukkan bahwa tingkat keefektifan hasil temu kembali citra menggunakan SVM cenderung selalu lebih tinggi daripada hasil temu kembali citra tanpa menggunakan SVM. Untuk temu kembali citra menggunakan SVM, dapat dilihat bahwa nilai rataan precision mengalami penurunan pada nilai recall 0.1, sedangkan pada nilai recall lainnya cenderung stabil. Hal ini dikarenakan pada peringkat recall 0.1 banyak kueri citra yang tidak menemukan citra yang relevan di dalam basis data. Untuk temu kembali citra tanpa
Pada sistem temu kembali citra berdasarkan isi citra, pencarian citra dilakukan dengan mencocokkan isinya yang berupa warna, bentuk, ataupun tekstur. Berdasarkan penelitian, untuk memperbaiki hasil temu kembali diperlukan informasi selain warna, seperti bentuk dan tekstur. Isi citra meliputi warna, bentuk, dan tekstur. Oleh karena itu, untuk penelitian selanjutnya dapat dikembangkan sistem temu kembali citra berdasarkan ciri warna, bentuk, dan tekstur. Berdasarkan penelitian, terdapat beberapa kesalahan klasifikasi yang dapat menyebabkan hasil temu kembali citra menjadi kurang baik. Oleh karena itu, untuk penelitian selanjutnya dapat digunakan metode relevance feedback dalam temu kembali citra agar hasil temu kembali citra menjadi lebih baik. DAFTAR PUSTAKA
Balqis, DP. 2006. Metode Fuzzy Color Histogram untuk Temu Kembali Citra Bunga. [Skripsi]. Bogor:Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Belongie S, et al. 1998. Color- and TextureBased Image Segmentation Using EM and Its Application to Content-Based Image Retrieval.
12
http://elib.cs.berkeley.edu/carson/papers/I CCV98.pdf [6 Mei 2007]. Fu L. 1994. Neural Network In Computer Intelligence. Singapura : McGraw Hill. Gosselin PH, Cord M. 2004. A Comparison of Active Clasification Methods for ContentBased Image Retrieval. http://persoetis.ensea.fr/~gosselin/gosselin04cvdb.pdf [28 Oktober 2006]. Grossman D. IR Book. http://www.ir.iit.edu/~dagr/cs529/files/ir_ book/ [30 Oktober 2006]. Han J, Ma KK, Fuzzy Color Histogram and Its Use in Color Image Retrieval. IEEE Transaction on Image Processing, vol. 11, no. 8, 2002. Mak G. 2000. The Implementation of Support Vector Machines Using The Sequential Minimal Optimization Algorithm. http://www.cs.mcgill.ca/~hu/publications/ 99.04.McGill.thesis.gmak.pdf [28 Oktober 2006]. Platt JC. 1998. Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines. http://reseach.microsoft.com/users/jplatt/s moTR.pdf [28 Oktober 2006]. Vertan C, Boujemaa N. 2000. Using Fuzzy Histogram and Distance for Color Image Retrieval. http://wwwrocq.inria.fr/imedia/Articles/cir2000.pdf [28 Oktober 2006]. Zang Lei, et al. 2001. Support Vector Machine Learning for Image Retrieval. http://research.microsoft.com/users/leizhan g/Paper/ICIP01.pdf [28 Oktober 2006]. Zhang R, Zhang Z. A Robust Color Object Analysis Approach to Efficient Image Retrieval. http://www.fortune.binghamton.edu/public ations/EURASIP.pdf [28 Oktober 2006].
LAMPIRAN
14
Lampiran 1 Seluruh citra dalam basis data setelah melalui proses segmentasi 1 Buaya
2 Buaya
3 Buaya
4 Buaya
5 Buaya
6 Buaya
7 Buaya
8 Buaya
9 Buaya
10 Buaya
11 Buaya
12 Buaya
13 Buaya
14 Buaya
15 Buaya
16 Buaya
17 Buaya
18 Buaya
19 Buaya
20 Buaya
21 Buaya
22 Buaya
23 Buaya
24 Buaya
25 Buaya
26 Buaya
27 Buaya
28 Buaya
29 Buaya
30 Buaya
31 Bonsai
32 Bonsai
33 Bonsai
34 Bonsai
35 Bonsai
36 Bonsai
37 Bonsai
38 Bonsai
39 Bonsai
40 Bonsai
41 Bonsai
42 Bonsai
43 Bonsai
44 Bonsai
45 Bonsai
46 Bonsai
47 Bonsai
48 Bonsai
49 Bonsai
50 Bonsai
51 Bonsai
52 Bonsai
53 Bonsai
54 Bonsai
55 Bonsai
56 Bonsai
57 Bonsai
58 Bonsai
59 Bonsai
60 Bonsai
61 Macan
62 Macan
63 Macan
64 Macan
65 Macan
66 Macan
67 Macan
68 Macan
69 Macan
70 Macan
71 Macan
72 Macan
73 Macan
74 Macan
75 Macan
76 Macan
77 Macan
78 Macan
79 Macan
80 Macan
81 Macan
82 Macan
83 Macan
84 Macan
85 Macan
86 Macan
87 Macan
88 Macan
89 Macan
90 Macan
93 99 100 92 94 91 95 96 97 98 Pesawat Pesawat Pesawat Pesawat Pesawat Pesawat Pesawat Pesawat Pesawat Pesawat
109 110 104 105 106 107 108 102 103 101 Pesawat Pesawat Pesawat Pesawat Pesawat Pesawat Pesawat Pesawat Pesawat Pesawat
114 116 117 118 111 115 112 113 119 120 Pesawat Pesawat Pesawat Pesawat Pesawat Pesawat Pesawat Pesawat Pesawat Pesawat
15
Lampiran 1 Lanjutan 121 Kapal
122 Kapal
123 Kapal
124 Kapal
125 Kapal
126 Kapal
127 Kapal
128 Kapal
129 Kapal
130 Kapal
131 Kapal
132 Kapal
133 Kapal
134 Kapal
135 Kapal
136 Kapal
137 Kapal
138 Kapal
139 Kapal
140 Kapal
141 Kapal
142 Kapal
143 Kapal
144 Kapal
145 Kapal
146 Kapal
147 Kapal
148 Kapal
149 Kapal
150 Kapal
151 Wajah
152 Wajah
153 Wajah
154 Wajah
155 Wajah
156 Wajah
157 Wajah
158 Wajah
159 Wajah
160 Wajah
161 Wajah
162 Wajah
163 Wajah
164 Wajah
165 Wajah
166 Wajah
167 Wajah
168 Wajah
169 Wajah
170 Wajah
171 Wajah
172 Wajah
173 Wajah
174 Wajah
175 Wajah
176 Wajah
177 Wajah
178 Wajah
179 Wajah
180 Wajah
181 Bunga
182 Bunga
183 Bunga
184 Bunga
185 Bunga
186 Bunga
187 Bunga
188 Bunga
189 Bunga
190 Bunga
191 Bunga
192 Bunga
193 Bunga
194 Bunga
195 Bunga
196 Bunga
197 Bunga
198 Bunga
199 Bunga
200 Bunga
201 Bunga
202 Bunga
203 Bunga
204 Bunga
205 Bunga
206 Bunga
207 Bunga
208 Bunga
209 Bunga
210 Bunga
211 Kurakura
212 Kurakura
213 Kurakura
214 Kurakura
215 Kurakura
216 Kurakura
217 Kurakura
218 Kurakura
219 Kurakura
220 Kurakura
221 Kurakura
222 Kurakura
223 Kurakura
224 Kurakura
225 Kurakura
226 Kurakura
227 Kurakura
228 Kurakura
229 Kurakura
230 Kurakura
16
Lampiran 1 Lanjutan 231 Kurakura
232 Kurakura
233 Kurakura
234 Kurakura
235 Kurakura
236 Kurakura
237 Kurakura
238 Kurakura
239 Kurakura
240 Kurakura
242 243 244 249 250 241 245 246 247 248 Gentong Gentong Gentong Gentong Gentong Gentong Gentong Gentong Gentong Gentong
252 253 254 259 260 251 256 257 258 255 Gentong Gentong Gentong Gentong Gentong Gentong Gentong Gentong Gentong Gentong
261 265 266 267 268 262 263 264 269 270 Gentong Gentong Gentong Gentong Gentong Gentong Gentong Gentong Gentong Gentong
271 Budha
272 Budha
273 Budha
274 Budha
275 Budha
276 Budha
277 Budha
278 Budha
279 Budha
280 Budha
281 Budha
282 Budha
283 Budha
284 Budha
285 Budha
286 Budha
287 Budha
288 Budha
289 Budha
290 Budha
291 Budha
292 Budha
293 Budha
294 Budha
295 Budha
296 Budha
297 Budha
298 Budha
299 Budha
300 Budha
17
Lampiran 2 Warna kuantisasi untuk 25 bin histogram warna
R
G
B
98
78
66
181
161
184
129
117
97
105
106
106
246
227
221
114
132
155
88
117
173
209
147
136
6
100
216
138
118
123
227
251
254
119
104
67
170
128
87
157
159
158
44
45
49
82
64
49
91
133
105
198
204
223
150
111
66
135
157
181
154
140
135
224
141
60
118
116
67
213
99
33
236
205
160
18
Lampiran 3 Hasil klasifikasi SVM ID Citra 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45
Kelas Awal 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
Kelas Akhir 8 1 7 3 1 1 1 1 1 1 1 1 1 1 2 1 1 1 1 1 1 1 1 1 10 1 1 9 8 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
ID Citra 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90
Kelas Awal 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3
Kelas Akhir 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3
ID Citra 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135
Kelas Awal 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5
Kelas Akhir 4 4 4 4 8 4 4 5 4 4 4 8 8 4 4 4 8 5 8 5 5 4 4 4 4 8 4 4 8 5 5 4 5 5 5 5 5 5 5 5 8 5 5 5 5
19
Lampiran 3 Lanjutan ID Citra 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180
Kelas Awal 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6
Kelas Akhir 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6
ID Citra 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225
Kelas Awal 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8
Kelas Akhir 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8
ID Citra 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270
Kelas Awal 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9
Kelas Akhir 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 9 9 9 9 9 9 9 9 9 3 6 9 9 9 3 9 9 9 9 1 9 9 10 1 9 9 2 10 9 9
20
Lampiran 3 Lanjutan ID Citra 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300
Kelas Awal 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10
Kelas Akhir 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10
21
Lampiran 4 Citra kueri yang diujicobakan pada proses temu kembali citra ID Citra
ID Citra
No Kueri
11
102
21
206
10
12
104
22
214
3
15
13
129
23
220
4
33
14
133
24
233
5
37
15
150
25
246
6
43
16
158
26
255
7
62
17
175
27
264
8
66
18
177
28
276
9
85
19
185
29
282
10
96
20
200
30
287
ID Citra
No Kueri
1
6
2
No Kueri
Citra
Citra
Citra
22
Lampiran 5 Contoh hasil temu kembali citra berdasarkan ciri warna menggunakan SVM
(a) Contoh kelas bonsai.
(b) Contoh kelas wajah.
(c) Contoh kelas macan.
23
Lampiran 5 Lanjutan
(d) Contoh kelas bunga.
(e) Contoh kelas kapal.
(f) Contoh kelas pesawat.
24
Lampiran 5 Lanjutan
(g) Contoh kelas budha.
(h) Contoh kelas kura-kura.
(i) Contoh kelas buaya.
25
Lampiran 5 Lanjutan
(j) Contoh kelas genthong.
26
Lampiran 6 Nilai recall-precision hasil temu kembali citra menggunakan SVM untuk setiap citra kueri Recall
No kueri
0
100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 Keterangan: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 Rataan
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
66.67 33.33 33.33 100 100 100 100 100 100 33.33 66.67 100 100 66.67 100 100 100 100 100 100 100 100 100 66.67 66.67 33.33 33.33 66.67 66.67 66.67 80
33.33 16.67 16.67 100 100 100 100 83.33 100 33.33 66.67 83.33 83.33 66.67 83.33 100 100 83.33 100 100 100 100 50 33.33 50 16.67 33.33 83.33 83.33 83.33 72.78
55.56 22.22 11.11 100 100 100 100 77.78 88.89 33.33 55.56 66.67 88.89 77.78 88.89 100 100 88.89 100 100 100 88.89 55.56 55.56 33.33 22.22 22.22 77.78 77.78 88.89 72.59
66.67 41.67 8.33 100 100 100 100 83.33 91.67 50 41.67 58.33 83.33 66.67 83.33 100 100 91.67 100 100 100 83.33 50 58.33 41.67 16.67 16.67 75 75 83.33 72.22
73.33 53.33 6.67 100 93.33 100 100 86.67 86.67 40 33.33 60 86.67 73.33 86.67 100 100 93.33 100 100 100 86.67 60 60 53.33 13.33 13.33 80 80 80 73.33
72.22 61.11 5.56 100 94.44 100 88.89 88.89 88.89 50 33.33 61.11 83.33 77.78 77.78 94.44 94.44 94.44 100 100 100 88.89 61.11 61.11 55.56 11.11 11.11 83.33 83.33 83.33 73.52
76.19 66.67 4.76 95.24 95.24 95.24 90.48 85.71 90.48 57.14 28.57 66.67 80.95 80.95 80.95 95.24 95.24 95.24 100 95.24 100 80.95 66.67 66.67 61.9 9.52 9.52 85.71 85.71 85.71 74.29
75 70.83 4.17 95.83 95.83 95.83 87.5 87.5 91.67 62.5 25 70.83 83.33 83.33 83.33 95.83 95.83 95.83 95.83 95.83 95.83 75 70.83 62.5 66.67 8.33 8.33 87.5 87.5 87.5 74.72
77.78 74.07 3.7 96.3 92.59 96.3 88.89 88.89 88.89 66.67 25.93 74.07 81.48 81.48 81.48 96.3 96.3 96.3 96.3 96.3 96.3 74.07 62.96 62.96 70.37 7.41 7.41 88.89 88.89 88.89 74.94
80 76.67 3.33 96.67 93.33 96.67 90 90 90 70 23.33 76.67 83.33 83.33 83.33 96.67 96.67 96.67 96.67 96.67 96.67 73.33 66.67 66.67 73.33 6.67 6.67 90 90 90 76
Nilai precision dalam satuan persen (%).
27
Lampiran 7 Nilai recall-precision hasil temu kembali citra tanpa menggunakan SVM untuk setiap citra kueri Recall
No kueri 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 Rataan
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100
66.67 33.33 66.67 100 33.33 100 66.67 100 100 33.33 66.67 100 100 66.67 100 66.67 100 66.67 66.67 100 100 100 100 66.67 66.67 33.33 33.33 66.67 66.67 66.67 74.44
33.33 16.67 33.33 100 50 66.67 33.33 83.33 83.33 33.33 66.67 83.33 66.67 50 66.67 50 83.33 33.33 33.33 100 100 83.33 50 33.33 50 16.67 33.33 66.67 66.67 33.33 56.67
22.22 22.22 22.22 88.89 44.44 44.44 44.44 77.78 66.67 33.33 55.56 66.67 44.44 66.67 55.56 33.33 88.89 33.33 22.22 100 100 66.67 55.56 55.56 33.33 11.11 22.22 55.56 44.44 33.33 50.37
25 25 16.67 75 50 33.33 41.67 83.33 50 50 41.67 58.33 50 66.67 50 25 75 33.33 25 91.67 83.33 50 50 50 25 25 16.67 50 41.67 41.67 46.67
20 20 13.33 60 40 40 33.33 73.33 46.67 40 40 53.33 46.67 53.33 46.67 26.67 66.67 33.33 20 86.67 80 60 60 53.33 26.67 20 13.33 40 40 40 43.11
22.22 16.67 22.22 55.56 38.89 38.89 27.78 77.78 38.89 38.89 38.89 61.11 50 50 44.44 22.22 55.56 33.33 16.67 83.33 77.78 55.56 55.56 50 22.22 22.22 16.67 33.33 33.33 38.89 41.3
19.05 28.57 19.05 52.38 33.33 42.86 28.57 76.19 42.86 33.33 38.1 57.14 42.86 52.38 38.1 23.81 52.38 33.33 19.05 80.95 71.43 52.38 52.38 57.14 23.81 19.05 19.05 33.33 28.57 33.33 40.16
20.83 25 16.67 54.17 33.33 37.5 29.17 70.83 37.5 33.33 33.33 50 41.67 45.83 41.67 20.83 45.83 33.33 16.67 75 62.5 50 54.17 58.33 25 16.67 20.83 29.17 25 29.17 37.78
18.52 25.93 14.81 48.15 29.63 33.33 25.93 70.37 37.04 29.63 33.33 44.44 37.04 44.44 37.04 18.52 44.44 33.33 14.81 66.67 55.56 51.85 59.26 51.85 22.22 14.81 25.93 25.93 22.22 29.63 35.56
20 23.33 16.67 43.33 30 33.33 23.33 66.67 33.33 36.67 30 43.33 36.67 43.33 40 20 43.33 30 16.67 60 56.67 46.67 53.33 46.67 20 13.33 23.33 23.33 20 26.67 34
Keterangan: Nilai precision dalam satuan persen (%).
