BAB IV PENGUJIAN PERANGKAT LUNAK DAN ANALISIS HASIL PENGUJIAN Pada bab ini dibahas hasil pengujian yang dilakukan terhadap perangkat lunak sistem alih aksara dengan menggunakan citra hasil cropping sejumlah 321 sebagai datasetnya. Pengujian yang dilakukan meliputi performa sistem alih aksara dalam mengenali baris dan akurasi sistem dalam melakukan alih aksara pada citra uji. Citra uji berupa tulisan tangan diperoleh dari majalah mingguan Panjebar Semangat. Citra dataset dengan citra uji berasal dari seri yang berbeda tetapi dengan judul yang sama yaitu “Katuturane Sejarah Pararaton” karangan Raden Mas Mangkudimeja. Citra uji didigitalisasi menggunakan scanner dengan pengaturan resolusi sebesar 600 ppi. Gambar citra uji dapat dilihat pada lampiran B. 4.1. Pengenalan Baris Perhitungan baris merupakan pengujian sistem dalam mengenali suatu baris secara sempurna dengan mengubah nilai ambang baris tb. Pengenalan baris secara sempurna didefinisikan dengan kemampuan sistem memisahkan baris tanpa menghilangkan sandhangan maupun pasangan. Perhitungan jumlah baris yang dideteksi digunakan persamaan 3. Pengenalan baris (%) =
(3)
Tabel. 4.1. Perhitungan jumlah baris Pengenalan Baris (%) Citra Uji tb=0.4 tb=0.45 tb=0.5 1 66,67 75 75 2
60.86
65.21
65.21
3
60
64
64
4
65.21
82.6
86.95
17
5
73.91
86.95
78.26
6
73.91
82.6
73.91
7
69.56
73.91
82.6
8
72.72
81.81
77.27
9
68.18
81.81
72.72
10
63.63
72.72
77.27
Penggunaan proyeksi vertikal pada citra uji menggunakan aksara tangan dirasa sudah baik untuk menghasilkan batasan baris. Pada Tabel 4.1 dapat dilihat hasil paling tinggi dalam pengenalan baris mencapai 86.95%. Baris yang tidak dikenali biasanya merupakan baris yang memiliki aksara yang sedikit sehingga jumlah pixelnya hitamnya terlalu sedikit. Pemilihan nilai ambang tb memiliki peranan penting dalam penentuan baris. Bila nilai tb terlalu besar maka 1 baris bisa dideteksi menjadi 2 atau lebih baris. Namun, bila tb terlalu kecil maka jumlah yang dikenali semakin sedikit. Selain dipengaruhi oleh oleh nilai ambang dan jumlah aksara penyusun dalam satu baris pasangan dan sandhangan yang berada diatas dan dibawah sebuah aksara dalam satu baris yang banyak menyulitkan menentukan nilai ambang batas baris (tb) yang tepat. Selain itu jarak antar baris yang tidak sama membuat penentuan nilai offset yang digunakan tidak efektif memisahkan satu baris dengan baris yang lain secara sempurna. Pada gambar 4.1 akan disajikan contoh hasil dari pengenalan baris yang dilakukan.
Gambar 4.1 (a) Hasil pengenalan baris yang sempurna, (b) hasil pengenalan baris tidak sempurna pada citra 18
4.2. Perhitungan Akurasi 4.2.1. Tulisan Tangan Perhitungan akurasi juga dilakukan untuk mengetahui keakuratan sistem alih aksara dalam mengenali aksara dalam citra uji. Perhitungan akurasi dan error rate menggunakan persamaan 4 dan 5. Akurasi
# Hit # CR 100% # Hit # MD# FA # CR # DD
(4)
#Hit = Jumlah aksara Jawa yang berhasil dialih aksarakan dengan benar. #Missed Detection (MD) = Jumlah aksara yang tidak teralih –aksarakan. #False Alarm (FA)= Jumlah aksara yang di alih aksarakan salah. #Diversed Detection (DD)= Jumlah aksara yang dialihaksarakan lebih dari 1 aksara tetapi salah satunya benar. #Correct Rejection (CR)= Jumlah aksara yang tidak dikenali karena tidak ada data dalam dataset.
ER
# FA# MD# DD 100% # Hit # MD# FA# CR # DD
(5)
ER = error rate (%) Tabel 4.2. Akurasi Dan Erorr Rate Citra Uji
Citra Uji
#MD
1
19
2
#FA
ER (%)
#CR
60
5
0
6
6.67
93.33
36
49
3
0
11
11.11
88.89
3
45
32
2
0
7
8.14
91.86
4
26
65
0
0
4
4.21
95.79
5
48
43
0
0
2
2.15
97.85
6
23
59
2
0
2
2.33
97.67
19
#HIT
Akurasi (%)
#DD
7
29
56
0
0
1
1.16
98.84
8
47
51
0
0
3
2.97
97.03
9
41
45
3
0
2
2.19
97.81
10
33
57
1
0
1
1.1
98.9
Hasil yang didapat pada Tabel 4.2 menunjukan kinerja sistem alih aksara Jawa menjadi huruf latin jauh dari target yang telah ditetapkan. Hal ini disebabkan oleh beberapa faktor seperti: 1. Kemiripan aksara Pada saat proses pengujian dijumpai satu aksara dialih aksarakan menjadi beberapa aksara atau aksara tersebut dialih aksarakan menjadi aksara lain. Hal ini disebabkan adanya kemiripan satu aksara dengan aksara yang lain atau hanya memiliki perbedaan pada sandhangan dan pasangan saja. Seperti pada Tabel 4.3.
Tabel 4.3.Kemiripan Aksara Citra Uji
Citra Dataset
Korelasi 0.632 0.641 0.593 0.58 0.591 0.57 0.576 0.572
20
0.576
2. Ukuran aksara Perbedaan ukuran aksara pada citra uji dengan dataset akan menghasilkan korelasi yang sangat rendah. Kecilnya nilai korelasi ini akan membuat citra yang diuji tidak akan terdeteksi oleh sistem. Gambar 4.1 akan dicari nilai korelasinya dengan aksara yang sama.
137×193 Gambar 4.2. Citra aksara tu Pada Tabel 4.4 akan disajikan hasil korelasi antara aksara tu dengan aksara tu yang mengalami perubahan ukuran. Tabel 4.4. Hasil korelasi aksara yang diperkecil Ukuran Korelasi
124×174 0.64
110×155 0.45
96×136 0.36
83×166 0.37
69×97 0.43
4.2.2. Aksara Cetak Sebagai pembanding, sistem alih aksara akan diuji menggunakan aksara Jawa cetak nglenggana. Huruf cetak aksara Jawa ini diperoleh dengan menggunakan software Pallawa. Huruf
untuk dataset berupa aksara Jawa
nglenggana berukuran 14. Pengujian dilakukan dengan cara membandingkan dengan citra uji yang memiliki ukuran huruf sama dan citra uji yang memiliki ukuran huruf yang berbeda.
21
Gambar 4.1. Citra aksara Jawa cetak ukuran 14
Gambar 4.3. Citra uji aksara Jawa cetak ukuran (a)12, (b)13, (c)15 dan (d)16. Percobaan cetak_1 merupakan percobaan menggunakan citra uji yang memiliki ukuran font 14. Hasil dari percobaan cetak_1 disajikan dalam Tabel 4.5.
22
Tabel 4.5. Hasil percobaan cetak_1 #FA #DD #CR #HIT
th
#MD
ER (%)
17
Akurasi (%) 85
0.7
0
0
3
0
0.8
0
0
2
0
18
90
10
0.9
0
0
0
0
20
100
0
15
Percobaan cetak_2 merupakan percobaan menggunakan citra uji yang memiliki ukuran font 13. Hasil dari percobaan cetak_1 disajikan dalam Tabel 4.6. Tabel 4.6. Hasil percobaan cetak_2 #FA #DD #CR #HIT
th
#MD
ER (%)
6
Akurasi (%) 30
0.6
1
1
11
0
0.7
4
3
0
0
13
65
35
0.75
17
0
0
0
3
15
85
70
Percobaan cetak_3 merupakan percobaan menggunakan citra uji yang memiliki ukuran font 12. Hasil dari percobaan cetak_1 disajikan dalam Tabel 4.7. Tabel 4.7. Hasil percobaan cetak_3 #FA #DD #CR #HIT
th
#MD
ER (%)
0
Akurasi (%) 0
0.45
0
16
4
0
0.5
2
15
3
0
1
5
95
0.55
8
8
1
0
3
15
75
100
Percobaan cetak_4 merupakan percobaan menggunakan citra uji yang memiliki ukuran font 15. Hasil dari percobaan cetak_4 disajikan dalam Tabel 4.8.
23
th
#MD
0.55 0.6 0.7
1 3 16
Tabel 4.8. Hasil percobaan cetak_4 #FA #DD #CR #HIT 1 5 3
15 5 0
0 0 0
3 7 1
Akurasi (%) 15 35 5
ER (%) 85 65 95
Percobaan cetak_5 merupakan percobaan menggunakan citra uji yang memiliki ukuran font 16. Hasil dari percobaan cetak_5 disajikan dalam Tabel 4.9.
th
#MD
0.53 0.55 0.6
3 5 11
Tabel 4.9. Hasil percobaan cetak_5 #FA #DD #CR #HIT 14 14 8
2 0 0
0 0 0
1 1 1
Akurasi (%) 5 5 0
ER (%) 95 95 100
Huruf cetak yang menggunakan ukuran aksara yang sama memiliki hasil yang lebih baik dari pada yang memiliki ukuran berbeda. Kesamaan ukuran akan menghasilkan nilai korelasi antara dataset dan aksara dalam citra uji yang tinggi. Pengubahan ukuran aksara yang dilakukan sangat mempengaruhi akurasi kebenaran sistem. Pengujian sistem untuk huruf cetak juga dilakukan untuk aksara ha yang diberi sandhangan. Aksara untuk citra uji maupun dataset memiliki besar yang sama yaitu berukuran 14 seperti pada gambar 4.2(a).
(a)
(b) Gambar 4.4. (a) Citra uji (b) hasil pengujian
24
Pada th sebesar 0,97 diperoleh hasil seperti yang ada pada Tabel 4.10.
th 0.93
Tabel 4.10.Hasil pengujian aksara ber-sandhangan #MD #FA #DD #CR #HIT Akurasi (%) 0 0 4 0 5 55.56
ER (%) 44.44
Aksara cetak tidak menghasilkan alih aksara yang baik ketika digunakan untuk mengalih aksarakan aksara yang memiliki sandhangan i, u, o dan h. Pada aksara ber-sandhangan tersebut terjadi pengalih aksaran ganda(#DD).
25
