BAB 4 IMPLEMENTASI DAN EVALUASI SISTEM
4.1
Hasil Pengujian Pengenalan Kata Setelah dilakukan proses training Bahasa Indonesia, maka dilakukan pengujian pada handset Galaxy Tab 2 7.0. Hasilnya adalah sebagai berikut : Tabel 4.1 Tabel hasil pengujian
No
Kata
Penguji 1
Penguji 2
Penguji 3
Banyak
Banyak
Banyak
Banyak
Banyak
Banyak
Pengulangan
dikenali
Pengulangan
dikenali
Pengulangan
dikenali
Akurasi
1
Adik
3
3
4
3
2
2
91.7%
2
Apa
4
3
3
3
3
3
91.7%
3
Ayah
5
5
3
3
3
3
100%
4
Bibi
2
2
3
0
3
1
44.4%
5
Bola
2
0
2
0
3
0
0%
6
Delapan
3
2
3
3
4
3
80.5%
7
Dua
3
2
3
2
2
2
77.7%
8
Empat
4
3
4
4
3
3
91.7%
9
Enam
3
3
4
4
3
3
100%
10
Halo
2
0
3
0
3
0
0%
11
Ibu
2
2
3
0
3
1
41.6%
12
Kabar
2
0
4
1
3
0
8.3%
13
Kakak
4
0
4
0
3
0
0%
41
42 14
Lima
3
3
3
3
2
2
100%
15
Main
3
3
3
3
3
3
100%
16
Makan
3
3
3
2
3
3
88.8%
17
Malam
5
4
4
3
4
3
77%
18
Pagi
6
4
3
2
4
3
69.4%
19
Paman
2
2
5
5
3
3
100%
20
Satu
5
5
5
4
3
3
93%
21
Selamat
4
4
4
3
3
2
80.5%
22
Sembilan
8
5
5
3
4
3
65.8%
23
Siang
4
4
4
2
3
2
72.2%
24
Sore
3
3
4
3
3
3
91.7%
25
Tiga
2
2
3
2
3
3
88.8%
26
Tujuh
6
4
5
3
4
3
67.2%
Keterangan tabel : Jumlah kata : 26 Jumlah pengulangan : 268 Jumlah kata yang dikenali : 179 Akurasi Total : 70.07% Akurasi tiap kata didapatkan dari : Rata-rata dari akurasi dari Penguji 1, Penguji 2, dan Penguji 3. Akurasi total didapatkan dari : Akurasi tiap kata dijumlahkan, lalu dibagi oleh jumlah kata yaitu 26.
43 4.2
Kebutuhan Sistem Proses menjalankan program dan training ini menggunakan beberapa perangkat keras dan perangkat lunak, antara lain : 1. Perangkat Keras 1. Laptop dan PC 2. Microphone 3. Speaker 4. Konektor Handset ke PC dan laptop 5. Handset Galaxy Tab 2 7.0 dengan Operating System Android 4.0.4 6. Handset Galaxy Note 1
2. Perangkat Lunak 1. Operating System Windows XP dan Ubuntu LTS 12.04 2. Eclipse Classic Indigo 3.7.2 3. Android Software Development Kit Revisi 20.0.3 4. Android Development Tools versi 21.0.1 5. Android Native Development Kit versi revisi 8b 6. Sound Recorder 7. Pocketsphinx snapshot 8. Sphinxbase snapshot 9. An4 10. Sphinxtrain 1.0.7 11. Paint
44 4.3
Proses Training Suara Menggunakan Bahasa Indonesia Proses training suara dilakukan pada sistem operasi Ubuntu 12.04 LTS. Beberapa software yang dibutuhkan untuk melakukan proses training antara lain: 1. Python 2. Perl 3. Sphinxbase 4. Sphinxtrain 5. AN4 Selain software dibutuhkan juga beberapa file berformat txt yang digunakan untuk membuat kamus kata, kamus fonetik, dan juga file wav yang digunakan sebagai suara training.
4.3.1
Pembuatan Kamus, Kamus Fonetik, dan Beberapa file yang Diperlukan Sebelum memulai training, diperlukan beberapa file, antara lain : 1. Kamus kata Kamus kata terdiri kata-kata yang ingin di training.
45
Gambar 4.1 Kamus kata
2. Kamus Fonetik Kamus fonetik berisi daftar fonetik yang digunakan
46
Gambar 4.2 Kamus fonetik
3. File txt yang berisi daftar kalimat yang ingin di train
47
Gambar 4.3 Kalimat yang akan dilatih pada file wav
4. File languange model yang berisi n-gram dari kata kata yang akan di train
48
49
Gambar 4.4 File language model File language model biasa menggunakan ARPA format yang merupakan standar dalam penelitian speech recognition. File ini berisi daftar 1-gram, 2-gram, 3-gram bersamaan dengan nilai likelihood dan faktor back-off.
50
4.3.2
Membuat file dump File dump dihasilkan dari file lm dengan menggunakan syntax sphinx_lm_convert –i 6884.lm –o 6884.DMP.
Gambar 4.5 Proses pembuatan file DMP
51 4.3.3
Membuat file wav Membuat file wav sebanyak kalimat yang telah dibuat pada kalimat dengan ekstensi .txt.
4.3.4
Membuat file feat.params Feat.params merupakan file yang berisi parameter parameter yang digunakan dalam proses training.
Gambar 4.6 File feature parameters
4.3.5
Mengkonversi file wav Menjadi mfc
52
53
.
54
Gambar 4.7 Konversi file wav menjadi mfc
4.3.6
Proses Training awal
55
Gambar 4.8 Pemeriksaan data, file, kelengkapan fonetik dan kamus suara
4.3.7
Proses Hidden Markov Model
56
Gambar 4.9 Proses Hidden Markov Model
4.3.8
Proses Training CD-untied
Gambar 4.10 Proses training CD-untied
57
4.3.9
Proses Pembuatan Decision Tree untuk Parameter Sharing
58
Gambar 4.11 Proses pembuatan decision tree untuk parameter sharing
4.3.10 Proses Inisialisasi dan Training CD-tied Models
59
Gambar 4.12 Proses inisialisasi dan training CD-tied models 4.3.11 Proses Penghapusan Interpolasi
Gambar 4.13 Proses penghapusan interpolasi
60
4.4
Screenshot Layar
Gambar 4.14 Tampilan Splash Screen
61
Gambar 4.15 Tampilan layar input
62
Gambar 4.16 Tampilan program sedang mengenali suara
63
Gambar 4.17 Tampilan layar setelah suara dikenali
64 4.5
Evaluasi Segi Pengguna Evaluasi segi pengguna dilakukan pada sejumlah user yang telah menggunakan aplikasi speech recognition ini, dengan memberikan kuesioner evaluasi yang terdiri dari 6 pertanyaan kepada 50 responden, dimana responden merupakan mahasiswa Teknik Informatika. Hasil dari kuesioner evaluasi tersebut adalah sebagai berikut : 1. Apakah menurut Anda fitur yang disediakan sudah baik ?
Gambar 4.18 Diagram Pie kuesioner nomor 1
Tabel 4.2 Tabel kuesioner nomor 1 Kategori Jumlah Responden Persentase Responden Ya 45 90% Tidak 5 10% Total 50 100% Berdasarkan hasil evaluasi kuesioner nomor 1, sebagian besar responden menjawab sudah puas dengan fitur yang disediakan, yaitu dengan persentase 90%.
65
2. Apakah user interface (GUI) aplikasi ini sudah baik ?
Gambar 4.19 Diagram Pie kuesioner nomor 2
Tabel 4.3 Tabel kuesioner nomor 2 Kategori Ya Tidak Total
Jumlah Responden 40 10 50
Persentase Responden 80% 20% 100%
Berdasarkan hasil evaluasi kuesioner nomor 2, sebagian besar responden menjawab bahwa tampilan atau user interface dari aplikasi speech recognition ini sudah memiliki GUI yang baik, yaitu dengan persentase 80%.
3. Apakah sistem ini mudah untuk digunakan ?
66
Gambar 4.20 Diagram Pie kuesioner nomor 3
Tabel 4.4 Tabel kuesioner nomor 3 Kategori Ya Tidak Total
Jumlah Responden 50 0 50
Persentase Responden 100% 0% 100%
Berdasarkan hasil evaluasi kuesioner nomor 3, seluruh responden menjawab bahwa aplikasi speech recognition ini mudah untuk digunakan, yaitu dengan persentase 100%.
4. Apakah menurut Anda sistem speech recognition ini sudah akurat ?
67
Gambar 4.21 Diagram Pie kuesioner nomor 4
Tabel 4.5 Tabel kuesioner nomor 4 Kategori Ya Belum Tidak Total
Jumlah Responden 35 10 5 50
Persentase Responden 70% 20% 10% 100%
Berdasarkan hasil evaluasi kuesioner nomor 4, sebagian besar responden menjawab bahwa aplikasi speech recognition ini sudah akurat, yaitu dengan persentase responden 70%, atau dengan jumlah 35 responden dari 50 responden.
5. Apakah Anda merasa puas dengan keakuratan dari sistem aplikasi ini ?
68
Gambar 4.22 Diagram Pie kuesioner nomor 5
Tabel 4.6 Tabel kuesioner nomor 5 Kategori Ya Belum Tidak Total
Jumlah Responden 33 12 5 50
Persentase Responden 66% 24% 10% 100%
Berdasarkan hasil evaluasi kuesioner nomor 5, sebagian besar responden menjawab sudah puas dengan keakuratan yang dimiliki oleh aplikasi speech recognition ini, yaitu dengan persentase responden 66%, atau dengan jumlah 33 responden dari 50 responden.
6. Apakah aplikasi ini nantinya dapat diimplementasikan dan membantu kebutuhan user di masa yang akan datang ?
69
Gambar 4.23 Diagram Pie kuesioner nomor 6
Tabel 4.7 Tabel kuesioner nomor 6 Kategori Ya Tidak Total
Jumlah Responden 47 3 50
Persentase Responden 94% 6% 100%
Berdasarkan hasil evaluasi kuesioner nomor 6, sebagian besar responden menjawab bahwa aplikasi speech recognition ini dapat diimplementasikan dan membantu user untuk di masa yang akan datang, yaitu dengan persentase 94%. Oleh karena itu dapat disimpulkan bahwa aplikasi speech recognition ini dapat digunakan sebagai panduan untuk pengembangan dan penelitian lebih lanjut bagi peneliti berikutnya dan yang nantinya akan memberikan manfaat yang lebih optimal untuk para user di masa yang akan datang.
