BAB 4 IMPLEMENTASI DAN EVALUASI
Dalam bab ini dilakukan penelitian yang sebenarnya dengan membuat account baru dan melakukan pelatihan data – data dengan menggunakan jaringan syaraf tiruan pada program Microsoft Visual Basic. Penelitian dilakukan dengan mencatat perubahan dan hasil yang dicapai oleh pelatihan tersebut. Setelah proses pelatihan selesai maka akan dilakukan proses pengujian pengenalan suara.
4.1
Implementasi Pelatihan Jaringan Syaraf Tiruan Hal yang pertama kali dilakukan dalam pengujian program sistem pengenalan suara adalah membuat data sampel suara yang akan dibandingkan. Program sistem pengenalan suara ini memiliki tombol untuk menjalankan simulator login maupun control panel, seperti yang terlihat pada gambar 4.1.
Gambar 4.1 Tampilan Program Awal
52
53 Data sampel dibuat dengan melakukan pendaftaran suara. Proses pendaftaran suara dilakukan untuk memberikan informasi pengguna maupun template suara yang akan dijadikan acuan pada proses login. Untuk melakukan proses tersebut, pengguna dapat memasuki control panel dan menkan tombol add pada Account Management untuk memunculkan form add user.
Gambar 4.2 Admin control panel
Gambar 4.3 Tampilan pendaftaran suara Dengan menekan tombol record maka sistem akan memeriksa validitas ID yang dimasukkan. Pemeriksaan keberadaan ID dalam basis data berkaitan dengan
54 batasan program untuk menerima maksimum lima pengguna dengan maksimum lima data suara. Penolakan diberikan oleh sistem jika pengguna memasukkan ID baru yang dimana sudah terdapat lima ID yang berbeda dalam basis data atau telah terdapat lima template untuk ID yang dimasukkan. Jika ID yang dinyatakan valid maka sistem akan memberikan konfirmasi berupa kotak dialog untuk mempersiapkan proses perekaman suara.
Gambar 4.4 Kotak Dialog Konfirmasi Persiapan Perekaman Konfirmasi persiapan proses perekaman ditujukan untuk memberikan kesempatan kepada pengguna agar mempersiapkan proses perekaman dengan baik, sehingga hasil yang diperoleh dapat sesuai dengan harapan. Dengan menekan tombol OK, maka proses perekaman akan dilakukan. Setelah perekaman suara selesai dilakukan, sistem akan memberikan kotak konfirmasi untuk mendegarkan suara yang telah direkam.
Gambar 4.5 Kotak Konfirmasi Proses Pemutara Perekaman Suara
55 Pemutaran perekaman suara dilakukan untuk memberi kesempatan kepada pengguna dalam mengevaluasi rekaman suaranya untuk mengetahui apakah perlu dilakukan perekaman ulang atau tidak. Hasil perekaman yang dinilai kurang baik dapat diabaikan dengan melakukan proses perekaman ulang untuk mendapatkan rekaman yang lebih baik. Pengguna dapat memilih tombol YES untuk perekaman ulang pada kotak konfirmasi pengulangan proses perekaman.
Gambar 4.6 Kotak Konfirmasi Pengulangan Proses Perekaman Jika pengguna menekan tombol NO pada kotak konfirmasi pengulangan proses perekaman, sistem akan melakukan proses ekstraksi fitur dan menyimpannya dalam basis data. Setelah proses transformasi selesai dilakukan, sistem secara otomatis akan menutup form add user dan kembali ke control panel. Proses perekaman suara untuk pelatihan jaringan backpropagation dilakukan dengan membuat dua ID dengan masing – masing lima data sampel suara. Jumlah epoh dalam pelatihan jaringan syaraf tiruan ini akan dipengaruhi oleh MSE, dimana jumlah epoh akan didapat setelah MSE memenuhi target. Untuk pembuatan account baru, operation mode yang digunakan adalah learning dan bobot yang digunakan adalah bobot yang baru, sedangkan akurasi yang digunakan pada pelatihan dapat diatur dari 70% sampai dengan 99%.
56
Gambar 4.7 Hasil proses pelatihan
4.2
Implementasi Pengujian Jaringan Syaraf Tiruan Pengujian akan dilakukan dalam proses login. Proses login digunakan pada saat pengguna hendak memasuki sistem. Dalam proses tersebut, sistem memeriksa keabsahan informasi yang diberikan pengguna. Sebuah ID dan suara pengguna diperlukan dalam pengujian ini. Jika ID dinyatakan valid, maka sistem meminta pengguna untuk memberikan suaranya dalam proses perekaman. Hasil yang didapat dari perekaman suara pengguna akan digunakan sebagai input jaringan syaraf tiruan untuk pengenalan pola. Hasil output JST akan dibandingkan dengan target basis data sesuai dengan ID yang dimasukkan. Pola dianggap sesuai jika seluruh hasil output memiliki perbedaan lebih kecil dari ( 100 – tingkat akurasi )% terhadap target, sedangkan jika perbedaan output terhadap target lebih besar dari ( 100 – tingkat akurasi )%, maka sistem akan menyimpulkan bahwa
57 suara yang diberikan pada proses login bukan merupakan suara pengguna sebenarnya dari pemilik ID. Secara umum, hasil yang dicapai dari proses login adalah penerimaan atau penolakan terhadap pengguna yang melakukan vrifikasi. Pengujian terhadap sistem pengenalan suara ini akan dilakukan dengan dua akurasi yang berbeda, yaitu 80% dan 90%. Penggunaan akurasi yang berbeda ditujukan untuk mencari hasil pengenalan suara mana yang akan lebih akurat dan untuk mencari akurasi mana yang lebih baik untuk menghindari pengenalan suara yang tidak sesuai dengan data account.
Gambar 4.8 Sampel Suara pada data account
Gambar 4.9 Entropi Sampel Suara Hasil pengujian dari 10 kali masukan suara dengan menggunakan akurasi 80% adalah sebagai berikut :
58 Tabel 4.1 Perbandingan antara input suara yang sesuai dengan data account No. Tes 1
2
3
4
5
Desired Level 0 1 1 0 1 1 0 1 1 0 1 1 0 1 1
Hasil Neural Network
Difference
0.0066078 0.9998563 0.8207111 0.0064398 0.9997985 0.8551127 0.0002879 0.9141651 0.9967608 0.0006867 0.7850828 0.9976181 0.0057213 0.999762 0.8421501
0.0066078 0.0001437 0.1792889 0.0064398 0.0002015 0.1448873 0.0002879 0.0858349 0.0032392 0.0006867 0.2149172 0.0023819 0.0057213 0.000238 0.1578499
Gambar 4.10 Contoh Pengenalan Suara “Identified”
Hasil Identified
Identified
Identified
Unidentified
Identified
59 Tabel 4.2 Perbandingan antara input suara yang tidak sesuai dengan data account No. Tes 1
2
3
4
5
Desired Level 0 1 1 0 1 1 0 1 1 0 1 1 0 1 1
Hasil Neural Network
Difference
0.0001027 0.0027364 0.999965 0.0012836 0.9802754 0.998417 0.0000307 0.000022 0.9999955 0.0002024 0.0353013 0.9999138 0.0000339 0.0000517 0.9999906
0.0001027 0.9972636 0.000035 0.0012836 0.0197246 0.001583 0.0000307 0.999978 0.0000045 0.0002024 0.9646987 0.0000862 0.0000339 0.9999483 0.0000094
Gambar 4.11 Contoh pengenalan suara “Unidentified”
Hasil Unidentified
Identified
Unidentified
Unidentified
Unidentified
60 Gambar 4.10 dan gambar 4.11 adalah contoh hasil dari pengujian yang dilakukan pada menu Login, gambar 4.10 adalah hasil pengenalan suara yang sesuai dengan data suara pada account, sedangkan gambar 4.11 adalah hasil pengenalan suara yang tidak dapat dikenali ( unidentified ). Hasil pengenalan suara yang identified dan unidentified dapat disebabkan oleh dua hal,yaitu akurasi yang digunakan pada pelatihan dan input suara yang tidak sesuai atau tidak sesuai dengan data account. Hasil pengujian dari 5 kali percobaan dengan menggunakan akurasi 80% untuk masukan suara dengan noise adalah sebagai berikut: Table 4.3 Hasil pengujian input suara dengan noise No. Tes 1
2
3
4
5
Desired Level 0 1 1 0 1 1 0 1 1 0 1 1 0 1 1
Hasil Neural Network
Difference
0.0000835 0.9999969 0.0002208 0.0000439 0.6681137 0.9008973 0.0000296 0.0003353 0.9999594 0.0000355 0.5599078 0.9018773 0.00009 0.999945 0.0027465
0.0000835 0.0000031 0.9997792 0.0000439 0.3318863 0.0991027 0.0000296 0.9996647 0.0000406 0.0000355 0.4400922 0.0981227 0.00009 0.000055 0.9972535
Hasil Unidentified
Unidentified
Unidentified
Unidentified
Unidentified
Hasil pengujian dari 10 kali percobaan dengan menggunakan akurasi 90% dapat dilihat pada tabel berikut :
61 Tabel 4.4 Perbandingan antara input suara yang sesuai dengan data account No. Tes 1
2
3
4
5
Desired Level 0 1 0 0 1 0 0 1 0 0 1 0 0 1 0
Hasil Neural Network
Difference
0.0010736 0.9999789 0.088446 0.0006108 0.9999878 0.0171799 0.0004792 0.9999984 0.0015919 0.0005329 0.9999993 0.0006797 0.0005408 0.9999989 0.0010425
0.0010736 0.0000211 0.088446 0.0006108 0.0000122 0.0171799 0.0004792 0.0000016 0.0015919 0.0005329 0.0000007 0.0006797 0.0005408 0.0000011 0.0010425
Hasil Identified
Identified
Identified
Identified
Identified
Tabel 4.5 Perbandingan antara input suara yang tidak sesuai dengan data account No. Tes 1
2
3
4
5
Desired Level 0 1 0 0 1 0 0 1 0 0 1 0 0 1 0
Hasil Neural Network
Difference
0.0001084 0.000858 0.9999737 0.0000544 0.0001217 0.9999923 0.0006914 0.9991441 0.7159262 0.0000059 0 0.9999999 0.0000247 0.000005 0.9999991
0.0001084 0.999142 0.9999737 0.0000544 0.9998783 0.9999923 0.0006914 0.0008559 0.7159262 0.0000059 1 0.9999999 0.0000247 0.999995 0.9999991
Hasil Unidentified
Unidentified
Unidentified
Unidentified
Unidentified
Hasil pengujian dari 5 kali percobaan dengan menggunakan akurasi 90% untuk masukan suara dengan noise adalah sebagai berikut :
62 Tabel 4.6 Hasil pengujian input suara dengan noise No. Tes 1
2
3
4
5
4.3
Desired Level 0 1 0 0 1 0 0 1 0 0 1 0 0 1 0
Hasil Neural Network
Difference
0.0001502 0.0154309 0.9997936 0.0000183 0.0000018 0.9999984 0.0005341 0.9994422 0.2788709 0.0001878 0.0094145 0.9999322 0.0001056 0.9991728 0.0500207
0.0001502 0.9845691 0.9997936 0.0000183 0.9999982 0.9999994 0.0005341 0.0005578 0.2788709 0.0001878 0.9905855 0.9999322 0.0001056 0.0008272 0.0500207
Hasil Unidentified
Unidentified
Unidentified
Unidentified
Identified
Evaluasi Sitem Dari hasil pengujian yang dilakukan dengan memasukkan suara pada menu login sebanyak 30 kali, dapat disimpulkan pelatihan jaringan dengan akurasi 90% memberikan hasil yang lebih baik daripada pelatihan dengan akurasi 80%. Hal ini dapat dilihat pada tabel 4.2 percobaan kedua, dimana suara pengguna yang tidak sesuai dengan data ID masih dapat dikenali. Dari hasil pengujian 5 kali masukkan suara dengan noise pada akurasi 80%, disimpulkan bahwa masukkan suara 100% tidak dapat dikenali, sedangkan pada akurasi 90%, tingkat keberhasilan pengenalan suara dengan noise hanya 20%. Sistem pengenalan suara ini masih memiliki kelemahan. Kelemahan pada sistem ini dipengaruhi oleh kondisi lingkungan, pengaturan audio dan hardware ( sound card dan mikrofon ) pada saat perekaman suara. Kondisi lingkungan yang dimaksud adalah lingkungan yang tenang dan lingkungan yang bising, perbedaan
63 kondisi lingkungan pada saat proses pendaftaran suara dan pada saat login akan menghasilkan fitur yang berbeda. Pengaturan audio yang berubah – ubah pada saat perekaman akan mengubah pola sinyal suara yang direkam. Produk hardware yang digunakan tersedia dalam berbagai merk dan jenis. Penggantian hardware baru dapat mengakibatkan perbedaan spesifikasi dalam kemampuan perekaman. Secara umum, administrator sistem harus menjaga standarisasi dari ketiga faktor tersebut pada saat pendaftaran suara dan pada saat pengenalan suara. Hal ini diperlukan agar suara yang direkam oleh komputer memiliki pola yang stabil pada setiap perekaman.
