Algoritma Restricted Boltzmann Machines (RBM) untuk Pengenalan Tulisan Tangan Angka

Seminar Nasional Teknologi Informatika, "The Future of Computer Vision", 2017, ISBN : 978-602-50006-0-7

Algoritma Restricted Boltzmann Machines (RBM) untuk Pengenalan Tulisan Tangan Angka Susilawati Universitas Medan Area [email protected]

Abstrak Pengenalan tulisan tangan angka telah dimanfaatkan secara luas untuk aplikasi yang memerlukan pemrosesan data tulisan tangan dengan jumlah yang besar seperti pengenalan alamat dan kode pos, interpretasi jumlah uang pada cek, analisis dokumen dan verifikasi tandatangan. Kasus pengenalan angka dalam jumlah besar membutuhkan pengenalan karakter dengan akurasi dan kecepatan tinggi. Banyak algoritma neural network yang dapat diimplementasikan untuk menyelesaikan permasalahan pengelanan pola seperti Restricted boltzmann machines (RBM). RBM merupakan algoritma pembelajaran jaringan syaraf tanpa pengawasan (unsupervised learning) yang hanya terdiri dari dua lapisan yang visible layer dan hidden layer. Penelitian ini membahas tentang pengenalan tulisan tangan angka dengan menggunakan algoritma RBM, dengan menggunakan dataset bencmark MNIST untuk pembelajaran dan pengujian. Terlihat bahwa tingkat keberhasilan untuk pengenalan tulisan tangan angka ditentukan oleh nilai Mean Square Error (MSE) yang kecil. Keywords— Pengenalan pola, Tulisan Tangan Angka, Algoritma Restricted Boltzmann Machines (RBM).

I. LATAR BELAKANG Artificial Neural Network (ANN) telah banyak dimanfaatkan sebagai solusi terhadap berbagai macam permasalahan yang sifatnya tidak tetap, yang sulit dipecahkan dengan menggunakan teknik pemrograman konvensional, diantaranya kasus pengenalan pola. Pengenalan pola tulisan tangan angka merupakan topik yang menarik dari pengenalan pola dan kecerdasan buatan (Liu Cheng-Lin,et all, 2004; Supriya Deshmukh, et all, 2009). Hal ini disebabkan oleh pengenalan tulisan tangan angka telah mendapatkan banyak perhatian

di bidang pengenalan pola karena penerapannya di berbagai bidang. Konversi karakter tulisan tangan angka sangat penting untuk membuat beberapa dokumen penting yang berkaitan dengan aktifitas manusia, ke dalam bentuk yang dapat dimanipulasi mesin sehingga dapat dengan mudah digunakan dan disimpan (Sampath Amritha, et all, 2012). Penelitian ini fokus pada pengenalan angka tulisan tangan (Handwritten Digit Recognition). Pengenalan angka tulisan tangan telah dimanfaatkan secara luas untuk aplikasi yang memerlukan pemrosesan data tulisan tangan dengan jumlah yang besar seperti, pengenalan

140


alamat dan kode pos, interpretasi jumlah uang pada cek, analisis dokumen dan verifikasi tandatangan. Kasus pengenalan angka dalam jumlah besar yang membutuhkan pengenalan karakter dengan akurasi dan kecepatan tinggi, terakhir ditemukan pada kasus formulir C1 Komisi Pemilihan Umum (KPU) pada Pemilihan Umum di Indonesia. Sebagai ujicoba database yang digunakan untuk penelitian ini adalah dataset MNIST. Dataset ini berisi referensi data tulisan tangan angka, yang terdiri dari 60000 data gambar untuk pelatihan dan 10000 data gambar untuk pengujian. Dataset ini dapat diimplementasikan untuk pengenalan angka tulisan tangan dengan menggunakan berbagai metode. B. El Kessab, et al, 2013, melakukan penelitian pengenalan angka tulisan tangan menggunakan jaringan saraf multilayer perceptron (MLP) dan metode ekstraksi ciri berdasarkan bentuk angka, Metode ini diuji pada database angka tulisan tangan MNIST dengan 60.000 gambar untuk pelatihan dan 10000 gambar untuk pengujian, dengan tingkat keberhasilan pengenalan mencapai sekitar 80% untuk identifikasi basis data MNIST. Penelitian ini menggunakan algoritma restricted boltzmann machine (RBM) neural network, yang merupakan metode stochastic neural network dengan arsitektur bersifat recurrent network. Penggunaan algoritma ini diharapkan dapat menghasilkan tingkat akurasi pengenalan angka tulisan tangan yang lebih baik, sekaligus mengetahui kinerja RBM untuk sistem pengenalan angka tulisan tangan. II. TINJAUAN PUSTAKA A. Pengenalan tulisan tangan angka Pengenalan tulisan tangan merupakan kemampuan komputer untuk menerima dan menafsirkan masukan tulisan tangan yang dimengerti dari suatu sumber seperti dokumen kertas, foto, layar sentuh dan perangkat lainnya. Tahapan umum yang dilakukan pada sistem pengenalan tulisan tangan terdiri dari (Cheriet et all, 2007) tahap pertama Data acquisition /pemerolehan data yaitu tahap pemerolehan data dari sensor (misal pada kamera) yang digunakan untuk menangkap objek dari dunia nyata dan selanjutnya diubah menjadi sinyal digital (sinyal

yang terdiri dari sekumpulan bilangan) melalui proses digitalisasi. Terdapat dua metode utama yang digunakan untuk pengenalan tulisan (yang biasa disebut recognition system), yaitu pengenalan tulisan secara offline dan online. Pada sistem pengenalan tulisan online, inputan tulisan bersifat temporer diperoleh secara langsung dari alat input digital. Pada sistem pengenalan tulisan secara offline, input tulisan diperoleh dari teks tulisan yang di-scan terlebih dahulu atau dari kamera. Tahap kedua Data preprocessin pemrosesan awal data yaitu informasi dari citra angka, noise dan kompleksitas diminimalisasi, ukuran dan bentuk huruf dinormalisasikan agar memudahkan untuk pemrosesan berikutnya. Tahap ketiga Feature extraction yaitu pada bagian ini dilakukan untuk mendapatkan karakteristik pembeda yang mewakili sifat utama dengan memisahkannya dari fitur yang tidak diperlukan, dan mengurangi kerumitan komputasi serta memungkinkan untuk meningkatkan akurasi. Tahapan terakhir adalah pengenalan data. Tahapan ini dilakukan proses pembelajaran data dan pengujian data untuk mengetahui tingkat keberhasilan algoritma pengenalan pola yang digunakan. B. Restricted Boltzmann Machine (RBM) Restricted Boltzmann Machine (RBM) merupakan aturan pembelajaran dengan menggunakan metode Boltzmann Machine (Hinton et all, 2010). RBM merupakan model generatif probabilistik yang mampu secara otomatis mengekstrak fitur input data dengan menggunakan algoritma pembelajaran tanpa pengawasan (Hinton, 2002; Smolensky, 1986). RBM menggunakan arsitektur jaringan berulang (recurrent network). Secara teknis, RBM merupakan jaringan saraf yang bersifat stochastic (jaringan saraf yang berarti memiliki unit neuron berupa aktivasi biner yang bergantung pada neuron-neuron yang saling terhubung, sedangkan stochastic berarti aktivasi yang memiliki unsur probabilistik) yang terdiri dari dua binary unit yaitu visible layer merupakan state yang akan diobservasi dan hidden layer merupakan feature detectors serta unit bias. Selanjutnya masingmasing visible unit terhubung ke semua hidden unit yang diwakili oleh array bobot, sehingga setiap hidden unit juga terhubung ke semua visible

141


unit dan unit bias terhubung ke semua visible unit dan semua hidden unit. Untuk memudahkan proses pembelajaran, jaringan dibatasi sehingga tidak ada visible unit terhubung ke visible unit lain dan hidden unit terhubung dengan hidden unit lainnya. Untuk melatih RBM, sampel dari training set yang digunakan sebagai masukan untuk RBM melalui neuron visible, dan kemudian jaringan sampel bolak-balik antara neuron visible dan hidden. Tujuan dari pelatihan adalah untuk ( pembelajaran koneksi bobot pada visible atau hidden dan bias aktivasi neuron sehingga RBM belajar untuk merekonstruksi data input selama fase di mana sampel neuron visible dari neuron hidden. Setiap proses sampling pada dasarnya berupa perkalian matriks-matriks antara sekumpulan sampel pelatihan dan matriks bobot, diikuti dengan fungsi aktivasi neuron, yaitu fungsi sigmoid (persamaan 2.12). Sampling antara lapisan hidden dan visible diikuti oleh modifikasi parameter (dikontrol oleh learning rate) Dan diulang untuk setiap kelompok data dalam training set, dan untuk state sebanyak yang diperlukan untuk mencapai konvergensi. bias

b

h1

h2

H à Layer Hidden

h3

W

bias

a

v1

v2

V à Layer Visible

Gambar 1. Arsitektur Rectricted Boltzmann Machine Network

Arsitektur neural network RBM dapat dilihat pada gambar 1 Jaringan ini terdiri atas 2 (dua) unit neuron pada lapisan visible unit (v1, v2,.., vn), 3 (tiga) neuron pada lapisan hidden unit (h1, h2, h3,.., hn) dan 1 (satu) neuron bias pada lapisan visible dan 1 (satu) neuron bias pada lapisan hidden. Konfigurasi unit visible (V) dan unit hidden (H) memiliki energi (Hopfiled, 1982) ditunjukkan pada persamaan berikut : (

)

∑

∑

∑

Di mana i (i = 1,2,3.., n)untuk mewakili jumlah dari visible neuron, j (j = 1,2,3,..,n) untuk

mewakili jumlah dari hidden neuron. Vi binari state dari visible unit i. Hi adalah binari state dari hidden unit j, ai adalah bias dari unit visible, bi adalah bias dari unit hidden dan Wij adalah bobot antara unit visible dan unit hidden. Unit hidden diinisialisasi dan diperbarui menggunakan persamaan berikut, di mana Hj dari setiap unit hidden j diatur satu dengan probabilitas: | )

(

∑

(2.2)

Di mana ( ) adalah fungsi sigmoid ( )

(

)

(2.3)

Unit visible diinisialisasi dan diperbarui menggunakan persamaan berikut, di mana Vi dari setiap unit hidden i diatur satu dengan probabilitas: | ) (2.4) ∑ ( ( ( )T C. Algoritma Restricted Boltzmann Machines Algoritma RBM sebagai berikut: a. Inisialisasi data 1. Inisialisasi bobot awal (weights) dan bias dengan nilai random yang kecil. 2. Tetapkan maksimum Epoch, dan Learning Rate (α) 3. Lakukan langkah di bawah ini selama (Epoch<MaksimumEpoch) 4. Lakukan langkah di bawah ini selama (datasampel<maksimumdatasampel) b. Positive phase (mengambil data dan sampel dari hidden unit) 1. Hitunglah energi aktivasi, probabilitas dan state dari unit hidden (i) dengan menggunakan persamaan 2.2 2. Hitung positif_assosiatif ( ) * P(Hj) (2.5)

(2.1) c.

Positif assosiatif diperoleh dari perkalian matriks data sampel yang ditranspose dari visible neuron dengan probabilitas yang dihasilkan dari langkah 5 Negative Phase (rekonstruksi visible unit dan data sampel dari hidden unit)

142


1.

2. 3.

Hitung energi aktivasi dan probabilitas dari unit visible (j) dengan menggunakan persamaan 2.4 Lakukan langkah 5 untuk update hidden unit Hitung negatif_assosiatif (

d.

) * P(Hj)

(2.6)

Negatif assosiatif diperoleh dari perkalian matriks data (probabilitas dari unit visible yang diperoleh dari langkah 7) yang ditranspose dengan probabilitas dari unit hidden yang dihasilkan dari langkah 8 Update parameter 2. Update bobot Wij = (2.7) Wij + Δwjk ΔWij = ε (Pos_Asso – Neg_Asso)

positif dan ouput pada pase negatif. Epoch diperlukan sebagai batasan untuk proses pembelajaran. Untuk tahap pembelajaran, parameter yang akan diuji adalah learning rate 0.01, 0.05, 0.09 dan momentum 0.5, 0.7, 0.9, dengan fungsi aktivasi sigmoid tangen serta pembatasan epoch sebanyak 100 epoch. Hasil pembelajaran dapat dilihat pada gambar 2 berikut ini :

(2.8)

Di mana ε adalah learning rate 3. Hitung error Error = (2.9) ∑ ( )2 Error dihitung dengan pengurangan Oi merupakan data sampel dan t i merupakan visibel probabiltas yang dihasilkan dari pase negatif pada langkah 7

III.HASIL DAN PEMBAHASAN a. Hasil Proses pembelajaran RBM merupakan pembelajaran tanpa pengawasan (unsupervised learning), artinya tidak ada target data saat proses pembelajaran dilakukan. Hasil pembelajaran akan berkelompok sesuai klasifikasi masing-masing data. Output aktual yang dihasilkan pada awal proses akan digunakan sebagai input pada proses berikutnya. Kesalahan (error) pada output jaringan diperoleh dari selisih antara output pada pase

Gambar 2. Pembelajaran I dengan (ε) =0.01, (m)=0.5, 0.7, 0.9

Gambar 3. Pembelajaran II dengan (ε) =0.05, (m)=0.5, 0.7, 0.9

Gambar 4. Pembelajaran II dengan (ε) =0.09, (m)=0.5, 0.7, 0.9

143


Hasil MSE dapat disimpulkan seperti pada tabel 1 berikut ini :

Learning Rate (ε)

Momentum (m)

Persentasi (%)

0.01

Tabel 1. Hasil MSE dari tahapan pembelajaran

Nilai MSE menaik seiring menaiknya jumlah epoch. Nilai MSE yang cenderung menurun hingga akhir epoch akan menghasilkan visualisasi klasifikasi tulisan tangan yang jelas. Hasil visualisasi klasifikasi angka tulisan tangan ini dapat dilihat lebih jelas pada bagian pembahasan di bab ini. Parameter learning rate dan momentum yang menghasilkan nilai MSE yang terkecil adalah learning 0.01 dengan momentum 0.9 dan learning 0.05 dengan momentum 0.5, 0.7. Visualisasi klasifikasi dataset dari pilihan nilai-nilai parameter tersebut menunjukkan hasil yang baik dan jelas. Nilai-nilai dari parameter ini akan digunakan untuk proses pengujian terhadap data pengujian MNIST untuk mengetahui tingkat persentase pengenalan data pengujian MNIST. Hasil pengujian bobot akhir dan persentase pengenalan data MNIST dapat dilihat pada gambar 5 dan table 2 berikut ini.

Gambar 5. Grafik persentase pengenalan dataset Tabel 2. Persentasi pengenalan dataset pengujian

0.9 91.92 0.5 91.31 0.05 0.7 93.42 Pada gambar 4 dan tabel 2 terlihat bahwa parameter learning rate 0.01 dengan momentum 0.9 berwarna biru memperoleh tingkat pengenalan sebesar 91.92%, sedangkan learning rate 0.05 dengan momentum 0.5 berwarna hitam memperoleh tingkat penganalan 91.31% serta learning rate 0.05 dengan momentum 0.7 memiliki kinerja yang paling tinggi, mampu mengenali dataset pengujian sebesar 93.42%. IV. PEMBAHASAN A. Data Yang Digunakan Penelitian ini meggunakan dataset MNIST dari UCI Machine learning repository (http://archive.ics.uci.edu/ml). Dataset MNIST dibangun oleh Institute National Standard Technologi (NIST). Dataset ini berisi tulisan tangan berupa angka dari 0 sampai 9 dalam bentuk file gambar. Data pelatihan NIST awalnya disusun dari kumpulan angka yang ditulis oleh pekerja sensus di Amerika Serikat, sedangkan data pengujiannya diperoleh dengan mengumpulkan data tulisan tangan siswa Sekolah Menengah Atas di Amerika Serikat. Perbedaan asal tulisan ini berakibat pada sulitnya mengklasifikasi tulisan yang digunakan untuk pengujian. Disebabkan alasan tersebut, dibentuklah organisasi yang bertugas mengabungkan kedua data tersebut menjadi satu kesatuan yang disebut dengan Modified Institute National Standar and Technology yang disingkat dengan MNIST (Le Cun et al., 1998). Dataset MNIST terdiri dari gambar tulisan tangan angka 0 sampai 9 dan dibagi dalam 60.000 contoh data pembelajaran dan 10.000 data untuk pengujian. Semua ukuran gambar angka telah ternormalisasi dan berpusat pada ukuran gambar yang tetap yakni 28 x 28 piksel. Dalam dataset MNIST setiap pixel gambar diwakili oleh nilai antara 0 dan 255, di mana 0 adalah hitam, 255 adalah putih, serta warna abu-abu hasil proses anti-aliasing saat penggabungan dataset. Berikut adalah tabel distribusi data pelatihan dan pengujian dataset MNIST.

144


Tabel 3. Distribusi Dataset MNIST

Magic number

Gambar = 60000

Baris = 28

Kolom = 28

28

28

Gambar 3 berikut merupakan visualisasi dataset MNIST sebanyak 600 sample data dari 60000 data tulisan tangan untuk pembelajaran. Gambar 3.6 merupakan visualisasi 600 sample data dari 10000 data tulisan tangan untuk pengujian. Dimana, data tersebut terdiri dari angka 0 sampai 9 dengan karakteristik yang berbedabeda, ada data yang tampak lebih tebal dan ada yang tampak lebih tipis selain itu ada pula data yang tampak dengan jelas dan ada yang tampak tidak jelas.

Gambar 6. Sample Data Pembelajaran 600 dari 60000 Tulisan Tangan

FORMAT FILE IMAGE MNIST - PEMBELAJARAN Magic number

Label = 60000

FORMAT FILE LABEL MNIST - PEMBELAJARAN

Gambar 8. Format file image dan file label Dataset MNIST

Setiap pixel gambar diwakili oleh nilai antara 0 sampai 255, di mana 0 adalah hitam, 255 adalah putih, serta warna keabuan dari piksel. Ukuran gambar terpusat pada 28 x 28 piksel. Dimana pembacaan piksel gambar dilakukan secara perbaris. Data pada masing-masing piksel selanjutnya dibagi dengan angka 255 untuk memperoleh bilangan real antara 0 sampai 1. Data real ini selanjutnya dijadikan data masukan pada pembelajaran RBM yang diwakilkan pada lapisan terlihat (visible layer), kemudian digunakan untuk menginisialisasi nilai pada node yang ada pada lapisan tersembunyi (hidden layer). Adapun tahapan pembacaan data tersebut dapat dilihat pada gambar 3.8 berikut.

0., 0., 0., 0., 0., ... 3., 18., 18., 18., 0., 0., 0., 0., 0., 170., 253., 253., ... 0., 0., 0., 0., 0.,

0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 126., 136., 175.,26., 166., 255., 247., 127., 0., 0., 0., 0., 0., 0., 0.,30.,36.,94., 154., 253., 253., 253., 225., 172., 253., 242., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.

Gambar 7. Sample Data Pengujian 600 dari 60000 Tulisan Tangan

Dan gambar 6 berikut merupakan bentuk format file image dan file label dari dataset MNIST. File image terdapat magic number yang digunakan untuk pengenal dari masing-masing file, gambar yang berisi 60000 gambar tulisan tangan angka dimana, gambar tersebut terpusat pada 28 kolom dan 28 baris pixel gambar serta pixel gambar yang dibaca perbaris. File label terdapat magic number dan label sebanyak 60000 serta label dari masing-masing data.

Konversi ke Real 0. s.d 1.

0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., ... 0.01176471, 0.07058824, 0.07058824, 0.07058824, 0.49411765, 0.53333333, 0.68627451, 0.10196078, 0.65098039, 1., 0.96862745, 0.49803922, 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.11764706, 0.14117647, 0.36862745, 0.60392157, 0.66666667, 0.99215686, 0.99215686, 0.99215686, 0.99215686, 0.99215686, 0.88235294, 0.6745098 , 0.99215686, 0.94901961, ... 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.

v0

v1

v2

h0

...

h1

v781

...

v782

v783

h9 RBM

Gambar 9. Langkah-langkah pembacaan data

145


B. Pembelajaran Proses pembelajaran dilakukan dengan menggunakan algoritma jaringan RBM tanpa menyertakan file label sebagai target. Untuk tahap pembelajaran, parameter yang akan diuji adalah learning rate 0.01, 0.05, 0.09 dan momentum 0.5, 0.7, 0.9, dengan fungsi aktivasi sigmoid dan pembatasan epoch sebanyak 100 epoch. Pembelajaran dilakukan dengan membangun jaringan RBM yang terdiri dari 784 neuron visible layer dan 10 neuron pada hidden layer. Jumlah neuron pada visible layer sebesar 784 neuron dihitung berdasarkan resolusi masing-masing angka dataset yakni 28x28, dan 10 neuron pada hidden layer berdasarkan jumlah klasifikasi angka 0 sampai 9.

h0

h1

Visible layer

v1

Dari tabel 3 terlihat bahwa untuk learning rate 0.01 dengan momentum 0.5 nilai MSE terkecil diperoleh pada epoch ke-72 sebesar 0.0493. Diikuti dengan momentum 0.7 pada epoch ke-95 sebesar 0.0494 dan momentum 0.9 pada epoch ke26 sebesar 0.0499.

h9 Hidden layer

v0

Tabel 3. Nilai MSE Learning Rate 0.01, Momentum 0.5, 0.7, 0.9

v2

v 783

2. Pembelajaran Tahap II Pada pembelajaran tahap kedua hasil nilai MSE yang diperoleh untuk nilai Learning Rate 0.05, momentum 0.5, 0.7, 0.9 dapat dilihat pada tabel 3.3 berikut ini. Tabel 4. Nilai MSE Learning Rate 0.05, Momentum 0.5, 0.7, 0.9

Dataset Pelatihan MNIST

Gambar 10. Arsitektur Jaringan RBM

1. Pembelajaran Tahap I Pada pembelajaran tahap pertama hasil nilai MSE yang diperoleh untuk nilai Learning Rate 0.01, momentum 0.5, 0.7, 0.9 dapat dilihat pada tabel 3 berikut ini.

Dari tabel 4 terlihat bahwa learning rate 0.05 dengan momentum 0.5 nilai MSE terkecil diperoleh pada epoch ke-12 sebesar 0.0491, sedangkan momentum 0.7 pada epoch ke-88 sebesar 0.0488 dan momentum 0.9 pada epoch ke5 sebesar0.0495.

146


3. Pembelajaran Tahap III Pada pembelajaran tahap ketiga hasil nilai MSE yang diperoleh untuk nilai Learning Rate 0.09, momentum 0.5, 0.7, 0.9 dapat dilihat pada tabel 5 berikut ini. Tabel 5. Nilai MSE Learning Rate 0.05, Momentum 0.5, 0.7, 0.9

Perhitungan Pengujian

h0

h1

Dataset Label Pengujian MNIST

h9 Hidden layer

Visible layer

v0

v1

v2

v 783

Dataset Pengujian MNIST

Gambar 11. Arsitektur Pengujian Dataset MNIST

Dari tabel 5 terlihat bahwa learning rate 0.09 dengan momentum 0.5 nilai MSE terkecil diperoleh pada epoch ke-8 sebesar 0.0485, sedangkan momentum 0.7 pada epoch ke-3 sebesar 0.0492 dan momentum 0.9 pada epoch ke47 sebesar 0.0512. V. PENGUJIAN Pengujian dilakukan dengan membangun jaringan RBM yang terdiri dari 784 neuron visible layer dan 10 neuron pada hidden layer, dengan arsitektur seperti terlihat pada gambar 3.9 Proses pengujian dilakukan dengan cara memasukkan nilai-nilai bobot akhir yang akan diuji ke dalam jaringan RBM, dilanjutkan dengan memberi masukan dataset pengujian sebanyak 10000 data angka tulisan tangan. Pada proses pengujian, jaringan RBM hanya memproses dari visible layer ke hidden layer (phase positif) saja. Hasil perhitungan pada hidden layer selanjutnya dihitung dan diklasifikasikan berdasarkan data label MNIST untuk memperoleh score pengenalan angka tulisan tangan.

Pengujian dilakukan dengan cara mengisi langsung semua variabel-variabel bobot pada jaringan RBM dengan nilai bobot terakhir dari proses pembelajaran yang telah disimpan sebelumnya. Pengambilan nilai-nilai bobot akhir dari file ini sangat menghemat waktu pembelajaran sehingga tidak diperlukan pembelajaran ulang jaringan. Pengujian dimulai dengan membaca file-file bobot setiap epoch untuk learning rate 0.01 dengan momentum 0.9. Hasil perhitungan pengenalan angka tulisan tangan setiap epoch disimpan untuk keperluan analisa selanjutnya. Pengujian yang sama dilanjutkan untuk learning rate 0.05 dengan momentum 0.5 dan 0.7. Hasil lengkap pengujian dapat dilihat pada tabel 6 dan 7. Isi tabel berupa jumlah data angka tulisan tangan yang cocok dibandingkan dengan label dataset pada data pengujian. Tabel 6. Nilai MSE Learning Rate 0.01, Momentum 0.9

147


Tabel 7. Nilai MSE Learning Rate 0.05, Momentum 0.5, 0.7 [10]

Extraction Model for Handwritten Alphabets Recognition Using Euler Number. International Journal of Soft Computing and Engineering2 (2) : 504-58 Smolensky. P (1986). Information processing in dynamical systems: Foundations of harmony theory, Parallel Distributed Processing, vol. 1, pp. 194–28.

VI. KESIMPULAN Penentuan nilai parameter learning rate, momentum dan fungsi aktivasi pada jaringan RBM sangat berpengaruh pada kinerja RBM, khususnya dalam menentukan nilai mean square error (MSE) dan persentase pengenalan dataset tulisan tangan angka MNIST. Dari hasil pembahasan terlihat bahwa learning rate 0.05 dengan momentum 0.7 memiliki kinerja yang paling tinggi, mampu mengenali dataset pengujian sebesar 93.42%. DAFTAR PUSTAKA [1]

[2]

[3]

[4] [5]

[6]

[7]

[8]

[9]

Amritha, Sampath., Tripti, C. & Govindaru, V. 2012. Freeman code based online handwritten character recognition for Malayalam using Back propagation neural networks. Advance computing: An international journal3 (4): pp. 51-58 C.-L. Liu, K. Nakashima, H. Sako, H. Fujisawa. 2004. Handwritten digit recognition: investigation of normalization and feature extraction techniques, Pattern Recognition, 37(2): 265-279 Deshmukh, Supriya. & Ragha, Leena. 2009. Analysis of Directional Features - Stroke and Contour for Handwritten Character Recognition. IEEE International Advance Computing Conference: pp.1114-1118 Hinton, Geoffrey. 2010. A Practical Guide to Training Restricted Boltzmann Machines. University of Toronto. Hinton. E. G, Osindero. S, dan Teh. W. Y (2006). A fast learning algorithm for deep belief nets. Neural Computation, 18(7):1527–1554. Hinton. E. G (2002). Training products of experts by minimizing contrastive divergence, Neural Computation, vol. 14, pp. 1771–1800. LeCun, Yann. & Corinna Cortes. 2010. The MNIST Database of Handwritten Digits. Web. . Salakhutdinov. R, dan Hinton. E. G (2008). Using deep belief nets to learn covariance kernels for Gaussian processes, Advances in Neural Information Processing Systems 20 (NIPS’07): pp. 1249–1256. Sharma, Om Prakash., Ghose M. K. & Shah, Krishna Bikram. 2012. An Improved Zone Based Hybrid Feature

148

Algoritma Restricted Boltzmann Machines (RBM) untuk Pengenalan Tulisan Tangan Angka

Recommend Documents