Analisis Unjuk Kerja Pelatihan JST Backpropagation pada Pengenalan Tulisan Tangan Aksara Batak Toba Suriski Sitinjak 1, B. Yudi Dwiandiyanta 2, Ernawati 3 Program Studi Magister Teknik Informatika Universitas Atma Jaya Yogyakarta e-mail : 1
[email protected], 2
[email protected], 3
[email protected] Abstrak Aksara Batak Toba merupakan rumpun aksara Batak yang menjadi warisan kebudayaan Indonesia yang patut dilestarikan karena terancam punah akibat katerbatasan sumber data dan informasi. Melalui pemanfaatan perkembangan teknologi informasi khususnya di bidang pengenalan tulisan tangan, penelitian ini mengangkat pengenalan tulisan tangan aksara Batak Toba sebagai objek yang menarik dan tepat untuk diteliti. Pengenalan tulisan tangan aksara Batak Toba dilakukan menggunakan metode Wavelet untuk proses dekomposisi dan jaringan saraf tiruan Backpropagation dengan momentum untuk klasifikasinya. Akuisisi data dilakukan secara offline dimana inputan untuk sistem berupa citra huruf tulisan tangan aksara Batak Toba hasil capture menggunakan kamera digital dan diproses untuk diolah oleh sistem. Melalui penelitian ini dapat terlihat kinerja Backrpropagation dalam proses pembelajaran pada objek tulisan tangan. Dari pengujian diperoleh penggunaan momentum pada jaringan Backpropagation dapat mempercepat waktu proses pembelajaran dibandingkan pembelajaran tanpa faktor momentum, selain itu unjuk kerja yang dihasilkan juga lebih baik dengan nilai MSE yang mencapai 0.4519 dengan pengujian pada data yang sama. Hasil penelitian ini juga diharapkan mampu memberikan kontribusi untuk mensosialisasikan bentuk asli aksara Batak Toba dan memperkenalkan serta melestarikan warisan budaya aksara Batak Toba. Kata kunci : Aksara Batak Toba, pengenalan tulisan tangan, Backpropagation, momentum, Wavelet
1. Pendahuluan Aksara Batak Toba merupakan rumpun dari aksara Batak dan bagian dari aksara Nusantara yang menjadi warisan budaya bangsa Indonesia. Pada waktu lampau, aksara Batak Toba tidak digunakan untuk tujuan sehari-hari, melainkan salah satunya digunakan untuk menulis naskah “pustaha” yang sebagian besar berisi ilmu kedukunan dan mulai tahun 1852 dimusnahkan (Simatupang, 2006; Kozok, 2009; Kertasari dkk, 2009). Melalui pemanfaatan perkembangan teknologi informasi khususnya di bidang pengenalan tulisan tangan, penelitian ini
mengangkat pengenalan tulisan tangan aksara Batak Toba sebagai objek yang menarik dan tepat untuk diteliti. Pengenalan tulisan tangan memberi kontribusi besar bagi kemajuan proses otomatisasi dan selalu menjadi hal yang menarik untuk dilakukan, sebagai contoh : pengenalan tulisan tangan pada alat gadget seperti PDA atau pembacaan alamat pada kartu pos atau surat, data-data yang ditulis pada form tertentu yang kemudian dibaca oleh OCR (Optical Character Recognition) (Cheriet et all, 2007; Abu-Ain et all, 2011; Al-Alaoui et all, 2009; Leila dan Mohammed, 2007). Pengenalan tulisan tangan
merupakan salah satu aplikasi pengenalan pola yang cukup kompleks, baik dikarenakan tidak adanya fungsi matematika yang jelas untuk menghasilkan translasi, tidak memadainya basis pengetahuan akibat aturan-aturan yang sulit dirumuskan, serta keterlibatan data yang mengandung noise dan berjumlah cukup besar (Puspitaningrum, 2006). Permasalahan tersebut dapat diselesaikan dengan Jaringan Saraf Tiruan (JST). Metode Backpropagation merupakan salah satu metode JST yang sangat baik dalam menangani pengenalan pola-pola kompleks seperti permasalahan tersebut, sehingga sering dipilih untuk kasus pengenalan karakter (Puspitaningrum, 2006; Ismail et all, 2010; Park et all, 2008; Salameh dan Otair, 2008; Sarowar et all, 2009; Mathur et all, 2008). Penelitian ini bertujuan untuk mengimplementasikan metode Wavelet untuk transformasi dan ekstraksi ciri, serta melihat kinerja Backpropagation sebagai algoritma belajar yang diimplementasikan pada tulisan tangan aksara Batak Toba. Selain itu penelitian ini juga memberikan kontribusi dalam mensosialisasikan bentuk asli aksara Batak Toba dan melestarikan dan memperkenalkan aksara Batak Toba kepada masyarakat sebagai warisan budaya bangsa Indonesia. 2. Aksara Batak Toba Aksara Batak diklasifikasikan sebagai abugida, yaitu paduan antara silabogram (sistem tulisan dengan satuan dasar berupa konsonan yang diikuti oleh sebuah vokal) dan abjad. Aksara Batak Toba terdiri atas dua perangkat huruf, yaitu ina ni surat dan anak ni surat. Agar mudah untuk mengingatnya, urutan yang sering dipakai dalam bentuk kalimat “aha na rata bawa i mangalapa sada gaja” yang artinya “apa yang hijau lelaki itu memotong seekor gajah” (Kozok, 2009; Simatupang, 2006).
Gambar 1. Huruf-huruf Ina ni surat (Font tradisional)
Ina ni surat (ina = ibu) terdiri dari huruf-huruf silabik dasar yang diakhiri bunyi /a/ (kecuali untuk huruf i dan u, lihat gambar 1). Untuk anak ni surat, bunyi /a/ pada ina ni surat mengalami perubahan dengan menambah nilai fonetisnya. Pengubah ini disebut diakritik. Contoh diakritik dalam anak ni surat dan penggunaannya dapat dilihat pada gambar 2.
Gambar 2. Diakritik anak ni surat (Font tradisional)
3. Pengenalan Tulisan Tangan Tahapan umum yang dilakukan pada sistem pengenalan tulisan tangan terdiri dari (Cheriet et all, 2007; Fatta, 2009; Putra, 2010) : Akuisisi data
Pemrosesan awal
Ekstraksi fitur (ciri)
Algoritma pemilah/ klasifikasi
Gambar 3. Tahapan pengenalan tulisan tangan (Fatta, 2009)
1) Data acquisition / pemerolehan data Metode utama pemerolehan data yang digunakan untuk pengenalan tulisan (recognition system), yaitu pengenalan tulisan secara online, dimana inputan tulisan bersifat temporer diperoleh secara langsung dari alat input digital, contohnya dari mouse, mouse pen atau digital pen dan offline dimana input tulisan diperoleh dari teks tulisan yang di-scan terlebih dahulu atau dari kamera (Wu dan Yu, 2008; Amin dan AlDarwish, 2006).
2) Data preprocessing / pemrosesan awal data Citra huruf ditonjolkan, derau/noise dan kompleksitas ciri diminimaisasi, ukuran dan bentuk huruf dinormalisasikan. 3) Feature extraction / ekstraksi ciri Biasanya diikuti oleh prosedur reduksi dimensi citra. 4) Data recognition (classification) / pengenalan data (klasifikasi) Untuk mengelompokkan fitur ke dalam kelas yang sesuai dengan menggunakan algoritma klasifikasi tertentu.
citra dan kemudian pada tiap kolom. Dekomposisi tak standar diperoleh dengan mengkombinasikan pasangan transformasi baris dan transformasi kolom secara bergantian. Pada langkah pertama diterapkan transformasi Wavelet 1 dimensi pada baris, kemudian diterapkan alihragam Wavelet 1 dimensi pada kolom, proses tersebut diulang sesuai dengan level yang diinginkan.
4. Wavelet
Backpropagation merupakan JST multilayer yang terdiri dari tiga atau lebih lapisan jaringan, yaitu lapisan input (satu lapisan), lapisan tersembunyi (terdiri dari satu atau lebih lapisan) dan lapisan output (satu lapisan). Inti algoritma belajar Backpropagation terletak pada kemampuannya untuk mengubah nilai-nilai bobotnya untuk menanggapi adanya kesalahan (Santoso, 2000). Jumlah lapisan tersembunyi yang digunakan untuk pengenalan aksara Batak Toba ini ada dua buah (gambar 4), sehingga algoritma yang digunakan untuk pelatihan mengalami sedikit perubahan, yaitu penambahan langkah untuk mengolah nilai hasil pengolahan dari tiap unit di lapisan tersembunyi pertama dengan bobot-bobot antara lapisan tersembunyi pertama dan lapisan tersembunyi kedua, kemudian mengirim hasilnya ke tiap unit di lapisan tersembunyi kedua. Begitu juga pada tahap backward (umpan balik) untuk mencari nilai error dan koreksi bobot mengalami penambahan langkah.
Proses transformasi pada Wavelet dapat dicontohkan sebagai berikut. Citra yang semula ditransformasi dibagi (didekomposisi) menjadi empat sub-citra baru untuk menggantikannya. Setiap sub-citra berukuran ¼ kali dari citra asli. Tiga sub-citra pada posisi kanan atas, kanan bawah dan kiri bawah akan tampak seperti versi kasar dari citra asli karena berisi komponen frekuensi tinggi dari citra asli. Sedangkan untuk sub-citra pada posisi kiri atas tampak seperti citra asli dan lebih halus, karena berisi komponen frekuensi rendah dari citra asli. Sub-citra pada bagian kiri atas (frekuensi rendah) tersebut dibagi lagi menjadi empat sub-citra baru. Proses diulang sesuai dengan level transformasi yang diinginkan. Untuk lebih jelasnya ditunjukkan pada gambar 4. LL2
LH2
HL2
HH2
LH1
HL1
HH1
LH1, HL1, dan HH1 merupakan hasil dekomposisi level 1. LL2 tidak diperlihatkan pada gambar karena langsung didekomposisi lagi menjadi LL2, LH2, HL2 dan HH2
Gambar 4. Dekomposisi Citra (Santoso, 2011)
Pada citra 2 dimensi, terdapat dua cara untuk mentransformasi atau mendekomposisi nilai-nilai pikselnya, yaitu dekomposisi standar dan tak standar. Dekomposisi standar menggunakan transformasi Wavelet 1 dimensi pada tiap baris
5. Jaringan Saraf Backpropagation
Tiruan
(JST)
Gambar 4. Arsitektur JST Backpropagation yang digunakan
Fungsi Aktivasi Fungsi aktivasi yang dipakai dalam algoritma Backpropagation harus memenuhi beberapa syarat yaitu: kontinu, dapat didiferensiasi dan secara monoton tidak menurun. Salah satu fungsi aktivasi yang sesuai dan yang digunakan pada penelitian ini adalah fungsi sigmoid biner dengan range (0,1) dengan rumus (Santoso, 2000; Siang, 2009) : ( )= (1) (
)
dengan turunannya: ′( ) = (x)[1 − (x)]
(2)
Momentum Dalam peng-update-an nilai bobot dapat dilakukan dengan penambahan parameter momentum. Penambahan parameter momentum seringkali bisa mempercepat proses pelatihan. Jika parameter momentum digunakan maka persamaan-persamaan peng-update-an bobot dengan langkah pelatihan t, dan t+1 untuk langkah pelatihan selanjutnya mengalami modifikasi (Puspitaningrum, 2006; Siang, 2009). Algoritma Backpropagation yang digunakan untuk pelatihan adalah sebagai berikut. Langkah 0 : inisialisasi bobot Langkah 1 : selama kondisi berhenti salah, kerjakan langkah 2-11 Langkah 2 : untuk setiap pasangan data pelatihan, lakukan langkah 3-10
Feedforward : Langkah 3 : setiap unit input (Xi, i = 1,…,n) menerima sinyal masukan xi, dan mengirimkan ke semua unit lapisan tersembunyi pertama. Langkah 4 : hitung semua keluaran unit lapisan tersembunyi pertama (Zaj, j = 1,…,p) za_in = v + ∑ x v (3) za = f(za_in ) (4) Langkah 5 : hitung semua keluaran unit lapisan tersembunyi kedua (Zbk, k = 1,…,m) zb_in = w + ∑ za w (5) zb = f(zb_in ) (6) Langkah 6 : hitung semua keluaran unit lapisan output (Yl, l = 1,…,m) y_in = w + ∑ zb w (7) y = f(y_in ) (8) Kesalahan Backpropagation (tahap umpan balik): Langkah 7 : setiap unit keluaran (Yl, l = 1,…,m), menerima pola target yang berhubungan dengan pola pelatihan input, hitung informasi kesalahannya δ_out = (t − y )f (y_in ) (9) menghitung koreksi bobot : ∆w = α. δ_out . zb + μ (w (t) − w (t − 1)) (10) ∆w = αδ_out (11) Langkah 8 : setiap unit tersembunyi (Zbk, k=1,…,p) jumlahkan input delta δ_hid2_in = ∑ δ_out w (12) δ_hid2 = δ_hid2_in . zb . (1 − zb ) (13) menghitung koreksi bobot : ∆w = α . δ_hid2 . za + μ (w (t) − w (t − 1)) (14) ∆w = α . δ_hid2 (15) Langkah 9 : setiap unit tersembunyi (Zaj, j=1,…,p) jumlahkan input delta δ_hid1_in = ∑ δ_hid2 w (16) δ_hid1 = δ_hid1_in . za . (1 − za ) (17) menghitung koreksi bobot: ∆v = α. δ_hid1 . x + μ (v (t) − v (t − 1)) (18) ∆v = α. δ_hid1 (19)
Perbarui bobot dan bias : Langkah 10 : setiap unit keluaran (Yl, l=1,…,m) memperbarui bias dan bobot (j=0,…,p) : w (baru) = w (lama) + ∆w (20) Setiap unit tersembunyi (Zbk, k = 1, …, p) memperbaui bias dan bobot (i=0,…,n) w (baru) = w (lama) + ∆w (21) Setiap unit tersembunyi (Zaj, j=1,…,p) memperbaui bias dan bobot (i=0,…,n) v (baru) = v (lama) + ∆v (22) Langkah 11 : pengetesan kondisi berhenti. 6. Implementasi dan Pembahasan Akuisisi citra dilakukan secara offline, dimana citra diperoleh dengan meng-capture gambar tulisan tangan aksara Batak Toba yang ditulis di kertas, sehingga menjadi citra berukuran 256x256 piksel. Citra yang telah diakuisisi tersebut mengalami pra proses thresholding pengubahan citra sumber yang merupakan citra truecolor ke citra biner (citra hitam-putih) dan ditransformasi menggunakan Wavelet untuk ekstraksi ciri. Implementasi pemrosesan citra dilakukan dengan menggunakan bahasa pemrograman C# pada lingkungan pengembangan Visual Studio 2008. Setelah diperoleh hasil dekomposisi citra menjadi 8x8 piksel, selanjutnya data 8x8 piksel tersebut diubah menjadi vektor baris dan menjadi masukan untuk dilatih ke jaringan Backpropagation (tabel 1). Tabel 1. Contoh citra aksara Batak Toba karakter ‘a’ yang diubah menjadi vektor Citra input Citra hasil Diubah menjadi bentuk Wavelet (8x8 vektor (64 digit) piksel) 00000000 00000000 00001111 11011111 11110011 01100111 00000000 00000000 00000000 00000110 10001111 11011011 11110111 01111110 00000000 00000000
6.1. Implementasi Backpropagation
Algoritma
Arsitektur yang digunakan untuk JST Backpropagation dapat dilihat pada gambar 4. Fungsi transfer atau fungsi aktivasi yang digunakan adalah fungsi aktivasi sigmoid biner selama data inputan yang digunakan berupa bilangan biner, sehingga fungsi aktivasi ini cocok untuk digunakan. Jumlah node (unit) tiap lapisan : a. Lapisan input = 64 unit. Penentuan jumlah unit pada lapisan input sebanyak 64 didasarkan pada inputan untuk jaringan yang berupa vektor yang terdiri dari 64 buah angka biner yang berasal dari hasil dekomposisi citra menjadi 8x8 piksel yang dibaca sebagai matriks berukuran 8x8 yang kemudian diubah menjadi vektor (tabel 1). b. Lapisan tersembunyi pertama = 2 unit c. Lapisan tersembunyi kedua = 2 unit d. Lapisan output = 6 unit Jumlah unit sebanyak 6 node merupakan 6 digit yang digunakan untuk mewakili bentuk biner untuk tiap urutan karakter. Tabel 2. Output dan karakter yang diwakilinya
No 1 2 3 4 . . . 19
Output (6 node) 000001 000010 000011 000100 . . . 010011
Karakter a ha/ka na ra . . . u
Jumlah bobot yang terlibat : a. Bobot antara lapisan input dengan lapisan hidden 1 = 65 x 2 = 130 buah b. Bobot antara lapisan hidden 1 dengan lapisan hidden 2 = 3 x 2 = 6 buah c. Bobot antara lapisan hidden 2 dengan lapisan output = 3 x 6 = 18 buah
6.2. Hasil Implementasi Backpropagation Sampel data yang digunakan adalah delapan jenis pola sampel tulisan tangan untuk karakter ‘a’ aksara Batak Toba. Pelatihan algoritma Backpropagation dilakukan secara berkelompok. Setiap pola (vektor input) digabung menjadi sebuah matriks inputan bagi jaringan. Begitu pula dengan vektor target untuk setiap pola dijadikan sebuah matriks target. Pada tabel 3 ditunjukkan perbedaan antara pelatihan dengan dan tanpa menggunakan faktor momentum, juga penggunaan laju belajar adaptif. Pengujian kinerja Backpropagation dilakukan dengan melihat beberapa parameter, yaitu waktu proses pelatihan, jumlah epoch yang dicapai (dengan maksimum epoch ditentukan sebesar 1000 epoch) dan nilai performansi yang dilihat dari nilai MSE (Mean Square Error).
Tabel 3. Hasil Pelatihan Pola Huruf dengan Beberapa Parameter No.
Parameter Pelatihan
1
Tanpa Penambahan Parameter Laju Belajar Adaptif Faktor Momentum Faktor Momentum & Laju Belajar Adaptive
2 3 4
Waktu Proses (detik) 223
Epoch
1000
Perform ance (MSE) 0.5665
26 7 4
502 1000 503
0.5148 0.4519 0.4465
Pengujian pelatihan algoritma Backpropagation dilakukan menggunakan data yang sama. Pada pengujian terlihat bahwa pelatihan yang dilakukan dengan algoritma Backpropagation tanpa menggunakan parameter tambahan (metode penurunan gradient biasa) sangat lambat dalam kecepatan proses iterasinya, yaitu membutuhkan waktu 223 detik untuk mencapai maksimum epoch yang ditetapkan (1000 epoch) dengan nilai performansi 0.5665 . Pelatihan algoritma Backrpopagation yang menggunakan laju belajar adaptif dapat mempercepat pelatihan karena laju belajar dapat diubah-ubah nilainya selama proses pelatihan. Apabila error sekarang lebih besar dibandingkan
error sebelumnya, maka laju belajar diturunkan dan sebaliknya. Pada tabel 3 terlihat bahwa penggunaan laju belajar adaptif dapat mencapai kestabilan sebelum maksimum epoch tercapai (lihat kolom 2 dan 4). Sedangkan penambahan faktor momentum dapat membuat waktu proses pembelajaran menjadi sangat cepat 7 detik dan 4 detik (kolom 3 dan 4). Penggabungan antara penambahan faktor momentum dan laju belajar adaptif dapat membuat kinerja jaringan menjadi lebih baik (kolom 4), yaitu mencapai kestabilan sebelum maksimum epoch tercapai dan waktu proses 4 detik, serta nilai MSE yang kecil. 7. Kesimpulan Mendatang
dan
Rencana
Penelitian
Penggunaan faktor momentum pada jaringan Backpropagation sangat berpengaruh pada tingkat kecepatan proses pelatihan. Jaringan dengan penambahan faktor momentum dapat membuat waktu proses menjadi lebih cepat. Berdasarkan pengujian pada data yang sama, bisa mencapai 30 kali lebih cepat dibandingkan tanpa momentum. Penggabungan penerapan faktor momentum dan laju belajar yang adaptif juga dapat memaksimalkan kinerja algoritma Backpropagation. Penelitian mendatang dilakukan dengan penambahan pola pelatihan untuk semua karakter beserta pengujian jaringan, serta dilakukan pengujian terhadap parameter lainnya yang dapat digunakan untuk mengetahui kinerja Backpropagation. REFERENSI Al-Alaoui, M.A., Harb, M.A.A., Chahine, Z.A., Yaacoub, E., 2009, A New Approach for Arabic Offline Handwriting Recognition, IEEE Multidisciplinary Engineering Education Magazine, Vol. 4, No. 3. Abu-Ain, T.H.A., Abu-Ain, W.A.H., Abdullah, S.N.H.S., Omar, K., 2011, Off-line Arabic Character-Based Writer Identification – A Survey, Proceeding of
the International Conference on Advanced Science, Engineering and Information Technology, ISBN 978-98342366-4-9. Amin, A. dan Al-Darwish, N., 2006, Structural Description To Recognizing HandPrinted Arabic Characters Using Decision Tree Learning Techniques, International Journal of Computers and Applications, Vol. 28, No. 2, pg.129-134. Cheriet, M., Kharma, N., Liu, CH., Suen, C.Y., 2007, Character Recognition Systems - A Guide for Students and Practioners, John Wiley and Sons. Fatta, Hanif al, 2009, Rekayasa Sistem Pengenalan Wajah, Penerbit Andi, Yogyakarta. Ismail, I.A, Ramadan, M.A., El-Danaf, T.S., Samak, A.H., 2010, An Efficient Off-line Signature Identification Method Based On Fourier Descriptor and Chain Codes, IJCSNS International Journal of Computer Science and Network Security, VOL.10 No.5, pg.29-35. Kertasari, N. D.C., Haswanto, N., Sunarto, P., 2009, Tipografi Adaptasi Karakter Aksara Batak Toba Dalam Huruf Latin. Kozok, Uli, 2009, Surat Batak - Sejarah Perkembangan Tulisan Batak Berikut Pedoman Menulis Aksara Batak dan Cap Si Singamangaraja XII, Kepustakaan Populer Gramedia. Leila, C. dan Mohammed, B., 2007, Art Network for Arabic Handwrittren Recognition System, Department of Computer Sciences - University Larbi Ben Mhidi and Department of Computer Sciences University Mentouri, Constantine. Mathur, S., Aggarwal, V., Joshi, H. dan Ahlawat, A., 2008, Offline Handwriting Recognition Using Genetic Algorithm, Sixth International Conference on Information Research and Applications – i.Tech, pg.21-27. Park, Sang Sung, Jung, Won Gyo, Shin, Young Geun, Jang, Dong-Sik, 2008, Optical
Character Recognition System Using BP Algorithm, IJCSNS International Journal of Computer Science and Network Security, VOL.8 No.12,pg. 118-124. Puspitaningrum, Diyah, 2006, Pengantar Jaringan Saraf Tiruan, Penerbit Andi, Yogyakarta. Putra, Darma, 2010, Pengolahan Citra Digital, Penerbit Andi, Yogyakarta. Salameh, W.A. dan Otair, M.A., 2008, Online Handwritten Character Recognition Using an Optical Backpropagation Neural Network, Issues in Informing Science and Information Technology, pg.787-795. Santoso, Alb. Joko, 2000, Jaringan Saraf Tiruan Teori, Arsitektur dan Algoritma, Penerbit Andi Offset, Yogyakarta. Santoso, Alb. Joko, 2011, Wavelet, Diktat Kuliah Pengolahan Citra, Magister Teknik Informatika, Universitas Atma Jaya Yogyakarta. Sarowar, G., Naser, M.A., Nizamuddin, S.M., Hamid, N.I.B. dan Mahmud, A., 2009, Enhancing Bengali character recognition process applying heuristics on Neural Network, IJCSNS International Journal of Computer Science and Network Security, VOL.9 No.6, 154-158.Siang, Jong Jek, 2009, Jaringan Syaraf Tiruan & Pemrograman Menggunakan MATLAB, Penerbit Andi, Yogyakarta. Siang, Jong Jek, 2009, Jaringan Syaraf Tiruan & Pemrograman Menggunakan MATLAB, Penerbit Andi, Yogyakarta. Simatupang, S., 2006, Koreksi atas Penulisan Aksara Batak Toba. Wu, Y. dan Yu, L., 2008, Touchless Writer: Object Tracking & Neural Network Recognition, The Milton W. Holcombe Department of Electrical and Computer Engineering Clemson University, Clemson.
