JETC, Volume 4, Nomor 2, Jun 2010
OPTIMALISASI ARSITEKTUR PROPAGASI BALIK PADA PELATIHAN JARINGAN SYARAF TIRUAN LAPIS BANYAK M. Ma’ruf Idris Jurusan Teknik Elektronika Fakultas Teknik Universitas Negeri Makassar
ABSTRAK Algoritma umum metode propagasi balik dalam jaringan syaraf tiruan memiliki beberapa kelemahan iterasi mundur, karena itu dalam penelitian ini dilakukan perbaikan metode propagasi balik. Kelemahan tersebut bisa diperbaiki dengan memberikan parameter momentum (α) yang mengintegrasikan dirinya ke dalam persamaan umum sebagai learning term. Parameter momentum dan laju belajar pada bagian koreksi bobot diintegrasikan bersamaan. Persamaan hasil perbaikan adalah sebuah persamaan umum yang dijumlahkan dengan faktor koreksi bobot –η(1-α) ∆wn + α ∆wn – 1. Namun kecepatan iterasi dari persamaan perbaikan metode propagasi balik lebih tinggi minimal 50,6% dari pada persamaan hasil pengembangan terakhir (advanced propagasi balik) pada tingkat ralat 0,01. Hal ini disebabkan efisiensi perbaikan bobot yang sangat tinggi. Aktivasi bobot pada metode propagasi balik berbasis momentum term dan metode propagasi balik hasil perbaikan memberikan hasil yang tidak signifikan, karena kedua metode tersebut memiliki dasar perhitungan numerik yang sama. Kata Kunci : propagasi balik, ralat, konvergensi, kinerja, bobot
baca.
I. PENDAHULUAN Dalam
perkembangan
perangkat lunak dan perangkat keras,
kecerdasan buatan berkembang sangat
teknik analisis jaringan syaraf tiruan
pesat. Jaringan syaraf tiruan merupakan
membutuhkan terobosan teoritis untuk
salah
mendukung
mempercepat kinerja jaringan yang selama
buatan,
ini terasa menjadi kendala. Sebagian besar
ilmu
perkembangan bermacam
tahun
dengan
terakhir,
satu
sepuluh
Sejalan
yang
kecerdasan
macam
aplikasi
berbasis
aplikasi
yang
telah
dikembangkan
jaringan syaraf tiruan telah dikembangkan
menggunakan jaringan syaraf tiruan umpan
di berbagai bidang. Misalnya dalam bidang
maju
teknologi telah dibuat sistem pengenalan
menggunakan metode propagasi balik.
suara yang telah berhasil mengindentifikasi
dengan
Tujuan
pembobot
penelitian
dikoreksi
ini
adalah
ucapan hingga 98%, demikian pula halnya
memperbaiki
metode
propagasi
dengan
konvensional
supaya
kinerja
pengenalan
dikembangkan
telah
telah
jaringan
berhasil
syaraf tiruan feedforward propagasi balik
mengidentifikasi tulisan tangan dan tanda
meningkat. Peningkatan kinerja jaringan
692
dan
karakter
balik
Optimalisasi Arsitektur Propagasi Balik Pada Pelatihan Jaringan Syaraf Tiruan Lapis Banyak M. Ma’ruf Idris
syaraf sangat dibutuhkan untuk memenuhi
pelatihan yang spesifik sehingga jaringan
kebutuhan komputasi aplikasi kecerdasan
syaraf tiruan secara teori akan mudah
buatan yang semakin kompleks, apalagi
mengklasifikasi pola-pola yang dilatihkan.
perkembangan perangkat
peningkatan keras
kecepatan
belum
cukup
II. KAJIAN PUSTAKA
mengimbangi perkembangan masalah yang
A.
harus diselesaikan. Perbaikan arsitektur
Forward.
propagasi
balik
mengkoreksi
dilakukan
persamaan
kenyataannya
Syaraf
Tiruan
Feed
dengan
Secara biologis gambar di atas
Pada
menyerupai bangun sel yang sebenarnya.
persamaan
Keluaran dari tiap lapisan sebelumnya
dasar.
penurunan
Jaringan
sampai tingkat paling rendah tidak mampu
merupakan
menghasilkan koreksi yang terbaik, justru
sebelumnya. Sebahagian besar jaringan
dengan
melakukan
persamaan
maksimal
lapisan
parameter
besar syaraf tiruan bersifat fault-tolerant
logis
mampu
(resisten terhadap noise) yakni kerusakan
jaringan
yang
pada sedikit atau sebagian kecil sel dalam
konsekwensi
tidak
jaringan tidak akan banyak berpengaruh
kinerja
dengan
bagi
variasi
secara
menghasilkan
masukan
semua masalah mampu diselesaikan. Hal
terhadap keluaran sistem.
ini masih dapat diatasi dengan teknik komputasi gabungan dan selanjutnya hal ini merupakan kelemahan kecil saja. Optimalisasi jaringan diperoleh dari pengalaman-pengalaman dalam penelitian jaringan syaraf tiruan, karena materi optimalisasi melibatkan banyak variasi parameter dan banyak pengujian dari variasi
parameter.
kemungkinan
trials
menghasilkan diinginkan.
Tidak
nilai
menutup
and
errors
optimal
yang
Peningkatan
Gbr 1. Skema Jaringan Syaraf Tiruan Umpan Maju
kecepatan
perbaikan bobot sesuai dengan ralat yang diinginkan sistem
memiliki
analisis.
resiko
Untuk
kegagalan
memperkecil
kegagalan sistem analisis diperlukan data
Gbr 2. Proses umpan maju di titik aktif
693
JETC, Volume 4, Nomor 2, Jun 2010
Ini merupakan salah satu keunggulan dari
global E pada lapisan keluaran jaringan
jaringan
syaraf tiruan feedforward adalah :
syaraf
dibandingkan
dengan
sistem komputer konvensional. Dengan
demikian,
secara
E
1 N (d j o j ) 2 2 j
(3)
matematis proses umpan maju dilihat dari
dengan: dj = keluaran yang diharapkan
satu titik aktif seperti yang terlihat pada
dan
Oj = keluaran jaringan syaraf tiruan
Gambar 2, persamaan umumnya adalah : P
V W jl1.X i(l 1) l j
(1)
i 0
dengan : j = neuron pada lapisan tersembunyi ke-l l = lapisan tersembunyi X = masukan dari lapisan aktif V = keluaran dari lapisan aktif W = bobot P = jumlah neuron Keluaran dari elemen proses di atas
Gbr 3. Fungsi transfer yang umum digunakan dalam jaringan syaraf tiruan
merupakan fungsi transfer yang umumnya menggunakan
fungsi
sigmoid
dengan
persamaan umum :
Ralat ini merupakan inti dari sistem dimana
1 y 1exp( v )
iterasi
yang terjadi
berusaha
memenuhi ralat global yang diinginkan
(2)
secepat mungkin. Persamaan dasar dari Fungsi sigmoid digunakan sebagai fungsi transfer dengan alasan bahwa fungsi sigmoid
memiliki
gradien
yang
proporsional dengan refleksi keluaran. Jenis-jenis fungsi lain yang bisa digunakan sebagai fungsi transfer bisa dilihat pada Gambar 3.
koreksi
bobot
meletakkan
berkembang
basis
analisis
dengan ke
arah
momentum term, weight decay dan batch learning.
Persamaan
dasarnya
adalah
sebagai berikut :
wji (n 1) wji (n) wji
(4)
Dimana n adalah generasi iterasi (epoch). Perubahan bobot yang diperbaiki
B. Metode Propagasi balik
∆Wij
balik
proporsional dengan gradien negatif pada
dikembangkan oleh Rumelhart yang tidak
persamaan (3) dan (4) dan dituliskan
lain adalah pelatihan delta rule. Ralat
sebagai berikut :
Metode
694
propagasi
Optimalisasi Arsitektur Propagasi Balik Pada Pelatihan Jaringan Syaraf Tiruan Lapis Banyak M. Ma’ruf Idris
Wij wEji
(5)
(1)
Faktor proposional η adalah laju belajar yang mendefinisikan kedalaman langkah
(2)
iterasi. Pemilihan parameter laju belajar yang terlalu besar membuat bobot yang dihasilkan
overshoot
terhadap
(3)
ralat
2 E ( 12 (d j O j ) ) (d j O j ) Oij O j Oj f (a j ) f ' (a j ) a j a j
a j ( w ji xi ) xi w ji w ji
minimum global. Laju belajar terlalu kecil
Dari
membuat
disubtitusikan
proses
konvergensi
lambat.
Kesalahan parameter laju belajar akan
ketiga
persamaan kembali
di ke
atas dalam
persamaan (6) maka didapatkan :
E j xi w ji
mengakibatkan osilasi di sekitar nilai ralat global minimum.
(7)
dengan : δj = (dj – Oj)Oj (1,0 – Oj) merupakan
ralat
umum/gradien
lokal
(8) Persamaan ini lazim juga disebut sebagai delta rule. Beberapa langkah lain untuk meningkatkan konvergensi adalah dengan jalan mengoptimalkan bobot yang mengacu pada momentum term dengan
Gbr 4. Kurva gradien perbaikan bobot
persamaan sebagai berikut: Gradien ralat global dapat dituliskan
wji (n +1) = wji (n) +
sebagai berikut:
∆wji (n) + α∆wji (n - 1)
E E O j V j wij O j V j w ji dengan : Vj =
w x , ji i
(6)
(9)
III. PEMBAHASAN A. Perbaikan Metode Propagasi balik
dan
Oj =
fungsi transfer dari (Vj)
Metode propagasi balik bekerja dari
ralat
keluaran
jaringan
yang
Dengan menggunakan persamaan
diumpankan ke belakang merambat sampai
differensial partial maka dari persamaan
ke lapisan aktif terdepan. Seperti yang
(6) dipecahkan dalam tiga persamaan
dikatakan sebelumnya bahwa salah satu
sehingga didapatkan:
kekurangan dari algoritma dasar metode propagasi balik adalah memiliki beberapa 695
JETC, Volume 4, Nomor 2, Jun 2010
kelemahan iterasi mundur. Pengembangan lebih lanjut berdasarkan persamaan (8) adalah sebuah persamaan umum yang dijumlahkan dengan faktor koreksi bobot α
[∆Wji(n) – Wji(n - 1)] + η δj (n)Yi(n). Sehingga didapatkan persamaan gradien lokal yang sesuai dengan persamaan (8) untuk masing-masing lapisan jaringan dan dapat ditulis sebagai berikut :
Gbr 5. Proses pengkoreksi pembobotan
p
Algoritma metode propagasi balik
(n) y (n).1 y (n) k(l1) (n).wkj(l1) (n) (10)
bekerja
dengan :
permukaan dan terjadi proses feedback
j = posisi neuron pada lapisan tersembunyi
untuk memperbaiki bobot dalam selang
k = posisi neuron pada lapisan tersembunyi
waktu tertentu, dan selanjutnya sistem akan
(l + 1).
menguji hasil pembobotan baru dengan
(l ) j
(l ) j
(l ) j
k
Berdasarkan pada persamaan (10) dimana
untuk
masing-masing
lapisan
jaringan dengan l = L, sehingga dapat
mengidentifikasi
ralat
metode feed forward sehingga diperoleh keluaran
sistem
yang
sesuai
dengan
keluaran fungsi sigmoid. Semua proses dapat dilihat pada
ditulis sebagai menjadi :
dengan
(j L) (n) e(jL) (n) .o j (n).1 o j (n) (11)
Gambar 5. Bila kita teliti proses iterasi
dengan : j = posisi neuron pada lapisan
akan berjalan lambat saat ralat yang
keluaran L.
dikehendaki hampir tercapai. Hal ini bisa
Dengan generalisasi
demikian, jaringan
alur
pada
secara lebih mendalam, laju konvergensi
proses
diperbaiki dengan memberikan laju belajar
lapisan
η yang mengintegrasikan dirinya ke dalam
tersembunyi l adalah sebagai berikut :
persamaan umum sebagai learning term.
w(jil ) (n 1) w(jil ) (n) i(l 1) (n)
Langkah ini dilakukan sebagai modifikasi
w (n) w (n 1) (n).y (l ) ji
(l ) ji
(l ) j
pertama. Persamaan baku sebagai dasar (12)
dengan : η = laju pelatihan dan α = momentum
pengembangan adalah persamaan (4) dan persamaaan (5) sehingga dasar persamaan akan menjadi : Wji ( n + 1) = Wji (n) (-η δE/δWji) (13)
696
Optimalisasi Arsitektur Propagasi Balik Pada Pelatihan Jaringan Syaraf Tiruan Lapis Banyak M. Ma’ruf Idris
Nilai laju belajar terletak antara 0 sampai 1, namun iterasi berjalan lambat saat ralat
Tabel 1. Perbandingan kinerja beberapa metode Propagasi balik berdasarkan jumlah iterasi
hampir tercapai meskipun laju belajar telah dioptimasi. Oleh karena itu perlu dikoreksi dengan
modifikasi
kedua.
Tujuan
modifikasi kedua adalah untuk mereduksi permukaan ralat yang sangat dangkal dan memberikan efek lentingan ralat menuju permukaan ralat yang lebih baik. Ketika sistem mendekati ralat yang diinginkan,
Tabel 2. Perbandingan kinerja metode propagasi balik terhadap metode advanced Propagasi balik
δE/δW menjadi sangat kecil, hal ini menyebabkan
perubahan
bobot
tidak
signifikan. Pada modifikasi kedua dicoba menambahkan δj dan momentum α ke persamaan
(13)
sehingga
persamaan
lengkap adalah sebagai berikut : Wji1 ( n + 1) = Wji1 (n) [(-η(1- α δj1) n) (+
Pengujian kinerja jaringan syaraf tiruan
η(1- α δjl-1) n)]
menggunakan
(14)
Koreksi bobot adalah suatu sistem terpadu yang terdiri dari persamaan (1), persamaan (2), persamaan (11) dan persamaan (12) seperti terlihat pada Gambar 6
perbaikan
persamaan
persamaan
baru
dasar
hasil metode
propagasi balik terlihat pada Gambar 6, Tabel 1 dan Tabel 2, dimana terlihat karakteristik hasil perbaikan dibandingkan dengan persamaan hasil pengembangan terakhir
(Advanced
Propagasi
balik).
Kecepatan iterasi minimum yang diperoleh menggunakan
persamaan
baru
ini
meningkat sebesar 50,6 % pada tingkat ralat 0,01. Aktivasi bobot pada metode propagasi balik berbasis momentum term dan metode propagasi balik hasil perbaikan memberikan hasil yang tidak signifikan, Gbr 6. Karakteristik jaringan syaraf tiruan Propagasi balik
karena kedua metode tersebut memiliki dasar perhitungan numerik yangsama, 697
JETC, Volume 4, Nomor 2, Jun 2010
terlihat pada Persamaan 9 dan Persamaan
DAFTAR PUSTAKA
13 akan bernilai sama bila laju belajar
Fauset, Laurene, 1994, Fundamental of Neural Network Architecture, Algorithm and Application, Prentice Hall Inc., Eaglewood Cliffs, New Jersey
diberi
nilai
kehandalan
nol.
Dengan
demikian,
hasil
perbaikan
metode
dibandingkan dengan metode berbasis momentum term adalah faktor laju belajar yang bisa menggandakan kecepatan belajar meskipun hasil
yang diberikan tidak
signifikan.
IV. KESIMPULAN 1. Persamaan
hasil
perbaikan
untuk
pelatihan jaringan syaraf tiruan umpan maju adalah persamaan baru yang merupakan penjumlahan persamaan umum dengan faktor koreksi bobot : α [∆Wji(n) – Wji(n - 1)] + η δj (n)Yi(n) 2. Kecepatan diperoleh
iterasi
minimum
menggunakan
yang
persamaan
Freeman, James A. & David M. Skapura, 1992., Neural Network Algorithms, Application, and Programming Techniques, Addison-Wesley Publishing Company. Jang, J.,S.,R., C. T. Sun, E. Mizutani, 1997, Neuro-Fuzzy and Soft Computing (A Computational Approach to Learning and Machine Intelligence), Prentice Hall International, Simon & Schuster/A Viacom Company, Upper Saddle River, New Jersey. Kung., S., Y, 1993, Digital Neural Network, Prentice Hall. Kartalopoulos, Stamatios V., 1996, Understanding Neural Networks and Fuzzy Logic (Basic Concepts and Applications), IEEE Press
baru ini meningkat sebesar 50,6 % pada tingkat ralat 0,01. Aktivasi bobot
Krauss, T., 1993, Signal Processing ToolBox, The Math Work. Inc.
pada metode propagasi balik berbasis momentum term dan metode propagasi balik hasil perbaikanmemberikan hasil yang tidak signifikan, karena kedua metode
tersebut
memiliki
perhitungan numerik yang sama
698
dasar
Ripley, B., D., 1996, Pattern Recognition via Neural Networks,.
