TINJAUAN PUSTAKA
Metode NNPLS merupakan integrasi antara MKTP dengan Jaringan Syaraf Tiruan. Pada bab ini dibahas mengenai teori dan algoritma MKTP, Jaringan Syaraf Tiruan, dan metode NNPLS.
Metode Kuadrat Terkecil Parsial (MKTP)
MKTP merupakan suatu metode regresi ganda linier yang dapat mengatasi kolinieritas dan data terbatas. MKTP menggambarkan hubungan eksternal (outer) dan hubungan internal (inner) antara peubah bebas (X) dan peubah tak bebas (Y). Hubungan eksternal ditulis dengan persamaan berikut:
Y = U Q ' + F = 2uhq, + F h=l
dimana X adalah peubah bebas, Y adalah peubah tak bebas, T dan U adalah vektor skor faktor komponen pertama, P dan Q adalah vektor pembobot, E adalah matriks residu peubah X, F adalah matriks residu peubah Y, th dan uh adalah vektor skor faktor komponen pertama ke-h, ph dan qh adalah vektor pembobot ke-h. Keempat vektor tersebut diperoleh dengan meminimumkan matriks residu E dan matriks residu F. Hubungan antara X dan Y terbaik diperoleh pada kondisi
I(E11 dan llFll yang minimum.
Hubungan internal ditulis dengan persamaan sebagai berikut: Uh = bhth
bh= U, th/ tLth
Matriks residu ditulis dengan persaman sebagai berikut: Eh=X-thPh Fh = Y - bhthq;,
Faktor kedua dihitung berdasarkan residu El dan F1 yang diperoleh dengan cara yang sama untuk faktor pertama, dengan h =1,2,3 ...,a. Cara yang sama diulang sampai dengan faktor terakhir a. Banyaknya faktor a ditentukan oleh metode validasi silang yang berguna untuk mengatasi overJitting. OverJitting terjadi jika banyaknya peubah lebih besar dibandingkan dengan banyaknya pengamatan, sehingga mode1 yang dibentuk sesuai dengan data contoh, tetapi tidak dapat digunakan untuk memprediksi.
Algoritma Metode Kuadrat Terkecil Parsial Linier Menurut Geladi & Kowalski (1986) algoritma MKTP linier adalah sebagai berikut: Untuk peubah X : 1. to
= x,
t, = to
2. p; = tjX/ tit, 3. p;+,= P; 1
1 1 ~ 1;
4. t,+l = X p i + ~pi+, l pi+l
5. Jika ti = t,+l, maka proses berhenti, tetapi jika t,
Untuk peubah Y : 1. Uo=yj,Ui=Uo
2. q;
= U;
YI
U;
ui
#
kembali ke langkah 2.
5. jika u, = u,+l,maka proses berhenti, tetapi jika ui + u
kembali ke langkah 2.
Skema algoritma pemodelan MKTP untuk setiap komponen tercantum pada Gambar 1 .
plj
F2
T
I
r
X Y
I I
I
l
I I I I I I I I I I I I I
MKTP ekster nal model (1)
Komponen ke 1
--+
U a 4 AL
ba
ta
I
I
1
E1
-+
MKTP ekster nal model (a)
E2 Komponen ke 2
...
Komponen ke a
Gambar 1. Skema algoritma MKTP
Jaringan Syaraf Tiruan
Jaringan syaraf tiruan merupakan suatu sistem pemrosesan informasi yang mempunyai karakteristik kinerja tertentu dengan mengadopsi dari jaringan syaraf biologi (Fauset, 1994). Jaringan syaraf tiruan telah dimodelkan sebagai model matematik dari kognisi manusia, berdasarkan pada asumsi-asumsi sebagai berikut : 1. Pemrosesan informasi terjadi pada banyak elemen sederhana yang disebut dengan
neurons. 2. Sinyal-sinyal dikirim antar neurons melalui connection-links (sinapsis).
3. Setiap sinapsis mempunyai bobot tertentu, tergantung tipe jaringan syaraf. 4. Setiap neuron mempunyai fungsi aktivasi (biasanya tak linier) yang merupakan
penjumlahan dari sinyal-sinyal input untuk sinyal-sinyal output. Jaringan syaraf dibedakan menurut ha1 berikut : 1. Pola koneksi antar neuron (arsitektur).
2. Metode penentuan pembobot pada koneksi-koneksi (pelatihan, pembelajaran dan algoritma). 3 . Fungsi aktivasi.
Jaringan syaraf tiruan mendistribusikan sistem proses informasi yang menyusun beberapa
perhitungan
elemen
tunggal
berinteraksi
dengan
menghubungkan
pembobotannya (Patterson, 1996). Dua fakta yang mendasar dari jaringan syaraf tiruan. Pertama jaringan syaraf tiruan diilhami oleh sistem jaringan biologi. Kedua jaringan syaraf tiruan terdiri atas banyak elemen yang disebut neurons, unit sel yang saling terhubung satu dengan yang lain melalui sinapsis dan mempunyai bobot yang berkaitan. Sedangkan sinapsis adalah daerah sambungan khusus antar neuron. Bobot mewakili informasi yang akan digunakan oleh jaringan untuk menyelesaikan fbngsi tertentu. Jaringan syaraf tiruan menyimpan sinyal dari unit sel lainnya (neurons) melewati hubungan input yaitu dendrit (dendrite) dan sinapsis (synapse). Bobot untuk tiap hubungan input (kekuatan sinapsis) dapat menjadi positif atau negatif. Bobot input ditambahkan dan ditransformasikan oleh fungsi aktivasi untuk sebuah sinyal output (pembebasan neuron). Sinyal adalah transmisi yang melewati hubungan output (akson dan proyeksinya) untuk neuron lainnya (Skapura, 1992).
Jaringan syaraf tiruan dapat dibentuk dalam suatu model sel syaraf. Model sel syaraf merupakan pembentuk jaringan syaraf tiruan yang disusun berdasarkan pilihan arsitektur dan konsep pembelajaran. Sistem syaraf biologi terdiri dari susunan sel-sel syaraf yang disebut neurons. Struktur utarna dari neuron dalam sebuah sistem saraf pusat terdiri dari dendrit, tubuh sel (cell body/soma), dan sebuah akson (axon) tunggal. Akson berfbngsi sebagai daerah output sel yang panjang dan bercabang. Sebuah impulse dapat dipicu oleh sel dan dikirim ke sepanjang percabangan akson sampai akhir serat. Dendrit, yang berupa sekumpulan serat cabang, berhngsi sebagai input sel. Titik penghubung antara dendrit dan akson adalah sinapsis. Ketika impulse diterima dendrit, maka terjadi peningkatan kemungkinan target neuron untuk mengaktifkan impulse menuju akson. Sinapsis adalah daerah sambungan khusus antar neuron. Dalam sistem syaraf, pola interkoneksi sel ke sel beserta fenomena komunikasi antar unit pemroses tersebut menentukan kemampuan komputasi jaringan secara keseluruhan. Dengan kata lain sinapsis merupakan bagian penting dalam komputasi neural (neurocomputing) (Skapura,
1990). Gambar 2 memperlihatkan sebuah struktur sel syaraf (neuron).
Gambar 2. Struktur sel syaraf
Struktur jaringan syaraf tiruan terdiri dari tiga lapisan yaitu : 1. Lapisan input merupakan lapisan penghubung antara jaringan syaraf dengan
jaringan luar. Output dari lapisan input terhubung dengan semua neuron lainnya pada lapisan berikutnya. 2. Lapisan tersembunyi (hidden) merupakan lapisan yang terletak antara lapisan
input dan lapisan output. Input setiap lapisan tersembunyi adalah output dari lapisan sebelumnya dan output setiap lapisan tersembunyi merupakan input bagi lapisan di depannya. 3 . Lapisan output merupakan lapisan terluar sebagai hasil dari proses.
Gambar 3 memperlihatkan skema arsitektur dari jaringan syaraf tiruan untuk satu output. Lapisan Output
n
Gambar 3 . Skema arsitektur dari jaringan syaraf tiruan untuk satu output. Jaringan syaraf merupakan sebuah kumpulan unit perhitungan sederhana yang dihubungkan oleh sistem koneksi. Salah satu model jaringan syaraf yang paling popular digunakan adalah jaringan lapisan ganda dengan metode pembelajaran propagasi balik (back propagation) (Patterson, 1994).
Algoritrna Pernbelajaran Propagasi Balik
Algoritma pembelajaran Propagasi Balik membagi proses belajar menjadi 3 tahap yang dilakukan secara iteratif sehingga jaringan menghasilkan perilaku yang diinginkan. Tiga tahap tersebut adalah : 1. Tahap umpan maju Cfeedforward) yaitu jaringan diberi suatu input x (xl,xz,.-.,xJ
sehingga jaringan menghasilkan output y (y1,y2,...,yn) Setelah output jaringan diperoleh, tahap selanjutnya adalah tahap penentuan nilai galat. 2. Tahap penentuan nilai galat (error); galat diperoleh dengan cara membandingkan
output jaringan y dengan nilai output yang diinginkan tk (tl,tz,...,t,) yaitu : E(t) = Y(t) - tk 3 . Melakukan adaptasi bobot jaringan berdasarkan nilai galat yang diperoleh. Tujuan
dari adaptasi bobot ini adalah untuk memperkecil nilai galat pada iterasi berikutnya sehingga nilai galatnya pada suatu saat akan menuju ke 0. Untuk mengetahui kriteria tampilan jaringan dengan rumus berikut :
Kriteria tampilan jaringan semakin baik jika nilai J minimum. Karena tujuan dari adaptasi bobot adalah meminimumkan nilai galat total E, maka besar perubahan bobot jaringan disesuaikan dengan besar sumbangan tiap-tiap nilai pembobot terhadap nilai galat total yang terjadi. Pada lapisan tersembunyi (hidden) berlaku :
Sehingga :
Pada lapisan keluaran berlaku :
sehingga : Yk = f(y-ink) dimana : unit masukan ke-i, i = 1,2,3,..., n.
Xi
=
Vij
= bobot unit
Voj
= bobot bias unit
z-inj
= unit
hidden ke-j dari masukan ke-j.
zj
= unit
hidden ke-j, (i=1,2,. ..,p).
4.)
= fbngsi
aktivasi
Wjk
= bobot
unit hidden ke-j pada unit keluaran ke-k, (k=1,2, ...,m).
wok
= bobot
(bias) unit hidden pada unit keluaran ke-k.
y-ink
= unit
keluaran ke-k dari unit hidden ke-k.
y k
= unit
keluaran ke-k, (k=1,2,.. .,m).
masukan ke-i pada unit tersembunyi (hidden) ke-j, (i=1,2,. ..,p). masukan pada unit hidden ke-j.
Fungsi aktivasi yang digunakan dalam penelitian ini adalah fungsi sigmoid (logistik) dengan rumus berikut:
Pada lapisan keluaran kesalahan pada sebuah unit keluaran didefinisikan sebagai :
dengan : E(t)
= kesalahan
pada unit keluaran
YL
= keluaran jaringan
tk
= keluaran
yang diiinginkan
Misalkan jaringan yang diberi pola belajar p menyebabkan kesalahan sebesar Ep.
sehingga :
dimana
sehingga persamaan (5) dapat ditulis menjadi :
Parameter jaringan yaitu bobot-bobot koneksi dari sel j ke sel i, Wij , harus diubah sebanding dengan fbngsi kesalahan gradien negatif terhadap perubahan bobot :
dimana,
AW,,
77
= perubahan
bobot unit ke-j ke unit ke-k dengan pola pembelajar p.
= konstanta
pembelajaran dengan nilai ( 0 5 q < 1 )
Dengan mensubstitusikan Persamaan (6) dalam Persamaan (7) diperoleh persamaan perubahan bobot sebagai berikut :
AWjk
=
(tk - Yk)f' (y-ink) zj
Bobot yang baru pada lapisan keluaran adalah : W n e w ) = Fk(old) + AWjk
Untuk menyederhanakan Persamaan (8) diambil konstanta baru
6,
= (Yk - tk)f
yaitu :
(y-ink )
Sehingga Persamaan (8) menjadi :
Kk (new) = W / k (old) + 77 Jkzj = q
k
(old) + AWjk
Pada lapisan tersembunyi (hidden), keluaran dari lapisan tersembunyi (hidden),
zj
menentukan kesalahan total Ep, menjadi :
Sehingga negatif turunan kesalahan total E, terhadap bobot koneksi lapisan tersembunyi (hidden) vij sebagai berikut :
(10) Dari Persamaan (1) sampai Persamaan (4) , maka Persamaan (10) menjadi :
Persamaan perubahan bobot menjadi :
Dengan menggunakan definisi Sk pada Persamaan (9) ,Persamaan (12) menjadi : rn
Avii = nf ' ( z -in, )x, C SkWjk k=l
Persamaan tersebut menunjukan konsep Propagasi Kesalahan Balik (Back Error Propagation) yaitu setiap perubahan bobot lapisan tersembunyi ( A j k ) bergantung pada semua kesalahan (Sk) pada lapisan keluaran. Dengan pengertian kesalahan lokal pada semua lapisan keluaran disebarkan balik ke setiap lapisan tersembunyi untuk mendapatkan perubahan bobot yang sesuai. Dengan mendefinisikan konstanta :
Persamaan penyesuaian bobot pada lapisan tersembunyi -adalah : vii (new)
=
vii (old)
+ vS,xi
Pemeriksaan Pembelajaran dalam Jaringan Syaraf Tiruan
Jaringan syaraf tiruan tidak hanya diklasifikasikan menurut aplikasinya, tapi juga tergantung metode pembelajarannya. Ada tiga kategori paling penting dari metode pembelajaran, yaitu : (1) supervised (e.g aturan delta, back propagation, hebbian, stokastik); (2) unsupervised (e.g. kompetitif, hebbian) dan (3) reinforcement learning (Patterson, 1996). Dalam pembelajaran supervised gugus data pelatihan terdiri dari input dan target output. Aturan pembobotan (dan bias) dari jaringan syaraf tiruan untuk meminimumkan perbedaan antara output yang dicapai dan target output. Selisih ini dipergunakan untuk mengatur kembali bobot sampai pada tingkat kesalahan yang diharapkan.
Dalam pembelajaran unsupervised gugus data pelatihan hanya berisi vektor input. Aturan pembobot (dm bias) dari jaringan syaraf tiruan dalam mengadaptasi respons selanjutnya tergantung pada penurunan dan hubungan yang dideteksi dalam vektor masukan, tanpa mempunyai beberapa indikasi apakah benar atau salah. Reinforcement learning adalah gabungan antara pembelajaran supervised dan unsupervised. Gugus data pelatihan terdiri dari input d m target output, tapi jaringan syaraf tidak mempunyai indikasi pada output dari prosedur yang benar atau salah,mengenai aturan pembobotan (dan bias) merupakan dasar (Patterson, 1996). Pada kasus dimana terjadi integrasi antara kerangka kerja jaringan syaraf dengan MKTP, metode pembelajaran yang digunakan adalah supervised dengan metode pembelajaran propagasi balik gradien descent.
Metode Pembelajaran Grndien Descent
Metode pembelajaran gradien descent merupakan salah satu metode pembelajaran Propagasi Balik yang digunakan dalam NNPLS. Metode gradien descent merupakan metode pertarna dalam mengatur koefisien pembobotan sehingga mempunyai pengurangan tercepat dari fbngsi galat. Algoritma pembelajaran propagasi balik gradien descent diperkenalkan oleh Rummelhart dan McClelland pada tahun 1986. Dalam pembelajaran propagasi balik gradien descent, fbngsi galat E(w) yang diminimumkan adalah jumlah kuadrat kekeliruan antara aktual (target) dengan keluaran ramalan (current), yang diberikan oleh persamaan berikut :
dimana : P
= jumlah
dari pola pelatihan
EP
= hngsi
galat tiap pola ke-p
o
= jumlah
t ij
= keluaran yang diinginkan dari pola ke-i
Yij
= keluaran aktual (target)
rij
= galat
unit dalam lapisan keluaran pada unit keluaran lapisan ke-j
dari pola ke-i pada unit lapisan keluaran ke-j
antara keluaran yang diiinginkan tij, dan keluaran aktual (target) yij
Fungsi galat yang digunakan adalah total jumlah kuadrat (m=l) dan satu keluaran (o = 1) yaitu sebagai berikut :
dimana, R(t) adalah matriks pxl dalam ri.
Metode NNPLS ( Neural Network Partial Least Square) Metode NNPLS merupakan suatu metode yang dapat mengatasi kolinieritas antar peubah, pengamatan yang terbatas, dan kenonlinieran. Pendekatan metode NNPLS menggunakan jaringan syaraf sebagai hubungan internal dalam persamaan berikut : UI, =
N (6,)+ a
dimana N(.)merupakan model hubungan nonlinier yang dihasilkan oleh jaringan syaraf. Hubungan eksternal tetap membentuk peubah skor dari data, kemudian
ul,
dan
tl,
digunakan untuk melatih model internal dengan menggunakan jaringan syaraf Pada umumnya, hampir semua tipe jaringan syaraf yang membentuk pemetaan nonlinier dari input sampai output dapat digabungkan dalam kerangka kerja NNPLS. Tipe dari jaringan
yang digunakan adalah tipe jaringan yang mempunyai satu lapisan tersembunyi sigmoidal dan satu lapisan keluaran linier.
Algoritma NNPLS
Algoritma NNPLS dapat dirumuskan sebagai berikut : 1. Bakukan X dan Y, dengan Eo = X dan Fo = Y. 2. Untuk tiap-tiap faktor h, uh = yj.
/*Hu bungan elisfernal*/ 3 . W; = u; Ebl / 4 Wh = Wh
u; uh
llwhll
5 . th = Eh-1 . Wh
6 . th = th IIthII 7. q; = t ; Fh-1 1 t ; th
qh = qh llqhll 9. Uh = Fh-1 qh 10. P;
= t;
Eh-11 t ; th
11. Ph = Ph 1
11~~11
/*Model internal */
Zih = N(t,) = a ( t h.w;, + eAh)wZh + ePZh,... dimana:
- o,,dan ozhmerupakan vektor bobot untuk lapisan input dan lapisan output. - p,, dan P,, merupakan bobot bias untuk lapisan input dan lapisan output. - e adalah vektor satuan.
-
h adalah banyaknya unit lapisan tersembunyi untuk model network inner ke-h.
- a (.) adalah fbngsi sigmoid dengan persamaan berikut :
13. Jh = I1uh - Ghll
I* Hitung residu untukfaktor h *I 14. El, =Ehql-th
PL
15. Fh = Fh-l - uh qh 1
+
16. Jika h = h + 1, kembali pada tahap 2 sampai semua faktor utarna dihitung.
Penentuan banyaknya faktor h ditentukan dengan metode validasi silang. Skema algoritma metode NNPLS (lihat Gambar 4) menunjukan data ditransformasi menjadi peubah skor u dan t, kemudian jaringan syaraf tiruan digunakan untuk menghasilkan output dari input vektor skor u dan t.
Komponen ke 1
Komponen ke 2
...
Gambar 4. Skema algoritma NNPLS
Komponen he a
