5/9/2012
Jurusan Teknik Informatika – Universitas Widyatama
Latar Belakang
Learning (Neural Network) Pertemuan : 13 Dosen Pembina : Sriyani Violina Danang Junaedi IF-UTAMA
1
Pendahuluan(2)
IF-UTAMA
2
Struktur Jaringan pada Otak • Neuron adalah satuan unit pemroses terkecil pada otak • Bentuk standard ini mungkin dikemudian hari akan berubah • Jaringan otak manusia tersusun tidak kurang dari 1013 buah neuron yang masing-masing terhubung oleh sekitar 1015 buah dendrite • Fungsi dendrite adalah sebagai penyampai sinyal dari neuron tersebut ke neuron yang terhubung dengannya • Sebagai keluaran, setiap neuron memiliki axon, sedangkan bagian penerima sinyal disebut synapse • Sebuah neuron memiliki 1000-10.000 synapse • Penjelasan lebih rinci tentang hal ini dapat diperoleh pada disiplin ilmu biology molecular • Secara umum jaringan saraf terbentuk dari jutaan (bahkan lebih) struktur dasar neuron yang terinterkoneksi dan terintegrasi antara satu dengan yang lain sehingga dapat melaksanakan aktifitas secara teratur dan terus menerus sesuai dengan kebutuhan
• Dipercayai bahwa kekuatan komputasi otak terletak pada – hubungan antar sel-sel syaraf – hierarchical organization – firing characteristics – banyaknya jumlah hubungan
IF-UTAMA
IF-UTAMA
• Neural Network (Jaringan syaraf tiruan) diilhami oleh jaringan syaraf biologi khususnya otak manusia. – Kemampuan manusia dalam memproses informasi, mengenal wajah, tulisan, dsb. – Kemampuan melakukan pengenalan meskipun tidak tahu algoritma yang digunakan. – Proses pengenalan melalui penginderaan berpusat pada otak sehingga menarik untuk mengkaji struktur otak manusia • Otak terdiri neuron-neuron dan sinapsis (penghubung) bekerja berdasarkan impuls/sinyal • Manusia memiliki 1012 neuron dan 6.1018 sinapsis mengenali pola, melakukan perhitungan, mengontrol organ-organ tubuh • Mempunyai kemampuan membentuk sendiri pola berdasarkan pengalaman.
3
IF-UTAMA
4
1
5/9/2012
Struktur Jaringan pada Otak
Synapse IF-UTAMA
5
A Neuron
IF-UTAMA
6
Struktur Jaringan pada Otak • Dendrit menerima sinyal dari neuron lain – Sinyal berupa impulse elekrik dikirim melalui celah sinaptik – Sinyal dapat diperkuat/diperlemah di celah sinaptik • Soma menjumlahkan semua sinyal-sinyal yang masuk – Jika kuat dan melebihi batas akan diteruskan ke sel lain melalui axon
© 2000 John Wiley & Sons, Inc. IF-UTAMA
IF-UTAMA
7
IF-UTAMA
8
2
5/9/2012
Neural biologi
Neural Network • Suatu sistem pemrosesan informasi yang mencoba meniru kinerja otak manusia • Merupakan generalisasi model matematis dengan asumsi:
• Neural biologi merupakan sistem yang fault tolerant : – Manusia dapat mengenali sinyal input yang agak berbeda dari yang pernah diterima sebelumnya. – Otak manusia tetap mampu bekerja meskipun beberapa neuronnya tidak mampu bekerja dengan baik • Sebuah neuron rusak, neuron lain dapat dilatih menggantikan fungsi sel yang rusak.
IF-UTAMA
– Pemrosesan informasi terjadi pada elemen sederhana(=neuron) – Sinyal dikirimkan diantara neuron-neuron melalui penghubung (=dendrit dan akson) – Penghubung antar elemen memiliki bobot yang akan menambah atau mengurangi sinyal Otak Manusia Neural Network – Untuk menentukan output, setiap neuron memiliki fungsi Soma Node aktivasi (biasanya non linier) dendrites Input/Masukan yang dikenakan pada semua Axon Output/Keluaran input synapsis Weight/Bobot – Besar output akan Milyaran Neuron Ratusan Neuron dibandingkan dengan threshold
9
Struktur Dasar Neural Network
IF-UTAMA
10
Definisi • Neural Network (Jaringan Saraf Tiruan) adalah – sistem pengolahan informasi yang karakteristik kinerjanya menyerupai jaringan saraf biologis. merupakan generalisasi model matematis saraf biologis. – suatu representasi buatan dari otak manusia yang mencoba mensimulasikan proses pembelajaran pada otak manusia. menggunakan program komputer • Neural Network disebut juga: brain metaphor, computational neuroscience, parallel distributed processing
IF-UTAMA
IF-UTAMA
11
IF-UTAMA
12
3
5/9/2012
Neural Network
Kelebihan & Kekurangan
• Neural Network dapat belajar dari pengalaman! • Biasanya berhubungan dengan angka (numerik) sehingga data yang tidak numerik harus dibuat ke numerik • Tidak ada rumus yang tetap (fixed) sehingga disebut dengan free-estimator! • Neural Network disebut black box atau tidak transparan karena tidak mampu menjelaskan bagaimana suatu hasil didapatkan! • Neural Network mampu menyelesaikan permasalahan yang tidak terstruktur dan sulit didefinisikan! IF-UTAMA
Kekurangan • Kurang mampu untuk melakukan operasi operasi numerik dengan presisi tinggi • Kurang mampu melakukan operasi algoritma aritmatik, operasi logika dan simbolis • Lamanya proses training yang mungkin terjadi dalam waktu yang sangat lama untuk jumlah data yang besar
IF-UTAMA
13
Kemampuan Neural Network
Contoh Aplikasi
• Klasifikasi: memilih suatu input data ke dalam kategori tertentu yang sudah ditetapkan • Asosiasi: menggambarkan suatu obyek secara keseluruhan hanya dengan bagian dari obyek lain • Self organizing: kemampuan mengolah data-data input tanpa harus mempunyai target • Optimasi: menemukan suatu jawaban terbaik sehingga mampu meminimalisasi fungsi biaya
• Pengenalan pola (pattern recognition)
IF-UTAMA
IF-UTAMA
Kelebihan • Mampu mengakuisisi pengetahuan walau tidak ada kepastian • Mampu melakukan generalisasi dan ekstraksi dari suatu pola data tertentu • Neural Network dapat menciptakan suatu pola pengetahuan melalui pengaturan diri atau kemampuan belajar (self organizing) • Memiliki fault tolerance, gangguan dapat dianggap sebagai noise saja • Kemampuan perhitungan secara paralel sehingga proses lebih singkat
14
– Huruf, tanda tangan, suara, gambar yang sudah sedikit berubah (mengandung noise) – Identifikasi pola saham – Pendeteksian uang palsu, kanker
• Signal Processing – Menekan noise pada saluran telepon
• Peramalan – Peramalan saham
• Autopilot dan simulasi • Kendali otomatis otomotif
15
IF-UTAMA
16
4
5/9/2012
Istilah dalam Neural Network
Karakteristik Jaringan Saraf Tiruan
• Neuron: sel syaraf tiruan yang merupakan elemen pengolah Neural Network • Jaringan: bentuk arsitektur Neural Network, kumpulan neuron yang saling berhubungan dan membentuk lapisan • Input: sebuah nilai input yang akan diproses menjadi nilai output • Output: solusi dari nilai input • Hidden layer: lapisan yang tidak terkoneksi secara langsung dengan lapisan input atau output, memperluas kemampuan Neural Network • Bobot: nilai matematis dari sebuah koneksi antar neuron • Fungsi aktivasi: fungsi yang digunakan untuk mengupdate nilai-nilai bobot per-iterasi dari semua nilai input. – Fungsi aktivasi sederhana adalah mengakalikan input dengan bobotnya dan kemudian menjumlahkannya (disebut penjumlahan sigma) – Berbentuk linier atau tidak linier, dan sigmoid • Paradigma pembelajaran: bentuk pembelajaran, supervised learning, atau unsupervised learning
• Arsitektur, merupakan pola hubungan antar sel-sel neuron. • Algoritma pelatihan/pembelajaran, merupakan metoda penentuan bobot pada sambungan/hubungan. • Fungsi Aktivasi, merupakan suatu fungsi yang digunakan untuk memproses sehingga dihasilkan sinyal keluaran neuron.
IF-UTAMA
IF-UTAMA
Arsitektur Jaringan
Arsitektur Jaringan
• Single-Layered Feedforward Networks
• Multilayer Feedforward Networks
Neurons are organized in layers “Single-layer” refers to output neurons Source nodes supply to output neurons but not vice versa Network is feedforward or acyclic IF-UTAMA
IF-UTAMA
17
18
– One or more hidden layers – Hidden neurons enable extractions of higher-order statistic – Network acquires global perspective due to extra set of synaptic connections and neural interactions Input layer of
Layer of output neurons Layer of hidden neurons
source nodes
input layer of source nodes
output layer of neurons
7-4-2 fully connected network: • 7 source nodes • 4 hidden neurons • 2 output neurons 19
IF-UTAMA
20
5
5/9/2012
Arsitektur Jaringan
Pengelompokkan Neural Network
• Recurrent Networks
• Neural Network Feed Forward
– At least one feedback loop – Feedback loops affect learning capability and performance of the network
– Tidak mempunyai loop – Contoh: single layer perceptron, mutilayer perceptron, radial basis function
• Neural Network Feed Backward (Recurrent) – Memiliki loop, lapisan output akan memberi input lagi bagi lapisan input – Contoh: competitive networks, kohonen, hopfield, ART
Outputs
z1
z1
z1
Unit-delay operators
z1
Inputs IF-UTAMA
IF-UTAMA
21
Paradigma pembelajaran
Algoritma Belajar
• Supervised Learning
• Algoritma Terbimbing (Supervised Learning)
22
– ada vektor target – klasifikasi, pattern association – Algoritma Hebb, Perceptron, Backpropagation, dll
– Kumpulan input berusaha membentuk target output yang sudah diketahui sebelumnya – Perbedaan antara output yang masih salah dengan output yang diharapkan harus sekecil mungkin – Biasanya lebih baik daripada unsupervised – Kelemahan: pertumbuhan waktu komputasi eksponensial, data banyak berarti semakin lambat
• Unsupervised Learning – Neural Network mengorganisasikan dirinya untuk membentuk vektor-vektor input yang serupa tanpa menggunakan data atau contoh-contoh pelatihan, biasanya ke dalam suatu kategori/kelompok-kelompok tertentu
• Tak Terbimbing (Unsupervised Learning) – tidak ada vektor target – Clustering – Kohonen, dll
• Hibrida Learning – Gabungan antara unsupervised dan supervised
• Reinforcement Learning IF-UTAMA
IF-UTAMA
23
IF-UTAMA
24
6
5/9/2012
Algoritma Pembelajaran Umum • • • •
Fungsi Aktivasi
Dimasukkan n data pelatihan Inisialisasi bobot-bobot jaringan, set i = 1 Masukkan contoh ke-i ke dalam input Cari tingkat aktivasi unit output menggunakan algoritma yang ditetapkan – If memenuhi kriteria output then exit – Else: – Update bobot2 menggunakan fungsi galat error, Bobot baru = bobot lama + delta
• If i=n then – Reset i=1, – else i=i+1 IF-UTAMA
25
IF-UTAMA
Fungsi Aktivasi
Fungsi Aktivasi
• Fungsi undak biner (hard limit)
• Fungsi bipolar
• Fungsi undak biner (threshold)
• Fungsi bipolar dengan threshold
26
θ IF-UTAMA
IF-UTAMA
27
IF-UTAMA
28
7
5/9/2012
Fungsi Aktivasi
Fungsi Aktivasi
• Fungsi Linier (identitas)
• Fungsi saturating linear dirumuskan sebagai:
IF-UTAMA
IF-UTAMA
Fungsi Aktivasi
Fungsi Aktivasi
• Fungsi sigmoid biner dirumuskan sebagai:
• Fungsi sigmoid bipolar dirumuskan sebagai:
IF-UTAMA
IF-UTAMA
29
31
IF-UTAMA
30
32
8
5/9/2012
NEURAL NETWORKS AS DIRECTED GRAPHS
NEURAL NETWORKS AS DIRECTED GRAPHS
• Neural networks maybe represented as directed graphs: wkj – Synaptic links yk= wkj xj xj
• Architectural graph: partially complete directed graph
(linier I/O) – Activation links
ϕ (•)
(nonlinier I/O) – Synaptic convergence
k
=ϕ
(x ) j
yi yj
– Synaptic divergence
y
xj
x0 =+1 x1 x2
xj
Output yk
. . .
yk=yi + yj
xm
xj xj
IF-UTAMA
33
IF-UTAMA
34
FEEDBACK
FEEDBACK
• Output of a system influences some of the input applied to the system • One or more closed paths of signal transmission around the system • Feedback plays an important role in recurrent networks
• Sample single-loop feedback system xj(n)
x’j (n)
w
yk(n) z-1
∞
yk
l +1
(n ) = ∑ w l =0
x j (n − l )
w is fixed weight z-1 is unit-delay operator
x j (n − l ) is sample of input signal delayed by l time units
• Output signal yk(n) is an infinite weighted summation of present and past samples of input signal xj(n) IF-UTAMA
IF-UTAMA
35
IF-UTAMA
36
9
5/9/2012
Konsep Dasar Artificial Neural Computing
Neural Network dan Aplikasi • Klasifikasi: ADALINE, Backpropagation • Pengenalan Pola: ART, Backpropagation • Peramalan: ADALINE, MADALINE, Backpropagation • Optimasi: ADALINE, Hopfield, Boltzman, Backpropagation
x1 x2
w1 w2
x3
w3 wb
bias
1 if x1*w1 + x2*w2 + x3*w3 + bias * wb > 0 0 if x1*w1 + x2*w2 + x3*w3 + bias * wb <= 0
Processing Unit Linear Threshold Unit
input
IF-UTAMA
37
IF-UTAMA
38
Model sel syaraf (dengan menyertakan threshold)
Artificial Neuron Model
• Neuronj menghitung tingkat aktivasinya :
• Dengan f adalah satu dari beberapa fungsi aktivasi yang ada IF-UTAMA
IF-UTAMA
39
IF-UTAMA
40
10
5/9/2012
Model sel syaraf (dengan menyertakan nilai bias)
McCulloch Pitts • Fungsi aktivasi biner • Besar bobotnya sama • Memiliki threshold yang sama
IF-UTAMA
X1
1
Y X2
1
X1 1 1 0 0
AND X1 0 0 1 1
X2 0 1 0 1
Y 0 0 0 1
X2 1 0 1 0
net 1.1+1.1=2 1.1+0.1=1 0.1+1.1=1 0.1+0.1=0
Y(1 jika net>=2, 0 jika net<2) 1 0 0 0 X1
1
Y
2
X2
1
Threshold=2
Ternyata BERHASIL mengenali pola IF-UTAMA
43 IF-UTAMA
IF-UTAMA
42
Problem “AND”
The first Neural Networks Fungsi AND
IF-UTAMA
41
44
11
5/9/2012
Problem “OR”
The first Neural Networks
X1
X1 0 0 1 1
2
Y X2
2
X1 1 1 0 0
OR
Fungsi OR
X2 0 1 0 1
Y 0 1 1 1
X2 1 0 1 0
net Y(1 jika net>=1, 0 jika net<1) 1.1+1.1=2 1 1.1+0.1=1 1 0.1+1.1=1 1 0.1+0.1=0 0 X1
1
Y
1
X2
1
Threshold=2
Ternyata BERHASIL mengenali pola IF-UTAMA
45 IF-UTAMA
Problem “X1 and not(X2)”
The first Neural Networks Fungsi AND-NOT X1
2
Y X2
-1
X1 1 1 0 0
AND-NOT X1 0 0 1 1
X2 0 1 0 1
Y 0 0 1 0
X2 1 0 1 0
net 1.2+1.-1=1 1.2+0.-1=2 0.2+1.-1=-1 0.2+0.-1=0
Y(1 jika net>=2, 0 jika net<2) 0 1 0 0 X1
2
Y
2
X2
-1
Threshold=2
Ternyata BERHASIL mengenali pola IF-UTAMA
47 IF-UTAMA
IF-UTAMA
46
48
12
5/9/2012
Tabel
The first Neural Networks Fungsi XOR 2
X1
Z1
XOR 2
-1
Y -1
X2
Z2
2
2
Threshold=2
X1 0 0 1
X2 0 1 0
Y 0 1 1
1
1
0
Threshold=2
X1 XOR X2 = (X1 AND NOT X2) OR (X2 AND NOT X1) IF-UTAMA
49 IF-UTAMA
ARTIFICIAL INTELLIGENCE AND NEURAL NETWORKS
Referensi 1.
Parameter
Artificial Intelligence
Neural Networks
2.
Level of Explanation Symbolic Parallel distributed representation with processing (PDP) sequential processing
3.
Processing Style
Sequential
Parallel
Representational Structure
Quasi-linguistic structure
Poor
Summary
Formal manipulation of algorithm and data representation in top down fashion
Parallel distributed processing with natural ability to learn in bottom up fashion
IF-UTAMA
4.
Erlin Windia Ambarsari, ST.-. Pengenalan Jaringan Syaraf Tiruan. Universitas Indraprasta PGRI -.-. Pengantar Jaringan Syaraf Tiruan. [online] url: http://repo.kuliah.uajy.ac.id/40/pertemuan_5_pengantar_J ST.ppt, Tanggal Akses: 7 Mei 2011 Antonie.-. Jaringan Syaraf Tiruan.[online] url : http://lecturer.ukdw.ac.id/anton/download/AI/Jaringan%20 Syaraf%20Tiruan.ppt, Tanggal Akses: 7 Mei 2011 Tom M. Mitchell. 1997. Machine Learning. Mc-Graw Hill
51
IF-UTAMA
IF-UTAMA
50
52
13
