Architecture Net, Simple Neural Net
1
Materi 1. Perceptron 2. ADALINE 3. MADALINE
2
Perceptron Perceptron lebih powerful dari Hebb Pembelajaran perceptron mampu menemukan konvergensi terhadap bobot yang benar Fungsi aktivasi :
Update bobot = learning rate 3
Arsitektur Perceptron
Output : vektor biner Goal : klasifikasi setiap input ke dalam kelas +1 atau -1
4
Algoritma Perceptron Inisialisasi bobot dan bias (w=b=0) dan 0 < <= 1 (=1) Ulangi sampai sesuai kondisi kriteria berhenti
Untuk setiap pasangan s:t, lakukan
Set aktivasi input xi = si Hitung
Update bobot dan bias jika terjadi kesalahan
Evaluasi kriteria berhenti
Jika bobot tidak berubah maka berhenti, jika tidak maka lanjutkan 5
Fungsi AND
(biner input & bipolar target)
Inisialisasi: = 1, w=b=0, = 0.2 Epoch = 1
Epoch = 2
6
Fungsi AND
(bipolar input & target)
Inisialisasi: = 1, w=b==0 Epoch = 1
Epoch = 2
7
Latihan
8
Arsitektur Pengenalan 7 Huruf
9
ADALINE (Adaptive Linear Neuron) Biasanya menggunakan bipolar dan bias Random bobot awal dengan bilangan kecil Dilatih menggunakan aturan delta/LMS dengan meminimalkan MSE antara fungsi aktivasi dan target Fungsi aktivasi : identitas / linier
Update bobot
= learning rate
10
Arsitektur ADALINE
Output : vektor biner Goal : klasifikasi setiap input ke dalam kelas +1 atau -1
11
Algoritma Training ADALINE Inisialisasi bobot
Biasanya digunakan nilai random yang kecil
Inisialisasi learning rate ()
Biasanya digunakan nilai yang relatif kecil, yaitu 0.1 Jika nilai terlalu besar, proses learning tidak mencapai konvergen Jika nilai terlalu kecil, proses learning akan berjalan sangat lambat Secara praktis, nilai learning rate ditentukan antara 0.1 ≤ n ≤ 1.0, dimana n adalah jumlah input unit
Ulangi sampai sesuai kondisi kriteria berhenti
Untuk setiap pasangan s:t, lakukan
Set aktivasi input xi = si Hitung
Update bobot dan bias
12
Algoritma Testing ADALINE Inisialisasi bobot
Dapatkan bobot dari proses learning
Untuk setiap bipolar input pada vektor x
Set aktivasi dari input unit ke x
Hitung nilai jaringan dari input ke output
Terapkan fungsi aktivasi
13
Fungsi AND
(biner input & bipolar target)
ADALINE didesain untuk menemukan bobot yang bertujuan meminimalkan total error
net input to output
target
14
MADALINE (Many Adaptive Linear Neuron) Konsep ADALINE yang menggunakan jaringan multilayer Arsitektur MADALINE tergantung pada kombinasi ADALINE yang digunakan MADALINE dengan 1 hidden layer (terdiri dari 2 hidden unit ADALINE) dan 1 output unit ADALINE
Fungsi aktivasi untuk hidden dan output layer:
15
Arsitektur MADALINE
Y merupakan fungsi nonlinier dari input vektor (x1 dan x2)
16
Algoritma Training MADALINE MRI (Widrow dan Hoff) Inisialisasi bobot 1 2
1 2
1 2
v1 = , 𝑣2 = , 𝑏3 =
Bobot yang lain menggunakan bilangan random yang kecil nilai learning rate ditentukan antara 0.1 ≤ n ≤ 1.0
Untuk setiap bipolar input pada vektor x
Set aktivasi dari input unit ke x Hitung masukan jaringan ke setiap hidden unit
zin 1 = 𝑏1 + 𝑥1 𝑤11 + 𝑥2 𝑤21 zin 2 = 𝑏2 + 𝑥1 𝑤12 + 𝑥2 𝑤21
Tentukan output dari setiap hidden unit
𝑧1 = 𝑓(𝑧𝑖𝑛 𝑖 ) 𝑧2 = 𝑓(𝑧𝑖𝑛 𝑖 ) 17
Algoritma Training MADALINE MRI (Widrow dan Hoff)
Untuk setiap bipolar input pada vektor x
Tentukan keluaran dari jaringan
yin = b3 + z1 v1 + z2 v2 y = f yin
Hitung error dan update bobot, jika t=y maka bobot tidak di-update Jika t=1, update bobot pada Zj
bJ (new) = bJ (old) + ∝ (1 – zin J ) wiJ new = wiJ old + ∝ 1 – zin J xi
Jika t=-1, update bobot pada semua unit Zk yang punya input positif
bk (new) = bk (old) + ∝ (−1 – zin k ) wik (new) = wik (old) + ∝ −1 – zin k xi 18
Algoritma Training MADALINE MRII (Widrow, Winter dan Baxter) Inisialisasi bobot 1 2
1 2
1 2
v1 = , 𝑣2 = , 𝑏3 =
Bobot yang lain menggunakan bilangan random yang kecil nilai learning rate ditentukan antara 0.1 ≤ n ≤ 1.0
Untuk setiap bipolar input pada vektor x
Set aktivasi dari input unit ke x Hitung masukan jaringan ke setiap hidden unit
zin 1 = 𝑏1 + 𝑥1 𝑤11 + 𝑥2 𝑤21 zin 2 = 𝑏2 + 𝑥1 𝑤12 + 𝑥2 𝑤21
Tentukan output dari setiap hidden unit
𝑧1 = 𝑓(𝑧𝑖𝑛 𝑖 ) 𝑧2 = 𝑓(𝑧𝑖𝑛 𝑖 ) 19
Algoritma Training MADALINE MRII (Widrow, Winter dan Baxter
Untuk setiap bipolar input pada vektor x Tentukan keluaran dari jaringan yin = b3 + z1 v1 + z2 v2 y = f yin
Hitung error dan update bobot, jika t≠y maka laukan update bobot untuk setiap hidden unit dengan input mendekati 0
Ubah keluaran unit (dari +1 menjadi –1, atau sebaliknya) Hitung kembali respon dari jaringan. Jika kesalahan berkurang: Sesuaikan bobot pada unit ini (gunakan nilai keluaran yang baru sebagai target dan lakukan aturan Delta)
bJ (new) = bJ (old) + ∝ (1 – zin J ) wiJ new = wiJ old + ∝ 1 – zin J xi
bk (new) = bk (old) + ∝ (−1 – zin k ) wik (new) = wik (old) + ∝ −1 – zin k xi 20
Algoritma Testing MADALINE Inisialisasi bobot
Dapatkan bobot dari proses learning
Untuk setiap bipolar input pada vektor x
Set aktivasi dari input unit ke x
Hitung nilai jaringan dari input ke output
Terapkan fungsi aktivasi
21
Contoh Aplikasi fungsi Xor
Inisialisasi Bobot dg random, learning rate = 0.5
22
Contoh Aplikasi fungsi Xor
23
Contoh Aplikasi fungsi Xor
24
