Intelligens Rendszerek Elmélete Dr. Kutor László
A mesterséges neurális hálózatok alapfogalmai és meghatározó elemei
http://mobil.nik.bmf.hu/tantargyak/ire.html Login név: ire 2009. ősz
jelszó: IRE07 BMF NIK,
Dr. Kutor László
IRE 7/1
Neurális hálózatok Az információ feldolgozás új (?) paradigmája A biológiai inspirációjú információ feldolgozás, a „soft computing” egyik területe, ahol modellként az idegrendszer struktúráját és működését vesszük alapul. A tudományterület a kezdeti stádiumban van, mégis számos alkalmazási területen az egyszerűsített modellekkel is jobb eredmények érhetőek el mint a „hagyományos” algoritmikus megoldásokkal.
2009. ősz
BMF NIK,
Dr. Kutor László
IRE 7/2
A neurális hálózatok általános jellemzői 1. A neurális hálózatok nagyon egyszerű processzorokból, az un.
neuronokból épülnek fel. A processzorok változtatható súlytényezőjű összeköttetések hálózatán át kommunikálnak egymással. 2. A neurális hálózatokat nem programozzuk, hanem tanítjuk. 3. A tárolt információk a hálózatban elosztottan, a súlytényezők közvetítésével ábrázolódnak. 4. A neurális hálózatok hibatűrők. Az elosztott párhuzamos tudásreprezentáció miatt a súlytényezők egy részének jelentős megváltozása sem befolyásolja alapvetően a hálózat működését. 5. A hálózat működését három fő tényező határozza meg: A processzorok átviteli függvénye, a hálózat összeköttetési sémája és a tanítási módszer IRE 7/3 2009. ősz BMF NIK, Dr. Kutor László
Az első mesterséges neurális hálózat: a Perceptron Frank Rosenblatt (1957) Vetített nyomtatott betűk felismerése tanítás alapján • 20 x 20 fotóérzékelő • Mc. Culloch-Pitts neuronok • Előrecsatolt egyrétegű hálózat I1 O1
I400 2009. ősz
O36 BMF NIK,
Dr. Kutor László
IRE 7/4
Alkalmazási példa 1/1. Masa Péter Cenr 199x
2009. ősz
BMF NIK,
Dr. Kutor László
IRE 7/5
Alkalmazási példa 1/2. Osztályozandó minták:
2009. ősz
BMF NIK,
Dr. Kutor László
IRE 7/6
Alkalmazási példa 1/3. Megkülönböztetendő minták 3 dimenzió esetén
2009. ősz
BMF NIK,
Dr. Kutor László
IRE 7/7
Alkalmazási példa 1/3. Megkülönböztetendő minták:
2009. ősz
BMF NIK,
Dr. Kutor László
IRE 7/8
Alkalmazási példa 1/4. A megvalósított áramkör
2009. ősz
BMF NIK,
Dr. Kutor László
IRE 7/9
Alkalmazási példa 1/5. A neurális megoldás teljesítmény mutatói
2009. ősz
BMF NIK,
Dr. Kutor László
IRE 7/10
Neurális hálózatok alapfogalmai Gyakori elnevezések: Neural Networks Artificial Neural Networks Artificial Neural Systems Connectionist Modells Parallel Distributed Processing Neural Computers
Neurális hálózatok NN Mesterséges neurális hálózatok ANN Mesterséges neurális rendszerek ANS Konnekcionista modellek Páthozamos elosztott feldolgozás PDP Neuronszámítógépek ANN CNN
2009. ősz
BMF NIK,
Cellular Neural Network L.O. Chua, L.Yang, T. Roska 1988 Lokális kapcsolatok Analóg áramkörök
Dr. Kutor László
IRE 7/11
Természetes idegi hálózatok kapcsolódása
2009. ősz
BMF NIK,
Dr. Kutor László
IRE 7/12
A természetes idegi hálózatok tanulságai A feldolgozás nem univerzális! (A hálózat típusa határozza meg a működést!) A működés párhuzamos és hierarchikus (hagymahéj model)
„Brodmann” agyterületek 2009. ősz
BMF NIK,
http://spot.colorado.edu/~dubin/talks/brodmann/brodmann.html Dr. Kutor László
IRE 7/13
Az emlékezés kapcsolatrendszere
National Geographic 2007 november 2009. ősz
BMF NIK,
Dr. Kutor László
IRE 7/14
Az agyterületek működésének MRI + PET képe Írott szöveg olvasása Szöveg kimondása Szöveg értelmezése
Mark Dubin, U. of Colorado Principles of Neural Science E. Kandel, J. Schwartz, T. Jessel 2009. ősz
BMF NIK,
IRE 7/15
Dr. Kutor László
A McCulloch és Pitts formális neuron W. Mc Culloch és W. Pitts (1943)
„Először tekintették az agyat számításokat végző szervnek” I1 I2
In-1
wj1
j
wj2
Sj T
I – ingerfelvevők (bemenet) wji súlytényezők Oj T – Árviteli (Transzfer) függvény n
S j = ∑ w ji I i
wjn
i =1
Oj = 0 ha Sj <= 0
In
Oj = +1 ha Sj > 0
IB 2009. ősz
BMF NIK,
Dr. Kutor László
IRE 7/16
Alapfeltevések a formális neuron megfogalmazásakor Az idegsejt működése „minden vagy semmi jellegű” Az idegsejt ingerületbe hozásához bizonyos időn
belül néhány (legalább 2(!?)) bemenetet ingerelni kell
Az idegrendszerben az egyetlen jelentős késleltetés a szinapszisoknál jön létre
Bármely gátló szinapszis működése teljesen
megakadályozza az idegsejt ingerületbe kerülését
!?
Az idegrendszer összeköttetési hálózata az időben nem változik
2009. ősz
BMF NIK,
Dr. Kutor László
IRE 7/17
Logikai műveletek McCulloch-Pitts neuronokkal O3 1 O1 1 2 3 O2 O (t) = O (t-1) 2 2 1 O1 O3 (t) = O1(t-1) z O2(t-1) 1 O3 3 O O2 1 1 O3 2 3 O3 (t) = O1(t-1) + O2(t-1) O2 2 O (t) = O (t-1) z O (t-1) 3 1 2 O 1 1 O3 3 O3 (t) = O1(t-1) z O2(t-1) 2 O 2 De Morgan !!! serkentés gátlás O1
2009. ősz
O2
BMF NIK,
Dr. Kutor László
IRE 7/18
A neurális hálózatok legfontosabb meghatározó tényezői 1. A neuronok (processzorok) (neuron, artificial neuron, node, unit, cell) 2. A hálózati topológia („mit mivel kötünk össze”, (súlytényező mátrix) 3. A tanító szabályokat alkalmazó algoritmus („súlytényezők beállítása, hangolása”)
2009. ősz
BMF NIK,
IRE 7/19
Dr. Kutor László
Az alap „neuron”(processzor) felépítése n
I1 I2
wj1
i O Ii i
In-1
j
wj2 wji
S j = ∑ w ji I i
Sj T wjn
i =1
Oj
i
Wji
j
In IB I – bemenet), wji súlytényezők, T – Átviteli (Transzfer) függvény IRE 7/20 2009. ősz BMF NIK, Dr. Kutor László
Leggyakrabban használt átviteli függvények 1. Ugrás függvény: Oj = 0 vagy -1, ha S <= 0, Oj = 1 ha S > 0 1
1
S
S
2. Korlátozott lineáris függvény -1 Oj = 0, ha S <= 0, 1 Oj = S ha 0 <= S < 1 Oj = 1 ha S > 1 0 1 3. Szimoid függvény Oj = 1 - 1/(1+S) ha S >= 0 Oj = 1/(1+e-Sj) Oj = -1 + 1/(1-S) ha S < 0 1 1 S -1 2009. ősz
BMF NIK,
S
IRE 7/21
Dr. Kutor László
Tipikus neurális hálózat összeköttetések 1. Előrecsatolt (rétegelt) neurális hálózat
(topológia)
Kimenetek
Bemenetek bemeneti réteg „rejtett” réteg
kimeneti réteg
„súlytényező” 2009. ősz
BMF NIK,
Dr. Kutor László
IRE 7/22
Az előrecsatolt hálóztok alternatív ábrázolása I1
I2
Ii
Súlymátrix
In-1 In
O1 O2 Oj Om
w1n w2n wjn wmn
O = f (S) S=I*W Mátrix műveletek !
súlytényező 2009. ősz
w11 w12 w1i w21 w22 w2i wj1 wj2 wji wm1wm2wmi
BMF NIK,
Dr. Kutor László
IRE 7/23
Visszacsatolt neurális hálózat Rétegelt
I1 I2
1
Teljesen összekötött
I3
i j
2
k
3 2009. ősz
BMF NIK,
Oi Oj
O = I x W1+ O x W2
Ok Dr. Kutor László
IRE 7/24
A tanító adatok szerkezete Benenő adatok
Elvárt kimenő adatok „célértékek” C1 Cm
Bemenetek 1-n
c1
NH n
m
cm
Teszt adatok Tanító minták 1-k 2009. ősz
BMF NIK,
Dr. Kutor László
IRE 7/25
Tanítási szabályok 1. Tanítás = súlytényezők (kis lépésekkel (?) való) beállítása Tanítási típusok: 1. Felügyelt (felügyeletes) tanítás 2. Felügyelet nélküli (önszerveződő) tanítás Alap tanítási szabályok: i O i
wji j Oj
i O i
wji j Oj Cj
2009. ősz
Hebb szabály (Donald O. Hebb) wji(t+1) = wji (t) + α* Oi * Oj ahol α = tanítási tényező, 0 <= α <= 1
Delta szabály (Widrow- Hoff) wji(t+1) = wji (t) + α * Oi * (Cj – Oj) ahol Cj – Oj= Δj BMF NIK,
Dr. Kutor László
IRE 7/26
Mottó:
A felügyeletes tanítás lényege, algoritmusa
Addig változtatjuk a súlytényezőket, amíg a bemenő mintákra a hálózat a megfelelő-, előre kiszámított válaszokat nem adja. Algoritmusa: 1. Kezdeti súlytényezők beállítása 2. A tanítóminta bemeneti értéke alapján a hálózat kimeneti értékének kiszámítása. 3. A tanítóminta célértékének összehasonlítása a hálózat célértékével. 4. Szükség esetén a hálózat súlytényezőinek módosítása. 5. A tanítás folytatása mindaddig, amíg a hálózat az összes tanítómintára – egy előre rögzített hibahatárnál kisebb hibával a célértéknek megfelelő kimeneti értéket nem tudja előállítani. IRE 7/27 2009. ősz BMF NIK, Dr. Kutor László