Intelligens Rendszerek Elmélete dr. Kutor László :
Versengéses és önszervező tanulás neurális hálózatokban http://mobil.nik.bmf.hu/tantargyak/ire.html Login név: ire 2008. ősz
jelszó: IRE07 BMF NIK,
IRE 9/1
dr. Kutor László
Versengéses (competitive) tanulás Carpenter, Grossberg 1988 I1 Processzor I i IN
Sj f
Oj = f (Sj)
Sj= ∑ Ii * wji
1
f (Sj)
Sj
Topológia: egy rétegű előrecsatolt, teljesen összekötött Megkötések: 1.) ∑ wji= 1 2.) Súly értékek: 0<Wj<1 3.) A bemenő vektor bináris 2008. ősz
BMF NIK,
dr. Kutor László
IRE 9/2
A versengéses tanító algoritmus (Grossberg)
Mottó:
A győztes visz mindent 1. Kezdeti súlytényezők beállítása (inicializálás, véletlenszerű) 0<Wj<1 2. A tanítóminta i-ik értéke (vektora) alapján, a processzorok kimeneti
Sj= ∑ Oi * wji, Oj = f (Sj) 3. A legnagyobb kimeneti értékű processzor kiválasztása. A győztes visz értékeinek kiszámítása.
mindent elv alapján, a győztes kimeneti értéket 1-re, az összes többi kimeneti értéket 0-ra változtatjuk 3. A győztes elem súlytényezőit megváltoztatjuk (csak azokat!)
Δ Wji (t+1) = Wji (t) + Δ wji, Δwji = α (Oi/m-wji(t)) ahol α = tanulási együttható, 0 < α << 1 (tipikusan 0.01-0.3) m = az aktív bemenetek száma 5. A 2. 3. 4. pont ismétlése amíg a kimenetek két egymást követő tanítási ciklus során nem változnak. IRE 9/3 2008. ősz BMF NIK, dr. Kutor László
Kohonen önszervező hálózata (Teuvo Kohonen, 1982) Processzor:
Sj f
Oj = f (Sj)
1
f (Sj)
1
Sj= ∑ Ii * wji + társ processzorok aktivációja
Sj
Hálózat topológia: egy rétegű, teljesen összekötött, előrecsatolt
2008. ősz
BMF NIK,
dr. Kutor László
IRE 9/4
A Kohonen tanító algoritmus 1.) Kezdeti súlytényezők beállítása Kezdeti környezet beállítása 2.) A bemeneti vektor (tanító minta) j rákapcsolása a bemenetekre 3.) Minden processzor elemnél a bemenő vektor és a súlyvektor egyezésének (távolságának) kiszámítása dj = ║I-Wj║ = ∑ (Ii-Wji)2 ahol N = a bemeneti vektor elemeinek száma Ii = a bemeneti vektor (I) i-ik elemének értéke Wji = a j –ik processzor elemhez tartozó, az i-ik bemenettől érkező összeköttetés súlytényezője
4.) A legkisebb eltérést mutató processzor kiválasztása (pl. j) 5.) A kiválasztott elem (j) környezetében (Nj) a súlytényezők módosítása 6.) A 2., 3., 4., 5.-ik lépés ismétlése amíg a kimenetek nem változnak IRE 9/5 2008. ősz BMF NIK, dr. Kutor László
A súlytényező megváltoztatása a Kohonen tanuló algoritmusban Wji (t+1) = Wji (t) + ΔWji (t) Ahol ΔWji (t) = α (Ii –Wji) α (t) = α (0)(1 – t/T), t = az adott tanulási iteráció száma T= a teljes tanulási ciklusok száma
A tanulás során módosított környezet nagysága csökken! Nj (t) = N(0)(1-t/T)
2008. ősz
BMF NIK,
dr. Kutor László
IRE 9/6
Mikor célszerű neurális hálózatokat alkalmazni? A megoldandó problémával kapcsolatban gazdag adathalmaz áll rendelkezésre
A megoldáshoz szükséges szabályok ismeretlenek A rendelkezésre álló adathalmaz nem teljes, hibás adatokat is tartalmazhat
Sok összefüggő bemenő adat-, összefüggő kimeneti paraméter áll rendelkezésre 2008. ősz
BMF NIK,
dr. Kutor László
IRE 9/7
Az „önszerveződés” folyamata a Kohonen hálózatban
A véletlenszerűen beállított súlytényezők a tanulás során egyre inkább felveszik a tanítóminta statisztikai eloszlását.
2008. ősz
BMF NIK,
dr. Kutor László
IRE 9/8
Példák 3D-s tárgyak leképezésére 2D-be Bemenetek száma: 3 Tanítóminta: 1000
2008. ősz
BMF NIK,
Kimenetek száma: 20 Tanítási ciklus: 15-30
dr. Kutor László
IRE 9/9
Kohonen fonetikus írógépe
Jellemzői: 5.4 KHz aluláteresztő szűrő, 12 bit A/D, 13.03 KHz mintavétel, 256 pontos Fourier transzformáció (FFT) Fonémák kézi azonosítása a tanításhoz, Szabály alapú következtetés (15-20 ezer szabály) TMS 32010 digitális processzor Közel folyamatos beszéd feldolgozás 92-97%- os pontosság 2008. ősz
BMF NIK,
dr. Kutor László
IRE 9/10
Asszociatív tár „Hopfield” hálózattal (John Hopfield, 1982)
2008. ősz
BMF NIK,
dr. Kutor László
IRE 9/11
Neurális hálózatok alkalmazásának menete
2008. ősz
Feladatspecifikus neurális hálózat (paradigma) kiválasztása. A hálózat jellemzőinek (a processzorok átviteli függvényének, a processzorok számának, a tanítási módszereknek és paramétereknek, valamint a kezdeti súlymátrix értékeinek) kiválasztása. A tanító adatok összeállítása. Tanítás és tesztelés, amíg a hálózat a kívánt viselkedést nem mutatja. BMF NIK,
dr. Kutor László
IRE 9/12
A neurális hálózat tervezésének lépései Reprezentatív tapasztalati adat gyűjtése (bemeneti adatok és elvárt válaszok)
Megfelelő neurális paradigma kiválasztása Rendszer paraméterek kiválasztása Teljesítmény mérő módszer kiválasztása A rendszer tanítása és tesztelése (amíg az elvárt eredményhez nem jutunk) 2008. ősz
BMF NIK,
dr. Kutor László
IRE 9/13
Eldöntendő jellemzők a neurális hálózatok tervezésénél Processzor szinten: - a processzor átviteli függvénye - a bemenő jelek típusa Hálózat szinten: - a hálózat topológiája - rétegelt struktúránál a rétegek száma - processzorok száma a különböző rétegekben - processzorok típusa a különböző rétegekben Tanítási szinten - tanító algoritmus - tanítási paraméterek (pl.: α, β,….) - a tanítás megállásának feltételei 2008. ősz
BMF NIK,
dr. Kutor László
IRE 9/14
Neurális hálózatok
Szakértői rendszerek
Nincs tudás-hozzáférési probléma Dinamikus tudásábrázolás Minta kiegészítő képesség (általánosítás = generalizás)
Robusztus (nem érzékeny az adatvesztésre) Interpolálni képes Többet „tudhat” mint ami az adatokból látszik Nincs magyarázatadás Nincs igazoló képessége 2008. ősz
BMF NIK,
Nehéz a tudás megszerzése Statikus(abb) tudásábrázolás Feltételezzük az adatok hibátlanságát és ellentmondás mentességét Érzékeny az adatvesztésre Nincs intuitív képessége Legfeljebb olyan jó lehet mint a szakértő Részletes magyarázat kérhető A döntéseket viszonylag könnyű igazolni.
dr. Kutor László
IRE 9/15
