Budapesti Műszaki és Gazdaságtudományi Egyetem Villamosmérnöki és Informatikai Kar Méréstechnika és Információs Rendszerek Tanszék
Doktori (PhD) értekezés
Eljárások és hibakorlátok lágy számítási módszerek anytime rendszerekben való alkalmazásához
Takács Orsolya Témavezető: Várkonyiné-Kóczy Annamária 2004
Alulírott Takács Orsolya kijelentem, hogy ezt a doktori értekezést magam készítettem és abban csak a megadott forrásokat használtam fel. Minden olyan részt, amelyet szó szerint, vagy azonos tartalomban, de átfogalmazva más forrásból átvettem, egyértelműen, a forrás megadásával megjelöltem.
Budapest, 2004.05.04.
Takács Orsolya
Az értekezés bírálatai és a védésről készült jegyzőkönyv a Budapesti Műszaki és Gazdaságtudományi Egyetem Villamosmérnöki és Informatikai Karának Dékáni Hivatalában elérhető.
Köszönetnyilvánítás Ezúton fejezem ki köszönetemet Várkonyiné Kóczy Annamáriának, témavezetőmnek, értékes szakmai útmutatásáért és kutatásaim, doktoranduszi tanulmányaim támogatásáért. Köszönöm Baranyi Péternek szakmai tanácsait és segítségét, melyet az SVD-alapú komplexitás-csökkentő algoritmusokkal való megismerkedésemhez nyújtott. Szeretnék köszönetet mondani a Méréstechnika és Információs Rendszerek Tanszék munkatársainak, a tanszék intellektuális és egyben baráti légköre nagymértékben hozzájárult kutatásaim sikeréhez. Köszönöm Akira Ichikawa professzor úrnak, hogy fogadott a Shizuoka University egyetemen, az ott töltött nyugodt szemeszter nélkül ez a disszertáció nem készülhetett volna el. És végezetül, de valójában elsősorban, szeretnék megköszönni mindent Édesanyámnak, aki minden lehetséges módon támogatott és segített.
Tartalom Tartalom ................................................................................................................................ 1 1. Bevezetés ........................................................................................................................... 2 2. Alapfogalmak és algoritmusok bemutatása......................................................................... 7 3. Fuzzy rendszerek SVD-alapú komplexitás-csökkentésével kapcsolatos eredmények ........ 18 3.1. SVD-alapú komplexitás-csökkentés hibakorlátja PSGS-rendszerekre, nemlineáris antecedens halmazok esetén ............................................................................................. 18 3.2. Majdnem PSGS fuzzy rendszerek SVD-alapú komplexitás-csökkentése.................... 22 3.3. SVD-alapú mátrixredukció javított hibakorlátja ......................................................... 30 3.4. Összefoglalás ............................................................................................................ 32 4. Általánosított fuzzy-neurális háló nem pontos redukciója ................................................. 34 4.1. Alapfogalmak............................................................................................................ 35 4.2. Szingleton-alapú általánosított fuzzy-neurális háló (SGNN) nem-pontos komplexitás csökkentésének hibakorlátja ............................................................................................. 45 4.3. Nem szingleton-alapú általánosított fuzzy-neurális háló (NGNN) nem-pontos komplexitás csökkentésének hibakorlátja ......................................................................... 48 4.4. Összefoglalás ............................................................................................................ 54 5. Lágy számítási eszközök anytime rendszerekben.............................................................. 55 5.1. Lágy számítási eszközök alkalmazása szerződés-típusú anytime algoritmusként........ 57 5.2. PSGS fuzzy rendszerek transzformálása iteratív módon kiértékelhető formába .......... 62 5.3. Összefoglalás ............................................................................................................ 66 6. Példák .............................................................................................................................. 67 6.1. Az emberi hallás PSGS fuzzy modelljének SVD-alapú komplexitás-csökkentése ...... 67 6.2. Az emberi hallás modelljének majdnem PSGS modellje ............................................ 74 6.3. Egyszerű dinamikus rendszerek kiértékelése moduláris anytime architektúrában ....... 76 6.4. Az emberi hallás modelljének iteratív kiértékelése..................................................... 88 6.5. Dinamikus rendszer iteratív kiértékelése.................................................................... 91 7. Az értekezés eredményeinek alkalmazási kérdései ........................................................... 95 8. Összefoglaló áttekintés..................................................................................................... 98 8.1. Az értekezés legfontosabb megállapításai .................................................................. 98 8.2. Az értekezés új tudományos eredményei ................................................................. 100 8.3. Az értekezésben érintett, további vizsgálatot igénylő témakörök.............................. 101 Függelék - Fontosabb jelölések jegyzéke............................................................................ 103 Irodalomjegyzék ................................................................................................................ 107
1
1. Bevezetés A fuzzy halmazelmélet és az erre támaszkodó algoritmusok és alkalmazások viszonylag rövid múltra tekinthetnek vissza. Bár a kétértékű logika korlátainak felismerése az ókorig vezethető vissza – „homokkupac-paradoxon” – és a XX. század első felében Łukasiewicz által megalkotott többértékű logikák –melyek közül az L1 végtelen-értékű logika izomorf az eredeti max, min, 1-a operátorokkal értelmezett fuzzy halmazelmélettel - joggal tekinthetők a fuzzy elmélet közvetlen előzményeinek, a fuzzy halmazelmélet logikai rendszerét L.A. Zadeh alapozta meg 1965-ben megjelent „Fuzzy Sets” című cikkével [1]. A fuzzy elmélet matematikai alapjait Dubois és Prade [2-3], illetve Klement [4] dolgozták ki, elsősorban mértékelméleti oldalról közelítve. A következő mérföldkövet Zadeh 1973-as cikke jelenti [5], melyben bevezette a nyelvi változók fogalmát. A fuzzy nyelvi változókat a klasszikus logikán alapuló következtető rendszerekkel ötvözve lehetővé válik a klasszikus halmazelméleti és logikai eszközökkel nem jól kezelhető fogalmak (pl. kevés, fiatal, gyors, stb.) leírása és kezelése [6-8]. Az If … then szabályokat használó fuzzy következtető rendszereken alapuló modellezési technikák lehetővé tehetik olyan bonyolult, nem-lineáris folyamatok, rendszerek modellezését, melyek pontos matematikai modellje nem ismert. 1974-ben Mamdani egyszerűsített számítási algoritmust javasolt, mely a fuzzy reláció helyett annak hengeres lezártjának számításán alapult [9]. Bár az úgynevezett individuális szabály alapú következtetés alkalmazásával a használható modellek köre szűkül, a számítások komplexitása jelentősen csökken, így a későbbiekben főként ez a módszer terjedt el. Mamdani nevéhez fűződik az egyik első sikeres alkalmazás is: egy nemlineáris – hagyományos technikákkal addig csak kevésbé sikeresen szabályozott - gőzgépes rendszert sikerült az általa javasolt módosított technikával szabályoznia. Később Larsen az eredeti max-min operátorok helyett algebrai szorzat alkalmazását javasolta, mely később megkönnyítette az algoritmusok matematikai analízisét [10]. A tisztán fuzzy rendszerek egy hátránya, hogy az alapvetően „crisp” változókkal dolgozó környezetükhöz való illeszkedéshez fuzzifikáló és defuzzifikáló algoritmusokra van szükség. Ezt a problémát kiküszöbölendő, Takagi és Sugeno 1985-ben megalkotta a később TakagiSugeno néven ismertté vált következtető rendszert, melyben a fuzzy halmazok helyett a crisp bemenő változók függvénye kerül a szabályok következményrészébe [11].
2
A fuzzy elméleten alapuló alkalmazások elterjedését segítette, hogy az 1970-es évektől különböző módszerek jelentek meg fuzzy szabálybázisok tanító algoritmus segítségével történő hangolására [12-14], így fuzzy rendszerek megalkotásakor már nemcsak szakértői tudás, hanem mintákban tárolt információk is felhasználhatók lettek. A legelterjedtebb technikák közé tartozik a hiba-visszaterjesztéses módszer (back-propagation algorithm) és a legkisebb négyzetek módszere (least squares method) [15]. Az így kapott, numerikus adatok alapján felépíthető fuzzy rendszerek egyre nagyobb szerepet kaptak különböző szabályozó rendszerekben [13,14]. A tanítható, ám működésükben „hagyományos” fuzzy rendszerek mellett megjelentek a kombinált, fuzzy-neurális rendszerek is, melyek a fuzzy és neurális rendszerek előnyeit igyekeztek egyesíteni [16]. Az utóbbi évtizedekben a gyakorlati alkalmazások terén is nagy előrelépés történt. Az első kísérleti fuzzy irányítású járműveket 1985-ben készítették el [17,18], 1991-ben pedig Sugenonak sikerült a világon elsőként megvalósítania egy helikopter automatikus, vezető nélküli irányítását, szintén fuzzy algoritmusok segítségével [19]. Említést érdemel még az önjáró takarítógép, mely képes ismeretlen területet is bejárni, felderíteni [20]. A hétköznapi életben is számos fuzzy alkalmazást találhatunk, a vezetőnélküli metrótól [21,22] kezdve a háztartási gépeken át (mosógép, porszívó, rizsfőző, légkondicionáló, stb.) a fényképezésig és videózásig (automatikus fókuszálás és fénymérés, remegésgátlás, stb.). A kimondottan szabályozástechnikai alkalmazások mellett a fuzzy logika alkalmazásának másik ígéretes területe a szakértői, hibakereső rendszerek[23-25]. Ugyanakkor az egyre bonyolultabb alkalmazások, párosulva a korlátozott erőforrásokkal újabb kérdéseket vetettek fel, a fuzzy algoritmusok komplexitását illetően. Az ipari alkalmazások jelentős része működési körülményeit tekintve „real-time”, azaz az adatfeldolgozás eredményeinek minél hamarabb, de mindenképpen egy megadott időn belül kell rendelkezésre állnia. Jó példa erre egy ipari folyamatot irányító, felügyelő rendszer. Ezekben a leggyakrabban a folyamat ideális viselkedésének modelljét használják fel az optimális viselkedéstől való eltérés detektálására, és az eltérésekből egyben a hiba okára is következtetni lehet – azaz a rendszer nem csak arra lehet képes, hogy a rendellenes viselkedést jelezze, hanem egyben segítséget adhat a hibaelhárításhoz, vagy akár bizonyos esetekben maga is képes beavatkozni a rendszer működésébe. Komplex ipari rendszerek esetén azonban, a pontos fizikai-matematikai modell hiányában gondot okozhat a folyamat modelljének megalkotása, ezekben az esetekben jól alkalmazható egy tanító algoritmussal kombinált fuzzy vagy fuzzy-neurális rendszer. Ugyanakkor a modell kiértékelésének
3
párhuzamosan kell haladnia a rendszer működésével, amennyiben a modellezéshez használt algoritmus komplexitása túlságosan nagy, a felügyelő rendszer használhatatlan. A komplexitás kérdése összefügg az approximációs képességgel is. A fuzzy algoritmusok esetén ilyen irányú vizsgálatok az 1990-es években kezdődtek meg, Wang [26] és Kosko [27,28] a Mamdani-féle fuzzy következtető rendszer approximációs tulajdonságait vizsgálták. 1994-ben
El
Hajjaji
és
Rachid
megadták
a
Mamdani-féle
algoritmus
explicit
transzferfüggvényét [29], majd Kóczy adott hasonló eredményeket a Mamdani-, TakagiSugeno és Sugeno-módszerekre [30-33]. Kutatásai során azt is megmutatta, hogy a területközéppont (center of area - COA) és a súlyközéppont (center of gravity -COG) defuzzifikációs módszerek alkalmazása között a különbség gyakorlati szempontból elhanyagolhatóan kicsi, ugyanakkor a COA számítása lényegesen bonyolultabb. Az 1990-es évek második felében Moser, Tikk és Kóczy [30,34-37] kutatásai bebizonyították, hogy az addigi közhiedelemmel ellentétben, bizonyos fuzzy rendszerek univerzális approximátor volta nem áll fenn korlátozott szabályszám mellett. A gyakorlati alkalmazások szempontjából ez azt jelenti, hogy pontosabb közelítéshez több bemeneti fuzzy halmazra van szükség. A legelterjedtebb fuzzy következtető rendszerekre Kóczy adott uniform bonyolultsági kifejezéseket [38-43], melyekből látható, hogy a fuzzy rendszerek esetén a szabályszám, és így a komplexitás exponenciálisan nő a bemeneti fuzzy halmazok függvényében. További nehézséget jelent, hogy a fuzzy technikákat elsősorban olyan rendszerekben használják, melyek matematikai leírása nem ismert, így nincs általánosan használható eljárás az adott szintű approximációhoz szükséges bemeneti halmazok számának becslésére, illetve a bemeneti halmazok optimális elhelyezésére. Ezért gyakran a szükségesnél több bemeneti halmaz használata nagyméretű, redundáns szabálybázist eredményez, melynek gyakorlati alkalmazása idő-kritikus rendszerekben nehézségekbe ütközik. A komplexitás-probléma megoldása lehet a különböző komplexitás-csökkentő eljárások alkalmazása, melyeket alapvetően két csoportba sorolhatunk. Az első csoportba tartozó algoritmusok alternatív következtetési eljárások, csökkentett számítási igénnyel. Ilyen például Stoica eljárása, mely szakaszonként lineáris fuzzy halmazok esetén α -vágatonként számítja az eredményt [44], vagy Yu és Bien minimum távolság-alapú eljárása [45]. Végső soron maga a Mamdani-féle individuál szabálybázisú következtetés is tekinthető az eredeti algoritmus csökkentett számítási igényű alternatívájának. Az algoritmusok másik csoportja a már létrehozott fuzzy szabálybázis redukálására szolgál. Ezek olyan esetekben alkalmazhatók, mikor a behangolt szabálybázist működés közben már 4
nem szükséges módosítani, így lehetőség van azok redukálásával, ”tömörítésével” kisebb számítási kapacitású rendszerekben is alkalmazni azokat. Ide sorolható a szabályok egyes bemeneti változóinak összevonása [46], illetve a Sugeno által javasolt hierarchikus szabálybázis [20,47-50]. Mindkét csoportba besorolhatók a fuzzy interpolációs eljárások [5156], melyek a szabályok közti interpolációval lehetővé teszik a kevésbé lényeges szabályok elhagyását. Időkritikus alkalmazásokban egy további probléma lehet a működési feltételek működés közbeni változása. A fent említett ipari felügyelő rendszer esetén például egy meghibásodásra utaló mérési eredmény kiértékelése erőforrásokat vonhat el a rendszer más részeitől, köztük a folyamat modelljét kiértékelő modultól. A rendelkezésre álló erőforrások mennyiségén túl a rendelkezésre álló idő is változhat, például ha egy algoritmus kiértékelését vészhelyzetben a szokásosnál rövidebb idő alatt kell megoldani, a mérőberendezések vagy információs csatornák meghibásodása pedig a bemeneti adatok hiányához vezethet. Az ehhez hasonló események egy klasszikus rendszer esetén a rendszer által szolgáltatott adatok, információk minőségének kritikus csökkenéséhez, vagy akár rendszerleálláshoz is vezethetnek. A kritikus helyzetek megelőzését szolgálják az úgynevezett anytime technikák [57], melyek lehetővé teszik, hogy a rendszer rugalmasan reagáljon működési környezete változásaira, és elviselje az ideiglenes idő-, erőforrás vagy adathiányt. A kieső bemeneti adatokat elsősorban valamely predikciós technika alkalmazásával lehet pótolni, idő- vagy erőforráshiány
esetén
pedig
a
számítási
algoritmusok
komplexitásának
ideiglenes
csökkentése, illetve a megmaradt erőforrások optimális újraelosztása lehet a megoldás. Az időleges komplexitás-csökkentés természetesen a számítási pontosság időleges csökkenésével jár, fontos tehát, hogy a rendszer kimenetében így keletkező hibát előre becsülni lehessen. Az ipari alkalmazások komplexitása és időkritikus volta miatt kívánatos lenne, ha lehetséges lenne a fuzzy, illetve fuzzy-neurális eljárásokat az anytime technikákkal kombinálni. Ennek egyik legfőbb akadálya a bemenetszámmal exponenciálisan növő komplexitás és az adott pontosság eléréséhez szükséges komplexitás megbecsülésének nehézségei. Ezen gondok megoldásához szükséges a fuzzy, fuzzy-neurális rendszerek rugalmas, a tolerálható hiba függvényében változtatható komplexitás-csökkentése. Erre a célra az előbb említett komplexitás-csökkentést szolgáló eljárások második csoportjába tartozó algoritmusok lehetnek alkalmasak, azok között keresett a szerző olyan eljárást, mely a fuzzy, illetve fuzzy-neurális rendszerek széles spektrumára alkalmazható. Ennek a feltételnek megfelelnek a szinguláris érték felbontáson alapuló, úgynevezett SVDalapú (singular value decomposition) komplexitás-csökkentő eljárások. Az SVD-alapú 5
komplexitás-csökkentő algoritmust először Yam javasolta, fuzzy következtető rendszerek mintavétel alapján való létrehozására [58-59]. Később Baranyi és társai a módszert továbbfejlesztve alkalmassá tették azt különböző fuzzy következtető rendszerek, illetve általánosított fuzzy-neurális hálók komplexitásának csökkentésére [60-70]. A módszernek létezik kiterjesztése nagyon nagy méretű szabálybázisokra is [71], illetve van lehetőség a már redukált szabálybázisba újabb információ bevitelére [72-74]. Az SVD-alapú komplexitás-csökkentő algoritmusok előnye, hogy általában nem igénylik a következtetési eljárás megváltoztatását. A fuzzy következtető rendszerek széles csoportján kívül általánosított fuzzy-neurális hálókra is alkalmazhatóak, és nem igénylik a szabálybázis különleges tulajdonságait, sem emberi beavatkozást vagy heurisztikákat. Pontos redukcióra használva alkalmasak a szabálybázis vagy a fuzzy-neurális háló redundanciájának automatikus kiszűrésére – a szinguláris érték felbontásból adódóan ebből a szempontból két dimenziós esetben optimális eredményt ad [75]. További, nem-pontos redukció esetén pedig lehetőséget nyújtanak a tolerálható hiba függvényében történő komplexitás-csökkentésre. Ezen előnyös tulajdonságaiknak is köszönhető, hogy az elmúlt években több sikeres alkalmazásnál is igénybe vették az SVD-alapú redukciós eljárásokat [76-80], köztük olyan esetekben is – mint például az emberi máj-epe rendszer modellezése [76] vagy a rugalmas szárny szabályozása [81-82] -, ahol más módszerekkel a nagy komplexitás miatt a probléma csak nehezen vagy egyáltalán nem volt megoldható. A szerző kutatásainak célja egyrészt az SVD-alapú komplexitás-csökkentő eljárások hatókörének kiterjesztése, másrészt, hogy az SVD-alapú redukciós algoritmusokra támaszkodva módszert adjon fuzzy, illetve fuzzy-neurális rendszerek anytime környezetben való alkalmazására. A 2. fejezet a fuzzy rendszerek SVD-alapú komplexitás-csökkentésével kapcsolatos alapfogalmakat és algoritmusokat mutatja be, a 3. és 4. fejezet pedig a szerző fuzzy rendszerek, illetve fuzzy-neurális hálók SVD-alapú komplexitás-csökkentésével kapcsolatos eredményeit tartalmazza. Az 5. fejezet két módszert javasol, mellyel – az előbb leírt algoritmusok segítségével - lehetséges bizonyos fuzzy, illetve fuzzy-neurális eszközök alkalmazása anytime környezetben. A 6. fejezetben néhány numerikus példa található a javasolt algoritmusok illusztrálására. A 7. fejezet az értekezésben tárgyaltak alkalmazási lehetőségeivel foglalkozik, a 8. fejezet pedig az egész értekezésről nyújt összefoglaló áttekintést.
6
2. Alapfogalmak és algoritmusok bemutatása Az alábbiakban az SVD-alapú komplexitás csökkentéshez szorosan kapcsolódó fogalmak és algoritmusok bemutatása következik. A fuzzy logika és halmazelmélet alapfogalmairól, illetve a fuzzy következtető rendszerekről jó összefoglaló, illetve leírás található például a [83-87] művekben. Legyenek a µi(x) i=1,2,...n, függvények a valós számok valamely zárt intervallumán értelmezve,
azaz
x ∈ D = [ x min , x max ] .
A
alábbi
tulajdonságok
értelmezhetők
a
{ µ1 ( x) , µ 2 ( x ) ,..., µ n (x) } függvényhalmazon [58,59]:
2.1 definíció: Összegnormáltság (Sum normalization, SN) A { µ1 ( x) , µ 2 ( x ) ,..., µ n (x) } függvényhalmaz SN, ha n
∑ µ ( x) = 1 i =1
i
∀x ∈ D
(2.1)
Egy mátrix SN, ha a sorösszegei egyenlők 1-gyel. 2.2 definíció: nemnegativitás (Nonnegativeness, NN) A { µ1 ( x) , µ 2 ( x ) ,..., µ n (x) } függvényhalmaz NN, ha µi ( x ) ≥0 ,
i=1,2,...,n
∀x ∈ D
(2.2)
Egy mátrix NN, ha az elemei nemnegatívak. 2.3 definíció: Normalitás (Normality, NO) A { µ1 ( x) , µ 2 ( x ) ,..., µ n (x) } függvényhalmaz NO, ha SN és NN, továbbá az összes µi(x) függvény felveszi az “1” értéket valahol az értelmezési tartományon. Egy mátrix NO, ha SN és NN, továbbá minden oszlopában található egy elem, melynek értéke “1”. Ha a µi(x) függvények tagsági függvények, akkor az SN és NN tulajdonság biztosítja, hogy a tagsági értékek a [0,1] intervallumba essenek. Az SN tulajdonság azt is jelenti, hogy ha egy adott x érték tagsági értéke magas az egyik fuzzy halmazban, akkor a többiben alacsony, ami
7
fuzzy rendszerek antecedens halmazainál tipikus tulajdonság. Az NO tulajdonság jelentése, hogy a tagsági függvények normalizáltak [60,88]. 2.4 definíció: Ruspini-partíció A { µ1 ( x) , µ 2 ( x ) ,..., µ n (x) } tagsági függvényekkel definiált fuzzy halmazok Ruspinipartícióban vannak, ha n
∑ µ ( x) = 1 i =1
i
∀x ∈ D
(2.3)
Láthatóan az ilyen tagsági függvények rendelkeznek az SN és NN tulajdonságokkal. 2.6 definíció: fuzzy halmaz súlyközéppontja A µ(x) tagsági függvénnyel definiált fuzzy halmaz súlyközéppontja:
∫xµ ( x)dx . ∫µ ( x)dx ∑ xµ ( x) d= ∑ µ ( x)
folytonos µ(x) esetén: d =
diszkrét µ(x) esetén:
(2.4)
2.7 definíció: fuzzy halmaz területe A µ(x) tagsági függvénnyel definiált fuzzy halmaz területe: µ ( x)dx . folytonos µ(x) esetén: s = ∫ diszkrét µ(x) esetén: s = ∑ µ (x )
(2.5)
2.8 definíció: szingleton fuzzifikáció Egy adott x * bemeneti érték esetén a bemeneti fuzzy halmaz egy szingleton fuzzy halmaz, “1” tagsági értékkel az x * pontban, és “0” tagsági értékkel mindenütt máshol:
1 x = x * µ ( x) = * 0 x ≠ x
(2.6)
8
2.9
definíció:
Szorzat-összeg-súlyközéppont
fuzzy
következtetés
szingleton
következményekkel (Product-Sum-Gravity-Singleton, PSGS) [10] Az antecedens fuzzy halmazok Ruspini-partícióban vannak, a következmény fuzzy halmazok szingletonok. Egy N bemenetű PSGS rendszer esetén a szabályok: Ri1 ,...,iN : If x1 is X 1,i1 and x2 is X 2,i2 and .... and x N is X N ,iN then y = y i1 ,...,iN , ahol i j = 1...n j , n j a j. bemeneten értelmezett antecedens halmazok száma, X j ,i j a j. bemenet i j . antecedens halmaza, y i1 ,...,iN pedig egy valós szám, az Ri1 ,...,iN szabály kimenete. A fuzzifikációs eljárás szingleton, a következtetés során szorzat t-normát használunk, tkonormaként pedig algebrai összeget számítunk, mely eljárás bár nem felel meg a tkonormákra vonatkozó axiómáknak, egyszerű számítása miatt elterjedten alkalmazott. Így az egyes szabályok kimeneti tagsági függvényei az ( x1* , x 2* ,..., x *N ) bemenet esetén:
N µ j ,i j ( x *j ) ha y = y i1 ,...,i N Yi1*,...,iN ( y ) = ∏ , j =1 0 egyébként
(2.7)
ahol µ j ,i j ( x j ) a j. bemenet i j . antecedens halmazának tagsági függvénye. A defuzzifikációs eljárás a súlyközéppont módszer (CoG):
*
y =
∑ yi*1 ,...,iN ∫Yi1*,...,iN ( y )dy
i1 ,...,i N
, ahol
∑ ∫Yi1*,...,i N ( y )dy
yi*1 ,..,i N
i1 ,...,i N
=
* ∫yYi1 ,..,i N ( y )dy * ∫Yi1 ,..,i N ( y )dy
= yi1 ,..,i N . (2.8)
Tehát a következtetés végeredménye:
y* =
∑
N
i1 ,...,i N
y i1 ,...,iN ∏ µ j ,i j ( x *j ) j =1
N
∑ ∏µ
i1 ,...,i N j =1
j ,i j
* j
(x )
=
∑
i1 ,...,i N
N
yi1 ,...,iN ∏ µ j ,i j ( x *j ) ,
(2.9)
j =1
mivel az antecedens fuzzy halmazok Ruspini-partícióban vannak.
9
2.10
definíció:
Szorzat-összeg-súlyközéppont
fuzzy
következtetés
nem-szingleton
következményekkel (Product-Sum-Gravity-Non singleton, PSGN) Az antecedens fuzzy halmazok Ruspini-partícióban vannak, a következmény fuzzy halmazok súlyközéppontjai az d i1 ,...,i N , területei az s i1 ,...,iN értékek. Egy N bemenetű PSGN rendszer esetén a szabályok: Ri1 ,...,iN : If x1 is X 1,i1 and x2 is X 2,i2 and .... and x N is X N ,iN then y = Yi1 ,...,iN , ahol i j = 1...n j , n j a j. bemeneten értelmezett antecedens halmazok száma, X j ,i j a j. bemenet i j . antecedens halmaza, Yi1 ,...,iN az Ri1 ,...,iN szabály következmény fuzzy halmaza. A fuzzifikációs eljárás szingleton, a következtetés során szorzat t-normát használunk tkonormaként pedig algebrai összeget számítunk, mely eljárás bár nem felel meg a tkonormákra vonatkozó axiómáknak, egyszerű számítása miatt elterjedten alkalmazott. Így az egyes szabályok kimeneti tagsági függvényei az ( x1* , x 2* ,..., x *N ) bemenet esetén:
N
Yi1*,..., i N ( y ) = µYi1 ,...,iN ( y )∏ µ j , i j ( x *j ) ,
(2.10)
j =1
ahol µ j ,i j ( x j ) a j. bemenet i j . antecedens halmazának tagsági függvénye. A defuzzifikációs eljárás a súlyközéppont módszer (CoG), tehát a következtetés végeredménye:
y* =
∑
N
i1 ,..., i N
si1 ,..., i N di1 ,..., i N ∏ µ j , i j ( x*j ) j =1
∑s
i1 ,..., i N
i1 ,..., i N
N
∏µ j =1
j ,i j
(2.11)
* j
(x )
2.11 definíció: Takagi-Sugeno fuzzy következtetés (TS) [11] Az
antecedens
fuzzy
halmazok
Ruspini-partícióban
vannak,
az
egyes
szabályok
következményei pedig a bemeneti változók klasszikus függvényei. Egy N bemenetű TakagiSugeno rendszer esetén a szabályok:
10
Ri1 ,...,iN : If x1 is X 1,i1 and x2 is X 2,i2 and .... and x N is X N ,iN then y= g i1 ,...,iN ( x1* , x 2* ,...x *N ) , ahol i j = 1...n j , n j a j. bemeneten értelmezett antecedens halmazok száma, X j ,i j a j. bemenet i j . antecedens halmaza, x *j a j. bemenet értéke, g i1 ,...,iN ( x1* , x 2* ,...x *N ) pedig az Ri1 ,...,iN szabály következmény része. A fuzzifikációs eljárás szingleton, a következtetés során szorzat t-normát használunk, így az egyes szabályok kimenetei: N
y i*1 ,...,iN = g i1 ,...,iN ( x1* , x 2* ,..., x *N )∏ µ j ,i j ( x *j ) ,
(2.12)
j =1
ahol µ j ,i j ( x j ) a j. bemenet i j . antecedens halmazának tagsági függvénye. A következtetés végeredménye az egyes szabályok kimenetének súlyozott összege:
n1
y* =
nN
∑...∑ yi*1 ,...,i N n1
i1 =1 i N =1 nN N
∑... ∑(∏ µ i1 =1
i N =1
j =1
j,i j
* j
( x ))
n1
nN
i1 =1
i N =1
= ∑... ∑ yi*1 ,..., i N ,
(2.13)
mivel az antecedens halmazok Ruspini-partícióban vannak. 2.1 eljárás: SVD-alapú mátrixredukció (RSVD) Egy valós elemű F mátrix felírható a következő formában [75]:
T
F ( n1 ×n2 ) = A1, ( n1 ×n1 ) B ( n1 ×n 2 ) A2 , ( n2 ×n2 ) ,
(2.14)
T
ahol az A k mátrixok ortogonálisak ( A k A k = E ), a B diagonálmátrix pedig tartalmazza F szinguláris értékeit ( λi ), csökkenő sorrendben. A nemzérus szinguláris értékek maximális száma n SVD = min(n1 , n 2 ) . A mátrixok az alábbi módon particionálhatók [60]:
11
A k , ( n k ×n k ) = A
r k , ( n k ×n r )
A
d k , ( n k ×n d )
B r( nr ×n r )
és B ( n1 ×n 2 ) =
0
0 B
d (( n1 − n r ) ×( n 2 − n r ))
,
(2.15)
ahol nr ≤ n SVD . Ha a B
d
mátrix csak zérus szinguláris értékeket tartalmaz, akkor a B
d
d
és A k almátrixok
elhagyhatók: F = A1 B A 2 . r
r
rT
d Ha B tartalmaz nemzérus szinguláris értékeket is, akkor az F ' = A1 B A 2 mátrix csak egy r
r
rT
közelítése lesz F -nek, és a maximális abszolút eltérés F és F ' elemei között [60]:
e RSVD = max F − F ' ≤
nSVD
∑λ
i = nr +1
.
i
(2.16)
Kiterjesztés n-dimenzióra [66] A fenti eljárás kiterjeszthető n-dimenziós mátrixokra is. A redukció végeredménye n darab A k mátrix, melyek mérete nk ×nkr (nk az eredeti mátrix mérete az k. dimenzióban, nkr pedig a *
redukált méret), és a redukált F , melynek mérete n1r ×n2r ×... ×nnr . Az eredeti F mátrix elemei az alábbiak szerint közelíthetők: n1r
n2r
n1r
f i1 ,i2 ,...,in ≈ f ' i1 ,i2 ,...,in = ∑∑...∑ a1,i ,i a 2 ,i ,i ...a n ,i ,i f i *,i ,...,i , i1 =1 i 2 =1
in =1
1 1
2 2
n n
*
ahol az f i*,i ,...,i értékek az F mátrix elemei, az ak ,i 1 2
n
k
,i k
1 2
n
(2.17)
értékek pedig az A k mátrixok elemei.
A redukció n lépésben végezhető el, minden lépésben az F mátrix egy dimenzióját redukálva. Az első lépésben F 1 = F , a későbbiekben F k -t a (k-1). lépés állítja elő. Az k. lépés: 1. Az n-dimenziós F k mátrix (mérete: n1r ×... ×nkr −1 ×nk ×... ×nn ) kiterítése egy kétdimenziós S k mátrixszá (mérete: nk ×(n1r * ... * nkr −1 * nk +1 * ... * nn ) ).
12
*
*
2. S k redukciója: S k ≈ Ak B A'Tk = Ak S k , ahol az A k mátrix mérete nk ×nkr S k mérete pedig nkr ×(n1r * ... * nkr −1 * nk +1 * ... * nn ) . *
3. S k “összerakása” az F k +1 n-dimenziós mátrixszá (mérete n1r ×... ×nkr ×nk +1 ×... ×nn ), és folytatás az 1. lépéssel F k +1 -re. A redukció hibája nem nagyobb, mint az elhagyott szinguláris értékek összege[66]: n dk λk , j f i1 , i2 ,..., i n − f i1*, i 2 ,..., in ≤ ∑∑ , k =1 j =1
(2.18)
ahol dk az k. lépésben elhagyott szinguláris értékek száma, λ k , j pedig az k. lépésben elhagyott j. szinguláris érték. 2.12 definíció: mátrixredukció hibája és hibakorlátja A továbbiakban mátrixredukció hibája 2 dimenzió esetén az eredeti és a redukált mátrix elemei közötti legnagyobb abszolút eltérést jelenti: eRSVD = max f i , j − f 'i , j , i, j
(2.19)
ahol f i , j és f 'i , j rendre az eredeti és a redukált mátrix elemei. A mátrixredukció hibája n dimenzió esetén az eredeti mátrix és a 2.17 egyenlet szerinti közelítő értékek közötti legnagyobb abszolút eltérést jelenti: e RSVD = max f i1 ,i2 ,...,in − f 'i1 ,i2 ,...,in , i1 ,i2 ,...,in
(2.20)
ahol f i1 ,i2 ,...,in és f 'i1 ,i2 ,...,in rendre az eredeti mátrix elemei, illetve a közelítő értékek. A mátrixredukció hibakorlátja az az érték, aminél a hiba bizonyíthatóan nem nagyobb: e RSVD ≤ E RSVD .
(2.21)
2.2 eljárás: SN (összegnormálás) eljárás [60]
13
r
r
Ezen transzformáció célja, hogy az 2.1 eljárással előállított B és A k mátrixokat átalakítsa a B ' és A' k , mátrixokká, úgy, hogy A' k -ben a sorok összege 1 legyen.
(
(
))
Legyen Φ k = diag su~m A' rT , ahol a su~m(A) vektor tartalmazza A sorösszegeit. Ekkor k
A' k = r A k
[
r
Ak
( )]
Φ d dT A k su~m A k k 0
ha 0 ha 1
( )= 0 . su~m(A ) ≠ 0 su~m A k
dT
(2.22)
dT k
A' k ismeretében B' meghatározható úgy, hogy A'1 B ' A'T2 = A1 B A 2 . r
r
rT
Az eljárás alkalmazása láthatóan a redukció hibáját nem befolyásolja. 2.3 eljárás: NN (nemnegativitás) eljárás [60] Ezen transzformáció célja, hogy a B' és A' k mátrixokat átalakítsa a B ' ' és A' ' k , mátrixokká, úgy, hogy A' ' k -ben az elemek nemnegatívak legyenek. Mivel az átalakítás során az SN tulajdonság megmarad, ez biztosítja, hogy A' ' k elemei a [0,1] intervallumba essenek. Legyen 1 ςk = 1 a k , min
ha a k , min ≥ −1 ha a k , min < −1 ,
(2.23)
ahol ak,min A' k legkisebb eleme. Ekkor
1 (1 + ζ k ) 1 (1 + ζ k ) 1 A' ' k = A' k M nk + ς k M 1 1
L L O L
1 1 , M (1 + ζ k )
(2.24)
ahol nk A' k oszlopainak száma. A' ' k ismeretében B ' ' meghatározható úgy, hogy A' '1 B ' ' A' 'T2 = A'1 B' A'T2 .
14
Az eljárás alkalmazása a redukció hibáját nem befolyásolja. 2.4 eljárás: PSGS fuzzy rendszer SVD-alapú redukciója [60] Vegyünk egy N változós PSGS fuzzy rendszert (2.9 definíció), ahol a szabályok: Ri1 ,...,iN : If x1 is X 1,i1 and x2 is X 2,i2 and .... and x N is X N ,iN then y = y i1 ,...,iN . ahol i j = 1...n j , n j a j. bemeneten értelmezett antecedens halmazok száma, X j ,i j a j. bemenet i j . antecedens halmaza, y i1 ,...,iN pedig egy valós szám, az Ri1 ,...,iN szabály kimenete. Az F mátrix tartalmazza az y i1 ,...,iN elemeket, majd alkalmazva a fent leírt 2.1, 2.2 és 2.3 eljárásokat, megkapjuk az A k mátrixokat (méretük nk ×nkr ), melyek rendelkeznek az SN és *
NN tulajdonságokkal és a redukált F mátrixot. Az új szabálybázis: R ' i '1 ,...,i 'N : If x1 is X '1, i '1 and x2 is X '2,i ' 2 and .... and x N is X 'N , i ' N then y = y 'i '1 ,..., i ' N *
ahol i 'k = 1...nkr , az y 'i '1 ,..., i ' N értékek a redukált F mátrix elemei és az új antecedens halmazok tagsági függvényei: µ 'k , i = ∑ µ k ,i ( xk )ak , j , i ,
(2.25)
ahol az a k , j ,i értékek az A k mátrix elemei. Az A k SN és NN tulajdonságai biztosítják, hogy az új tagsági függvények értékei a [0,1] intervallumba essenek, továbbá hogy az új antecedens halmazok is Ruspini-partícióban legyenek. A redukált szabálybázis csak n1r ×n 2r ×... ×n Nr szabályt tartalmaz, az eredeti n1 ×n 2 ×... ×n N helyett. 2.5 eljárás: PSGN fuzzy rendszer SVD-alapú redukciója [61] Mint a 2.11 egyenletből látható, egy PSGN fuzzy rendszer kimenete felfogható két PSGS fuzzy rendszer hányadosaként, ennek megfelelően a redukciója is hasonlóan történik, csak azt kell biztosítani, hogy a redukált formában is azonosak legyenek a számláló és a nevező tagsági függvényei. Egy N bemenetű PSGN fuzzy rendszer redukciója esetén egy N+1 dimenziós F mátrixot képzünk az s i1 ,...,iN és bi1 ,...,iN = d i1 ,...,i N s i1 ,...,i N értékekből, ahol d i1 ,...,i N és s i1 ,...,iN rendre az Ri1 ,...,iN 15
szabály következmény fuzzy halmazának súlyközéppontja és területe. Az (N+1). dimenzió mentén az F mátrix mérete 2, és az egyik sík az s i1 ,...,iN , a másik a bi1 ,...,i N értékeket tartalmazza. Az F mátrixot aztán az 2.4 eljárásban leírtakhoz hasonlóan redukáljuk, de csak az első N dimenzió mentén, az N+1. dimenzió mérete marad 2. Az új tagsági függvényeket az 2.4 eljáráshoz hasonlóan képezzük, az új következmény fuzzy halmazok területei és *
súlyközéppontjai pedig a redukált F mátrix elemei lesznek. 2.6 eljárás: Takagi-Sugeno fuzzy rendszer SVD-alapú redukciója [62,64] A legtöbb gyakorlati esetben a 2.11 definícióban leírt Takagi-Sugeno következtető rendszer g i1 ,...,iN kimeneti függvényei közelíthetők M rögzített függvény súlyozott összegeként:
M
gi1 ,..., i N ( x1* , x2* ,..., x*N ) = ∑bl , i1 ,..., i N gl ( x1* , x2* ,..., x*N ) .
(2.26)
l =1
Így a szabályok: Ri1 ,...,iN : If x1 is X 1,i1 and x 2 is X 2,i2 and .... and x N is X N ,i N then M
y = ∑bl ,i1 ,..., i N g l ( x1* , x2* ,..., x*N ) l =1
Így a következtetés eredménye a 2.13 egyenletből felírható, mint M darab PSGS fuzzy rendszer kombinációja, melyek antecedens halmazai azonosak: M N n1 n N * y * = ∑g l ( x1* , x2* ,..., x*N ) ... ( b µ ( x ) ∑ ∑ l ,i1 ,..., i N ∏ j,i j j . l =1 j =1 i1 =1 i N =1
(2.27)
Ezért a redukció is a PSGS rendszerekhez hasonlóan történik, csak azt kell biztosítani, hogy a redukált formában is azonosak legyenek a „rész PSGS-rendszerek” antecedens halmazai. A redukcióhoz egy N+1 dimenziós F mátrixot képzünk a bl , i1 ,..., i N értékekből, ahol az (N+1). dimenzió mérete M. Ezután az F mátrixot az 2.4 eljárásban leírtakhoz hasonlóan redukáljuk, de csak az első N dimenzió mentén, az (N+1). dimenzió mérete marad M. Az új tagsági függvényeket az 2.4
16
eljáráshoz hasonlóan képezzük, az új következmény függvények súlyozó tényezői pedig a *
redukált F mátrix elemei lesznek.
2.13 definíció: Fuzzy rendszer redukciójának hibája és hibakorlátja A továbbiakban fuzzy rendszer hibája a redukált és az eredeti rendszer kimenetei közti legnagyobb abszolút eltérést jelenti: *
e FSVD = max y * − y ,
(2.28)
x1 ,..., x N
*
ahol x1 ,..., x N a bemeneti változók, y * az eredeti, y pedig a redukált rendszer kimenete. A redukció hibakorlátja az az érték, aminél a hiba bizonyíthatóan nem nagyobb: e FSVD ≤ E FSVD
(2.29)
17
3.
Fuzzy
rendszerek
SVD-alapú
komplexitás-
csökkentésével kapcsolatos eredmények Fuzzy rendszerek idő-kritikus alkalmazásokban való használatának egyik legnagyobb akadálya a bemenetszámmal exponenciálisan növő komplexitás és az adott probléma megoldásához
szükséges
komplexitás
megállapításának
nehézségei.
Ezen
gondok
megoldására hasznos eszköz lehet a szinguláris érték felbontáson (SVD) alapuló komplexitáscsökkentő algoritmusok csoportja, mely a fuzzy rendszerek széles csoportjára alkalmazható a redundancia kiszűrésére és rugalmas nem-pontos redukcióra. Ebben a fejezetben a fuzzy rendszerek SVD-alapú komplexitás-csökkentésével kapcsolatos eredményeimet mutatom be, melyek alkalmasak az SVD-alapú redukciós algoritmusok használhatóságának kiszélesítésére. A 3.1. fejezetben új bizonyítást adok a PSGS fuzzy rendszerek nem-pontos redukciójának hibakorlátjára, mely – a korábbi bizonyítással ellentétben – nem használja az antecedens halmazok linearitását. A 3.2. fejezetben algoritmust adok a “majdnem PSGS” fuzzy rendszerek SVD-alapú redukciójára, és megadom a nempontos redukció hibakorlátját is. Végül a 3.3. fejezetben egy pontosabb számítási módot javasolok az SVD-alapú mátrixredukciós eljárás hibakorlátjára, mely hibakorlát befolyásolja az összes SVD-alapú komplexitás-csökkentő algoritmus hibakorlátját.
3.1.
SVD-alapú
komplexitás-csökkentés
hibakorlátja
PSGS-
rendszerekre, nemlineáris antecedens halmazok esetén Bár a hibakorlátra bizonyítás korábban is létezett [66], az kihasználta az antecedens halmazok linearitását. A szerző által bemutatott bizonyítás azonban általános, tetszőleges Ruspinipartícióban lévő antecedens halmazok esetén érvényes. 3.1 tétel Nemlineáris antecedens halmazokat használó PSGS rendszerek SVD-alapú nem pontos komplexitás-csökkentése esetén a hiba nem nagyobb, mint az elhagyott szinguláris értékek összege [89,90]: 2 dimenzió esetén: eFSVD ≤
n SVD
∑λ
i = n r +1
i
(3.1)
18
N dk , N dimenzió esetén: e FSVD ≤ λ ∑∑ k , j k =1 j =1
(3.2)
ahol dk az k. lépésben elhagyott szinguláris értékek száma, λ k , j pedig az k. lépésben elhagyott j. szinguláris érték. Bizonyítás: 2 dimenzió esetén Vegyünk egy kétváltozós PSGS fuzzy rendszert, ahol a szabályok: Ri1 ,i2 : If x1 is X 1, i1 and x2 is X 2, i2 then y= yi1 ,i2 , ahol i j = 1...n j , n j a j. bemeneten értelmezett antecedens halmazok száma, X j ,i j a j. bemenet i j . antecedens halmaza, y i1 ,i2 pedig egy valós szám, az Ri1 ,i2 szabály kimenete. A következtetés végeredménye az ( x1* , x2* ) bemeneti értékekre az alábbi formában írható fel:
[ ]
y * = ∑ y i1 ,i2 µ1,i1 ( x1* ) µ 2 ,i2 ( x 2* ) = µ1,1 ( x1* ) ... µ1, n1 ( x1* ) y i1 ,i2 i1 ,i 2
µ 2,1 ( x 2* ) M = µ1 ( x1* ) F µ 2 ( x 2* ) µ 2, n2 ( x 2* )
, (3.3) ahol az F mátrix tartalmazza az yi1 ,i2 következményeket, a µ k ( xk* ) vektorok pedig az adott változó antecedens fuzzy halmazainak tagsági értékeit az adott bemenetre. Alkalmazva az 2.4 eljárást a fuzzy rendszerre a redukált szabálybázis: R 'i1 , i2 : If x1 is X '1,i1 and x2 is X '2 ,i 2 then y= y 'i1 , i2 , ahol ik = 1...n kr , az y 'i1 , i2 értékek a redukált F ' mátrix elemei és az új antecedens halmazok tagsági függvényei: µ 'k , j = ∑ µk , j ( xk )ak , j ,i ,
(3.4)
ahol az a k , j ,i értékek az A k mátrix elemei. A redukált fuzzy rendszer kimenete a 3.3 és 3.4 egyenletekből:
19
n1r
[
n2r
i1 =1 i 2 =1
µ 2r,1 ( x 2* ) M = µ r r ( x * ) (3.5) 2, n2 2
][ ]
y = ∑∑ µ1r,i1 ( x1* ) µ 2r,i2 ( x 2* )bir1 ,i2 = µ1r,1 ( x1* ) ... µ1r, n r ( x1* ) bir1 ,i2 *
1
= µ1 ( x1* ) A1 B A 2 µ 2 ( x 2* )
A redukció hibája:
*
y * − y = µ1 ( x1* ) F µ 2 ( x2* ) − µ1 ( x1* ) A1 B A2 µ2 ( x2* ) = µ1 ( x1* )( F − A1 B A2 )µ 2 ( x2* ) (3.6) A redukció hibája a rácspontokban az F − A1 B A2 mátrix elemei:
F − A1 B A2 = F − F ' ≤ ERSVD1( n1 ×n2 ) ,
(3.7)
ahol ERSVD a mátrixredukció hibakorlátja. Felhasználva, hogy az eredeti antecedens halmazok Ruspini-partícióban voltak és a 2.16 egyenletet:
E RSVD y − y ≤ µ1 ( x ) M E RSVD *
*
* 1
... O ...
E RSVD * M µ 2 ( x 2 ) = E RSVD
n1
n2
∑∑ µ i1 =1 i 2 =1
1,i1
( x1* ) µ 2 ,i2 ( x 2* ) E RSVD =
, (3.8)
= E RSVD ≤ λ
ahol λ az elhagyott szinguláris értékek összege. Kiterjesztés N dimenzióra Az N bemenetű PSGS fuzzy rendszer szabálybázisa: Ri1 ,...,iN : If x1 is X 1,i1 and x2 is X 2,i2 and .... and x N is X N ,iN then y = y i1 ,...,iN , ahol i j = 1...n j , n j a j. bemeneten értelmezett antecedens halmazok száma, X j ,i j a j. bemenet i j . antecedens halmaza, y i1 ,...,iN pedig egy valós szám, az Ri1 ,...,iN szabály kimenete. A következtetés végeredménye az alábbi formában írható fel:
20
n1
nN
n2
nN
i1 =1
i N =1
i 2 =1
i N =1
y * = ∑... ∑ µ1, i1 ( x1* )...µ N , i N ( x*N ) yi1 ,i 2 ,..., i N = ∑... ∑ µ 2,i 2 ( x2* )...µ N , i N ( x*N )bi2 ,..., i N ,(3.9)
ahol
[
n1
]
bi2 ,..., i n = ∑ µ1, i1 ( x1* ) yi1 , i2 ,..., i n = µ1,1 ( x1* ) ... µ1, n1 ( x1* ) S 1 . i1 =1
Az S 1 mátrix mérete n1 ×(n2 ...nN ) , és az yi1 , i2 ,..., i N elemeket tartalmazza, az 2.1 eljárásban leírtak szerint. A redukció első lépésében az S 1 mátrixot – és ezzel a bi2 ,..., i N értékeket - közelítjük: S 1 ≈ A1 B A'1T = A1 S 1 . A közelítés hibája (ERSVD,1) nem nagyobb, mint az első lépésben *
elhagyott szinguláris értékek összege λ1 . A bi2 ,..., i N értékek közelítésének hibája:
[
]
bi2 ,..., i N − bi2 ,...,i N = µ1,1 ( x1* ) ... µ1, n1 ( x1* ) ( S 1 − A1 B A'1T ) E RSVD ,1 ... ≤ µ1,1 ( x1* ) ... µ1, n1 ( x1* ) M O E RSVD ,1 ...
[
]
ERSVD ,1 M ERSVD ,1
(3.10)
n1
bi2 ,..., i N − bi2 ,...,i N ≤ ∑ µ1,i1 ( x1* ) E RSVD ,1 = ERSVD ,1 , i1 =1
mivel az eredeti antecedens halmazok Ruspini-partícióban voltak. A 3.9 és 3.10 egyenletekből a redukció első lépésének hibája:
*
y* − y =
n2
nN
i 2 =1
i N =1
n2
nN
i 2 =1
i N =1
∑...∑ µ2,i2 ( x2* )...µ N ,iN ( x*N )(bi2 ,...,iN −bi2 ,...,i N ) ≤ ,
(3.11)
≤ ∑... ∑ µ 2 ,i 2 ( x2* )...µ N , i N ( x*N ) ERSVD ,1 = ERSVD ,1 ≤λ1
21
mivel az eredeti antecedens halmazok Ruspini-partícióban voltak. Így az első lépésben a hiba nem nagyobb, mint az első lépésben elhagyott szinguláris értékek összege. A következő lépésekben a hiba hasonló módon becsülhető, az egyetlen különbség, hogy a 3.11 egyenletben nem csak az eredeti, hanem a redukált rendszer antecedens fuzzy halmazai is megjelennek. Így a hibakorlát érvényességéhez a redukált rendszer antecedens fuzzy halmazainak is Ruspini-partícióban kell lenniük, ez teljesül, ha az
Ak
mátrixok
összegnormáltak, ami biztosítható az 2.2 és 2.3 eljárások alkalmazásával minden lépésben. Tehát a redukció hibája nem nagyobb, mint az összes lépésben elhagyott szinguláris értékek összege: N dk λk , j eFSVD ≤ ∑∑ , k =1 j =1
(3.12)
ahol dk az k. lépésben elhagyott szinguláris értékek száma, λk , j pedig az k. lépésben elhagyott j. szinguláris érték Megjegyzés Mivel PSGN és Takagi-Sugeno rendszerek redukciója hasonló módon történik, és a hibakorlátok számításánál felhasználásra kerül a “rész PSGS-rendszerek” (PSGN esetében a számlálóban és nevezőben, Takagi-Sugeno esetén az egyes tagokban) hibakorlátja, ez az eredmény egyben azt is jelenti, hogy a PSGN és Takagi-Sugeno rendszerek esetén is érvényes a hibakorlát nemlineáris antecedens tagsági függvények esetén is.
3.2. Majdnem PSGS fuzzy rendszerek SVD-alapú komplexitáscsökkentése A gyakorlatban, különösen emberi szakértő által szolgáltatott információk felhasználása esetén, az a feltétel, hogy a bemeneti fuzzy halmazok Ruspini-partícióban legyenek, nem minden esetben teljesíthető. Ezekben az esetekben hasznos lehet, ha ilyen, “majdnem PSGS” fuzzy rendszerek redukciója is lehetséges. 3.2 tétel: Az SVD-alapú komplexitás-csökkentés alkalmazható olyan, “majdnem PSGS” fuzzy rendszerekre is, ahol az antecedens fuzzy halmazok nincsenek Ruspini-partícióban. A redukált rendszer egy PSGN fuzzy rendszer lesz. [91].
22
2-dimenziós eset Vegyünk egy két bemenetű fuzzy rendszert, az antecedens halmazok száma rendre n1 és n2. Az antecedens halmazok nincsenek Ruspini-partícióban, a szabályok következményei szingletonok. Az n1*n2 szabályt tartalmazó szabálybázis: Ri1 ,i2 : If x1 is X 1,i1 and x2 is X 2,i2 then y = y i1 ,i2 , ahol i j = 1...n j , n j a j. bemeneten értelmezett antecedens halmazok száma, X j ,i j a j. bemenet i j . antecedens halmaza, y i1 ,i2 pedig egy valós szám, az Ri1 ,i2 szabály kimenete. A fuzzifikációs eljárás szingleton, a következtetés során szorzat t-normát használunk, tkonormaként pedig algebrai összeget számítunk, mely eljárás bár nem igazi t-konorma, egyszerűbben számítható, mint a korlátos összeg t-konorma. A defuzzifikációs eljárás a súlyközéppont módszer (CoG). Adott ( x1* , x 2* ) bemenetre a következtetés végeredménye:
y* =
∑y i1 ,i 2
i1 ,i 2
∑µ i1 ,i 2
µ1,i1 ( x1* ) µ 2 ,i2 ( x 2* )
1,i1
( x ) µ 2 ,i2 ( x ) * 1
* 2
=
∑y i1 ,i2
i1 ,i2
∑µ i1 ,i2
1,i1
µ1,i1 ( x1* ) µ 2,i2 ( x 2* ) ( x ) µ 2 ,i2 ( x ) ∗ 1 * 1
* 2
=
N0 , D0
(3.13)
ahol µ k ,i k ( xk ) a k. bemenet ik . antecedens halmazának tagsági függvénye. A 3.13 egyenlet alakja ugyanaz, mint egy PSGN fuzzy rendszer kimenete, ahol a következmény halmazok súlyközéppontja yi1 ,i2 , területe ( si1 ,i2 ) pedig 1. Így a redukció a PSGN-rendszerekhez hasonlóan végezhető el. Legyen F egy háromdimenziós mátrix (mérete n1 ×n2 ×2 ): f i1 ,i2 ,1 = y i1 ,i2 és f i1 ,i2 , 2 = 1 .
(3.14)
Ezután az 2.1, 2.2 és 2.3 eljárások alkalmazhatók az F mátrix redukciójára. Az első lépésben az F mátrixból képzett kétdimenziós S 1 redukálva:
S 1 ≈ A1 B A'1T = A1( n ×n r ) S 1( n r ×2 n ) , *
1
1
1
(3.15)
2
ahol az A1 mátrix rendelkezik az SN és NN tulajdonságokkal.
23
*
A második lépésben a már redukált S 1 mátrix átrendezésével (lásd 2.1 eljárás) kapott S 2 mátrixot redukáljuk: S 2 ≈ A 2 B A'T2 = A 2( n ×n r ) S 2 ( n r ×2 n r ) , *
2
2
2
(3.16)
1
ahol az A 2 mátrix rendelkezik az SN és NN tulajdonságokkal. A harmadik – és egyben utolsó – lépésben mindkét szinguláris értéket megtartjuk. A végeredmény az F
*
redukált mátrix (mérete n1r ×n 2r ×2 , n1r ≤ n1 és n2r ≤ n 2 ) és az A k
(k=1,2) mátrixok (méretük nk ×nkr ). Így az F mátrix elemei az alábbi módon becsülhetők:
n1r
n2r
f i1 ,i2 ,i3 ≈ f ' i1 ,i2 .i3 = ∑∑ a1,i ,i a 2 ,i ,i f i *,i ,i , i1 =1 i 2 =1
1 1
2 2
(3.17)
1 2 3
*
ahol az f i*,i ,i értékek az F mátrix elemei, az ak ,i 1 2 3
k
,i k
értékek pedig az A k mátrixok elemei.
A redukált PSGN szabálybázis: R 'i1 ,i2 : If x1 is X '1,i1 and x 2 is X ' 2 ,i2 then y =Y ' i1 ,i2 , ahol az új antecedens halmazok: µ 'k , i k ( xk ) = ∑ ak ,i k , l µl , ik ( xk ) ,
(3.18)
l
ahol az ak , i k , l értékek az A k halmaz elemei. Az A k SN és NN tulajdonságai biztosítják, hogy az új tagsági függvények értékei a [0,1] intervallumba essenek, továbbá hogy az új antecedens halmazok Ruspini-partícióban legyenek, így a kapott rendszer egy PSGN fuzzy rendszer lesz. Az Y ' i1 ,i2 következmény halmazok súlyközéppontja y 'i1 ,i2 , területe s'i1 ,i2 , ahol a paraméterek *
az F mátrix elemeiből az alábbiak szerint határozhatók meg:
24
y ' i1 ,i2 =
f i1*,i2 ,1 f
és
* i1 ,i2 , 2
s ' i1 ,i2 = f i1*,i2 , 2 .
(3.19)
Az új szabálybázis n1r ×n 2r szabályt tartalmaz, az eredeti n1 ×n2 -hez képest. N-dimenziós eset Legyen az N bemenetű szabálybázis: Ri1 ,...,iN : If x1 is X 1,i1 and x2 is X 2,i2 and .... and x N is X N ,iN then y = y i1 ,...,iN , ahol i j = 1...n j , n j a j. bemeneten értelmezett antecedens halmazok száma, X j ,i j a j. bemenet i j . antecedens halmaza, y i1 ,...,iN pedig egy valós szám, az Ri1 ,...,iN szabály kimenete. A rendszer kimenete az alábbi módon írható fel:
y* =
∑y
i1 ,...,i N
i1 ,...,i N
∑µ
i1 ,...,i N
1,i1
µ1,i1 ( x1* )...µ N ,i N ( x *N ) ( x )...µ N ,iN ( x ) ∗ 1 * 1
* N
=
N0 , D0
(3.20)
ahol µ k ,i k ( xk ) a k. bemenet ik . antecedens halmazának tagsági függvénye. Az N-dimenziós F mátrix (mérete n1 ×... ×n N ×2 ):
f i1 ,...,iN ,1 = y i1 ,...,iN és f i1 ,...,iN , 2 = 1 .
(3.21)
Ezután az 2.1, 2.2 és 2.3 eljárások alkalmazhatók az F mátrix redukciójára, de az N+1. *
lépésben mindkét szinguláris értéket megtartjuk. Az eredmény az F redukált mátrix (mérete n1r ×n2r ×... ×nNr ×2 , nkr ≤ nk k = 1...N ) és az A k (k=1,..,N) mátrixok (méretük nk ×nkr ), melyek rendelkeznek az SN és NN tulajdonságokkal. Az új – PSGN – szabálybázis: R 'i1 ,...,iN : If x1 is X '1,i1 and x2 is X ' 2,i2 and ... and x N is X ' N ,iN then y = Y 'i1 ,...,iN , ahol az új antecedens halmazok: µ 'k , i k ( xk ) = ∑ ak ,i k , l µl , ik ( xk ) ,
(3.22)
l
25
ahol az ak , i k , l értékek az A k halmaz elemei. Az A k SN és NN tulajdonságai biztosítják, hogy az új tagsági függvények értékei a [0,1] intervallumba essenek, továbbá hogy az új antecedens halmazok Ruspini-partícióban legyenek. A következmény halmazok súlyközéppontja y 'i1 ,...,i N , területe s 'i1 ,..., i N , ahol a paraméterek az *
F mátrix elemeiből az alábbiak szerint határozhatók meg:
f i1*,...,iN ,1
y ' i1 ,...,i N =
és
f i1*,...,iN , 2
s ' i1 ,...,iN = f i1*,...,iN , 2 .
(3.23)
A redukált szabálybázis csak n1r ×n 2r ×... ×n Nr szabályt tartalmaz, az eredeti n1 ×n 2 ×... ×n N helyett. A redukció hibája. Mivel PSGN rendszerek esetében az eredeti rendszer antecedens halmazai Ruspinipartícióban vannak, és ezt a tényt fel is használjuk a hiba becslésénél, itt új hibabecslésre van szükség. A redukált rendszer kimenete:
*
y =
∑ y'
i1 ,...,i N
i1 ,...,i N
∑ s'
i1 ,...,i N
s 'i1 ,...,iN µ '1,i1 ( x1* )...µ ' 2,iN ( x *N )
i1 ,...,i N
µ '1,i1 ( x )...µ ' 2,iN ( x ) * 1
* N
=
N '0 D'0
(3.24)
A számláló és a nevező hibája külön-külön becsülhető. A továbbiakban a szerző a számláló hibájának becslését mutatja be részletesen, a nevező hibájának meghatározása hasonlóan történik. Legyenek az Lk és U k (k=1,…,N) értékek a tagsági függvény összegek alsó és felső korlátai:
nk
Lk ≤ ∑ µ k ,i ( x ) ≤U k ∀x .
(3.25)
i =1
Az eredeti rendszer számlálója az alábbi módon írható fel:
26
n2
nN
i 2 =1
i N =1
N 0 = ∑... ∑ µ 2, i2 ( x2* )...µ N , i N ( x*N )bi 2 ,..., i N ,
(3.26)
ahol
[
n1
]
bi2 ,..., i N = ∑ µ1, i1 ( x1* ) yi1 ,i 2 ,..., i N = µ1,1 ( x1* ) ... µ1, n1 ( x1* ) H 1,1 és S 1 = H 1,1 H 1, 2 i1 =1
Az S 1 mátrix mérete n1 ×(n2 ∗ ... ∗ n N ∗ 2) , és az yi1 , ,..., i N és si1 ,,..., i N = 1 elemeket tartalmazza, a fent leírtak szerint. Ezen belül a H 1,1 mátrix tartalmazza az yi1 , ,..., i N értékeket, míg a H 1, 2 az si1 ,,..., i N = 1 értékeket. A redukció első lépésében az S 1 mátrixot – és ezzel a bi2 ,..., i N értékeket - közelítjük: S 1 ≈ A1 B A'1T = A1 S 1 . A közelítés hibája (ERSVD,1) nem nagyobb, mint az első lépésben *
elhagyott szinguláris értékek összege λ1 . A bi2 ,..., i N értékek közelítésének hibája:
[
]
bi2 ,..., i N − bi2 ,..., i N = µ1,1 ( x1* ) ... µ1, n1 ( x1* ) ( S 1 − A1 B A'1T ) E RSVD ,1 ... ≤ µ1,1 ( x ) ... µ1, n1 ( x ) M O E RSVD ,1 ...
[
* 1
* 1
]
ERSVD ,1 M ERSVD ,1
(3.27)
n1
bi2 ,..., i N − bi2 ,...,i N ≤ ∑ µ1, i1 ( x1* ) ERSVD ,1 = U k ERSVD ,1 . i1 =1
A 3.26 és 3.27 egyenletekből a redukció első lépésében a számláló hibája:
N 0 − N ' 0,1 =
n2
nN
i2 =1
i N =1
n2
nN
i2 =1
i N =1
∑...∑ µ 2,i2 ( x2* )...µ N ,iN ( x *N )(bi2 ,...,iN −b i2 ,...,iN ) ≤
≤ ∑...∑ µ 2,i2 ( x 2* )...µ N ,iN ( x *N )U 1 E RSVD ,1 = U 1U 2 ...U N E RSVD ,1 ≤ (3.28) ≤U 1 ...U N λ1
27
Így az első lépésben a hiba nem nagyobb, mint az első lépésben elhagyott szinguláris értékek összege, szorozva az egyes bemeneteken érvényes tagsági függvény összeg korláttal. A következő lépésekben a hiba hasonló módon becsülhető, az egyetlen különbség, hogy a 3.28 egyenletben nem csak az eredeti, hanem a redukált rendszer antecedens fuzzy halmazai is megjelennek. Mivel a redukált rendszer antecedens fuzzy halmazai Ruspini-partícióban vannak, így a fenti hibakorlát érvényes, ha 1 ≤U k
∀k -ra. Általánosan a számláló teljes
hibája az alábbiak szerint becsülhető: N dk N ∏ max{1,U l } = E0 λ N 0 − N '0 ≤ k, j ∑∑ k =1 j =1 l =1
(3.29)
ahol dk az k. lépésben elhagyott szinguláris értékek száma, λk , j pedig az k. lépésben elhagyott j. szinguláris érték A nevező hibája hasonló módon becsülhető, és a fenti hibakorlát arra is érvényes. Legyen ∆N 0 = N ' 0 − N 0 és
(3.30)
∆D0 = D' 0 − D0 .
A kimenet hibája:
*
y* − y =
N 0 N '0 D ( N + ∆N 0 ) − N 0 ( D0 + ∆D0 ) − = 0 0 = D0 D' 0 D0 D ' 0
∆N 0 N 0 ∆D0 ∆N 0 ∆D0 = − = − y* D' 0 D0 D ' 0 D'0 D' 0
(3.31)
Mivel ∆N 0 ≤ E 0 és ∆D0 ≤ E0 :
*
y* − y ≤
E0 E (1 − y * ) ≤ 0 max y * − 1 D' 0 D'0
(3.32)
28
N
Ha D '0 ≥ 0 , azaz E0 ≤∏ Lk , akkor a 3.29 egyenlet elhasználásával az általános hibakorlát: k =1
n dk N ∑∑ λ k , j ∏ max{1,U k } k =1 j =1 * E0 k =1 * * y −y ≤ N max y − 1 ≤ max y * − 1 d N n k N Lk − E0 Lk − λk , j ∏ ∏ ∑∑ ∏ max{1, U k } k =1 k = j = k =1 1 1 k =1 (3.33) Mivel a max y * − 1 szorzó esetenként túlságosan magas lehet, érdemes lehet y * értékétől függően pontosabb hibakorlátot használni. Ha y * ≤1 , akkor a 3.31 egyenletből:
*
y* − y ≤
E0 E (1 − y * ) ≤ 0 (1 − y * ) ≤ E1 (1 − min y * ) , D' 0 D'0
(3.34)
n dk N ∑∑ λ k , j ∏ max{1, U k } k =1 j =1 k =1 ahol E1 = . dk N n N Lk − λk , j ∏ ∑∑ ∏ max{1,U k } k = j = k =1 1 1 k =1 Ha y * ≥1 , akkor a 3.31 egyenletből:
*
y* − y ≤
E0 * E ( y − 1) ≤ 0 ( y * − 1) ≤ E1 y * D' 0 D'0
(3.35)
Ha y * ≤ −1 , akkor a 3.31 egyenletből:
*
y* − y ≤
E0 E (1 − y * ) ≤ 0 y * ≤ E1 y * D' 0 D' 0
(3.36)
Azaz, ha y * ≥1 , akkor a relatív hibára kapunk egy jó hibabecslést.
29
Megjegyzendő, hogy amennyiben lehetőség van a mátrixredukció E RSVD hibájának pontosabb becslésére, úgy az felhasználható az E 0 kiszámításához, és így akár a fentieknél pontosabb hibakorlát is kapható.
3.3. SVD-alapú mátrixredukció javított hibakorlátja 3.3 tétel Az SVD-alapú mátrixredukció hibakorlátja felírható az elhagyott oszlopok diadikus szorzataként is, és ennek felhasználásával az eddiginél pontosabb hibakorlát adható a nempontos SVD-alapú komplexitás csökkentő eljárásokra [92]. Bizonyítás: Az SVD-alapú mátrixredukció során az F mátrix az alábbi formába írható:
F ( n ×n ) = A1,( n ×n ) B ( n ×n ) A 2,( n ×n ) , T
1
2
1
1
1
2
2
(3.37)
2
azaz: f i , j = ∑∑ a1,i , p b p , q a 2, j ,q = ∑ a1,i , p b p , p a 2, j , p = ∑ a1,i , p λ p a 2 , j , p , p
q
p
(3.38)
p
mivel bp,q=0, ha p ≠ q :
nSVD
F = ∑ λ p a 1,k a 2 ,k , T
(3.39)
p =1
T
ahol a1,k az A1 mátrix k. oszlopa, a 2, k pedig az A 2 mátrix k. oszlopa, azaz az A 2 k. sora. A mátrixokat az 2.1. eljárásban leírtak szerint particionálva:
A k = A rk ,( n ×n k
r
A dk ,( n ×( n
)
k
r
B=
B ( n ×n r
0
r
k
0
)
,
d
B (( n − n )×( n 1
r
és
− nr ))
2 − nr
(3.40)
))
30
ahol az "r" és "d" indexek rendre a redukált és az elhagyott mátrixokat jelölik. r
r
rT
Az F ' = A1 B A 2 mátrix az F mátrix egy közelítése. Az elemei az alábbiak szerint írhatók fel: nr
nr
p =1
p =1
f 'i , j = ∑ a1,i , p b p , p a 2 , j , p = ∑ a1,i , p λ p a 2, j , p . nr
F ' = ∑ b p a 1, k a T2, k ,
(3.41)
p =1
r
felhasználva, hogy az Ak és A k mátrixok első nr oszlopa azonos. Az F és F' elemei közti maximális eltérés:
ei , j = f i , j − f ' i , j = E = F − F' =
nSVD
nSVD
p = n r +1
p = n r +1
∑ a1,i, p b p , p a 2, j , p =
nSVD
∑λ
p = nr +1
∑λ
p
a1,i , p a 2 , j , p ,
T
p
a 1, k a 2, k ,
(3.42)
d
felhasználva, hogy az Ak és A k mátrixok utolsó nk-nr oszlopa azonos. Így a mátrixredukció hibája az E hibamátrix legnagyobb elemével becsülhető:
E RSVD = max(E ) .
(3.43)
Mivel így az SVD-alapú komplexitás-csökkentő algoritmusok magját alkotó mátrixredukcióra kapunk javított hibakorlátot, ez a hibakorlát felhasználható az összes SVD-alapú redukció hibájának becslésénél. Ez az eljárás arra is alkalmas lehet, hogy az E hibamátrix egy almátrixán végezve a becslést, a rendszer értelmezési tartományának egy altartományán az eredetinél adott esetben alacsonyabb, pontosabb hibakorlátot kapjunk. Ez akkor lehet hasznos, ha a rendszer kimenetének értéke széles tartományon változhat, és egyes tartományokon szeretnénk pontosabb becslést kapni az ottani relatív hibáról (l. 6.1 fejezet), vagy ha PSGN, vagy
31
majdnem PSGS rendszer redukciója esetén a nevező és a számláló hibáját szeretnénk külön becsülni. Majdnem PSGS rendszerek redukciója esetén, ha a számláló és a nevező hibakorlátja rendre E 0, N , illetve E 0 , D (azax ∆N 0 ≤ E 0, N és ∆D0 ≤ E 0, D ), akkor a 3.31 egyenletből:
*
y* − y ≤
E0 N E − y* 0 D ≤ D '0 D'0
E0, N N
∏L
k
+
− E0 , D
k =1
E0 , D N
∏L
k
y* ,
(3.44)
− E0, D
k =1
ahol Lk a k. bemenet tagsági függvényei összegének a minimuma. Ez a hibakorlát számítási mód előnyös lehet, ha E 0, D lényegesen kisebb, mint E 0, N , ami – mivel a redukált mátrix nevezőnek megfelelő része kezdetben egyesekkel volt feltöltve – a gyakorlatban gyakori eset (l. 6.2. példa).
3.4. Összefoglalás Ebben
a
fejezetben
a
fuzzy-rendszerek
komplexitás-csökkentésével
kapcsolatos
eredményeimet mutattam be, melyek alkalmasak arra, hogy kibővítsék az SVD-alapú komplexitás-csökkentő algoritmusok hatókörét. Új hibabizonyítást adtam a PSGS-rendszerek hibakorlátjára, mely nem igényli a bemeneti tagsági függvények linearitását, így lehetséges a nem-pontos redukció hibakorlátjának becslése tetszőleges bemeneti fuzzy halmazok esetén. Mivel más fuzzy-rendszerek – PSGN, Takagi-Sugeno – esetén a hibakorlát számítás a „részPSGS rendszerek” hibakorlátjának felhasználásával történik, ez egyben lehetővé teszi azoknál is a nemlineáris bemeneti halmazok használatát. Algoritmust
adtam
a
majdnem
PSGS
fuzzy
rendszerek
SVD-alapú komplexitás-
csökkentésére, ez akkor hasznos, ha valamilyen okból kifolyólag – például szakértői tudás alapján alkotott fuzzy rendszerek esetén – nem biztosítható, hogy a bemeneti tagsági függvények Ruspini-partícióban legyenek. Végül új, pontosabb számítási módszert javasoltam az SVD-alapú mátrixredukciós algoritmusra, mely nemcsak pontosabb hibabecslést tesz lehetővé az SVD-alapú komplexitáscsökkentő eljárások esetén, hanem módot ad a hiba pontosabb becslésre is egy-egy résztartományon. Különösen előnyös ez azokban az esetekben, ahol a mátrix bizonyos részein
32
fellépő hiba jobban befolyásolja az egész redukciós eljárás hibáját – például PSGN és majdnem PSGS fuzzy rendszerek redukciója esetén. A fejezetben leírtakat publikáltam az [89-92] cikkekben.
33
4. Általánosított fuzzy-neurális háló nem pontos redukciója Az utóbbi években a különböző neurális hálók alkalmazása előtérbe került mind a klasszikus mérnöki területeken (pl. szabályozástechnika, modellezés [93-96]), mind az újabb humánműszaki alkalmazásokban (karakter- és arcfelismerés, dokumentumosztályozás, stb.[97-100]). A neurális hálók népszerűségének fő oka, hogy tanuló algoritmusok segítségével lehetővé teszik bonyolult problémák megoldását a pontos matematikai modell ismerete nélkül. Bár jelenleg sokféle mind általános célú, mind specializáltabb neurális háló típus létezik [101105], hatékony tanító algoritmusokkal, az egyik fő probléma a neuronszámmal exponenciálisan növekvő komplexitás. Mivel nem ismeretes olyan általános eljárás, amivel egy adott probléma megoldásához szükséges neurális háló mérete becsülhető lenne, a gyakorlatban a jó közelítés érdekében gyakran túl sok neuronnal és réteggel rendelkező neurális hálókat alkalmaznak, melyek tartalmazhatnak redundáns, kevéssé szignifikáns elemeket is. Az általánosított fuzzy-neurális háló a klasszikus többrétegű perceptron-háló általánosítása abból a szempontból, hogy a nemlineáris transzfer-függvény nem a neuronokban, hanem az összeköttetésekben található. Az egyes összeköttetésekre különböző függvény definiálható, és a függvények szintén taníthatóak [69,70]. Mivel a nem ismert nemlineáris függvények keresése igen bonyolult, akár megoldhatatlan matematikai probléma lehet, a transzferfüggvényeket közelítik egyszerű egy bemenetű-egy kimenetű fuzzy rendszerekkel, és a tanító eljárás során azok paramétereit hangolják. Az eredmény egy fuzzy-neurális háló. Bár
az
általánosított
fuzzy-neurális háló a klasszikus többrétegű perceptron-háló
általánosítása, approximációs képességei megegyeznek azzal. Ugyanakkor az eddigi alkalmazások arra utalnak, hogy nagyobb rugalmassága miatt különösen jól alkalmazható olyan alkalmazásokban, ahol egy bonyolult felület/függvény jellegében jó leírása szükséges [106-108]. Ilyen alkalmazások például a dokumentum-osztályozás [109-110], vagy az automatikus navigációban használt potenciál-felületek leírása [111]. Az általánosított fuzzy-neurális háló további előnye, hogy a fent ismertetett SVD-alapú komplexitás-csökkentő eljárások kiterjeszthetők rá, így a már betanított hálóból egy utólagos komplexitás csökkentéssel a redundáns elemek kiszűrhetők [69,70]. Ugyanakkor a gyakorlatban a pontos redukció gyakran nem elegendő, hanem további, nem-pontos redukció is szükséges, különös tekintettel arra, hogy a betanított fuzzy-neurális háló maga is az eredeti függvény/felület approximációja, így egy kis további hiba gyakran nem jelent lényeges 34
minőségromlást a háló kimenetében. Míg az SVD-alapú komplexitás-csökkentés viszonylag egyszerűen terjeszthető ki pontos redukcióról nem-pontosra, a gyakorlati alkalmazáshoz elengedhetetlenül szükséges a nem-pontos redukció hibájának az ismerete. Ebben a fejezetben általánosított fuzzy-neurális hálók SVD-alapú nem-pontos komplexitáscsökkentéséhez adok hibakorlátot, matematikai bizonyítással együtt. A 4.1. fejezetben bemutatom az alapfogalmakat, illetve a Baranyi és társai által kidolgozott komplexitáscsökkentő eljárásokat. A 4.2., illetve a 4.3. fejezetben pedig hibakorlátot adok szingleton, illetve nem-szingleton alapú általánosított fuzzy-neurális hálók nem-pontos komplexitáscsökkentéséhez, megadva a matematikai bizonyítást is.
4.1. Alapfogalmak 4.1 definíció: Szingleton-alapú általánosított fuzzy-neurális háló (SGNN) [69] A klasszikus többrétegű neurális háló általánosítható, ha a nemlineáris transzfer függvények átkerülnek a neuronokból az összeköttetésekbe. Így a neuronok csak egyszerű összeadást végeznek, az összeköttetések pedig konstans súlyok helyett nemlineáris súlyfüggvényekkel rendelkeznek, melyek szintén taníthatók (4.1 ábra) [69]. Legyen nl a neuronok száma az l. rétegben, N l ,i ( i = 1...nl ) az l. réteg i. neuronja. Jelölje xl ,i , k ( k = 1...nl −1 ) az N l ,i k. bemenetét, y l ,i pedig a kimenetét. Az N l ,i és N l +1, j neuron közti kapcsolatot az f l , j ,i ( y l ,i ) ( j = 1...nl +1 ) súlyfüggvény írja le. Így az l+1. réteg kimenete:
nl
nl
i =1
i =1
y l +1, j = ∑ x l +1, j ,i = ∑ f l , j ,i ( y l , i ) .
(4.1)
A tanítás során a nem ismert súlyfüggvények hangolása történik. A tanítás komplexitásának kézbentarthatósága végett a súlyfüggvényeket helyettesítik egy bemenetű-egy kimenetű PSGS fuzzy rendszerekkel, ahol a szabályok: If At then bt , azaz a szabályok kimenete szingleton. Így a következtetés eredménye:
m
y ∗ = ∑ µ t ( x ∗ )bt
(4.2)
t =1
35
fl,1,1(x1) X1
Yl,1
Nl+1,1
fl,j,i (x1)
Nl,1
Yl+1,1
fl,d,i (x1)
Xi
fl,1,i (xi )
Yl,j
Nl,i
Nl+1,j
fl,j,i (xi)
Yl+1,j
fl,d,i (xi) Xc
Yl,c
fl,1,c(xc)
Nl,c
Nl+1,d
Yl+1,d
fl,j,c(xc) c=nl
d=nl+1 fl,d,c(xc)
4.1 ábra: Általánosított neurális háló
B l,1,i,t X1
µ
µ
N l+1 ,1
N l,1
X l+1 ,1
A n t eced en ts Y l,1 A l,i,t Xi
N l,i
µ
Rule
B l,j,i,t µ
N l+1 ,j
N l,c c= n l
µ A n t eced ent s Y l,c
Y l+1 ,j
X l+1 ,j
A n t eced ent s Y l,j
Xc
Y l+1 ,1
B l,d,i,t µ
N l+1 ,d
Y l+1 ,d
X l+1 ,d d=n l+1
4.2 ábra: Általánosított szingleton-alapú fuzzy-neurális háló
36
Behelyettesítve a 4.2 egyenletet a 4.1-be, és megengedve, hogy az egyes PSGS rendszerek különböző számú antecedens halmazzal rendelkezzenek, az l+1. réteg kimenete:
nl
n l ml , i
i =1
i =1 t =1
y l +1, j = ∑ f l , j ,i ( yl ,i ) = ∑∑ µ l ,i ,t ( y l ,i )bl , j ,i ,t
(4.3)
ahol ml ,i az antecedens halmazok száma az l. réteg i. neuronja és az l+1. réteg j. neuronja közti PSGS rendszerben, µ l ,i ,t ( y l ,i ) és bl , j ,i ,t pedig rendre a t. szabály antecedens fuzzy halmazának tagsági függvénye, illetve következménye (4.2 ábra). Ha ∀i : ml ,i = m , akkor 4.3 a következő formában írható le:
ml , i
nl
m
nl
m
nl
y l +1, j = ∑∑ µ l ,i ,t ( y l ,i )bl , j ,i ,t = ∑∑ µ l ,i ,t ( y l ,i )bl , j ,i ,t = ∑∑ f l , j ,i ( y l ,i ) i =1 t =1
t =1 i =1
(4.4)
t =1 i =1
4.2 definíció: Nemszingleton-alapú általánosított fuzzy-neurális háló (NGNN) [70] Az NGNN hasonló az SGNN-hez, az egyetlen különbség, hogy a nemlineáris súlyfüggvények becslésére PSGN rendszereket használ PSGS helyett, ahol a szabályok: If At then Bt , azaz a t. szabály kimenete Bt fuzzy halmaz, melynek tagsági függvénye µ t (x ) (4.3 ábra). Így a következtetés eredménye:
m
∗
y =
∑ µ (x t =1 m
∗
t
∑ µ (x t =1
t
m
)d t s t == ∗
)st
∑ µ (x
∗
∑ µ (x
∗
t =1 m t =1
t
t
)bt ,
(4.5)
)s t
ahol d t a súlyközpontja, st a területe a µ t (x ) tagsági függvénnyel definiált fuzzy halmaznak. Behelyettesítve a 4.5 egyenletet 4.1-be az l+1. réteg kimenete:
37
Bl,1,i,t X1
µ
Nl,1
µ Yl,1
Antecedents
Bl,j,i,t
Rule
µ
Nl,i
µ Antecedents
Yl+1,1
Xl+1,1
Al,i,t Xi
Nl+1,1
Nl+1,j
Yl,j
Yl+1,j
Xl+1,j Bl,d,i,t
µ
Xc
µ
Nl,c
Nl+1,d
Antecedents Yl,c
c=nl
Yl+1,d
Xl+1,d d=nl+1
4.3 ábra: Általánosított nem-szingleton alapú fuzzy-neurális háló
ml ,i
nl
nl
i =1
i =1
y l +1, j = ∑ f l , j ,i ( y l ,i ) = ∑
∑µ t =1
l ,i ,t
( yl ,i )d l , j ,i ,t sl , j ,i ,t
ml , i
∑µ t =1
l ,i ,t
( y l ,i )s l , j ,i ,t ,
ml , i
nl
=∑ i =1
∑µ t =1 ml , i
∑µ
l ,i ,t
( y l ,i )bl , j ,i ,t
l ,i ,t
( y l ,i ) s l , j ,i ,t
nl
N l , j ,i
i =1
Dl , j ,i
=∑
= (4.6)
t =1
ahol d l , j ,i ,t a súlyközpontja, s l , j ,i ,t pedig a területe az l. réteg i. és az l+1. réteg j. neuronja közti
PSGN
rendszer
t.
következmény
halmazának,
ml ,i
ml , i
t =1
t =1
bl , j ,i ,t = d l , j ,i ,t s l , j ,i ,t ,
N l , j ,i = ∑ µ l ,i ,t ( y l ,i )bl , j ,i ,t jelöli a számlálókat és Dl , j ,i = ∑ µ l ,i ,t ( y l ,i ) sl , j ,i ,t a nevezőket.
38
4.1 eljárás: Szingleton-alapú általánosított fuzzy-neurális háló (SGNN) nem-pontos komplexitás csökkentése [69] A komplexitás csökkentés során a 4.3 egyenlet átírható a következő formába [69]: mlr,i
nlr+1
nl
z =1
i =1 t =1
y ' l +1, j = ∑ al , j , z ∑∑ µ lr,i ,t ( y l ,i )b' l , z ,i ,t
(4.7)
ahol mlr, i az antecedens halmazok száma a redukált háló l. rétegének i. neuronja és az l+1. rétegének j. neuronja közti PSGS rendszerben, µlr, i , t ( yl , i ) és b'l , j , i , t pedig rendre a t. szabály antecedens fuzzy halmazának tagsági függvénye, illetve következménye, továbbá nlr+1 ≤nl +1 és ∀i : mlr,i ≤ ml ,i . Az al , j , z paramétereket a komplexitás-csökkentő eljárás állítja elő. A redukált neurális háló rendelkezik egy új réteggel az l. és l+1. között (4.4 ábra) [69]. Az eredeti l. réteg és az új réteg közti súlyfüggvényeket a redukált PSGS rendszerek becslik, míg az l+1. réteg az új réteg kimeneteinek súlyozott összegzését végzi, a súlyozó faktorok az al , j , z értékek. Mivel az új réteg neuronszáma tipikusan kisebb, mint az eredeti rétegek neuronszáma. és az új réteg és az l+1. réteg között csak súlyozott összegzés történik, az új réteg ellenére a redukált háló komplexitása kisebb lehet, mint az eredetié. A redukció két lépésben történik, az elsőben az al , j , z értékek kerülnek meghatározásra, a másodikban pedig az új tagsági függvények. 1. Az al , j , z értékek meghatározása Legyen µ 0 és S l a következő:
[
µ 0 = µ l ,1,1 ( y l ,1 ) ... µ l ,1,ml ,1 ( y l ,1 ) ... µ l , nl , ml , nl ( y l , nl )
bl ,1,1,1 ... bl ,1,1, ml ,1 Sl = M O M bl ,nl +1 ,1,1 ... bl , nl +1 ,1, ml ,1
]
T
bl ,1, nl ,1 ... bl ,1, nl ,ml , nl ... M O M bl ,nl +1 ,nl ,1 ... bl ,nl +1 ,nl , ml , nl
(4.8)
39
X1
µ Nl,1
B’l,1,i,t Antecedents Yl,1 Al,i,t
Xi
Nl+1,1
Nl,i
Yl+1,1
µ Xl+1,1
Rules
µ
Nl+1,j
Yl+1,j
Antecedents Yl,j B’l,e,i,t Xc
µ
µ
Nl
Nl+1,d
,c
Xl+1,e
Antecedents Yl,c
c=n l
Yl+1,d
d=n l+1
e=n rl+1
Extra layer
4.4 ábra: Szingleton-alapú általánosított fuzzy-neurális háló a redukció után
ahol a µ 0 vektor (hossza:
nl
∑m i =1
l ,i
) tartalmazza az összes tagsági függvény értékét egy adott
( y l ,1 ,..., y l , nl ) pontban, az S l mátrix pedig tartalmazza az összes bl , j ,i ,t értéket. S l mérete nl
nl +1 ×∑ ml ,i . i =1
A 2.1 eljárásban leírt SVD-alapú redukciót alkalmazva az S l mátrixra: S l ≈ A l D l V l = A l S 'l ,
(4.9)
Az A l mátrix (mérete nl +1 ×nlr+1 ) elemei lesznek az al , j , z értékek. 2. Új tagsági függvények meghatározása Legyenek az M l ,i mátrixok és a µ i ( y l ,i ) vektorok az alábbiak szerint definiálva:
M l ,i
b' l ,1,i ,1 = M b' l ,1,i ,ml ,i
... b'l , n r ,i ,1 l +1 O M , ... b'l , n r ,i , m l +1
(4.10)
l ,i
40
[
µ i ( y l ,i ) = µ l ,i ,1 ( y l ,i ) ... µ l ,i , ml ,i ( y l ,i )
]
ahol M l ,i mérete ml ,i ×nlr+1 . A 2.1 eljárásban leírt SVD-alapú mátrixredukciót, továbbá az SN és NN eljárásokat alkalmazva az M l ,i mátrixokra:
M l ,i ≈T l ,i D l ,i V l ,i = T l ,i M ' l ,i ,
(4.11)
ahol az T l ,i és V l ,i mátrixok ortogonálisak, a D l ,i diagonálmátrix pedig tartalmazza M l ,i szinguláris értékeit, csökkenő sorrendben. A redukált fuzzy-neurális háló PSGS rendszereinek következményrészei ( b'l , z ,i ,t ) az M ' l ,i mátrixok elemei lesznek, az új tagsági függvények pedig: µ lr,i , j ( y l ,i ) = ∑ µ l , j , k ( y l ,i )t l ,i , j ,k ,
(4.12)
k
ahol az t l ,i , j , k értékek a T l ,i mátrix elemei. A T l ,i SN és NN tulajdonságai biztosítják, hogy az új tagsági függvények értékei a [0,1] intervallumba essenek, továbbá hogy az új antecedens halmazok is Ruspini-partícióban legyenek. 4.2 eljárás: Nem szingleton-alapú általánosított fuzzy-neurális háló (NGNN) nem-pontos komplexitás csökkentése a fuzzy-jelleg megtartásával [70] Nem-szingleton alapú neurális hálók esetén a komplexitás-csökkentés két módon hajtható végre. Az első esetben megtartjuk a fuzzy-jelleget, azaz a redukált háló is NGNN lesz. A komplexitás csökkentés során a 4.6 egyenlet átírható a következő formába [70]: mlr, i
nl +1
y ' l +1, j = ∑ i =1
∑µ t =1
mlr, i
∑µ t =1
r l ,i ,t
r l ,i , t
( y l ,i )b' l , z ,i ,t ( y l ,i ) s ' l , z ,i ,t
nl +1
N ' l , j ,i
i =1
D ' l , j ,i
=∑
,
(4.13)
41
ahol b'l , z , i , t = d 'l , z ,i ,t s 'l , z , i , t , mlr, i az antecedens halmazok száma a redukált háló l. rétegének i. neuronja és az l+1. rétegének j. neuronja közti PSGS rendszerben, µlr, i , t ( yl , i ) , d 'l , z , i , t és s 'l , z , i , t pedig rendre a t. szabály antecedens fuzzy halmazának tagsági függvénye, illetve következmény fuzzy halmazának súlyközéppontja és területe, továbbá ∀i : mlr,i ≤ ml ,i (4.5 ábra) [70]. Legyenek a µ i vektorok és az M l ,i mátrixok az alábbiak szerint definiálva:
[
µ i ( y l ,i ) = µ l ,i ,1 ( y l ,1 ) ... µ l ,i , ml , i ( y l ,i )
O l ,i
P l ,i
bl ,1,i ,1 = M bl ,1,i ,ml ,i
... bl , n ,i ,1 l +1 O M ... bl , n ,i , m
s l ,1,i ,1 = M s l ,1,i ,ml ,i
... O ...
l +1
sl , n
]
l ,i
l +1 ,i ,1
M
,
(4.14)
sl ,n
l + 1 , i , ml , i
M l ,i = O l ,i P l ,i .
A 2.1 SVD-alapú mátrixredukciós eljárást, továbbá az SN és NN eljárásokat alkalmazva az M l ,i mátrixokra:
M l ,i ≈T l ,i U l ,i V l ,i = T l ,i M ' l ,i = T l ,i O' l ,i P' l ,i
(4.15)
A redukált fuzzy-neurális háló PSGS rendszereinek antecedens halmazai: µ lr,i , j ( y l ,i ) = ∑ µ l , j , k ( y l ,i )t l ,i , j ,k ,
(4.16)
k
ahol a t l ,i , j , k értékek a T l ,i mátrix elemei. A T l ,i SN és NN tulajdonságai biztosítják, hogy az új tagsági függvények értékei a [0,1] intervallumba essenek, továbbá hogy az új antecedens halmazok is Ruspini-partícióban legyenek.
42
Bl,1,i,t X1
µ
Nl,1
µ Yl,1
Antecedents Al,i,t Xi
Bl,j,i,t
Nl+1,j
µ Antecedents
Yl+1,1
Xl+1,1
Rules
µ
Nl,i
Nl+1,1
Yl,j
Yl+1,j
Xl+1,j Bl,d,i,t
Xc
µ
Nl,c
µ Antecedents
c=nl
Nl+1,d
Yl,c
Xl+1,d
Yl+1,d
d=nl+1
4.5 ábra: Nem szingleton-alapú általánosított fuzzy-neurális háló a redukció után A redukált háló következmény fuzzy halmazainak súlyközéppontja d ' l , j ,i ,t = b' l , j ,i ,t / s ' l , j ,i ,t , területe s ' l , j ,i ,t , ahol a b'l , j ,i ,t és s ' l , j ,i ,t értékek rendre a O 'l ,i és P ' l ,i mátrixok elemei.
4.3 eljárás: Nem szingleton-alapú általánosított fuzzy-neurális háló (NGNN) nem-pontos komplexitás csökkentése a fuzzy-jelleg elvesztésével [70] Ha a komplexitás-csökkentés során nem ragaszkodunk a fuzzy jelleg megtartásához, azaz megengedjük, hogy a redukált rendszer ne NGNN legyen, akkor gyakran nagyobb mértékű redukció érthető el. Ebben az esetben a redukció után kapott egyenlet nem feleltethető meg egy neurális hálónak. A komplexitás csökkentés során a 4.6 egyenlet átírható a következő formába [70]:
nlr, i
nl
y ' l +1, j = ∑ i =1
mlr,i
∑a ∑ µ z =1
l ,i , z
r n l ,i
l ,i ,t
t =1
r m l ,i
∑a ∑ µ l ,i , z
z =1
r
t =1
r l ,i ,t
( y l ,i )b' ' l , z ,i ,t ( y l ,i ) s ' ' l , z ,i ,t
nl
N ' ' l , j ,i
i =1
D' ' l , j ,i
=∑
,
(4.17)
ahol az "r" indexű változók a redukált rendszer paramétereit jelölik, „ ” jelöli a nevező r
r
paramétereit, továbbá nlr+1 , n l +1 ≤ nl +1 és ∀i : mlr,i , m l , i ≤ml ,i .
43
A számláló és a nevező redukciója külön történik. A továbbiakban a szerző a számláló redukcióját mutatja be [70], a nevező redukciója hasonló módon történik. A számláló redukciója két lépésben történik. Az elsőben az al , j , z értékek kerülnek meghatározásra, míg a másodikban az új µ lr,i ,t ( y l ,i ) függvények. 1. Az al , j , z értékek meghatározása Legyen µ i és S l az alábbiak szerint definiálva:
[
µ i = µ l ,i ,1 ( yl ,i ) ... µ l ,i ,ml ,i ( y l ,i )
S l = H l ,1 ... H l ,n
]
T
l
H l ,i
bl ,1,i ,1 ... bl ,1,i , ml , i M O M , = bl ,nl +1 ,i ,1 ... bl ,nl +1 ,i ,ml ,i
(4.18)
ahol az µ i vektorok (hosszuk ml ,i ) tartalmazzák a tagsági függvények értékeit egy adott ( y l ,1 ,..., y l , nl ) pontban, S l pedig tartalmazza a bl , j ,i ,t értékeket. Az S l mátrix mérete nl
nl +1 ×∑ ml ,i . i =1
A 2.1 eljárásban leírt mátrixredukciós algoritmust alkalmazva az S l mátrixra:
S l ≈ A l D l V l = A l S 'l = A l H ' l ,1 ... H 'l ,nl .
(4.19)
Az A l mátrix (mérete nl +1 ×nlr+1 ) elemei lesznek az al , j , z értékek. 2. Új µ r l ,i ,t ( y l ,i ) függvények meghatározása A 2.1 eljárásban leírt mátrixredukciós algoritmust alkalmazva a H 'Tl ,i mátrixokra:
H 'Tl ,i ≈T l ,i D l ,i V l ,i = T l ,i H ' 'Tl ,i .
(4.20)
A redukált formában szereplő b' 'l , z ,i ,t értékek az M ' l ,i mátrixok elemei lesznek, az új “tagsági függvények” pedig:
44
µ lr,i , j ( y l ,i ) = ∑ µ l , j , k ( y l ,i )t l ,i , j ,k ,
(4.21)
k
ahol az t l ,i , j , k értékek a T l ,i mátrix elemei.
4.3 definíció: Fuzzy-neurális háló komplexitás-csökkentésének hibája és hibakorlátja A továbbiakban a fuzzy-neurális háló komplexitás-csökkentésének hibáján az l+1. réteg kimenetének az eredeti kimenettől való maximális abszolút eltérését tekintjük, egy réteg (az l. és l+1. réteg közti összeköttetések) redukciója esetén: eNNSVD = max y 'l +1, j − yl +1, j
(4.22)
Hibakorlát az az érték, aminél a fenti hiba bizonyíthatóan nem nagyobb: eNNSVD ≤ E NNSVD
(4.23)
4.2. Szingleton-alapú általánosított fuzzy-neurális háló (SGNN) nempontos komplexitás csökkentésének hibakorlátja 4.1 tétel A 4.1 komplexitás-csökkentő eljárás alkalmazása esetén a fuzzy-neurális háló kimenetének maximális hibája az alábbiak szerint becsülhető az elhagyott szinguláris értékek összegéből [112-115]: nl
y 'l +1, j − y l +1, j ≤ ∑ λ 2,i + nl λ 1 ,
(4.24)
i =1
ahol nl a neuronok száma az l. rétegben, λ 1 az első, λ 2,i pedig a második lépésben elhagyott szinguláris értékek összege. Bizonyítás: 1. Az első lépés (az al , j , z értékek meghatározása) hibája A 4.8-ban bevezetett jelölésekkel a 4.3 egyenlet az alábbi formában írható fel:
45
y l +1 = S l µ 0
(4.25)
Jelölje E1 a mátrixredukció hibakorlátját: nlr+1
max S l − A l S 'l = max bl , j ,i ,t − ∑ al , j , z b' l , z ,i ,t ≤ E1 , j ,i
(4.26)
z =1
ahol a b'l , z ,i ,t értékek az S' l mátrix elemei. A 2.1 eljárásban leírtak szerint E1 kisebb vagy egyenlő, mint az elhagyott szinguláris értékek összege, λ 1 . A redukált neurális háló kimenete az első lépés után: y ' l +1 = A l S '1 µ 0 nlr+1
nl
z =1
i =1 t =1
ml , i
y ' l +1, j = ∑ a l , j , z ∑∑ µ l ,i ,t ( y l ,i )b'l , z ,i ,t
(4.27)
Az eltérés az eredeti és a redukált háló kimenete között a 4.3, 4.26 és 4.27 felhasználásával:
y l +1, j − y 'l +1, j =
nl
∑∑ µ i =1 t =1 nl
nlr+1
ml , i
l ,i ,t
( y l ,i )(bl , j ,i ,t − ∑ a l , j , z b' l , z ,i ,t ) ≤
ml , i
≤ ∑∑ µ l ,i ,t ( y l ,i ) E1 = i =1 t =1
z =1
nl
∑E
1
,
(4.28)
= nl E1
i =1
mivel az eredeti tagsági függvények Ruspini-partícióban voltak. 2. A második lépés (új tagsági függvények meghatározása) hibája A 4.10 egyenlet jelöléseivel: nl
y 'Tl+1 = ∑ µ i ( y l ,i ) M l ,i A l
T
(4.29)
i =1
Jelölje E2,i a mátrixredukció hibakorlátját:
46
max M l ,i − T l ,i M 'l ,i ≤ E 2 ,i
A 2.1 eljárásban leírtak szerint
(4.30)
E2,i
kisebb vagy egyenlő, mint az elhagyott szinguláris
értékek összege, λ 2 ,i . A redukált hálózat kimenete: nl
y ' 'Tl+1 = ∑ µ i ( y l ,i ) M ' l ,i Al , r
T
(4.31)
i =1
ahol
[
]
µ i ( y l ,i ) = µ r l ,i ,1 ( y l ,1 ) ... µ r l ,i , ml ,i ( y l ,i ) = µ i ( y l ,i )T l ,i r
A redukció második lépésének hibája a 4.29 és 4.31 egyenletek felhasználásával:
y ' − y' ' T l +1
T l +1
=
nl
∑µ ( y i
i =1
nl
nl
)( M l ,i − T l ,i M 'l ,i ) A l ≤ ∑ µ i ( y l ,i )1( m T
l ,i
i =1
ml , i nlr+ a
E 2 ,i A l ≤ T
r l , i ×nl +1 )
nl
≤ ∑∑∑ µ l ,i ,t ( y l ,i )a l , j , z E 2,i ≤ ∑ E 2,i i =1 t =1 z =1
(4.32)
i =1
Az utolsó lépéshez A l sorösszegeinek egynél nem nagyobbaknak kell lenniük. Ez elérhető egy további transzformáció alkalmazásával az első lépésben: −1
S l ≈ A'l D' l V 'l = ( A' l K l ) K l D 'l V ' l = A l S 'l , K l = 1 / max{∑ a l , j , z } j
(4.33)
z
Tehát a teljes redukciós eljárás maximális hibája, azaz a maximális eltérés az eredeti és a redukált neurális háló kimenete között a 4.28 és 4.32 egyenletekből:
47
nl
nl
i =1
i =1
y 'l +1, j − yl +1, j ≤∑ E2 , i + nl E1 ≤∑ λ 2, i + nl λ 1 ,
(4.34)
ahol nl a neuronok száma az l. rétegben, λ 1 az első, λ 2,i pedig a második lépésben elhagyott szinguláris értékek összege.
4.3. Nem szingleton-alapú általánosított fuzzy-neurális háló (NGNN) nem-pontos komplexitás csökkentésének hibakorlátja 4.2 tétel A 4.2 komplexitás-csökkentő eljárás alkalmazása esetén a fuzzy-neurális háló kimenetének maximális hibája az alábbiak szerint becsülhető az elhagyott szinguláris értékek összegéből [116-117]:
y ' l +1, j − y l +1, j
λi ≤∑ i =1 min ( s l , j , i , t ) − λ i t nl
1 + max (d l , j ,i ,t ) , ha λ i ≤ min (s l , j ,i ,t ) (4.35) t t
ahol λ i az M l ,i mátrixok (l. 4.14 egyenlet) redukciója során elhagyott szinguláris értékek összege, az s l , j ,i ,t és d l , j ,i ,t értékek pedig rendre az eredeti fuzzy-neurális háló következmény fuzzy halmazainak területei és súlyközéppontjai. Bizonyítás: A 4.14 egyenlet jelöléseivel:
[N [D
] ]= µ (y
l ,1,i
... N l ,nl +1 ,i = µ i ( y l ,i )O l ,i , és
l ,1,i
... Dl ,nl +1 ,i
i
l ,i
) P l ,i .
(4.36)
Legyen Ei (függ az i indextől is) a mátrixredukció hibakorlátja:
max M l ,i − T l ,i M ' l ,i ≤ E i
(4.37)
48
A 2.1 eljárásban leírtak szerint Ei nem nagyobb, mint az M l ,i mátrix redukciója során elhagyott szinguláris értékek összege, λ i . A redukált neurális háló kimenete:
mlr, i
nl +1
∑µ
y ' l +1, j = ∑ r m i =1
t =1 l ,i
∑µ t =1
r l , i ,t
r l ,i ,t
( y l , i )b' l , z ,i ,t ( y l ,i ) s ' l , z ,i ,t
nl +1
N ' l , j ,i
i =1
D' l , j ,i
=∑
,
(4.38)
ahol
[N ' [D' r
] ]= µ
l ,1,i
... N ' l ,nl +1 ,i = µ i ( y l ,i )O' l ,i ,
l ,1,i
... D' l ,nl +1 ,i
r
r
i
( y l ,i ) P 'l ,i , és
[
]
µ i ( yl , i ) = µ r l , i ,1 ( yl , i ) ... µ r l , i , ml ,i ( yl , i ) = µ i ( yl , i )T l , i
A számlálók maximális eltérése az eredeti számlálóktól:
N l , j ,i − N ' l , j ,i = µ i ( y l ,i )O l ,i − µ i ( y l ,i )O 'l ,i = µ i ( yl ,i )(O l ,i − T l ,i O' l ,i ) ≤ r
nl
≤ ∑ µ l , i , t ( y l , i ) Ei = E i
(4.39)
i =1
mivel az eredeti antecedens fuzzy halmazok Ruspini-partícióban voltak. A nevezők hibája hasonlóan becsülhető, és szintén nem nagyobb, mint Ei. Legyen ∆N l , j ,i = N ' l , j ,i − N l , j ,i és ∆Dl , j ,i = D ' l , j ,i − Dl , j ,i .
Az y l +1, j kimenet teljes hibája:
49
y ' l +1, j − y l +1, j =
nl
N ' l , j ,i
∑ D' i =1
l , j ,i
nl
N l , j ,i
i =1
Dl , j ,i
−∑
nl
N ' l , j ,i
i =1
D ' l , j ,i
≤∑
−
nl
Dl , j ,i ( N l , j ,i + ∆N l , j ,i ) − N l , j ,i ( Dl , j ,i + ∆Dl , j ,i )
i =1
Dl , j ,i D 'l , j ,i
=∑ nl
∆N l , j , i
i =1
D' l , j ,i
=∑
−
N l , j ,i Dl , j ,i
=
=
(4.40)
N l , j ,i ∆Dl , j ,i Dl , j ,i D 'l , j ,i
Mivel ∆N l , j ,i ≤ E i és ∆Dl , j ,i ≤ E i :
nl E y 'l +1, j − yl +1, j ≤ ∑ i D' i =1 l , j ,i
N l , j ,i 1 + Dl , j ,i
Mivel az eredeti antecedens halmazok Ruspini-partícióban voltak,
(4.41)
N l , j ,i Dl , j ,i
maximumát ott
veszi fel, ahol az eredeti tagsági függvényeknek maximuma volt ( µ l ,i ,t ( y l ,i ) = 1 ), azaz:
N l , j ,i Dl , j ,i
≤ max (d l ,i , j ,t ) .
(4.42)
t
Ha D ' l , j ,i ≥0 , azaz E i ≤min (s l , j ,i ,t ) , akkor mivel E i ≤ λ i , a hibakorlát: t
y ' l +1, j − y l +1, j
λi ≤∑ 1 + max (d l , j ,i ,t ) , t i =1 min ( s l , j , i , t ) − λ i t nl
(4.43)
ahol λ i az M l ,i mátrix redukciója során elhagyott szinguláris értékek összege, az s l , j ,i ,t és d l , j ,i ,t értékek pedig rendre az eredeti fuzzy-neurális háló következmény fuzzy halmazainak területei és súlyközéppontjai.
50
4.3 tétel A 4.3 komplexitás-csökkentő eljárás alkalmazása esetén a fuzzy-neurális háló kimenetének maximális hibája az alábbiak szerint becsülhető az elhagyott szinguláris értékek összegéből [117]:
y ' l +1, j − y l +1, j
1 ≤∑ λ N ,i + λ D,i max (d l , j ,i ,t ) , ha λ D ,i ≤ min (s l , j ,i ,t ) t t i =1 min ( s l , j ,i , t ) − λ D ,i t nl
(4.44) ahol az s l , j ,i ,t és d l , j ,i ,t értékek az eredeti következmény fuzzy halmazok területei és súlyközéppontjai, λ N ,i és λ D ,i pedig az elhagyott szinguláris értékek összege a számlálók, illetve a nevezők redukciója során. Bizonyítás: A redukció során a számláló és a nevező redukciója hasonló módon történik, így hibájuk is hasonlóan becsülhető. A továbbiakban a szerző az egyszerűség kedvéért csak a számlálók hibájának becslését mutatja be részletesen. 1. A számlálók hibája az első lépésben (az al , j , z értékek meghatározása) A 4.18 egyenlet jelöléseivel a számlálók az alábbiak szerint írhatók fel:
[N
l ,1, i
]
... N l , n l +1 ,i = H l , i µ i ( yl , i ) .
(4.45)
Legyen E1,N a mátrixredukció hibakorlátja: nlr+1
max bl , j ,i ,t − ∑ al , j , z b'l , z ,i ,t ≤ E1, N , j ,i
(4.46)
z =1
ahol a b'l , j ,i ,t értékek az S' l mátrix elemei. A 2.1 eljárásban leírtak szerint E1,N nem nagyobb, mint az első lépésben elhagyott szinguláris értékek összege λ 1, N . Az első redukciós lépés után a számlálók:
51
[N '
l ,1,i
]
... N 'l , nl +1 , i = Al H 'l , i µ i ( yl , i ) .
(4.47)
Az eltérés a redukált és az eredeti számlálók között, felhasználva, hogy az eredeti antecedens halmazok Ruspini-partícióban voltak:
(
)
A l H ' l ,i µ 1,i ( y l ,i ) − H l ,i µ 1,i ( y l ,i ) ≤ A l H ' l ,i − H l ,i µ 1,i ( y l ,i ) ≤ E1, N
(4.48)
2. A számlálók hibája a második lépésben ( µ lr,i ,t ( y l ,i ) függvények meghatározása) Legyen E2,N,i a mátrixredukciók hibakorlátja (a hibakorlát az i indextől is függ):
max H 'Tl ,i −T l ,i H ' 'Tl ,i ≤ E 2, N ,i
(4.49)
A 2.1 eljárásban leírtak szerint ez nem nagyobb, mint az egyes redukciós eljárásokban elhagyott szinguláris értékek összege, λ 2, N , i . A redukció után a számlálók:
[N ' '
l ,1,i
... N ' 'l ,nl +1 ,i
]
T
= µ i ( yl ,i ) H ' 'Tl ,i Al , r
T
(4.50)
ahol
[
r
]
T
µ i ( yl , i ) = µ r l ,i ,1 ( yli1 ) ... µ r l , i , ml ,i ( yl , i ) = µ i ( yl ,i )T l , i
A számlálók hibája a második lépésben:
[N '
l ,1,i
... N 'l , nl +1 , i
] − [N ' ' T
l ,1, i
... N ' 'l , nl +1 , i
]
T
=
= µ i ( yl , i )T l , i H ' 'Tl , i Al − µ i ( yl ,i ) H 'Tl ,i Al = T
T
T
T
(4.51)
= µ i ( yl , i )(T l , i H ' 'Tl , i − H 'Tl , i ) Al ≤ E2 , N , i T
T
52
Az utolsó lépéshez az Al sorösszegei nem lehetnek egynél nagyobbak. Ez biztosítható egy egyszerű, a redukció hibáját nem befolyásoló transzformációval az első redukciós lépés után: −1
S l ≈ A'l D' l V 'l = ( A' l K l ) K l D 'l V ' l = A l S 'l , K l = 1 / max{∑ a l , j , z } j
(4.52)
z
A számlálók teljes hibája az első és második redukciós lépés hibájának összege (4.48 és 4.51): N l , j , i − N ' 'l , j , i ≤ EN , i ≤ E1, N + E2, N , i ≤λ 1, N + λ 2, N , i = λ N , i .
(4.53)
Hasonlóan határozhatók meg a nevezők hibakorlátai: Dl , j , i − D ' 'l , j , i ≤ E D ,i ≤λ D ,i .
(4.54)
3. A fuzzy-neurális háló kimenetének hibája Legyen ∆N ' l , j ,i = N ' 'l , j ,i − N l , j ,i és ∆D 'l , j ,i = D ' ' l , j ,i − Dl , j ,i .
A redukált neurális háló kimenetének eltérése az eredeti neurális hálóétól:
y 'l +1, j − yl +1, j =
nl
N ' l , j ,i
∑ D' i =1
l , j ,i
nl
N l , j ,i
i =1
Dl , j ,i
−∑
nl
∆N l , j , i
i =1
D' l , j ,i
≤∑
−
N l , j ,i ∆Dl , j ,i Dl , j ,i D'l , j ,i
(4.55)
Mivel ∆N ' l , j ,i ≤ E N ,i és ∆D 'l , j ,i ≤ E D ,i :
nl N l , j ,i E D,i E N ,i y ' l +1, j − y l +1, j ≤∑ + Dl , j , i D ' l , j , i i =1 D ' l , j , i
(4.56)
53
Mivel az eredeti antecedens fuzzy halmazok Ruspini-partícióban voltak,
N l , j ,i Dl , j ,i
maximuma
valamelyik rácspontban lesz ( ahol az eredeti tagsági függvényekre µ l ,i ,t ( y l ,i ) = 1 minden ire):
N l , j ,i Dl , j ,i
≤ max (d l ,i, j ,t ) .
(4.57)
t
Ha D ' 'l , j ,i ≥ 0 , azaz E D ,i ≤min ( s l , j ,i ,t ) akkor mivel E N , i ≤λ N , i és E D ,i ≤λ D ,i , a hibakorlát: t
nl 1 y ' l +1, j − y l +1, j ≤∑ i =1 min ( s l , j ,i , t ) − λ D ,i t
λ + λ ( d ) N , i D , i max l , j ,i ,t , t
(4.58)
ahol az s l , j ,i ,t és d l , j ,i ,t értékek az eredeti következmény fuzzy halmazok területei és súlyközéppontjai, λ N ,i és λ D ,i pedig az elhagyott szinguláris értékek összege a számlálók, illetve a nevezők redukciója során. Érdemes megjegyezni, hogy az első lépésben elhagyott szinguláris értékek összege ( λ 1, N , illetve λ 1, D ), mivel szerepel az összes λ N ,i , illetve λ D ,i értékben, az i szerinti összegzés miatt nl -szeresen számít.
4.4. Összefoglalás Ebben a fejezetben az általánosított fuzzy-neurális hálók SVD-alapú komplexitáscsökkentésével foglalkoztam. A redukciós eljárások bemutatása után matematikai bizonyítást adtam a nem-pontos redukció hibakorlátjára, mind szingleton, mind nem-szingleton alapú általánosított fuzzy-neurális hálók esetén. A fejezetben – megítélésem szerint – új eredmény a nem-pontos redukciós eljárások hibakorlátja, mely lehetővé teszi a redundancia kiszűrésén túl a további redukciót is, ha ismert a tolerálható hiba mennyisége. A fejezetben leírt eredményeket publikáltam a [112-117] cikkekben.
54
5. Lágy számítási eszközök anytime rendszerekben Napjainkban mind több és több olyan alkalmazás található, ahol a számításokat "on-line" módon,
garantált
válaszidővel
kell
végrehajtani,
korlátozott
mennyiségű
erőforrás
használatával. Az ilyen valós-idejű (real-time) alkalmazások esetén megkülönböztetendő a számítások által szolgáltatott eredmények minősége és hasznossága [57]. Az eredmény minősége egy időtől független tényező, mely az alkalmazás sajátságaitól függően értelmezhető különböző módokon (pl. pontosság, megbízhatóság, részletesség). Ezzel szemben az eredmények hasznossága egy időtől függő érték: a környezet változásainak következtében az eredmény irrelevánssá válhat. Az úgynevezett „merev” valós-idejű rendszerek esetén az eredmények hasznossága egy adott időkorlát elérésével zérussá válik, míg a “lágy” valós-idejű rendszereknél a hasznosság fokozatosan csökken. Idő-kritkus alkalmazásoknál ráadásul a rendelkezésre álló idő, illetve az erőforrások mennyisége működés közben is változhat. Ezekben az esetekben az úgynevezett anytime rendszerek használhatók eredményesen, melyek igen rugalmasak az igényelt számítási kapacitás és idő tekintetében. Az „anytime algoritmus” elnevezés az 1980-as évek közepétől terjedt el [118,119], először elsősorban olyan algoritmusokat jelölve, melyek végrehajtása bármikor megszakítható, és melyek az idő teltével egyre pontosabb eredmény szolgáltatnak. Bár azóta számos méréstechnikai, modellezési és szabályozási problémára sikerült ilyen „megszakítható” algoritmust adni [120-124], sok esetben a megoldandó feladat jellege nem teszi lehetővé ilyen algoritmusok használatát. Az anytime követelmények szélesebb körű kezelhetőségének érdekében Zilberstein javasolta a „megszakítható” anytime algoritmusok használata mellett az úgynevezett „szerződéstípusú” algoritmusokat, és ajánlott egyben egy általánosan használható keretrendszert anytime rendszerek létrehozására [57,125,126]. A szerződés-típusú algoritmusok esetén a rendelkezésre álló idő, illetve az erőforrások mennyiségének előzetes ismerete szükséges: ha az előzetesen megadott idő előtt szakítjuk félbe a számításokat, nem szolgáltatnak használható eredményt. Bár a megszakítható algoritmusok lényegesen robosztusabbak és könnyebben használhatók, számos probléma és alkalmazás esetén csak nehezen, vagy egyáltalán nem lehetséges megszakítható algoritmust találni.
55
Az anytime algoritmusok mindkét csoportja egy úgynevezett „teljesítmény profillal” írható le, mely megadja, hogy adott idő rendelkezésre állása esetén milyen minőségű kimenetet szolgáltat [127,128]. Ha a kimenet minősége a bemenet minőségétől is függ, feltételes teljesítmény profilról beszélünk [129]. Bár bizonyos esetekben a teljesítmény profil megadható folytonos függvényként is, gyakori a diszkrét teljesítmény profil, táblázatos leírással. Egy összetett, több algoritmusból álló anytime rendszer esetén, az egyes algoritmusok teljesítmény profiljából alkotható meg az egész rendszer optimális teljesítmény profilja [57,130,131], mely egyben megadja az erőforrások optimális elosztását az egyes modulok között, különböző mennyiségű rendelkezésre álló idő és erőforrás esetén. Az optimális teljesítmény profil ismeretében a futás során egy monitorozó rendszer állapítja meg az adott körülmények között legnagyobb hasznosságot eredményező erőforrás elosztást [132-136]. Hatékony monitorozó rendszer tervezése, illetve az arra épülő fejlesztőrendszer kialakítása napjainkban is fontos, fejlődés alatt álló terület [137-140]. Bár az eredeti keretrendszer csak az időleges időhiány kezelésére nyújt megoldást, azt Várkonyi-Kóczy és társa [141] kiterjesztette erőforrás, illetve adathiány esetére is. A fentiekben leírt keretrendszer általánosan használható anytime követelményeket támasztó alkalmazások esetén, azonban további kérdés a rendszer építőköveit alkotó anytime algoritmusoknak a generálása. Ráadásul az anytime igények mellett az alkalmazások komplex jellege újabb követelményeket is támaszt a használt algoritmusokkal szemben. Mind gyakrabban fordul elő, hogy egyes komplex problémák esetén a klasszikus módszerek nem használhatók, ill. nem adnak megfelelő pontosságú eredményt, ezért terjednek az úgynevezett lágy - fuzzy, neurális vagy genetikus - számítási módszerek. Ezek előnye, hogy pontos matematikai-fizikai formulák nélkül is képesek kielégítő eredményt adni: a komplex ipari folyamatok modellje például gyakran nem ismert, de szakértőktől származó információra, illetve a rendszerből származó mért adatokra támaszkodva egy fuzzy vagy neurális modell mégis elkészíthető. Épp ezért felmerül az igény fuzzy rendszerek, illetve neurális hálók anytime rendszerekben való alkalmazására. Ennek legnagyobb akadálya a szabályszámmal, illetve neuronszámmal exponenciálisan növekvő komplexitás, illetve az a tény, hogy nem létezik általánosan használható eljárás egy adott feladathoz szükséges komplexitás meghatározására. A gyakorlatban ez gyakran nagyméretű, redundáns rendszerek létrehozásához vezet, melyek csak nehézségek árán használhatók idő-kritikus alkalmazásokban.
56
A következőkben két olyan, a szerző által kidolgozott eljárás kerül ismertetésre, ami lehetővé teszi ezen problémák ellenére egyes lágy számítási eszközök anytime környezetben való alkalmazását, szerződés-típusú, illetve megszakítható algoritmusként. A 5.1. alfejezetben megmutatom, hogyan lehet az SVD-alapú komplexitás-csökkentő eljárások segítségével fuzzy, illetve neurális rendszerekből szerződés-alapú anytime algoritmust létrehozni, illetve annak feltételes teljesítmény profilját megadni. A 5.2. alfejezetben pedig egy SVD-alapú transzformációt javasolok, mellyel PSGS fuzzy rendszereket iteratív módon kiértékelhető formába lehet alakítani.
5.1.
Lágy
számítási
eszközök
alkalmazása
szerződés-típusú
anytime algoritmusként Bár az iteratív algoritmusok, rugalmasan változtatható komplexitásukkal kedvelt eszközök az anytime rendszerekben, mint megszakítható anytime algoritmusok, sok esetben nem található az adott problémára hatékony iteratív kiértékelési mód, vagy az iteratív algoritmus pontossága nem ismert előre, azaz a teljesítmény profil nem adható meg. Az iteratív algoritmusok mellett a számítási módszerek széles köre lesz használható anytime rendszerekben
a
moduláris
felépítés
és
szerződés
típusú
anytime
algoritmusok
alkalmazásával. Ennek a módszernek a rugalmassága kisebb, és némi külön tervezést és számítást igényel, de használható akkor is, amikor nem található a problémára megfelelő megszakítható algoritmus. Az alábbiakban egy olyan eljárást mutatok be, melynek segítségével lehetséges egyes meglévő fuzzy, illetve fuzzy-neurális rendszerekből szerződés-típusú anytime algoritmus előállítása, a feltételes teljesítmény profillal együtt. Mivel esetünkben elsősorban numerikus számításokról van szó, az általánosabb, ám bizonyos alkalmazásokban – pl. rendszer modellezés, szabályozástechnika -
kevésbé használható minőség alapú megközelítés [57]
helyett egy specifikusabb, pontosság alapú megközelítést választottam, de a teljesség kedvéért leírom a fentiekben leírt általánosabb megközelítésbe való beillesztés módját is. 5.1 eljárás Az SVD-alapú komplexitás-csökkentő eljárásokra alapozva meglévő fuzzy és fuzzy-neurális rendszerek alapján szerződés-alapú anytime algoritmus automatikusan generálható [115,142145].
57
Kifejtés: Szerződés-típusú anytime algoritmusokból álló moduláris architektúra esetén minden, adott feladatot végző modul több különböző módon kerül megvalósításra: ugyanarra a feladatra több
egység
létezik,
ugyanazokkal
a
bemenetekkel,
kimenetekkel,
de
különböző
komplexitással és pontossággal (5.1 ábra). Egy adott időpillanatban az aktuális körülmények (elvégzendő feladatok, rendelkezésre álló idő és erőforrások, szükséges pontosság, stb.) figyelembevételével egy szakértői rendszer választja ki az aktuális konfigurációt, azaz a használandó egységeket. A szakértői rendszernek szüksége van bizonyos adatokra az egyes egységekről: • helye a rendszerben: milyen modult valósít meg az adott egység • komplexitás: idő- és erőforrás igény • pontosság: az egység kimenetein jelentkező abszolút hiba (pontos bemeneteket feltételezve) • hibaátviteli
függvény
( f E ( xe )) ):
a
bemeneten
jelentkező
adott
mértékű
hiba/pontatlanság ( xe ) esetén a kimeneten milyen abszolút hiba várható Ez utóbbi a rendszer kimenetének eredő hibájának meghatározásához szükséges. A bevezetőben leírt Zilberstein-féle [57] leírás esetén egy adott modult megvalósító egységek összessége alkot egy szerződés-típusú anytime algoritmust, melynek a feltételes teljesítmény profilja az egyes egységek komplexitási és pontossági adataiból, illetve hibaátviteli függvényéből kapható meg. A
moduláris
architektúrában
használhatók rendszerek
fuzzy is
megvalósítására,
már
és
neurális
egy-egy
egység
sőt,
az
komplexitás-csökkentő
Szakértői rendszer Kiválasztás
SVD-alapú eljárások
A/1 egység
B/1 egység
A/2 egység
B/2 egység
A/3 egység
B/3 egység
lehetőséget adnak egy-egy részfeladat megoldására
több,
funkcionálisan
azonos, de különböző komplexitású és pontosságú
egység
–
azaz
egy
szerződés-típusú anytime algoritmus egyszerű generálására.
A modul B modul A 5.1 ábra: Anytime rendszer moduláris architektúrával
58
Moduláris architektúrájú anytime rendszer létrehozása SVD-alapú komplexitás-csökkentéssel 1. Az adott problémára fuzzy vagy neurális rendszer létrehozása valamely jól bevált módszerrel
(szakértői
tudás,
tanító
algoritmusok).
A
későbbi
komplexitás-
csökkentésnek köszönhetően ebben a lépésben nem kell külön erőfeszítéseket tenni a redundancia alacsonyan tartására. 2. A kész rendszer pontos redukciója SVD-alapú komplexitás-csökkentéssel. Ez a lépés kiszűri a redundáns elemeket, és az eredeti rendszerrel azonos pontosságú, de lehetőség szerint kisebb komplexitású rendszert hoz létre. 3. További,
nem
pontos
redukcióval,
különböző
megengedett
hibaszinteket
meghatározva az eredeti rendszerből több, ugyanazon feladatot ellátó, de különböző komplexitású és pontosságú rendszer létrehozása. Az így kapott rendszerek használhatók az adott modult megvalósító különböző egységekként. A fentiek alapján nemcsak lehetővé válik fuzzy és neurális eszközök széles körének használata anytime rendszerekben, de mindez automatikusan, egységes algoritmus szerint történhet. Természetesen a rendszerben használhatók egyéb, nem lágy számítási elemek is, egy-egy modul egy adott realizációjaként. Hibaterjedés Mivel anytime alkalmazások esetén már a kiinduló rendszer is redundanciamentes, és a lehetőségekhez képest kis komplexitású, minden további időleges komplexitás-csökkentés csak a pontosság csökkentésével történhet. Moduláris architektúra esetén ez az egyes modulok pontosságának csökkentését jelenti egy kisebb komplexitású realizáció választásával – a szakértői rendszer gyakorlatilag a rendelkezésre álló erőforrásokat igyekszik optimális módon szétosztani az egyes modulok között. Míg az egyes modulok hibája egy adott konfiguráció esetén az egyes egységek adataiból ismert (SVD-alapú komplexitás-csökkentés alkalmazása esetén a korábban leírt módon becsülhető), az egész rendszer eredő hibájának meghatározásához további számítások szükségesek. Az y=fE (x) hibaátviteli függvény adja meg, hogy ha az adott modul bemenetén x abszolút hiba jelentkezik, akkor a kimeneten ez mekkora – az adott modul esetleges belső hibáján túli hibát eredményez. Az egyes modulok hibái az adatút mentén összeadódnak. Feltételezzük, hogy az adott egység belső hibái - számítási pontatlanság, zaj, stb. - egy additív komponenssel írhatók le. Így, ha a
59
B modult megvalósító Bi egység használja az A modult megvalósító A j egység által előállított adatokat, a belső hibák rendre EB,i és EA,j akkor az eredő hiba Bi egység kimenetén: f E , B ,i ( E A, j ) + E B ,i , ahol f E , B.i a Bi egység hibaátviteli függvénye. A hibaátviteli függvény egy adott x0 pontban: f E ( x e ) = max{max{f ( x)
x ∈ [x0 − x e , x0 + xe ]}− f ( x 0 ),
f ( x 0 ) − min{ f ( x)
x ∈ [x 0 − xe , x 0 + x e ]}}
(5.1)
Bár az 5.1 egyenlet pontosan megadja a hibaátviteli függvényt, a gyakorlatban gyakran kiszámíthatatlan, így egyszerűbb közelítő eljárások szükségesek. Ha f() monoton, akkor a hibaátviteli függvény: f E ( x e ) = max{ f ( x 0 ) − f ( x0 − x e ) , f ( x 0 + x e ) − f ( x0 ) }
(5.2)
Ez az egyenlet még mindig igényli az f() kétszeri kiszámítását minden x0-ra. Ha f() lineáris vagy majdnem lineáris, akkor a hibaátviteli függvény az alábbiak szerint becsülhető: f E ( x e ) ≈ x e ∗ f ' ( x0 ) .
(5.3)
Bár az 5.3 egyenlet könnyen számítható, de az eredő hiba alulbecslését eredményezheti, ha f() nemlineáris. Az eredő hiba biztos felülbecslése biztosítható a hibaátviteli függvény alábbi becslésével: f E ( x e ) ≈ x e ∗ max{ f ' ( x)
x ∈ [x 0 − xe , x 0 + x e ]}
(5.4)
Bár ez az egyenlet is sok számítást igényelhet, ha f'() rendelkezik globális maximummal, akkor a teljes értelmezési tartományra érvényes fE() hibaátviteli függvény előre, off-line kiszámítható. A pontosság növelésére az értelmezési tartomány több, átlapolódó intervallumra osztható, és azokra külön-külön határozható meg az ott érvényes hibaátviteli függvény.
60
Az 5.4 egyenlethez az f() függvény deriváltjának ismerete szükséges, ez fuzzy rendszerek és általánosított fuzzy-neurális hálók esetén általában könnyen meghatározható, illetve közelíthető. Feltételes teljesítmény profil A Zilberstein-féle [57] keretrendszer alkalmazása esetén szükséges a feltételes teljesítmény profil meghatározása. A minőség mértékének általában a [0,1] intervallumon értéket felvevő, az idő/erőforrások növelésével növekvő mérőszámot használnak, erre használhatjuk például a E max − E értéket, ahol E max a rendszerben fellépő legnagyobb abszolút hiba, E pedig az adott E max
egység kimenetén fellépő hiba. A feltételes teljesítmény profil számításához az egyes egységek pontosságán kívül a hibaátviteli függvényeket, illetve az azok alapján számolt eredő hibákat is figyelembe kell venni. Így, ha a B modult megvalósító Bi egység kiértékeléséhez t i idő szükséges, hibaátviteli függvénye f E , B,i ( xe ) és pontos bemenetek esetén a kimenet maximális abszolút hibája E B ,i , akkor a B modult megvalósító szerződés-típusú anytime algoritmus feltételes E max − f E , B,i ( E IN ) + E B ,i teljesítmény profilja a t i , E max
párokkal írható le, ahol E IN a B modul
bemenetén fellépő abszolút hiba. Megjegyzés: A hibaterjedést illetően dinamikus rendszerek esetén további megfontolások is szükségesek. A memóriaelemek eltárolják a hibát is, így az nem csak térben, de időben is terjed, azaz az időleges komplexitás-csökkentés az eredeti komplexitás és pontosság visszaállítása után is befolyásolhatja a számítások pontosságát. Egy másik további vizsgálandó terület a tranziens jelenségek fellépése, illetve hatásuk becslése, minimalizálása. Dinamikus rendszerek esetén a működés közbeni algoritmus-váltás a memóriaelemek nem korrekt tartalma miatt akár a hibakorlátnál nagyobb mértékben is eltérítheti a rendszer kimenetét az optimálistól. Ezen tranziens jelenségek időtartama és mértéke külön vizsgálatot igényel.
61
5.2.
PSGS
fuzzy
rendszerek
transzformálása
iteratív
módon
kiértékelhető formába Bár a fentiekben leírt moduláris architektúra lehetőséget biztosít fuzzy és neurális rendszerek felhasználására anytime környezetben, használata külön számításokat és megfontolásokat igényel, továbbá az aktuálisan rendelkezésre álló időt és erőforrásokat is pontosan ismerni kell. Ideális lenne, ha a különböző lágy számítási módszereket iteratív módon tudnánk kiértékelni, azaz a kiértékelés során viszonylag gyorsan előállna egy használható, bár pontatlan végeredmény, és a későbbiekben ez pontosodna egyre jobban és jobban. Így lehetőség lenne arra, hogy a rendelkezésre álló erőforrások pontos ismerete nélkül kezdjük el a kiértékelést, azt addig folytatva, míg az eredményre szükség nem lesz. Bár fuzzy rendszerek esetén megoldásként kínálkozhat a szabályok folyamatos kiértékelése és összegzése, de ebben az esetben a kiértékelést egy tetszőleges ponton megállítva az aktuális kimenet pontossága nem becsülhető. Az egyes szabályok fontossága nagymértékben függ az aktuális bemenetektől, így előfordulhat, hogy akár a szabályok nagy részének kiértékelése után is meglehetősen pontatlan a kimenet, mivel a legfontosabb szabályok még éppen nem kerültek kiértékelésre. A szerző kidolgozott egy SVD-alapú transzformációs eljárást, mely segítségével a PSGS fuzzy rendszerek hozhatók iteratív módon kiértékelhető formára, azaz a kiértékelést bármikor leállítva az aktuális kimenet pontossága becsülhető, továbbá a hiba – lehetőségekhez képesti – gyors csökkenése is biztosított. 5.2 tétel A 2.1 eljárásban leírt SVD-t használó algoritmuson alapuló eljárás alkalmas PSGS fuzzy rendszerek iteratív módon kiértékelhető formába való transzformálására [146-151]. Bizonyítás: Vegyünk egy PSGS szabálybázist N bemeneti változóval. Az antecedens halmazok Ruspinipartícióban vannak, a következmények szingletonok. A szabálybázis n1 * n 2 .... * n N szabályt tartalmaz: Ri1 ,...,iN : If x1 is X 1,i1 and x2 is X 2,i2 and .... and x N is X N ,iN then y = y i1 ,...,iN , ahol i j = 1...n j , n j a j. bemeneten értelmezett antecedens halmazok száma, X j ,i j a j. bemenet i j . antecedens halmaza, y i1 ,...,iN pedig egy valós szám, az Ri1 ,...,iN szabály kimenete.
62
A következtetés végeredménye az ( x1* , x 2* ,..., x *N ) bemeneti értékek esetén:
∑y
y* =
i1 ,i2 ,...,i N
i1 ,i2 ,...,i N
µ1,i1 ( x1* ) µ 2 ,i2 ( x 2* )...µ N ,iN ( x *N )
(5.5)
N Legyen H = . Ezzel a jelöléssel: 2 y* = µ1,1 ( x1* ) * ... * µ H ,1 ( x *H ) ... µ1, n1 ( x1* ) * ... * µ H , nH ( x *H ) * y1,...,1 ... * M O y n ,..., n ,1,...,1 ... 1 H
y1,...,1, nH +1 ,..., n N M * y n1 ,...,n N
(5.6)
µ H +1,1 ( x H* +1 ) * ... * µ N ,1 ( x *N ) * M = µ 1 ( x1* ,..., x *H )Y µ 2 ( x H* +1 ,..., x *N ) µ H +1, nH +1 ( x *H +1 ) * ... * µ N , nN ( x *N )
ahol az µ 1 ( x1* ,..., x *H ) és µ 2 ( x H* +1 ,..., x *N ) vektorok hossza rendre n1 = m1 * m 2 * ... * m H és n2 = m H * ... * m N −1 * m N . Az Y mátrix mérete n1 ×n2 = (m1 * ... * m H ) ×(m H +1 * ... * m N ) és az yi1 ,i2 ,...,iN
érték
áll
i H +1 + (i H + 2 − 1)n H +1 + ... + (i N − 1)n H +1 ...n N −1 ) .
(i1 + (i2 − 1) * n1 + ... + (i H − 1) * n1 * ... * n H −1 ). µ 2 ( x *H +1 ,..., x *N )
vektor
(i1 + (i2 − 1)n1 + ... + (i H − 1)n1 ...n H ,
az elem
helyén.
eleme
(i H +1 + (i H + 2 − 1) * n H +1 + ...
Az
µ 1 ( x1* ,..., x H* )
µ1,i1 ( x1* ) * ...* µ H ,iH ( x H* ) ... + (i N − 1) * n H +1 * ... * n N −1 ).
vektor és
a
eleme
µ H +1,iH +1 ( x H* +1 ) * ... * µ N ,iN ( x *N ) . A 2.1 eljárásban írtaknak megfelelően: Y ( n ×n ) = A1,( n ×n ) B ( n ×n ) A 2,( n ×n ) , T
1
2
1
1
1
2
2
2
(5.7)
63
ahol az A k mátrixok ortogonálisak és a B diagonálmátrix tartalmazza a λi szinguláris értékeket csökkenő sorrendben. A nemzérus szinguláris értékek maximális száma n SVD = min(n1 , n 2 ) . Vezessük be az alábbi jelöléseket: µ '1 ( x1* ,..., x H* ) = µ 1 ( x1* ,..., x *H ) * A1 és µ ' 2 ( x *H +1 ,..., x *N ) = A 2 * µ 2 ( x *H +1 ,..., x *N ) T
Így a rendszer kimenete az alábbiak szerint írható fel:
y * = µ '1 ( x1* ,..., x H* ) B µ ' 2 ( x *H +1 ,..., x *N ) =
nSVD
∑λ k =1
k
*µ '1 ( x1* ,..., x *H )[k ] * µ ' 2 ( x *H +1 ,..., x *N )[ k ] (5.8)
ahol [k] az adott vektor k. elemét jelöli. Hibabecslés A PSGS fuzzy rendszer transzformált alakja (5.8 egyenlet), iteratív módon értékelhető ki, az egyes tagokat külön-külön kiszámítva és összegezve. A transzformált alak előnye, hogy a hiba az összegzés bármely pontján megbecsülhető az aktuális bemenetek ismerete nélkül, ellentétben az eredeti alakkal, ahol a hiba általában nagymértékben függ az aktuális bemenetektől. n SVD − m tag kiszámítása és összegzése után a kimenet:
y m* =
n SVD − m
∑λ k =1
k
*µ '1 ( x1* ,..., x *H )[k ] * µ ' 2 ( x *H +1 ,..., x *N )[k ] =
= µ 1 ( x ,..., x ) A1,m B m A 2, m µ 2 ( x * 1
* H
r
r
rT
* H +1
,
(5.9)
* N
,..., x )
ahol
r
A j = A j , m ( n ×m ) r
j
d
A j ,m ( n ×( n j
j − m ))
és B =
B m ,( m×m ) 0
0
.
d
B (( n − m )×( n 1
2 − m ))
64
Legyen ESVD,m az SVD-alapú mátrixredukció hibakorlátja m szinguláris érték elhagyása esetén:
Y − Y ' = Y − A1r, m B rm A rT ≤ E SVD , m 2 ,m
(5.10)
Így a kimenet hibája n SVD − m tag kiszámítása és összegzése után:
y * − y m* = µ 1 ( x1* ,..., x H* )(Y − A1r, m B rm A rT ) µ 2 ( x *H +1 ,..., x *N ) ≤ 2 ,m E SVD ,m ≤ µ 1 ( x ,..., x ) M E SVD ,m * 1
≤ E SVD ,m
* H
∑µ
i1 ,i 2 ,...,i N
1,i1
... O ...
E SVD , m M µ 2 ( x *H +1 ,..., x *N ) ≤ E SVD , m
(5.11)
( x1* )µ 2,i2 ( x 2* )...µ N ,iN ( x *N ) ≤ E SVD ,m ,
Mivel az eredeti antecedens halmazok Ruspini-partícióban voltak. A 2.1 eljárásban leírtak szerint ESVD,m nem nagyobb, mint az m legkisebb szinguláris érték összege. Az 5.11
egyenlet szerint, a zérus szinguláris értékeknek megfelelő tagok a pontosság
csökkenése nélkül elhagyhatók, azaz ebben az esetben pontos komplexitás-csökkentés történik. Ha időleges idő- vagy erőforráshiány miatt további tagokat is el kell hagyni, a hiba könnyen becsülhető az 5.11. egyenlet segítségével. Ráadásul az SVD-algoritmus azt is biztosítja, hogy a tagok fontossági sorrendben kerülnek kiértékelésre. A legfontosabb tagok – melyek a legnagyobb szinguláris értékeknek felelnek meg – kerülnek először kiszámításra, így a hiba olyan gyorsan csökken, amilyen gyorsan csak lehetséges. Ha idő- vagy erőforráshiány miatt egyes tagokat el kell hagyni, a hiba olyan kicsi lesz, amennyire lehetséges. Ugyanakkor a transzformáció hatékonysága függ az adott rendszer tulajdonságaitól is. Ha a szinguláris értékek közel egyenlők, akkor a hiba többé-kevésbé arányos lesz az elhagyott tagok számával. Azonban ha a szinguláris értékek között nagy különbségek vannak – a gyakorlatban ez a gyakoribb eset -, akkor az első tagok lényegesen fontosabbak lesznek, mint a többi, így már a tagok egy részhalmazának kiértékelése után is egy relatíve pontos
65
eredményt kapunk, és az utolsó tagok – melyeket a legnagyobb valószínűséggel hagyunk el – csak kismértékben befolyásolják a rendszer kimenetét.
5.3. Összefoglalás Ebben a fejezetben a fuzzy, illetve fuzzy-neurális eszközök anytime rendszerekben való alkalmazhatóságának kérdésével foglalkoztam. Bemutattam, hogyan készíthető meglévő fuzzy, fuzzy-neurális rendszerből az SVD-alapú komplexitás-csökkentő eljárások segítségével szerződés-alapú anytime algoritmus, illetve hogyan adható meg annak feltételes teljesítmény profilja az egyes redukciók hibakorlátjából és a hibaátviteli függvényből. Továbbá algoritmust adtam
PSGS
fuzzy
rendszerek
iteratív
módon
kiértékelhető
formába
történő
transzformációjára. A fejezetben bemutatott eredményeket publikáltam a [115,143-151] cikkekben.
66
6. Példák Ebben a fejezetben a szerző néhány egyszerű numerikus példát közöl, az elméleti eredmények illusztrálására.
6.1.
Az
emberi
hallás
PSGS
fuzzy
modelljének
SVD-alapú
komplexitás-csökkentése A modell a frekvencia, az objektív intenzitás és az életkor függvényében adja meg az úgynevezett szubjektív, azaz az egyén által hallott intenzitást. A szerző az eredeti modellnek [151] a Yam által javasolt eljárással [58] történő mintavételezésével készített egy egyszerű PSGS fuzzy rendszert. Az első PSGS rendszer 16*13*11=2288 szabályt tartalmazott. A rendszer kimenete, 60 éves életkor esetén és az antecedens halmazok, a 6.1 és 6.2 ábrán láthatóak. Original rulebase
120
Subjective Intensity (dB)
100 80 60 40 20 0 150 4000
100 3000 50 Objective Intensity (dB)
2000 0
1000
Freqency (Hz)
6.1 ábra: Az első PSGS fuzzy modell kimenete 60 éves életkorban
67
1
1
0.9
0.9
0.8
0.8
0.7
0.7
0.6
0.6
0.5
0.5
0.4
0.4
0.3
0.3
0.2
0.2
0.1
0.1
0 1
1.5
2
2.5 Frequency (KHz)
3
3.5
0 4
0
20
40
60 80 Objective intensity
100
120
140
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0
10
20
30
40
50 Age
60
70
80
90
100
6.2 ábra: Az antecedens halmazok A redukció során egy háromdimenziós mátrixot képzünk, melyet először a frekvencia mentén „terítünk ki”. Az így kapott szinguláris értékek az 6.1 táblázatban láthatók. Bár pusztán a szinguláris értékek alapján már adható egy durvább hibabecslés, érdemes a 3.3 tételben javasoltak szerint egy pontosabb hibabecslést végezni. Látható, hogy így valamivel kedvezőbb hibakorlátot kapunk. Ez a hibabecslési módszer alkalmas lehet arra is, hogy a hibamátrix bizonyos kritikus részeit vizsgálva, egyes résztartományokra pontosabb hibakorlátot kapjunk. Ebben az esetben a kis frekvenciákra (<1.5 kHZ) szeretnénk pontosabb hibabecslést, mivel ott a kis kimenő értékek miatt nagyobb torzítást okozhat a hiba. Ezek az értékek láthatók az utolsó sorban, a hibamátrix utolsó sorai alapján számolva.
68
szinguláris értékek
összesített hiba a
hiba a 3.3 tétel
hiba kis
szinguláris értékek szerint
szerint
frekvenciákra
1
2334.1433
-
-
-
2
300.5997
503.8352
27.2842
27.2842
3
76.0344
203.2354
8.3643
5.0692
4
42.6682
127.2010
6.3981
4.1304
5
26.0848
84.5327
4.4636
3.5696
6
14.8391
58.4479
2.7336
2.7364
7
12.8812
43.6088
2.6313
1.1717
8
10.5605
30.7276
2.4228
0.8077
9
5.8146
20.1670
0.8352
0.8136
10
4.1389
14.3524
0.7783
0.5265
11
3.3214
10.2135
0.5906
0.4971
12
2.9780
6.8921
0.5725
0.4827
13
1.8090
4.0140
0.3864
0.3851
14
1.1667
2.2049
0.3117
0.1197
15
0.8241
1.0382
0.2703
0.0782
16
0.2142
0.2142
0.0557
0.0557
6.1 táblázat Az első redukciónál a feltétel az, hogy a hiba legyen kisebb 0.5-nél. Így négy szinguláris értéket hagyhatunk el, a hibakorlát a 3.3 tétel szerint 0.3864. Ezután az egyik irány mentén már redukált mátrixot kiterítjük az objektív intenzitás, illetve az életkor mentén is. A kapott szinguláris értékek a 6.2 táblázatban láthatók. Mivel a szinguláris értékek itt már túl magasak, ezen két változóra megtartjuk az összes bemeneti halmazt. A kapott redukált fuzzy rendszer 12*13*11= 1716 szabályt tartalmaz, ami 25%-kal kevesebb, mint az eredeti szabályszám. A 6.3 ábrán láthatóak a frekvencia új tagsági függvényei és a redukált rendszer kimenete 60 éves életkorban. A 6.4 és 6.5 ábrák pedig az abszolút, illetve a relatív hibát mutatják a rácspontokban, szintén 60 éves korban. A második redukciónál a tolerálható hiba 0.8 Ha csak a szinguláris értékeket vennénk figyelembe, csupán 1 szinguláris értéket hagyhatnánk el, a pontosabb hibakorlát ismeretében azonban 7 szinguláris érték hagyható el, így a hibakorlát 0.7783, kis frekvenciákra pedig csak
69
0.5265. A másik két bemenetre ezúttal is megtartjuk az összes szinguláris értéket (l. 6.2 táblázat). A kapott szabálybázis 9*13*11=1287, ami az eredeti szabálybázis méretének 56.25%-a. A frekvencia antecedens halmazai és a kimenet 60 éves életkorban a 6.6 ábrán látható, a 6.7 és 6.8 ábrákon pedig az abszolút és a relatív hiba látható a rácspontokban, 60 éves életkorban. 1. redukció
2. redukció
szinguláris
szinguláris
szinguláris
szinguláris
értékek objektív
értékek életkor
értékek objektív
értékek életkor
intenzitás szerint
szerint
intenzitás szerint
szerint
1
337067
336118
255352
255085
2
235660
235832
178520
178639
3
203002
202685
145084
153838
4
177548
179876
134444
136173
5
88575
87272
67068
66095
6
52656
52383
39914
39694
7
36311
36077
27510
27292
8
21520
19142
16280
14534
9
144821
13744
10875
10380
10
112268
8976
7896
6734
11
8315
3239
6050
2289
12
5545
4139
13
4142
3087 6.2 táblázat
70
Reduced rulebase
120
Subjective Intensity (dB)
100 80 60 40 20 0 150 4000
100 3000 50
2000 0
1000
Freqency (Hz)
6.3 ábra: Kimenet és tagsági függvények az első redukció után
Error of the reduction
0.2
0.15
Error (dB)
Objective Intensity (dB)
0.1
0.05
0 150 4000
100 3000 50 Objective Intensity (dB)
2000 0
1000
Freqency (Hz)
6.4 ábra: Abszolút hiba az első redukció után
71
Error of the reduction
0.02
Relative Error
0.015
0.01
0.005
0 150 4000
100 3000 50 Objective Intensity (dB)
2000 0
1000
Freqency (Hz)
6.5 ábra: Relatív hiba az első redukció után
6.6 ábra: Kimenet és tagsági függvények a második redukció után
72
Error of the reduction
0.8
Error (dB)
0.6
0.4
0.2
0 150 4000
100 3000 50
2000 0
Objective Intensity (dB)
1000
Freqency (Hz)
6.7 ábra: Abszolút hiba a második redukció után
Error of the reduction
0.04
Relative Error
0.03
0.02
0.01
0 150 4000
100 3000 50 Objective Intensity (dB)
2000 0
1000
Freqency (Hz)
6.8 ábra: Relatív hiba a második redukció után
73
6.2. Az emberi hallás modelljének majdnem PSGS modellje Az emberi hallás modellje [152] alapján ezúttal egy majdnem PSGS fuzzy modellt készítünk. A rendszer kimenete és az eredeti tagsági függvények a 6.9 ábrán láthatóak. A bemenetenkénti tagsági függvények száma ez esetben csak 6, 5 és 3, mivel a nemlineáris tagsági függvények használata, illetve a Ruspini-partíció, mint követelmény elhagyása megnöveli a modell leíró képességét. A frekvencia mentén kiterített mátrix sajátértékei, illetve a hibakorlátok a 6.3 táblázatban láthatók. szinguláris
összesített hiba a
hiba a 3.3 tétel
a nevező hibája a 3.3
értékek
szinguláris értékek szerint
szerint
tétel szerint
1
606.2607
-
-
-
2
74.1933
103.5722
20.1318
0.0118
3
18.5221
29.3788
6.8288
0.0313
4
7.4799
10.8567
2.9041
0.0289
5
2.4160
3.3768
0.7713
0.0080
6
0.9607
0.9607
0.3058
0.0061
6.3 táblázat: Szinguláris értékek és hibakorlátok Mivel a bemeneti tagsági függvények nincsenek Ruspini-partícióban, a redukció és a hibakorlát számítás a 3.2 tétel szerint történhet. Bár ebben az esetben a bemeneti tagsági függvények nemlineárisak, a 3.1 tétel értelmében a hibakorlát számítását ez nem befolyásolja. A tagsági függvény összegek maximumai és minimumai: [1.3161,1.1326,1.1065], illetve [0.7643,0.9744,0.8658]. Ebből a 3.44 egyenlet alapján a hibakorlát, felhasználva, hogy ∆N 0 ≤ E 0, N = 0.5043 és ∆D0 ≤ E0 , D = 0.01001 :
y * − y *' ≤0.0156 y * + 0.7896 .
A 6.10 ábrán látható a redukció abszolút és relatív hibája, 20 éves életkorban.
74
6.9 ábra: Majdnem PSGS fuzzy rendszer kimenete és antecedens halmazai
75
6.10 ábra: A redukció abszolút és relatív hibája 20 éves életkorban
6.3. Egyszerű dinamikus rendszerek kiértékelése moduláris anytime architektúrában Az alábbiakban két, az irodalomban összehasonlításra használt [12] egyszerű dinamikus példát mutatok be. A.) Fuzzy modell három bemenettel Adott egy szabályozandó rendszer, mely a következő egyenlettel írható le:
y (k + 1) =
y (k ) y (k − 1)) y (k ) + 2.5) + 0,8u (k − 1) + u (k ) = g ( y (k ), y (k − 1), u (k − 1)) + u (k ) 1 + y 2 (k ) + y 2 (k − 1)
A g(y(k),y(k-1),u(k)) függvény nem ismert, így azt egy fuzzy modellel közelítjük. A cél, hogy a rendszer kimenete a következő legyen (6.11 ábra):
y1 (k + 1) = 0,6 y1 (k ) + 0,2 y1 (k − 1) + sin(
2πk ). 25
Ezt a következő szabályozóval érhetjük el (6.12 ábra):
76
y (k ) y (k − 1)) y (k ) + 2.5) 2πk − 0,8u (k − 1) + 0,6 y (k ) + 0,2 y (k − 1) + sin( )= 2 2 25 1 + y (k ) + y (k − 1) 2πk = g ( y (k ), y (k − 1), u (k − 1)) + 0,6 y (k ) + 0,2 y (k − 1) + sin( ) 25
u (k ) = −
Az 5.1. fejezetben leírtak szerint első lépésben egy viszonylag nagy méretű PSGS fuzzy modellt hozzunk létre, mely 14*14*11=2156 szabályt tartalmaz. Ezt az SVD-alapú komplexitás-csökkentő algoritmussal redukáljuk, először csak a zérus szinguláris értékeket elhagyva. Az így kapott modell az eredeti fuzzy modellel azonos pontosságú, de lényegesen kisebb, csupán 9*8*4=288 szabályt tartalmaz. Ezután még két további fuzzy rendszert generálunk, egyre több szinguláris értéket elhagyva, melyek 5*4*2=40, illetve 3*2*2=12 szabályt tartalmaznak. Ezek hibakorlátja 0.04409, illetve 0.5301. A rendszer működése közben lehetőség van az egyes modelleket váltogatni a rendelkezésre álló idő és erőforrások függvényében. Mivel mindhárom modell PSGS fuzzy modell, ez csupán a szabályokat leíró paraméterek kicserélését jelenti. A 6.13 és 6.14 ábrákon látható a rendszer kimenete, illetve a szabályozó jel, abban az esetben, amikor egy időre a második modell kiértékelésére térünk át. Az ábrákon folytonos vonallal rajzolva látszanak a végig az eredeti modell kiértékelésével kapott értékek, szaggatott vonallal pedig az időleges komplexitás-csökkentéssel kapott görbék. A csillag azokat a pontokat jelöli, ahol a váltás történt. Látható, hogy a csökkentett pontosságú számítás ebben az esetben csak minimális eltérést okoz. A 6.15-16 ábrákon a kimenet és a szabályozó jel látható, amikor egy időre a harmadik modellre térünk át. Itt már, a harmadik fuzzy modell nagyobb hibája miatt, jóval nagyobb eltérés tapasztalható, de még ez is kedvezőbb lehet, mint a modell kiértékelésének teljes lehetetlensége. Az is látható, hogy a számítási pontosság nem áll vissza az eredeti értékre azonnal az eredeti modellre való visszatérést követően. Ennek oka, hogy a dinamikus rendszerben lévő memóriaelemek a hibát is mintegy „eltárolják”. Ráadásul a pontosság visszaállásához szükséges idő függhet a visszaváltás idejétől is, a 6.17-18 ábrákon hiába váltunk hamarabb vissza az eredeti modellre, a pontosság gyakorlatilag ugyanakkor áll vissza, mint az előző esetben. Ez valós rendszerek tervezése során mindenképpen megfontolandó tényező.
77
6.11 ábra: A referencia modell
6.12ábra: A szükséges szabályozó jel
78
6.13 ábra: A kimenet, ha egy időre a második modellre térünk át
6.14 ábra: A szabályozó jel, ha egy időre a második modellre térünk át
79
6.15 ábra: A kimenet, ha egy időre a harmadik modellre térünk át
6.16 ábra: A szabályozó jel, ha egy időre a harmadik modellre térünk át
80
6.17 ábra: A kimenet, ha egy időre a harmadik modellre térünk át
6.18 ábra: A szabályozó jel, ha egy időre a harmadik modellre térünk át
81
B.) Fuzzy rendszer öt bemenettel Adott a következő dinamikus rendszer: y (k ) y (k − 1) y (k − 2)u (k − 1)( y (k − 2) − 1) + u (k ) = 1 + y 2 (k − 1) + y 2 (k − 2) = g ( y (k ), y (k − 1), y (k − 2), u (k ), u (k − 1))
y (k + 1) =
ahol a g ( y (k ), y (k − 1), y (k − 2), u (k ), u (k − 1)) függvény nem ismert. A 6.19 és 6.20 ábrákon látható
a
rendszer
kimenete,
ha
a
szabályozó
jel
2πk u1 (k ) = sin , 250
illetve
2πk 2πk u 2 (k ) = 0.8 sin + 0.2 sin . 250 25 Célunk a rendszer fuzzy modelljének elkészítése. Először egy 5*11*11*5*5=15125 szabályt tartalmazó PSGS fuzzy rendszert hozzunk létre, ami már kellően jól közelíti a valós rendszert. A következő lépésben pontos SVD-alapú redukcióval 2*10*11*2*2=880 szabályt tartalmazó rendszert kapunk, melynek pontossága megegyezik az eredeti fuzzy rendszerével. Megjegyzendő, hogy amely változóktól a kimenet függése lineáris, azokra az SVD-alapú redukció két megtartandó nemzérus szinguláris értéket eredményez. További, nem pontos redukcióval létrehozzunk egy 2*3*3*2*2=72 szabályból álló szabálybázist is, a hibakorlát 0.15023. A 6.21 és 6.24 ábrákon látható a rendszer kimenete, ha egy időre a redukált modell kiértékelésére térünk át. Folytonos vonal jelzi az eredeti modell kimenetét, szaggatott az időleges komplexitás-csökkentés eredményét, és csillagok a csökkentett pontosságú szakasz kezdetét és végét. A 6.22, 6.23, 6.25 és 6.26 ábrákon a modellváltási pontok láthatóak kinagyítva, itt szaggatott vonal jelzi a csökkentett pontosságú modell kiértékelésével kapott eredményeket. Látható, hogy az áttérésnél tranziens jelenségek lépnek fel, a kimenet akár még távolabb kerülhet az eredeti modell kimenetétől, mintha végig a kisebb pontosságú modellt használtuk volna. Ennek oka a dinamikus rendszerben lévő memóriaelemek, illetve azoknak az átváltásnál magukkal hozott rossz tartalma. Valós alkalmazás esetén ezeknek a tranziens kitéréseknek a mértékét is előre meg kell becsülni. Mivel ebben az esetben a karakterisztika nem változik lényegesen, a hiba becsülhető, ha úgy tekintjük a rendszert, mint aminek a bemenetei adott mértékű hibát tartalmazhatnak. A 6.27 és 6.28 ábrákon az időleges komplexitás-csökkentés olyan szakaszon történik, ahol a két modell kimenete közel azonos, ott így tranziens jelenség nem lép fel. 82
6.19 Az eredeti rendszer kimenete az első szabályozó jel esetén
6.20 Az eredeti rendszer kimenete a második szabályozó jel esetén
83
6.21 A kimenet időleges komplexitás-csökkentés esetén az első szabályozó jellel
6.22 A kimenet időleges komplexitás-csökkentés esetén az első szabályozó jellel
84
6.23 A kimenet időleges komplexitás-csökkentés esetén az első szabályozó jellel
6.24 A kimenet időleges komplexitás-csökkentés esetén, a második szabályozó jellel
85
6.25 A kimenet időleges komplexitás-csökkentés esetén, a második szabályozó jellel
6.26 A kimenet időleges komplexitás-csökkentés esetén, a második szabályozó jellel
86
6.27 A kimenet időleges komplexitás-csökkentés esetén, az első szabályozó jellel
6.28 A kimenet időleges komplexitás-csökkentés esetén, a második szabályozó jellel
87
6.4. Az emberi hallás modelljének iteratív kiértékelése A 6.1. fejezetben bemutatott PSGS fuzzy modell esetén a bemeneti fuzzy halmazok számát figyelembe véve, a frekvenciát érdemes külön venni, az objektív intenzitást és az életkort pedig összevonni. Így H=1, az 5.5 egyenletben szereplő µ 1 ( x1* ) és µ 2 ( x1* , x 2* ) vektorok hossza 16, illetve 143, az Y mátrix mérete 16 ×143 . Az Y mátrix sajátértékei: [233.4145, 30.06, 7.6034, 4.2668, 2.6085, 1.4839, 1.2881, 1.0561, 0.5815, 0.4139, 0.3321, 0.2978, 0.1809, 0.1167, 0.0824, 0.0214]. Tehát a rendszer transzformált formája 16 tagból áll. Az 6.29 ábrán látható egy adott bemenetre (frekvencia = 1.1kHz, objektív intenzitás = 56dB, életkor = 60) a tagonkénti kiértékelés során a kimenet, illetve a hiba változása. Megjegyzendő, hogy bár a hibakorlát monoton csökken, a ténylegesen fellépő hiba ingadozhat a tagok kiértékelése során. A 6.30 és 6.31 ábrákon az abszolút és a relatív hiba alakulása látható, 20 éves életkorban, egyre több tagot kiértékelve.
6.29 ábra: Kimenet és hiba alakulása az iteratív kiértékelés során
88
6.30 ábra: Az abszolút hiba alakulása az iteratív kiértékelés során 89
6.31 ábra: A relatív hiba alakulása az iteratív kiértékelés során
90
6.5. Dinamikus rendszer iteratív kiértékelése A 6.3. fejezetben bemutatott öt bemenetű fuzzy rendszert transzformáltuk iteratív módon is kiértékelhető formába. H=2, azaz az 5.8 egyenletből a következőt kapjuk: T
y * = µ 1 ( x1* , x 2* )Y µ 2 ( x3* , x 4* , x5* ) Az µ 1 ( x1* , x 2* ) és µ 2 ( x3* , x 4* , x5* ) vektorok mérete 5*11=55, illetve 11*5*5=275, az Y mátrix mérete pedig 55 ×275 . Az Y mátrix SVD-alapú felbontása 19 darab nemzérus szinguláris értéket eredményez, azaz 19 tagot érdemes kiértékelni, de ezek nagy részéhez is kis szinguláris értékek tartoznak. A hibakorlát már 2 tag kiértékelése után is csak 0.06832, három tag után 0.01955, négy tag után pedig 0.0021. A 6.32 ábra mutatja a rendszer kimenetének eredményét, ha időnként csak 2 tag kiértékelésére 2πk marad idő. A szabályozó jel u (k ) = sin . A csillagok jelzik a kritikus szakaszok kezdetét 250 és végét, folytonos vonal az eredeti modell kimenetét, szaggatott pedig az anytime rendszerét. A 6.33 és 6.34 ábrákon láthatóak a kritikus szakaszok kinagyítva, látható, hogy tranziens jelenségek itt is felléphetnek. A 6.35, 6.36 és 6.37 ábrán egyes szakaszokon véletlenszerűen változtattuk a kiértékelhető tagok számát, 2, 3 és 4 között. Ez csak kisebb mértékű kitéréseket okoz a kimenetben, mivel 3, illetve 4 tag kiértékelése esetén a modell kimenete már csak kis hibát tartalmaz.
91
6.32 A kimenet ha a kiértékelt tagok száma időnként 2-re csökken
6.33 A kimenet ha a kiértékelt tagok száma időnként 2-re csökken
92
6.34 A kimenet ha a kiértékelt tagok száma időnként 2-re csökken
6.35 A kimenet ha a kiértékelt tagok száma időnként véletlenszerűen lecsökken
93
6.36 A kimenet ha a kiértékelt tagok száma időnként véletlenszerűen lecsökken
6.37 A kimenet ha a kiértékelt tagok száma időnként véletlenszerűen lecsökken
94
7. Az értekezés eredményeinek alkalmazási kérdései Az SVD-alapú redukciós eljárásokkal kapcsolatos eredmények előnyösen használhatóak olyan alkalmazásokban, ahol a probléma jellege miatt – nem ismert vagy túlságosan bonyolult matematikai leírás, klasszikus eszközökkel nehezen formalizálható szakértői tudás vagy mintákban tárolt tudás felhasználásnak igénye, stb. – fuzzy, vagy fuzzy-neurális eszközök alkalmazása szükséges, de a rendelkezésre álló idő, illetve az erőforrások korlátozottak. A 3.3. alfejezetben leírt pontosabb hibaszámolási eljárás segítségével a már meglévő, SVDalapú redukciós eljárást alkalmazó algoritmusoknál [76-82] is lehetőség van pontosabb hibaszámításra. Abban az esetben, ha a fuzzy rendszert elsősorban emberi szakértőktől származó információk alapján építjük fel – például szakértői, döntéstámogató rendszerek esetén - , a tagsági függvények linearitása, vagy éppen a bemeneti halmazok Ruspini-partíciója nem mindig biztosítható, de az értekezésben leírt eljárás segítségével ezek redukciója is lehetséges. Ez lehetőséget adhat esetleg arra is, hogy különböző szakértőktől származó információkat külön szabályokként kezelve, az így kapott nagyméretű szabálybázist redukáljuk, és kevesebb, de a problémát jobban átlátható módon leíró szabályokat kapjunk. Általánosított fuzzy-neurális hálókat már sikerrel alkalmaztak olyan esetekben, ahol egy bonyolult felület/függvény jellegében jó leírása szükséges. Az egyik alkalmazási terület a dokumentum-osztályozás [109-110] ahol a tipikusan nagy mennyiségű adat feldolgozásához szükséges lehet a komplexitás-csökkentés. Megjegyzendő, hogy mivel az eredeti általánosított fuzzy-neurális háló is csupán becsül bizonyos értékeket, mint például a szavak gyakoriságát, könnyen előfordulhat, hogy a nem-pontos redukció hibakorlátja mértékében összevethető az eredeti becslés hibájával, így a redukció alkalmazása lényeges minőségromlást nem okoz. Szintén sikerrel alkalmazták az általánosított fuzzy-neurális hálókat autonóm robotok navigációjában az ún. potenciál-felületek leírására, melyek megadják, hogy különböző irányokban érzékelt akadályok milyen mértékben „taszítsák” a robotot [111]. Ezzel az általános leírási móddal lehetséges különböző „viselkedési formákat” szimulálni. Mivel a robot a valós környezetben mozog, és annak változásaira reagálnia kell, a kisebb komplexitású, redukált fuzzy-neurális háló alkalmazása előnyös lehet. Egy redukált, kisebb komplexitású potenciálfelület az adott „viselkedési forma” kevésbé pontos követését eredményezheti, de ha gyorsabb mozgás szükséges, akkor ez megengedhető veszteség. Az 5. fejezetben javasolt módszerekkel lehetséges fuzzy, illetve fuzzy-neurális eszközök használata anytime alkalmazásokban. 95
Egy potenciális alkalmazási terület a bonyolult ipari folyamatokat felügyelő monitorozó, hibadiagnosztikai rendszerek [24,153], melyek képesek az adott folyamatot megfigyelni, és az ideális működéstől való eltérést jelezni, vagy akár saját belső diagnosztikai rendszerükkel az eltérés okát meghatározni, és beavatkozni. Ezen rendszerek az eltérések detektálására gyakran az
ideális
működés
modelljét
használják,
melyet
folyamatosan
kiértékelnek
és
összehasonlítanak a rendszerből származó mért adatokkal. Mivel maguk a folyamatok gyakran igen bonyolultak, és pontos fizikai-matematikai leírásuk nem ismert, vagy túlságosan sok tényező által befolyásolt, egy kézenfekvő megoldás valamilyen tanítható algoritmus – például egy fuzzy vagy fuzzy-neurális rendszer – alkalmazása, hiszen a folyamat működésére vonatkozó mért adatok általában rendelkezésre állnak. Az automatikus hibadiagnózis felállításához is hasznos eszközök lehetnek a lágy számítási eszközök, különösen a fuzzy rendszerek, melyek képesek a szakértőktől származó tudás befogadására is. Ugyanakkor a modellt – vagy összetett rendszerek esetén a modelleket – folyamatosan, a mintavételi frekvenciával összhangban ki kell értékelni, és a hibadiagnosztikai folyamatnak is adott – a hiba súlyosságától függő – időn belül eredményt kell szolgáltatnia. További problémát jelenthet, hogy az egyes feladatok végrehajtására rendelkezésre álló idő, illetve erőforrások a rendszer működése közben is változhatnak – meghibásodhat egy számítási egység, a hibadiagnosztikai feladat erőforrásokat vonhat el a modell kiértékelésétől, a hibadiagnosztika időkorlátja függ a helyzet súlyosságától, stb. Ezen problémák megoldását jelentheti egy moduláris anytime rendszer alkalmazása, melybe az egyes részfeladatokat megoldó fuzzy, illetve fuzzy-neurális rendszerek is beilleszthetők. Így például sürgős hibadiagnosztikai feladat esetén az erőforrások átcsoportosíthatók, ez idő alatt a modell – vagy egyes, kevésbé fontos részei – kiértékelése csökkentett pontossággal tovább folytatódhat, mely azonban továbbra is alkalmas a nagymértékű, azonnali beavatkozást igénylő eltérések detektálására. Egy másik terület, ahol az anytime technikák és a lágy számítási eszközök ötvözésére lehet szükség, az intelligens ágensek. Ezek általában bizonyos intelligenciát igénylő feladatokat látnak el önállóan – információgyűjtés, navigálás és mozgás, tervezés, stb. -, mely feladatok megoldásához a klasszikus eszközök gyakran nem elegendőek, ezért itt gyakori a különböző lágy számítási eszközök használata. Ugyanakkor ezek az ágensek általában változó környezetben tevékenykednek, melynek a változásaira időben reagálniuk kell, ami azt jelenti, hogy az észlelés, információfeldolgozás, tervezés, stb. mind egy adott időkorláton belül kell, hogy megtörténjen. Ez az időkorlát ráadásul függhet a környezetük pillanatnyi állapotától, 96
illetve
a
változások
sebességétől
is.
Mivel
az
ágensek
önállóan,
mozgékonyan
tevékenykednek, tipikusan a rendelkezésükre álló erőforrások is erősen korlátozottak. Egy anytime keretrendszerrel, melybe az esetlegesen használt fuzzy, illetve fuzzy-neurális eszközök is beilleszthetők, elérhető, hogy az ágens a környezete változó körülményei közepette is képes legyen feladatait elvégezni.
97
8. Összefoglaló áttekintés 8.1. Az értekezés legfontosabb megállapításai Napjainkban a gyakorlati alkalmazások idő-kritikus volta és a megoldandó problémák komplexitása új követelményeket támaszt az alkalmazandó algoritmusokkal, eljárásokkal szemben. Míg összetett modellezési, szabályozási feladatoknál, ahol a probléma pontos fizikai-matematikai leírása nem ismert, vagy túlságosan bonyolult, a fuzzy és fuzzy-neurális rendszerek sikerrel alkalmazhatók, éles rendszerekben a felhasználásukat megnehezíti, hogy az adott pontosságú közelítéshez szükséges komplexitás becslésére nincs általánosan használható eljárás. Szintén előnyösen használhatók a fenti lágy számítási módszerek a kevésbé hagyományos, intelligens alkalmazásoknál, mint például az autonóm robotnavigáció vagy a dokumentumszűrés, de a komplexitás-problémák egyes alkalmazásoknál itt is megnehezítik a fuzzy, illetve fuzzy-neurális eszközök használatát. A környezetükkel szoros kölcsönhatásba működő rendszerek esetén a rendelkezésre álló idő és erőforrások mennyisége gyakran nem csak korlátozott, de a rendszer működése során változhat is. Ezekben az esetekben az úgynevezett anytime rendszerek alkalmazhatók sikeresen a kritikus teljesítmény-csökkenés elkerülésére, melyek nagymértékben rugalmasak az igényelt idő és erőforrások tekintetében. Bár a szakirodalomban több problémára ismeretesek anytime eljárások, és létezik kidolgozott keretrendszer is anytime rendszerek felépítésére, továbbra is megoldatlan a fuzzy és fuzzy-neurális rendszerek egyszerű, egységes beillesztése anytime rendszerekbe. Az anytime rendszerekbe való beillesztéshez elsősorban olyan komplexitás-csökkentő algoritmusra van szükség, mely a redundancia kiszűrésén túl alkalmas rugalmas nem-pontos redukcióra is. Erre a célra az úgynevezett szinguláris érték felbontáson (SVD) alapuló redukciós eljárások tökéletesen alkalmasak. Kutatásaim során egyrészt az SVD-alapú redukciós eljárások hatókörét igyekeztem kiterjeszteni, hogy a különböző fuzzy és fuzzy-neurális alkalmazások esetén rugalmasabban alkalmazható legyen. Másrészt annak a lehetőségét vizsgáltam, hogyan alkalmazhatóak fuzzy és fuzzy-neurális eszközök anytime rendszerekben az SVD-alapú komplexitás csökkentő algoritmusokra támaszkodva. Az első kérdéskörhöz kapcsolódóan új hibabizonyítást adtam a PSGS-rendszerek nem-pontos redukciójának hibakorlátjára, mely nem igényli az antecedens halmazok linearitását, ezáltal
98
lehetővé teszi az SVD-alapú komplexitás-csökkentő eljárások alkalmazását nemlineáris antecedens halmazok esetén is. Mivel PSGN és Takagi-Sugeno rendszerek esetén a redukció és a hibabecslés hasonlóan történik, a hibabizonyítás azoknál is érvényes nemlineáris antecedens halmazok esetén is. Szintén az első célkitűzést szolgálta az SVD-alapú redukciós eljárás kidolgozása majdnem PSGS fuzzy rendszerekre, ahol a bemeneti tagsági függvények nincsenek Ruspini-partícióban – ez különösen olyan rendszerek esetén lehet hasznos, ahol a szabálybázis megalkotásához nagymértékben támaszkodunk szakértői tudásra is, ebben az esetben ugyanis a Ruspinipartíció gyakran csak nehézségek árán biztosítható. Itt megadtam a nem-pontos redukciós eljárás hibakorlátját is, matematikai bizonyítással együtt. A redukciós eljárások használatát megkönnyítendő, pontosabb számítási módszer javasoltam az SVD-alapú redukciós eljárások alapját képző mátrixredukciós eljárás hibakorlátjára, mely befolyásolja a fuzzy és fuzzy-neurális rendszerek redukciója során kapott hibakorlátot. Ez nemcsak lehetővé tehet nagyobb mértékű redukciót, mint pusztán a szinguláris értékek alapján becsült hiba, de lehetővé teszi a hiba becslését egyes résztartományokra is, ami bizonyos alkalmazásokban – például a majdnem PSGS fuzzy rendszerek redukciójánál – fontos plusz információt adhat. A Baranyi és társai által kidolgozott SVD-alapú redukciós eljárások lehetővé teszik általánosított fuzzy-neurális rendszerek komplexitás-csökkentését is, azonban a nem-pontos redukció gyakorlati alkalmazásához szükséges a fellépő hiba becslése is. Ezért matematikai bizonyítással alátámasztott hibabecslést adtam mind a szingleton, mind a nem-szingleton általánosított fuzzy-neurális hálók nem-pontos redukciójára. Így az SVD-alapú komplexitáscsökkentő eljárások már általánosított fuzzy-neurális hálók rugalmas nem-pontos redukciójára is alkalmasak, és a hiba minden esetben becsülhető. A második célkitűzéshez kapcsolódóan alapvetően két út kínálkozik lágy számítási eszközök anytime rendszerekbe való beillesztésére. Az egyik fuzzy, illetve fuzzy-neurális eszközök áttranszformálása egy iteratív módon kiértékelhető formába, a másik ezen módszerek beillesztése valamely anytime-keretrendszerbe. Az utóbbi megoldási mód a fuzzy és fuzzy-neurális eszközök szélesebb körének felhasználására, beillesztésére adhat lehetőséget. Módszert adtam az SVD-alapú redukciós eljárások segítségével szerződés-típusú anytime algoritmusok generálására fuzzy és fuzzyneurális rendszerekből, és megadtam, hogyan kapható meg ezek teljesítmény profilja. Ezen eljárás segítségével a fenti lágy számítási eszközök beilleszthetők a Zilberstein-féle anytime keretrendszerbe [57]. Ugyanakkor az alapvetően numerikus algoritmusok esetén az 99
általánosabb minőség alapú megközelítés helyett előnyösebb egy pontosság/hibakorlát alapú leírás, ezért megadtam egy alternatív leírási módszert is. Ezen túl egy SVD-alapú transzformációs módszert javasoltam a PSGS fuzzy rendszerek transzformálására iteratív módon kiértékelhető formába, mely lehetővé teszi ezen rendszerek közvetlen felhasználását anytime alkalmazásokban, mindenféle keretrendszer nélkül, de az így kapott algoritmus megszakítható algoritmusként beilleszthető a Zilberstein-féle keretrendszerbe is. A fenti algoritmushoz kapcsolódóan megadtam a transzformációval kapott rendszer teljesítmény-profiljának kiszámításához szükséges hibabecslési adatokat is.
8.2. Az értekezés új tudományos eredményei 1. téziscsoport Új hibakorlát és eljárás meghatározása adott tulajdonságú PSGS és majdnem PSGS fuzzy rendszerek SVD-alapú komplexitás-csökkentése esetén. 1.1. Megmutattam, hogy PSGS rendszerek SVD-alapú nem pontos komplexitáscsökkentése esetén a hiba nem nagyobb, mint az elhagyott szinguláris értékek összege, akkor is, ha az antecedens halmazok nem lineárisak (l. 3.1. alfejezet). 1.2. Megmutattam, hogy az SVD-alapú komplexitás-csökkentés alkalmazható olyan, “majdnem PSGS” fuzzy rendszerekre is, ahol az antecedens fuzzy halmazok nincsenek Ruspini-partícióban. Valamint megmutattam azt is, hogy a redukált rendszer egy PSGN fuzzy rendszer lesz (l. 3.2. alfejezet). 1.3. Megmutattam, hogy az SVD-alapú mátrixredukció hibakorlátja felírható az elhagyott oszlopok diadikus szorzataként is, és ennek felhasználásával az eddiginél pontosabb hibakorlátot adtam a nem-pontos SVD-alapú komplexitás csökkentő eljárásokra (l. 3.3. alfejezet). 2. téziscsoport Hibakorlát meghatározása általánosított fuzzy-neurális hálók nem pontos komplexitás csökkentése esetén. 2.1. Megmutattam, hogy a szingleton alapú általánosított fuzzy-neurális háló SVDalapú komplexitás-csökkentése esetén a háló kimenetének maximális hibája becsülhető az elhagyott szinguláris értékek összegéből (l. 4.1. alfejezet). 2.2. Megmutattam, hogy a nem-szingleton alapú általánosított fuzzy-neurális háló SVD-alapú komplexitás-csökkentése esetén, amennyiben a redukció során a fuzzy100
jelleget megtartjuk, a háló kimenetének maximális hibája becsülhető az elhagyott szinguláris értékek összegéből (l. 4.2. alfejezet). 2.3. Megmutattam, hogy a nem-szingleton alapú általánosított fuzzy-neurális háló SVD-alapú komplexitás-csökkentése esetén, amennyiben a redukció során a fuzzyjelleget nem tartjuk meg, a háló kimenetének maximális hibája becsülhető az elhagyott szinguláris értékek összegéből (l. 4.3. alfejezet). 3. téziscsoport Lágy számítási módszerek anytime rendszerekben történő új alkalmazási lehetőségeinek kidolgozása. 3.1. Az SVD-alapú komplexitás-csökkentő eljárásokra alapozva módszert dolgoztam ki meglévő fuzzy és fuzzy-neurális rendszerek alapján szerződés-alapú anytime algoritmus automatikus generálására. Megadtam, hogyan határozható meg az így kapott szerződés-alapú algoritmus teljesítmény profilja, és egy alternatív, pontosság alapú leírást is javasoltam (l. 5.1. alfejezet). 3.2. SVD-n alapuló eljárást dolgoztam ki PSGS fuzzy rendszerek iteratív módon kiértékelhető formába való transzformálására (l. 5.2. alfejezet).
8.3. Az értekezésben érintett, további vizsgálatot igénylő témakörök Az értekezésben nem tértem ki az anytime rendszerek monitorozásának kérdéseire. Az adott körülmények között optimális – vagy ahhoz közeli - erőforrás-elosztás meghatározása a teljesítmény profilok felhasználásával lényeges pontja az anytime rendszerek működésének, s jelenleg is fontos kutatási terület [135-138]. A különböző lágy számítási eszközök használata esetén – különösen nem hagyományos, „intelligens” alkalmazások esetén – felmerülhet kérdésként a szolgáltatott adatok minősítése is. Míg a modellezési, szabályozási alkalmazások esetén a hiba numerikus becslése megfelelő minősítést szolgáltat, egyes – például fuzzy adatmodellt használó – alkalmazásoknál szükség lehet az adatok minőségének újfajta leírására [154-156]. A további kutatási lehetőséget jelent az 5.2. alfejezetben leírt SVD-alapú transzformációs eljárás kiterjesztése más rendszerekre is, hogy azok iteratív-jellegű kiértékelése is lehetséges legyen. Dinamikus rendszerek esetén további vizsgálatot igényel a hiba terjedése: ha a rendszer memória-elemeket, illetve visszacsatolásokat is tartalmaz, a rendszer kimenetének pontossága nem áll vissza az eredeti értékre közvetlenül az eredeti pontosságú kiértékelés visszaállítása után, hanem kell bizonyos idő, míg a hiba „lecseng” és eltűnik a rendszerből. Ennek a 101
lecsengési időnek az előzetes becslése is szükséges a gyakorlati alkalmazásokhoz, hiszen a rendszerben maradó hiba összeadódva egy újabb komplexitás-csökkentésből eredő pontatlansággal adott esetben a kimenet az előzetesen becsültnél nagyobb pontatlanságát okozhatja. Dinamikus rendszerekben a működés közbeni komplexitás-változtatás tranziens jelenségeket okozhat, melyek oka a memória elemek „nem megfelelő” tartalma. Mint a numerikus példákban is látható, ez adott esetben azt okozhatja, hogy a kisebb komplexitású rendszerre való áttérés után a rendszer kimenete nagyobb mértékben tér el az eredeti kimeneti értékektől, mintha végig a kisebb komplexitású rendszert használtuk volna. Ezeknek a tranziens jelenségeknek az előzetes becslése és kézbentartása a gyakorlati alkalmazás szempontjából fontos terület.
102
Függelék - Fontosabb jelölések jegyzéke µ(x)
Fuzzy halmaz tagsági függvénye
2. fejezet
Ri1 ,...,iN
Fuzzy szabálybázis egy szabálya
2., 3. fejezet
X j ,i j
A szabálybázis j. bemenetének i j . antecedens halmaza.
2., 3. fejezet
µ j ,i j ( x j )
A j. bemenet i j . antecedens halmazának tagsági függvénye
2., 3. fejezet
ni
Az i. bemenet tagsági függvényeinek száma
2., 3. fejezet
y i1 ,...,iN
Az Ri1 ,...,iN szabály következményrésze PSGS-rendszerben
2., 3. fejezet
Yi1 ,...,iN
Az Ri1 ,...,iN szabály következményrésze PSGN-rendszerben
2. fejezet
d i1 ,...,i N
Yi1 ,...,iN súlyközéppontja
2. fejezet
s i1 ,...,iN
Yi1 ,...,iN területe
2. fejezet
bi1 ,...,i N
= d i1 ,...,iN s i1 ,...,iN
2. fejezet
g i1 ,...,iN (...)
Az Ri1 ,...,iN szabály következményrésze Takagi-Sugeno
2.fejezet
rendszerben xi*
Az i. bemenet értéke
2., 3. fejezet
y*
A fuzzy/fuzzy-neurális rendszer kimenete adott bemenetek
2., 3. fejezet
esetén F
A redukálandó rendszer fő paramétereit tartalmazó mátrix
2., 3. fejezet
λi
F szinguláris értékei
2., 3. fejezet
nSVD
Nemzérus szinguláris értékek száma
2., 3. fejezet
B
A szinguláris értékeket tartalmazó diagonálmátrix
2., 3. fejezet
Ak
A mátrixredukció során kapott ortogonális mátrixok
2., 3. fejezet
Többdimenziós mátrix kiterítésével a redukció során képzett
2., 3. fejezet
*
Si , Si
átmeneti mátrixok e RSVD
A mátrixredukció hibája
2. fejezet
E RSVD
A mátrixredukció hibakorlátja
2., 3. fejezet
R ' i1 ,...,iN
A redukált szabálybázis egy szabálya
2., 3. fejezet
X ' j ,i j
A redukált szabálybázis j. bemenetének i j . antecedens
2., 3. fejezet
103
halmaza µ ' j ,i j ( x j )
A j. bemenet i j . antecedens halmazának tagsági függvénye
2., 3. fejezet
a redukált szabálybázisban. nir
Az i. bemenet tagsági függvényeinek száma a redukált
2., 3. fejezet
szabálybázisban y 'i1 ,...,i N
Az Ri1 ,...,iN szabály következményrésze PSGS-rendszer
2., 3. fejezet
esetén a redukált szabálybázisban. y
*
A fuzzy/fuzzy-neurális rendszer kimenete adott bemenetek
2., 3. fejezet
esetén e FSVD
Fuzzy rendszer redukciójának hibája
2., 3. fejezet
E FSVD
Fuzzy rendszer redukciójának hibakorlátja
2. fejezet
λi
Az i. lépésben elhagyott szinguláris értékek összege
3., 4. fejezet
N0
Az eredeti rendszer számlálója majdnem PSGS, illetve PSGN
3., 4. fejezet
rendszerek esetén D0
Az eredeti rendszer nevezője majdnem PSGS, illetve PSGN
3., 4. fejezet
rendszerek esetén Y 'i1 ,...,iN
Az R 'i1 ,...,iN szabály következményrésze majdnem PSGS
3. fejezet
rendszer esetén redukció után d 'i1 ,...,iN
Y 'i1 ,...,iN súlyközéppontja
3. fejezet
s ' i1 ,...,iN
Y 'i1 ,...,iN területe
3. fejezet
N '0
A redukált rendszer számlálója majdnem PSGS, illetve PSGN
3., 4. fejezet
rendszerek esetén D '0
A redukált rendszer nevezője majdnem PSGS, illetve PSGN
3., 4. fejezet
rendszerek esetén Lk
A tagsági függvény összegek alsó korlátai majdnem PSGS
3. fejezet
rendszer esetén Uk
A tagsági függvény összegek felső korlátai majdnem PSGS
3. fejezet
rendszer esetén E0, N
A számláló redukciójának hibakorláta
3. fejezet
104
E0, D
A nevező redukciójának hibakorláta
3. fejezet
nl
A neuronok száma az l. rétegben
4. fejezet
N l ,i
Az l. réteg i. neuronja
4. fejezet
xl ,i , k
N l ,i k. bemenete
4. fejezet
y l ,i
N l ,i kimenete
4. fejezet
f l , j ,i ( y l ,i )
Súlyfüggvény N l ,i és N l +1, j között
4. fejezet
ml ,i
Antecedens halmazok száma N l ,i és N l +1, j között
4. fejezet
µ l ,i ,t ( y l ,i )
t. tagsági függvény N l ,i és az l+1 réteg között
4. fejezet
bl , j ,i ,t
Az N l ,i és N l +1, j közötti PSGN rendszer t. következménye
4. fejezet
d l , j ,i ,t
Az N l ,i és N l +1, j közötti PSGN rendszer t. következmény
4. fejezet
halmazának a súlyközpontja s l , j ,i ,t
Az N l ,i és N l +1, j közötti PSGN rendszer t. következmény
4. fejezet
halmazának a területe = d l , j ,i ,t s l , j ,i ,t PSGN rendszer esetén
4. fejezet
N l , j ,i
A számlálók az N l ,i és N l +1, j közötti PSGN rendszerben
4. fejezet
Dl , j ,i
A nevezők az N l ,i és N l +1, j közötti PSGN rendszerben
4. fejezet
nlr
A neuronok száma az l. rétegben a redukció után
4. fejezet
y ' l ,i
N l ,i kimenete a redukció után
4. fejezet
mlr,i
Antecedens halmazok száma N l ,i és N l +1, j között a
4. fejezet
bl , j ,i ,t
redukció után µ lr,i ,t ( y l ,i )
t. tagsági függvény N l ,i és az l+1 réteg között
4. fejezet
redukció után b ' l , j ,i ,t
Az N l ,i és N l +1, j közötti PSGN rendszer t. következménye
4. fejezet
redukció után al , j , z
A redukció során előálló új paraméterek
4. fejezet
d ' l , j ,i ,t
Az N l ,i és N l +1, j közötti PSGN rendszer t. következmény
4. fejezet
halmazának a súlyközpontja redukció után s ' l , j ,i ,t
Az N l ,i és N l +1, j közötti PSGN rendszer t. következmény
4. fejezet
105
halmazának a területe redukció után b ' l , j ,i ,t N ' l , j ,i
= d 'l , j ,i ,t s ' l , j ,i ,t PSGN rendszer esetén redukció után
4. fejezet
A számlálók az N l ,i és N l +1, j közötti PSGN rendszerben
4. fejezet
redukció után D ' l , j ,i
A nevezők az N l ,i és N l +1, j közötti PSGN rendszerben
4. fejezet
redukció után λ N ,i
Az elhagyott szinguláris értékek összege a számlálók
4.3. fejezet
redukciója során λ D ,i
Az elhagyott szinguláris értékek összege a nevezők
4.3. fejezet
redukciója során e NNSVD
Általánosított fuzzy-neurális háló redukciójának hibája
4. fejezet
E NNSVD
Általánosított fuzzy-neurális háló redukciójának hibakorláta
4. fejezet
f E ( xe ))
Hibaátviteli függvény
5. fejezet
A mátrixredukció hibakorlátja m szinguláris érték elhagyása
5. fejezet
ESVD,m
esetén
106
Irodalomjegyzék [1] L.A. Zadeh, “Fuzzy Sets,” Information and Control, 8, 1965, pp. 338-252. [2] D. Dubois, H. Prade, “Operations in a fuzzy-valued logic,” Information and Control, 43, 1979, pp.224-240. [3] D. Dubois, H. Prade, Fuzzy Sets and Systems: Theory and Applications, Academic Press, New York, 1980. [4] E. P. Klement, “Operations on fuzzy sets: an axiomatic approach,” Information Sciences, 27, 1984, pp. 221-232. [5]. L. A. Zadeh, “Outline of a new approach to the analysis of complex systems and decision processes,” IEEE Trans. On Systems, Man and Cybernetics, 1973, pp. 28-44. [6] L. A. Zadeh, “The concept of a linguistic variable and its application to approximate reasoning,” Information Sciences, 8, 1975, pp. 199-249, 301-357; 9, pp. 43-80. [7] L. A. Zadeh, “Fuzzy logic and approximate reasoning,” Synthese, 30, 1975, pp. 407-428. [8] L. A. Zadeh, “A fuzzy-logic approach to the definition of complex or imprecise concepts,” Int. Journal of Man-Machine Studies, 8, 1976, pp. 249-291. [9] E. H. Mamdani, S. Assilian, “An experiment in linguistic synthesis with fuzzy logic controller,” International Journal Man-Machine Studies, 1975, pp.1-13. [10] P. M. Larsen, “Industrial application of fuzzy logic control,” International Journal ManMachine Studies, 12, 1980, pp. 3-10. [11] T. Takagi, M Sugeno, “Fuzzy identification of systems and its application to modeling and control,” IEEE Trans. On Systems, Man and Cybernetics, 15, 1985, pp. 116-132. [12] L. X. Wang, Adaptive Fuzzy Systems and Control, 1994, Prentice Hall, New Jersey, USA [13] R. Babuska, J. Sousa, H.B. Verbruggen, “Model-based design of fuzzy control systems,” European Conference on Fuzzy and Intelligent Systems (EUFIT ’95), Aachen, Germany, 1995, vol. 2., pp. 837-841. [14] S. Chen, S. A. Billings, W. Luo, “ Orthogonal least squares methods and their application to non-linear system identification,” International Journal of Control, 50, no. 5, 1989, pp. 1873-1896. [15] R. Babuska, Fuzzy Modeling and Identification, PhD thesis, Deft University of Technology, 1996. [16] R.. Fullér, Neural Fuzzy Systems, Lecture Notes, Abo Akademi, 1995.
107
[17] M. Sugeno, K. Murakami, “An experimental study on fuzzy parking control using a model car,” Industrial Applications of Fuzzy Control, Amsterdam, Holland, 1985, pp. 125-138. [18] M. Sugeno, T. Murofushi, T. Mori, T. Tatematsu, J. Tanaka, “Fuzzy algorithmic control of a model car by oral instructions,” Industrial Applications of Fuzzy Control, Amsterdam, Holland, 1989, Vol. 32, Num. 2., pp. 207-219. [19] M. Sugeno, “Advanced fuzzy control of unmanned helicopters,” Plenary Lecture of FUZZ-IEEE ’93, San Francisco, 1993. [20] Y. Amirat, S. Nefti, B. Lakehal, J. Ponthau, “Fuzzy control of a cleaning mobile robot,” Proc. of FUZZ-IEEE ’95, Yokohama, Japan, 1995, pp. 905-912. [21] S. Sekino, H. Oshima, S. Yasunobu, “Automatic train operation system on predictive fuzzy control,” Proc. of. International Workshop on Artificial Intelligence for Industrial Applications, Hitachi City, Japan, 1988. [22] S. Miyamoto, S. Yasunobu, “Automatic Train Operation System by Predictive Fuzzy Control,” chapter in Industrial Applications of Fuzzy Control, Elsevier North Holland, 1985. [23] T. Rauma, M. Kurki, P. Alahuhta, “An approach of using fuzzy logic in fault diagnostic,” European Conference on Fuzzy and Intelligent Systems (EUFIT ’96), Aachen, Germany, 1996. [24] R. J. Patton, C. J. Lopez-Toribio, F. J. Uppal, “Artificial intelligence approach to fault diagnosis for dynamic systems,” Int. J. Applied Mathematics and Computational Science, Vol. 9., No.3, pp. 471-518. [25] O. Takács, A. R. Várkonyi-Kóczy, „Fuzzy constraint networks for the monitoring and diagnosis of adaptive nonlinear systems,” Techn. Riport, MITUB-TR-99-12, Budapest, 1999, 47 p. [26] L. X. Wang, “Fuzzy systems are universal approximators,” FUZZ-IEEE ’92, San Diego, 1992, pp. 1163-1169. [27] B. Kosko, “Fuzzy systems as universal approximators,” FUZZ-IEEE ’92, San Diego, 1992, pp. 1153-1162. [28] B. Kosko, “Fuzzy systems are universal approximators,” IEEE Trans. On Computers, 1994, pp. 1329-1333. [29] A. El Hajjaji, A. Rachid, “Explicit formulas for fuzzy controller,” Fuzzy sets and systems, 62, 1994, pp. 135-141.
108
[30] L. T. Kóczy, M. Sugeno, “Explicit formulas for fuzzy control systems, and the approximator property,” Tech. Report TR93-94/408, LIFE Chair of Fuzzy Theory, Tokyo Int. of Technology, 1994. [31] L. T. Kóczy, “Approximation and fuzzy control,” 6th IFSA World Congress, Sao Paolo, Brasil, 1995, pp. 625-628. [32] L. T. Kóczy, “Some mathematical aspects of fuzzy controllers,” in Fuzzy Theory and Advanced Applications (Ed. Da Ruan), Kluwer Academic Publishers, Boston-LondonDordrecht, 1995, pp. 245-265. [33] L. T. Kóczy, “Some mathematical aspects of fuzzy control,” Proc of Information and Knowledge Engineering, Dalian, China, 1995, pp. 1360-1372. [34] B. Moser, “On the nowhere denseness of Sugeno-controllers with a bounded number of rules,” Technical report, J. Kepler Universitat Linz, 1994. [35] B. Moser, “Universal approximation by fuzzy systems – a critical remark,” Technical report, J. Kepler Universitat Linz, 1994. [36] B. Moser, D. Tikk, L. T. Kóczy, “TS-controllers with a bounded number or rules are nowhere dense,” Workshop Automation 2001, Vienna, 1997. [37] D. Tikk, “The nowhere denseness of Takagi-Sugeno-Kang type fuzzy controllers containing prerestricted number of rules,”
Tatra Mountains Mathemathical
Publications, 1999, pp. 369-377. [38] L. T. Kóczy, “Complexity of bounded compact rule based fuzzy inference,” Towards an Unified Fuzzy Sets Theory, Third Joint IFSA-EC and EURO-WG Workshop on Fuzzy Sets, Visegrád, 1990, pp. 59-60. [39] L. T. Kóczy, “Complexity of fuzzy rule based reasoning,” Proc. of EURO XI, Aachen, 1991, pp. 136-137. [40] L. T. Kóczy, “Computational complexity of various fuzzy inference algorithms“, Annales Univ. Science Budapest, 12, 1991, pp. 151-158. [41] L. T. Kóczy, “On the computational complexity of rule based fuzzy inference,” Proc. of NAFIPS-’91, University Missouri-Columbia, 1991, pp. 87-91. [42] L. T. Kóczy, “Algorithmic aspects of fuzzy control,” Int. Journal of Approximate Reasoning, 12, 1995, pp. 159-217. [43] D. Tikk, L. t. Kóczy, “Computational complexity aspects of fuzzy controllers,” Proc. of Advanced Control Systems, Vienna, pp. 123-127. [44] A. Stoica, "Fuzzy Processing Based on Alpha-Cut Mapping,” 5th IFSA World Congress, 1993, pp. 1266-1269. 109
[45] W. Yu, Z. Bien, "Design of Fuzzy Logic Controller with Inconsistent Rule base,” Journal of Intelligent and Fuzzy Systems, 1994, Vol. 2., No. 2., pp.147-159. [46] J. Bruinzeel, V. Lacrose, A. Title, H. B. Verbruggen, “Real time fuzzy control of complex systems using rule-base reduction methods,” 2th World Automation Congress (WAC ’96), Monpellier, France, 1996. [47] M. Sugeno, M. F. Griffin and A. Bastian, "Fuzzy hierachical control of an unmanned helicopter,” Proc. of the 5th IFSA World Congress, Seoul, 1993, pp. 1261-1265. [48] S. McCormac, P. Demel, A. Uhl, “A straightforward fuzzy collision avoidance strategy for autonomous vehicles,” Proc. of the 3 rd European Congress on Intelligent Techniques and Soft Computing, Aachen, Germany, 1995, pp. 915-921. [49] M. Maeda, S. Murakami, Y. Araki, “Fuzzy drive expert system for an Automobile” Proc. of the 2nf IFAC World Congress, Sydney, Australia, 1993, vol.3., pp. 161-164. [50] M. Maeda, M. Shimakawa, S. Murakami, “Predictive fuzzy control of an autonomous mobile robot with forecast learning function,” Fuzzy sets and systems, 72, 1995, pp. 5160. [51] L. T. Kóczy, K. Hirota, "Size Reduction by Interpolation in Fuzzy Rule Bases,” IEEE Trans. on Systems, Man and Cybernetics, Vol. 27, 1997, pp.14-25. [52] L. T. Kóczy, K. Hirota, “Approximate reasoning by linear interpolation and general approximation,” Int. Journal on Approximate Reasoning, 1993, vol. 9, pp. 197-225. [53] P. Baranyi, T. D. Gedeon and L. T. Kóczy, "A General Interpolation Technique in Fuzzy Rule Bases with Arbitrary Membership Functions,” IEEE Int. Conf. on Systems, Man and Cybernetics, Beijing, China, 1996, pp. 510-515. [54] M. F. Kawaguchi and M. Miyakoshi "Fuzzy Spline Interpolation in Sparse Fuzzy Rule Bases,” 5th Conf. on Soft Comp. and Inf./Int. Systems, IIZUKA '98, Iizuka, Japan, 1998, pp. 664-667. [55] D. Tikk, P. Baranyi: “Comprehensive analysis of a new fuzzy rule interpolation method,” IEEE Transaction on Fuzzy Systems, vol. 8., no. 3, 2000. pp. 281-296. [56] D. Tikk, T. D. Gedeon, P. Baranyi: “A fuzzy interpolation algorithm closed over CNF sets,” International Journal of Fuzzy Systems, Vol. 4, No. 1, 2002, pp. 634-638. [57] S. Zilberstein, Operational Rationality through Compilation of Anytime Algorithms, Ph.D. dissertation, Computer Science Division, University of California at Berkeley, 1993.
110
[58] Y. Yam, "Fuzzy approximation via grid-point sampling and singular value decomposition,” IEEE Trans. on System, Man and Cybernetics, vol. 27, pp. 933-951, Dec, 1997. [59] Y. Yam, C. T. Yang, "Singular value-based fuzzy approximator: A case study,” Int. Panel Conf. of Soft Intelligent Computing, Budapest, Hungary, Sept. 30-Oct. 3, 1996, pp. 305-312. [60] Y. Yam, P. Baranyi, C. T. Yang, "Reduction of Fuzzy Rule Base Via Singular Value decomposition,” IEEE Trans. on Fuzzy Systems, April 1999, vol. 7, No. 7., pp.120-132. [61] P. Baranyi, Y. Yam, "Singular value-based fuzzy approximation with nonsingleton support,” 7th Int. Fuzzy Systems Assoc. World Congress, Czech Republic, June 1997, pp. 127-132. [62] P. Baranyi, Y. Yam, "Singular value-based fuzzy approximation with Takagi-Sugeno type fuzzy rule base,” IEEE Int. Conf. on Fuzzy Systems, Barcelona, Spain, July 1997, pp. 265-270. [63] P. Baranyi, Y. Yam, C. T. Yang, A. Várkonyi-Kóczy, "Complexity Reduction of a Rational General Form,” IEEE Int. Fuzzy Systems Conf., Aug. 22-25, 1999, Seoul, Korea, pp.366-371. [64] P.Baranyi, Y.Yam, D.Tikk and R.J.Patton: “Trade-off between approximation accuracy and complexity: TS controller design via HOSVD based complexity minimization,” Studies in Fuzziness and Soft Computing, Vol. 128. Interpretability Issues in Fuzzy Modeling, J. Casillas, O. Cordón, F.Herrera, L.Magdalena (Eds.), Springer-Verlag, 2003. pp. 249-277. [65] P.Baranyi, Y.Yam, C.T. Yang, P.Várlaki and P.Michelberger: ”Inference Algorithm Independent SVD Fuzzy Rule Base Complexity Reduction,” International Journal of Advanced Computational Intelligence Vol. 5 No. 1, 2001, pp 22-30. [66] P.Baranyi: “Fuzzy szabályalapú információkezelés irányítási algoritmusokban,” Ph.D. Thesis, Technical University of Budapest, 1999. [67] P. Baranyi, A.Várkonyi-Kóczy, P.Várlaki, P.Michelberger and R.J.Patton: ”Singular Value Based Model Approximation,” Chapter in Problems in Applied Mathematics and Computational Intelligence, Mathematics and Computers in Science and Engineering, A Series of Reference Books and Textbooks, ISBN 960-8052-30-0, 2001, pp. 119-124. [68] P. Baranyi, Y. Yam: “Fuzzy rule base reduction,” Chapter 7 of Fuzzy IF-THEN Rules in Computational Intelligence: Theory and Applications, Eds., D. Ruan and E.E. Kerre, Kluwer, 2000, pp 135-160. 111
[69] P. Baranyi, K. F. Lei, Y. Yam: “Complexity Reduction of Singleton Based Neuro-fuzzy Algorithm,” IEEE International Conference System, Man, and Cybernetics (SMC’00), Nashville, Tennessee, USA, 2000, pp. 2503-2508. [70] K. Lei, P. Baranyi, Y. Yam: ”Complexity Minimalisation of Non-singleton Based FuzzyNeural Network,” International Journal of Advanced Computational Intelligence, Vol. 4 No. 4, 2000, pp. 1-7. [71] P. Baranyi, Yam Y., Yang C. T., A. R. Várkonyi-Kóczy, “Practical Extension of the SVD Based Reduction Technique for Extremely Large Fuzzy Rule Bases,” IEEE Int. Workshop on Intelligent Signal Processing, 4-7. Sept., 1999, pp. 29-33. [72] P. Baranyi, A.R.Várkonyi-Kóczy, Y. Yam, M. Sugiyama: “Adaption of SVD reduction in restricted rule base size,” 11th Soft Science Workshop at Kanazawa (SOFT), 2000, pp. 32-35. [73] P. Baranyi, A.R. Várkonyi-Kóczy, Y. Yam, P. Michelberger: “Adaption without Rule Base Size Expansion: HOSVD based approach,” IEEE Instrumentation and Measurement Technology Conference (IMTC’02), Anchorage, AK, USA, 21-23 May 2002, pp. 221-226. [74] P. Baranyi, A. R. Várkonyi-Kóczy: “Adaptation of SVD Based Fuzzy Reduction via Minimal Expansion,” IEEE Transaction on Instrumentation and Measurement, Vol. 51, No. 2, 2002, pp. 222-226. [75] P, Rózsa, Lineáris algebra és alkalmazásai, Tankönyvkiadó, Budapest, 1991. [76] S. Győri, Z. Petres, P. Baranyi, A. R. Várkonyi-Kóczy: “Modelling of the Human LiverBile System by Soft-Computing Methods” 6th International Conference on Intelligent Engineering Systems (INES’02), Opatija, Croatia, 2002, pp. 225-230. ISBN 953-607117-7. [77] P. Baranyi, I. Mihálcz, P. Korondi, Z. Gubinyi, H. Hashimoto, “Fuzzy Rule Base reduction for Robot Finger Furnished with Shape Memory Alloy,” 24th IEEE Industrial Electronics Society Conference (IECON’98), 1998, pp. 6-11. [78] Sz. Kovács, P. Baranyi, T. D.Gedeon: “Model Reduction in User Adaptive Emotionbased Systems,”4th Workshop on European Scientific and Industrial Collaboration (WESIC’03), 2003, May 28-30,Miskolc-Lillafured, Hungary, Vol. 2, pp. 439-446. [79] P. T. Szemes, Joo-Ho Lee, H. Hashimoto, P. Korondi: "Guiding and Communication Assistant for Disabled in Intelligent Urban Environment" Proceeding of IEEE/ASME International Conference on Advanced Intelligent Mechatronics, July 20-24, 2003, International Conference Center, Port Island, Kobe Japan p.598-603. 112
[80] P. Baranyi, P. Várlaki, L. T. Kóczy: ”Complexity Reduction in a Fuzzy Controlled Automatic Guided Vehichle,” Chapter in Studies in Vehichle Engineering and Transportation Science, Eds.: J.Bokor, E.Nádori and P.Várlaki, Hungarian Academy of Sciences, 2000, pp. 199–216. [81] A. R. Várkonyi-Kóczy, P. Baranyi, "Model Based Numerical Anytime Control Design of a Prototypical Aeroeleastic Wing Section," In Proc. of the 2nd Int. Conf. On Global Research and Education, Inter-Akademia'2003, Warsaw, Poland, Sep. 8-12, 2003, pp.377-386. [82] A. R. Várkonyi-Kóczy, P. Baranyi, L. Kiss, P. Várlaki, „State Dependant Anytime Control Methodology for Prototypical Aeroelastic Wing Section with Structural Nonlinearity," In CD-ROM Proc. of the 2003 IEEE Int. Symposium on Industrial Electronics, ISIE’2003, Rio de Janeiro, Brazil, June 9-12, 2003, pp. BF-003362.1-6. [83] G. J. Klir, T. A. Folger, Fuzzy Sets, Uncertainty and Information, 1988, Prentice Hall, London [84] G. J. Klir, B. Yuan, Fuzzy Sets and Fuzzy Logic, 1995, Prentice Hall, London [85] R. Jager, Fuzzy Logic in Control, Technical University of Delft, PhD thesis, 1995. [86] J. M. Mendel, “Fuzzy logic systems for engineering: a tutorial,” Proc. of the IEEE, Vol. 83, No. 3, 1995, pp. 345-377. [87] Q. Shen, R. Leitch, “Fuzzy Qualitative Simulation,” IEEE Trans. On Systems, Man and Cybernetics, Vol. 23, No. 4, 1993, pp. 1038-1061. [88] Y. Yam, C. T. Yang, P. Baranyi: “Singular Value-Based Fuzzy Reduction with Relaxed Normalization Condition,” Studies in Fuzziness and Soft Computing, Vol. 128. Interpretability Issues in Fuzzy Modeling, J. Casillas, O. Cordón, F.Herrera, L.Magdalena (Eds.), Springer-Verlag, 2003. pp. 325-354. [89] O. Takács, A. R. Várkonyi-Kóczy, „SVD-based Complexity Reduction of Rule-bases with Nonlinear Antecedent Fuzzy Sets,” IEEE International Workshop on Intelligent Signal Processing, WISP'2001, Budapest, Hungary, May 24-25, 2001., 183-187. [90] A. R. Várkonyi-Kóczy, O. Takács, SVD-based Complexity Reduction of Rule-bases with Nonlinear Antecedent Fuzzy Sets,” IEEE Transactions on Instrumentation and Measurement, Vol. 51, No. 2, pp. 217-221, Apr. 2002. [91] O. Takács, A. R. Várkonyi-Kóczy, "SVD-based Complexity Reduction of "Near PSGS" Fuzzy Systems," In Proc. of the IEEE Int. Symposium on Intelligent Signal Processing, WISP'2003, Budapest, Hungary, Sep. 4-6, 2003, pp. 31-36.
113
[92] O. Takács, A. R. Várkonyi-Kóczy, "Improved Error-bound for the SVD-based Complexity Reduction,” IEEE 6th Int. Conf. on Intelligent Engineering Systems, INES 2002, May 26.-28, 2002, Opatija, Croatia, pp. 215-218. [93] K. S. Narendra, K. Parthasarathy, “Identification and control of dynamic systems using neural network,” IEEE Trans. on Neural Networks, 1990, Vol. 1. pp. 4-27. [94] K. S. Narendra, K. Parthasarathy, “Identification and control of dynamic systems using neural network,” IEEE Trans. on Neural Networks, 1991, Vol. 2. pp. 252-262. [95] K. S. Narendra, A. M. Annaswamy, Stable Adaptive Systems, 1989, Prentice Hall, Englewood Cliffs, N. J. [96] C. Serpico, C. Visone, “Magnetic hysteresis modeling via feed-forward neural networks,” IEEE Trans. on Magnetics, 1998, Vol. 34, No. 3, pp. 623-628. [97] S. Knerr, L. Personnaz. G. Dreyfus, “Handwritten digit recognition by neural networks with single-layer training,” IEEE Trans. on Neural Networks, 1992, Vol. 3., pp. 962969. [98] Y. LeCun, B. Boser, J. S. Denker, “Backpropagation applied to handwritten zip code recognition,” Neural Computation, 1989, Vol. 1., pp. 541-551. [99] S. Lawrence, C. L. Giles, A. C. Tsoi, A. D. Back, “Face recognition: a hybrid neural network approach,” IEEE Trans. on Neural Networks, 1997, Vol. 8., No. 1., pp. 98-113. [100] T. D. Gedeon, V. Mital, “Information retrieval using a neural network integrated with hypertext,” Proc. of the Int. Conf. on Neural Networks, 1991, Singapore, pp. 18191824. [101] G. Horváth (szerk): Neurális hálózatok és műszaki alkalmazásaik, Egyetemi tankönyv, 1998, Műegyetemi Kiadó, Budapest [102] R. Rojas, Neural Networks, A Systematic Introduction. 1996, Springer-Verlag, Berlin [103] K. Hornik, M. Stinchcombe, H. White, “Multilayer Feedforward Networks are Universal Approximators,” Neural Networks, 1989, 2. pp. 359-366. [104] M. H. Hassoun: Fundamentals of Artificial Neural Networks, Bradford Book, MIT Press, 1996. [105] T. Mitchell, Machine Learning, McGraw Hill, New York, 1997. [106] L. Kővári, P. Baranyi, P. Zsíros, P. Korondi, “Application of Generalised Neural Network for a Dextrous Hand”. IEEE Int. Conf. on Intelligent Systems (IEEE INES 2000), Portoroz, Slovenia, 2000, pp. 305-308.
114
[107] Y. Yam, K. F. Lei, P. Baranyi: ”Control of a SMA Actuated Artificial Face Via Neurofuzzy Techniques,” 10th IEEE International Conference on Fuzzy Systems (FUZZIEEE’01), Melbourn, Australia, 2001. [108] K. F. Lei, Y. Yam P. Baranyi: ”Neuro-fuzzy Based Experiments on A Shape Memory Alloy Positioning System,” American Control Conference, Arlington, VA, USA, 2001, pp. 3861-3865. [109] P. Baranyi, L. T. Kóczy: “Saving Calculation in Information Retrieval,” Chapter in Flexible Query Answering Systems, Physica-Verlag, Eds. H.L.Larsen, J.Kacprzyk etc., ISSN 1615-3871, 2000, pp.337-349. [110] P. Baranyi, L. T. Kóczy, T. D. Gedeon, “Improved Fuzzy and Neural Network Algorithms for word frequency Prediction in Document Filtering” Journal of Advanced Computational Intelligence Vol. 2. No. 3, 1998, pp 88-95. [111] P. Baranyi, I. Nagy, P. Korondi, H. Hashimoto. “General Guiding Model for Mobile Robots and its Complexity Reduced Neuro-fuzzy Approximation” 9th IEEE Int. Conf. on Fuzzy Systems (FUZZ-IEEE 2000), San Antonio, Texas, 2000, pp. 1029-1032. [112] O. Takács, A. R. Várkonyi-Kóczy, P. Várlaki, "Non-exact Complexity Reduction of Generalized Neuro-fuzzy Networks,” 2001 IEEE International Conference on Fuzzy Systems , FUZZ-IEEE 2001, Melbourne, Australia, 2-5. Dec., 2001, pp. 980-983. [113] O. Takács, A. R. Várkonyi-Kóczy, “Non-exact complexity-reduction of generalized fuzzy-neural networks,” MFT Periodika 2001-02. (elektronikus publikáció
–
www.mft.hu), Hungary, 2001. www.mft.hu [114] O. Takács, I. Nagy, "Error bound of the SVD based neural networks,” Proc. of the IFAC Symp. on Artificial Intelligence in Real Time Control, AIRTC 2000, Budapest, Hungary, Oct. 2-4., 2000. pp. 139-145. [115] O. Takács, A. R. Várkonyi-Kóczy, "SVD-based Fuzzy and Neuro Systems for Anytime Applications,”2nd
International
Symposium
of
Hungarian
Researchers
on
Computational Intelligence, Budapest, Hungary, 21. Nov. 2001., pp. 59-73. [116] O. Takács, A. R. Várkonyi-Kóczy, "Error-Bound for the Non-Exact SVD-Based Reduction of the Generalized Type Hybrid Neural Networks with Non-Singleton Consequents," IEEE Trans. on Instrumentation and Measurement, submitted [117] O. Takács, A. R. Várkonyi-Kóczy, „Error-Bound for the Non-Exact SVD-Based Complexity Reduction of the Generalized Type Hybrid Neural Networks with NonSingleton Consequents,” IEEE Instrumentation and Measurement Technology Conference, IMTC/2001, Budapest, Hungary, May 21-23, 2001, pp. 1607-1613. 115
[118] T. L. Dean, M. Boddy, “An analysis of time-dependent planning”. Proc. of the Seventh National Conference on Artificial Intelligence, Minneapolis, Minnesota, 1988., pp. 4954. [119] T. L. Dean, “Intractability and time-dependent planing”. Proc. of the 1986 Workshop on Reasoning about Actions and Plans. M. P. Georgeff, A. L. Lansky (Eds.), Los Altos, California, Morgan Kaufmann, 1987. [120] A. R. Várkonyi-Kóczy, T. Kovácsházy, Gy. Román, "Anytime Algorithms in Embedded Signal Processing," In Proc. of the Jubilee Int. Conference, Budapest, Hungary, Sep. 1-2, 1999, pp. 65-68. [121] A. R. Várkonyi-Kóczy, P. Baranyi, P. Várlaki, L. Kiss, "Model Based Anytime Control of Complex Systems," In Proc. of the 7th IEEE Int. Conference on Intelligent Engineering Systems, INES'2003, Assiut-Luxor, Egypt, March 4-6, 2003, pp. 394-399. [122] A. R. Várkonyi-Kóczy, T. Kovácsházy, O. Takács, Cs. Benedecsik, "Anytime Evaluation of Regression-Type Algorithms." International Journal of Advanced Computational Intelligence, Feb. 2001., Vol. 5. No. 1., pp. 2-7. [123] A. R. Várkonyi-Kóczy, O. Takács, Cs. Benedecsik, " Anytime algorithms in intelligent measurement and control,” Proc. of the 2000 World Automation Congress, WAC 2000, Maui, Hawaii, June 11-16., 2000. [124] A. R. Várkonyi-Kóczy, O. Takács, ”Anytime Extension of the Iterative Fuzzy Model Inversion,” 2001 IEEE International Conference on Fuzzy Systems, Melbourne, Australia, 2-5. December 2001, pp. 976-979. [125] S. J. Russell and S. Zilberstein, “Composing Real-Time Systems,” Proc. of the Twelfth International Joint Conference on Artificial Intelligence, pp. 212-217, Sydney, Australia, 1991. [126] S. Zilberstein, F. Charpillet, and P. Chassaing, „Real-Time Problem-Solving with Contract Algorithms,” Proc. of the 16th International Joint Conference on Artificial Intelligence, Stockholm, Sweden, 1999. [127] M. Boddy, L. T. Dean, „Solving Time-Dependent Planning Problems, Proc. of. eleventh International Joint Conference on Artificial Intelligence, Menlo Park, California, 1989, pp. 979-984. [128] E. J. Horvitz, “Reasoning about beliefs and actions under computational resource constraints,” Proc. of the 1987 workshop on Uncertainty in Artificial Intelligence, Seattle, Washington, 1987.
116
[129] S. Zilberstein and S. J. Russell, „Optimal Composition of Real-Time Systems,” Artificial Intelligence, 82(1-2):181-213, 1996. [130] S. Zilberstein. „Optimizing Decision Quality with Contract Algorithms,” Proc. of the 14th International Joint Conference on Artificial Intelligence, pp. 1576-1582, Montreal, Canada, 1995. [131] S. Zilberstein, „Using Anytime Algorithms in Intelligent Systems,” AI Magazine, 17(3):73-83, 1996. [132] E. A. Hansen, S. Zilberstein, „Monitoring the Progress of Anytime Problem-Solving” Proc. of the 13th National Conference on Artificial Intelligence, pp. 1229-1234, Portland, Oregon, 1996. [133] M. Boddy, L. T. Dean, “Deliberation Sceduling for Problem Solving in TimeConstrained Environments,” Artificial Intelligence, 1994, 67(2), pp. 245-285. [134] A. Garvey, V. Lesser, “Design-to-Time Real-Time Scheduling,” IEEE Trans. on Systems, Man and Cybernetics, 1993, 23(6), pp. 1491-1502. [135] G. Samu, A.R. Várkonyi-Kóczy, "Intelligent Monitor for Anytime Systems," In Proc. of the IEEE Int. Symposium on Intelligent Signal Processing, WISP'2003, Budapest, Hungary, Sep. 4-6, 2003, pp. 277-282. [136] A. R. Várkonyi-Kóczy, G. Samu, "Anytime System Scheduler for Insufficient Resource Availability," In Proc. of the IEEE International Conference on Computational Cybernetics, ICCC'2003, Siófok, Hungary, Aug. 29-31, 2003, pp. 205-210. [137] E.A. Hansen and S. Zilberstein, „Monitoring and Control of Anytime Algorithms: A Dynamic Programming Approach,” Artificial Intelligence, 126(1-2):139-157, 2001. [138] D. S. Bernstein, T.J. Perkins, S. Zilberstein, and L. Finkelstein, „Scheduling Contract Algorithms on Multiple Processors,” Proc. of the Eighteenth National Conference on Artificial Intelligence, Edmonton, Alberta, Canada, 2002. [139] J. Grass, S. Zilberstein, “Anytime Algorithm Development Tools,” In M. Pittarelli (Ed.), SIGART Bulletin Special Issue on Anytime Algorithms and Deliberation Scheduling, 7(2):20-27, 1996. [140] G. Samu, Intelligens felügyelő anytime rendszerekhez, Diplomaterv, 2003, Budapesti Műszaki Egyetem [141] A. R. Várkonyi-Kóczy, T. Kovácsházy, "Anytime Algorithms in Embedded Signal Processing Systems." In Proc. of the IX. European Signal Processing Conference, EUSIPCO-98, Rhodes, Greece, Sep. 8-11, 1998, Vol. 1, pp. 169-172.
117
[142] O. Takács, A. R. Várkonyi-Kóczy, "Szoft számítási eszközök anytime rendszerekben,” Híradástechnika, 2001, május, pp. 55-59. [143] A. R. Várkonyi-Kóczy, A. Ruano, P. Baranyi, O. Takács, "Anytime information processing Based on Fuzzy and Neural Network Models"
Proc. of the IEEE
Instrumentation and Measurement Technology Conference, IMTC 2001, Budapest, Hungary, May 21-23, 2001., pp. 1247-1252. [144] O. Takács, A. R. Várkonyi-Kóczy, "Anytime soft-computing methods for intelligent measurement, diagnosis and control,” Proc. of the IFAC Symp. on Artificial Intelligence in Real Time Control, AIRTC 2000, Budapest, Hungary, Oct. 2-4., 2000. pp. 163-168. [145] O. Takács, A. R. Várkonyi-Kóczy, Szűcs M., "Fuzzy tools in anytime systems,” IEEE Int. Conf. on Intelligent Engineering Systems, INES 2000, Portoroz, Slovenija, Sept. 17-19, 2000., pp. 315-320. [146] O. Takács, A. R. Várkonyi-Kóczy, "Soft-computing Tools in Anytime Environment," In Proc. of the 2nd Int. Conf. On Global Research and Education, Inter-Akademia'2003, Warsaw, Poland, Sep. 8-12, 2003, pp. 185-194. [147] O. Takács, A. R. Várkonyi-Kóczy, „Iterative-type Evaluation of Fuzzy Systems for Anytime Use,” IEEE Transactions on Instrumentation and Measurement, accepted (Febr., 2005) [148] O. Takács, A. R. Várkonyi-Kóczy, „Anytime Evaluation of PSGS Fuzzy Systems,” 2nd Int. Symposium on Computational Intelligence, E-ISCI 2002, Kosice, Slovakia, June 16-19., 2002. [149] O. Takács, A.R. Várkonyi-Kóczy, "Iterative Evaluation of Anytime PSGS Fuzzy Systems." In P. Sincak, J. Vascak, K. Hirota (eds.) Quo Vadis Machine Intelligence:? The Progressive Trends in Intelligent Technologies, (Ser. Advances in Fuzzy Systems Applications and Theory, Vol. 21) World Scientific Press, Heidelberg, 2004, pp. 93106. in print. [150] O. Takács, A. R. Várkonyi-Kóczy, „Iterative-type Evaluation of Fuzzy Systems for Anytime Use,” IEEE Instrumentation and Measurement Technology Conference, IMTC/2002, Anchorage, USA, 21-23. May 2002 , pp. 233-238. [151] O. Takács, A.R. Várkonyi-Kóczy, "Iterative Evaluation of PSGS Fuzzy Systems in Anytime
Applications,"
MFT
Periodica
2002-01,
(elektronikus
publikáció
–
www.mft.hu), Hungary, 2002.
118
[152] A. R. Várkonyi-Kóczy, G. Péceli, T.P. Dobrowiecki, T. Kovácsházy, "Iterative Fuzzy Model Inversion." In Proc. of the 1998 IEEE Int. Conference on Fuzzy Systems, FUZZIEEE'98, Anchorage, Alaska, USA, May 5-9, 1998, Vol. 1, pp. 561-566. [153] A. R. Várkonyi-Kóczy, P. Baranyi, R. J. Patton, "Anytime Fuzzy Modeling Approach for Fault Detection Systems,” In Proc. of the 2003 IEEE Instrumentation and Measurement Technology Conference, IMTC/2003, Vail, USA, May 20-22, 2003, pp. 1611-1616. [154] O. Takács, A. R. Várkonyi-Kóczy, "Fuzzy Handling of Uncertainty in Nonlinear Systems." In Proc. of the Joint EUROFUSE-SIC'99 Conference, Budapest, Hungary, May 25-28, 1999, pp.22-27. [155] O. Takács, A. R. Várkonyi-Kóczy, "The Use of Mixed – Classical and Fuzzy – Data Models in Information Processing." In Proc. of the Int. Symp. on Intelligent Systems in Control and Measurement, INTCOM’99, Budapest, Hungar2y, Oct. 9-13, 1999, pp. 6873. [156] O. Takács, A. R. Várkonyi-Kóczy, "Information Processing Based on Mixed - Classical and Fuzzy - Data Models." International Journal of Advanced Computational Intelligence, Feb. 2001.., Vol. 5. No. 1., pp. 44-50.
119
