Csapó Ádám Balázs MSc mérnök informatikus

Kognitív infokommunikációs csatornák struktúrája – Audio-tapintási szenzor-áthidalás Tézisfüzet

Csapó Ádám Balázs MSc mérnök informatikus Informatikai Tudományok Doktori Iskola Villamosmérnöki és Informatikai Kar Budapesti Műszaki és Gazdaságtudományi Egyetem

Konzulens: Baranyi Péter, D.Sc.

Budapest, 2014. január

i

Tartalomjegyzék 1. 2.

Bevezetés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Tudománytörténeti háttér . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1. A kognitív tudományok és infokommunikáció konvergenciája . . . . . 2.2. Kapcsolódó tudományterületek és szinergiák . . . . . . . . . . . . . . 2.3. CogInfoCom csatornákhoz hozzájáruló területek absztrakciós szintjei 3. A disszertáció motivációi és céljai . . . . . . . . . . . . . . . . . . . . . . . . 4. Alkalmazott módszertanok . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5. Kutatási eredmények és tézisek összefoglalása . . . . . . . . . . . . . . . . . 5.1. 1. és 2. Tézis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.1.1. Eredmények összefoglalása . . . . . . . . . . . . . . . . . . 5.1.2. 1. Tézis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.1.3. 2. Tézis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2. 3. Tézis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2.1. Eredmények összefoglalása . . . . . . . . . . . . . . . . . . 5.2.2. 3. Tézis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3. 4. Tézis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3.1. Eredmények összefoglalása . . . . . . . . . . . . . . . . . . 5.3.2. 4. Tézis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6. Eredmények alkalmazhatósága . . . . . . . . . . . . . . . . . . . . . . . . . . A disszertációhoz kapcsolódó publikációk listája . . . . . . . . . . . . . . . . . . . A disszertációhoz nem kapcsolódó publikációk listája . . . . . . . . . . . . . . . . Irodalomjegyzék . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

ii

. . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . .

1 2 2 2 4 5 7 7 7 8 12 13 14 14 17 18 18 18 19 19 22 24

1.

Bevezetés

A kognitív infokommunikáció (CogInfoCom) interdiszciplináris kutatási terület, amely az infokommunikáció és a kognitív tudományok kapcsolódási pontjait vizsgálja. A CogInfoCom-ot elméleti és ipar-orientált célok egyaránt jellemzik. A tudományterület definíciója, illetve az CogInfoCom rendszerek által alkalmazott kommunikáció módjai (intra- és inter-kognitív) és típusai (szenzor-áthidalás, szenzor-megosztás, reprezentáció-áthidalás és reprezentáció-megosztás) megtalálhatóak a disszertációban és a [RJ-5, RC-14] hivatkozásokban. A CogInfoCom megfogalmazásához közvetlenül hozzájárult több hazai és nemzetközi (EU által támogatott) kutatás-fejlesztési projekt tapasztalata és eredménye. A CogInfoCom-ot meghatározó főbb gondolatok 2005 környékén fogalmazódtak meg, több 2008-ban és 2009-ben megjelent publikáció és előadás pedig már név szerint megemlítette. A tudományterület definícióját a 2010-ben, Tokióban megtartott 1st International Workshop on Cognitive Infocommunications című rendezvényen fektette le a CogInfoCom-hoz kapcsolódó tudományterületeket képviselő, nemzetközi szinten elismert kutatókból álló csoport. Azóta minden évben megrendezésre kerül a CogInfoCom konferencia (a 2012-es és 2013-as konferencia már az IEEE támogatásával valósult meg), amelyen a résztvevők száma évről évre növekvő tendenciát mutat. A közeljövőben kifejezetten a CogInfoCom tématerületével foglalkozó tudományos folyóirat megjelenése is várható. A CogInfoCom új tudományterület, létrejöttének háttere azonban több évtizednyi kutatásra vezethető vissza. Az utóbbi években jelentősen megerősödött mind az infokommunikációs technológiák, mind a kognitív tudományok szerepe mindennapi életünkben. Ezen fejlődés eredményeképpen egyre gyakrabban jelennek meg olyan fogalmak, mint a „kognitív robotika” és a „kognitív informatika”, és természetessé vált az ún. „infokommunikációs forradalom”, illetve az informatika, média, infokommunikáció és ezen területek szabályozása között végbemenő konvergencia felismerése. Ezen folyamat eredményeként infokommunikációs eszközeinkben egyre több olyan funkció jelenik meg, amely mesterséges kognitív képességként fogható fel abban az értelemben, hogy strukturálatlan adatok széles körű érzékelésére, reprezentálására („megértésére”) és feldolgozására épül. A felhasználók számára következésképpen természetesen merül fel annak igénye, hogy infokommunikációs eszközeiken keresztül, ezen mesterséges kognitív képességeket kihasználva léphessenek interakcióba az őket körülvevő informatikai infrastruktúrával, egyúttal saját kognitív képességeiket is kiterjesztve. A disszertáció általános célja, hogy a CogInfoCom elméleti hátterét kibővítse, és hogy megvizsgálja a CogInfoCom csatornák tervezéséhez kapcsolódó elméleti és gyakorlati feladatokat. A CogInfoCom csatornák fogalma – mint az emberi agy plaszticitását kihasználó, multi-szenzoros kommunikáció – tudományos publikációkban is többször említésre került az elmúlt évtized során, formális definíciója és a tervezését segítő strukturált eljárás azonban nem létezett. A disszertáció célja, hogy ezeket a hiányosságokat pótolja.

A CogInfoCom definíciója A kognitív infokommunikáció (CogInfoCom) az infokommunikáció és a kognitív tudományok közötti kapcsolódási pontokat, illetve az ezen tudományágok szinergiájaként fejlesztett mérnöki alkalmazásokat vizsgáló interdiszciplináris tudományterület. A CogInfoCom elsődleges célja, hogy a kognitív folyamatok és infokommunikációs eszközök közös interakciójáról („co-evolution”) rendszerezett képet adjon, hogy az emberi agy képességei az info-

1

kommunikációs eszközökön keresztül egyrészt földrajzi távolságtól független módon kiterjeszthetővé válhassanak, másrészt interakcióba léphessenek bármely mesterséges kognitív rendszer képességeivel. A kognitív képességenek ilyen módon történő kiterjesztése és ötvözése olyan mérnöki alkalmazások létrehozásának céljával történik, melyekben a természetes és/vagy mesterséges kognitív rendszerek hatékonyabb módon tudnak együttműködni. A definíció következményeiről és a CogInfoCom-ban hangsúlyosan megjelenő további fogalmakról – mint a kommunikáció módjáról és típusáról – bővebb leírás található a disszertációban és a [RJ-5, RC-14] hivatkozásokban.

2.

Tudománytörténeti háttér

A fejezet röviden összefoglalja a CogInfoCom létrejöttét elősegítő tudománytörténeti hátteret.

2.1.

A kognitív tudományok és infokommunikáció konvergenciája

Hagyományosan az informatika, média és a kommunikáció tudományterületei eltérő célokkal és személettel rendelkeztek. A 20. század végére a 3 terület különböző szempontú szintéziseként azonban megalakultak az infokommunikáció, média informatika és média kommunikáció területei. Ezen területek fejlődése nagyfokú konvergenciát vetít előre, ahogy a korszerű hálózati szolgáltatások minél inkább teljes felhasználói élményt igyekeznek nyújtani [34]. A konvergencia eredményeképpen napjainkban az infokommunikációs szektor az „információs technológia és elektronikus média minden információ-feldolgozással és tartalommenedzsmenttel kapcsolatos feladatát magában foglalja” [34] Az infokommunikációs konvergenciával párhuzamosan az informatikai, médiával kapcsolatos és kommunikációs kutatási területek egyre inkább kapcsolódnak a kognitív tudományokhoz is: a kognitív informatika (amely 2002 óta létezik mint önálló tudományterület [45, 44, 43]) kognitív tartalmak feldolgozására és értelmezésére képes mesterséges kognitív rendszerek tervezésével és vizsgálatával foglalkozik; a kognitív média [31, 22] interakciós technológiákkal és interaktív médiafelületekkel foglalkozik; a kognitív kommunikáció [33, 15] vizsgálatai pedig egyaránt érinthetik az ember kognitív kommunikációs képességeit (a [33, 15] hivatkozások e tekintetben a kognitív tudományokhoz kapcsolódnak szorosan), illetve érinthetik a sugárzási teljesítményüket és egyéb kommunikációs paramétereiket intelligens módon változtató hálózati kommunikációs eszközök tervezését is (ld. [30])1 .

2.2.

Kapcsolódó tudományterületek és szinergiák

A CogInfoCom területén hangsúlyosan jelenik meg az a kérdés, hogy miként célszerű olyan CogInfoCom csatornákat tervezni, amelyek lehetővé teszik az ember és mesterségesen kognitív rendszerek hatékony kommunikációját és kollaborációját. Ebben a szakaszban három olyan terület kerül bemutatásra, amelyek hozzájárultak a CogInfoCom csatornákkal kapcsolatos tervezési feladatok megfogalmazásához és megvalósításához (a disszertáció teljes szövegében számos egyéb kapcsolódó terület leírása is megtalálható). 1

A kognitív kommunikációnak napjainkban még nincs egységes jelentése, a jövőben azoban közeledhetnek is egymáshoz a tudományos vizsgálatok céljai, tekintve hogy a hálózati kommunikációs eszközök viselkedését a felhasználó céljai és az alkalmazási terület is befolyásolják, ld. [30].

2

Cognitive Media

Cognitive Informatics

Cognitive Communications

1. ábra. A média, informatika és kommunikáció tudományterületei kezdetben elkülönülő célokat fogalmaztak meg és eltérő módszertanokat alkalmaztak, mára azonban több interdiszciplináris területhez is hozzájárulnak. Tudománytörténeti szempontból a CogInfoCom a kognitív informatika és kognitív kommunikáció területeinek kapcsolataként fogalmazható meg.

Jövő Internet és virtuális valóság – A Jövő Internet a távközlési hálózatok következő generációival foglalkozó tudományterület, amely egyben kiemelt EU-s trend is, és amelynek két fő alterülete létezik: az Internet of Things (IoT) és a 3D Internet. Az IoT célja, hogy a fizikai tárgyak egyedi képességeikkel együtt megjelenjenek az Interneten [38, 39]; a 3D Internet pedig a felhasználók azon elvárásával foglalkozik, hogy az Interneten megjelenő 3D tartalmat nagy felbontásban, immerzív módon érhessék el [19]. A két ágazat kapcsolata nyilvánvaló: ahogy a hétköznapi (fizikai és virtuális) tárgyak megjelennek az Interneten, úgy merül fel az igény, hogy a fizikai valóságban megszokott módon lehessen azokat irányítani és manipulálni [32, 35]. Az így létrejövő Internet-alapú augmentált/virtuális infokommunikációs környezetekben cél, hogy a felhasználók látásukon és hallásukon kívül egyéb érzékszervi modalitásaikat is (pl. tapintást és egyéb szomatoszenzoros modalitásokat) felhasználhassák. Egyre több esetben fordul elő, hogy ebből a célból olyan virtuális avatárokat hoznak létre, amelyek legalább részleges szenzoros-motoros kapcsolatban állnak a felhasználóval [46]. Ezen célok megvalósítása közvetlen módon kapcsolódik a CogInfoCom-hoz, amennyiben fontos szerephez jut az ember kognitív képességeinek kiterjesztése. A Jövő Internet és a virtuális valóság területei ezért a CogInfoCom eredményeinek egyik fő megvalósítási platformjává is válhatnak. Szenzoros helyettesítés (Sensory substitution) – A szenzoros felcserélés adott érzékszervi bemenet átstrukturálásával és más érzékszervre történő csatolásával foglalkozik. Már az 1960-as évek végén úttörő kutatásokat vezető P. Bach-y-Rita megmutatta, hogy vak felhasználók képesek a hátukra nyomással, illetve a nyelvükre elektrotaktilis beavatkozókkal adott, képi információt nyújtó bemenetek útján újra „látni” [3]. Bach-y-Rita és társai későbbi kutatásaik során azt is felismerték, hogy legalábbis a mérnöki rendszerek esetében célszerű lenne a szenzoros felcserélés által vizsgált jelenségek halmazát bővíteni. Ezt a gondolatot az alábbi idézet mutatja be [4]: However, in the context of mediated reality systems, which may incorporate multiple modalities of both sensing and display, the use of one sense [...] to display information normally acquired via another human sense [...] or alternatively via a ’non-natural’ sense such as sonar ranging, could be considered to be a form of sensory augmentation (i.e., addition of information to an existing sensory channel). [...] We therefore suggest that, at least

3

2. ábra. Inter-kognitív infokommunikációs rendszer sematikus ábrája. Az emberi viselkedést befolyásoló akcióreakció viszonyokat a mesterséges kognitív rendszerekben egymáshoz kapcsolódó komponensek halmaza írja le, melyeket összefoglaló nevükön CogInfoCom motoroknak nevezünk. A CogInfoCom csatornák strukturált szenzoros üzenetek, melyek a kommunikáló rendszerek közötti CogInfoCom interfészen haladnak keresztül.

in multimodality systems, new nomenclature may be needed to independently specify (a) the source of the information (type of environmental sensor, or virtual model); (b) the type of human information display (visual, auditory, tactual, etc.); and finally (c) the role of the information (substitutive or augmentative), all of which may play a role in reality mediation. Fenti idézet jól kifejezi a szerzők azon véleményét, hogy célszerű lenne a szenzoros felcserélés vizsgálatait multimodális virtuális környezetekre is kiterjeszteni olyan módon, hogy az információ forrását (az információ nem feltétlenül valóságos és nem feltétlenül fizikai; lehet virtuális és/vagy absztrakt is), az információ átadására használt emberi érzékelő-rendszert (amely analóg szempont a szenzor-áthidalás és szenzor-megosztás fogalmaival), illetve az információ helyettesítő illetve kiterjesztő (augmentatív) szerepét is figyelembe vegyük. A CogInfoCom-nak mindezek alapján számos kapcsolódási pontja létezik a szenzoros felcseréléshez.

2.3.

CogInfoCom csatornákhoz hozzájáruló területek absztrakciós szintjei

A CogInfoCom csatornák szintaktikus és szemantikus leírást adnak azon üzenetekről, amelyek a CogInfoCom interfészen keresztül jutnak el a felhasználóhoz (2. ábra). Ezen célok elérését a kapcsolódó tudományterületek eltérő absztrakciós szinten fogalmazzák meg. Az alábbi felsorolás 3 szintet különböztet meg: • Szenzoros felcserélés szintje – a szenzoros felcserélés alacsonyszintű kapcsolatot hoz létre a különböző modalitások szenzoros jelei között. A terület eredményei hozzájárultak pl. a tapintás útján [3, 4, 7, 41], illetve a hallás útján történő látáshoz [2, 1, 20, 29].

4

• Multi-modális interakciók szintje – a szenzoros felcseréléshez képest a multi-modális interakciók területe magasabb szintű nézőpontot képvisel a szenzoros jelek és a szemantikai jelentés közötti kapcsolat megteremtésében. A multi-modális interakciók területének a többféle modalitás egyszerre történő felhasználásából adódóan számos egyéb jelenséget is figyelmbe kell vennie, mint pl. a multi-szenzoros integráció, modalitások közötti kölcsönhatások, illetve a szenzoros dominancia jelenségeit. A terület eredményei a CogInfoCom csatornák viszonylatában többek között hozzájárultak a látás útján történő haptikus információ-átadáshoz (pl. az ún. pseudo-haptikus módszerek [25, 24] és egyéb grafikus módszerek segítségével [21]) • Jövő Internet szintje – ha a szenzoros felcserélés alacsonyszintű nézőpontot, a multi-modális interakciók pedig magasabb szintű nézópontot képvisel, akkor a Jövő Internet tárgyalási módja – legalábbis a CogInfoCom csatornák területén – ennél is magasabb absztrakciós szintet alkalmaz. Azzal együtt, hogy a Jövő Internet alkalmazásokban is számos esetben csatorna-alapú kommunikáció történik, nem cél, hogy a különböző érzékszervi modalitások üzenetei között strukturális kapcsolat jöjjön létre, ahogy nem cél a konkrét jelentés szenzoros átadása sem. Sokkal inkább lehet cél az interfész különböző fizikai és virtuális elemeihez kapcsolódó lehetséges felhasználási módok intuitív közlése. Ilyen alkalmazásra számos példa található pl. az ún. „megfogható interfészek” (tangible interfaces) esetében [40, 16], ahol egy tárgy megjelenése egyszerre hordoz a felhasználó számára érdekes, a konkrét alkalmazással kapcsolatos információkat, illetve a fizikai eszköznek, mint beavatkozó használatára vonatkozó információkat. Fenti példákból kiviláglik, hogy annak ellenére, hogy a felsorolt területekben alkalmazott megközelítések egymástól eltérnek, mindegyik terület valamilyen szinten foglalkozik a szenzoros üzenetek szintaktikai és szemantikai jellegzetességeivel.

3.

A disszertáció motivációi és céljai

A kutatásaimat motiváló problémák, amelyekre disszertációmban megoldást kívántam adni, az alábbi pontokban foglalhatók össze: • Ikonikus és üzenetszerű szintaktikus elemek ellentéte: A korábbi kutatások során számos fontos eredmény született az ikonikus és üzenetszerű szenzoros jelek szemantikai alapú tervezési kérdéseivel kapcsolatban. Például, az audio interfészek területén számos publikáció foglalkozik az audio ikonok (auditory icons – ikonikus jelek)[11, 5, 12, 13] és fülkonok (earcons – üzenetszerű jelek) [6, 26, 28] tervezési kérdéseivel. A szakirodalom azonban ezeket a szintaktikai elemeket egymással szemben helyezi el: a szerzők általában választanak, hogy ikonokat, vagy üzeneteket használjanak. Később több szerző rámutatott, hogy ez a fajta ellentét-képzés mesterséges kényszereket hoz létre, ugyanis a tanulás módjától, a kiértékelés módjától és a felhasználók részvételi módjától függően (pl. hogy saját jelentésbeli asszociációkat hozhatnak-e létre vagy azok előre adottak) az audio ikonok és fülkonok egyaránt hatékony kommunikációs módozatok [8, 9]. E tekintetben a disszertációban célom volt, hogy olyan fogalmi keretrendszert hozzak létre, amely a csatorna-alapú kommunikáció szintaktikus és szemantikus szempontjait egységes szemléletben képes kezelni.

5

• Szenzoros modalitások definiálása és felhasználása közötti különbségek: Az érzékszervi modalitások definíciója tudományterületenként eltérő, és gyakran egyazon tudományterületen belül is többféle megközelítés létezik. Például a multi-modális interakciók esetében egyes szerzők az információ érzékelésére használt érzékszervet tekintik a modalitás meghatározójának; míg más szerzők az információ közlésére használt (mesterséges) eszközt veszik alapul a modalitás meghatározásához (ld. [18]). Egy harmadik nézőpont szerint fontos azt is figyelembe venni (akár egyazon ‘érzékszervi modalitáson’ belül is), hogy a kommunikáció „nyelvezete” milyen, vagyis hogy az üzenetek kódolása hogyan történik [42]. A modalitások fogalomrendszerének egységesítését tovább nehezíti, hogy mérnöki rendszerek interfészeinek tervezésekor a kutatók és fejlesztők általában modalitástól függően eltérő tervezési módszereket alkalmaznak. E tekintetben a disszertációban célom volt, hogy a CogInfoCom kihívásainak megfelelő módon definiáljam az érzékszervi modalitások fogalmát, és hogy csatorna-alapú CogInfoCom rendszerek tervezésére olyan eljárást adjak, amely egységes módon képes kezelni a modalitás fogalma mögött rejlő különböző értelmezéseket. • Szisztematikus és újra-hasznosítható tervezési módszerek hiánya: A mérnökök azzal kénytelenek szembesülni, hogy jelenleg nem létezik olyan multi-modális interfészek tervezését lehetővé tevő eljárás, amely kellően általános a lehetséges felhasználási területek meghatározását illetően, de egyben kellően formális is ahhoz, hogy parametrikus leírást tegyen lehetővé. Az audio interfészekkel fogalkozó tudományterületen belül pl. két publikáció is beszámol arról, hogy a tervezők gyakran „ad hoc” módszereket alkalmaznak, amelyek „kézi tervezésű, prototipizált” és elméleti szempontból „nem kellően alátámasztott” megoldásokat eredményeznek [27, 10]. E tekintetben a disszertációban célom volt, hogy olyan tervezési eljárást adjak CogInfoCom csatornák létrehozására, amely formális alapokon nyugvó, szisztematikus és újrahasznosítható tervezést támogat, és lehetővé teszi a versengő megoldások összehasonlítását. A disszertáció célkitűzései az alábbi pontokban foglalhatók össze: • Célom volt, hogy a CogInfoCom csatornáknak olyan definíciót adjak, amely a CogInfoCom kialakulásához és fejlődéséhez hozzájáruló tudományterületek egymással részben átfedésben, és részben ellentmondásban levő szempontjait egyesíti. Ennek eléréséhez volt szükséges, hogy tisztázzam az ikonikus és üzenetszerű szenzoros jelek kapcsolatát, megvizsgáljam azok mérnöki tervezésben történő egységes kezelésének lehetőségeit, és szemantikus jelentéssel való kapcsolatukat. • Célom volt, hogy CogInfoCom csatornák szisztematikus és újrahasznosítható tervezését lehetővé tevő elméleti háttéret dolgozzak ki. Ennek eléréséhez volt szükséges, hogy a CogInfoCom csatornáknak formális reprezentációt adjak, amely lehetőséget teremt a területettel foglalkozó kutatók számára, hogy eredményeiket egymással megosszák, és tervezési döntéseiket formálisan is alá tudják támasztani. • Célom volt, hogy megvizsgáljam azt a kérdést, hogy érdemes-e CogInfoCom rendszerekben a felhasználók számára lehetővé tenni, hogy a CogInfoCom csatornákat hangolhassák. Amennyiben például a felhasználók kognitív képességei között eltérések vannak, vagy sok, kvalitatív szempontból eltérő alkalmazási környezetben szeretnénk egyazon CogInfoCom csatornákat alkalmazni, célszerű lehet a felhasználói hangolhatóságot lehetővé tenni. Ennek eléréséhez volt

6

szükséges, hogy olyan hangolási modellt adjak, amely egyrészt a felhasználók számára átlátható, másrészt komplexitásában a CogInfoCom csatorna használati céljainak megfelelő. • Célom volt, hogy a disszertációban kidolgozott elméleti háttérre támaszkodva, validációs alkalmazásként megtervezzek és megvalósítsak az augmentált/virtuális környezetekben használható, távoli tapintást lehetővé tevő audio-alapú CogInfoCom csatornát.

4.

Alkalmazott módszertanok

A CogInfoCom meglehetősen új tématerület, a korábbiakban bemutatottak szerint azonban számos hozzá kapcsolódó kutatási terület létezik, amelyek módszertanai különböző mértékben a CogInfoCom csatornák tervezésében is segítséget nyújthatnak. A disszertációban az alábbi formális módszereket és eljárásokat használtam fel: • A CogInfoCom csatornák formális leírását a magasabbrendű lineáris algebra fogalmainak segítségével (pl. tenzorok, illetve magasabbrendű szinguláris érték felbontás segítségével) adtam meg. • A CogInfoCom csatornák és fogalmi koncepciók közötti leképezéseket egy, a formális koncepció analízisre épülő formális ontológiai leírónyelven, az Object-Attribute-Relation (OAR) modell segítségével fogalmaztam meg. • A felhasználói hangolást lehetővé tevő interpretálható hangolási modellt – a Spiral Discovery Method (SDM) eljárást – magasabbrendű lineáris algebrai fogalmak (mint pl. magasabbrendű ortogonális iteráció) és a magasabbrendű szinguláris érték felbontás tenzor-szorzat (TP) függvényekre vonatkozó általánosított változatának felhasználásával fogalmaztam meg. • A disszertációban megtervezett audio-tapintási szenzor-áthidaló alkalmazást az ergonómiában használatos usability tesztek segítségével validáltam.

5.

Kutatási eredmények és tézisek összefoglalása

A disszertációban olyan keretrendszerre tettem javaslatot, amely definiálja a CogInfoCom csatornák fogalmát, és lehetővé teszi azok formális tervezését és megvalósítását. Ebben a fejezetben röviden összefoglalom a disszertációban foglalt kutatási eredményeimet, és leírom az eredmények alapján megfogalmazott 4 tézist.

5.1.

1. és 2. Tézis

Az első két tézis eredményei egymással szorosan összefüggnek, ezért az ide vonatkozó eredményeket egy alfejezetben foglalom össze.

7

message-like entities

CONCEPTS

MESSAGES

COMPOUND ICONS

ICONS

iconic entities

CogInfoCom message generated concepts

3. ábra. A disszertációban javasolt fogalmi keretrendszer négy szintje alulról (bal oldal) felfelé (jobb oldal) egységesíti az ikonikus és üzenetszerű kommunikációs elemeket.

5.1.1.

Eredmények összefoglalása

Az első két tézis az alábbi eredményeket fogljalja össze: 1. A létrehozott keretrendszer formális definíciót ad a CogInfoCom csatornákra, amelyek egyazon CogInfoCom üzenet által generált koncepció különböző attribútum-értékei szerint sorrendezett CogInfoCom üzenetekből álló rendezett halmazok. A CogInfoCom csatornák fogalmát az alábbi tulajdonságok jellemzik: • Modalitástól függetlenül egységes reprezentációs keretbe helyezi a CogInfoCom ikonokat és üzeneteket, ami magasszinten egységes tárgyalási módot tesz lehetővé az ikonikus és üzenetszerű reprezentációk használatakor (3. ábra). • Egyetlen formális egységbe (a csatornába) foglalja az adott magasszintű koncepció közlésére felhasználható összes CogInfoCom üzenetet. A formális reprezentáció kapcsolatot teremt a csatornát jellemző perceptuális paraméterek (p perceptuális vektor) és az azok generálását leíró paraméterek (f generáló vektor) között. A két vektor közötti kapcsolatot egy részlegesen rendezett N -változós F vektorfüggvény írja le („a paraméter-generáló függvény”), amely egyedi módon reprezentálható egy (N + 1)-dimenziós F tenzorral: D(G)

Fp1 ,..,pN ,i = (F (gp1 ,p2 ,...,pN )) (i), ∀i = 1..H

(1)

ahol (F (gp1 ,p2 ,...,pN )) (i) az F függvénynek, a G diszkretizációs háló gp1 ,p2 ,..pN diszkretizációs pontjában számított kimeneteként kapott H-dimenziós generáló vektor i. eleme, és ahol az F függvény kimeneteiként kapott vektorok az F tenzor (N + 1). dimenziójában helyezkednek el. A tenzor mindegyik dimenzióját a G háló megfelelő dimenziójában meghatározott eleme indexálja, kivéve az utolsó dimenziót, amelyet a generáló vektor adott paraméterének pozíciója indexálja (4. ábra). • Formális reprezentációja kanonikus formába transzformálható a lineáris algebrában használt magasabb-rendű szinguláris érték felbontás (HOSVD) segítségével: N +1

F D(G) = S ⊠ Xn n=1

ahol ⊠ a [23] hivatkozásban definiált tenzor-szorzat operátor, és ahol:

8

(2)

4. ábra. CogInfoCom csatorna CogInfoCom üzenetének felépítése a perceptuális vektor és generáló vektor alapján. A CogInfoCom ikon réteg generáló és orchesztráló paraméterek alapján számítja az adott CogInfoCom ikon strukturális és temporális szerkezetét (synth a felhasznált szintézis-eljárást jelöli). A CogInfoCom üzenetek ikonok időbeli sorozatából jönnek létre. (n)

(n)

(a) Xn = (x1 , ..., xIn ), n = 1..N (Pn × In )-méretű ortonormált mátrix (N +1)

(b) XN +1 = (x1

(N +1)

, ..., xIN +1 ) (H × IN +1 )-méretű ortonormált mátrix

(c) S valós elemekből álló I1 × ... × IN × IN +1 -méretű tenzor, melynek Sin =α altenzorait az alábbi tulajdonságok jellemzik: – teljes ortogonalitás: S mindegyik altenzor-párja ortogonális, vagyis n, α és β minden értékére (ahol α ̸= β) fennáll, hogy: < Sin = α, Sin = β >= 0

(3)

– rendezettség: S bármely adott, n dimenziója mentén vett altenzorai azok Frobenius normája szerint sorrendezettek, vagyis ∀n = 1..N + 1: ||Sin =1 || ≥ ||Sin =2 || ≥ ... ≥ ||Sin =In || ≥ 0

(4)

Minden tudományterületen fontos követelmény, hogy a kutatóknak lehetőségük legyen eredményeiket egymással megosztani. Ebből a szempontból a létrehozott kanonikus reprezentáció következő tulajdonságai emelhetők ki: – Sztenderd reprezentációt jelenthet CogInfoCom csatornák leírására. – Explicit módon kiemeli a magasabb-rendű lineáris algebra rangfogalmát, amely a csatorna összetettségével áll összefüggésben. – Explicit módon leírja, hogy a perceptuális paraméterek alapján hogyan generálható a csatorna, ami segítheti a kísérletek reprodukálhatóságát. Fenti pontok azt mutatják, hogy a javasolt keretrendszer elősegíti a szisztematikus és újrahasznosítható tervezést.

9

• Olyan műveleteket tesz végrehajthatóvá, amelyek adott CogInfoCom csatorna adott üzenetének lokális módosítását teszik lehetővé. Ezen műveletek numerikus alapját a CogInfoCom csatornák reprezentációjára alkalmazott HOSVD művelet jelenti:

F D(G) (gp1 ,...,pN ) =

( ) N +1 N +1 S ⊠ Xn (gp1 ,...,pN ) = S ⊠ xn,pn ×k xk,pk n=1

n=1, n̸=k

(5)

ahol az Xk mátrix pk -adik sorát xk,pk jelöli. Látható, hogy amennyiben egyedül az xk,pk sorvektor értékei módosulnak, a paraméter-generáló függvénynek csak azon kimeneti értékei módosulnak, amelyek a G diszkretizációs háló k-adik dimenziójának pk -adik diszkretizációs pontjához tartoznak. Ezért lokális hangoláskor a xk,pk vektor elemei hangolási súlyoknak nevezhetők. 2. A javasolt keretrendszer magába foglalja a CogInfoCom csatornák koncepció algebra alapú hátterét, és többféle konceptuális leképezést definiál a csatornák és koncepciók közötti kapcsolat megteremtéséhez. • A CogInfoCom csatornák koncepció algebra alapú háttere az Object-Attribute-Relation (OAR) modellre épül. A disszertáció a modell alábbi fogalmait használja fel: – formális kontextus: objektumokat, attribútumokat és a közöttük levő kapcsolatokat tartalmazó hármas – formális kontextusok absztrakt koncepciói: objektumokat, attribútumokat, és a közöttük levő háromféle kapcsolatot leíró ötös – intenziók : absztrakt koncepció objektumaihoz tartozó attribútum-halmazok metszete – instant (eseti) attribútumok : absztrakt koncepció objektumaihoz tartozó attribútumhalmazok úniója A disszertációban ezen fogalmakat a CogInfoCom céljainak megfelelően az alábbi definíciókkal egészítettem ki: – Szenzoros modalitás CogInfoCom üzenetei által generált koncepciók : olyan formális koncepciók, melyek objektumai szenzoros érzetek, és amelyek intenziójában egyetlen attribútum szerepel: { } Cmg (x) = c fctx (c) = (fperc (x), A, R), ∃!a : a ∈ c∗ (c) (6) ahol fctx (c) c koncepció kontextusát adja vissza, és fperc (x) az x szenzoros modalitásban érzékelhető CogInfoCom ikonoknak és üzeneteknek (érzeteknek) az összessége. – CogInfoCom üzenetek CogInfoCom üzenetek által generált koncepciókra vonatkoztatott kiértékelő függvényei : olyan függvények, melyek kimenete adott koncepció adott üzenetre vonatkoztatott relevanciáját tükrözik: feval : fperc (x) × Cmg (x) → [0, 1]

(7)

– CogInfoCom üzenet által generált koncepció interaktív koncepciói: olyan koncepcióhalmazok, melyek rendelkeznek olyan attribútummal, amely attribútum értéke az interakció során a CogInfoCom üzenet által generált koncepció kiértékelő függvényével arányosan változik meg:

10

Ciact (cmg (x)) =

  

 c = (O, A, Rc , Ri , Ro ), ∀p ∈ fperc (x)  c ∃a ∈ A :

∆a a

∝ feval (p, cmg )



(8)

• A disszertációban a CogInfoCom üzenetek által generált koncepciók és CogInfoCom csatornák közötti szemantikus leképezéseknek az alábbi formáit definiáltam: – direkt leképezés: a CogInfoCom üzenetek által generált koncepciók direkt reprezentációi jelennek meg a helyettesítő modalitás CogInfoCom csatornáján. ∗ Alacsonyszintű direkt leképezés esetén a CogInfoCom üzenet által generált koncepció intenziójában szereplő attribútum értékével arányosan módosulnak a helyettesítő CogInfoCom üzenetek perceptuális paraméterei: ∆a(cpt1 ) = c ⇒ ∆feval (msg, cpt2 ) = γc

(9)

ahol a(cpt1 ) az átadott CogInfoCom koncepció (cpt1 ) intenziójának attribútuma, msg a helyettesített CogInfoCom üzenet, c konstans, és γ skálázási együttható. ∗ Magasszintű direkt leképezés esetén a helyettesített CogInfoCom üzenet olyan koncepciót generál, amelynek generálására a helyettesítő CogInfoCom üzenet is képes. A magasszintű direkt leképezés akkor lehetséges, ha a helyettesítő CogInfoCom üzenetek által generált koncepció instant attribútumai között létezik olyan attribútum, amely megegyezik a helyettesített CogInfoCom koncepció intenziójával: ∃a ∈ c∗1 : a ∈ A∗2

(10)

– analógia-alapú leképezés: a CogInfoCom üzenetek által generált koncepciók és CogInfoCom csatornák közötti asszociációk analógia útján jönnek létre. ∗ Strukturális leképezés esetén a helyettesített CogInfoCom üzenet struktúrája (dimenzionalitása, sebessége és felbontása) jelenik meg a helyettesítő üzenetek hasonló tulajdonságaiban. ∗ Korroboratív stimuláció esetén a megfelelő asszociációk a helyettesített és helyettesítő CogInfoCom üzenetek egyszerre történő előfordulása révén jönnek létre. ∗ Szcenárió-alapú leképezés esetén a CogInfoCom üzenetek belső struktúrája egy fizikai interakció struktúrájával egyezik meg. Szcenárió-alapú leképezés megvalósulhat úgy is hogy a felhasználó fizikai interakciók során felfedez egy virtuális modellt (ilyen pl. a modell-alapú szonifikáció [14]), és úgy is hogy már létező vagy elképzelt fizikai szcenáriókat képezünk le virtuális szcenáriókra (ilyenkor a felhasználó a fizikai világban megtapasztalt struktúrában és sorrendben találkozik a CogInfoCom ikonokkal és üzenetekkel – ilyenre példa a szcenárió-alapú orchesztráció [RB-1]). A második esetben (amikor fizikai interakció alapján jön létre a virtuális szcenárió), a leképezés a disszertációban bevezetett interaktív koncepciók fogalmával modellezhető. Amikor nincs lehetőség direkt leképezés megteremtésére adott koncepció és CogInfoCom csatorna között, az interaktív koncepció attribútumának CogInfoCom üzenetre történő átültetésével sok esetben létrehozható a megfelelő kapcsolat:

11

speed dimensionality

resolution

structural mapping

scenario based mapping

5. ábra. CogInfoCom csatornák struktúrája egyetlen szenzoros modalitás esetén.

∆a(ciact (cmsg1 )) = c ⇒ ∆feval (msg2 , cpt) = γc

(11)

ahol a(ciact (cmsg1 )) az átadni kívánt cmsg1 koncepció Ciact interaktív koncepciójának attribútuma, msg1 a helyettesített CogInfoCom üzenet, msg2 a helyettesítő CogInfoCom üzenet, c konstans, γ pedig skálázási tényező. Az 5. ábrán a különböző leképezési módszereket bemutató sematikus ábra látható. A koncepció algebra alapú leírás a további kutatások során lehetővé teheti a CogInfoCom csatornák és koncepciók közötti leképezések félig, vagy teljesen automatizált megvalósítását. 5.1.2.

1. Tézis

Fogalmi keretrendszert és ahhoz illeszkedő terminológiai hátteret javasoltam CogInfoCom csatornák leírására abból a célból, hogy lehetővé váljon a CogInfoCom csatornák egységes megközelítésben történő tervezése, értelmezése és vizsgálata. A javasolt fogalmi keretrendszerhez 4-rétegű, hierarchikus struktúrát adtam, amely a CogInfoCom ikonokat, CogInfoCom üzeneteket, illetve CogInfoCom üzenetek által generált koncepciókat tartalmazó, valamint CogInfoCom koncepciókat leképező rétegekből áll. Megmutattam, hogy a javasolt struktúra elfedi az interfész-tervzésben használatos ikonikus és üzenetszerű kommunikáció közötti kettősséget. Az ikonikus és üzenetszerű kommunikáció, valamint a generált koncepciók figyelembe vételével a CogInfoCom csatornák fogalma a CogInfoCom-hoz kapcsolódó területeken belüli – korábban eltérő értelmezéseknek teret adó – fogalmakat egységes szemléletben írja le. 1.1. Altézis. Az ikonikus és üzenetszerű kommunikáció közötti kettősség leírására definiáltam a CogInfoCom ikonok és üzenetek fogalmát. Megmutattam, hogy a multi-modális érzetek általában véve

12

ezen kétfajta kommunikációs típus egyikébe sorolhatóak. A két kommunikációs típus egységbe rendezése érdekében hierarchikus leírásmódot javasoltam, amely szerint a CogInfoCom üzenetek nagyobb felbontási szinten CogInfoCom ikonokból állnak. Megmutattam, hogy ez a szemléletmód nem jelent tervezésbeli megkötést, és összhangba hozható a korábbi interfész-tervezési gyakorlattal, amennyiben a CogInfoCom ikonokat nem tartalmazó CogInfoCom üzeneteket degeneratív esetként tekintjük. A javasolt fogalmi keretrendszer egyedülálló abból a szempontból, hogy lehetővé teszi az ikonikus és üzenetszerű kommunikáció egységes, modalitástól független kezelését.

1.2. Altézis. Definiáltam a CogInfoCom üzenetek által generált koncepciók (CogInfoCom koncepciók) fogalmát azzal a céllal, hogy rávilágítsak, hogy a szemantikus értelmezés kérdése nem független az érzékszervi modalitástól. Megmutattam, hogy általános esetben többek között az audio ikonok és fülkonok, haptikus ikonok és haptikonok, olfaktorikus ikonok és szagkonok eltérő CogInfoCom koncepciók generálására képesek. A CogInfoCom koncepciókat formálisan is definiáltam az ObjektumAttribútum-Reláció (OAR) ontológiai modell segítségével.

1.3. Altézis. A CogInfoCom csatornák fogalmát úgy definiáltam, mint CogInfoCom üzeneteket tartalmazó rendezett halmazokat, amelyekben a CogInfoCom üzenetek adott CogInfoCom koncepcióra vonatkoztatott attribútum-értékeknek megfelelő sorrendben szerepelnek. A CogInfoCom csatornák fogalma magába foglalja az üzenetek érzékelésének modalitását, és a csatornát generáló paraméterek típusát is, ezért modalitásra nézve transzparens módon összhangot teremt a modalitás-fogalom felhasználó-centrikus, rendszer-centrikus és kódolás-centrikus értelmezése között.

1.4. Altézis. Definiáltam a CogInfoCom koncepciókat leképező réteget, amely réteg a CogInfoCom üzenetek által generált koncepciókat tartalmazó réteg felett helyezkedik el, és asszociációkat hoz létre különböző érzékszervi modalitások CogInfoCom üzenetei által generált koncepciók között. Bevezettem a CogInfoCom csatornák közötti leképezések fogalmát, amely fontos meghatározója a különböző érzékszervi modalitások közötti kognitív asszociációk létrejöttének. Kapcsolódó publikációk: [RJ-4, RC-7, RC-11]

5.1.3.

2. Tézis

Definiáltam a CogInfoCom csatornák tenzor algebra alapú kanonikus reprezentációját. A reprezentáció magába foglalja a CogInfoCom üzeneteket jellemző perceptuális paramétereket, a CogInfoCom üzenetek generálására használt generáló paramétereket, valamint a perceptuális és generáló paraméterek közötti kapcsolatot leíró paraméter-generáló függvényt is. Többféle direkt és analógia-alapú leképezést javasoltam adott CogInfoCom csatorna üzenetei és más CogInfoCom csatornák által tartalmazott üzenetek közötti asszociációk létrehozásához.

2.1. Altézis. Tenzor algebra alapú kanonikus reprezentációt javasoltam CogInfoCom csatornák leírására, amely magába foglalja a CogInfoCom üzeneteket generáló és percepciójukat leíró paramétereket, valamint azt a diszkretizált, részlegesen rendezett többváltozós paraméter-generáló függvényt, amely a kétféle paraméter-típus közötti kapcsolatot határozza meg. Bebizonyítottam, hogy a reprezen-

13

táció a magasabbrendű lineáris algebrában használt rangfogalom segítségével lehetővé teszi különböző CogInfoCom csatornák perceptuális komplexitásának összehasonlítását.

2.2. Altézis. Definiáltam az alacsony- és magasszintű direkt leképező módszereket, illetve az analógiaalapú leképező módszereken belül a strukturális leképezés, korroboratív stimuláció és szcenárió-alapú leképező módszereket. A leképező módszereket az Objektum-Attribútum-Reláció (OAR) ontológiai modell segítségével formálisan is definiáltam. A formális definíciók megadásával referencia-keretet adtam a direkt és analógia-alapú leképező módszerek alkalmazhatóságának bizonyításához. Kapcsolódó publikációk: [RJ-4, RB-1, RC-7, RC-11, RC-12]

5.2.

3. Tézis

5.2.1.

Eredmények összefoglalása

A disszertációban megvizsgáltam a CogInfoCom csatornák felhasználók általi hangolhatóságának kérdéskörét. E tekintetben arra a következtetésre jutottam, hogy a felhasználók általi hangolhatóság a különböző felhasználók kognitív képességei közötti eltérések, a CogInfoCom csatornák alkalmazási területei közötti eltérések, és végül a CogInfoCom csatornák generáló paramétereinek általában magas dimenzionalitása miatt fontos. Abból a célból, hogy a felhasználók minél kisebb számú, ugyanakkor intuitív paraméterekkel hangolhassák a CogInfoCom csatornákat, és közben a generáló paraméterteret minél nagyobb komplexitásában bejárhassák, megalkottam a Spiral Discovery Method (SDM) eljárást. Az SDM eljárás az alábbi lépéseket hajtja végre: 1. Ha az általánosság korlátozása nélkül feltesszük, hogy a felhasználó a k-adik perceptuális dimenzióban szeretné a CogInfoCom csatornát hangolni (ahogy az 5. képletben), az első lépés a k-adik dimenzió rangjának Ik -ról 1-re való csökkentése. A rangcsökkentés a magasabbrendű ortogonális iteráció (HOOI) segítségével elvégezhető (ez a módszer egy bizonyítottan optimális rang-csökkentést eredményező numerikus eljárás [17]). A HOOI az alábbi kifejezést optimalizálja: argmin (F D(G) − Fˆ D(G) ) ˆ X ˆ n }N +1 S,{ n=1

(12)

ahol N +1

ˆn Fˆ D(G) = Sˆ ⊠ X n=1

(13)

olyan módon, hogy Iˆk = 1, Iˆn = In , ∀n ̸= k, és Iˆk az új rendszer k-adik dimenzió szerinti rangja. 2. Az approximáció számítását követően az SDM célja, hogy a fennmaradó egyetlen hangolási súly ˆ n, n = által irányítható vektortér dimenzionalitását növelje. Ennek eléréséhez a módszer a X ˆ 1..(N + 1) súlymátrixokat, és a S magtenzort is olyan módon bővíti, hogy az eredményül ka˜ n súlymátrixok és S˜ magtenzor képesek legyenek az eredeti paraméter-generáló függvény pott X rekonstruálására:

14

p2 p1

p3

perceptual tolerance

6. ábra. A sematikus ábra az SDM lényeges tulajdonságait mutatja be. Az eredeti paraméterek használata helyett – melyet az ábra a p1 , p2 és p3 dimenziókkal jelöl (fontos megjegyezni, hogy a generáló paraméterek száma általános esetben sokkal nagyobb is lehet, mint 3) – a generáló paramétertér szisztematikusan mindig bejárható egy hiperspirál parametrikus meghatározásával. Ezen paraméterek a felhasználó számára transzparens módon beállításra kerülhetnek (például a hiperspirál terjedési irányát meghatározhatja a felhasználó által már korábban beállított „kontroll pontok” főkomponensének iránya; az r, d és α paraméterek beállítása pedig történhet olyan módon, hogy a keresési térnek az alkalmazás követelményei szerinti jelentős része bejárásra kerüljön). A felhasználó számára az SDM eljárás mindössze 2 paramétert tesz elérhetővé: egy „távolság” paramétert (az ábrán látható s paramétert), amely a hiperspirálon megtett diszkrét lépések számát határozza meg, illetve egy „sebesség” paramétert (az ábrán látható v paramétert), amely az egyes lépések méretét határozza meg. Az SDM működési elve mögött az a felismerés áll, hogy a felhasználó perceptuális toleranciája miatt gyakorlati esetekben nem szükséges a paramétertér teljes bejárása; ehelyett elegendő annak egy strukturált alterét megismerni.

N +1

˜n F D(G) = S˜ ⊠ X

(14)

n=1

˜ n , n = 1..(N + 1) súlymátrix rangja Pn (ez a szám megegyezik az adott ahol mindegyik X dimenzióban szereplő diszkretizációs pontok számával, ami egyenértékű azzal a megállapítással, hogy az n-edik mátrixnak legalább Pn oszlopa van), és ahol S˜ magtenzor dimenzióinak bővítése a súlymátrixok bővítésének megfelelően történik. Ezt a lépést követően a felhasználó továbbra ˜ k mátrix első oszlopában is csak egyetlen hangolási súlyt használ fel (ez a súly mindig a X található meg), azonban a tenzor-struktúra által bejárható tér dimenzionalitása újra RH (az eredeti függvény ezért a S˜ tenzor értékeinek megfelelő megválasztásával mindig rekonstruálható). ˜ k első oszlopának értékeit módosítja, a magtenzor kibővített részében 3. Miközben a felhasználó a X elhelyezkedő egyes elemek szisztematikus és periodikus változtatásával lehetővé válik, hogy a keresés egy olyan V ⊆ RH alterét járja be az eredeti generáló paramétertérnek, amely altér szintén H-dimenziós. Az SDM működésére a 7. ábra mutat példát. Az SDM eljárást az alábbi tulajdonságok jellemzik: • Általános abban az értelemben, hogy bármilyen érzékszervi modalitásra tervezett interfész, és bármilyen parametrikus CogInfoCom csatorna esetén alkalmazható (a szakirodalomban léteznek

15

=

7. ábra. Az ábrán példa látható a javasolt kibővítési módszerre abban az esetben, ha k = 1 és N = 2. A világos (sárga) elemek meghatározott értékűek, míg a sötét (zöld és barna) árnyalatok a rangcsökkentés kompenzálásáért, illetve a bejárás hiperegyenese meredekségének irányításáért felelős, változó értékű paraméterek. más módszerek, amelyek például audio interfészek hangolását teszik lehetővé, azonban ezek a módszerek nem általánosak olyan értelemben, mint az SDM eljárás). • A pontosság csökkentése mellett lehetővé teszi a generáló paramétertér szisztematikus bejárását. Az agy plaszticitásának köszönhetően a pontosság csökkentése a gyakorlatban nem jelent nagy megkötést, amennyiben pl. a CogInfoCom csatorna szuboptimális paraméterek esetén is használható (ld. 6. ábra). Általános esetben, az SDM-hez hasonlítható módszer nélkül a felhasználók számára túlságosan nehéz feladatot jelentene a sok paraméterrel rendelkező, erősen nemlineáris modellek hangolása. Az SDM eljárás előnye, hogy lehetővé teszi a felhasználó számára, hogy használható egyensúlyt találjon az eredeti paramétertér komplexitása és a rangcsökkentett tér interpretálhatósága között. A fenti műveletek közötti tetszőleges sorrendben történő iteratív kereséssel a felhasználó hangolást végezhet egyrészt az eredeti paramétertérben, egy rangcsökkentett paramétertérben, illetve egy olyan rancsökkentett paramétertérben, melynek főkomponensei szisztematikusan változnak2 . Az emberi percepció toleranciája megengedi a bizonyos szempontból „szuboptimális” paraméterértékek használatát, ezért az SDM eljárás hatékony eszközt jelenthet a CogInfoCom csatornák hangolásakor. A disszertáció utolsó, validációs részében az SDM alkalmazhatóságát külön felhasználói teszt során validáltam. A teszt során a feladat 24 generáló paraméterből álló, 20 fokozatú absztrakt dimenzió létrehozása és megtanulása volt. A feladat végrehajtásakor az absztrakt dimenzió megválasztásának szabadságából adódóan az egyes felhasználók lényegesen eltérő CogInfoCom üzenet-típusokat hoztak létre. Az eredmények megmutatták, hogy a felhasználók jelentős része képes volt CogInfoCom 2 Fontos megjegyezni, hogy az SDM módszer abból a szempontból beleillik a Takagi által javasolt Interaktív Evolúciós Számítások paradigmájába [36], hogy a keresési folyamatot a felhasználó szubjektív kiértékelései irányítják.

16

csatornát önállóan létrehozni és behangolni úgy, hogy a későbbi tesztek során elfogadható mértékű pontossággal felismerték a behangolt CogInfoCom üzeneteket.

5.2.2.

3. Tézis

Megmutattam, hogy a CogInfoCom csatornák felhasználók általi hangolhatóságának megteremtése a különböző felhasználók kognitív képességei közötti eltérések, a CogInfoCom csatornák alkalmazási területei közötti eltérések, és végül a CogInfoCom csatornák generáló paramétereinek magas dimenzionalitása miatt fontos. Bebizonyítottam, hogy a CogInfoCom csatornák tenzor algebra alapú kanonikus reprezentációja generikus hangolási modellként értelmezhető, ha a súlyfüggvényeket hangolási paraméterként használjuk. Megmutattam, hogy míg a generikus hangolási modell matematikai értelemben minimális struktúrában működik, addig annak hangolási modellként történő alkalmazása általános esetben komplexitásbeli korlátokba ütközik. Ennek a nehézségnek a kiküszöböléséhez létrehoztam a Spiral Discovery Method (SDM) eljárást, amely a hangolandó paramétertér dimenzionalitásától függetlenül két paraméterre redukálja a felhasználó által elérhető hangolási paramétereket (a két paraméter egy hiper-spirál mentén történő elmozdulást, illetve az elmozdulás egységének nagyságát határozza meg). Megmutattam, hogy az SDM eljárás numerikus megvalósítása hatékony egyensúlyt teremt a magas komplexitás és interpretálhatóság közötti ellentmondásos követelmények között.

3.1. altézis. Bevezettem a felhasználó általi hangolhatóság problémáját a CogInfoCom csatornák esetére. A különböző felhasználók kognitív képességei közötti eltérésekre, a CogInfoCom csatornák alkalmazási területei közötti eltérésekre, és végül a CogInfoCom csatornák generáló paramétereinek magas dimenzionalitására hivatkozva amellett érveltem, hogy a felhasználók által irányított hangolhatóság fontos tulajdonsága lesz a jövőbeni CogInfoCom rendszerek széles osztályának. Fentiek alapján javaslatot tettem a CogInfoCom csatornák tenzor algebra alapú, ortonormált, kanonikus reprezentációjára épülő generikus hangolási modellre. Bebizonyítottam, hogy a hangolási modell minimális reprezentációt ad a csatornában levő CogInfoCom üzenetek lokális hangolására.

3.2. altézis. Megmutattam, hogy a hangolandó generáló paramétertér dimenzionalitása általános esetben nagy, és struktúráját erős nemlinearitások jellemzik. Ezen probléma feloldása érdekében, a HOSVD-alapú generikus hangolási modell matematikai struktúrájára építve létrehoztam a Spiral Discovery Method (SDM) eljárást. Bebizonyítottam, hogy az SDM eljárás szisztematikus kapcsolatot teremt a generáló paraméterek teljes tere és két karakterisztikus kontroll paraméter között. Geometriai értelmezést adtam az SDM eljárásra, és bebizonyítottam, hogy a két karakterisztikus paraméter hiper-spirális bejárását teszi lehetővé a generáló paraméterek terének. Empirikus felhasználói tesztek útján ellenőriztem, hogy az SDM által nyújtott hangolási struktúra komplexitásában és interpretálhatóság szempontjából, sokdimenziós és erősen nemlineáris generáló paramétertér használata esetén is hatékonyan alkalmazható. Ellenőriztem, hogy a felhasználók önállóan is képesek az SDM eljárással történő hangolás esetén a két paraméter intuitív használatára. Kapcsolódó publikációk: [RJ-2, RC-7, RC-12, RC-13]

17

5.3. 5.3.1.

4. Tézis Eredmények összefoglalása

A disszertáció utolsó részében kontrollált kísérletek útján validáltam a CogInfoCom csatornák tervezésére javasolt keretrendszert. A validációs kísérletek számos nyílt és ipari sztenderdre épülő hardverés szoftver-komponensre épültek, amelyek CogInfoCom alkalmazások rugalmas konfigurálását teszik lehetővé. A felhasznált komponensek a BME TMIT tanszék és az MTA SZTAKI közös laboratóriumában, a 3D Internet alapú kontroll és kommunikáció laboratóriumban [37] rendelkezésre állnak. A disszertációban az alábbi gyakorlati megvalósításokról számoltam be: • Megterveztem és megvalósítottam egy audio-alapú CogInfoCom csatornákra épülő alkalmazást, melynek segítségével a felhasználók 4 tapintási dimenzióról (puhaság, érdesség, tapadósság és hőmérséklet) kaphatnak valós-idejű információt. Az alkalmazás fő motivációja, hogy a felhasználók immerzív virtuális terekben alacsony költségű audio-eszközök felhasználásával információhoz juthassanak arról, hogy adott felület megérintésekor milyen tapintásérzetek jönnek létre. Az alkalmazás segítségével elkerülhető, hogy összetett, magas költségű taktilis visszacsatolóeszközöket kelljen használni. • Kontrollált felhasználói teszteket végeztem, amelyek során megmutattam, hogy a felhasználók a 4, egyenként 10-fokozatú tapintási dimenzióban általában véve elfogadható mértékű pontossággal képesek voltak a CogInfoCom üzenetek megkülönböztetésére. A felhasználók teljesítménye közötti eltérések azonban egyúttal a felhasználók által irányított hangolás szükségességét is megmutatták. 5.3.2.

4. Tézis

Megoldást javasoltam a távoli tapintás-érzékelés problémájára. A problémát az inter-kognitív audiotapintási szenzor-áthidalást végző CogInfoCom csatornák nyelvén fogalmaztam meg. A tapintásérzékelést a puhaság, érdesség, tapadósság és hőmérséklet perceptuális dimenzióin keresztül modelleztem. Magasszintű direkt leképezéseket és szcenárió-alapú analógiás leképezést használtam a 4 perceptuális dimenzió 10 fokozatának leírását lehetővé tevő fülkonok tervezésére. A szenzor-áthidaló alkalmazást empirikus felhasználói tesztek segítségével validáltam. 4.1. altézis. Megoldást javasoltam a távoli tapintás-érzékelés problémájára. A problémát a puhaság, érdesség, tapadósság és hőmérséklet perceptuális dimenzióin keresztül modelleztem. Magasszintű direkt leképezéseket és szcenárió-alapú analógiás leképezést használtam a 4 perceptuális dimenzió 10 fokozatának leírásához használható fülkonok tervezésére. A megtervezett fülkonokat analitikus, zárt formában adtam meg. A generáló paraméterek terének és a konkrét generáló paraméterek struktúrája alapján a megtervezett CogInfoCom csatornát tenzor algebra alapú kanonikus formájában adtam meg. 4.2. altézis. A megtervezett és megvalósított audio-tapintási szenzor-áthidaló alkalmazás hatékonyságát 10 kísérleti alany részvételével, empirikus felhasználói teszteken keresztül validáltam. Az eredmények megmutatták, hogy míg a felhasználók teljesítménye között léteztek eltérések, több felhasználó megértette és sikeresen megtanulta az audio-alapú CogInfoCom csatornák és a tapintási puhaság,

18

érdesség, tapadósság és hőmérséklet koncepciói közötti leképezéseket. Az eredményeken keresztül igazoltam mind a javasolt megoldás használhatóságát, mind a CogInfoCom csatornák felhasználói hangolhatóságának szükségességét. Kapcsolódó publikációk: [RB-1, RC-17]

6.

Eredmények alkalmazhatósága

A disszertációban bemutatott fő eredmény, hogy formalizáltam a CogInfoCom csatornák leírását, és eszközöket javasoltam a csatornák tervezésére. A javasolt tervezési eszközök teljesek abban az értelemben, hogy a tervezési folyamat során felmerülő összes feladatot lefedik. Ennek értelmében a CogInfoCom ikonok és üzenetek tervezésére, a CogInfoCom koncepciók szintaktikus elemekre való, több különböző kognitív szinten történő leképezésére, illetve a megtervezett CogInfoCom csatornák felhasználói hangolására is megoldást javasoltam. A disszertáció eredményei számos felhasználási területen hasznosak lehetnek. Azáltal, hogy a CogInfoCom csatornák megasszintű koncepciókról képesek a felhasználók számára a szokásostól eltérő érzékszervi modalitáson keresztül (vagy ugyanazon a modalitáson keresztül, de a megszokottól eltérő módon) információt átadni, a csatornák bármilyen környezetben alkalmazhatóak, ahol a felhasználók figyelme vagy egyéb kognitív képességei korlátozottak, vagy a megszokottól eltérőek. Ilyen jellegű esetek előfordulhatnak pl. a virtuális kollaborációban, a Jövő Internet különböző alkalmazásaiban, illetve a kitüntetett figyelmet igénylő alkalmazásokban (utóbbi két területre lehetséges példa a smart home alkalmazás, illetve az gépjármű-vezetés). A disszertációban leírt több eredményt megvalósítottam a Virtuális Kollaborációs Aréna (VirCA) rendszerben, amelyet a BME TMIT és MTA SZTAKI közös laboratóriuma, a 3D Internet alapú kontroll és kommunikáció laboratórium fejlesztett. A VirCA elosztott, lazán csatolt moduláris komponensekből álló, 3D tartalmak és képességek kezelését lehetővé tevő infokommunikációs rendszer. A disszertációban bemutatott eredményeimhez kapcsolódóan a következő funkciók kerültek megvalósításra a VirCA rendszerben: • A CogInfoCom csatornák leírását és manipulálását lehetővé tevő numerikus eszközök. • 3D tárgyak felületéről információt kinyerő virtuális szenzor-modulok, amelyek a puhaság, érdesség, tapadósság és hőmérséklet dimenzióinak továbbítására képesek. • Hangot generáló modulok, melyek képesek adott tapintási információk és CogInfoCom csatornaleírás alapján struktúrált, audio ikonokból és fülkonokból álló kimenet generálására. A virtuális kollaborációval és 3D virtuális valósággal több éve foglalkozó kutatók számára nyilvánvalóvá vált, hogy a látáson és halláson kívül a felhasználó más érzékszervi modalitásait is célszerű lenne az ember és rendszer közötti interakcióba belevonni. A disszertációban bemutatott audio-tapintási szenzor-áthidalást lehetővé tevő alkalmazás egy lehetséges példa arra, hogyan lehet adott környezetben hiányos modalitást mesterséges módon, más modalitáson keresztül pótolni.

19

A disszertációhoz kapcsolódó publikációk listája Könyvfejezetek [RB-1] A. Csapo and P. Baranyi, „A conceptual framework for the design of audio based cognitive infocommunication channels,” in Recent Advances in Intelligent Engineering Systems. Springer Berlin / Heidelberg, 2012, pp. 261–281.

Folyóirat publikációk [RJ-1] A. Csapo and G. Wersenyi, „Overview of auditory representations in human-machine interfaces,” ACM Computing Surveys, vol. 46, no. 2, 2014 (accepted). impakt faktor: 4.529 [RJ-2] A. Csapo and P. Baranyi, „The spiral discovery method: An interpretable tuning model for CogInfoCom channels,” Journal of Advanced Computational Intelligence and Intelligent Informatics, vol. 16, no. 2, pp. 358–367, 2012. független hivatkozások: 2 [RJ-3] G. Persa, A. Csapo, and P. Baranyi, „CogInfoCom systems from an interaction perspective – a pilot application for EtoCom,” Journal of Advanced Computational Intelligence and Intelligent Informatics, vol. 16, no. 2, pp. 297–304, 2012. független hivatkozások: 6 [RJ-4] A. Csapo and P. Baranyi, „A unified terminology for the structure and semantics of CogInfoCom channels,” Acta Polytechnica Hungarica, vol. 9, no. 1, pp. 85–105, 2012. impakt faktor: 0.385 független hivatkozások: 5 [RJ-5] P. Baranyi and A. Csapo, „Definition and synergies of cognitive infocommunications,” Acta Polytechnica Hungarica, vol. 9, pp. 67–83, 2012. impakt faktor: 0.385 független hivatkozások: 49 [RJ-6] P. Baranyi, G. Persa, and A. Csapo, „Definition of cognitive infocommunications and an architectural implementation of cognitive infocommunications systems,” World Academy of Science, Engineering and Technology, no. 58, 2011. független hivatkozások: 4

Konferencia publikációk [RC-1] A. Csapo, P. Baranyi, and P. Varlaki, „A taxonomy of CogInfoCom trigger types in practical use cases,” Kosice, Slovakia, Dec. 2012, pp. 21–25. [RC-2] P. Baranyi, P. Galambos, A. Csapo, and P. Varlaki, „Stabilization and synchronization of dynamicons through CogInfoCom channels,” in 3rd IEEE International Conference on Cognitive Infocommunications, Kosice, Slovakia, Dec. 2012, pp. 33–36. [RC-3] V. Reti and A. Csapo, „Bionics and CogInfoCom,” in 3rd IEEE International Conference on Cognitive Infocommunications, Kosice, Slovakia, Dec. 2012, pp. 27–32. [RC-4] J. Tar, I. Rudas, K. Kosi, A. Csapo, and P. Baranyi, „Cognitive control initiative,” in 3rd IEEE International Conference on Cognitive Infocommunications, Kosice, Slovakia, Dec. 2012, pp. 579–584.

20

[RC-5] C. Weidig, A. Csapo, J. Aurich, and B. Hammann, „VirCA NET and CogInfoCom: novel challenges in future internet based Augmented/Virtual collaboration,” in 3rd IEEE International Conference on Cognitive Infocommunications, Kosice, Slovakia, Dec. 2012. [RC-6] P. Galambos, C. Weidig, P. Zentay, A. Csapo, P. Baranyi, J. C. Aurich, B. Hammann, and O. Kreylos, „VirCA NET: a collaborative use case scenario on factory layout planning,” in 3rd IEEE International Conference on Cognitive Infocommunications. Kosice, Slovakia: IEEE, Dec. 2012, pp. 467–468. független hivatkozások: 1 [RC-7] A. Csapo and P. Baranyi, „CogInfoCom channels and related definitions revisited,” in Intelligent Systems and Informatics (SISY), 2012 IEEE 10th Jubilee International Symposium on, Subotica, Serbia, Sep. 2012, pp. 73–78. független hivatkozások: 3 [RC-8] A. Csapo and P. Baranyi, „An application-oriented review of CogInfoCom: the state-of-the-art and future perspectives,” in Applied Machine Intelligence and Informatics (SAMI), 2012 IEEE 10th International Symposium on, Jan. 2012, pp. 483–488. [RC-9] G. Persa, A. Csapo, and P. Baranyi, „A pilot application for ethology-based CogInfoCom systems,” in Applied Machine Intelligence and Informatics (SAMI), 2012 IEEE 10th International Symposium on, Jan. 2012, pp. 477–482. [RC-10] P. Baranyi, G. Persa, and A. Csapo, „Definition of cognitive infocommunications and an architectural implementation of cognitive infocommunications systems,” Bali, Indonesia, Oct. 2011, pp. 1–5. [RC-11] A. Csapo and P. Baranyi, „A unified terminology for CogInfoCom applications,” in Cognitive Infocommunications (CogInfoCom), 2011 2nd International Conference on, Jul. 2011, pp. 1–6. független hivatkozások: 3 [RC-12] A. Csapo and P. Baranyi, „Perceptual interpolation and open-ended exploration of auditory icons and earcons,” in 17th International Conference on Auditory Display. Budapest, Hungary: International Community for Auditory Display, Jun. 2011. [RC-13] A. Csapo and P. Baranyi, „An adaptive tuning model for cognitive info-communication channels,” in Applied Machine Intelligence and Informatics (SAMI), 2011 IEEE 9th International Symposium on, Smolenice, Slovakia, Jan. 2011, pp. 231–236. [RC-14] P. Baranyi and A. Csapo, „Cognitive infocommunications: CogInfoCom,” in Computational Intelligence and Informatics (CINTI), 2010 11th International Symposium on, Budapest, Hungary, Nov. 2010, pp. 141–146. független hivatkozások: 30 [RC-15] A. Csapo and P. Baranyi, „A tensor algebraic framework for the intuitive exploration of sensory substitution spaces,” in Intelligent Systems and Informatics (SISY), 2010 8th International Symposium on, Subotica, Serbia, Sep. 2010, pp. 547–552. [RC-16] A. Csapo and P. Baranyi, „Towards a numerically tractable model for the auditory substitution of tactile percepts,” in Resilient Control Systems (ISRCS), 2010 3rd International Symposium on, Idaho Falls, USA, Aug. 2010, pp. 23–28. [RC-17] A. B. Csapo and P. Baranyi, „An interaction-based model for auditory substitution of tactile percepts,” in Intelligent Engineering Systems (INES), 2010 14th International Conference on, Gran Canaria, Spain, May 2010, pp. 271–276. független hivatkozások: 3 [RC-18] A. Csapo, A. Roka, B. Resko, and P. Baranyi, „Modeling awareness of surface geometry in auditory cognitive channels,” in 9th IFAC Symposium on Robot Control, vol. 9, Gifu, Japan, Sep. 2009, pp. 445–450.

21

[RC-19] A. Csapo, B. Resko, G. Sziebig, H. Hashimoto, and P. Baranyi, „Object categorization based on biologically inspired features using a hierarchical categorization system,” in 9th IFAC Symposium on Robot Control, vol. 9, Gifu, Japan, Sep. 2009, pp. 367–371. [RC-20] A. Csapo, B. Resko, P. Baranyi, and H. Hideki, „Substitution of haptic gloves using audio interfaces in robot control,” in 2009 IEEE International Symposium on Industrial Electronics, Seoul, South Korea, Jul. 2009, pp. 402–408. független hivatkozások: 1 [RC-21] A. Csapo, B. Resko, H. Hashimoto, and P. Baranyi, „Automated pairing between physical control parameters and coding parameters in auditory cognitive communication channels,” in Human System Interactions, 2009. HSI’09. 2nd Conference on, May 2009, pp. 260–264. [RC-22] A. Csapo, B. Resko, H. Hashimoto, and P. Baranyi, „Sonification of surface parameters for remote tactile sensing,” in Applied Machine Intelligence and Informatics, 2009. SAMI 2009. 7th International Symposium on, Jan. 2009, pp. 57–62.

A disszertációhoz nem kapcsolódó publikációk listája Folyóirat publikációk [J-1] A. Csapo, B. Resko, D. Tikk, and P. Baranyi, „Object categorization using biologically inspired nodemaps and the HITEC categorization system,” Journal of Advanced Computational Intelligence and Intelligent Informatics, vol. 13, no. 5, pp. 573–580, 2009. [J-2] A. Csapo, B. Resko, M. Lind, and P. Baranyi, „A generic framework for feature representations in image categorization tasks,” International Journal of Software Science and Computational Intelligence (IJSSCI), vol. 1, no. 4, pp. 36–60, 2009. [J-3] A. Roka, A. Csapo, B. Resko, and P. Baranyi, „Edge detection model based on involuntary tremors and drifts of the eye,” Journal of Advanced Computational Intelligence and Intelligent Informatics, vol. 11, no. 6, pp. 648–654, 2007. független hivatkozások: 3 [J-4] A. Roka, A. Csapo, B. Resko, and P. Baranyi, „Edge detection model based on involuntary eye movements of the eye-retina system,” Acta Polytechnica Hungarica, vol. 4, no. 1, pp. 31–46, 2007. független hivatkozások: 5 [J-5] B. Resko, A. Csapo, and P. Baranyi, „Cognitive vision inspired contour and vertex detection,” Journal of Advanced Computational Intelligence and Intelligent Informatics, vol. 10, pp. 527–533, 2006. független hivatkozások: 3

22

Konferencia publikációk [C-1] A. Csapo, E. Gilmartin, J. Grizou, J.-G. Han, R. Meena, D. Anastasiou, K. Jokinen, and G. Wilcock, „Multimodal conversational interaction with a humanoid robot,” in 3rd IEEE International Conference on Cognitive Infocommunications, Kosice, Slovakia, Dec. 2012, pp. 667–672. [C-2] A. B. Csapo, P. Baranyi, and D. Tikk, „Object categorization using vfa-generated nodemaps and hierarchical temporal memories,” in Computational Cybernetics, 2007. ICCC 2007. IEEE International Conference on, Gammarth, Tunisia, 2007, pp. 257–262. független hivatkozások: 23 [C-3] A. Csapo and P. Baranyi, „VFA-driven hierarchical temporal memory input for object categorization,” in 8th International Symposium of Hungarian Researchers on Computational Intelligence and Informatics, Budapest, Hungary, 2007. független hivatkozások: 1 [C-4] A. Roka, A. Csapo, and P. Baranyi, „A non-overlapping receptive field model based on receptive field physiology,” in 15th International Workshop on Robotics in Alpe-Adria-Danube Region (RAAD’06), Balatonfured, Hungary, Jun. 2006. [C-5] A. B. Csapo, A. Roka, and P. Baranyi, „Visual cortex inspired vertex and corner detection,” in Mechatronics, 2006 IEEE International Conference on, 2006, pp. 551–556. [C-6] A. Csapo, A. Roka, B. Resko, and P. Baranyi, „A tremor-based retina model for robust contour detection,” in 7th International Symposium of Hungarian Researchers on Computational Intelligence and Informatics, 2006.

23

Irodalomjegyzék [1] P. Arno, A. Vanlierde, E. Streel, M.-C. Wanet-Defalque, S. Sanabria-Bohorquez, and C. Veraart. Auditory Substitution of Vision: Pattern Recognition by the Blind. Applied Cognitive Psychology, 15(5):509–519, 2001. [2] M. Auvray, S. Hanneton, and J.K. O’Regan. Learning to Perceive with a Visuo-Auditory Substitution System: Localization and Object Recognition with the Voice. Perception, 36:416–430, 2007. [3] P. Bach-y Rita, C.C. Collins, F.A. Saunders, B. White, and L. Scadden. Vision Substitution by Tactile Image Projection. Nature, 221:963–964, 1969. [4] P. Bach-y Rita, M.E. Tyler, and K.A. Kaczmarek. Seeing with the brain. International Journal of Human-Computer Interaction, 15(2):285–295, 2003. [5] J.A. Ballas. Common Factors in the Identification of an Assortment of Brief Everyday Sounds. Journal of Experimental Psychology: Human Perception and Performance, 19(2):250–267, 1993. [6] M. Blattner, D. Sumikawa, and R. Greenberg. Earcons and Icons: Their Structure and Common Design Principles. Human Computer Interaction, 4(1):11–44, 1989. [7] J.C. Bliss, M.H. Katcher, C.H. Rogers, and R.P. Shepard. Optical-to-Tactile Image Conversion for the Blind. IEEE Transaction on Man-Machine Systems, 11:58–65, 1970. [8] S. Brewster. Using Non-Speech Sounds to Provide Navigation Cues. ACM Transactions on ComputerHuman Interaction, 5(2):224–259, 1998. [9] J. Edworthy and R. Hards. Learning Auditory Warnings: the Effects of Sound Type, Verbal Labelling and Imagery on the Identification of Alarm Sounds. International Journal of Industrial Ergonomics, 24:603–618, 1999. [10] C. Frauenberger and T. Stockman. Auditory Display Design - an Investigation of a Design Pattern Approach. International Journal of Human-Computer Studies, pages 907–922, 2009. [11] W. Gaver. Auditory Icons: Using Sound in Computer Interfaces. Human Computer Interaction, 2(2):167– 177, 1986. [12] B. Gygi and V. Shafiro. The Incongruency Advantage in Elderly Versus Young Normal-Hearing Listeners. Journal of the Acoustical Society of America, 125(4):2725, 2009. [13] B. Gygi and V. Shafiro. From Signal to Substance and Back: Insights from Environmental Sound Research to Auditory Display Design. In S. Ystad, M. Aramaki, R. Kronland-Martinet, and K. Jensen, editors, Auditory Display, volume 5954 of Lecture Notes in Computer Science, pages 306–329. Springer Berlin / Heidelberg, 2010. [14] T. Hermann. Sonification for Exploratory Data Analysis. PhD thesis, University of Bielefeld, 2002. [15] D. Hewes. The Cognitive Bases of Interpersonal Communication. Routledge, 1995. [16] H. Ishii. Tangible Bits: Beyond Pixels. In 2nd International Conference on Tangible and Embedded Interaction (Invited Paper), pages 15–25, Bonn, Germany, 2008.

24

[17] M. Ishteva, L. Lathauwer, P. Absil, and S. van Huffel. Dimensionality Reduction for Higher-Order Tensors: Algorithms and Applications. International Journal of Pure and Applied Mathematics, 42(3):337–343, 2008. [18] K. Jokinen. User Interaction in Mobile Navigation Applications. In L. Meng, A. Zipf, and S. Winter, editors, Map-based Mobile Services, Lecture Notes in Geoinformation and Cartography, pages 168–197. Springer Berlin Heidelberg, 2008. [19] P. Kapahnke, P. Liedtke, S. Nesbigall, S. Warwas, and M. Klusch. An Open Platform for Semantic-Based 3D Simulations in the 3D Internet. Lecture Notes in Computer Science, 6497:161–176, 2010. [20] J-K. Kim and R.J. Zatorre. Generalized Learning of Visual-to-Auditory Substitution in Sighted Individuals. Brain Research, 1242:263–275, 2008. [21] Y. Kitamura, A. Yee, and F. Kishino. A Sophisticated Manipulation Aid in a Virtual Environment Using Dynamic Constraints Among Object Faces. Presence, 7(5):460–477, 1998. [22] R. Kozma. Learning With Media. Review of Educational Research, 61(2):179–212, 1991. [23] L. D. Lathauwer, B. D. Moor, and J. Vandewalle. A Multi Linear Singular Value Decomposition. SIAM Journal on Matrix Analysis and Applications, 21(4):1253–1278, 2000. [24] A. Lecuyer. Simulating Haptic Feedback Using Vision: a Survey of REsearch and Applications of PseudoHaptic Feedback. Presence: Teleoperators and Virtual Environments, 18(1):39–53, 2009. [25] A. Lecuyer, S. Coquillart, A. Kheddar, P. Richard, and P. Coiffet. Pseudo-Haptic Feedback: Can Isometric Input Devices Simulate Force Feedback? In IEEE Virtual Reality, pages 83–90, New Brunswick, USA, 2000. [26] G. Leplatre and S. Brewster. An Investigation of Using Music to Provide Navigation Cues. In International Conference on Auditory Display, pages 1–10, Glasgow, UK, 1998. [27] J. Lumsden and S. Brewster. A Survey of Audio-Related Knowledge Amongst Software Engineers Developing Human-Computer Interfaces. Technical report, Glasgow University, 2001. [28] D. McGookin and S. Brewster. Understanding Concurrent Earcons: Applying Auditory Scene Analysis Principles to Concurrent Earcon Recognition. ACM Transactions on Applied Perception, 1(2):130–155, 2004. [29] P. Meijer. An Experimental System for Auditory Image Representations. IEEE Transactions on Biomedical Engineering, 39(2):112–121, 1992. [30] J. Mitola and G.Q. Maguire. Cogitive Radio: Making Software Radios more Personal. IEEE Personal Communications, pages 13–18, 1999. [31] M.M. Recker, A. Ram, T. Shikano, G. Li, and J. Stasko. Cognitive Media Types for Multimedia Information Access. Journal of Educational Multimedia and Hypermedia, 4(2–3):183–210, 1995. [32] G. Riva and F. Davide. Communications Through Virtual Technologies. In Identity, Community and Technology in the Communication Age, pages 124–154. IOS Press, 2001. [33] J. Roschelle. Designing for Cognitive Communication: Epistemic Fidelity or Mediating Collaborative Inquiry? In Computers, communication and mental models, pages 15–27. Taylor & Francis, 1996. [34] G. Sallai. The Cradle of Cognitive Infocommunications. Acta Polytechnica Hungarica, 9:171–181, 2012. [35] C.A.P. Smith, K.W. Kisiel, and J.G. Morrison. Working Through Synthetic Worlds. Ashgate, 2009. [36] H. Takagi. Interactive evolutionary computation: Fusion of the capabilities of EC optimization and human evaluation. Proceedings of the IEEE, 89(9):1275–1296, 2001. [37] http://www.3dicc.sztaki.hu. [38] G. Tselentis, J. Domingue, A. Galis, A. Gavras, D. Hausheer, S. Krco, V. Lotz, and T. Zahariadis. Towards the Future Internet – a European Research Perspective. IOS Press, 2010.

25

[39] D. Uckelmann, M. Harrisson, and F. Michahelles. Architecting the Internet of Things. Springer, 2011. [40] B. Ullmer and H. Ishii. Emerging Frameworks for Tangible Interfaces. IBM Systems Journal, 39:915–931, 2000. [41] J.B.F. vanErp, A.H.C. vanVeen, C. Jansen, and T. Dobbins. Waypoint Navigation with a Vibrotactile Waist Belt. Perception, 2:106–117, 2005. [42] F. Vernier and L. Nigay. A Framework for the Combination and Characterization of Output Modalities. In P. Palanque and P. Fabio, editors, Interactive Systems Design, Specification, and Verification, volume 1946 of Lecture Notes in Computer Science, pages 35–50. Springer Berlin / Heidelberg, 2001. [43] D. Vernon, G. Metta, and G. Sandini. A Survey of Artificial Cognitive Systems: Implications for the Autonomous Development of Mental Capabilities in Computational Agents. IEEE Transactions on Evolutionary Computation, 11(2):151–179, 2007. [44] Y. Wang. The Theoretical Framework of Cognitive Informatics. International Journal of Cognitive Informatics and Natural Intelligence, 1(1):1–27, 2007. [45] Y. Wang and W. Kinsner. Recent Advances in Cognitive Informatics. IEEE Transactions on Systems, Man and Cybernetics, 36(2):121–123, 2006. [46] M. Wasko, R. Teigland, D. Leidner, and S. Jarvenpaa. Stepping into the Internet: New Ventures in Virtual Worlds. MIS Quarterly, 35(3):645–652, 2011.

26