A DOKTORI DISSZERTÁCIÓ TÉZISEI
Török Ágoston
TÉRI PERCEPCIÓ ÉS KOGNÍCIÓ, KÍSÉRLETEK VIRTUÁLIS VALÓSÁGBAN
2016
2
EÖTVÖS LORÁND TUDOMÁNYEGYETEM PEDAGÓGIAI ÉS PSZICHOLÓGIAI KAR Török Ágoston
TÉRI PERCEPCIÓ ÉS KOGNÍCIÓ, KÍSÉRLETEK VIRTUÁLIS VALÓSÁGBAN
- TÉZISEK -
Pszichológia Doktori Iskola Vezető: Prof. Demetrovics Zsolt, Eötvös Loránd Tudományegyetem Kognitív Pszichológia Program Programvezető: Prof. Czigler István, Eötvös Loránd Tudományegyetem Témavezető: Prof. Csépe Valéria, Agyi Képalkotó Központ, MTA TTK
Bizottság: Elnök: Prof. Czigler István, e. tanár, Eötvös Loránd Tudományegyetem Titkár: Dr. Ragó Anett, e. adjunktus, Eötvös Loránd Tudományegyetem Belső bíráló: Dr. Dúll Andrea, e. docens, Eötvös Loránd Tudományegyetem Külső bíráló: Dr. Csapó Ádám, e. adjunktus, Széchenyi István Egyetem Tagok: Dr. Krajcsi Attila, e. docens, Eötvös Loránd Tudományegyetem Dr. Kónya Anikó, c. e. tanár, Eötvös Loránd Tudományegyetem Dr. Márkus Attila, főorvos, Magyar Honvédség Egészségügyi Központ Prof. Bárdos György, e. tanár, Eötvös Loránd Tudományegyetem Budapest, 2016
3
1 Előszó
Disszertációmban a környezet téri viszonyainak észlelését vizsgáltam olyan kísérletekkel, amelyek mindegyike valamilyen formában kihasználta a virtuális valóság adta lehetőségeket. A téri tájékozódás és észlelés kutatása különösen érdekes és aktuális téma. Ennek egyik oka, hogy a téri reprezentációk agyi hátterének feltárásában a tudomány komoly haladást ért el. A helysejtek (O’Keefe & Dostrovsky, 1971), rácssejtek (Hafting, Fyhn, Molden, Moser, & Moser, 2005), fej-irány sejtek (Taube, Muller, & Ranck, 1990) felfedezése mellett az egyes agyterületek szerepének pontos megismeréséhez is közelebb kerültünk mára (Spiers & Maguire, 2006). Emellett az elmúlt években több olyan kutatás is megjelent, ami nemcsak arra a kérdésre keresi a választ, hogy az agyban hol zajlanak a téri viszonyok feldolgozásához kapcsolódó folyamatok, hanem arra is, hogy mikor (Baker & Holroyd, 2009, 2013). A téri tájékozódás nemcsak a felfedező, hanem az alkalmazott kutatásokban is fontos téma. A tájékozódási képesség fejlesztése és megőrzése ugyanis a fejlett infokommunikációs technológiák mellett is kiemelt fontosságú (Dúll & Pálfy, 2014). A navigáció és téri észlelés kutatása olyan szerteágazó területeken bizonyult hasznosnak, mint a városok és épületek tervezése, az időskori demencia szűrése (Kunz et al., 2015), vagy a virtuális valóság interfész kialakítása (Vass et al., 2016).
2 Bevezetés
Már a múlt század elején megfigyelték, hogy a rágcsálók milyen gyorsan képesek megoldani útvesztő feladatokat (Lashley & Ball, 1929), sőt, hogy milyen intelligensen reagálnak arra, amikor a környezet megváltozik (pl. a kutató lezárja az egyik utat). Ezeket a kísérleti eredményeket integrálta Tolman (1948), amikor megalkotta a kognitív térkép fogalmát. Míg a korban uralkodó viselkedéslélektani elméletek a viselkedést egyszerű inger-válasz kapcsolatokkal írták le, addig Tolman elméletének jelentőségét pont az adta, hogy a térről alkotott reprezentációt úgy képzelte el, hogy tájékozódás közben erőfeszítés nélkül megtanuljuk nemcsak a bal-jobb választásainkat, hanem a tágabb környezet viszonyait is. Ennek a mentális reprezentációnak a kialakulása több lépcsőből álló folyamat eredménye 4
(Siegel & White, 1975). Először csak a kiugró tájékozódási pontokat azonosítjuk, majd a tájékozódás során először útvonalaink reprezentálódnak ezekhez képest, és végül hosszabb idő után átfogó ismeretekre teszünk szert az egész környezettel kapcsolatban. A téri reprezentációk azonban nemcsak ilyen módon változnak. Mindennapos élményünk, hogy a tárgyak helyzetét gyakran többféleképpen is meghatározhatjuk. Hagyományosan a kognitív pszichológia két viszonyítási rendszert különböztet meg (Klatzky, 1998), az egyikben a tárgyak helyzetét saját helyzetünkhöz képest (egocentrikus), a másikban más tárgyak helyzetéhez képest határozzuk meg (allocentrikus). Számos kutatás foglalkozott a két viszonyítási rendszer különbségeivel (e.g. Burgess, 2006; Galati, Pelle, Berthoz, & Committeri, 2010). Ezek szerint a két rendszer együttműködik és a tájékozódás más-más aspektusait segítik. Az egocentrikus viszonyítási keret pontosabb helyinformációval szolgál, de ehhez több mentális erőforrást is igényel. Ezzel szemben az allocentrikus viszonyítási rendszer stabilabb, de csak lassabban fejlődő helyinformációval szolgál. Hagyományosan az egocentrikus viszonyítási rendszert a konkrét egyes szám első személyű tájékozódás nézőpontjához kötik, míg az allocentrikus viszonyítási rendszert inkább a térképek nézőpontjával és az emlékezéssel hozzák kapcsolatba. Azt azonban, hogy az aktív tájékozódáshoz közeli nézőpont lenne kapcsolatban az egocentrikus viszonyítási kerettel és a madártávlati nézőpont az allocentrikussal még nem igazolta kísérleti eredmény. Ezek a különböző viszonyítási rendszerek számos agyterület összetett együttműködését igénylik. Ezek közül különösen fontos a hippokampusz, az entorhinális kéreg, a parahippokampusz, a retrospleniális kéreg, valamint a parietális és az okcipitális kérgek (Gramann, Müller, Schönebeck, & Debus, 2006; Hartley, Lever, Burgess, & O’Keefe, 2014). Az egocentrikus viszonyítási keretet főként a parietális és okcipitális kéregben megnövekedett aktivitással hozták kapcsolatba, míg az allocentrikus viszonyítási keret inkább a kéregalatti területek (hippokampusz, entorhinális kéreg és parahippokampusz) működésével függ össze. A retrospleniális kéreg mindkét viszonyítási rendszerrel összefügg, egyfajta integrációs központként tekinthetünk rá. Fontos azonban megjegyezni, hogy míg az agyi feldolgozás lokalizációs oldaláról kiterjedt tudással rendelkezünk, addig e folyamatok idői dinamikájáról csak korlátozott ismeretekkel rendelkezünk (Alexander & Nitz, 2015). A tájékozódásért felelős agyterületek számos érzékszerv felől kapnak bemenetet, az okcipitális kéregben található a látás agykérgi központja, a parietális kéregben pedig az elsődleges szomatoszenzoros kéreg mellett számos multiszenzoros terület van. A kéregalatti 5
struktúrák is multiszenzoros bemenetet kapnak, sőt a kutatási eredmények azt mutatják, hogy amennyiben valamilyen érzékszerv felől ezek a területek nem kapnak bemenetet, akkor a téri specifikus sejtek egy része nem is aktiválódik (Ravassard et al., 2013). Az agyi aktivitást vizsgáló kísérletek azt mutatják, hogy több érzékszerv alakítja a téri reprezentációkat. Azonban a viselkedés szintjén legtöbbször mégis azt tapasztaljuk, hogy a látás uralja a téri észlelést. Ennek legismertebb példája a hasbeszélő illúzió (Howard & Templeton, 1966), amelynek alapja, hogy a hang helyét a képi változás helyével (pl. a báb szájának mozgása) kötjük össze. Ez az illúzió annyira alapvető jelenség, hogy a térhangzásrendszerek (pl. 5.1 surround) is csak a horizont mentén mutatják be eltérő helyről a hangokat; és a fent-lent (vertikális) dimenzióban ezek is a hasbeszélő illúzióra hagyatkoznak. A vertikális dimenzió azonban több szempontból különbözik a horizontálistól (Howard & Templeton, 1966). Míg a vertikális dimenzió alapja a legalapvetőbb téri élményünk, a gravitáció, addig a horizontális tengely alapja a horizont, ami az előbbinél több változatosságot hordoz. Emiatt a horizontális dimenzióban nyert eredmények kiterjesztése a vertikális tengelyre nem egyértelmű. Egy fontos különbség továbbá, hogy míg a horizont észleléséhez is a látásból nyerjük a legtöbb információt, addig a gravitáció és fent-lent észlelésében kulcsfontosságú szerep jut az egyensúlyi, azaz vesztibuláris rendszernek. Ez azt is jelenti, hogy elképzelhető, hogy a vertikális tengely mentén a vesztibuláris és vizuális információ integrációját a vesztibuláris információ dominálja. Valóban, több kutatásban is leírták a vertikális távolságillúziót, mely szerint egy adott távolság észlelt hossza megváltozik, ha felfelé, vagy lefelé látjuk (Jackson & Cormack, 2007; Proffitt, Stefanucci, Banton, & Epstein, 2003). Két elmélet született e jelenségek magyarázatára. Jackson és Cormack szerint (2007) az ilyen távolságillúzió magyarázata, hogy megismerésünk az evolúció során úgy fejlődött, hogy támogassa túlélésünket. A lefelé levő célokat veszélyesebb elérni, hiszen könnyen megcsúszhatunk. Tehát megismerésünk torzítva, hosszabbnak mutatja ezeket a távolságokat, hogy ne is próbáljuk elérni őket. A másik elmélet ezzel szemben azt állítja, hogy, ha egy domboldalon állunk egy hátizsákkal, akkor felfelé érezzük hosszabbnak a távolságokat, mert megismerésünk a távolságot a szükséges erőfeszítés függvényében reprezentálja (Proffitt et al., 2003). A két elmélet tehát egymásnak ellentmondó jóslatokat tesz, azonban mindkettőben közös, hogy magasszintű motivációs folyamatoknak tulajdonítja a vertikális távolságillúziót. Kérdés viszont, hogy amennyiben egyik tényező sincs jelen, akkor eltűnik-e a távolságok torzított észlelése. 6
Ezek alapján a következő hipotéziseket fogalmaztam meg: -
A horizontális, földközeli nézőpontokból egocentrikus viszonyítási keretben, míg a madártávlati nézőpontból allocentrikus viszonyítási keretben könnyebb a tájékozódás.
-
Ha egy feladatban a tájékozódást megszakítják folytonos áthelyezési események (teleportáció), akkor a tárgyakat allocentrikus viszonyítási keretben fogjuk reprezentálni.
-
Audio-vizuális integrációs helyzetben, a vertikális tengelyen a vizuális modalitás dominálja a tárgy észlelt helyzetét.
-
Vesztibulo-vizuális integrációs helyzetben, a vertikális tengelyen a vesztibuláris modalitás befolyásolja a vizuálisan észlelt tárgy észlelt távolságát.
3 Tézisek 3.1
Implicit asszociáció a téri viszonyítási keretek és nézőpontok között
___________________________________________________________________________ 1. Tézis. Amennyiben olyan nézőpontból navigálunk, mely könnyen átvihető a mozgást végző test perspektívájába (E/1 ill. E/3 nézőpont) akkor preferáljuk az egocentrikus referenciakeret használatát, madártávlati nézőpontból azonban az allocentrikus referenciakeretet részesítjük előnyben. ___________________________________________________________________________
3.1.1 Módszer 50 résztvevőt (25 nő, átlagéletkor 22 év (szórás 3 év)) kértünk fel egy tábla PC-re írt tájékozódási kísérletre. A kísérletben a 80 x 80 virtuális méter nagyságú fűvel borított téren kellett a résztvevőknek űrlényeket összegyűjteni és a megfelelő űrhajóhoz elvinni. Az űrhajók csak akkor váltak láthatóvá, amikor a résztvevő a közvetlen közelükben volt, ezért az űrhajók helyzetét emlékezetből kellett felidézniük. A kísérlet során manipuláltuk a nézőpontot és a kamera-mozgást. A nézőpont lehetett egyes szám első személyű, a tájékozódó mögötti külső, illetve madártávlati nézőpont. A kamera mozgása pedig vagy követte a tájékozódó mozgását 7
(egocentrikus frissítés), vagy a fix virtuális északi irányt tartotta (allocentrikus frissítés). Az egyes szám első személyű nézőpont csak az előbbi kameramozgással volt társítva, és ez a kondíció szerepelt viszonyítási alapnak. A többi kamera mozgást és nézőpontot pedig kombináltuk ezzel létrehozva 5 feltételt: -
E/1 nézőpont, követő kamera
-
E/3 nézőpont, követő kamera
-
E/3 nézőpont, fix orientációjú kamera
-
Madártávlat nézőpont, követő kamera
-
Madártávlat nézőpont, fix orientációjú kamera
1. ábra. Az első kísérlet feltételei és eredményei. a) A kísérletben 5 féle nézőpont és kameramozgást használtunk. Az űrlényeket fehér körvonala és a sárga nyíl illusztráció. b) A megtett út optimálisabb volt a földhöz közeli nézőpontból egocentrikus kameramozgás mellett, madártávlati nézőpontból pedig allocentrikus kameramozgás mellett. Az E/1 nézőpont eredményeit az ábra nem tartalmazza, e nézőpontból a megtett út optimalitása nem különbözött az E/3 egocentrikus kondíciótól. A navigáció időtartamának eredményei hasonló eredményeket mutattak. A dobozdiagram középvonala a mediánt, a doboz alja az első teteje a harmadik kvartilist mutatja. A bajuszvonal a medián 95 %-os megbízhatósági tartományát jelzi. Jelmagyarázat Krajcsi (2016) alapján. *** : p < .001; ** : p < .01
8
3.1.2 Eredmények Elemzésünkben a megtett út és a navigálásra fordított idő optimalitását vizsgáltuk. Eszerint az E/1 és E/3 nézőpontok követő kameraállás mellett nem térnek el egymástól, tehát az, hogy az E/3 nézőpontban látni a tájékozódó avatárt nem befolyásolja a teljesítményt. Emellett várakozásainknak megfelelően azt találtuk, hogy az út hossza és a tájékozódási idő tekintetében egyaránt megjelenik egy implicit asszociáció a viszonyítási keret (kamera mozgás) és a nézőpont között. E/3 nézőpontban a követő kameraállás, madártávlati nézőpontból pedig a fix északi kameraállás vezetett jobb teljesítményhez.
9
3.2
A tájékozódás idői aspektusa
___________________________________________________________________________ 2. Tézis Amennyiben az útvonal folyamatos integrációját megszakítják áthelyezési események, akkor a tárgyakat allocentrikus viszonyítási keretben fogjuk reprezentálni. Emiatt a tárgy megjelenéséhez 100 ezredmásodpercre megjelenő parieto-okcipitális P1 potenciálváltozás amplitúdója nagyobb lesz, ha a tárgy egy nyugati helyen jelenik meg, a keleti megjelenési helyhez viszonyítva. ___________________________________________________________________________
3.2.1 Módszerek 34 résztvevőt (18 nő, átlagéletkor 22 év (szórás 2 év)) kértünk fel egy CAVE (Cruz-Neira, Sandin, & DeFanti, 1993) alapú virtuális tájékozódási kísérletre. A kísérletben egy kereszt alakú labirintusban kellett jutalomtárgyakat keresniük. Ehhez minden próbában vagy a felső vagy az alsó szárba teleportáltuk őket virtuálisan. Ezt követően választaniuk kellett, hogy melyik oldalsó szárban várják a jutalomtárgyat, majd a választott szárba jutva megjelent egy tárgy, mely vagy a jutalomtárgy volt, vagy egy másik tárgy. Annak érdekében, hogy a jutalmazás rendje ne feszítse elő sem az egocentrikus, sem az allocentrikus viszonyítási keret használatát, a jutalomtárgy minden választást követően 50 százalék valószínűséggel jelent meg. A kísérlet alatt EEG-t rögzítettünk 62 csatornán, és a tárgy megjelenéséhez kötött kiváltott potenciálváltozásokat elemeztük. 3.2.2 Eredmények A választási mintázatokat több szempontból megvizsgálva igazoltuk, hogy a kísérlet során a résztvevők elsődlegesen allocentrikus stratégiát követtek. Az elektrofiziológiai adatokat permutációs statisztika segítségével elemeztük. Ebben kimutattuk, hogy a tárgyak allocentrikus pozíciójához kapcsolódóan a P1 kiváltott potenciál amplitúdója nagyobb, ha a tárgy a nyugati szárban jelenik meg, mint ha a keletiben. A tárgy egocentrikus pozíciójával kapcsolatban nem találtunk ilyen agyi választ. Fontos megjegyezni, hogy a tárgy pozíciójának allocentrikus viszonyítási keretben való kódolása nem függött a tárgy jutalomértékétől. 10
2. ábra. A második kísérlet virtuális környezete és eredményei. a) a PO8 elektródán maximális P1 komponens amplitúdója nagyobb volt, amikor a tárgy a nyugati szárban jelent meg a keleti szárhoz képest. b) ez az aktivitás jobb oldalra lateralizálódott. c) a személyek vagy az alsó (α) vagy a felső (β) szárban kezdtek és a két oldalsó szár (δ,γ) közül kellett választaniuk minden próbában. d) a virtuális környezet a CAVE-ben. A halvány sáv a görbéknél a pontonkénti standard hibát jelzi.
11
3.3
Audio-vizuális integráció virtuális valóságban
___________________________________________________________________________ 3. Tézis A hasbeszélőhatás a horizontális és vertikális tengelyen egyaránt megjelenik virtuális valóság helyzetben, emiatt a hangok helyzetét a velük egyidőben megjelenő vizuális ingerekhez közelinek észleljük. ___________________________________________________________________________
3.3.1 Módszer Két kísérletben hat (egy nő, az életkoruk 25 és 48 év között) és öt személyt (egy nő, az életkoruk 21 és 41 év között) kértünk fel arra, hogy állapítsák meg hangok helyét a velük együtt bemutatásra kerülő vizuális ingerek mellett. Az első kísérletben a vizuális ingerek a hangokhoz képest feljebb vagy lejjebb voltak, a második kísérletben pedig horizontálisan voltak a hangokhoz képest eltérő helyen. A kísérlet egy CAVE virtuális valóság helyzetben zajlott, ahol a hangok vagy a pontos helyen elhelyezett hangszórókból szóltak, vagy egy térhangzás rendszer generálta őket. A vizuális ingerek rövid időre felvillanó Gauss grádiensű foltok voltak. 3.3.2 Eredmények Az adatok kevert-hatás modellezéssel elemeztem. Az elemzés kimutatta, hogy a hasbeszélő hatás erősségében ugyan van variancia a személyek között, de a hatás konzisztensen megjelenik mind a vertikális, mind a horizontális tengelyen. Emellett azt találtuk, hogy a különböző módokon generált hangokat némileg eltérő helyről érkezőnek észlelik a személyek. Ez azonban nem került interakcióba a vizuális inger vonzó hatásával. Tehát a hasbeszélő hatás nemcsak realisztikus audiovizuális élmény alapja lehet, hanem még a kisebb hanggenerálási hibákat is képes ellensúlyozni.
12
3. ábra. A harmadik kísérlet elrendezése és eredményei. a) A kevert hatás modellezés kimutatta, hogy a vizuális inger magához ragadja a hanginger észlelt pozícióját a vertikális tengelyen. Hasonlóan a horizontális tengelyen is kimutattuk a hatást, ott a hasbeszélőhatás ereje kisebb volt b) A kísérleti elrendezés sematikus modellje. A résztvevők a képernyő előtt ültek és vagy egyes hangszórókból hallottak hangokat (α) vagy egy surround rendszer szimulálta ezen hangszórók helyzetét (β). Az ábránzöld korongok jelzik a vizuális ingerek lehetséges helyét, a függőleges irányban elhelyezett ingerek az első, míg a horizontálisan elhelyezett ingerek a második kísérletben voltak alkalmazva.
13
3.4
A vesztibuláris rendszer hatása a vizuális távolságészlelésre
___________________________________________________________________________ 3. Tézis A tárgyakat távolabbinak látjuk, ha a horizontnál feljebb, és közelebbinek, ha a horizontnál lejjebb helyezkednek el. Ez az illúzió akkor is megjelenik, ha sem a leeséstől való félelem, sem anticipált erőfeszítés nincs jelen. Az illúzió erősebb lesz mesterséges vesztibuláris stimuláció hatására, mely a jelenség hátterében egy vesztibulo-vizuális integrációs folyamatot jelez. ___________________________________________________________________________
3.4.1 Módszer 14 résztvevőt (5 nő, átlagéletkor 27 év (szórás 7 év)) kértünk fel arra, hogy egy CAVE virtuális valóság kísérletben egy tárgy távolságát ítéljék meg. A tárgy helyzete 5 és 25 méter között változott, és elhelyezkedhetett vízszintes talajon, egy 20 fokos emelkedőn, vagy egy 20 fokos lejtőn. A kísérlet során a próbák egy részében a résztvevők galvanikus vesztibuláris ingerlést kaptak, mely felerősíti a vesztibuláris ingerületet. A virtuális valóság lehetőséget adott arra, hogy a lejtőket és emelkedőket úgy alakítsuk ki, hogy azok vizuálisan a vízszintessel teljesen megegyezőek legyenek. Emiatt bármilyen szisztematikus különbség a kondíciók között a vesztibuláris rendszer hatásának tulajdonítható. 3.4.2 Eredmények Az adatok faktoriális ANOVA-val és kevert-hatás modellezéssel elemeztem. A két eljárás egybehangzó eredményeket mutatott. Eszerint az emelkedőn levő tárgyakat távolabbinak és a lejtőn levő tárgyakat közelebbinek ítélték a résztvevők. Ez a hatás erősebb volt a galvanikus vesztibuláris stimulációval, mint nélküle. Ez megerősíti a feltételezést, hogy a jelenség hátterében a vesztibuláris rendszer hatása áll.
14
4. ábra. A negyedik kísérlet elrendezése és eredményei. a) A kísérletben a résztvevők egyenesen, lefelé és felfelé nézve ítélték meg tárgyak helyzetét. A vizuális látvány minden nézőpontban megegyezett. b) A kísérletben a fej mozgásából adódó természetes vesztibuláris ingerületet mellett galvanikus vesztibuláris stimulációt is alkalmaztunk. A nyakon elhelyezett elektródák nem ingerelték a vesztibuláris rendszert (Sham), míg a fül mögött elhelyezett elektródák polaritástól függűen vagy bal (L-GVS), vagy jobb oldali (R-GVS) stimulációt jelentettek. c) Az eredmények szerint a távolságok lefelé nézve kisebbnek, felfelé nézve nagyobbnak tűntek. A grafikonon a bajuszvonalak az átlag standard hibáját jelzik.
15
3.5
Megbeszélés és következtetések
Az első tézis értelmében az előnyben részesített viszonyítási keret függ a nézőpontunktól. Ha a nézőpontunk megegyezik a tájékozódást végző test nézőpontjával, vagy könnyen megfeleltethető annak, akkor az egocentrikus viszonyítási keretet részesítjük előnyben. Ez azt jelenti, hogy könnyebben hajtjuk végre azokat a mentális forgatási műveleteket, melyben a tájékozódóhoz képest kell frissítenünk a tárgyak helyzetét. Ezzel szemben, ha madártávlati nézőpontból irányítjuk a tájékozódást végző testet, akkor az allocentrikus viszonyítási keretet részesítjük előnyben. Eszerint könnyebben végzünk el ilyen nézőpontból olyan mentális transzformációkat, melyekben a tér határaihoz és tájékozódási pontokhoz képest kell frissítenünk a tárgyak a tájékozódást végző test helyzetét. Tehát, útvonaltervezésnél a térképet tarthatjuk fix északi orientációban, vagy forgathatjuk úgy is, hogy mindig annak megfelelően álljon, amerre haladásunk során előre néznénk. Eredményeim viszont arra utalnak, hogy a fix északi orientáció vezet jobb teljesítményhez. Az viszonyítási keret nézőpontfüggő preferenciájának kérdését egészíti ki a második tézis. Ennek értelmében, amikor ugyan E/1 nézőpontból végeznénk a tájékozódást, de a megtett út integrációját a kognitív térképen megnehezíti időnként egy dezorientációs lépés, akkor inkább allocentrikus viszonyítási keretben reprezentáljuk a tárgyak helyzetét. Ennek elektrofizológiai korrelátuma, hogy a P1 potenciálváltozás amplitúdója változik a tárgy allocentrikus helyének megfelelően. A harmadik és negyedik tézis a téri reprezentációk észlelési folyamatokhoz való lehorgonyzását segítik elő. A harmadik tézis szerint, audio-vizuális integráció jön létre, amikor egy hang és egy vizuális inger egyszerre jelenik meg. Emiatt amikor a hang forrását kell megítélnünk, a vizuális inger hatására ahhoz közelebbinek észleljük. Ez a hatás a vertikális és horizontális tengelyen egyaránt megjelenik virtuális valóságban. Ez arra utal, hogy a horizontális tengely mentén elhelyezett térhangzást biztosító hangrendszerek képesek valószerű hangélményt nyújtani horizontális és vertikális irányban egyaránt, amennyiben a hanggal együtt képi tartalom is megjelenítésre kerül. A negyedik tézis szerint a vesztibuláris és vizuális információ integrációja idézi elő a vertikális távolságillúziót. Ezért az emelkedőn levő tárgyakat messzebbinek, míg a lejtőn levőket közelebbinek észleljük. Az illúzió megjelenik akkor is, ha nem kell erőfeszítést tennünk a tárgy eléréséért és a helyzethez nem kapcsolódik a leeséstől való félelem sem. A 16
harmadik és negyedik tézis bizonyítja, hogy a téri észlelés mögött multiszenzoros folyamatok állnak. Továbbá a látás központi szerepet tölt be a tér észlelésben, viszont bizonyos helyzetekben még a látási információt is befolyásolják más érzékleti modalitások. Összefoglalva,
disszertációm
eredményei
alátámasztják
a
kognitív
térkép,
mint
multiszenzoros, többszempontú és dinamikus reprezentáció elméletét. Az első és második tézis szerint a kognitív rendszer folyamatosan kiértékeli a tájékozódás észlelési körülményeit, és azt a viszonyítási keretet aktiválja, mely a legoptimálisabb teljesítményt teszi lehetővé. A harmadik tézis szerint a téri észlelés multiszenzoros folyamat, melyben a vizuális modalitás domináns szerepet tölt be. A negyedik tézis egy olyan multiszenzoros illúziót mutat be, amelyben a vesztibuláris rendszer hatására megváltozik a vizuálisan észlelt távolság. A tárgyalt tézisek arra utalnak, hogy a Barbara Tversky által lehetetlen alakzatként leírt kognitív térkép, nemcsak lehetetlen, hanem érdekes módon egy értelmezett lehetetlen alakzat.
3.5.1 A disszertáció témájában megjelent publikációk: Török, Á., Nguyen, T. P., Kolozsvári, O., Buchanan, R. J., & Nadasdy, Z. (2014). Reference frames in virtual spatial navigation are viewpoint dependent. Frontiers in Human Neuroscience, 8. http://doi.org/10.3389/fnhum.2014.00646 Török, Á., Mestre, D., Honbolygó, F., Mallet, P., Pergandi, J.-M. M., & Csépe, V. (2015). It sounds real when you see it. Realistic sound source simulation in multimodal virtual environments. Journal on Multimodal User Interfaces, 9(4), 323–331. http://doi.org/10.1007/s12193-015-0185-4 Török, Á., Kolozsvári, O., Virágh, T., Honbolygó, F., & Csépe, V. (2013). Effect of stimulus intensity on response time distribution in multisensory integration. Journal on Multimodal User Interfaces, 8(2), 209–216. http://doi.org/10.1007/s12193-013-0135-y Török, Á., Sulykos, I., Kecskés-Kovács, K., Persa, G., Galambos, P., Kóbor, A., … Honbolygó, F. (2014). Comparison between wireless and wired EEG recordings in a virtual reality lab: Case report. In Cognitive Infocommunications (CogInfoCom), 2014 5th IEEE Conference on (pp. 599–603). IEEE.
17
Persa, G., Török, Á., Galambos, P., Sulykos, I., Kecskés-Kovács, K., Czigler, I., Honbolygó, F., Baranyi, P., Csépe, V. (2014). Experimental Framework for Spatial Cognition Research in Immersive Virtual Space. In Cognitive Infocommunications (CogInfoCom), 2014 IEEE 5th International Conference on (pp. 587–593). IEEE. Török, Á., Ferrè, E. R., Kokkinara, E., Haggard, P., Csépe, V., & Swapp, D. (2015). Distance perception on the vertical axis: multisensory interaction between visual and vestibular cues. In Cognitive Science Arena III. Brixen, Italy 6-7th February, 2015.
3.5.2 További kapcsolódó publikációk: Török, Á., Toth, Z., Honbolygo, F., & Csepe, V. (2013). Integration of warning signals and signaled objects to a multimodal object: A pilot study. In 2013 IEEE 4th International Conference on Cognitive Infocommunications (CogInfoCom) (pp. 653–658). IEEE. http://doi.org/10.1109/CogInfoCom.2013.6719183 Török, Á., Asbóth, K. K., Honbolygó, F., & Csépe, V. (2012). Intensity dependent interaction in audiovisual integration. In Proceedings of the 3rd IEEE Conference on Cognitive Infocommunications (pp. 469–473). Honbolygo, F., Babik, A., & Torok, A. (2014). Location learning in virtual environments: The effect of saliency of landmarks and boundaries. In 2014 5th IEEE Conference on Cognitive Infocommunications (CogInfoCom) (pp. 595–598). IEEE. http://doi.org/10.1109/CogInfoCom.2014.7020413 Kling, F., Török, Á., Mestre, D., Pergandi, J.-M., Mallet, P., Honbolygó, F., & Csépe, V. (2015). Effectiveness of warning signals in dual-task driving scenarios. In Cognitive Science Arena III. Brixen, Italy 6-7th February, 2015 Török, Á., Nguyen, P., Kolozsvári, O., Buchanan, R. J., & Nadasdy, Z. (2013). Implementation of spatial navigation tasks on tablet PC virtual-reality environment for human studies. In Workshop on Memory Processes and the Brain. Budapest.
18
3.6
References
Alexander, A. S., & Nitz, D. (2015). Retrosplenial cortex maps the conjunction of internal and
external
spaces.
Nature
Neuroscience,
18(8),
1143–1151.
http://doi.org/10.1038/nn.4058 Baker, T. E., & Holroyd, C. B. (2009). Which way do I go? Neural activation in response to feedback and spatial processing in a virtual T-maze. Cerebral Cortex (New York, N.Y. : 1991), 19(8), 1708–22. http://doi.org/10.1093/cercor/bhn223 Baker, T. E., & Holroyd, C. B. (2013). The topographical N170: electrophysiological evidence of a neural mechanism for human spatial navigation. Biological Psychology, 94(1), 90–105. http://doi.org/10.1016/j.biopsycho.2013.05.004 Burgess, N. (2006). Spatial memory: how egocentric and allocentric combine. Trends in Cognitive Sciences, 10(12), 551–557. http://doi.org/10.1016/j.tics.2006.10.005 Cruz-Neira, C., Sandin, D. J., & DeFanti, T. A. (1993). Surround-screen projection-based virtual reality. In Proceedings of the 20th annual conference on Computer graphics and interactive techniques - SIGGRAPH ’93 (pp. 135–142). New York, New York, USA: ACM Press. http://doi.org/10.1145/166117.166134 Dúll, A., & Pálfy, S. (2014). On Public Issues and Public Spaces-a Design Course Focusing on the Danube Bank in Budapest. Periodica Polytechnica. Architecture, 45(2), 47. Galati, G., Pelle, G., Berthoz, A., & Committeri, G. (2010). Multiple reference frames used by the human brain for spatial perception and memory. Experimental Brain Research, 206(2), 109–120. http://doi.org/10.1007/s00221-010-2168-8 Gramann, K., Müller, H. J., Schönebeck, B., & Debus, G. (2006). The neural basis of egoand allocentric reference frames in spatial navigation: Evidence from spatio-temporal coupled
current
density
reconstruction.
Brain
Research,
1118(1),
116–129.
http://doi.org/10.1016/j.brainres.2006.08.005 Hafting, T., Fyhn, M., Molden, S., Moser, M.-B., & Moser, E. I. (2005). Microstructure of a spatial
map
in
the
entorhinal
cortex.
Nature,
436(7052),
801–6.
http://doi.org/10.1038/nature03721 Hartley, T., Lever, C., Burgess, N., & O’Keefe, J. (2014). Space in the brain: how the 19
hippocampal formation supports spatial cognition. Philosophical Transactions of the Royal Society of London. Series B, Biological Sciences, 369(1635), 20120510. http://doi.org/10.1098/rstb.2012.0510 Howard, I. P., & Templeton, W. B. (1966). Human Spatial Orientation. John Wiley & Sons Ltd.
Retrieved
from
http://www.amazon.com/Human-Spatial-Orientation-Ian-
Howard/dp/0471416622 Jackson, R. E., & Cormack, L. K. (2007). Evolved navigation theory and the descent illusion. Perception
&
Psychophysics,
69(3),
353–62.
Retrieved
from
http://www.ncbi.nlm.nih.gov/pubmed/17672423 Klatzky, R. L. (1998). Allocentric and Egocentric Spatial Representations: Definitions, Distinctions, and Interconnections. In Spatial Cognition, An Interdisciplinary Approach to Representing and Processing Spatial Knowledge (pp. 1–18). London, UK: SpringerVerlag. http://doi.org/10.1007/3-540-69342-4_1 Krajcsi, A. (2016). CogStat. Egyszerűen használható, nyílt forrású statisztikai csomag. Retrieved from https://sites.google.com/site/cogstatprogram/ Kunz, L., Schröder, T. N., Lee, H., Montag, C., Lachmann, B., Sariyska, R., … MessingFloeter, P. C. (2015). Reduced grid-cell–like representations in adults at genetic risk for Alzheimer’s disease. Science, 350(6259), 430–433. Lashley, K. S., & Ball, J. (1929). Spinal conduction and kinesthetic sensitivity in the maze habit. Journal of Comparative Psychology, 9(1), 71. O’Keefe, J., & Dostrovsky, J. (1971). The hippocampus as a spatial map. Preliminary evidence from unit activity in the freely-moving rat. Brain Research, 34(1), 171–5. Retrieved from http://www.ncbi.nlm.nih.gov/pubmed/5124915 Proffitt, D. R., Stefanucci, J., Banton, T., & Epstein, W. (2003). The role of effort in perceiving distance. Psychological Science, 14(2), 106–112. http://doi.org/10.1111/14679280.t01-1-01427 Ravassard, P., Kees, A., Willers, B., Ho, D., Aharoni, D., Cushman, J., … Mehta, M. R. (2013). Multisensory control of hippocampal spatiotemporal selectivity. Science (New York, N.Y.), 340(6138), 1342–6. http://doi.org/10.1126/science.1232655 20
Siegel, A. W., & White, S. H. (1975). The development of spatial representations of largescale environments. Advances in Child Development and Behavior, 10, 9–55. Retrieved from http://www.ncbi.nlm.nih.gov/pubmed/1101663 Spiers, H. J., & Maguire, E. a. (2006). Thoughts, behaviour, and brain dynamics during navigation
in
the
real
world.
NeuroImage,
31(4),
1826–40.
http://doi.org/10.1016/j.neuroimage.2006.01.037 Taube, J. S., Muller, R. U., & Ranck, J. B. (1990). Head-direction cells recorded from the postsubiculum in freely moving rats. I. Description and quantitative analysis. The Journal of Neuroscience, 10(2), 420–435. Tolman, E. (1948). Cognitive maps in rats & in men. Psychological Review, 55(4), 189–208. http://doi.org/10.1037/h0061626 Vass, L. K., Copara, M. S., Seyal, M., Shahlaie, K., Farias, S. T., Shen, P. Y., & Ekstrom, A. D. (2016). Oscillations Go the Distance: Low-Frequency Human Hippocampal Oscillations Code Spatial Distance in the Absence of Sensory Cues during Teleportation. Neuron, 1–7. http://doi.org/10.1016/j.neuron.2016.01.045
21
