Szemmozgáskövetés: Bepillantás a mondatok megértésének folyamataiba
Káldi Tamás MTA NYTI, BME Pszichológia Doktori Iskola
Kérdések 1. Miért vizsgáljuk a szem mozgását?
2. Hogyan vizsgálhatjuk a szem mozgását? 3. Hogyan elemezzük a szemmozgás adatokat? 4. Két klasszikus kísérlet
Miért vizsgáljuk a szem mozgását? Pluribus intentus, minor est ad singula sensus. (Aki sokfelé figyel, semmire sem figyel igazán.)
Amikor figyelmünket valamire irányítjuk, minden mást háttérbe kell, hogy szorítsunk. Ezt hívjuk szelektív figyelemnek.
A látás élessége (1/’)
A látás sem kivétel [1],[2]
Vakfolt
Pozíció a retinán ()
A teljes élességű látás szöge: 2. Ez 64 cm-es távolságból egy 2,5 cm átmérőjű kör.
A látás sem kivétel [1],[2] Yarbus (1976) klasszikus kísérlete:
Máshová nézünk, ha másra figyelünk.
Figyeld meg a képet!
Figyeld meg a képet!
Gazdagok vagy szegények?
Figyeld meg a képet!
Hány évesek?
Gazdagok vagy szegények?
A látásról általában[1] Látásunk egy kis ‚foltban’ éles. Ahhoz, hogy valamit megfigyeljünk, rá kell iránytanunk a tekintetünket (fixációk). Egyik fixációtól a másikig el kell jutni (szakkádok). fixáció:
250 – 500 ms, van információfeldolgozás
szakkád:
20 – 33 ms, nincs információfeldolgozás
A vizuális észlelés során sok kis ‚mozaikból’ rakjuk össze a nagyképet.
Miért vizsgáljuk tehát a szem mozgását? Ha követni tudjuk, hogy valaki hová néz, azt is meg tudjuk állapítani, hogy mire irányítja a figyelmét.
Mivel a vizuális észlelés rövid szakkádok és fixácikók sorozatából áll, a figyelem fókuszát az idő függvényében is követni tudjuk.
Egy egyszerű példa Félbevágta az epret vagy a kivit.
Félbevágta az epret és a kivit.
Az epret és a kivit jelentése „egyszerűbb”, mint az epret vagy a kivit jelentése. ?
Az egyszerűbb esetben a nézések hamarabb esnek a jobb felső képnegyedbe.
Hogyan vizsgáljuk a szem mozgását? [5][6]
Tekercs + kontaktlencse:
Elektro-okulográfia:
Mágneses térben mérhető a tekercs elmozdulása.
A szem köré helyezett elektródákban mért potenciál változás alapján.
Optikai A szemről visszaverődő fény segítségével.
Az optikai módszer Monitor
Hangszórók Button-box
Infra-illuminátor & kamera Kamera
Illuminátor
Az optikai módszer
Az optikai módszer[7]
A pupilla tükröződése A szaruhártya tükröződése
Infravörös fény
A szaruhártya és a pupilla tükröződésének helyzetéből kiszámítható, hogy hová nézünk.
Adatfelvétel – néhány bemutatás
A szemmozgás adatok elemzése A kísérletekből származó legfontosabb szemmozgás adatok: Egy adott területre eső fixációk száma, ezen fixációk hosszának összege, vagyis a nézési idő, valamint ezek aránya a többi területhez viszonyítva.
Megkóstolta az almát és a körtét.
Megkóstolta az almát és a körtét.
A fixációk számának aránya (%)
A célképre eső nézések aránya a többihez képest
idő (1 egység = 20ms)
Megkóstolta az almát és a körtét.
A célképre eső nézések aránya a többihez képest
A fixációk számának aránya (%)
A versengő képre eső nézések aránya a többihez képest
idő (1 egység = 20ms)
Az ‚egyértelműbb’ mondat feldolgozása gyorsabb.
A fixációk számának aránya (%)
Félbevágta az epret és a kivit.
idő (1 egység = 20ms)
Az ‚egyértelműbb’ mondat feldolgozása gyorsabb.
Félbevágta az epret és a kivit.
A fixációk számának aránya (%)
Félbevágta az epret vagy a kivit.
idő (1 egység = 20ms)
Két klasszikus kísérlet Elménk a mondatmegértés során a mondat egyes szavai, vagy a mondat kontextusa alapján a mondat jelentésével kapcsolatos elvárásokat alakít ki.
Altmann és Kamide 1999[8] A mondatok megértése során egyes szavak (pl. igék) jelentése alapján elvárásaink lesznek arra nézvést, hogy miről teszünk állítást. Példa
Lehetséges folytatás a tortát
a kisvonatot
nem-prediktív A fiú meg fogja mozdítani … a tortát
? a kisvonatot
prediktív
A fiú meg fogja enni …
Prediktív esetben: valamit, amit meg lehet enni. Nem-prediktív esetben: valamit, amit meg lehet mozdítani.
Szó alapú elvárások enni a tortát
mozdítani a tortát
The boy will eat The boy will move
the the
cake. cake.
Trueswell[9] A kontextus befolyásolja a mondatok megértésének folyamatát. Vizsgált mondattípusok kertiösvény Put the frog
Trueswell[9] A kontextus befolyásolja a mondatok megértésének folyamatát. Vizsgált mondattípusok kertiösvény Put the frog
on the napkin
Trueswell[9] A kontextus befolyásolja a mondatok megértésének folyamatát. Vizsgált mondattípusok kertiösvény Put the frog
helyhatározó, vagy célhatározó ???
on the napkin
in the box.
A kontextus jól meghatározható időpillanatokban befolyásolja a mondatok megértésének folyamatát.
célhatározói értelmezést támogató kontextus
helyhatározói értelmezést támogató kontextus
Put the frog on the napkin ___ in the box. Feladat: „Helyezd el a békát az utasítás szerint!”
célhatározói értelmezést támogató kontextus (szalvétára)
helyhatározói értelmezést támogató kontextus (szalvétán lévő)
A fixációk számának aránya (%)
A célhatározót támogató kontextusban megnő a ‚helytelen’ célra eső nézések aránya.
Put the frog on the napkin in the box.
idő (1/30ms)
Összegzés A szemmozgáskövetés egy kifinomult módszer, mellyel valós időben követhetjük a tekintetet. A tekintet követéséből következtetni tudunk arra, hogy a kísérleti személy mikor mire irányítja figyelmét. Jól megtervezett kísérletekkel bepillantást nyerhetünk az elmében zajló nyelvi értelmezési folyamatokról. A bemutatott kísérletek tanulsága: A mondatfeldolgozás ideje megjósolható a mondat szerkezetének bonyolultságából. A megértés folyamán nyelvi, és nem nyelvi információkra hagyatkozva alakítjuk elvárásainkat, a lehetséges értelmezések közül ezek alapján ‚választunk’.
KÖSZÖNÖM A FIGYELMET!
[email protected]
Források [1] Michael D. (2015) The Nervous System in Action. Online anyag, elérhető: http://michaeldmann.net/ [2] Szteklács, J. (2014) A szemmozgás vizsgálatának lehetőségei az olvasás és a vizuális információfeldolgozás képességének a megismerésében. Anyanyelv-pedagógia, 2014. 3. Online anyag, elérhető: http://www.anyanyelvpedagogia.hu/cikkek.php?id=524 [3] Yarbus, A. L. (1967). Eye Movements and Vision. New York: Plenum Press. [4] Archibald, S. (2008) Ways of seeing. The Underground Summer. Issue 30. Online anyag, elérhető: http://www.cabinetmagazine.org/issues/30/archibald.php
[5] Duchowski, A. T. (2007) Eye Tracking Methodology. Theory and Practice. Springer. London [6] A Biopac Systems, Inc. honlapján elérhető online szemléltető anyag: http://www.biopac.com/curriculum/l10-electrooculogram-i/ [7] Popelka, S., Brychtova, A., Brus, J. & Voženílek, V. (2012) Advanced Map Optimalization Based on EyeTracking. Intech. Online anyag, elérhető: http://www.intechopen.com/books/cartography-a-tool-forspatial-analysis/advanced-map-optimalization-based-on-eye-tracking, DOI: 10.5772/46190. [8] Altmann, G. T. M., & Kamide, Y. 1999. Incremental interpretation at verbs: Restricting the domain of subsequent reference. Cognition 73: 247–264 [9] Trueswell, J. C., Sekerina, I., H., N., & Logrip, M. (1999). The kindergarten-path effect: Studying on-line sentence processing in young children. Cognition, 73, 89–134.
