Obsah
Zrakový systém AIL087 – doprovodný materiál k přednášce Cyril Brom MFF UK, 2007
• • • • • • •
Oko, retina Jiné oči LGN Primární visuální kůra Pohyb očí Matematické modely Od V1 k PFC
Anatomie oka • Pracovní metafora: periferie robota • Zajímá nás zejména retina – která je „vzhůru nohama“
• Bear, 283 • Visuální pole oka • Bear, 288
Anatomie retiny • Fotoreceptory vs. neurony vs. glie – Tyčinky (černobílé) – cca 120 mil., 95% (člověk) (Shepherd, 232) – Čípky (barevné) – cca 5%
• Nerovnoměrné rozdělení – Bear, 291, 292 – – – –
Slepá skvrna Žlutá skvrna (200 000/mm2 – Shepherd, 232) Foveola (Shepherd, 237) – S čípky 1 mm = cca 3,5o (Bear, 299)
Funkce fotoreceptorů • Jas & barva, Kendel, 573 – objektivní (vs. subjektivní – Kendel, 574) – poskytnout „data“ pro co nejpřesnější odhad povrchové odrazivosti (Kendel, 575)
• Tyčinky – černobílé
Citlivost fotoreceptorů • Tyčinky: – 1 foton, ale pomalá odezva (max. cca 12Hz, „sumace“ fotonů přes cca 100 ms) (Kendel, 509) – větší „convergence ratio“ než čípky (a nejsou ve žl. skvrně) => horší rozlišení – na periferii až 1000 k 1 neuronu (Veselovský, 83)
• Čípky – – – – –
barevné, Bear, 296 pst. detekce fotonu vs. (populačně) intenzita odezvy složit z těchto křivek povrchovou odrazivost v daném bodě televize S, M, L (small, middle, long wave length)
• Čípky – desítky až stovky fotonů (Kendel, 509) – v noci „mimo provoz“, vidíme ČB – ve žl. skvrně až 1 k 1 neuronu (Veselovský, 83)
1
Jak to fotoreceptory dělají? • Žádný akční potenciál, od toho jsou neurony dále (blíže) v retině • Klidový potenciál cca -30mV (Bear, 293) – hyperpolarizace při světle až k cca -65 mV
• Adaptace světlo/tma – sensitivita na světlo vzroste/klesne 106 x – zornice jen cca 101 – 1) hyperpol. rychlá, ale díky Ca2+ při stejné intenzitě světla potenciál klesne opět k -30 mV – 2) po delším osvětlení změna odezvy receptoru (a la Weber law) (Kendel, 515)
Gangliové buňky • Spontánní aktivita! • Kruhové r. fields – kruhové centrum a okraj („surround“) – hlavní typy: • • • • •
ON-cells, OFF-cells (detekce kontrastu) - Kendel, 516 ON/OFF: zhruba půl na půl (Kendel, 517) fovea – centrum r. f. = pár minut (primáti), (Kendel, 517) okraj – centrum r. f.= 3-5o kontrast je klíčový! (Jas závisí zejm. na zdroji světla, ne tolik na osvětlovaném objektu.)
Neurony v retině • Hlavní typy – Bear, 289 – output: gangliové (Bear, 298) • cca 1,2 mil. axons (člověk), 1,8 mil (makak) (Shepherd, 225)
– interneurony: bipolární, amakrinní, horizontální – AP jen gangliové a některé amakrinní, jinak pozvolné změny membránového potenciálu (jako tyčinky a čípky) – celkem min. 80 typů nervových buněk (Gazzaniga, 281; 288)
Jak vzniká receptivní pole? • Detaily nejasné a jistě existuje více mechanismů, základní schéma je ale jasné (Kendel, 518) • Dělají to zejm. bipolární a horizontální buňky – Bear, 300 • Bipolární dále excitují gangliové buňky – gangliové „sčítají“ centra, ale i okolí
• ON/OFF: nezávislé axony („labeled lines“)
M a P gangliové buňky • Magno (velké, též parosol) vs. Parvo (malé, též midget – Gazzaniga, 282) • Různá rychlost reakce – Bear, 304 • M = 90%, P = 5% (Bear, 304) – ale (Gazzaniga, 281; 288): více než 20 druhů, z toho M a P jen 65%
• Kolik bipolárních excituje 1 gangliovou? – primáti: • v retině: 1 čípek : 1 pár bipol. buněk : centrum r.f. P gangliové buňky (Shepherd, 254; Kendel, 580) – Bear, 291, o. 9.14b • 20o: 10 čípků : centrum r.f. (každý čípek svou bipol. b.)
– kočka, ...:
Gangliové buňky - barva • Jen některé Parvo a !P!M jsou citlivé na různé vlnové délky – magno se většinou o vlnovou délku nestará
• Nejvíce z nich jsou „color-oponent cells“ • R+G- (L, M čípky), B+Y- (L, M, S čípky) – Kendel, 582 – u B*Y* méně zřetelný střed, zřejmě problém chromatické aberace
• Parvo nejen barva, ale i obecně změny jasu (Kendel, 581) • Magno ne na barvu a nejsou tak dobré, jako P, ani na kontrast; za to pohyb (Kendel, 580) – selektivní M léze (opice): stále vidí jemné detaily, ale zhoršení detekce rychlého pohybu (Koch, 62)
• širší r.f.
2
Gangliové buňky – jiné výstupy • Detekce změny osvětlení v celém r.f. (Kendel, 517) • Amakrinní buňky dále mění charakteristiky ON/OFF r.f.
Jiné typy očí
– např. M: orientace (Kendel, 521; starburst amacrine cells – Shepherd, 229, 32, 35) – ale moc se toho neví (cca 40 typů! – Shepherd, 228)
• Dnes: cca 20 různých vizuálních cest z gangl. buněk (Gazzaniga, 281)
Jiné typy očí
(Veselovský, 82-88)
Jiné typy očí • Specifika komorových očí:
• Evolučně: – světločivné buňky rozptýleny po těle (kroužkovci) – koncentrace svč. buněk (medúzy) – prohlubeň (detekce směru světla – ploštěnky) – váčkovitý tvar s malým vstupním otvorem (měkkýši) – komorové oko (hlavonožci, obratlovci) – ...
– více žlutých skvrn – jiná hustota receptorů na sítnici – jiný poměr tyčinek a čípků • př. denní vs. noční ptáci
– jiná intenzita odezvy na jinou část spektra • př. ultrafialové
– di/tetra/pentachromati • asi 2% mužů dichromati!
– jiný tvar/pohyblivost/umístění oka – ...
Jiné typy očí • Složné oči: – cca 104 – 105 ommatidií • cca 101 svč. buněk • vlastní čočka • nedá se natáčet, drážděno úzkým svazkem paprsků
– včelí oko:
Od retiny k V1
• 100 x menší rozlišovací schopnost (malá světelnost) • předměty z blízkosti 1-2 cm
– detaily: až 250-300 Hz (dle druhu a světelných podmínek) – velmi pomalý pohyb (krabi: 0,002o)
• Termoreceptory – infračervené záření – jamka (= lze detekovat směr) – př. chřestýš – teplotní rozdíly 0,005oC
3
Projekce z gangliových buněk
LGN •
• Na retině: top-down, left-right obraz • Člověk: přes 1 mil. axonů (zvukový nerv: cca 30 tis.) (Kendel, 523) – 90%: hlavní projekce do LGN – téměř 10% do superior colliculus (optic tectum) – orienting response, head movements – supraschiasmatic nucleus (hypothalamus) – biorytmy (Bear, 611) – pretectum – zornicový reflex (synchro obou očí => klinický význam) – Kendel, 528 – ...
6 oddělených vrstev – 2 x magnocelulární vrstvy (vstup: M gangliové buňky) – 4 x parvocelulární vrstvy (vstup: P gangliové buňky) – každé vlastní retinotopická mapa
– křížení v optical chiasma – Kendel, 524
• monokulární • kontralaterálního vis. pole (Kendel, 528)
– cca polovina mapy fovea a prostor kolem ní (Kendel, 528)
•
Intralaminární neurony
•
Hlavní projekce do V1 (optic radiation)
• • •
Malé projekce do vyšších kortexů, např. V2 (Koch, 221) Kendel, 529 Bear, 316 a 318
– vstup z !M!P; o funkci se toho moc neví (Kendel, 532) – Magno, Parvo, Konio dráhy
• U některých druhů slabý feedback do retiny (Shepherd, 231)
LGN neurony
K čemu je LGN?
(Kendel, 530)
• ON/OFF rec. fields velmi podobné jako na retině • M: – detekuje kontrast už 2% – menší prostorové a větší časové rozlišení než P
• ...se neví – pozornost? – predikce, kde bude stimulus? (Koch, 60)
• Vstupy do LGN: – může se lišit dle druhu – cca 10% vstupních terminálů z retiny, excitační (Shepherd, 318; Kendel, 532)
• P:
• driving - formují receptive fields
– detekuje kontrast už 10% – barva!
– cca 25% feedback zejm. z L6 zejm. z visuálního kortexu, excitační (BA17, 18, 19) (Shepherd, 318, 321) • tento feedback je cca 10x silnější než LGN->kortex
• Intralaminární:
– cca 25% z mozkového kmene; zejm. Ach, 5HT,... (locus coeruleus, parabrachial region,...) – cca 25% inhibiční; interneurony, reticular nucleus, – ...
– též ON/OFF, light/dark, color oponency (Bear, 317)
• Vrstvy v LGN se dají selektivně lézovat
V1 – základní informace
V1
• • •
Též striate cortex, BA17 (Kendel, 532) Tlustý cca 2 mm (Kendel, 532) 6 vrstvý, velmi široká vstupní vrstva 4 – Kendel, 328
• • •
Topografická mapa – Kendel, 532 V1 – asp. 150 mil. neuronů (Bednar, 8) makak: V1: 1100 mm2, MT: 55mm2 (Kendel, 497)
•
Laminární organizace – vstupy z různých vrstev LGN – Kendel, 533c – principální: pyramidy, excitační – cca 70% (Shepherd, 204) – interneurony: vesměs inhibiční
•
V1 protéza, 38 mikroelektrod (Koch, 110)
4
V1 – receptive fields • •
Ve vstupní 4C jako v retině a LGN, ale jinak vesměs jiné (Kendel, 533; Bear, 325) Orientation selectivity – z nich některé direction sensitive (pohyb, zejm. pokud vstup M) – monokulární a binokulární – 2D náčrtek – Marr
•
Barva – některé neurony napříč kortexem reagují na barvu, např. coloroponency, snad s výjimkou 4A a 4Ca – Kendel, 581 – nějvětší koncentrace v blobs (které nejsou v 4. vrstvách) • vesměs monokulární, kocentrické r.f. (Bear, 329)
•
Hubel a Wiesel: – Simple cells – Kendel, 534 – Complex cells – Bear, 329 • nemají jasné ON-OFF oblasti • integrace ze simple cells
V1 - sloupce • Orientace – Kendel, 538 – Neurony se stejnou orientací spojené – Kendel, 542 – Horizontální spoje: modifikace odpovědi neuronu i pro stimuly mimo jeho r. f. (Kendel, 543)
• Dominance L/R oka – Kendel, 540 – segregace až během vývoje (Gazzaniga, 86) – ve všech vrstvách (Kendel, 541), ale ve 3. poprvé i binokulární (Bear, 323) – postnatální deprivace, kritická perioda – Bear, 712
• Blobs – vstupy z Konio a z jiných částí V1 – Kendel 541, 533c
• Koncept hypercolumn
Okulomotorický aparát Okulomotorický aparát
• Hlavní cíl: udržet klíčový podnět v žl. skvrně • Orienting response: oko – nadřazený: hlava (head-movement system), horní část trupu, ... – „volná“ hierarchie: • srov. Gibsonovy sensorické systémy • srov. Brooks
• Z větší části nevědomé, evolučně starý • Nejjednodušší: kontroluje jen 12 svalů • Nyní: jen některé pohyby očí – inspirace pro robotiku
Oční svaly • Video, Bear • Hlavní pohyby (Kendel, 783): – sakády • rychlé, nelze feedback, 2. kompenzační sakáda (Koch, 63)
– – – – –
fixace smooth pursuit movement – Kendel, 784 vergence movement (souvisí též s akomodací čočky) kompenzace pohybů hlavy ...
• Kontrolováno nervy: – oculomotor III – trochlear IV – abducens VI
Horizontální sakády (zjednodušeně) • Jiný systém než vertikální sakády • Step-pulse funkce: abducens motor neuron – Kendel, 790 • Aparát v mozkovém kmeni: – „překlad“ signálu o tom, kam se má oko pohnout, do povelů pro okulomotorické svaly
5
Horizontální sakády (zjednodušeně) • Jak vzniká signál v motorickém neuronu? – Kendel, 791 – složení „burst neuron“ signálu a tonického signálu – tonický neuron „integruje“ rychlost pohybu oka během sakády, aby získal výslednou pozici • co by se stalo bez tonického neuronu?
Řízení sakád • Kde se berou povely pro neurony jádra kmene? • Top-down: volní, pozornost: PFC, PP (Koch, 64) • Bottom-up: saliency driven: S.C. • Superior colliculus (optic tectum)
– signál se propaguje do obou očí (klinický význam – jaký?) – inhibice opačného pohybu – inhibice „pro jistotu“ (omnipause neuron)
– Evolučně: klíčový uzel u ryb, plazů a obojživelníků (Koch, 63) – Zkratka do V2 přes pulvinar (blindsight)
Superior colliculus
Superior colliculus
• 3 S.C. vrstvy: – superficial layer – intermediate layer – deep layer
• Intermediate a deep layer Kendel, 793
• Superficial layer – vstup z gangliových buněk retiny a V1 topograficky (Koch, 63; Kendel, 792) – silnější odpověď, pokud do r.f. neuronu chce opice dělat sakádu; nesouvisí s pozorností (Kendel, 792) – výstup pulvinar, LPN z thalamu; odtud kortex a interm. vrstvy S.C.
– vstup z různých míst kortexu, př. sluchový, somatosensorického kortex; visuální topografická mapa, ale též odezva např. na sluchový signál (Kendel, 526) • „chci toho ptáka vidět i slyšet na stejném místě“
– vstup též z FEF a PP (Kendel, 794) – některé neurony mají „motorické pole“ – střílím, když tam chci sakádu • populační kódování • sakáda na dráždění elektrodou
– hlavním vstupem pro „burst neurons“
Superior colliculus • Rostral part S.C. (Kendel, 793) – „fixation zone“ – representace žl. skvrny – inhibice sakád (přes další části S.C. a před omnipause neurony)
Řízení sakád - kortex • Frontal eye field
Kendel, 794
– při sakádách na cíl, který je relevantní prováděnému úkonu – na cíl, pokud je cílem sakády
• Supplementary eye field – sakáda relativně od objektu
• Dorsolateral PFC – sakáda směrem k místu, kde si pamatuji, že byl objekt
• PP – pozornost, pohyb? – (S.C.jen sakády, v PP pozornost „nezáv.“ na sakádách)
• Basální ganglia...
6
Řízení sakád - poznámky • Vertikální sakády: mesencephalon – kombinace (Kendel, 792)
• Smooth pursuit – hraje roli i mozeček
• Vestibulo-okulární reflex
Deskriptivní matematické modely
– hlava a oko – vstup z vestibulárního aparátu – Kendel, 791 (Kendel, 811) • srov. Brooks
• Saccade suppression (Koch, 65) – “fill-in” – „fiktivní film”
Odhad odpovědi • Abbott II, 34, 2.45 • Lineární odhad odpovědi neuronu v čase t: – integrál stimulu přes receptivní pole, včetně historie, s kernelem (lineárním filtrem) jako váhou – sensitivita neuronu se může měnit v čase! – Abbott II, 17, 2.24
• Optimální kernel - výpočet z dat – firing rate-stimulus korelační fce (Abbott I, 19; II, 17)
• Lineárně separabilní časová a prostorová složka:
Retina a LGN • Gangliové buňky a LGN buňky: často rozdíl dvou gaussiánů (DoG): Abbott II, 34, 2.45 a s. 35, obr. 2.25 – není prostoro-časově lineárně separabilní
• LGN: detekce pohybu přes rec. pole – Abbott II, s. 37, 2.46 a obr. 2.26
• Bednar LGN: DoG (Bednar, 37)
– D( x, y, t ) = Dspace( x, y ) * Dtime( t )
V1 • Simple cells – detekce hrany: Gabory - Abbott II, str. 19 a 20, rce 2.27 a str. 22, obr. 2.12
• Změna r.f. v čase
Developmentální matematické modely
– time-space separable: Abbott II, 22, obr. 2.13 a 23, obr. 2.14 • co to detekuje? - Abbott II, 28, obr. 2.20 • neumí to směr!
– inseparable: Abbott II, 29, obr. 2.21 a 30, obr. 2.22
7
V1 – mapy • • •
Bednar, 35, 45 Hebbovo učení (inkrementálně) Gabor-like r.f.
V1 – mapy • Bednar – dominance očí – (Bednar, Springer, 106; Abbott, 303) • ale (Gazzaniga, 85) – fretka bez očí
– pohyb – (Bednar, Springer, 113) • tj. naučí se to „spatio-temporal Gabor-like“ r.f.
• Desítky modelů – např. i feature based modely (Abbott, 309) • vstup = ( x, y, ocularity, e.cos(f), e.sin(f) ) – e, f: síla orientace (=kontrast?), orientace
Dorsální a ventrální proud
Od V1 k PFC
• •
Koch, předsádka „Spojení“ v PFC
• •
Zpracování dopředné vs. s feedbackem: Biederman, sl. 18 Dorsální léze: Biederman, sl. 15
•
Typické vstupy/výstupy (Kendel, 328; Koch, 72) – – – – – –
Magno a parvo systém • Segregace Magno a Parvo systému (Kendel, 550) – selektivní M/P léze v LGN (Kendel, 551) • • • •
částečný překryv už ve V1 V4 snížená odpověď zhruba stejně na M i P MT snížená odpověď více na M dorsální spíše M, ventrální spíše oba
• Ventrální: bias pro fovea (Koch, 137)
podkorový vstup: do 4 podkorový výstup: zejm. z 5/6 projekce do následující (feedforward): zejm. z 3 do do zejm. 4 projekce do předchozí (feedback): z 5/6 do 1/2/6 též „na stejné úrovni“ a též komisurální též spoje v rámci vrstvy/podvrstvy/mezi podvrstvami
Od V1 k V4 • Stále retinotopické uspořádání (Koch, 134) • „Podoblasti“ V2 (Kendel, 549) – M vs. P systém • Zvětšují se receptivní pole • V2: – – – –
depth, motion, color, form (Koch, 135) end-stopped: krátké bary „illusory edges“ (ale trochu zřejmě i ve V1) – Kendel, 564 Koch, 137: některé neuro klíčové pro detekci figury vs. pozadí
• Důležitost featur: Biederman, sl. 51, 52 (geony)
8
V4, textury a barvy
Poznávání tváří
• Kombinace barvy a formy (Kendel, 564) • Některé neuro na barvu, ne na vlnovou délku (Koch, 137) • Opice bez V4: barvy celkem ok, trochu problémy s colorconstancy, větší problémy s vzorem textury a tvary (Kendel, 563) • Achromatopsia (čistě ČB vidění, ale tvary ok): u lidí léze ve fusiform gyrus; není zcela homologické V4 u opice – Kendel, 564; Koukolík, 354
• FFA; léze (typicky včetně okolí) = prosopagnosia (Koch, 149) – zřejmě jde ale o funkční souhru OFA a FFA (Koukolík II, 58; Koukolík II, inset 2)
• Ex. i oblasti aktivované na jiné podněty (domy, auta)? Nejasné, učení?, lokalistická debata – representace tváří a předmětů jsou ve ventrální kůře široce distribuované a vzájemně se překrývají (Koukolík, 57)
• Pozn. k fMRI: hemodynamická aktivita koreluje lépe se synamptickou aktivitou (release & uptake, např. vstup) než s firing-rate! (Koch, 135)
IT • Hlavní vstup z V4 – Kendel, 564 • Veliké r.f, typicky s fovea, někdy celé vis. pole (obě poloviny), poziční invariance – Kendel, 564 • Funkční podoblasti • Detekce featur, tvarů, jednoduchých relací mezi objekty, sem tam ruka, obličej z určitého úhlu – – – –
jde o komplexní objekt nebo relaci mezi featurami? Kendel, 565; 566; Koch, 150; Tanaka, 114; 116 proces zjišťování „optimálního“ stimulu: Yamane, obr. 2 „nad“ neuron: Yamane, obr. 4, 6a-f, 7a-d, 8a-g, 10a-c
MT • • •
MT/V5 – Koch, 139
Co je to pohyb? Sledovaný podnět se na retině příliš nehýbe („smooth-pursuit“) Koch, 144: reakce (feedforward) vs.motion awareness (reverberatory) R.f. (Kendel, 553) – o řád větší než ve V1 – téměř všechny detekují směr pohybu, jen zlomek je významněji ovlivněn barvou/tvarem, některé ale nejvíce reagují na barevný okraj – retinotopická organizace (Koch, 143) – některé neurony reagují na pattern motion (vs. r.f motion, Kendel, 554) – skutečný vs. ilusorní pohyb: waterfall illusion (Koch, 139) – střílení neuronů v MT koreluje s odpovědí opice při behaviorální úloze a odpověď opice ovlivní stimulace neuronů (Kendel, 558)
• Hlavní výstupy: perirhinal cortex, PFC, amygdala, striatum (BG), superior temporal sulcus,... (Tanaka, 110, 131)
MT
Posterior parietal cortex Koch, 146
• Akinetopsia: kompletní léze MT a okolí (Koch, 140) – Je pohyb „namalován“ na statický obrázek? – Opice, léze čistě v MT: rychle se funkce vrátí (Kendel, 557)
• Hlavní projekce: FEF, Sup. Col., MST, PP,... • MST – optical flow – malá léze: problém se sledováním objektu (Kendel, 556)
• Různé modality, zároveň ovlivněno motorickými povely • Pohyb zamýšlený během následujících vteřin • Kontrola sakád • Modulace retinotopických r.f. relativní pozicí oka k hlavě, příp. hlavy k ramenům • Silně modulováno pozorností • Léze: natáhnout se pro objekt, uchopit ho, ukázat na něj („afordance“); neglect
9
Rekapitulace
Pracovní paměť a senzorický systém
• Koch, 2. přední předsádka • Binding problem: Kendel, 567 – pozornost – “binding by synchrony” – stejný neuron různé vzorce pro různé featury (firing rate není tak důležitý)
• Visual perceptual priming – léze R occipital cortex: Eichenbaum, 390 • Delayed discrimination tasks – neurony anticipují – zhoršení paměti (Pasternak & Greenlee, Fig. 1)
Výpočetní modely • Riesenhuber, fig. 2 • O’Reilly – 237, V1 r. pole, efekt slabých laterálních spojů (240) – 244, vícevrstvý model, r.f. LGN->V2 (248), V4->out (250), posunování po „retině“ (252)
Konec
• Leonardis • Ullman • ...
10
