Az idegrendszeri memória modelljei

Az idegrendszeri memória modelljei

A memória típusai ●

Rövidtávú ●

● ●

●

●

●

Working memory - az aktuális feladat Vizuális, auditórikus,... Prefrontális cortex, szenzorikus területek Kapacitás: 7 +-2 minta

Hosszútávú ●

Epizodikus, szemantikus

●

Technikailag: asszociatív

●

Temporális lebeny, hippokampusz

Interakció a rendszerek között

H. M. ●

●

●

●

●

Súlyos epilepsziája volt, amit a hippokampusz egy részének eltávolításával orvosoltak 1953-ban. Ettől kezdve elvesztette az epizodikus memóriaformáció képességét – a korábbi emlékei megmaradtak. A rövidtávú memóriája ép maradt, valamint a motoros tanulási képessége is. Megtanult pl. tükörben rajzolni. A térbeli memóriája erősen sérült. Bizonyítékot szolgáltatott a különböző memóriarendszerek létezésére.

Munkamemória modelljei ●

●

●

● ●

Rekurrens hálózati modellek, serkentő-gátló populációkkal Perzisztens aktivitás A kódoló populáció a jel beírása után magasabb rátával tüzel Előfeszített állapot A sejtek a beíráskor facilitált állapotba kerülnek, a kiolvasáskor szinkron tüzelés valósul meg Oszcillációs modell (később) Disztrakció: kis zavaró jelet ignorálni szeretnénk, nagyra viszont elromlik a memória

Perzisztens aktivitás

A majom prefrontális kérgében egyes sejtek megnövekedett aktivitást mutatnak bizonos stimulusok után a késleltetési szakaszban, ami meghatározza az adott választ is.

Szinaptikus modell ●

Szinaptikus facilitáció és depresszió dinamikája integrate and fire neuronokban

U −u j t   j u˙ j  t = U [ 1−u j  t ] ∑  t −t k  F k 1−x j  t  j x˙ j t= u j t x j t  ∑  t−t k  D k ●

Fixpont vagy oszcillációs dinamika

●

Több elem tárolása

 rec  ext  m V˙ i=−V i I i  tI i  t

I irec t=∑ Jij  t  ∑  t −t k j −D ij  j

k

Jij t =J ij⋅u j t−D ij ⋅x j t−D ij 

Asszociatív memória ●

Heteroasszociatív ●

●

Autoasszociatív ●

●

●

●

pl. hely-objektum Töredékes jelből az eredetit

Különbség a számítógép memóriája és az AM között: címzés módja Kapacitás: hány mintát tudunk eltárolni úgy, hogy azok visszahívhatók legyenek (többféle definíció) Stabilitás: minden mintára a legközelebbi tárolt mintát szeretnénk visszakapni

Attraktorhálózatok ●

Attraktorok típusai ●

Pont

●

Periodikus

●

Kaotikus

●

Vonzási tartományok

●

Realizáció: rekurrens neurális hálózatok

●

Attraktorok tárolása: szinaptikus súlyokon

●

●

Offline tanulás

●

Online tanulás

●

One-shot learning

Előhívás: konvergencia tetszőleges pontból egy fix pontba

Hopfield-hálózat ●

Asszociatív memória

●

Bináris MCP-neuronok

●

Minták tárolása: bináris vektorok

●

Szimmetrikus súlymátrix

●

●

●

Offline learning tanulandó minták:

{s1  s N } ●

Dale's law: egy sejt nem lehet egyszerre serkentő és gátló – ezt most megsértjük Rekurrens (dominánsan) hálózatok az agyban: hippokampusz CA3 régió, ...

1 W ij = N

N

∑n

n n

si s j

Hebbi szabály

Léptetési szabályok: szinkron és szekvenciális

x t 1=sgn  W x t − 

x

t 1 k

K

=sgn  ∑i W ik x i − k  t

A HN dinamikája ●

Nemlineáris rendszerek stabilitás-analízise: Lyapunov-függvény segítségével definiáljuk az állapotokhoz rendelhető energiát. Ha a függvény: ●

Korlátos

●

Belátható, hogy a léptetési dinamika mindig csökkenti (növeli)

Akkor a rendszer minden bemenetre stabil fix pontba konvergál. ●

● ●

Hopfield-hálózat Lyapunov-függvénye: 1 T E =− x W x − x 2 Attraktorok az eltárolt mintáknál, de más helyeken is A HN használható kvadratikus alakra hozható problémák optimalizációjára is

A HN kapacitása ●

Információelméleti kapacitás ●

A tárolandó mintákat tekintsük Bernoulli-eloszlású változók halmazának

P  s ni =1=P s in=0 =0.5 ●

Követeljük meg az egy valószínűségű konvergenciát a

a

lim n  ∞ P  s =sgn  Ws =1 ∀ a=1 M ●

Ekkor (sok közelítő lépéssel) megmutatható, hogy

N 2 log 2 N Összehasonlítás a CA3-mal M≈

●

●

●

Kb. 200000 sejt, kb. 6000 minta tárolható

Más becslések ●

figyelembevéve a minták ritkaságát

P  s ni =1=

M≈N

1 1  log 2 

Reprezentációs tanulás ● ●

Valószínűségi leírás 3féle dolgot tanulhatunk: csak predikció, kimenetek valószínűsége, underlying rejtett változók/dinamika

●

Explicit rejtett változós modellek

●

Implicit rejtett változós modellek

●

Modellösszehasonlítás

●

Becslési algoritmusok: EM

Boltzmann-gép ●

●

Eloszlások reprezentációja – mennyiségek közti statisztikai összefüggések Sztochasztikus állapotátmenet Pv

I =Wu Mv ●

t 1 a

1 =1= −I 1e

a

A hálózat határeloszlása Energia:

1 T T E  v =−v Wu v Mv 2

Boltzmann-eloszlás:

e−E  v  P  v = ∑v e −E  v 

Tanulás Boltzmann-géppel ●

●

Felügyelt tanulás, csak W-re, M analóg Hiba: Kullback-Leibler-divergencia a közelítendő és a megvalósított eloszlás között nem függ W-től P v∣u D KL [ P v∣u , P  v∣u , W ]=∑ v P v∣u ln

P v∣u , W 

a P  v∣u  -val súlyozott kimeneti összegzés helyett bemeneteke vett átlag: 〈 D KL 〉=− ●

1 m m ln P  v ∣u , W−K ∑ Ns

Gradient descent – egyetlen bemenetre ∂ ln P  v m∣u m , W  =v mi u mj −∑ v P  v∣um , W v i u mj ∂W ij

●

Delta-szabály – az összes lehetséges kimenetre való átlagot az aktuális értékkel közelítjük W ij W ij  w  v mi u mj −v i um u mj 

Két fázis: ●

a Boltzmann-eloszlásból

hebbi

Nem felügyelt D KL [ P u , P  u , W ]

anti-hebbi

Tanulás Boltzmann-géppel ●

●

Felügyelt tanulás, csak W-re, M analóg Hiba: Kullback-Leibler-divergencia a közelítendő és a megvalósított eloszlás között nem függ W-től P v∣u D KL [ P v∣u , P  v∣u , W ]=∑ v P v∣u ln

P v∣u , W 

a P  v∣u  -val súlyozott kimeneti összegzés helyett bemeneteke vett átlag: 〈 D KL 〉=− ●

1 m m ln P  v ∣u , W−K ∑ Ns

Gradient descent – egyetlen bemenetre ∂ ln P  v m∣u m , W  =v mi u mj −∑ v P  v∣um , W v i u mj ∂W ij

●

Delta-szabály – az összes lehetséges kimenetre való átlagot az aktuális értékkel közelítjük W ij W ij  w  v mi u mj −v i um u mj 

Két fázis: ●

a Boltzmann-eloszlásból

hebbi

Nem felügyelt D KL [ P u , P  u , W ]

anti-hebbi

Tanulás Boltzmann-géppel ●

●

Felügyelt tanulás, csak W-re, M analóg Hiba: Kullback-Leibler-divergencia a közelítendő és a megvalósított eloszlás között nem függ W-től P v∣u D KL [ P v∣u , P  v∣u , W ]=∑ v P v∣u ln

P v∣u , W 

a P  v∣u  -val súlyozott kimeneti összegzés helyett bemeneteke vett átlag: 〈 D KL 〉=− ●

1 m m ln P  v ∣u , W−K ∑ Ns

Gradient descent – egyetlen bemenetre ∂ ln P  v m∣u m , W  =v mi u mj −∑ v P  v∣um , W v i u mj ∂W ij

●

Delta-szabály – az összes lehetséges kimenetre való átlagot az aktuális értékkel közelítjük W ij W ij  w  v mi u mj −v i um u mj 

Két fázis: ●

a Boltzmann-eloszlásból

hebbi

Nem felügyelt D KL [ P u , P  u , W ]

anti-hebbi

Tanulás Boltzmann-géppel ●

●

Felügyelt tanulás, csak W-re, M analóg Hiba: Kullback-Leibler-divergencia a közelítendő és a megvalósított eloszlás között nem függ W-től P v∣u D KL [ P v∣u , P  v∣u , W ]=∑ v P v∣u ln

P v∣u , W 

a P  v∣u  -val súlyozott kimeneti összegzés helyett bemeneteke vett átlag: 〈 D KL 〉=− ●

1 m m ln P  v ∣u , W−K ∑ Ns

Gradient descent – egyetlen bemenetre ∂ ln P  v m∣u m , W  =v mi u mj −∑ v P  v∣um , W v i u mj ∂W ij

●

a Boltzmann-eloszlásból

Delta-szabály – az összes lehetséges kimenetre való átlagot az aktuális értékkel közelítjük W ij W ij  w  v mi u mj −v i um u mj 

Két fázis:

hebbi

anti-hebbi

Tanulás Boltzmann-géppel ●

●

Felügyelt tanulás, csak W-re, M analóg Hiba: Kullback-Leibler-divergencia a közelítendő és a megvalósított eloszlás között nem függ W-től P v∣u D KL [ P v∣u , P  v∣u , W ]=∑ v P v∣u ln

P v∣u , W 

a P  v∣u  -val súlyozott kimeneti összegzés helyett bemeneteke vett átlag: 〈 D KL 〉=− ●

1 m m ln P  v ∣u , W−K ∑ Ns

Gradient descent – egyetlen bemenetre ∂ ln P  v m∣u m , W  =v mi u mj −∑ v P  v∣um , W v i u mj ∂W ij

●

Delta-szabály – az összes lehetséges kimenetre való átlagot az aktuális értékkel közelítjük W ij W ij  w  v mi u mj −v i um u mj 

Két fázis: ●

a Boltzmann-eloszlásból

hebbi

Nem felügyelt D KL [ P u , P  u , W ]

anti-hebbi

Rejtett változós modellek x˙ = f ( x , u , θ u )+ϵ ϵ= Ρ (0, Σ ϵ ) y= g ( x , θ x )+ν ν =Ρ (0, Σ ν )

likelihood

posterior

p  y∣ , M  p∣ M  p∣ y , M = p  y∣M 

Predictive distribution:

p( y ' ∣θ , y , M )

prior

Evidence (marginal likelihood)

Iteratív tanulás

További olvasnivaló: C. M. Bishop: Pattern Recognition and Machine Learning Zoubin Ghahramani: Unsupervised Learning

Bayesian Brain ●

●

●

●

●

Az agy megvalósítja a Bayesiánus posterior becslését A prior az előző megfigyelésekből képzett posterior A posterior minden megfigyelés után priorrá válik Ha nincs input, a priort mintavételezzük Mérésekkel igazolható állatok különböző fejlődési szakaszaiban

Bayesian brain

Máté Lengyel, Gergő Orbán, József Fiser, Pietro Berkes