Probabilisztikus modellek V: Struktúra tanulás
Nagy Dávid
Statisztikai tanulás az idegrendszerben, 2015
•
volt szó a normatív megközelítésről
•
ezen belül a probabilisztikus modellekről
•
láttatok példákat az alkalmazásukról, főleg a percepció (azon belül a látás) kapcsán, ami épít a környezet modelljére
•
most azzal foglalkozunk részletesebben mikor a környezet modelljét is meg kell tanulni
ha ez lenne a környezet állapota, f
akkor mit figyelnék meg?
M
ha így működne a környezet,
g
és ez lenne a környezet állapota, f
akkor mit figyelnék meg?
•
tanuld meg felismerni a környezetedben levő tárgyakat
•
tanulj meg olvasni
•
hallás után tanulj meg egy nyelvet
•
tanulj meg fejben összeadni számokat
•
sakkjátszmák megfigyeléséből próbáld meg kitalálni a sakk szabályait
•
tanulj meg zongorázni
•
tanulj meg zenét írni
fogalmazzuk meg a problémát matematikai formában
Formal Learning Theory Computational Algorithmic Statistical
•
mi a következő szimbólum?
•
a kimenetek alapján próbáld meg kitalálni a program kódját
•
foglald össze a megfigyeléseket röviden
•
keresd meg azt az alteret ahol a megfigyelések lehetnek
•
találd meg a kimeneteket generáló valószínűségi eloszlást
•
mi a következő szimbólum?
•
a kimenetek alapján próbáld meg kitalálni a program kódját
•
foglald össze a megfigyeléseket röviden
•
keresd meg azt az alteret ahol a megfigyelések lehetnek
•
találd meg a kimeneteket generáló valószínűségi eloszlást
−1
3
7
11
?
“adj 4-et az előző számhoz”
−1
3
7
11
15
19
−1
3
7
11
-19.9
1043.8
3
“értékeld ki a
x 9 2 23 + x + 11 11 11
képletet az előző számnál”
−1
3
7
15
19
-19.9
1043.8
11
•
mi a következő szimbólum?
•
a kimenetek alapján próbáld meg kitalálni a program kódját
•
foglald össze a megfigyeléseket röviden
•
keresd meg azt az alteret ahol a megfigyelések lehetnek
•
találd meg a kimeneteket generáló valószínűségi eloszlást
−1
3
7
11 x3 9 2 23 + x + 11 11 11
−1
3
7
11
(Curry-Howard) tétel
a kiszámítását meg lehet adni képlettel
programot lehet rá írni
tétel
(kiszámítható) valószínűségi eloszlások halmaza
(kiszámítható) programok halmaza
•
mi a következő szimbólum?
•
a kimenetek alapján próbáld meg kitalálni a program kódját
•
foglald össze a megfigyeléseket röviden
•
keresd meg azt az alteret ahol a megfigyelések lehetnek
•
találd meg a kimeneteket generáló valószínűségi eloszlást
10101001101001101000010001001 01111101001001101001000010110 00111010110100110110000011011 11011010010101011101000110001 00001100100000001010010110011 10010001000100110011100010110 01001011011010110110001000110 00101100010001111011011100000 10110110011100101100010000001 11100111100010100101001010011 11111111110011010011011111011 01111111110111000100111011011 01110111000101001010100110001 00001010000000001010110000000 00110101001011010011001011000 00000000110010101010101001100 11000110001100011010011111000 10010010011000110111110000111 10100100000011100011110010010 11101100110111001100100111100 11110100001010000011000010111 10011001101101100001000010000
10101001101001101000010001001 01111101001001101001000010110 00111010110100110110000011011 11011010010101011101000110001 00001100100000001010010110011 10010001000100110011100010110 01001011011010110110001000110 00101100010001111011011100000 10110110011100101100010000001 11100111100010100101001010011 11111111110011010011011111011 01111111110111000100111011011 01110111000101001010100110001 00001010000000001010110000000 00110101001011010011001011000 00000000110010101010101001100 11000110001100011010011111000 10010010011000110111110000111 10100100000011100011110010010 11101100110111001100100111100 11110100001010000011000010111 10011001101101100001000010000
c 110101101110
összes lehetséges bemenet 00000000000 00000000001 00000000011
00001001101
11111111111
c 00000000000
00
00000000001
001
00000000011
010
00001001101
101010
11111111111
111111111…1111111111
00 001 010
101010
111111111…1111111111
00000000000 00000000001 00000000011
00001001101
11111111111
L(x)
x
11111111111
00001001101
00000000011
00000000001
00000000000
L(x)
különböző skála!
P(x)
x
Kraft egyenlőtlenség
valószínűségi eloszlások
lehetséges kódok (nyelvek)
találj a világot jól leíró modellt
találj nyelvet amin a tapasztalatok röviden leírhatóak
de mi a helyzet ha nincsenek gyakoriságok (nem véletlen a forrás)?
•
akkor is lehet beszélni tömöríthetőségről,
•
de a tömörítő algoritmus hosszát is figyelembe kell venni
c 00000000000
00
00000000001
001
00000000011
010
00001001101
101010
11111111111
111111111…1111111111
egy szimbólumsorozat Kolmogorov komplexitása a sorozatot előállító legrövidebb program hossza 10101010101010101 01010101010101010 1010101010101010
c
print "01" * 25
Kpython (1010..10) = 13
xkcd.com
|x|-K(x) a szimbólumsorozat tömöríthetősége Jól tömöríthető stringek •
1010101010101…10101010101010101010 |1010…10| - K(1010…10) = 50 - 13 = 37 314159265358979323846264338327…
•
(valószínűleg) rosszul tömöríthető stringek • •
97525725664912395333 65518543665389239742
preferáljuk azt a modellt ami nagyobb tömörítéshez vezet
Minimum Desciption Length principle
ekvivalens a probabilisztikus tanulással
•
mi a következő szimbólum?
•
a kimenetek alapján próbáld meg kitalálni a program kódját
•
foglald össze a megfigyeléseket röviden
•
keresd meg azt az alteret ahol a megfigyelések lehetnek
•
találd meg a kimeneteket generáló valószínűségi eloszlást
y
t=0
x
y
t=6
x
y
t=30
x
y
t=500
x
Im(z)
Re(z)
Im(z)
Re(z)
predikció
?
?
?
tömörítés
c
•
mi a következő szimbólum?
•
a kimenetek alapján próbáld meg kitalálni a program kódját
•
foglald össze a megfigyeléseket röviden
•
keresd meg azt az alteret ahol a megfigyelések lehetnek
•
találd meg a kimeneteket generáló valószínűségi eloszlást
−1
3
7
15
19
-19.9
1043.8
11
3
x 9 2 23 + x + 11 11 11
hány dobozt takar ki a fa?
Epicurus's principle of multiple explanations Ha több elmélet is tudja magyarázni a jelenségeket, tartsuk meg mindet.
Occam’s razor Ha több elmélet is tudja magyarázni a jelenségeket, preferáljuk az egyszerűbbeket.
Bayes-i model szelekció
ha ez lenne a környezet állapota,
akkor mit figyelnék meg?
w
ha ez lenne a környezet állapota,
D
akkor mit figyelnék meg?
M
ha így működne a környezet, 2. szint modell szelekció
w
és ez lenne a környezet állapota, 1. szint paraméterbecslés
D
akkor mit figyelnék meg?
M
2. szint modell szelekció
w
1. szint paraméterbecslés
D
M
2. szint modell szelekció
w
1. szint paraméterbecslés
D
w
1. szint paraméterbecslés
D
}
M
2. szint modell szelekció
w
1. szint paraméterbecslés
D
}
M
2. szint modell szelekció
automatic Occam’s razor
model likelihood
model likelihood
mi a valószínűsége a megfigyelt adathalmaznak, ha véletlenszerűen választjuk a paramétereket?
model likelihood
•
•
ha túl egyszerű a modell akkor kicsi valószínűséggel fogja az adatot generálni ha túl bonyolult akkor lehet finomhangolni, de átlagolni kell a lehetséges paraméterbeállítások felett
model likelihood
pm post pm prior
tip iku s
ad ath alm konkrét adathalmaz
az
ok
komputációs kísérlet
M
modell
✓
paraméterek
x
megfigyelt állapotváltozó
M
modell
✓
paraméterek
y
rejtett állapotváltozó
x
megfigyelt állapotváltozó
F
modell forma
S
modell struktúra
✓
paraméterek
y
rejtett állapotváltozó
x
megfigyelt állapotváltozó
F
modell forma
S
modell struktúra
✓
y
x
megfigyelt állapotváltozó
F
S
x
emberkísérlet
C1
C2
házi feladatokat még lehet beadni a szorgalmi időszak végéig (május 15) •
8 előadáshoz vannak feladatok
•
különböző pontokat érnek, ezek fent lesznek a honlapon (1-3 / feladat)
•
a jutalom a pontokkal arányos a vizsgán, a maximum pont 5-ös vizsgával egyenértékű
•
a vizsgaidőpontok és helyek látszanak?
•
aki nem ELTE-s és különleges igénye van az írjon emailt Misinek
•
őszi kurzus, általánosabb idegrendszeri modellezés: http://cneuro.rmki.kfki.hu/education/neuromodel
•
a journal clubjaink nyilvánosak és egyéb események: http://golab.wigner.mta.hu/events/
