Univerzita Karlova v Praze Matematicko-fyzikální fakulta

Univerzita Karlova v Praze Matematicko-fyzikáln´ı fakulta

´ PRACE ´ DIPLOMOVA

Vojtˇech Havránek

Umˇ el´ e neuronov´ e s´ıtˇ e a zpˇ etnovazebn´ e uˇ cen´ı

Katedra teoretické informatiky a matematické logiky Vedouc´ı diplomové práce: Doc. RNDr. Iveta Mrázová, CSc. Studijn´ı program: Informatika

Rád bych zde podˇekoval vˇsem, kteˇr´ı mi byli nápomocn´ı pˇri psan´ı této práce. Pˇredevˇs´ım dˇekuji Doc. RNDr. Ivetˇe Mrázové, CSc. za cenné rady a pˇripom´ınky. Dˇekuji také své rodinˇe za jej´ı podporu a trpˇelivost v dobˇe vzniku této práce.

Prohlaˇsuji, ˇze jsem svou diplomovou práci napsal samostatnˇe a v´ yhradnˇe s pouˇzit´ım citovan´ ych pramen˚ u. Souhlas´ım se zap˚ ujˇcován´ım práce. V Praze dne 7.3.2008

Vojtˇech Havránek 1

Obsah ´ 1 Uvod

5

2 Zpˇ etnovazebn´ e uˇ cen´ı

7

2.1

Princip zpˇetnovazebného uˇcen´ı . . . . . . . . . . . . . . . . . . . . . . . . .

7

2.2

Koneˇcn´ y Markovsk´ y rozhodovac´ı proces . . . . . . . . . . . . . . . . . . . .

8

2.3

Omezen´ı dynamického programován´ı . . . . . . . . . . . . . . . . . . . . . 10

2.4

Závˇereˇcné poznámky . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3 Neuronov´ e s´ıtˇ e

12

3.1

Umˇel´ y neuron . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

3.2

S´ıt’ zpˇetného ˇs´ıˇren´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

4 Pouˇ zit´ı neuronov´ ych s´ıt´ı ve zpˇ etnovazebn´ em uˇ cen´ı

21

4.1

Specifika zpˇetnovazebného uˇcen´ı . . . . . . . . . . . . . . . . . . . . . . . . 21

4.2

S´ıt’ s náhodn´ ymi zmˇenami . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

4.3

S´ıtˇe s modelem svˇeta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

4.4

4.5

4.3.1

Modeluj´ıc´ı s´ıtˇe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

4.3.2

Zvolit akci je tˇeˇzké . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

4.3.3

Backpropagation pro ˇr´ızen´ı . . . . . . . . . . . . . . . . . . . . . . . 30

Algoritmus TD(λ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 4.4.1

Pˇr´ınos TD-Gammonu . . . . . . . . . . . . . . . . . . . . . . . . . . 35

4.4.2

TD(λ) v nemarkovském prostˇred´ı . . . . . . . . . . . . . . . . . . . 36

4.4.3

Problém “strachu z neznáma” . . . . . . . . . . . . . . . . . . . . . 39

Pouˇzit´ı rekurentn´ı s´ıtˇe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

2

5 Experiment´ aln´ı ˇ c´ ast 5.1

5.2

´ Uloha dravce a koˇristi

47 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

5.1.1

Zadán´ı u ´lohy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

5.1.2

Mˇeˇren´ı u ´spˇeˇsnosti . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

5.1.3

S´ıt’ s náhodn´ ymi zmˇenami . . . . . . . . . . . . . . . . . . . . . . . 50

5.1.4

Modifikované TD(λ) . . . . . . . . . . . . . . . . . . . . . . . . . . 56

5.1.5

Schmidhuberova rekurentn´ı s´ıt’ . . . . . . . . . . . . . . . . . . . . . 61

5.1.6

Srovnán´ı testovan´ ych algoritm˚ u . . . . . . . . . . . . . . . . . . . . 67

Aplikace v robotice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 5.2.1

ˇ sená u Reˇ ´loha robotiky . . . . . . . . . . . . . . . . . . . . . . . . . 69

5.2.2

Specifika u ´lohy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

5.2.3

Pr˚ ubˇeh experimentu s robotem . . . . . . . . . . . . . . . . . . . . 73

6 Meze zpˇ etnovazebn´ eho uˇ cen´ı

76

6.1

Zpˇetnovazebné uˇcen´ı a stavov´ y prostor . . . . . . . . . . . . . . . . . . . . 76

6.2

Jak stanovit odmˇenu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77

6.3

Sloˇzitost dynamiky prostˇred´ı . . . . . . . . . . . . . . . . . . . . . . . . . . 79

7 Z´ avˇ er

81

A Knihovna neuronov´ ych s´ıt´ı Flexinets

88

A.1 Principy knihovny Flexinets . . . . . . . . . . . . . . . . . . . . . . . . . . 88 A.2 Tˇr´ıdy knihovny Flexinets . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 B Pouˇ zit´ y simul´ ator koˇ risti a dravce

91

B.1 Uˇzivatelské rozhran´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 B.2 Struˇcnˇe o implementaci simulátoru . . . . . . . . . . . . . . . . . . . . . . 92 B.2.1 Hierarchie objekt˚ u . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 B.2.2 Struktura programu

. . . . . . . . . . . . . . . . . . . . . . . . . . 92

C Obsah pˇ riloˇ zen´ eho CD

94

3

N´ azev pr´ ace: Umˇelé neuronové s´ıtˇe a zpˇetnovazebné uˇcen´ı Autor: Vojtˇech Havránek Katedra: Katedra teoretické informatiky a matematické logiky Vedouc´ı diplomov´ e pr´ ace: Doc. RNDr. Iveta Mrázov´ a, CSc. e-mail vedouc´ıho: [email protected] Abstrakt: Pˇri ˇreˇsen´ı sloˇzitých u ´loh strojového uˇcen´ı býv´ a ˇcasto obt´ıˇzné specifikovat pˇresný postup vedouc´ı k jejich správnému ˇreˇsen´ı. V praxi proto m˚ uˇze být výhodnˇejˇs´ı vyuˇz´ıt napˇr. zpˇetnovazebného uˇcen´ı, které vyˇzaduje jedinou informaci o ˇreˇsené u ´loze, a to odmˇenu u ´mˇernou vhodnosti akc´ı agenta. Ukazuje se, ˇze algoritmy zpˇetnovazebného uˇcen´ı pracuj´ıc´ı s neuronovými s´ıtˇemi mohou v ˇradˇe takových u ´loh dosáhnout dobrých výsledk˚ u. Dosaˇzené ’ výsledky mohou být lepˇs´ı, má-li neuronov´ a s´ıt schopnost modelovat prostˇred´ı nebo je-li rozˇs´ıˇrena o rekurentn´ı vazby. V práci ukazujeme, ˇze pro danou s´ıt’, která správnˇe predikuje odmˇenu, je nalezen´ı optimáln´ı akce v obecném pˇr´ıpadˇe NP-´ upln´ au ´loha. Popisujeme tˇri modely neuronových s´ıt´ı. Jedn´ım z nich je námi pˇrizp˚ usoben´ a varianta Suttonova algoritmu TD(λ) pro nemarkovské prostˇred´ı. Vˇsechny tˇri modely jsme d˚ ukladnˇe otestovali v námi vytvoˇreném simulátoru dravce a koˇristi. Nej´ uspˇeˇsnˇejˇs´ı z testovaných model˚ u - modifikovaný TD(λ) jsme následnˇe aplikovali pˇri ˇr´ızen´ı re´ alného mobiln´ıho robota. V práci se zároveˇ n zabýv´ ame vhodným zp˚ usobem odmˇen ˇov´ an´ı, biologickou opodstatnˇenost´ı zvaˇzovaných model˚ u neuronové s´ıtˇe, d˚ uleˇzitost´ı explorativn´ıch schopnost´ı algoritmu a mezemi pouˇzitelnosti zpˇetnovazebného uˇcen´ı. Souˇc´ ast´ı práce je knihovna neuronových s´ıt´ı napsan´ a v jazyku C++, ve které jsou popsané modely implementovány. Kl´ıˇ cov´ a slova: Dynamické neuronové s´ıtˇe, zpˇetnovazebné uˇcen´ı, robotika, Temporal Difference learning, prohled´ av´ an´ı Title: Artificial neural networks and reinforcement learning Author: Vojtˇech Havránek Department: Department of Theoretical Computer Science and Mathematical Logic Supervisor: Doc. RNDr. Iveta Mrázov´ a, CSc. Supervisor’s e-mail address: [email protected] Abstract: When solving complex machine learning tasks, it is often more practical to let the agent find an adequate solution by itself using e.g. reinforcement learning rather than trying to specify a solution in detail. The only information required for reinforcement learning is a reward that gives the agent reinforcement about the desirability of his actions. Our experiments suggest that good results can be achieved by reinforcement learning with online learning neural networks. The functionality of such neural network may be further extended by allowing it to model the environment and/or by providing it with recurrent connections. In this thesis, we show that for a given network predicting the reward, it is NP-complete to find the agent action that maximizes this reward. We describe three neural network models, one of them being an original modification of Sutton’s TD(λ) algorithm that extends its domain to non-Markovian environments. All three models were thoroughly tested with our predator-prey simulator. The most powerful of them, the modified TD(λ) was then applied to control of a real mobile robot. Simultaneously, we have discussed the principles of rewarding the agents, the biological plausibility of the algorithms, the importance of the exploration capabilities and general bounds of reinforcement learning. As a significant part of the thesis, a C++ neural networks library was developed and the described models were implemented. Keywords: Dynamic neural networks, reinforcement learning, robotics, Temporal Difference learning, exploration 4

Kapitola 1 ´ Uvod Umˇelá inteligence ˇcasto ˇreˇs´ı u ´lohy, ve kter´ ych se snaˇz´ıme nauˇcit agenta dosáhnout poˇzadovaného c´ıle urˇcitou sekvenc´ı akc´ı. Správná posloupnost akc´ı pˇritom m˚ uˇze b´ yt tak sloˇzitá, ˇze by bylo velmi komplikované ji pˇresnˇe formulovat a agentovi naprogramovat. ˇ Casto ani správnou posloupnost akc´ı vedouc´ıch k c´ıli neznáme. Dokáˇzeme ale posoudit, nakolik je dosaˇzen´ y v´ ysledek kvalitn´ı, nebo m˚ uˇzeme v pr˚ ubˇehu aktivity agenta posoudit, do jaké m´ıry se jeho ˇcinnost ub´ırá správn´ ym smˇerem. Pˇr´ıkladem takového agenta a u ´lohy m˚ uˇze b´ yt mobiln´ı robot - automatick´ y vysavaˇc, kterého chceme nauˇcit vyluxovat celou m´ıstnost. Naprogramovat robotovi konkrétn´ı trajektorii, po které se má m´ıstnost´ı pohybovat, by bylo pracné, a robot by nav´ıc byl pˇrizp˚ usoben jedné konkrétn´ı m´ıstnosti a v ostatn´ıch m´ıstnostech by mohl zabloudit. Vhodnou technikou v takové situaci m˚ uˇze b´ yt tzv. zpˇetnovazebné uˇcen´ı1 [2]. Zpˇetnovazebné uˇcen´ı pˇredstavuje jednu z metod strojového uˇcen´ı, pˇri které agentovi neposkytujeme informaci o tom, jak se má chovat, ale pouze mu prostˇrednictv´ım speciáln´ıho signálu, tzv. odmˇeny nebo téˇz zpˇetné vazby2 , dáváme informaci o tom, nakolik je jeho momentáln´ı aktivita ˇzádouc´ı. V pˇr´ıpadˇe robotického vysavaˇce bychom mohli agentovi v kaˇzdém okamˇziku udˇelit odmˇenu u ´mˇernou napˇr´ıklad objemu smet´ı, které v daném okamˇziku nasb´ıral. Problematika zpˇetnovazebného uˇcen´ı se pak zab´ yvá hledán´ım vhodn´ ych algoritm˚ u, které agentovi umoˇzn´ı naj´ıt správné ˇreˇsen´ı zadané u ´lohy pouze s vyuˇzit´ım informace o jeho vstupech, v´ ystupech a v´ yˇsi odmˇeny v kaˇzdém okamˇziku. Agent se tedy v jistém smyslu uˇc´ı z vlastn´ıch chyb. ˇ e organismy, zejména vyˇsˇs´ı ˇzivoˇcichové, jsou vybaveny vysokou schopnost´ı adaptace Ziv´ na vnˇejˇs´ı podm´ınky. Lidé a dokonce i lidoopové jsou schopni nauˇcit se velmi sloˇzitému chován´ı, aby dosáhli sv´ ych c´ıl˚ u. Je moˇzné, ˇze podstatná ˇca´st tohoto uˇcen´ı prob´ıhá zp˚ usobem podobn´ ym zpˇetnovazebnému uˇcen´ı. Proto je na m´ıstˇe otázka, zda lze s vyuˇzit´ım zpˇetnovazebného uˇcen´ı dosáhnout srovnateln´ ych v´ ysledk˚ u i u umˇel´ ych agent˚ u. Nejen z tohoto d˚ uvodu jsou zaj´ımav´ ym nástrojem zpˇetnovazebného uˇcen´ı umˇelé neuronové s´ıtˇe, které byly navrˇzeny podle vzoru nervové soustavy biologick´ ych organism˚ u. V této práci se budeme zab´ yvat právˇe pouˇzit´ım umˇel´ ych neuronov´ ych s´ıt´ı pro u ´ˇcely zpˇetnovazebného uˇcen´ı. Pˇri jejich aplikaci budeme kromˇe dosaˇzené u ´spˇeˇsnosti zvaˇzovat téˇz biologickou opodstatnˇenost pouˇzit´ ych model˚ u. 1 2

anglicky reinforcement learning anglicky reward respektive reinforcement

5

´ Uloha zpˇetnovazebného uˇcen´ı bude zámˇernˇe vymezena velmi obecnˇe. Lze ale oˇcekávat, ˇze ˇc´ım obecnˇejˇs´ı u ´lohy dokáˇze konkrétn´ı algoritmus zpˇetnovazebného uˇcen´ı ˇreˇsit, t´ım bude ménˇe efektivn´ı. Budeme tedy hledat urˇcit´ y kompromis mezi obecnost´ı a efektivitou algoritmu. Naˇs´ım c´ılem tedy nebude naj´ıt univerzáln´ı algoritmus, kter´ y by dokázal optimálnˇe vyˇreˇsit libovolnou u ´lohu zpˇetnovazebného uˇcen´ı. Naˇs´ım c´ılem bude naj´ıt algoritmus a model neuronové s´ıtˇe, kter´ y dává dostateˇcnˇe dobré v´ ysledky pro co nejˇsirˇs´ı podmnoˇzinu u ´loh, se kter´ ymi se v praxi m˚ uˇzeme setkat. Mimo hledán´ı vhodného algoritmu se budeme téˇz zab´ yvat otázkou, jak´ ym zp˚ usobem je vhodné odmˇen ˇovat, abychom agentovi co nejv´ıce usnadnili hledán´ı ˇreˇsen´ı. Metodou, která je ˇcasto alternativou k pouˇzit´ı zpˇetnovazebného uˇcen´ı, jsou tzv. genetické algoritmy[6]. Tˇemi se v této práci zab´ yvat nebudeme. V následuj´ıc´ı kapitole jsou formálnˇe zavedeny pojmy z oblasti zpˇetnovazebného uˇcen´ı a pˇredstaveny základn´ı algoritmy zpˇetnovazebného uˇcen´ı. V kapitole 3 jsou pak zavedeny pojmy z oblasti neuronov´ ych s´ıt´ı a popsán algoritmus zpˇetného ˇs´ıˇren´ı. Kapitola 4 se nejprve zab´ yvá moˇznostmi pouˇzit´ı neuronov´ ych s´ıt´ı pro zpˇetnovazebné uˇcen´ı obecnˇe, poté popisuje vybrané konkrétn´ı modely neuronov´ ych s´ıt´ı a algoritmy, které s nimy pracuj´ı. V kapitole 5 jsou pak popsány experimenty se simulátorem dravce a koˇristi a experiment z oblasti robotiky, ve kter´ ych byly tyto algoritmy otestovány. V kapitole 6 pak srovnáváme zpˇetnovazebné uˇcen´ı s u ´lohou prohledáván´ı stavového prostoru a z tohoto srovnán´ı vyvod´ıme urˇcité doporuˇcen´ı, jak vhodnˇe stanovit odmˇenu. Dále v této kapitole uvaˇzujeme o mez´ıch pouˇzitelnosti metody zpˇetnovazebného uˇcen´ı. V závˇeru pak shrneme pˇr´ınos této práce a naznaˇc´ıme moˇznosti jej´ıho dalˇs´ıho pokraˇcován´ı. Souˇcást´ı práce je téˇz autorem vyvinutá knihovna funkc´ı pro práci s neuronov´ ymi s´ıtˇemi a simulátor dravce a koˇristi, které jsou pˇriloˇzeny k práci na samostatném CD. Popis tohoto software a popis obsahu pˇriloˇzeného CD lze nalézt v pˇr´ılohách v závˇeru této práce.

6

Kapitola 2 Zpˇ etnovazebn´ e uˇ cen´ı 2.1

Princip zpˇ etnovazebn´ eho uˇ cen´ı

Definujme nyn´ı potˇrebné pojmy preciznˇeji. Máme dáno prostˇred´ı a v nˇem agenta, kter´ y s prostˇred´ım interaguje. Agentem m˚ uˇze b´ yt napˇr´ıklad poˇc´ıtaˇcov´ y program, robot nebo ˇ povaˇzujeme za diskrétn´ı a zaˇc´ınaj´ıc´ı od okamˇziku 0. V kaˇzdém ˇziv´ y organismus. Cas ˇcasovém okamˇziku t dostává agent na vstup potenciálnˇe ne´ uplnou informaci o stavu prostˇred´ı st (dále jen “stav”) z mnoˇziny moˇzn´ ych stav˚ u S a zasahuje do prostˇred´ı vykonán´ım akce at z mnoˇziny provediteln´ ych akc´ı A(st ), ˇc´ımˇz se dostává do stavu st+1 . Stav s0 naz´ yváme poˇca´teˇcn´ı. Mohou existovat tzv. koncové stavy s ∈ S, pro nˇeˇz je mnoˇzina A(s) prázdná a v nichˇz ˇcinnost agenta konˇc´ı. V´ ysledek agentovy akce je obecnˇe nedeterministick´ y, protoˇze m˚ uˇze záviset na informac´ıch o prostˇred´ı, které nejsou souˇcást´ı agentova vstupu s, a nav´ıc prostˇred´ı samo se m˚ uˇze chovat stochasticky. Ve stavu s dostává agent 1 odmˇenu r(s) ∈ R, coˇz je ˇc´ıslo ohodnocuj´ıc´ı u ´spˇeˇsnost agenta2 . Odmˇena r(s) m˚ uˇze b´ yt i záporná, coˇz znaˇc´ı, ˇze stav s je neˇzádouc´ı. Záporná odmˇena se naz´ yvá trest. Odmˇenu z´ıskanou v ˇcase t znaˇc´ıme rt a plat´ı rt = r(st ). Necht’ se agent nacház´ı ve stavu st , do kterého se dostal pˇres stavy s0 , s1 , . . . , st−1 vykonán´ım akc´ı a0 , a1 , . . . , at−1 . Potom pravdˇepodobnost, ˇze po vykonán´ı akce at se agent dostane do stavu s, znaˇc´ıme: P r{st+1 = s | st , at , st−1 , at−1 , . . . , s0 , a0 }

(2.1)

ˇ ıd´ı se Agent m˚ uˇze, ale nemus´ı m´ıt moˇznost si uchovávat sv˚ uj vnitˇrn´ı stav (pamˇet’). R´ nˇejak´ ym algoritmem. K formalizaci algoritmu, kter´ y ˇr´ıd´ı jeho chován´ı, pouˇz´ıváme pojem strategie3 . Strategie π je funkce, která kaˇzdému stavu s ∈ S pˇriˇrad´ı nˇejakou proveditelnou agentovu akci a ∈ A(s). 1

anglicky reward Odmˇenu m˚ uˇzeme alternativnˇe definovat jako funkci r(s, a) oznaˇcuj´ıc´ı odmˇenu, kterou agent dostane pˇri vykonán´ı akce a ve stavu s. Formalismy jsou vzájemnˇe ekvivalentn´ı. Lze totiˇz poloˇzit r(s, a) = r(s0 ), ale pˇreveden´ı u ´lohy pouˇz´ıvaj´ıc´ı r(s, a) na námi pouˇz´ıvan´ y formalismus m˚ uˇze vyˇzadovat rozdˇelen´ı jednoho stavu s na v´ıce r˚ uzn´ ych stav˚ u v tom pˇr´ıpadˇe, ˇze pˇri r˚ uzn´ ych zp˚ usobech, jak se dostat do stavu s, dostává agent r˚ uznou odmˇenu. 3 anglicky policy 2

7

Naˇs´ım c´ılem je naj´ıt pro agenta takovou strategii, kterou z´ıská co moˇzná nejvˇetˇs´ı kumulativn´ı odmˇenu4 2

R = r0 + γr1 + γ r2 + . . . = r0 +

∞ X

γ k rk ,

(2.2)

k=1

kde 0 ≤ γ ≤ 1 je pevnˇe zvolená konstanta, tzv. discount factor. V extrémn´ım pˇr´ıpadu, kdy γ = 0, bude agent motivován vykonávat takové akce, které pˇrinesou co nejvyˇsˇs´ı okamˇzitou odmˇenu. Naopak pro vyˇsˇs´ı γ bl´ızké jedniˇcce bude agent pˇrisuzovat vˇetˇs´ı v´ yznam i odmˇenám, které z´ıská pozdˇeji. Pokud nen´ı zaruˇceno, ˇze agent ˇcasem dospˇeje do koncového stavu, mˇelo by platit, ˇze γ < 1 a v´ yˇse odmˇeny r by mˇela b´ yt omezená, aby byl problém dobˇre definován. Optimáln´ı strategi´ı je taková strategie, která pˇrináˇs´ı maximáln´ı moˇznou kumulativn´ı ´ odmˇenu. Ulohu jsme ale definovali velmi obecnˇe, a proto by bylo v ˇradˇe pˇr´ıpad˚ u nalezen´ı ˇ optimáln´ı strategie pˇr´ıliˇs tˇeˇzké. Casto nám vˇsak bude postaˇcovat strategie, která pˇrináˇs´ı “dostateˇcnˇe vysokou” kumulativn´ı odmˇenu. V obecném pˇr´ıpadˇe zpoˇca´tku agent nemá znalosti o ˇreˇsené u ´loze a nezná pravdˇepodobnost v´ ysledk˚ u sv´ ych akc´ı. Mus´ı se nauˇcit maximalizovat odmˇenu jen z vlastn´ı zkuˇsenosti. Agent je v podobné situaci jako pokusná myˇs v labyrintu, která je v c´ıli odmˇenˇena potravou, zat´ımco dostane elektrick´ y ˇsok, zvol´ı-li ˇspatnou cestu. Poznamenejme, ˇze hranice mezi agentem a prostˇred´ım se nemus´ı shodovat s fyzickou hranic´ı agentova tˇela. Za souˇca´st agenta povaˇzujeme pouze to, co spadá pod agentovu v´ yhradn´ı kontrolu. Speciálnˇe, systém poskytuj´ıc´ı agentovi odmˇenu nen´ı jeho souˇcást´ı. Napˇr´ıklad je-li souˇca´st´ı robota i obvod, kter´ y ze senzor˚ u poˇc´ıtá v´ yˇsi odmˇeny, nepovaˇzujeme jej za souˇca´st agenta, ale sp´ıˇse souˇca´st prostˇred´ı. Pˇ r´ıklad: Agentem je robot, jehoˇz c´ılem je uklidit odpadky v m´ıstnosti. Stav s je informace, kterou robot zaznamená sv´ ymi senzory. Moˇzné akce jsou zmˇena smˇeru pohybu robota, zmˇena rychlosti, pohyb konˇcetin. Pokaˇzdé, kdyˇz robot vyhod´ı nˇejak´ y odpad do koˇse, dostane odmˇenu. V´ ysledek robotov´ ych akc´ı je nejist´ y, pˇredmˇety mu mohou z konˇcetiny vyklouznout, kolemjdouc´ı ˇclovˇek m˚ uˇze odhodit dalˇs´ı odpadky, apod. Robot nen´ı zpoˇcátku vybaven programem na ukl´ızen´ı, pouze nˇejak´ ym algoritmem, podle kterého se ukl´ızet uˇc´ı.

2.2

Koneˇ cn´ y Markovsk´ y rozhodovac´ı proces

K v´ yˇse uvedenému formalismu mohou b´ yt pˇridány dalˇs´ı pˇredpoklady, coˇz umoˇzn ˇuje ˇ snadnˇejˇs´ı ˇreˇsen´ı problému. Casto pˇredpokládáme, ˇze mnoˇziny S a A(s) jsou koneˇcné a ˇze prostˇred´ı se chová jako tzv. Markovsk´ y rozhodovac´ı proces (Markov decision process). Pro Markovsk´ y rozhodovac´ı proces plat´ı tzv. Markovská podm´ınka5 , totiˇz ˇze pravdˇepodobnost, ˇze akce at ve stavu st povede ke stavu st+1 , nen´ı závislá na historii pˇredchoz´ıch stav˚ u, vstup˚ u a odmˇen: ozn.

P r{st+1 = s | st , at , st−1 , at−1 , . . . , s0 , a0 } = P r{st+1 = s | st , at } = P rat {st , s} 4 5

anglicky cumulative reward nebo téˇz return Markov property

8

(2.3)

Plat´ı-li Markovská podm´ınka, agent nepotˇrebuje ˇzádnou pamˇet’, protoˇze by pro jeho rozhodován´ı nemˇela ˇza´dn´ y pˇr´ınos. Pˇ r´ıklad: Agent je program hraj´ıc´ı dámu. Stavem s je pozice kamen˚ u na hrac´ı desce. Moˇzné akce jsou pˇr´ıpustné tahy. Agent dostává menˇs´ı odmˇenu za vzet´ı soupeˇrova kamene nebo z´ıskán´ı dámy, zápornou odmˇenu (trest) za ztrátu kamene, velkou odmˇenu za v´ yhru partie a velk´ y trest za prohru partie. Jedná se o Markovsk´ y rozhodovac´ı proces, nebot’ informace o tom, jak vypadala hrac´ı deska v pˇredchoz´ıch taz´ıch, nemá ˇza´dn´ y pˇr´ınos pro pˇredpovˇed’ dalˇs´ıho v´ yvoje partie. To ale plat´ı pouze v pˇr´ıpadˇe, kdy neuvaˇzujeme moˇznost odhadnout z historie chován´ı soupeˇre. Pro ˇreˇsen´ı Markovského rozhodovac´ıho procesu lze pouˇz´ıt metody tzv. dynamického programován´ı[2], které postupnˇe zlepˇsuj´ı nejlepˇs´ı nalezenou strategii π, aˇz nakonec konverguj´ı k optimáln´ı strategii π ∗ . Tyto metody pracuj´ı s funkc´ı V , která pro danou strategii π ohodnocuje kaˇzd´ y stav s. Vπ (s) je oˇcekávaná kumulativn´ı odmˇena, kterou agent z´ıská, pokud zaˇcne ve stavu s a pokraˇcuje podle strategie π. V ∗ (s) = Vπ∗ (s) je funkce, která kaˇzdému stavu pˇriˇrazuje kumulativn´ı odmˇenu, kterou agent z´ıská, pokud bude vycházet ze stavu s a ˇr´ıdit se optimáln´ı strategi´ı. Plat´ı tzv. Bellmanova rovnice: X Vπ (s) = r(s) + γ (P rπ(s) {s, s0 }Vπ (s0 )) (2.4) s0 ∈ S

Metody dynamického programován´ı si typicky uchovávaj´ı nejlepˇs´ı dosud nalezenou strategii π a j´ı odpov´ıdaj´ıc´ı funkci V v tabulce hodnot. Tyto hodnoty iterativnˇe upravuj´ı s vyuˇzit´ım 2 pˇredpis˚ u: Ã ! X π(s) ← arg max P ra {s, s0 }V (s0 ) (2.5) a

s0 ∈ S

V (s) ← r(s) + γ

X

P rπ(s) {s, s0 }V (s0 )

(2.6)

s0 ∈ S

Tyto kroky se opakuj´ı v poˇrad´ı, které se r˚ uzn´ı mezi jednotliv´ ymi metodami tak, aby byly aktualizovány hodnoty V a π pro vˇsechny stavy. Aktualizace prob´ıhá do té doby, dokud se aktualizované hodnoty neustál´ı. Potom π konverguje k π ∗ a V konverguje k V ∗ . Mezi tyto metody patˇr´ı tzv. “Policy iteration”, pˇri kterém stˇr´ıdavˇe provád´ıme jednou prvn´ı krok pro vˇsechny stavy a poté opakujeme krok 2, dokud se hodnoty V mˇen´ı. Dále sem patˇr´ı metoda “Value iteration”. Pˇri “Value iteration” si nepotˇrebujeme ukládat strategii π do tabulky, nebot’ se jej´ı hodnota vˇzdy odvod´ı podle potˇreby. Upravujeme tedy pouze funkci V , a to dle pˇredpisu: Ã ! X V (s) ← r(s) + γ max P ra {s, s0 }V (s0 ) (2.7) a

s0 ∈ S

Pouˇzit´ı tˇechto metod vˇsak vyˇzaduje, abychom pˇredem znali pravdˇepodobnosti v´ ysledk˚ u akc´ı agenta. V pˇr´ıpadˇe, ˇze je neznáme, m˚ uˇzeme pouˇz´ıt alternativn´ı metodu, která se naz´ yvá Q-uˇcen´ı[20]. Q-uˇcen´ı pouˇz´ıvá m´ısto funkce V funkci Q, která ohodnocuje vˇsechny dvojice stav-akce. Hodnota Qπ (s, a) oznaˇcuje oˇcekávanou kumulativn´ı odmˇenu, 9

kterou agent z´ıská, pokud nejprve vykoná ve stavu s akci a, a potom pokraˇcuje dle strategie π. Hodnota Q∗ (s, a) = Qπ∗ (s, a) oznaˇcuje oˇcekávanou kumulativn´ı odmˇenu pˇri pouˇzit´ı optimáln´ı strategie ve stavu s. Podobnˇe jako pro Vπ (s) plat´ı i pro Qπ (s, a) Bellmanova rovnice: X X Qπ (s, a) = r(s) + γ (P ra {s, s0 }.Vπ (s0 )) = r(s) + γ (P ra {s, s0 }.Qπ (s0 , π(s0 ))) (2.8) s0 ∈ S

s0 ∈ S

Agent se potom uˇc´ı pˇr´ımo bˇehem (simulované) interakce s prostˇred´ım, takzvanˇe online viz dále. Ve stavu st z´ıská odmˇenu rt vykoná akci a, která ho pˇrenese do stavu st+1 , a poté uprav´ı hodnotu Q podle vzorce: Q(st , at ) ← Q(st , at ) + αt (rt + γ max Q(st+1 , a) − Q(st , at )), a

(2.9)

kde αt je parametr uˇcen´ı, 0 ≤ αt ≤ 1. Je dokázáno[20], ˇze s rostouc´ım t konverguje Q k Q∗ pokud plat´ı vˇsechny z následuj´ıc´ıch podm´ınek: • Pro kaˇzdou akci a pouˇzitelnou ve stavu s je k dispozici neomezen´ y poˇcet pozorován´ı. • Posloupnost αt jde monotónnˇe shora k nule. P • t αt = ∞

2.3

Omezen´ı dynamick´ eho programov´ an´ı

Popsané metody zpˇetnovazebného uˇcen´ı reprezentuj´ı odhady funkc´ı V respektive Q pomoc´ı tabulky hodnot, jejich pamˇet’ové nároky jsou proto u ´mˇerné poˇctu moˇzn´ ych stav˚ ua poˇctu provediteln´ ych akc´ı agenta. I kdyˇz je tento poˇcet koneˇcn´ y, b´ yvá ˇcasto tak velk´ y, ˇze vyluˇcuje praktické pouˇzit´ı tˇechto metod. Má-li napˇr´ıklad robot n senzor˚ u, z nichˇz kaˇzd´ y n m˚ uˇze b´ yt v nˇekterém z m moˇzn´ ych stav˚ u, je celkov´ y poˇcet moˇzn´ ych stav˚ u robota m . Poˇcet moˇzn´ ych stav˚ u agenta tedy roste exponenciálnˇe s poˇctem senzor˚ u, a velmi snadno se tak dostaneme k poˇctu stav˚ u, pˇri kterém budou zmiˇ nované algoritmy dynamického programován´ı nepouˇzitelné. Nav´ıc kromˇe pamˇet’ové nároˇcnosti s poˇctem stav˚ u a provediteln´ ych akc´ı roste i ˇcas potˇrebn´ y ke konvergenci algoritmu. Tento problém se nˇekdy oznaˇcuje jako Bellmanovo proklet´ı dimensionality. Existuj´ı nicménˇe algoritmy, které pouˇz´ıvaj´ı kompaktn´ı reprezentaci znalost´ı - snaˇz´ı se predikované hodnoty V (s) pˇribl´ıˇzit pomoc´ı vhodné dostateˇcnˇe obecné, ale krátce popsatelné funkce, napˇr. pomoc´ı nˇejaké kombinace pˇr´ıznak˚ u odvozen´ ych z agentov´ ych vstup˚ u nebo pomoc´ı neuronové s´ıtˇe. Pˇr´ıkladem takového algoritmu je Sutton˚ uv TD(λ). Tento algoritmus pouˇzil Gerald Tesauro ve svém TD-Gammonu[19], programu pro hran´ı hry Backgammon, kter´ y se na zaˇca´tku devadesát´ ych let témˇeˇr vyrovnal lidsk´ ym ˇsampion˚ um (viz n´ıˇze). Pˇredpoklady pro pouˇzit´ı v´ yˇse uveden´ ych algoritm˚ u jsou nav´ıc velmi omezuj´ıc´ı. Agent obvykle nedostává na vstupu kompletn´ı reprezentaci stavu prostˇred´ı, ale “vid´ı jen jeho ˇca´st”. Ke správné predikci v´ ysledku agentovy akce proto m˚ uˇze b´ yt potˇrebná informace 10

o vstupech, které agent pozoroval v minulosti. V tom pˇr´ıpadˇe uˇz ale neplat´ı Markovská podm´ınka a agent potˇrebuje pro kvalitn´ı rozhodován´ı také nˇejak´ y vnitˇrn´ı stav, kter´ y zachycuje informaci o minul´ ych rozhodnut´ıch a pozorován´ıch. Právˇe techniky vyuˇz´ıvaj´ıc´ı umˇelé neuronové s´ıtˇe by ale mohly b´ yt vhodné i v situac´ıch, kde Markovská podm´ınka neplat´ı. Pˇ r´ıklad: Uvaˇzme robota, kter´ y se uˇc´ı hrát fotbal. Nahraje spoluhráˇci a otoˇc´ı se smˇerem k soupeˇrovˇe bránˇe. V tu chv´ıli ztrat´ı z dohledu m´ıˇc. Pokud si v pamˇeti neuchovává, ˇze m´ıˇc drˇz´ı spoluhráˇc, tˇeˇzko se m˚ uˇze rozhodnout, zda pokraˇcovat smˇerem k soupeˇrovˇe bránˇe, a nebo se stáhnout k obranˇe brány vlastn´ı.

2.4

Z´ avˇ ereˇ cn´ e pozn´ amky

Nˇekteré problémy zpˇetnovazebného uˇcen´ı je v praxi moˇzné ˇreˇsit tak, ˇze u ´lohu necháme mnohokrát odsimulovat, abychom agenta nauˇcili vhodnou strategii. Kdyˇz je pak nauˇcená strategie uspokojivá, uˇcen´ı zastav´ıme a nalezenou strategii nasad´ıme. Tento tzv. offline zp˚ usob uˇcen´ı ale nemus´ı b´ yt pouˇziteln´ y pro jiné problémy. Potom mus´ı doj´ıt k uˇcen´ı online (za bˇehu) a my mus´ıme rozhodnout, kolik prostˇredk˚ u vynaloˇz´ı agent na tzv. exploraci (tj. uˇcen´ı, pr˚ uzkum nov´ ych moˇznost´ı) a exploataci (tj. vyuˇzit´ı nejlepˇs´ıho nalezeného postupu) tak, aby kumulativn´ı odmˇena za celou dobu ˇcinnosti agenta byla maximáln´ı. Pro zaj´ımavost jeˇstˇe poznamenejme, ˇze nedávno byl objeven obecn´ y zp˚ usob, jak optimálnˇe predikovat na základˇe dosud pozorovan´ ych skuteˇcnost´ı. Na nˇem je zaloˇzen algoritmus optimálnˇe se rozhoduj´ıc´ıho agenta AIXI Marcuse Huttera[8]. Tento algoritmus je ale velmi neefektivn´ı a prakticky nerealizovateln´ y, nebot’ funguje tak, ˇze se snaˇz´ı modelovat ˇ ycarském prostˇred´ı pomoc´ı vˇsech pouˇziteln´ ych Turingov´ ych stroj˚ u. AIXI byl popsán ve Sv´ institutu IDSIA, kde dále prob´ıhá v´ yzkum z c´ılem naj´ıt podobn´ y algoritmus, kter´ y by byl prakticky pouˇzitelnˇejˇs´ı.

11

Kapitola 3 Neuronov´ e s´ıtˇ e 3.1

Umˇ el´ y neuron

Základn´ı v´ ypoˇcetn´ı jednotkou umˇelé neuronové s´ıtˇe je neuron. Neuron má n vstupn´ıch a jedno v´ ystupn´ı spojen´ı. Tato spojen´ı se naz´ yvaj´ı synapse. Kaˇzdá vstupn´ı synapse i, 0 ≤ i < n má svoji váhu wi ∈ R. Pˇri kaˇzdém kroku v´ ypoˇctu vstupuje do neuronu n vstupn´ıch hodnot x0 , x1 , . . . , xn−1 . Neuron vypoˇc´ıtá váˇzen´ y souˇcet vstupn´ıch hodnot a odpov´ıdaj´ıc´ıch vah sn´ıˇzen´ y o tzv. práh b. Tato hodnota se naz´ yvá potenciál neuronu a budeme ji znaˇcit ξ. Ã n−1 ! X ξ= xi w i − b (3.1) i=0

Na potenciál je aplikována tzv. pˇrenosová funkce f (ξ). V´ ysledná funkˇcn´ı hodnota je pak pˇriˇrazena v´ ystupu y. Tato hodnota se naz´ yvá v´ ystup neuronu. Pˇrenosová funkce je typicky neklesaj´ıc´ı s hodnotami z intervalu [0, 1], ménˇe ˇcasto z intervalu [−1, 1]. Nˇekdy se pouˇz´ıvá funkce signum, vracej´ıc´ı 0 pro záporn´ y potenciál a 1 pro nulu nebo kladn´ y ˇ potenciál. Castˇeji se ale setkáme s funkc´ı sigmoidáln´ı: f (ξ) = σ(ξ) =

1 , 1 + e−λξ

(3.2)

kde λ > 0 je konstanta vyjadˇruj´ıc´ı tzv. strmost pˇrenosové funkce. V´ yhodou této funkce je, ˇze je spojitˇe derivovatelná podle sv´ ych vstupn´ıch vah, a nav´ıc lze tyto derivace velmi efektivnˇe vypoˇc´ıtat: ¶0 µ 1 0 (ξ) = σ (ξ) = 1 + e−λξ 1 = − (e−λξ .(−λ)) = (1 + e−λξ )2 e−λξ = λ = (1 + e−λξ )2 1 + e−λξ − 1 = λ = (1 + e−λξ )2 12

µ

1 1 = λ − −λξ 1+e (1 + e−λξ )2 = λ(σ(ξ) − σ 2 (ξ)) = = λσ(ξ).(1 − σ(ξ))

¶ =

(3.3)

Pokud nebude uvedeno, jinak, budeme v dalˇs´ım textu pˇredpokládat, ˇze hodnota parametru λ je 1. V ˇca´sti 4.4 se setkáme také s parametrem λ, ale ve zcela jiném v´ yznamu. Je tˇreba tyto parametry d˚ uslednˇe odliˇsovat. Vzájemn´ ym propojen´ım v´ıce neuron˚ u vzniká neuronová s´ıt’ (obrázek 3.1). Neuronová s´ıt’ má obvykle nˇejaké vstupn´ı a v´ ystupn´ı neurony, které tvoˇr´ı jej´ı vnˇejˇs´ı rozhran´ı. V´ ystupy vstupn´ıch neuron˚ u pˇredstavuj´ı vstupy pro celou s´ıt’ a v´ ystupy v´ ystupn´ıch neuron˚ u pˇredstavuj´ı naopak v´ ystupy celé s´ıtˇe. Vstupn´ı neurony nemaj´ı ˇza´dné vstupn´ı synapse ani práh a pˇrenosovou funkci. Neurony, které nejsou vstupn´ı ani v´ ystupn´ı, se naz´ yvaj´ı skryté.

Obrázek 3.1: Pˇ r´ıklad neuronov´ e s´ıtˇ e. Synaptick´ a spojen´ı mohou tvoˇrit cykly a dokonce mohou existovat reflexivn´ı vazby neuronu se sebou samotným. Definice: Neuronová s´ıt’ je uspoˇrádaná sedmice N et = (N, C, I, O, w, b, F ), kde: • N je neprázdná koneˇcná mnoˇzina neuron˚ u • C ⊆ N × N je neprázdná mnoˇzina orientovan´ ych spoj˚ u - synaps´ı mezi neurony • I ⊆ N je neprázdná mnoˇzina vstupn´ıch neuron˚ u • O ⊆ N je neprázdná mnoˇzina v´ ystupn´ıch neuron˚ u • w : C → R je váhová funkce • b : (N \ I) → R je prahová funkce • F : (N \ I) → (R → R) pˇriˇrazuje kaˇzdému neuronu jeho pˇrenosovou funkci 13

Znaˇcen´ı • Váhu synaptického spoje w((i, j)) mezi neurony i a j budeme znaˇcit zkrácenˇe wij . • Práh b(i) neuronu i budeme téˇz znaˇcit bi . • Pˇrenosovou funkci F (i)(ξ) neuronu i budeme znaˇcit fi (ξ). V pˇr´ıpadˇe, ˇze maj´ı vˇsechny neurony stejnou pˇrenosovou funkci, budeme psát jen f (ξ). • V´ ystup neuronu i budeme znaˇcit yi . • Pˇri nˇejakém daném seˇrazen´ı vstupn´ıch neuron˚ u i0 , i1 , . . . , il−1 budeme dan´ y vektor jejich v´ ystup˚ u (yi0 , yi1 , . . . , yil−1 ) znaˇcit ~x = (x0 , x1 , . . . , xl−1 ) a naz´ yvat vstupn´ı vektor. • Chceme-li vyznaˇcit, ˇze se hodnoty mˇen´ı v ˇcase, budeme psát napˇr. yi (t), wij (t), ~x(t) apod. Na m´ısto toho, aby mˇely neurony práh, b´ yvá s´ıti ˇcasto pˇridán jeden fiktivn´ı vstupn´ı neuron, kter´ y má konstantn´ı v´ ystup -1. Tento neuron je propojen se vˇsemi nevstupn´ımi neurony a hodnota váhy tˇechto synaps´ı odpov´ıdá hodnotˇe p˚ uvodn´ıch prah˚ u. Existuje mnoho r˚ uzn´ ych model˚ u neuronov´ ych s´ıt´ı liˇs´ıc´ıch se zp˚ usobem propojen´ı jednotliv´ ych neuron˚ u a svoj´ı funkc´ı. Dle uspoˇra´dán´ı synaps´ı rozliˇsujeme tzv. dopˇredné s´ıtˇe, které neobsahuj´ı cyklická spojen´ı, a naopak tzv. rekurentn´ı (anglicky téˇz feedback) s´ıtˇe, které cykly obsahuj´ı. Cyklická spojen´ı neuron˚ u, jak uvid´ıme dále, mohou slouˇzit k delˇs´ımu ’ uchováván´ı informace v s´ıti, rekurentn´ı s´ıt tak m˚ uˇze m´ıt “pamˇet’”. Dle zp˚ usobu pouˇzit´ı m˚ uˇzeme neuronové s´ıtˇe rozdˇelit na statické a dynamické. V´ ypoˇcty statické s´ıtˇe jsou jednorázové. V´ ysledek pˇredchoz´ıho v´ ypoˇctu statické s´ıtˇe nemá vliv na v´ ypoˇcet následuj´ıc´ı. Naproti tomu dynamická neuronová s´ıt’ bude obvykle rekurentn´ı a bude uchovávat informace z pˇredchoz´ıho v´ ypoˇctu pro jejich vyuˇzit´ı ve v´ ypoˇctech následuj´ıc´ıch. Pˇ r´ıklad: Naˇs´ım c´ılem je pˇredv´ıdat pomoc´ı neuronové s´ıtˇe poˇcas´ı v dané lokalitˇe na základˇe u ´daj˚ u namˇeˇren´ ych pˇred jedn´ım, dvˇema a tˇremi dny. Budeme - li pouˇz´ıvat sta’ tickou s´ıt , budeme ji muset vybavit zvláˇstn´ımi vstupn´ımi neurony pro u ´daje ze vˇsech tˇr´ı pˇredchoz´ıch dn˚ u. Pouˇzijeme - li rekurentn´ı s´ıt’, staˇc´ı nám pouze vstupn´ı neurony pro u ´daje z pˇredchoz´ıho dne, protoˇze starˇs´ı u ´daje si s´ıt’ mezi jednotliv´ ymi v´ ypoˇcty m˚ uˇze uchovávat ve sv´ ych skryt´ ych neuronech.

3.2

S´ıt’ zpˇ etn´ eho ˇ s´ıˇ ren´ı

Pop´ıˇseme nyn´ı ˇsiroce pouˇz´ıvan´ y model s´ıtˇe zpˇetného ˇs´ıˇren´ı1 . S´ıt’ zpˇetného ˇs´ıˇren´ı je pˇr´ıkladem tzv. vrstevnaté s´ıtˇe (viz obrázek 3.2). Vrstevnatá s´ıt’ je dopˇredná s´ıt’, jej´ıˇz neurony jsou rozdˇeleny do navzájem disjunktn´ıch mnoˇzin naz´ yvan´ ych vrstvy. Nultá vrstva je vrstva vstupn´ı, obsahuje vstupn´ı neurony s´ıtˇe. Neurony v kaˇzdé dalˇs´ı vrstvˇe jsou propojeny se vˇsemi neurony z vrstvy pˇredchoz´ı. Vrstva 1

anglick´ ym názvem backpropagation

14

k − 1 obsahuje v´ ystupn´ı neurony s´ıtˇe a naz´ yvá se v´ ystupn´ı. Vˇsechny vrstvy kromˇe vstupn´ı a v´ ystupn´ı se naz´ yvaj´ı vrstvy skryté. Definice: Neuronová s´ıt’ N et = (N, C, I, O, w, b, F ) se naz´ yvá vrstevnatá, pokud existuj´ı neprázdné mnoˇziny N0 , N1 , . . . , Nk−1 ⊆ N (vrstvy) takové, ˇze: •

Sk−1 i=0

Ni = N

• pro i 6= j : Ni ∩ Nj = ∅ (vrstvy jsou navzájem disjunktn´ı) • N0 = I je tzv. vstupn´ı vrstva • Nk−1 = O je tzv. v´ ystupn´ı vrstva • C = {(i, j) | ∃l : 0 ≤ l ≤ k − 2 ∧ i ∈ Nl ∧ j ∈ Nl+1 } (Synapse vedou mezi po sobˇe následuj´ıc´ımi vrstvami.)

Obrázek 3.2: Vrstevnat´ a neuronov´ a s´ıt’. Zobrazená s´ıt’ má vstupn´ı vrstvu, 2 skryté vrstvy a jednu v´ ystupn´ı vrstvu. Kaˇzdá z vrstev má ˇctyˇri neurony. V´ ypoˇcet vrstevnaté s´ıtˇe (tzv. vybavován´ı) prob´ıhá po vrstvách. Nejprve je na vstupn´ı vrstvu pˇredloˇzen vstupn´ı vektor ~x. Poté jsou vrstvu po vrstvˇe poˇc´ıtány v´ ystupy neuron˚ u pomoc´ı jiˇz spoˇc´ıtan´ ych v´ ystup˚ u neuron˚ u z pˇredchoz´ı vrstvy. D´ıky tomu, ˇze jsou pˇrenosové funkce nelineárn´ı, jsou vrstevnaté neuronové s´ıtˇe schopny poˇc´ıtat nelineárn´ı funkce sv´ ych vstup˚ u. Funkce, kterou s´ıt’ poˇc´ıtá, je dána jej´ı strukturou a hodnotami jej´ıch vah a prah˚ u. Vrstevnaté neuronové s´ıtˇe maj´ı velmi dobré aproximaˇcn´ı vlastnosti. Bylo teoreticky dokázáno, ˇze pˇri dostateˇcném poˇctu skryt´ ych neuron˚ u je vrs’ tevnatá neuronová s´ıt schopna aproximovat libovolnou borelovskou funkci s libovolnou pˇresnost´ı[7]. Znaˇcen´ı 15

• Pˇri nˇejakém daném seˇrazen´ı v´ ystupn´ıch neuron˚ u o0 , o1 , . . . , o|O|−1 vrstevnaté s´ıtˇe N et budeme vektor jejich v´ ystup˚ u (yo0 , yo1 , . . . , yo|O−1| ) vypoˇc´ıtan´ y pro vstupn´ı vektor ~x znaˇcit N et(~x) a naz´ yvat v´ ystupn´ı vektor N et pro ~x. S´ıt´ı zpˇetného ˇs´ıˇren´ı (chyby) budeme naz´ yvat vrstevnatou s´ıt’, jej´ıˇz ˇcinnost se ˇr´ıd´ı algoritmem[13], kter´ y pop´ıˇseme n´ıˇze. Pro s´ıt’ zpˇetného ˇs´ıˇren´ı plat´ı ∀i ∈ N \ N0 : F (i) = σ (vˇsechny pˇrenosové funkce jsou sigmoidy), a tud´ıˇz pro ni m˚ uˇzeme psát N et = (N, C, I, O, w, b) a vynechat ze zápisu F . Typické pouˇzit´ı s´ıt´ı zpˇetného ˇs´ıˇren´ı je tzv. uˇcen´ı s uˇcitelem. V takovém pˇr´ıpadˇe máme k dispozici neuronovou s´ıt’ N et a mnoˇzinu trénovac´ıch vzor˚ u T = {(~x0 , d~0 ), (~x1 , d~1 ), . . . , (~xn , d~n )}, kde vˇsechna d~m oznaˇcuj´ı vektor poˇzadovan´ ych v´ ystup˚ u m s´ıtˇe N et pro vstupn´ı vektor ~x . Naˇs´ım c´ılem je tedy, aby se pro kaˇzdé m ∈ {0, 1, . . . , n} hodnota skuteˇcného v´ ystupu s´ıtˇe N et(~xm ) co nejv´ıce bl´ıˇzila d~m . Pro tento u ´ˇcel zavád´ıme tzv. chybovou funkci n |O|−1 1X X 2 ~ (N et(~xm )l − dm ET (w, ~ b) = l ) , 2 m=0 l=0

(3.4)

kde w ~ znaˇc´ı vektor vˇsech vah s´ıtˇe a ~b znaˇc´ı vektor vˇsech prah˚ u s´ıtˇe. Naˇs´ım c´ılem je tuto funkci minimalizovat. Pokud budou pˇredkládané trénovac´ı vzory dostateˇcnˇe reprezentativn´ım vzorkem mnoˇziny vˇsech vzor˚ u, se kter´ ymi se s´ıt’ m˚ uˇze v pr˚ ubˇehu své ˇcinnosti setkat, s´ıt’ by se mˇela minimalizac´ı chybové funkce nauˇcit generalizovat. To znamená, ˇze setká-li se s nov´ ym vstupn´ım vzorem, kter´ y se podobá nˇekterému z trénovac´ıch vzor˚ u, vydá v´ ystup podobn´ y poˇzadovanému v´ ystupu pro dotyˇcn´ y trénovac´ı vzor. K minimalizaci chybové funkce nám slouˇz´ı algoritmus zpˇetného ˇs´ıˇren´ı chyby. Tento algoritmus patˇr´ı mezi tzv. gradientn´ı metody. To znamená, ˇze postupnˇe sniˇzuje hodnotu chybové funkce ET (w, ~ ~b) u ´pravami vah a prah˚ u proti smˇeru gradientu chybové funkce. To vyˇzaduje, abychom byli schopn´ı co nejefektivnˇeji vypoˇc´ıtat hodnoty parciáln´ıch derivac´ı ET (w, ~ ~b) podle jednotliv´ ych vah a prah˚ u. Hodnota této parciáln´ı derivace udává, jak je tˇreba upravit hodnotu urˇcité váhy, respektive prahu, abychom sn´ıˇzili hodnotu chybové funkce. Uvaˇzme nejprve váhy wij tˇech synaps´ı, které vedou do v´ ystupn´ı vrstvy (j ∈ O, i ∈ Nk−2 ) a trénovac´ı mnoˇzinu s jednou dvojic´ı vstupn´ıho vzoru a poˇzadovaného v´ ystupu ~ T = {(~x, d)}.   |O|−1 X ∂ET ∂ 1 = (N et(~x)l − dl )2  = ∂wij ∂wij 2 l=0 µ ¶ 1 ∂ 2 (yj − d(j)) = = ∂wij 2 ∂yj = (yj − d(j)) = ∂wij = (yj − d(j))σ 0 (ξj )ξj0 (wij ) = 16

3.3

= (yj − d(j))λσ(ξj ).(1 − σ(ξj ))ξj0 (wij ) =    X ∂  3.1 = (yj − d(j))λσ(ξj ).(1 − σ(ξj )) yl wlj  − bj  = ∂wij l∈N k−2

= (yj − d(j))λyj (1 − yj )yi = −δj yi ,

(3.5)

kde d(j) pro j ∈ O znaˇc´ı poˇzadovanou hodnotu v´ ystupu j (tedy d(ol ) = dl ) a kde δj = −(yj − d(j))λyj (1 − yj ) = −

∂ET ∂ξj

(3.6)

naz´ yváme chybov´ y ˇclen neuronu j pro j ∈ O. Pˇredpokládejme nyn´ı, ˇze známe chybové ˇcleny vˇsech neuron˚ u ve vrstvˇe NK . Pro wij splˇ nuj´ıc´ı j ∈ NK−1 , i ∈ NK−2 plat´ı: ∂ET ∂wij

X ∂ET ∂ξl ∂yj yi = ∂ξl ∂yj ∂ξj l∈NK X δl wjl σ 0 (ξj )yi = = =

l∈NK

X

=

δl wjl λyj (1 − yj )yi =

l∈NK

= −δj yi ,

(3.7)

kde podobnˇe jako v 3.6 plat´ı δj = −

X

δl wjl λyj (1 − yj ) = −

l∈NK

∂ET ∂ξj

(3.8)

pro j ∈ NK−1 . Podobnˇe pro práh bj , j ∈ N \ I m˚ uˇzeme odvodit ∂ET = δj ∂bj

(3.9)

Vˇsimnˇeme si, ˇze vˇsechna δj pro j ∈ O je moˇzné vypoˇc´ıtat v ˇcase u ´mˇerném poˇctu neuron˚ u ve v´ ystupn´ı vrstvˇe. Pˇri v´ ypoˇctu δj pro skryté neurony j násob´ıme váhami vˇsech synaps´ı jdouc´ıch z neuronu j a kaˇzdou vahou násob´ıme právˇe jednou. Tedy δj pro vˇsechny skryté neurony j jsme schopni vypoˇc´ıtat v ˇcase u ´mˇerném poˇctu vah. Z toho plyne, ˇze jsme schopni v ˇcase lineárn´ım vzhledem k délce zápisu neuronové s´ıtˇe vypoˇc´ıtat parciáln´ı derivaci chybové funkce dle vˇsech vah a prah˚ u s´ıtˇe. Algoritmus zpˇetného ˇs´ıˇren´ı chyby neboli backpropagation postupuje tak, ˇze pˇredkládá s´ıti trénovac´ı vzory jeden po druhém. Pro kaˇzd´ y vypoˇc´ıtá skuteˇcn´ y v´ ystupn´ı vektor s´ıtˇe. Rozd´ıl mezi poˇzadovan´ ym v´ ystupem a skuteˇcn´ ym v´ ystupem pouˇzije k vypoˇc´ıtán´ı 17

parciáln´ıch derivac´ı chybové funkce dle vah a prah˚ u s´ıtˇe. Váhy a prahy následnˇe adaptuje tak, aby sn´ıˇzil hodnotu chybové funkce pro dan´ y vzor: wij (t + 1) ← wij (t) + αδj yi

(3.10)

bj (t + 1) ← bj (t) − αδj ,

(3.11)

kde α je malá konstanta - parametr uˇcen´ı, kter´ y udává velikost zmˇeny v kaˇzdém kroku. Poté je pˇredloˇzen dalˇs´ı vzor a cyklus se opakuje. Algoritmus 1 (Backpropagation) 1. Inicializace vˇsech vah a prah˚ u náhodn´ ym mal´ ym ˇc´ıslem. 2. Pˇredloˇzme na vstup s´ıtˇe vstupn´ı vzor ~xm a postupnˇe vypoˇctˇeme v´ ystupy yi vˇsech neuron˚ u od prvn´ı skryté vrstvy aˇz k vrstvˇe v´ ystupn´ı N et(~x) podle vzorce: f (ξ) = σ(ξ) =

1 1 + e−λξ

3. Vypoˇctˇeme vˇsechny chybové ˇcleny δi poˇc´ınaje v´ ystupn´ı vrstvou aˇz po prvn´ı skrytou vrstvu dle vzorce δj = −(yj − d(j))λyj (1 − yj ) pro v´ ystupn´ı vrstvu a dle vzorce δj = −

X

δl wjl λyj (1 − yj )

l∈NK

pro ostatn´ı vrstvy. 4. Upravme váhy dle vzorce wij (t + 1) ← wij (t) + αδj yi a prahy dle vzorce bj (t + 1) ← bj (t) − αδj 5. Pokud nejsou splnˇeny podm´ınky ukonˇcen´ı, pokraˇcujeme krokem 2 pro dalˇs´ı vstupn´ı vzor. Podm´ınka ukonˇcen´ı m˚ uˇze b´ yt napˇr´ıklad pˇredem dan´ y poˇcet iterac´ı, které se maj´ı provést. M˚ uˇzeme téˇz skonˇcit, pokud zjist´ıme, ˇze chybová funkce se jiˇz dále nesniˇzuje. Poté, co je uˇcen´ı ukonˇceno, se s´ıt’ pouˇz´ıvá k v´ ypoˇctu v´ ystup˚ u pro nové vstupy. Jej´ı podoba se pˇritom uˇz nemˇen´ı. S´ıt’ se tedy uˇc´ı offline. S´ıt’ zpˇetného ˇs´ıˇren´ı je také statická, tj. pro v´ ypoˇcet v´ ystupu s´ıt’ nepracuje s pˇredchoz´ımi vstupy. Algoritmus má ˇradu modifikac´ı, které ale pˇresahuj´ı rámec této práce.2 2

Jednou z obvykl´ ych modifikac´ı je pˇridán´ı takzvaného momentu, coˇz je urˇcitá “setrvaˇcnost” ve zmˇen´ ach vah. Moˇznost pouˇz´ıt tuto modifikaci je obsaˇzena v knihovnˇe Flexinets popisované v pˇr´ıloze A. V´ıce o pouˇzit´ı momentu pˇri uˇcen´ı neuronov´ ych s´ıt´ı viz [3].

18

Algoritmus zpˇetného ˇs´ıˇren´ı sice v obecném pˇr´ıpadˇe naj´ıt globáln´ı minimum chybové funkce, ale ˇcasto dokáˇze naj´ıt postaˇcuj´ıc´ı minimum lokáln´ı. Poznamenejme zde, ˇze naj´ıt takové váhy a prahy s´ıtˇe, pro které bude chybová funkce ve svém globáln´ım minimu3 , je NP-tˇeˇzk´ y problém[9]. Gradientn´ı metody a obecnˇe metody, které se snaˇz´ı s´ıt’ postupnˇe adaptovat mal´ ymi u ´pravami, z nichˇz kaˇzdá sama o sobˇe je zlepˇsuj´ıc´ı, (viz téˇz Algoritmy 2 a 3 n´ıˇze), mohou trpˇet problémem lokáln´ıch extrém˚ u (obrázek 3.3). Problém nastane, pokud nastav´ıme hodnoty vah a prah˚ u tak, ˇze kvalita s´ıtˇe bude ve svém lokáln´ım maximu (V pˇr´ıpadˇe uˇcen´ı s uˇcitelem to znamená, ˇze chybová funkce bude ve svém lokáln´ım minimu.). Toto maximum ale nemus´ı b´ yt globáln´ı a kvalita této s´ıtˇe nemus´ı b´ yt postaˇcuj´ıc´ı. Pˇritom je ale moˇzné, ˇze algoritmus uˇz nenab´ız´ı ˇza´dnou zmˇenu vah a prah˚ u, která by tuto s´ıt’ dokázala zdokonalit. To zp˚ usob´ı ˇze pomoc´ı zvolené metody uˇz nedokáˇzeme lepˇs´ı ˇreˇsen´ı naj´ıt.

Obrázek 3.3: Probl´ em lok´ aln´ıho minima. Pokud bude váha odpov´ıdat vyznaˇcenému bodu, jej´ı u ´pravy proti smˇeru gradientu chybové funkce ji pˇrivedou do minima, které nen´ı glob´ aln´ı. Pro tento problém neznáme ˇzádné univerzáln´ı ˇreˇsen´ı. V nˇekter´ ych pˇr´ıpadech m˚ uˇze ale pomoci adaptace velikosti pˇr´ıpustn´ ych zmˇen vah a prah˚ u s´ıtˇe. Toho v pˇr´ıpadˇe algoritmu zpˇetného ˇs´ıˇren´ı doc´ıl´ıme zv´ yˇsen´ım parametru uˇcen´ı. V této práci se t´ımto problémem ale nebudeme hloubˇeji zab´ yvat. Dalˇs´ım problémem, se kter´ ym se pˇri pouˇz´ıván´ı algoritmu zpˇetného ˇs´ıˇren´ı nˇekdy setkáváme, je tzv. pˇreuˇcen´ı. Docház´ı k nˇemu v situac´ıch, kdy neuronovou s´ıt’ pˇr´ıliˇs dlouho uˇc´ıme na nepˇr´ıliˇs velké mnoˇzinˇe trénovac´ıch vzor˚ u, a zp˚ usobuje zhorˇsen´ı schopnosti s´ıtˇe generalizovat. T´ımto problémem a moˇznostmi, jak jej omezit, se podrobnˇe zaob´ırá L. Civ´ın v [3]. Pˇ r´ıklad: Vrat’me se k u ´loze s pˇredpovˇed´ı poˇcas´ı z pˇredchoz´ıho pˇr´ıkladu s pouˇzit´ım statické s´ıtˇe. Vstupn´ı vrstvu s´ıtˇe tvoˇr´ı neurony obsahuj´ıc´ı informaci o teplotˇe, rychlosti 3

viz tzv. loading problem, ˇcesky téˇz tréninkov´ y problém nebo problém uˇcen´ı

19

a smˇeru vˇetru, intenzitˇe sráˇzek, tlaku vzduchu atd. pro kaˇzd´ y ze tˇr´ı pˇredchoz´ıch dn˚ u. V´ ystupn´ı vrstva bude obsahovat pˇredpovˇed’ tˇechto u ´daj˚ u pro den následuj´ıc´ı. V mnoˇzinˇe trénovac´ıch dat by mˇela b´ yt zastoupena co nejrozmanitˇejˇs´ı poˇcas´ı (kdyˇz bylo jasno a teplo, kdyˇz padaly kroupy, . . . ) v tomto dni a u ´daje namˇeˇrené v jim pˇredcházej´ıc´ıch tˇrech dnech. Poté, co pˇredloˇz´ıme s´ıti tyto trénovac´ı vzory, m˚ uˇzeme pˇredloˇzit s´ıti na vstup nˇejak´ y dosud ’ neznám´ y vzor. S´ıt by mˇela b´ yt schopná k tomuto vzoru vydat v´ ystup bl´ızk´ y poˇzadovan´ ym v´ ystup˚ um trénovac´ıch vzor˚ u, které byly podobné. Toto je pochopitelnˇe velmi zjednoduˇsen´ y pˇr´ıklad. Pˇredpov´ıdán´ı chován´ı tak sloˇzitého systému, jako je zemská atmosféra, je v praxi velmi komplikované a je otázka, nakolik by se tato predikce s´ıtˇe bl´ıˇzila skuteˇcnému poˇcas´ı.

20

Kapitola 4 Pouˇ zit´ı neuronov´ ych s´ıt´ı ve zpˇ etnovazebn´ em uˇ cen´ı 4.1

Specifika zpˇ etnovazebn´ eho uˇ cen´ı

Umˇelé neuronové s´ıtˇe jsou inspirovány nervovou soustavou biologick´ ych organism˚ u, ale zp˚ usob práce s´ıt´ı zpˇetného ˇs´ıˇren´ı a obecnˇe uˇcen´ı s uˇcitelem se od ˇcinnosti nervové souˇ stavy organism˚ u v mnohém zásadnˇe odliˇsuje. Cinnost neuronov´ ych s´ıt´ı urˇcen´ ych pro zpˇetnovazebné uˇcen´ı by se v jistém smyslu mˇela ˇcinnosti nervové soustavy organism˚ u v´ıce podobat. Takováto neuronová s´ıt’ by se mˇela uˇcit online, tj. fáze uˇcen´ı a vybavován´ı by nemˇela b´ yt striktnˇe oddˇelena. Naopak, s´ıt’ by se mˇela uˇcit v celém pr˚ ubˇehu své existence. Pokud bychom zcela trvali na biologické opodstatnˇenosti zvoleného modelu neuronové s´ıtˇe, mˇeli bychom poˇzadovat téˇz vlastnost, kterou J. Schmidhuber naz´ yvá ˇcasovou a proˇ storovou lokalitou algoritmu[14]. Casov´ a lokalita je poˇzadavek, aby zmˇeny vah a prah˚ u v kaˇzdém kroku závisely pouze na informac´ıch o s´ıti z urˇcitého pevného ˇcasového okna ˇ pˇredcházej´ıc´ıho ten kter´ y krok algoritmu, kter´ ym se neuronová s´ıt’ ˇr´ıd´ı. Casov´ a lokalita u ´zce souvis´ı s online zp˚ usobem uˇcen´ı. Algoritmus je lokáln´ı v prostoru, pokud zmˇena kaˇzdé váhy a prahu v kaˇzdém kroku závis´ı pouze na hodnotách v´ ystup˚ u sousedn´ıch neuron˚ u. Splˇ nuje-li algoritmus oba tyto poˇzadavky, nazveme jej lokáln´ım. Pˇr´ıkladem lokáln´ıho uˇc´ıc´ıho pravidla je Hebbovo pravidlo. Schmidhuber téˇz navrhuje jeden lokáln´ı algoritmus uˇcen´ı v [14]. Zejména poˇzadavek prostorové lokality je ale velmi omezuj´ıc´ı (nepˇripouˇst´ı napˇr´ıklad pouˇzit´ı parciáln´ıch derivac´ı pro u ´pravy vah), a proto jej nebudeme vˇzdy dodrˇzovat. Pokud má b´ yt s´ıt’ schopna zvaˇzovat pro rozhodnut´ı v daném okamˇziku i vstupy pozorované dˇr´ıve a dˇr´ıve vykonané akce, pak mus´ı s´ıt’ obsahovat zpˇetné vazby, které umoˇzn´ı, aby se v n´ı nˇejak´ ym zp˚ usobem uchovaly hodnoty z pˇredcházej´ıc´ıch v´ ypoˇct˚ u, a mus´ı b´ yt dynamická. U rekurentn´ı dynamické s´ıtˇe se v jednom kroku poˇc´ıtá nová hodnota v´ ystupu kaˇzdého neuronu pouze z pˇredeˇsl´ ych hodnot bezprostˇrednˇe soused´ıc´ıch neuron˚ u (na rozd´ıl od vrstevnat´ ych s´ıt´ı, kde se nová hodnota vstupu ˇs´ıˇr´ı pˇres vˇsechny vrstvy aˇz na v´ ystup). Z hlediska implementace tak bude pro synchronnˇe aktualizované rekurentn´ı s´ıtˇe tˇreba zvláˇst’ uchovávat staré a novˇe vypoˇc´ıtané hodnoty v´ ystup˚ u neuron˚ u, abychom si novˇe vypoˇc´ıtan´ ymi v´ ysledky nepˇrepsali hodnoty v´ ystup˚ u neuron˚ u, které jeˇstˇe budeme potˇrebovat k v´ ypoˇctu jin´ ych hodnot. Pokud v rekurentn´ı s´ıti nen´ı pˇr´ımé spojen´ı vstupn´ıch 21

a v´ ystupn´ıch neuron˚ u a pˇritom chceme, aby s´ıt’ dokázala na nové vstupy okamˇzitˇe reagovat, je potˇreba pro kaˇzd´ y ˇcasov´ y krok prostˇred´ı poˇc´ıtat v´ıce krok˚ u rekurentn´ı s´ıtˇe. Pro u ´ˇcely zpˇetnovazebného uˇcen´ı mohou pˇricházet v u ´vahu i dalˇs´ı, ménˇe obvyklé modely neuronov´ ych s´ıt´ı (spiking s´ıtˇe, kompetiˇcn´ı s´ıtˇe aj.). Techniky klasick´ ych vrstevnat´ ych s´ıt´ı typu zpˇetného ˇs´ıˇren´ı nám nicménˇe mohou b´ yt velmi uˇziteˇcné. Jsou totiˇz pomˇernˇe jednoduché a jejich vlastnosti jsou dobˇre prozkoumané, a proto se jimi m˚ uˇzeme inspirovat pˇri stavbˇe s´ıt´ı pro zpˇetnovazebné uˇcen´ı. V následuj´ıc´ım jsou diskutovány r˚ uzné modely neuronov´ ych s´ıt´ı pouˇziteln´ ych pro ´ zpˇetnovazebné uˇcen´ı. Uspˇeˇsnost tˇechto model˚ u byla testována na u ´loze koˇristi a dravce v simulátoru, kter´ y jsme speciálnˇe pro tento u ´ˇcel vyvinuli. Agent zde bude vystupovat v roli koˇristi, která se mus´ı vyh´ ybat dravc˚ um a zároveˇ n vyhledávat pro sebe potravu, aby ´ pˇreˇzila co nejdéle. Uloha je pˇresnˇeji popsána spolu s experimenty v ˇcásti 5.

4.2

S´ıt’ s n´ ahodn´ ymi zmˇ enami

Nejprve pˇredstav´ıme pomˇernˇe naivn´ı model vrstevnaté s´ıtˇe, jej´ımiˇz vstupy jsou senzorické vstupy agenta a jej´ıˇz v´ ystupy kóduj´ı agentovy akce. Agentova odmˇena do s´ıtˇe pˇr´ımo nevstupuje. S´ıt’ je zpoˇcátku náhodnˇe inicializována a uˇc´ı se za bˇehu agenta. V kaˇzdém kroku probˇehne drobná náhodná zmˇena vah a prah˚ u. Pokud zmˇena pˇrinese v pˇr´ıˇst´ım kroku zv´ yˇsen´ı agentovy odmˇeny, tato zmˇena se zafixuje. S´ıt’ si tedy mus´ı uchovávat pro old kaˇzdou váhu a práh jejich aktuáln´ı hodnotu bj , wij a pˇredchoz´ı hodnotu bold ale j , wij . D´ algoritmus mus´ı uchovávat odmˇenu rold z pˇredchoz´ıho kroku pro porovnán´ı s odmˇenou v následuj´ıc´ım kroku r. Algoritmus 2 ˇ Í ODMENY ˇ ˇ 1. (INICIALIZACE PREDCHOZ NULOU A VSECH VAH A PRAH˚ U ´ ´ C ˇ ÍSLEM) NAHODN YM rold ← 0 old ∀i, j : wij ← wij ← random() old ∀j : bj ← bj ← random() 2. naˇcten´ı nov´ ych vstup˚ u z prostˇred´ı ~x a odmˇeny r ˇ ÍNOSU NAPOSLED VYKONANYCH ´ ´ 3. (VYHODNOCENÍ PR UPRAV VAH ˚ A PRAHU) pokud r > rold old ← wij ∀i, j : wij old ∀j : bj ← bj jinak old ∀i, j : wij ← wij ∀j : bj ← bold j ´ Í ODMENY ˇ ˇ S ˇÍ POROVNAN ´ Í) 4. (UCHOVAN PRO POZDEJ old r ←r 22

´ ´ ZMENA ˇ ˇ ˚ 5. (NAHODN A VSECH VAH A PRAHU) ∀i, j : wij ← wij + random(2M axChange) − M axChange ∀j : bj ← bj + random(2M axChange) − M axChange 6. spoˇc´ıtat v´ ystup s´ıtˇe N et(~x) 7. vykonat akci kódovanou v´ ystupem s´ıtˇe N et(~x) 8. pokud agentova ˇcinnost neskonˇcila, pˇrej´ıt na krok 2 Konstanta M axChange zde oznaˇcuje v absolutn´ı hodnotˇe maximáln´ı pˇr´ıpustnou zmˇenu vah a prah˚ u. Idea motivuj´ıc´ı tento algoritmus je, ˇze po zmˇenˇe pˇrináˇsej´ıc´ı “zlepˇsen´ı” s´ıtˇe je pravdˇepodobné, ˇze se zv´ yˇs´ı z´ıskaná odmˇena v bezprostˇrednˇe následuj´ıc´ım kroku. Ponechán´ım zmˇen zvyˇsuj´ıc´ıch okamˇzitou odmˇenu by se pak s´ıt’ mohla v ˇcase zlepˇsovat. V této základn´ı podobˇe ale, jak ukazuj´ı experimenty provedené v 5.1.3, algoritmus nefunguje. V iteraci následuj´ıc´ı po vykonán´ı akce zlepˇsuj´ıc´ı schopnost s´ıtˇe ˇreˇsit u ´lohu, je pravdˇepodobnost vzr˚ ustu z´ıskané odmˇeny vˇetˇs´ı neˇz 50%. Aby vˇsak algoritmus fungoval dostateˇcnˇe dobˇre, potˇrebovali bychom, aby platilo jiné tvrzen´ı. Totiˇz, ˇze vzrostla-li z´ıskaná odmˇena oproti posledn´ı iteraci, potom je pravdˇepodobnost, ˇze posledn´ı zmˇena pˇrinesla zlepˇsen´ı s´ıtˇe, vyˇsˇs´ı neˇz 50%. Toto ale zˇrejmˇe neplat´ı, protoˇze zlepˇsuj´ıc´ı zmˇeny s´ıtˇe jsou ménˇe pravdˇepodobné neˇz zmˇeny zhorˇsuj´ıc´ı, a ˇc´ım lepˇs´ı je jiˇz dosaˇzené ˇreˇsen´ı, t´ım je pravdˇepodobnˇejˇs´ı, ˇze náhodná zmˇena s´ıt’ zhorˇs´ı. Naopak, pokud dojde ke zmˇenˇe zlepˇsuj´ıc´ı s´ıt’, zlepˇsen´ı nemus´ı pˇrinést v´ ysledek uˇz v následuj´ıc´ı iteraci algoritmu. V netriviáln´ıch u ´lohách obvykle docház´ı k tomu, ˇze d˚ usledky agentovy akce se v podobˇe odmˇeny nebo trestu projev´ı aˇz pozdˇeji. Tyto tzv. opoˇzdˇené odmˇeny1 se ale tento ”naivn´ı” algoritmus nesnaˇz´ı vysledovat (viz experimenty popsané v ˇcásti 5.1.3). Uveden´ y problém s opoˇzdˇen´ ymi odmˇenami bychom mohli ˇcásteˇcnˇe vyˇreˇsit t´ım, ˇze bychom náhodnou zmˇenu vah a prah˚ u umoˇznili pouze jednou za n iterac´ı (krok˚ u simulace). Po vykonán´ı n iterac´ı bychom porovnali celkovou odmˇenu za tˇechto n iterac´ı rlast s odmˇenou z´ıskanou za n pˇredchoz´ıch iterac´ı rold . V pˇr´ıpadˇe, ˇze rlast je vyˇsˇs´ı neˇz rold , bychom posledn´ı u ´pravu vah a prah˚ u ponechali, v opaˇcném pˇr´ıpadˇe bychom ji odvolali. Tato modifikace je zahrnuta v algoritmu 3. Algoritmus 3 ˇ ÍTACE ˇ A PREDCHOZ ˇ Í ODMENY ˇ ˇ 1. (INICIALIZACE C NULOU A VSECH VAH ˚ ´ ´ ˇ ´ A PRAHU NAHODNYM CISLEM) rold ← 0, rlast ← 0 count ← 0 old ← random() ∀i, j : wij ← wij old ∀j : bj ← bj ← random() 2. naˇcten´ı nov´ ych vstup˚ u z prostˇred´ı ~x a odmˇeny r 1

v angliˇctinˇe delayed rewards

23

ˇ ÍTACE ˇ A PRIPS ˇ ´ Í NOVE ´ ODMENY) ˇ 3. (ITERACE C AN count ← count + 1 last last r ←r +r 4. pokud count = n ˇ ÍNOSU NAPOSLED VYKONANYCH ´ ´ (a) (VYHODNOCENÍ PR UPRAV VAH ˚ A PRAHU) pokud rlast > rold old ∀i, j : wij ← wij old ∀j : bj ← bj jinak old ∀i, j : wij ← wij old ∀j : bj ← bj ´ Í C ˇ ÍTACE ˇ A RESET PROMENN ˇ ´ ˇ (b) (VYNULOVAN YCH PRO ODMENU) count ← 0 rold ← rlast rlast ← 0 ´ ´ ZMENA ˇ ˇ (c) (NAHODN A VSECH VAH A PRAH˚ U) ∀i, j : wij ← wij + random(2M axChange) − M axChange ∀j : bj ← bj + random(2M axChange) − M axChange 5. spoˇc´ıtat v´ ystup N et(~x) 6. vykonat akci kódovanou v´ ystupem s´ıtˇe N et(~x) 7. pokud agentova ˇcinnost neskonˇcila, pˇrej´ıt na krok 2 V mnoha experimentech, které jsme provedli (viz 5.1.3), se nakonec u ´spˇeˇsnost s´ıtˇe ustálila na urˇcité suboptimáln´ı hodnotˇe. V pˇr´ıpadˇe n´ızké maximáln´ı pˇr´ıpustné zmˇeny vah m˚ uˇze s´ıt’ uv´ıznout v lokáln´ım minimu. Ve vˇetˇsinˇe pˇr´ıpad˚ u se sp´ıˇs jedná o to, ˇze ˇc´ım je s´ıt’ kvalitnˇejˇs´ı, t´ım je niˇzˇs´ı pravdˇepodobnost, ˇze zvolená zmˇena ji bude zlepˇsovat. To vede k ustálen´ı kvality s´ıtˇe v urˇcité rovnováze.

4.3 4.3.1

S´ıtˇ e s modelem svˇ eta Modeluj´ıc´ı s´ıtˇ e

S´ıt’ popsaná v pˇredchoz´ı ˇcásti nemá pˇr´ıstup k hodnotˇe odmˇeny a nijak explicitnˇe si nemodeluje zákony, jak´ ymi se ˇr´ıd´ı prostˇred´ı. Mohlo by ale b´ yt uˇziteˇcné, kdyby agent znal, jak´ y dopad maj´ı jeho akce na stav prostˇred´ı a pˇredevˇs´ım, jak závis´ı z´ıskaná odmˇena na tom, v jaké situaci vykonal kterou akci. Z této znalosti by pak bylo moˇzné odvodit ideáln´ı chován´ı agenta vedouc´ı k dosaˇzen´ı maximáln´ı odmˇeny. Zˇrejmá je analogie tohoto ˇ ek se nejprve nauˇc´ı, jak svˇet funguje, k ˇcemu slouˇz´ı postupu s lidsk´ ym myˇslen´ım. Clovˇ r˚ uzné nástroje, atd., a potom vyuˇz´ıvá této znalosti k dosaˇzen´ı sv´ ych c´ıl˚ u.

24

Agentovu intern´ı reprezentaci znalost´ı o tom, jak se chová prostˇred´ı, nazveme model svˇeta (nebo téˇz model prostˇred´ı). Je-li touto reprezentac´ı neuronová s´ıt’, nazveme ji modeluj´ıc´ı2 . Naproti tomu s´ıti, která na základˇe vstup˚ u generuje agentovy akce, budeme ˇr´ıkat ˇr´ıdic´ı3 . Uvaˇzme nyn´ı velmi zjednoduˇsen´ y hypotetick´ y model neuronové s´ıtˇe, kter´ y budeme po’ stupnˇe zdokonalovat. Pˇredpokládejme v prvn´ım pˇribl´ıˇzen´ı, ˇze modeluj´ıc´ı s´ıt je vrstevnatá s´ıt’, jej´ıˇz vstupy reprezentuj´ı stav prostˇred´ı a agentovu akci a jej´ıˇz v´ ystupy reprezentuj´ı odmˇenu, ke které tato akce povede. Tato s´ıt’ uchovává znalost o tom, jakou odmˇenu pˇrinese vykonán´ı urˇcité akce v urˇcitém stavu prostˇred´ı. Máme-li dostateˇcnou historii pozorován´ı následk˚ u r˚ uzn´ ych akc´ı v r˚ uzn´ ych stavech, m˚ uˇzeme pouˇz´ıt k uˇcen´ı takové s´ıtˇe napˇr´ıklad algoritmus backpropagation. Tato pozorován´ı m˚ uˇzeme z´ıskat selektivn´ım v´ ybˇerem dostateˇcnˇe reprezentativn´ıho poˇctu situac´ı a vyzkouˇsen´ım r˚ uzn´ ych akc´ı agenta v tˇechto situac´ıch. Je moˇzné téˇz nechat agenta automaticky prozkoumat odmˇeny za r˚ uzné akce v r˚ uzn´ ych situac´ıch tak, ˇze vyˇclen´ıme nˇejak´ y ˇcas, ve kterém se bude agent chovat náhodnˇe a pˇritom se uˇcit. Jelikoˇz se ale chceme zamˇeˇrit na online uˇcen´ı, budeme se zaob´ırat pˇredevˇs´ım moˇznost´ı uˇcit agenta v celém pr˚ ubˇehu jeho ˇcinnosti, pˇriˇcemˇz se setkáme s jiˇz zm´ınˇen´ ym dilematem mezi explorac´ı nov´ ych moˇznost´ı a exploatac´ı dosavadn´ıch znalost´ı. Máme-li pˇripravenu modeluj´ıc´ı s´ıt’, m˚ uˇzeme ji zkusit vyuˇz´ıt pro efektivnˇejˇs´ı ˇr´ızen´ı agenta. Necht’ se agent nacház´ı ve stavu s. Pro kaˇzdou proveditelnou akci a ∈ A(s) m˚ uˇzeme pomoc´ı pˇripravené modeluj´ıc´ı s´ıtˇe predikovat odmˇenu. Pokud by moˇzn´ ych akc´ı byl mal´ y koneˇcn´ y poˇcet, mohli bychom ohodnotit modeluj´ıc´ı s´ıt´ı vˇsechny tyto akce a vybrat tu, která pˇrinese nejvˇetˇs´ı okamˇzitou odmˇenu. Moˇzn´ ych akc´ı bude ale ˇcasto velk´ y poˇcet, potenciálnˇe nekoneˇcno (napˇr´ıklad v pˇr´ıpadˇe, ˇze agentem je robot, jehoˇz motor se m˚ uˇze pohybovat jakoukoli rychlost´ı v rozmez´ı 0 - 10 km/hod). V takovémto pˇr´ıpadˇe bychom velmi ocenili algoritmus, kter´ y by pro libovolnou vrstevnatou s´ıt’ s jedn´ım v´ ystupn´ım neuronem dokázal naj´ıt vstupn´ı vektor ~x, kter´ y maximalizuje v´ ystup y v´ ystupn´ıho neuronu. Ukaˇzme si, jak by se takov´ yto algoritmus dal snadno zobecnit, aby pro dan´ y pevnˇe zvolen´ y stav s naˇsel akci a, která povede k z´ıskán´ı maximáln´ı odmˇeny modeluj´ıc´ı s´ıtˇe. Mˇejme vrstevnatou neuronovou s´ıt’ N et1 = (N, C, I, O, w, b). Oznaˇcme ty jej´ı vstupn´ı neurony, které reprezentuj´ı stav prostˇred´ı, jako st0 , st1 , . . . , stm . Necht’ v´ ystupy tˇechto neuron˚ u ve stavu s jsou c0 , c1 , . . . , cm . Vstupn´ı neurony s´ıtˇe N et1, které reprezentuj´ı def. agentovu akci, oznaˇc´ıme jako A0 , A1 , . . . , An . Definujme novou neuronovou s´ıt’ N et2 = N et1c0 ,c1 ,...,cm = (N 0 , C 0 , I 0 , O0 , w0 , b0 ) (viz obrázek 4.1), kde • N 0 = N \ {st0 , st1 , . . . , stm } • C 0 = C ∩ (N 0 × N 0 ), kde × znaˇc´ı kartézsk´ y souˇcin mnoˇzin • I 0 = I \ {st0 , st1 , . . . , stm } • O0 = O 2 3

anglicky model network anglicky control network

25

0 • wij = wij pro (i, j) ∈ C 0 ½ P bi − m : i ∈ N1 0 l=0 cl wstl i • bi = bi : i ∈ N2 , . . . , Nk−1

Obrázek 4.1: S´ıt’ pro pevn´ y stav prostˇ red´ı. Neurony reprezentuj´ıc´ı stav prostˇred´ı odstran´ıme tak, ˇze jejich pevné pˇr´ıspˇevky k potenci´ alu neuron˚ u prvn´ı skryté vrstvy zahr’ neme do prah˚ u tˇechto neuron˚ u. Obrázek znázorˇ nuje s´ıt s jednou skrytou vrstvou a ˇctyˇrmi vstupn´ımi neurony obou typ˚ u. Z neuronové s´ıtˇe N et1 jsme odstranili ty neurony, které kódovaly stav prostˇred´ı, a prahy neuron˚ u ve vrstvˇe nad vstupn´ı vrstvou jsme upravili tak, aby obsahovaly zafixovan´ y stav prostˇred´ı s. Vˇsimnˇeme si, ˇze algoritmicky jsme pro danou s´ıt’ N et1 schopni sestrojit N et2 v lineárn´ım ˇcase vzhledem k |N | + |C|4 . Pˇredpokládejme, ˇze jsme pouˇzili algoritmus, kter´ y naˇsel takov´ y vstupn´ı vektor ~x2 = (yA0 , yA1 , . . . , yAn ) s´ıtˇe N et2, kter´ y maximalizuje v´ ystup N et2(~x2 ). Aktivujme vstupn´ı neurony (st0 , st1 , . . . , stm , A0 , A1 , . . . , An ) s´ıtˇe N et1 vstupn´ım vektorem ~x1 = (c0 , c1 , . . . , cm , yA0 , yA1 , . . . , yAn ). Chceme dokázat, ˇze hodnota v´ ystupu N et1(~x1 ) bude maximáln´ı pro dan´ y stav prostˇred´ı s. K tomu nám postaˇc´ı, kdyˇz pro libovoln´ y vstupn´ı vektor ~x = (x0 , x1 , . . . , xn ) s´ıtˇe N et2 bude platit: N et1(c0 , c1 , . . . , cm , x0 , x1 , . . . , xn ) = N et1c0 ,c1 ,...,cm (x0 , x1 , . . . , xn )

(4.1)

Pˇredloˇzme tyto dva vektory na vstup s´ıtˇe N et1 respektive N et2. Pro libovoln´ y neuron i ∈ N1 plat´ı: ÃÃ n ! Ã m ! ! ÃÃ n ! ! X X X yi = σ xl wAl i + cl wstl i − bi = σ xl wAl i − b0i = yi0 (4.2) l=0

l=0

l=0

4

Zde pˇredpokládáme, ˇze hodnoty, se kter´ ymi poˇc´ıtáme, nejsou libovolná reálná ˇc´ısla, ale ˇc´ısla s pevnˇe omezen´ ym poˇctem desetinn´ ych m´ıst, která lze reprezentovat Turingov´ ym strojem.

26

Tedy v´ ystupy vˇsech neuron˚ u prvn´ı (skryté) vrstvy s´ıt´ı N et1 a N et2 se rovnaj´ı. V´ ystupy neuron˚ u kaˇzdé následuj´ıc´ı vrstvy závis´ı jen na v´ ystupech neuron˚ u pˇredchoz´ı vrstvy, vahách synaps´ı a praz´ıch neuron˚ u. Tedy i v´ ystupy obou s´ıt´ı jsou shodné. Ukázali jsme tedy, ˇze problém nalezen´ı agentovy akce, která v daném stavu prostˇred´ı povede k nejvyˇsˇs´ı oˇcekávané okamˇzité odmˇenˇe, lze v lineárn´ım ˇcase pˇrevést na problém nalezen´ı globáln´ıho maxima vrstevnaté neuronové s´ıtˇe. Jelikoˇz druh´ y problém je speciáln´ı pˇr´ıpad toho prvn´ıho, funguje pˇrevoditelnost i v opaˇcném smˇeru. Oba problémy maj´ı tedy asymptoticky stejnou sloˇzitost, nebot’ zˇrejmˇe nem˚ uˇze existovat algoritmus, kter´ y by ˇreˇsil tyto problémy rychleji neˇz v lineárn´ım ˇcase, a sloˇzitost pˇreveden´ı u ´loh tak m˚ uˇzeme zanedbat. Jak ale plyne z dalˇs´ıho, pro ˇreˇsen´ı tˇechto problém˚ u naneˇstˇest´ı nen´ı znám efektivn´ı algoritmus.

4.3.2

Zvolit akci je tˇ eˇ zk´ e

Abychom mohli u ´lohu formálnˇe definovat pro Turing˚ uv stroj, omez´ıme se v této ˇcásti pouze na práci s cel´ ymi ˇcisly. Hodnoty vˇsech vah a prah˚ u budou celá ˇc´ısla, povol´ıme pouze vstupy s´ıtˇe z mnoˇziny {0, 1} a budeme pouˇz´ıvat pˇrenosovou funkci definovanou takto: ½ 1 : ξ≥0 (4.3) f (ξ) = 0 : ξ<0 Takovouto s´ıt’ budeme naz´ yvat s´ıt´ı prahov´ ych hodnot. Poloˇzme si otázku, zda existuje ’ algoritmus, kter´ y by pro neuronovou s´ıt s jedn´ım v´ ystupn´ım neuronem dokázal naj´ıt vstupn´ı vektor ~x, kter´ y maximalizuje v´ ystup y tohoto neuronu. V pˇr´ıpadˇe s´ıtˇe prahov´ ych hodnot je tato u ´loha ekvivalentn´ı nalezen´ı takového vstupn´ıho vektoru, pro kter´ y bude v´ ystup s´ıtˇe roven jedné, pokud takov´ yto vstupn´ı vektor existuje. Nejprve zformulujme otázku jako rozhodovac´ı problém. Probl´ em maxim´ aln´ıho v´ ystupu: Instance: Celoˇc´ıselná vrstevnatá neuronová s´ıt’ N et s jedn´ım v´ ystupn´ım neuronem, dvˇema skryt´ ymi vrstvami a n vstupn´ımi neurony Otázka: Existuje vstupn´ı vektor ~x = (x0 , x1 , . . . , xn−1 ) takov´ y, ˇze xj ∈ {0, 1} pro 0 ≤ j < n a N et(~x) = 1? Tento rozhodovac´ı problém je z hlediska ˇreˇsitelnosti v polynomiáln´ım ˇcase nejv´ yˇse tak tˇeˇzk´ y, jako zjistit, jak vypadá dotyˇcn´ y vstupn´ı vektor. Známe - li totiˇz vektor, ve kterém v´ ystup s´ıtˇe nab´ yvá svého maxima, dokáˇzeme pro nˇej v polynomiáln´ım ˇcase vypoˇc´ıst hodnotu v´ ystupu s´ıtˇe a porovnat ji s ˇc´ıslem 1. Vˇ eta 1 Problém maximáln´ıho výstupu je NP-´ uplný. D˚ ukaz: Nejprve dokáˇzeme, ˇze problém je NP-tˇeˇzk´ y a potom, ze patˇr´ı do mnoˇziny NP. Dokáˇzeme, ˇze problém 3-SAT lze v polynomiáln´ım ˇcase pˇrevést na problém maximáln´ıho v´ ystupu. Protoˇze o tomto problému je jiˇz dokázáno, ˇze je NP-tˇeˇzk´ y, dokáˇzeme t´ımto pˇrevodem, ˇze i problém maximáln´ıho v´ ystupu je NP-tˇeˇzk´ y. Pˇripomeˇ nme, ˇze problém 3SAT odpov´ıdá na otázku, zda libovolná daná formule v´ yrokové logiky ϕ v konjunktivn´ı 27

normáln´ı formˇe, která se skládá z klausul´ı o právˇe tˇrech literálech, je splnitelná, tj. zda existuje pravdivostn´ı ohodnocen´ı jej´ıch v´ yrokov´ ych promˇenn´ ych ² takové, ˇze ² |= ϕ. Mˇejme formuli ϕ ≡ (A11 ∨ A12 ∨ A13 ) ∧ (A21 ∨ A22 ∨ A23 ) ∧ . . . ∧ (Av1 ∨ Av2 ∨ Av3 ) v konjunktivn´ı normáln´ı formˇe, kde vˇsechna A•• jsou literály, tj. jsou ve tvaru X nebo ¬X, kde X oznaˇcuje v´ yrokovou promˇennou. Klausulemi naz´ yváme disjunkce literál˚ u (A•0 ∨ A•1 ∨ A•2 ). Zkonstruujme celoˇc´ıslenou vrstevnatou neuronovou s´ıt’ N et = (N, C, I, O, w, b, F ) (obrázek 4.2), tak, ˇze vstupn´ı vrstva bude reprezentovat v´ yrokové promˇenné, prvn´ı skrytá vrstva literály, druhá skrytá vrstva klausule a v´ ystupn´ı neuron celou formuli ϕ: • N = I ∪ N1 ∪ N2 ∪ O (dvˇe skryté vrstvy) • I = {X| X je v´ yroková promˇenná obsaˇzená v ϕ} • N1 = {YL | L je literál obsaˇzen´ y ve ϕ, Li 6≡ Lj → YLi 6= YLj } - Zde z technick´ ych d˚ uvod˚ u literály samotné neztotoˇzn ˇujeme s neurony, nebot’ by t´ım neurony pro pozitivn´ı literály splynuly s neurony pro v´ yrokové promˇenné z I. Budeme ˇr´ıkat, ˇze neuron YL odpov´ıdá literálu L. • N2 = {Z| Z je klausule obsaˇzená ve ϕ} • O = {o} (pouze jeden v´ ystupn´ı neuron) • C = (I × N1 ) ∪ (N1 × N2 ) ∪ (N2 × O) • wij = 0 pro i ∈ I, j ∈ N1 pokud literál odpov´ıdaj´ıc´ı neuronu j neobsahuje v´ yrokovou promˇennou i. • wiYi = 1 pro i ∈ I, Yi ∈ N1 - synapse mezi neuronem pro pozitivn´ı literál a v nˇem obsaˇzenou v´ yrokovou promˇennou • wiYj = −1 pro j ≡ ¬i, i ∈ I, Yj ∈ N1 - synapse mezi neuronem pro negativn´ı literál a v nˇem obsaˇzenou v´ yrokovou promˇennou • wij = 1 pro i ∈ N1 , j ∈ N2 pokud je literál pˇr´ısluˇsej´ıc´ı i obsaˇzen v klausuli j. • wij = 0 pro i ∈ N1 , j ∈ N2 pokud literál pˇr´ısluˇsej´ıc´ı i nen´ı obsaˇzen v klausuli j. • wio = 1 pro i ∈ N2 . • bi = 1 pro i ∈ N1 , pokud i pˇr´ısluˇs´ı pozitivn´ımu literálu. • bi = 0 pro i ∈ N1 , pokud i pˇr´ısluˇs´ı negativn´ımu literálu. • bi = 1 pro i ∈ N2 . • bo = v

28

Obrázek 4.2: Pˇ r´ıklad s´ıtˇ e zkonstruovan´ e popsan´ ym postupem pro formuli ϕ ≡ (A∨B ∨¬C)∧(A∨¬B ∨¬C). Synapse s nulovou váhou pro pˇrehlednost nejsou zakresleny. Mˇejme ohodnocen´ı ² v´ yrokov´ ych promˇenn´ ych formule ϕ. Vstupn´ı vektor ~x(²) vytvoˇr´ıme pˇr´ımoˇcaˇre tak, aby pˇriˇrazoval vstupn´ım neuron˚ um i ∈ I s´ıtˇe N et hodnotu 1, pokud ²(i) ≡ T RU E a hodnotu 0 pokud ²(i) ≡ F ALSE. Pro neuron i ∈ N1 odpov´ıdaj´ıc´ı pozitivn´ımu literálu j, kter´ y je totoˇzn´ y s neuronem v´ yrokovou promˇennou j plat´ı: yi = 1 ⇔

X

yk wki ≥ bi ⇔ yj = 1 ⇔ ²(i) ≡ T RU E

(4.4)

k∈I

Pro neuron i ∈ N1 odpov´ıdaj´ıc´ı negativn´ımu literálu ¬j, kde j ∈ I plat´ı: yi = 1 ⇔

X

yk wki ≥ bi ⇔ −(yj ) ≥ 0 ⇔ yj = 0 ⇔ ²(i) ≡ F ALSE

(4.5)

k∈I

Tedy v´ ystupy neuron˚ u v prvn´ı skryté vrstvˇe odpov´ıdaj´ı pravdivostn´ı hodnotˇe odpov´ıdaj´ıc´ıch literál˚ u. Pro neuron i ∈ N2 , i ≡ A∨B ∨C, kde A, B, C jsou literály, kter´ ym odpov´ıdaj´ı neurony j, k, l ∈ N1 plat´ı: X

yi = 1 ⇔

ym wmi ≥ bi ⇔ yj + yk + yl ≥ 1

(4.6)

m∈N1

Tedy neurony pro klausule maj´ı jedniˇckové v´ ystupy, právˇe kdyˇz aspoˇ n jeden z jejich literál˚ u je pˇri ohodnocen´ı ² splnˇen. Tedy v´ ystupy neuron˚ u v druhé skryté vrstvˇe odpov´ıdaj´ı pravdivostn´ı hodnotˇe klausul´ı. Pro v´ ystupn´ı neuron o plat´ı: 29

yo = 1 ⇔

X i∈N2

yi wio ≥ bi ⇔

X i∈N2

yi ≥ v ⇔

X

yi ≥ |N2 |

(4.7)

i∈N2

Tedy v´ ystup s´ıtˇe neuronu yo je roven jedné, právˇe kdyˇz jsou vˇsechny klausule splnˇeny. Plat´ı tedy ² |= ϕ právˇe kdyˇz N et(~x(²)) = 1. Tedy existuje splˇ nuj´ıc´ı ohodnocen´ı formule ϕ, právˇe kdyˇz existuje vstupn´ı vektor ~x ∈ {0, 1}|I| , pro kter´ y N et(~x) = 1. Pˇrevedli jsme problém 3-SAT v polynomiáln´ım ˇcase na problém maximáln´ıho v´ ystupu. Tedy problém maximáln´ıho v´ ystupu je NP-tˇeˇzk´ y. Zb´ yvá dokázat, ˇze problém maximáln´ıho v´ ystupu patˇr´ı do mnoˇziny NP, tedy ˇze je v polynomiáln´ım ˇcase ˇreˇsiteln´ y pomoc´ı nedeterministického Turingova stroje. Turing˚ uv stroj vybere kandidáta ~x na maximalizuj´ıc´ı vstup s´ıtˇe v lineárn´ım ˇcase vzhledem k poˇctu vstup˚ u s´ıtˇe. K ovˇeˇren´ı, zda N et(~x) = 1, staˇc´ı odsimulovat jeden v´ ypoˇcet neuronové s´ıtˇe, coˇz lze v lineárn´ım ˇcase vzhledem k poˇctu synaps´ı s´ıtˇe. Cel´ y problém tedy lze vyˇreˇsit nedeterministick´ ym Turingov´ ym strojem v lineárn´ım ˇcase vzhledem k délce instance u ´lohy. ¤ V´ıme, ˇze problém maximáln´ıho v´ ystupu je NP-´ uplná u ´loha pro pˇr´ıpad s´ıtˇe prahov´ ych hodnot. V praxi ale obvykle pouˇz´ıváme neuronovou s´ıt’ se sigmoidáln´ı pˇrenosovou funkc´ı, která pracuje s vybranou reprezentac´ı pseudoreáln´ ych ˇc´ısel. M˚ uˇzeme pouˇz´ıvat napˇr´ıklad ˇc´ısla s pevn´ ym poˇctem desetinn´ ych m´ıst nebo ˇc´ısla s plovouc´ı desetinnou ˇca´rkou a pevnou délkou mantisy a exponentu. Pˇrenosová funkce pak nen´ı pˇresnˇe rovna sigmoidˇe, ale nˇejaké jej´ı aproximaci. Na takovouto s´ıt’ se v´ yˇse uveden´ y d˚ ukaz nevztahuje, lze ale pˇredpokládat, ˇze i pro tuto s´ıt’ bude v obecném pˇr´ıpadˇe nalezen´ı vstupu, kter´ y maximalizuje v´ ystup s´ıtˇe, velmi teˇzké.

4.3.3

Backpropagation pro ˇ r´ızen´ı

Vrat’me se zpˇet k popsané hypotetické modeluj´ıc´ı s´ıti. V obecném pˇr´ıpadˇe nejsme schopni pro urˇcit´ y stav prostˇred´ı efektivnˇe naj´ıt agentovu akci, která pˇrinese nejvyˇsˇs´ı okamˇzitou odmˇenu. M˚ uˇzeme ale s pomoc´ı algoritmu zpˇetného ˇs´ıˇren´ı spoˇc´ıtat parciáln´ı derivace v´ ystupn´ıho neuronu podle vstup˚ u celé s´ıtˇe. To m˚ uˇzeme pouˇz´ıt k tomu, abychom vylepˇsovali zvolenou agentovu akci, dokud nebude modeluj´ıc´ı s´ıt’ v lokáln´ım maximu vzhledem k této akci. Podobn´ ym smˇerem se vydal ve své práci Paul Munro [11]. Jeho ideou je pouˇz´ıt dvˇe neuronové s´ıtˇe, N et1 a N et2 (obrázek 4.3). Tyto s´ıtˇe propoj´ıme do jedné s´ıtˇe N et tak, ˇze vstupy s´ıtˇe N et1 budou vstupy celé s´ıtˇe N et, v´ ystupy s´ıtˇe N et1 tvoˇr´ı vstupy s´ıtˇe N et2 a v´ ystupy s´ıtˇe N et2 jsou v´ ystupy celé s´ıtˇe N et. Zat´ımco váhy a prahy s´ıtˇe N et2 jsou ’ pevnˇe dány, s´ıt N et1 m˚ uˇzeme uˇcit vytváˇret vhodné vstupy pro N et2 tak, aby celá s´ıt’ N et dávala poˇzadované v´ ystupy. Za N et2 m˚ uˇzeme vz´ıt modeluj´ıc´ı s´ıt’ nauˇcenou klasick´ ym algoritmem zpˇetného ˇs´ıˇren´ı, která pˇredv´ıdá okamˇzitou odmˇenu v závislosti na agentovˇe akci (a stavu prostˇred´ı). S´ıt’ N et1 je v naˇsem pˇr´ıpadˇe ˇr´ıdic´ı s´ıt’ - popisuje agentovo chován´ı. M˚ uˇzeme ji uˇcit pomoc´ı upravené gradientn´ı metody. K tomu je zapotˇreb´ı znát hodnoty parciáln´ıch derivac´ı 30

Obrázek 4.3: Sch´ ema Munroovy s´ıtˇ e. modeluj´ıc´ı s´ıt’ Net2 m˚ uˇze být uˇcena algoritmem ’ zpˇetného ˇs´ıˇren´ı a ˇr´ıdic´ı s´ıt Net1 ve smˇeru gradientu odmˇeny predikované s´ıt´ı Net2. v´ ystupu s´ıtˇe N et (oˇcekávané odmˇeny) podle vah a prah˚ u s´ıtˇe N et1. Pomoc´ı algoritmu zpˇetného ˇs´ıˇren´ı m˚ uˇzeme vypoˇc´ıst parciáln´ı derivace v´ ystupu N et podle vstup˚ u N et2. Tyto parciáln´ı derivace pak m˚ uˇzeme propagovat zpˇet do s´ıtˇe N et1, abychom z´ıskali parciáln´ı derivace v´ ystupu N et podle vah a prah˚ u N et1. V pˇr´ıpadˇe, kdyˇz N et má jedin´ y v´ ystup pˇredstavuj´ıc´ı oˇcekávanou odmˇenu, budeme upravovat vˇsechny váhy a prahy s´ıtˇe N et1 ve smˇeru gradientu v´ ystupu podle tˇechto vah, ˇc´ımˇz budeme zvyˇsovat odmˇenu dosaˇzenou v následuj´ıc´ım kroku. Takto m˚ uˇzeme v principu nauˇcit agenta poˇzadovanému chován´ı, aniˇz bychom k tomu potˇrebovali jakoukoli informaci od vnˇejˇs´ıho uˇcitele. Celá s´ıt’ N et pak bude reprezentovat chován´ı soustavy agent - prostˇred´ı. Autor toto demonstroval na jednoduchém pˇr´ıkladu. Nejprve byla s´ıt’ N et2 nauˇcena poˇc´ıtat funkci sinus. Poté byla u ´spˇeˇsnˇe uˇcena s´ıt’ N et1 ’ ’ tak, aby celá s´ıt N et poˇc´ıtala funkci cosinus. S´ıt N et1 se tak musela nauˇcit transformaci, která pro kaˇzd´ y vstup x vypoˇc´ıtá takov´ y v´ ystup y, ˇze sin(y) = cos(x). Bohuˇzel má tento pˇr´ıstup ˇradu problém˚ u: 1. Pouˇzijeme-li k uˇcen´ı s´ıt´ı N et1 a N et2 algoritmus zpˇetného ˇs´ıˇren´ı, budeme naráˇzet na problém s lokáln´ımi extrémy, kter´ y má kaˇzdá gradientn´ı metoda. 2. Pokud jsou obˇe s´ıtˇe, modeluj´ıc´ı i ˇr´ıdic´ı, s´ıtˇe vrstevnaté, jak je popsáno v´ yˇse, agent nemá moˇznost si cokoli pamatovat. To m˚ uˇze znemoˇznit algoritmu vyvinout u ´ˇcinnou strategii, pokud se agent pohybuje v nemarkovském prostˇred´ı. 3. V´ yˇse pouˇz´ıvaná modeluj´ıc´ı s´ıt’ predikuje pouze okamˇzitou odmˇenu, tj. odmˇenu, kterou agent z´ıská v bezprostˇrednˇe následuj´ıc´ım kroku. Pokud se agent chová tak, aby maximalizoval okamˇzitou odmˇenu, nedokáˇze z´ıskávat opoˇzdˇené odmˇeny a jeho strategie m˚ uˇze b´ yt velmi ne´ uˇcinná. Problému ˇc´ıslo 1 se v této práci vˇenovat nebudeme. Problém 2 se pokus´ıme pˇrekonat s pomoc´ı rekurentn´ıch s´ıt´ı pozdˇeji. Ukaˇzme si nyn´ı moˇznost, jak se lze vypoˇrádat se problémem tˇret´ım s pomoc´ı vrstevnaté s´ıtˇe.

4.4

Algoritmus TD(λ)

Algoritmus pro uˇcen´ı neuronov´ ych s´ıt´ı TD(λ) byl navrhnut R. Suttonem v [18] a proslavil se pˇredevˇs´ım d´ıky G. Tesaurovi, kter´ y jej s u ´spˇechem pouˇzil k vytvoˇren´ı algoritmu 31

TD-Gammon pro hru Backgammon (ˇcesky téˇz vrhcáby)[19], jehoˇz verze 2.0 se v roce 1992 témˇeˇr vyrovnala lidsk´ ym ˇsampion˚ um. Pˇredstavme si algoritmus TD(λ) na pˇr´ıkladu programu TD-Gammon. Backgammon je starobylá desková hra pro 2 hráˇce (obrázek 4.4). C´ılem hráˇc˚ u je dopravit do u ´krytu vˇsechny své kameny dˇr´ıve, neˇz tak uˇcin´ı soupeˇr. Hráˇci postupuj´ı kameny po jednorozmˇerné dráze smˇerem proti sobˇe. Moˇznosti pohybu jsou dány hodem dvou kostek. Jedná se tedy o hru nedeterministickou. V kaˇzdém tahu hráˇc pohybuje dvˇema kameny (lze i dvakrát t´ım stejn´ ym), o tolik pol´ı, kolik je na kostkách. Pokud hráˇc pˇrem´ıst´ı sv˚ uj kámen na pole, kde se nacház´ı právˇe jeden kámen soupeˇre, vyhod´ı ho a soupeˇr˚ uv kámen se vrac´ı na zaˇca´tek dráhy. Zv´ıtˇez´ı-li hráˇc, aniˇz by mu soupeˇr vyhodil jedin´ y kámen, dosáhl tzv. gammon a vyhrává dvojnásobek sázky. Vstoupit na pole, kde má soupeˇr v´ıce neˇz jeden kámen, je zakázáno, d´ıky ˇcemuˇz ve hˇre vzniká prostor pro ˇradu zaj´ımav´ ych strategi´ı. Nav´ıc existuje tzv. násob´ıc´ı kostka (doubling cube), která umoˇzn ˇuje hráˇci zdvojnásobit sázku hry, pokud mysl´ı, ˇze je jeho v´ yhra pravdˇepodobná. Zdvojnásob´ı-li jeden z hráˇc˚ u sázku, kostka je pˇredána soupeˇri, kter´ y m˚ uˇze kdykoli pozdˇeji sázku opˇet zdvojnásobit a pˇredat kostku prvn´ımu hráˇci.

Obrázek 4.4: Hra Backgammon. (Obrázek poˇr´ızen z www.wikipedia.org, kde lze téˇz nalézt veˇrejnou licenci k jeho pouˇz´ıván´ı.) Hra Backgammon je z pohledu umˇelé inteligence pomˇernˇe sloˇzitá. Poˇcet moˇzn´ ych stav˚ u 20 desky je pˇribliˇznˇe 10 , coˇz znemoˇzn ˇuje v souˇcasné dobˇe vyˇreˇsen´ı hry prohledán´ım vˇsech moˇzn´ ych cest. Prohledáván´ı na nˇekolik tah˚ u dopˇredu pouˇz´ıvané s u ´spˇechem napˇr. u ˇsachu zde také nen´ı vhodné, nebot’ náhodnost zp˚ usobená pouˇz´ıván´ım kostek velmi zvyˇsuje poˇcet moˇzn´ ych pˇrechod˚ u mez´ı stavy (tzv. branching factor). Hod dvˇema kostkami m˚ uˇze m´ıt 21 r˚ uzn´ ych v´ ysledk˚ u a na kaˇzd´ y z nich pˇripadá v pr˚ umˇeru 20 moˇzn´ ych tah˚ u. V kaˇzdém p˚ ultahu se tedy hra vˇetv´ı v pr˚ umˇeru nˇekoliksetkrát (pro srovnán´ı, u ˇsach˚ u je to tˇricetkrát aˇz ˇctyˇricetkrát). Rozhodneme-li se ke hˇre pˇristoupit pomoc´ı paradigmatu zpˇetnovazebného uˇcen´ı, sloˇzitost hry nám znemoˇzn´ı pouˇzit´ı algoritm˚ u dynamického programován´ı a Q-uˇcen´ı (Bellmanovo proklet´ı dimensionality). V naˇs´ı terminologii, budeme nuceni pouˇz´ıt nˇejakou formu kompaktn´ı reprezentace. 32

Algoritmus TD(λ), je zaloˇzen na predikˇcn´ı metodˇe “Temporal Difference learning”. Tento princip, ˇcasto vyuˇz´ıvan´ y pro zpˇetnovazebné uˇcen´ı, se dá struˇcnˇe charakterizovat jako postupné zpˇresˇ nován´ı modelu pro nˇejakou predikci pomoc´ı jiné, dokonalejˇs´ı predikce. Sutton[18] uvád´ı tento pˇr´ıklad. Pˇ r´ıklad: Pˇredpokládejme, ˇze naˇs´ım c´ılem je pˇredpovˇedˇet poˇcas´ı na sobotu a ˇze máme modely, které pˇredpov´ıdaj´ı sobotn´ı poˇcas´ı na základˇe poˇcas´ı r˚ uzn´ ych dn˚ u v t´ ydnu. Pˇri klasickém uˇcen´ı s uˇcitelem bychom poˇckali do soboty a podle skuteˇcného sobotn´ıho poˇcas´ı opravili vˇsechny modely tak, aby lépe predikovaly. Napˇr´ıklad v pátek uˇz ale máme k dispozici mnohem lepˇs´ı odhad poˇcas´ı na sobotu, a tak jiˇz m˚ uˇzeme zdokonalit pondˇeln´ı model podle v´ ysledk˚ u páteˇcn´ıho modelu. Pro zaj´ımavost dodejme, ˇze “Temporal Difference learning” se téˇz tˇeˇs´ı zájmu neurolog˚ u, nebot’ bylo zjiˇstˇeno, ˇze “Temporal Difference learning” nápadnˇe pˇripom´ıná chován´ı nˇekter´ ych systém˚ u ve zv´ıˇrec´ım mozku[17]. Tesaur˚ uv TD-Gammon pouˇz´ıvá vrstevnatou neuronovou s´ıt’ (N, C, I, O, w, b) se sigmoidáln´ı pˇrenosovou funkc´ı a gradientn´ı metodu pro jej´ı uˇcen´ı. Derivaci v´ ystupu neuronu l l ∈ N podle váhy wij budeme znaˇcit pij a derivaci podle prahu bi budeme znaˇcit pli . Vstupn´ı neurony této s´ıtˇe kóduj´ı polohu vˇsech kamen˚ u na desce a informaci o tom, kter´ y hráˇc je na ˇradˇe. V´ ystupn´ı vrstva má ˇctyˇri neurony, které pˇredpov´ıdaj´ı ˇctyˇri moˇzné v´ ysledky partie - v´ıtˇezstv´ı prvn´ıho / druhého hráˇce a gammon pro prvn´ıho / druhého hráˇce. S´ıt’ se tud´ıˇz uˇc´ı poˇc´ıtat funkci, která ohodnot´ı v´ yhodnost situace na desce pro prvn´ıho a druhého hráˇce. S´ıt’ je zpoˇcátku inicializována náhodnˇe. Postup uˇcen´ı s´ıtˇe je potom následuj´ıc´ı: V kaˇzdém ˇcasovém okamˇziku t (okamˇziky odpov´ıdaj´ı tah˚ um obou stran, tj. co p˚ ultah, to jeden ˇcasov´ y okamˇzik) je s´ıti pˇredloˇzen vstupn´ı vektor ~x(t) kóduj´ıc´ı stav hrac´ı desky. S´ıt’ pro tento vstup vypoˇc´ıtá (v naˇsem pˇr´ıpadˇe ˇctyˇrsloˇzkov´ y) v´ ystupn´ı vektor ~y (t). Poté jsou vypoˇcteny parciáln´ı derivace v´ ystupn´ıch neuron˚ u s´ıtˇe podle hodnot vah plij a prah˚ u l pj pro l ∈ O a (i, j) ∈ C, respektive i ∈ N \ I pro pˇr´ıpad prah˚ u. V kaˇzdém kroku jsou pak upraveny váhy a prahy s´ıtˇe tak, aby se predikce v´ ysledku partie v pˇredchoz´ım kroku pˇribl´ıˇzila té aktuáln´ı: t X X wij (t + 1) = wij (t) + α (yl (t + 1) − yl (t)) λt−m plij (m)

bj (t + 1) = bj (t) + α

X

(4.8)

m=0

l∈O

(yl (t + 1) − yl (t))

t X

λt−m plj (m),

(4.9)

m=0

l∈O

kde α > 0 je parametr uˇcen´ı, kter´ y udává velikost u ´pravy v kaˇzdém kroku (podobnˇe jako u algoritmu zpˇetného ˇs´ıˇren´ı). Parametr λ udává, nakolik se chyba predikce propaguje zpˇet do minulosti. Pro λ = 0 se chyba propaguje pouze do pˇredchoz´ıho okamˇziku, zat´ımco pro λ = 1 se propaguje do minulosti bez omezen´ı. Hodnoty mezi 0 a 1 pak pˇredstavuj´ı kompromis mezi tˇemito dvˇema extrémy. Jedinou odmˇenu respektive trest dostává agent na závˇer partie v podobˇe ˇctyˇrsloˇzkového vektoru ~z, jehoˇz sloˇzky odpov´ıdaj´ı ˇctyˇrem moˇzn´ ym v´ ysledk˚ um zápasu. To je zajiˇstˇeno t´ım, ˇze váhy s´ıtˇe jsou na konci partie upraveny m´ısto podle rovnice 4.8 a 33

4.9 dle vzorc˚ u: t X X wij (t + 1) = wij (t) + α (zl − yl (t)) λt−m plij (m) m=0

l∈O

bj (t + 1) = bj (t) + α

(4.10)

t X X (zl − yl (t)) λt−m plj (m)

(4.11)

m=0

l∈O

P Jak zjistil Sutton[18], pro v´ ypoˇcet tm=0 λt−m plij (m) nen´ı nutné si v pamˇeti uchovávat celou historii plij (t) pro vˇsechna i, j, l. Je-li totiˇz hodnota této sumy pro nˇejaká i, j, l v ˇcase t rovna S(t)lij , potom:

S(t +

1)lij

=

t+1 X

λt+1−m plij (m) =

m=0

=

plij (t

=

plij (t

+ 1) + λ

t X

λt−m plij (m) =

m=0

+ 1) + λS(t)lij

(4.12)

Podobnˇe lze pro vˇsechny prahy s´ıtˇe odvodit S(t + 1)lj = plj (t + 1) + λS(t)lj , kde S(t)lj =

Pt m=0

(4.13)

λt−m plj (m).

Bˇehem uˇcen´ı ovládá stejná neuronová s´ıt’ oba hráˇce. V kaˇzdém p˚ ultahu ohodnot´ı s´ıt’ vˇsechny moˇzné tahy. Hráˇc, kter´ y je na ˇradˇe, pak zvol´ı ten tah, kter´ y pro nˇej má nejvyˇsˇs´ı oˇcekávan´ y v´ ynos. Program se takto uˇc´ı hran´ım sama proti sobˇe. Jelikoˇz s´ıt’ samotná nereprezentuje ˇcinnost násob´ıc´ı kostky, v pr˚ ubˇehu uˇcen´ı s násob´ıc´ı kostkou nepracujeme. Pˇri samotné hˇre pak vyuˇz´ıvá program teoretick´ y vzorec, kter´ y z odhadovaného v´ ysledku partie, kter´ y poskytne neuronová s´ıt’, rozhodne, zda se vyplat´ı zdvojnásobit sázku. O v´ ysledc´ıch tohoto algoritmu Tesauro p´ıˇse, ˇze: “Pomˇernˇe pˇrekvapivé bylo, ˇze dokonce i pˇri experimentech bez jak´ ychkoli poˇcáteˇcn´ıch znalost´ı s pˇr´ım´ ym kódován´ım stavu hrac´ı desky prob´ıhalo v´ yznamné mnoˇzstv´ı uˇcen´ı. ’ Bˇehem prvn´ıch nˇekolika tis´ıc trénovac´ıch her se s´ıt nauˇcila mnoˇzstv´ı základn´ıch strategi´ı a taktik, kupˇr´ıkladu vyhazovat soupeˇrovy kameny nebo upˇrednostˇ novat bezpeˇcné pozice. Po nˇekolika tis´ıc´ıch trénovac´ıch her se pak objevily komplikovanˇejˇs´ı koncepty. Pravdˇepodobnˇe nejpovzbudivˇejˇs´ı bylo zjiˇstˇen´ı, ˇze s´ıt’ mˇela dobrou schopnost kategorizace v tom smyslu, ˇze pokud jsme zvyˇsovali velikost s´ıtˇe a dobu uˇcen´ı, v´ ykonnost s´ıtˇe se zásadnˇe zvyˇsovala. Nejvyˇsˇs´ı v´ ykonnosti jsme dosáhli se s´ıt´ı o 40 skryt´ ych neuronech, která byla trénována 200 000 her. Tato s´ıt’ dosáhla u ´rovnˇe nadpr˚ umˇerného hráˇce pˇribliˇznˇe stejné kvality jako program Neurogammon (pˇredchoz´ı autor˚ uv program zaloˇzen´ y na neuronové s´ıti uˇcené s uˇcitelem, kter´ y zv´ıtˇezil v roce 1989 na mezinárodn´ı poˇc´ıtaˇcové olympiádˇe - pozn. autor). Podrobná anal´ yza vah jdouc´ıch ze vstupn´ıch do skryt´ ych neuron˚ u v této s´ıt´ı odhalila zaj´ımavé vzory pozitivn´ıch a negativn´ıch vah hrubˇe odpov´ıdaj´ıc´ıch tomu, co by znalostn´ı 34

inˇzen´ yr nazval pˇr´ıznaky uˇziteˇcné pro hru. S´ıt’ byla tedy schopná automaticky objevovat podstatné elementy, coˇz je jeden z dlouhodob´ ych c´ıl˚ u v´ yzkumu uˇcen´ı v oblasti her jiˇz od Samuelova programu pro hran´ı dámy.” Poté se Tesauro pokusil program jeˇstˇe zdokonalit t´ım, ˇze na vstup neuronové s´ıtˇe pˇridal ruˇcnˇe vybrané pˇr´ıznaky odpov´ıdaj´ıc´ı podstatn´ ym informac´ım o stavu hry (verze 1.0). To pˇrineslo zásadn´ı zv´ yˇsen´ı v´ ykonnosti, kter´ ym program pˇrekonal vˇsechny tehdejˇs´ı programy pro hran´ı Backgammonu a stal se d˚ ustojn´ ym soupeˇrem lidsk´ ych ˇsampión˚ u. Pozdˇejˇs´ı verze 2.0 byla dále zdokonalena t´ım, ˇze program prohledával na dva p˚ ultahy dopˇredu a zohledˇ noval pˇri v´ ybˇeru nejlepˇs´ıho tahu i soupeˇr˚ uv protitah.

4.4.1

Pˇ r´ınos TD-Gammonu

TD(λ) tedy nedˇelaj´ı problém opoˇzdˇené odmˇeny, dokonce s ˇcasov´ ym odstupem i stovek krok˚ u. Tento model neuronové s´ıtˇe ˇreˇs´ı problém 3 popsan´ y v ˇca´sti 4.3.3 tak, ˇze modeluj´ıc´ı s´ıt’ nepˇredv´ıdá pouze okamˇzitou odmˇenu v pˇr´ıˇst´ım kole, ale uˇc´ı se predikovat celkovou kumulativn´ı odmˇenu za partii. Dále poznamenejme, ˇze v terminologii zpˇetnovazebného uˇcen´ı vstupem této neuronové s´ıtˇe nen´ı cel´ y popis stavu s ∈ S, kter´ y má agent k dispozici, kdyˇz se rozhoduje vykonat nˇejakou akci. Chyb´ı zde totiˇz informace o hodnotách, které jsou na kostkách. To nám ale nevad´ı, protoˇze modeluj´ıc´ı s´ıt’ nám ohodnocuje “mezistav”, kter´ y nastane poté, co agent vykoná urˇcitou akci, ale pˇredt´ım, neˇz se znovu ház´ı kostkami. A v´ ysledek hodu kostkami je zcela náhodn´ y, nezávis´ı na ˇzádné pˇredchoz´ı události. D´ıky tomu m˚ uˇzeme predikovat kumulativn´ı odmˇenu pro kaˇzdou moˇznou agentovu akci. Algoritmus umoˇzn ˇuje uˇcen´ı online i offline - uˇcen´ı m˚ uˇzeme v urˇcitém okamˇziku pˇreruˇsit, ’ a nebo se s´ıt m˚ uˇze uˇcit celém pr˚ ubˇehu svého ˇzivota. Pouˇzit´ı TD(λ) v Backgammonovém programu TD-Gammon byl bezesporu velk´ y u ´spˇech v oblasti zpˇetnovazebného uˇcen´ı. Zvaˇzme, ˇc´ım je u ´spˇech TD-Gammonu zp˚ usoben a nakolik je tento pˇr´ıstup aplikovateln´ y i pro jiné u ´lohy. Vlastnosti hry Backgammon zp˚ usobuj´ı, ˇze je tato hra v mnoha ohledech ideáln´ı pˇr´ıleˇzitost´ı pro aplikaci algoritmu TD(λ) [19]. 1. Jedná se o pravdˇepodobnostn´ı Markovsk´ y rozhodovac´ı problém - znalost o aktuáln´ım stavu hrac´ı desky je vˇs´ım, co agent potˇrebuje znát ke správnému rozhodován´ı. Proto zde vystaˇc´ıme s vrstevnatou neuronovou s´ıt´ı bez zpˇetn´ ych vazeb. 2. Poˇcet aplikovateln´ ych akc´ı v kaˇzdém stavu je koneˇcn´ y a pomˇernˇe n´ızk´ y. To umoˇzn ˇuje vypoˇc´ıtat oˇcekávané v´ ynosy pro kaˇzd´ y moˇzn´ y tah (ve verzi 2.0 dokonce pro kaˇzdou kombinaci tah - protitah) a zvolit tu nejlepˇs´ı. D´ıky tomu se také obejdeme bez ˇr´ıdic´ı s´ıtˇe, která by volila pro kaˇzdou situaci agentovu akci. 3. Je-li agent-hráˇc v urˇcitém stavu (tj. kameny jsou v urˇcité poloze na desce a na kostkách jsou urˇcité dvˇe hodnoty), pak následek kaˇzdé akce (tj. stav desky po vykonán´ı urˇcitého tahu) je deterministick´ y a je nám pˇredem znám´ y. Agent se tedy nemus´ı uˇcit, jak se projevuj´ı jeho zásahy do prostˇred´ı (modeluj´ıc´ı s´ıt’ nemus´ı predikovat, jak agentovy akce mˇen´ı prostˇred´ı), a m˚ uˇze ohodnotit v´ ysledek kaˇzdé své moˇzné akce. 35

4. Pouˇzit´ı kostek do hry vnáˇs´ı náhodnost, d´ıky které ta stejná strategie m˚ uˇze v r˚ uzn´ ych parti´ıch vést do r˚ uzn´ ych situac´ı. D´ıky tomu docház´ı od poˇcátku uˇcen´ı automaticky k prohledáván´ı (exploraci) velkého mnoˇzstv´ı stav˚ u. To pomáhá vyhnout se situaci, která m˚ uˇze nastat napˇr. pokud se program uˇc´ı hrát hru Dáma sám proti sobˇe, a to, ˇze oba soupeˇri dosáhnou pouze n´ızkou u ´roveˇ n a pˇrestanou se zdokonalovat, protoˇze oba v kaˇzdé partii stále procházej´ı stejn´ ymi stavy. 5. I pˇri velmi ˇspatném zp˚ usobu hry nakonec vˇzdy jeden z hráˇc˚ u zv´ıtˇez´ı a z´ıská odmˇenu. D´ıky tomu se i poˇcáteˇcn´ı agenti ˇr´ızen´ı náhodnˇe inicializovanou s´ıt´ı mohou nauˇcit, jak zv´ıtˇezit (náhodnˇe se chovaj´ıc´ı agenti obvykle dohráli v nˇekolika tis´ıc´ıch tah˚ u, zat´ımco normáln´ı hra trvá v pr˚ umˇeru 50-60 tah˚ u). Kdybychom nechali hrát proti sobˇe dva náhodnˇe se chovaj´ıc´ı algoritmy napˇr´ıklad ˇsachy, hra by pravdˇepodobnˇe stále konˇcila rem´ızou a agenti by se nikdy nemusili nauˇcit, za co lze odmˇenu z´ıskat.

4.4.2

TD(λ) v nemarkovsk´ em prostˇ red´ı

Rádi bychom aplikovali algoritmus TD(λ) i na sloˇzitˇejˇs´ı u ´lohy zpˇetnovazebného uˇcen´ı, jako je napˇr´ıklad u ´loha koˇristi a dravce popsaná v 5.1. Tato u ´loha uˇz nemá vhodné vlastnosti popsané v´ yˇse, které má hra Backgammon. Algoritmus budeme tedy muset pro naˇsi u ´lohu pˇrizp˚ usobit. 1. Nejedná se o Markovsk´ y rozhodovac´ı problém, protoˇze pro pˇredpovˇed’ budouc´ıho chován´ı prostˇred´ı jsou podstatné informace z minulosti, které agent v daném okamˇziku nemá na vstupech (Napˇr´ıklad pokud zkonzumuje agent vˇsechnu potravu na urˇcitém m´ıstˇe a popojde o jedno pole vpˇred, nemá jiˇz na vstupu informaci o tom, ˇze se na poli za n´ım nenacház´ı potrava. Tato informace je pˇritom relevantn´ı pro predikci stavu, do kterého se m˚ uˇze agent v budoucnosti dostat.). Moˇzn´ ym ˇreˇsen´ım tohoto problému by bylo pˇridat rekurentn´ı spoje, d´ıky kter´ ym by s´ıt’ z´ıskala urˇcitou krátkodobou pamˇet’. Rekurentn´ım s´ıt´ım se budeme vˇenovat v následuj´ıc´ı ˇca´sti. V nˇekterém pˇr´ıpadˇe m˚ uˇzeme tento problém téˇz ˇreˇsit tak, ˇze bychom agentovi umˇele pˇridali nové vstupy, které by obsahovaly uˇziteˇcné informace z historie (napˇr´ıklad zda v posledn´ıch pˇeti kroc´ıch spatˇril dravce). My jsme se ale rozhodli ponechat vrstevnatou s´ıt’ se vstupy tak, jak jsou popsány v 5.1 s t´ım, ˇze lze oˇcekávat niˇzˇs´ı u ´spˇeˇsnost algoritmu oproti jeho pouˇzit´ı v Markovském rozhodovac´ım procesu. 2. Jelikoˇz agentovy v´ ystupy v naˇs´ı u ´loze jsou spojité (kaˇzd´ y ze tˇr´ı vstup˚ u m˚ uˇze b´ yt libovolné ˇc´ıslo z intervalu [0, 1]), nebude moˇzné ohodnotit vˇsechny moˇzné akce a naj´ıt tu, které odpov´ıdá nejvˇetˇs´ı oˇcekávaná odmˇena. Budeme moci pouze heuristicky vybrat nˇejakou suboptimáln´ı akci. Prvn´ı pˇr´ıstup, kter´ y zvol´ıme, bude diskretizovat moˇzné hodnoty vstup˚ u rovnomˇern´ ym rozdˇelen´ım intervalu [0, 1] na mnoˇzinu l hodnot. Takto napˇr´ıklad pro l = 3 budeme uvaˇzovat pouze vstupy z mnoˇziny {0, 0.5, 1}. Mus´ıme zde ale dát pozor na v´ ypoˇcetn´ı sloˇzitost, nebot’ vyzkouˇsen´ı vˇsech variac´ı k vstup˚ u, kaˇzdého z mnoˇziny l hodnot bude u ´mˇerné lk . Dalˇs´ım moˇzn´ ym ˇreˇsen´ım je napˇr´ıklad vygenerovat náhodnˇe 100 moˇzn´ ych akc´ı a poté vykonat tu, pro kterou je oˇcekávaná odmˇena nejvyˇsˇs´ı. 36

3. V pˇr´ıpade naˇs´ı u ´lohy agent nezná pˇredem, jak´ y dopad jeho akce zanechá na prostˇred´ı. To je zásadn´ı odliˇsnost oproti hˇre Backgammon, která si vyˇza´dá zmˇenu zp˚ usobu práce s neuronovou s´ıt´ı. Vrstevnatá neuronová s´ıt’, kterou pouˇzijeme, nebude reprezentovat odhad odmˇeny pro dan´ y stav, ale pro kombinaci stav × akce. Funkci, kterou s´ıt’ poˇc´ıtá, tedy interpretujeme jako odhad kumulativn´ı odmˇeny z´ıskané bˇehem zbytku ˇzivotn´ıho cyklu agenta, kter´ y je v urˇcité situaci a vykoná v n´ı urˇcitou akci. 4. Náhodnost, vnesená do hry Backgammon házen´ım kostek, v naˇs´ı u ´loze chyb´ı, coˇz nám bude p˚ usobit urˇcité problémy. Do prostˇred´ı zasahuj´ı nepˇredv´ıdatelné elementy (napˇr´ıklad start na náhodném m´ıstˇe, pohyb dravc˚ u atd.), tud´ıˇz simulace prob´ıhaj´ı pokaˇzdé jinak, i kdyˇz se agenti chovaj´ı stále stejnˇe. Pˇresto je ale tendence algoritmu ke zkouˇsen´ı nov´ ych moˇznost´ı (exploraci) v naˇsem pˇr´ıpadˇe niˇzˇs´ı neˇz u Backgammonu. M˚ uˇze, jak pop´ıˇseme n´ıˇze, doj´ıt k tomu, ˇze agent se mylnˇe nauˇc´ı, ˇze nˇejaká akce je nev´ yhodná, a proto tuto akci pˇrestane zkouˇset. T´ım ztrat´ı moˇznost nauˇcit se, ˇze v jiné situaci by tato akce mohla b´ yt pˇr´ınosnou. Budeme zvaˇzovat v´ıce ˇreˇsen´ı tohoto problému, která se budou snaˇzit vnést do u ´lohy náhodnost “umˇele”. 5. Jak jsme uvedli, u Backgammonu je témˇeˇr jisté, ˇze po urˇcitém ˇcase náhodného hran´ı jeden z hráˇc˚ u zv´ıtˇez´ı. Pˇredpokládejme, ˇze bychom ponechali v u ´loze dravce a koˇristi trván´ı jedné simulace 500 krok˚ u. Pˇritom bychom agenta odmˇen ˇovali podobnˇe jako v TD-Gammonu pouze na konci simulace jedniˇckou, pokud by pˇreˇzil, a nulou, pokud by umˇrel pˇred koncem simulace. Narazili bychom na problém, ˇze poˇca´teˇcn´ı náhodnˇe inicializované s´ıtˇe by ˇr´ıdily agenta velmi ne´ uˇcinnˇe, a agent by se tak pravdˇepodobnˇe konce simulace nikdy nedoˇzil. Nemohl by se tak nauˇcit, jaká situace a akce je v´ yhodná, protoˇze vede k pˇreˇzit´ı, a jaká ne. Jednoduchou modifikac´ı by bylo na konci simulace udˇelit agentovi odmˇenu u ´mˇernou tomu, jak dlouho ˇzil. Zvaˇzme ale, ˇze od neuronové s´ıtˇe budeme poˇzadovat, aby v kaˇzdém okamˇziku predikovala celou z´ıskanou odmˇenu za simulaci pouze s vyuˇzit´ım informace o tom, jak´ y signál má momentálnˇe agent na senzorech a pro jakou akci se rozhodl. Pokud bychom ponechali délku jedné simulace 500 krok˚ u, s´ıt’ by nemˇela informaci o tom, kolik ˇcasu jeˇstˇe zb´ yvá do konce simulace, a nemohla by tak smysluplnˇe pˇredv´ıdat, jaká bude odmˇena. Kdyˇz pˇri stejném zp˚ usobu odmˇen ˇován´ı zruˇs´ıme ˇcasové omezen´ı jedné simulace (simulace potrvá, dokud vˇsechna koˇrist nezahyne), s´ıt’ opˇet nebude m´ıt dost informac´ı k tomu, aby odhadovala odmˇenu, nebot’ nebude znát, jak dlouho jiˇz agent ˇzil. Z toho plyne, ˇze budeme potˇrebovat agenta odmˇen ˇovat pr˚ ubˇeˇznˇe. V kaˇzdém ˇcasovém kroku t dostane agent urˇcitou odmˇenu dle toho, jak je situace pˇr´ıznivá pro jeho pˇreˇzit´ı. S´ıt’ pro dan´ y stav prostˇred´ı a zvolenou akci predikuje, kolik odmˇeny takto agent jeˇstˇe z´ıská, neˇz zahyne. V kaˇzdém kroku tak budeme s´ıt’ adaptovat tak, aby pˇredchoz´ı predikce pˇredv´ıdaly predikci v ˇcase t plus okamˇzitou odmˇenu z´ıskanou v ˇcase t. Vzorce 4.8 a 4.9 nahrad´ıme: wij (t + 1) = wij (t) + α

X

(yl (t + 1) + rt+1 − yl (t))

t X m=0

l∈O

37

λt−m plij (m)

(4.14)

t X X bj (t + 1) = bj (t) + α (yl (t + 1) + rt+1 − yl (t)) λt−m plj (m),

(4.15)

m=0

l∈O

kde rt je okamˇzitá odmˇena v ˇcase t. Je moˇzné, ˇze bude nutné tuto okamˇzitou odmˇenu podˇelit nˇejak´ ym koeficientem, aby velikost celkové z´ıskané odmˇeny za simulaci nepˇresahovala hodnotu 1. Vyˇsˇs´ı hodnotu by s´ıt’ s v´ ystupy z intervalu [0, 1] nedokázala predikovat. V okamˇziku agentovy smrti je pak okamˇzitá odmˇena nulová a predikce do budoucna téˇz, vzorce 4.10 a 4.11 tedy nahrad´ıme: wij (t + 1) = wij (t) + α

X

(0 − yl (t))

l∈O

bj (t + 1) = bj (t) + α

X

(0 − yl (t))

l∈O

t X

λt−m plij (t − m)

(4.16)

m=0 t X

λt−m plj (t − m)

(4.17)

m=0

Algoritmus bude tedy pracovat následovnˇe: Algoritmus 4 ´ ´ INICIALIZACE VAH A PRAH˚ ´ Í VSECH ˇ 1. (NAHODN A U A VYNULOVAN SUM ´ ´ ´ ´ ´ ˚ PARCIALNICH DERIVACI A VEKTORU STARYCH VYSTUPU) ∀i, j : wij ← random() ∀j : bj ← random() ∀i, j, l : Sijl ← 0 ∀j, l : Sjl ← 0 ~y old ← 0 2. Naˇcti z prostˇred´ı vstup ~s a odmˇenu r 3. Ohodnot’ vybranou podmnoˇzinu mnoˇziny moˇzn´ ych akc´ı A(~s) 4. ~a ← akce s nejlepˇs´ım nalezen´ ym hodnocen´ım ´ ˇ ´ Í PREDIKCE KUMULATIVNÍ ODMENY) ˇ 5. (VYPO CET AKTUALN ~y ← N et(~s, ~a) ´ ˇ ˇ ´ ÍCH DERIVACÍ S) 6. (VYPO CET VSECH SUM PARCIALN l l l ∀i, j, l : Sij ← pij + λSij ∀j, l : Sjl ← plj + λSjl ˇ ˇ Í PREDCHOZ ˇ ÍCH PREDIKCÍ SÍTE ˇ UPRAVOU ´ 7. (ZPRESN EN VAH A PRAH˚ U) P old l ∀i, j : wij ← wij P + α l∈O (yl + r − yl )Sij ∀j : bj ← bj + α l∈O (yl + r − ylold )Sjl ˇ Í VYSTUP ´ ˚ ˇ S ˇÍ POROVNAN ´ Í) 8. (ULOZEN U PRO POZDEJ ~y old ← ~y 9. Vykonej akci ~a 38

10. Pokud agent stále ˇzije, pˇrejdi na 2 ´ ERE ˇ ˇ ´ ´ 11. (PROVEDENÍ ZAV VAH A PRAH˚ U) P CNE UPRAVY old l ∀i, j : wij ← wij P + α l∈O (0 − yl )Sij ∀j : bj ← bj + α l∈O (0 − ylold )Sjl Nˇekteré u ´lohy (viz napˇr´ıklad u ´loha z robotiky popsaná v 5.2) nejsou rozdˇeleny na oddˇelené ˇcasové u ´seky nebo simulace, jako je tomu u backgammonu nebo v u ´loze dravce a koˇristi popsané v 5.1. Uˇcen´ı pak prob´ıhá po teoreticky neomezenou dobu a v celém pr˚ ubˇehu tohoto uˇcen´ı agent z´ıskává odmˇenu. Celková kumulativn´ı odmˇena jde tedy s ˇcasem k nekoneˇcnu. Neuprav´ıme-li vzorce 4.14 a 4.15, budeme po s´ıti poˇzadovat, aby dávala stále vyˇsˇs´ı a vyˇsˇs´ı v´ ystup. Proto je tˇreba uvedené vzorce obohatit o konstantu γ ∈ (0, 1), jej´ıˇz v´ yznam je podobn´ y v´ yznamu parametru γ z ˇca´sti 2.1.

t X X wij (t + 1) = wij (t) + α (yl (t + 1) · γ + rt+1 − yl (t)) λt−m plij (m)

bj (t + 1) = bj (t) + α

X

(4.18)

m=0

l∈O

(yl (t + 1) · γ + rt+1 − yl (t))

t X

λt−m plj (m),

(4.19)

m=0

l∈O

V´ yˇse této konstanty bude udávat, nakolik upˇrednostˇ nujeme odmˇenu v bl´ızké budoucnosti oproti odmˇenˇe v budoucnosti vzdálené. Vzorce 4.16 a 4.17 nebudou v tomto pˇr´ıpadˇe v˚ ubec pouˇzity. I v tomto pˇr´ıpadˇe je nutné zajistit, aby v´ yˇse okamˇzité odmˇeny nebyla tak velká, ˇze bychom s´ıt’ uˇcili predikovat kumulativn´ı odmˇenu vyˇsˇs´ı neˇz 1. Aby mohl algoritmus 4 naj´ıt ˇreˇsen´ı, kdy agent bude schopen nˇejak´ ym zp˚ usobem diferencovat své akce podle toho, jaké má vstupn´ı informace o prostˇred´ı, budeme potˇrebovat minimálnˇe jednu skrytou vrstvu. S´ıt’ bez skryté vrstvy by totiˇz nedokázala reprezentovat informaci typu “v jedné situaci je v´ yhodná jedna akce a v jiné situaci je v´ yhodná jiná akce”. Rozhoduj´ıc´ı pro agent˚ uv v´ ybˇer akce by byla pouze váha synapse vedouc´ı od vstupn´ıho neuronu, kter´ y reprezentuje tuto akci, do neuronu v´ ystupn´ıho. Pokud by váha byla kladná, agent by se vˇzdy rozhodoval pro akci, která je kódována hodnotou 1 tohoto neuronu. Naopak v pˇr´ıpadˇe, ˇze by tato váha byla záporná, agent by vˇzdy zvolil takovou akci, která je kódována hodnotou 0.

4.4.3

Probl´ em “strachu z nezn´ ama”

Popiˇsme nyn´ı jeden zásadn´ı problém, se kter´ ym se budeme muset vypoˇrádat pˇri této u ´pravˇe TD(λ), ale na kter´ y naraz´ıme i pozdˇeji pˇri aplikaci rekurentn´ıch neuronov´ ych s´ıt´ı pro zpˇetnovazebné uˇcen´ı. Pˇredpokládejme, ˇze aplikujeme v´ yˇse uvedenou modifikaci algoritmu TD(λ) na u ´lohu dravce a koˇristi z 5.1. Pouˇzijeme nˇejaké λ mezi 0 a 1, napˇr. λ = 0.5. Agent bude v kaˇzdém kroku svoji akci volit tak, ˇze vyzkouˇs´ı vˇsech moˇzn´ ych 33 = 27 variac´ı pro povolené hodnoty kaˇzdého vstupu z mnoˇziny {0, 0.5, 1} vznikl´ ych diskretizac´ı popsanou v´ yˇse. Vstupy a v´ ystupy jsou kódovány tak, jak je popsáno v pˇr´ıloze 5.1, tedy speciálnˇe nulová hodnota 39

v´ ystupu 0 znaˇc´ı, ˇze agent zrovna nekonzumuje potravu, a nulová hodnota v´ ystupu 2 znaˇc´ı, ˇze se nepohybuje. Jedniˇckové hodnoty v´ ystup˚ u maj´ı opaˇcn´ y v´ yznam. Pˇredpokládejme dále, ˇze s´ıt’ po poˇcáteˇcn´ı inicializaci mal´ ymi náhodn´ ymi hodnotami dává v´ ystup bl´ızk´ y 0.5. Necht’ je ale skuteˇcná kumulativn´ı odmˇena za simulaci podstatnˇe niˇzˇs´ı neˇz 0.5. Pouˇzitá gradientn´ı metoda pak zp˚ usob´ı, ˇze v´ ystupn´ı neuron zaˇcne zvyˇsovat sv˚ uj práh a naopak sniˇzovat vazby na cestách vedouc´ıch od aktivn´ıch vstup˚ u do v´ ystupn´ıho neuronu. Uvaˇzme nyn´ı vstupn´ı neurony kóduj´ıc´ı agentovu akci. Pokud cesty vedouc´ı z nich do v´ ystupn´ıho neuronu pˇrisp´ıvaly kladnˇe k v´ ystupu tohoto neuronu, potom budou v tomto procesu zmˇenˇeny tak, ˇze budou pˇrisp´ıvat zápornˇe. Tak se dostaneme do situace, ˇze modeluj´ıc´ı s´ıt’ povaˇzuje tyto akce za ˇspatné a agent je pˇrestane vykonávat. Poté, co je s´ıt’ uˇcen´ım rámcovˇe nastavena a jej´ı predikce se bl´ıˇz´ı pr˚ umˇerné skuteˇcné odmˇenˇe, mˇela by se zaˇc´ıt uˇcit diferencovat, které akce ve které situaci ovlivˇ nuj´ı odmˇenu pozitivnˇe a které negativnˇe. Jelikoˇz ale z neuron˚ u pro vˇsechny akce vedou negativn´ı cesty do v´ ystupu, agent tyto akce nevykonává. Modeluj´ıc´ı s´ıt’ proto nemá pˇr´ıleˇzitost se nauˇcit, jak´ y dopad by mˇelo vykonán´ı tˇechto akc´ı. V´ ystupy odpov´ıdaj´ıc´ıch vstupn´ıch neuron˚ u budou vˇzdy 0, a t´ım pádem jiˇz nikdy bˇehem algoritmu nedojde ke zmˇenˇe vah synaps´ı jdouc´ıch z tˇechto neuron˚ u (parciáln´ı derivace v´ ystupu podle tˇechto vah bude totiˇz stále nula). Toto chován´ı s´ıtˇe jsme skuteˇcnˇe pˇri uveden´ ych podm´ınkách pozorovali. Po nˇekolika simulac´ıch se agenti zastavili, a nedocházelo tak ke zdokonalován´ı s´ıtˇe. Agenti pˇrestali konat jakékoli akce a pouze ˇcekali na m´ıstˇe, dokonce aniˇz by konzumovali potravu. Kdyˇz jsme ale zmˇenili kódován´ı hodnot tak, ˇze hodnota 1 vstupn´ıho neuron˚ u znamenala, ˇze se agent bude pohybovat, agenti se po krátkém ˇcase nauˇcili chovat tak, ˇze neustále bˇehali, aˇz umˇreli hladem. Pomohlo by, kdybychom pouˇzili jiné kódován´ı vstup˚ u, napˇr´ıklad hodnoty z intervalu [−1, 1]? Pak by se nemohlo snadno stát, ˇze by hodnoty vstup˚ u pro akce byly nulové a odpov´ıdaj´ıc´ı parciáln´ı derivace téˇz nulové. Bohuˇzel bychom t´ımto uveden´ y problém neodstranili. Uvaˇzme, co se stane, pokud budeme agentovu odmˇenu násobit vyˇsˇs´ım koeficientem tak, aby jej´ı hodnota pˇresahovala 0.5. Analogicky prvn´ımu pˇr´ıpadu, s´ıt’ zaˇcne nejprve zvyˇsovat váhy vˇsech cest od aktivn´ıch vstupn´ıch neuron˚ u k v´ ystupu. T´ım se vytvoˇr´ı v s´ıti cesty, které budou pro vyˇsˇs´ı hodnoty vstup˚ u pro akce zvyˇsovat hodnoty v´ ystupu. Agent ’ pak bude v kaˇzdém kroku tyto akce konat a s´ıt jiˇz nikdy nebude m´ıt moˇznost se nauˇcit, k ˇcemu by vedlo, kdyby agent tuto akci nevykonal a vstupn´ı hodnota by byla nulová. Uveden´ y problém m˚ uˇze nastat vˇzdy, kdyˇz se zároveˇ n agent uˇc´ı modelovat svˇet a pˇritom se rozhoduje vykonávat svoje akce podle tohoto jeˇstˇe nehotového modelu. V terminologii sekce 2.4, problém je v tom, ˇze agent vˇenuje vˇsechnu svoji ˇcinnost na exploataci jiˇz známého. Naˇs´ım c´ılem ale je, aby explorace a exploatace byly v urˇcité rovnováze. Pokusili jsme se problém vyˇreˇsit tak, ˇze jsme agentovo chován´ı do urˇcité m´ıry znáhodnili, aby mˇel agent vˇzdy moˇznost pozorovat d˚ usledky sv´ ych r˚ uzn´ ych akc´ı a uˇcit se z nich. V experimentáln´ı ˇca´sti srovnáváme v´ ysledky, kter´ ych jsme dosáhli pomoc´ı r˚ uzn´ ych nastaven´ı parametr˚ u, r˚ uzného zp˚ usobu odmˇen ˇován´ı a také r˚ uzn´ ych metod znáhodnˇen´ı. Moˇzné metody znáhodnˇen´ı jsou napˇr´ıklad: 1. Nejprve agenta uˇc´ıme, pˇriˇcemˇz jeho chován´ı je zcela náhodné. Po urˇcitém ˇcase znáhodnˇen´ı vypneme a agent se dále rozhoduje vykonávat jen tu akci, která predi40

kuje maximáln´ı kumulativn´ı odmˇenu. Poté lze jeˇstˇe agenta douˇcovat bez znáhodnˇen´ı. Faktorem sniˇzuj´ıc´ım u ´spˇeˇsnost této metody je to, ˇze v prvn´ı fázi se modeluj´ıc´ı s´ıt’ nauˇc´ı predikovat kumulativn´ı odmˇenu za pˇredpokladu, ˇze agent se bude do konce ˇzivota chovat náhodnˇe. Tento model pak pouˇz´ıváme k selekci nejlepˇs´ı akce v situaci, kdy se jiˇz agent náhodnˇe nechová. Predikce tak m˚ uˇze b´ yt zkreslena. V tomto pˇr´ıpadˇe se nejedná o online uˇcen´ı. 2. Jednou za nˇekolik (napˇr. 10) krok˚ u, nebo s urˇcitou pravdˇepodobnost´ı donut´ıme agenta vykonat náhodnou akci. 3. Abychom zabránili tomu, ˇze se agent vlivem nehotového modelu bude chovat stále stejnˇe, m˚ uˇzeme zakázat opakován´ı stejné akce mnohokrát v ˇradˇe za sebou. Toho jsme doc´ılili pomoc´ı zaveden´ı speciáln´ı promˇenné actionLimit pro kaˇzd´ y z agentov´ ych v´ ystup˚ u (akc´ı) - konzumaci, rotaci a pohyb. Hodnota tˇechto promˇenn´ ych se v kaˇzdém kroku sn´ıˇz´ı o v´ ystup neuronu, kter´ y pˇr´ısluˇs´ı odpov´ıdaj´ıc´ı agentovˇe akci. Poté se zv´ yˇs´ı o 0.8. Pokud hodnota actionLimit pro nˇejakou akci klesne pod 0, agentovi je zakázáno tuto akci vykonat (hodnota v´ ystupu je zmˇenˇena na 0) a naopak pokud tato hodnota pˇrekroˇc´ı v´ ychoz´ı hodnotu, agent je nucen akci vykonat (odpov´ıdaj´ıc´ı v´ ystup pak bude roven jedné). Postup nejlépe osvˇetl´ı citace kódu napsaného v jazyce C++: int i; // for all action neurons: for(i=0; igetAction(i); // the action neuron’s value has been high for too long // it’s forced to be 0: if(f>reserves[i]) f=0; if(reserves[i] > 2*actionLimit) // the action neuron’s value has been low for too long: { f = 1; // the action is forced to be 1 reserves[i]= 1; } // substract the current action neuron’s output from the reserve: reserves[i]-=f; // the reserve is refilling each step by 0.8: reserves[i]+=0.8f; // alter the action neuron’s output: setOldInput(i+stateInputs,f); }

41

4. Dalˇs´ım moˇzn´ ym zp˚ usobem znáhodnˇen´ı je jiˇz v´ yˇse zm´ınˇená moˇznost v kaˇzdém kroku pokusnˇe náhodnˇe vygenerovat urˇcit´ y poˇcet akc´ı. Vygenerované akce necháme s´ıt´ı ohodnotit, a poté z nich vybereme tu nejlepˇs´ı. Navrˇzená modifikace algoritmu TD(λ), pˇredevˇs´ım s metodou znáhodnˇen´ı 4, se pˇri ˇreˇsen´ı zadané u ´lohy dravce a koˇristi osvˇedˇcila - viz ˇcást 5.1.4.

4.5

Pouˇ zit´ı rekurentn´ı s´ıtˇ e

Doposud uvedené modely neobsahuj´ı zpˇetné vazby a agentovi tak v pˇr´ıpadˇe nemarkovského prostˇred´ı chyb´ı moˇznost rozhodovat se na základˇe vstup˚ u pozorovan´ ych v minulosti. Nejedná se tedy o dynamické s´ıtˇe. Modeluj´ıc´ı s´ıtˇe, které jsme zat´ım popisovali, mˇely za c´ıl pouze predikovat agentovu odmˇenu. Pokud bychom ale umoˇznili s´ıti téˇz reprezentovat to, jak se mˇen´ı stav prostˇred´ı (respektive agentova vstupn´ı informace o tomto stavu) v závislosti na agentov´ ych akc´ıch ˇci na pˇredchoz´ıch stavech prostˇred´ı, agent by mˇel moˇznost vyuˇz´ıvat kompletn´ı znalost dynamiky prostˇred´ı. To by mu mohlo napˇr´ıklad umoˇznit implicitnˇe plánovat uˇziteˇcné mezic´ıle. V této ˇca´sti se budeme zab´ yvat gradientn´ımi metodami práce s rekurentn´ımi neuronov´ ymi s´ıtˇemi, pˇriˇcemˇz se zamˇeˇr´ıme na jeden konkrétn´ı model, a ten zkus´ıme aplikovat. Pouˇzit´ım algoritmu zpˇetného ˇs´ıˇren´ı v pˇr´ıpadˇe rekurentn´ı s´ıtˇe se zab´ yval jiˇz Rumelhart s Hintonem a Williamsem v [13]. Ukázali, jak lze algoritmus zpˇetného ˇs´ıˇren´ı v této situaci pˇrizp˚ usobit tak, ˇze rekurentn´ı s´ıt’ pˇrevedeme na s´ıt’ vrstevnatou, která v kaˇzdém kroku naroste o jednu vrstvu (tzv. Backpropagation through time). Algoritmus bude m´ıt v tomto pˇr´ıpadˇe ale prostorovou sloˇzitost u ´mˇernou poˇctu ˇcasov´ ych krok˚ u, coˇz je vˇetˇsinou prakticky ne´ unosné. Efektivn´ı algoritmus pro pˇr´ıpad rekurentn´ı dynamické neuronové s´ıtˇe, ovˇsem pro pˇr´ıpad uˇcen´ı s uˇcitelem, navrhuje Robinson a Fallside [12] nebo Williams a Zipser [21]. Mimo jiné z tˇechto prac´ı vycházel Schmidhuber pˇri návrhu algoritmu pro pouˇzit´ı rekurentn´ıch s´ıt´ı v online zpˇetnovazebném uˇcen´ı v nemarkovském prostˇred´ı[15], [16], kter´ y v dalˇs´ım pop´ıˇseme. Schmidhuber, podobnˇe jako Munro, navrhuje neuronovou s´ıt’ skládaj´ıc´ı se ze dvou vzájemnˇe propojen´ ych ˇcást´ı - ˇr´ıdic´ı a modeluj´ıc´ı s´ıtˇe. Obˇe s´ıtˇe jsou ale plnˇe rekurentn´ı (s tou v´ yjimkou, ˇze do vstup˚ u ˇr´ıdic´ı s´ıtˇe nevedou ˇzádné synapse). Vstupy ˇr´ıdic´ı s´ıtˇe kóduj´ı stav prostˇred´ı. Mezi nimi je jeden nebo v´ıce speciáln´ıch neuron˚ u, které kóduj´ı hodnotu odmˇeny. V´ ystupem ˇr´ıdic´ı s´ıtˇe je akce, kterou agent v pˇr´ısluˇsné situaci vykoná. Vstupy modeluj´ıc´ı s´ıtˇe jsou vˇsechny vstupn´ı a v´ ystupn´ı neurony ˇr´ıdic´ı s´ıtˇe (vˇcetnˇe odmˇeny). Modeluj´ıc´ı s´ıt’ obsahuje pro kaˇzd´ y agent˚ uv vstup jeden neuron, tzv. prediktor, jehoˇz hodnota pˇredpov´ıdá hodnotu odpov´ıdaj´ıc´ıho vstupu v pˇr´ıˇst´ım okamˇziku. Pˇrenosové funkce vˇsech neuron˚ u jsou sigmoidáln´ı. Pouˇzitá neuronová s´ıt’ (obrázek 4.5) tedy vypadá takto: N et = (H ∪ I ∪ M, C, I, O, w, b, F ), kde • H je mnoˇzina vˇsech neuron˚ u ˇr´ıdic´ı s´ıtˇe, které nejsou vstupn´ı. 42

• I je mnoˇzina vstup˚ u ˇr´ıdic´ı s´ıtˇe. Plat´ı I = IN ∪ IR , kde IN je mnoˇzina “normáln´ıch” vstupn´ıch neuron˚ u a IR je mnoˇzina vstupn´ıch neuron˚ u pro odmˇenu. IN a IR jsou disjunktn´ı. • M je mnoˇzina vˇsech neuron˚ u modeluj´ıc´ı s´ıtˇe. H, I a M jsou po dvou disjunktn´ı. • O ⊆ H je mnoˇzina v´ ystup˚ u ˇr´ıdic´ı s´ıtˇe. • P ⊆ M je mnoˇzina vˇsech prediktor˚ u. PR ⊆ P je mnoˇzina vˇsech prediktor˚ u odmˇen. Plat´ı P = {predk | k ∈ I}, kde predk oznaˇcuje prediktor neuronu k. • C = CC ∪CM , kde CC = {(i, j) | i ∈ H ∪I, j ∈ H, i 6= j}∪(O×O) je mnoˇzina synaps´ı vedouc´ıch do ˇr´ıdic´ı s´ıtˇe a CM = {(i, j) | i, j ∈ M, i 6= j} ∪ {(i, j) | i ∈ I ∪ O, j ∈ M } je mnoˇzina synaps´ı vedouc´ıch do modeluj´ıc´ı s´ıtˇe. Tedy synapse vedou mezi vˇsemi r˚ uzn´ ymi nevstupn´ımi neurony ˇr´ıdic´ı s´ıtˇe, mezi vˇsemi r˚ uzn´ ymi neurony modeluj´ıc´ı s´ıtˇe a ze vˇsech vstup˚ u a v´ ystup˚ u ˇr´ıdic´ı s´ıtˇe do vˇsech nevstupn´ıch neuron˚ u. Jedinˇe v´ ystupn´ı neurony ˇr´ıdic´ı s´ıtˇe jsou tedy spojeny samy se sebou. • ∀i ∈ N \ I : F (i) = σ

Obrázek 4.5: Pˇ r´ıklad Schmidhuberovy rekurentn´ı s´ıtˇ e se dvˇ ema vstupn´ımi a dvˇ ema v´ ystupn´ımi neurony a bez skryt´ ych neuron˚ u. Oproti pˇredchoz´ım model˚ um budeme zde pro kaˇzdou odmˇenu m´ıt dánu konstantu udávaj´ıc´ı jej´ı poˇzadovanou hodnotu. C´ılem algoritmu pak bude minimalizovat hodnotu XX (ci − yi (t))2 , (4.20) t

i∈IR

43

kde ci je poˇzadovaná hodnota odmˇeny i a yi (t) hodnota této odmˇeny v ˇcase t. Pro odmˇenu, tak jak jsme s n´ı pracovali doposud, bude hodnota ci typicky rovna jedné. M˚ uˇzeme ale napˇr. m´ısto odmˇeny pouˇz´ıvat trest, jehoˇz poˇzadovaná hodnota bude nulová. Ukáˇzeme si pozdˇeji jeˇstˇe jeden zvláˇstn´ı pˇr´ıpad odmˇeny - umˇelou zvˇedavost. V algoritmu si pro kaˇzd´ y neuron k budeme uchovávat starou hodnotu jeho v´ ystupu ykold a novou hodnotu yknew , abychom mohli v rekurentn´ı s´ıti poˇc´ıtat nové v´ ystupy vˇsech neuron˚ u z pˇredchoz´ıch v´ ystup˚ u jejich soused˚ u. Promˇenná pkijnew bude uchovávat odhad parciáln´ı derivace v´ ystupu neuronu k podle wij a promˇenná pkijold jej´ı pˇredcházej´ıc´ı hodnotu. V pr˚ ubˇehu algoritmu se zároveˇ n modeluj´ıc´ı s´ıt’ uˇc´ı de facto pomoc´ı uˇcen´ı s uˇcitelem co nejlépe predikovat reakci prostˇred´ı na agentovy zásahy. Paralelnˇe s t´ım se ˇr´ıdic´ı s´ıt’ uˇc´ı chovat tak, aby vyv´ıjen´ y model predikoval co nejvyˇsˇs´ı odmˇenu. Uˇcen´ı modeluj´ıc´ı s´ıtˇe prob´ıhá tak, ˇze adaptujeme váhy proti gradientu chyby predikce. Uˇcen´P ı ˇr´ıdic´ı s´ıtˇe prob´ıhá (v duchu Munroova pˇr´ıstupu) adaptac´ı vah ˇr´ıdic´ı s´ıtˇe proti gradientu i∈IR (ci − predi )2 , tedy chybu budeme propagovat zpˇet z modeluj´ıc´ı s´ıtˇe do ˇr´ıdic´ı s´ıtˇe. K tomu je tˇreba umˇet v rekurentn´ı s´ıt´ı vypoˇc´ıtat hodnoty parciáln´ıch derivac´ı v´ ystup˚ u neuron˚ u dle vah. V zájmu efektivity algoritmu ale obˇetujeme pˇresnost v´ ypoˇct˚ u a budeme pouˇz´ıvat vzorec ! Ã X (4.21) wlk plijold + δjk yiold , pkijnew = yknew (1 − yknew ) l

kde δ je Kroneckerovo delta, δii = 1 a δik = 0 pro i 6= k. Nepˇresnost v´ ypoˇctu parciáln´ıch derivac´ı je zp˚ usobena t´ım, ˇze pouˇzité hodnoty plijold jsou poˇc´ıtány pro urˇcité hodnoty vah s´ıtˇe, které se ale v pr˚ ubˇehu algoritmu pozvolna mˇen´ı. Tato nepˇresnost je ale, jak ukázal Williams a Zipser, u ńosná. Pro jednoduchost je povaˇzujeme v popisu algoritmu prahy neuron˚ u za váhy synapse vedouc´ı z fiktivn´ıho vstupn´ıho neuronu ˇr´ıd´ıc´ı s´ıtˇe, jehoˇz v´ ystupem je konstantnˇe -1. Algoritmus 5 (Schmidhuber) 1. (INICIALIZACE) Pro kaˇzdé (i, j) ∈ C: wij ← random Pro kaˇzdé k: pkijold ← 0, pkijnew ← 0 Pro kaˇzdé k ∈ M ∪ H : ykold ← 0, yknew ← 0 Pro kaˇzdé k ∈ I : naˇcti ykold z prostˇred´ı, yknew ← 0 ´ Í SÍTE) ˇ 2. (VYBAVENÍ OVLADAC P Pro kaˇzdé i ∈ H : yinew ← σ( j wji yjold ) P Pro kaˇzdé (i, j) ∈ CC a k ∈ H: pkijnew = yknew (1 − yknew )( l∈H∪I wlk plijold + δjk yiold ) Pro kaˇzdé k ∈ H: ykold ← yknew Pro kaˇzdé (i, j) ∈ CC : pkijold ← pkijnew ˇ ÍM) 3. (INTERAKCE S PROSTRED Vykonej vˇsechny agentovy akce dle v´ ystup˚ u neuron˚ u v O. Aktualizuj prostˇred´ı. Pro kaˇzdé k ∈ I : naˇcti yknew z prostˇred´ı. 44

ˇ 4. (VYBAVENÍ MODELOVACÍPSÍTE) Pro kaˇzdé i ∈ M : yinew ← σ( j wji yjold ) P Pro kaˇzdé (i, j) ∈ C a k ∈ M : pkijnew = yknew (1 − yknew )( l∈M ∪I∪O wlk plijold + δjk yiold ) Pro kaˇzdé k ∈ M : ykold ← yknew Pro kaˇzdé (i, j) ∈ C : pkijold ← pkijnew ˇ Í MODELOVACÍ A OVLADAC ´ Í SÍTE) ˇ 5. (UCEN P k Pro kaˇzdé (i, j) ∈ CM : wij ← wij + αM k∈I (yknew − ypredk old )ppred ijold P k Pro kaˇzdé (i, j) ∈ CC : wij ← wij + αC k∈IR (ck − yknew )ppred ijold Pro kaˇzdé k ∈ I : ykold ← yknew ypredk old ← yknew k Pro kaˇzdé (i, j) ∈ CM : ppred ijold ← 0 k Pro kaˇzdé (i, j) ∈ CC : pkijold ← ppred ijold 6. Jdi na 2. Nejv´ıce pozornosti zasluhuje blok 5, kde docház´ı k uˇcen´ı obou s´ıt´ı. αC > 0 zde oznaˇcuje parametr uˇcen´ı pro ˇr´ıdic´ı s´ıt’, αM > 0 je parametr uˇcen´ı pro modeluj´ıc´ı s´ıt’. Pouˇz´ıváme zde tzv. “teacher forcing” [21], pˇri kterém na konci ˇcasového kroku nahrazujeme v´ ystupy prediktor˚ u skuteˇcn´ ymi hodnotami predikovan´ ych vstup˚ u, coˇz usnadˇ nuje uˇcen´ı modeluj´ıc´ı s´ıtˇe. Nakonec aproximujeme derivace agentov´ ych vstup˚ u derivacemi v´ ystup˚ u odpov´ıdaj´ıc´ıch prediktor˚ u, coˇz opˇet zkvalitˇ nuje proces uˇcen´ı. ˇ Casov´ a sloˇzitost algoritmu je O(n4 ), kde n je poˇcet neuron˚ u, kv˚ uli v´ ypoˇct˚ um 3 parciáln´ıch derivac´ı v kroc´ıch 2 a 4. Prostorová sloˇzitost je pak O(n ) kv˚ uli nutnosti uchovávat v pamˇeti vˇsechna pkij . Povˇsimnˇeme si dále, ˇze popsan´ y algoritmus pˇredpokládá, ˇze chován´ı prostˇred´ı lze popsat modelem, kter´ y s´ıt’ vypoˇc´ıtá v jednom kroku. Tedy pˇredpokládáme, ˇze závislost nového stavu prostˇred´ı na pˇredchoz´ım stavu lze popsat tzv. lineárnˇe separabiln´ı funkc´ı (tj. vlastnˇe v´ ypoˇctem jednovrstvé s´ıtˇe). Tento pˇredpoklad nen´ı v mnoha pˇr´ıpadech splnˇen, ale naˇstˇest´ı v takové situaci staˇc´ı algoritmus upravit tak, ˇze bloky 2 (pro zv´ yˇsen´ı v´ ypoˇcetn´ı s´ıly ˇr´ıdic´ı s´ıtˇe) a 4 (pro zv´ yˇsen´ı v´ ypoˇcetn´ı sily modeluj´ıc´ı s´ıtˇe) algoritmu opakujeme v kaˇzdém kroku v´ıcekrát. Stejnˇe jako model popsan´ y v 4.4.2, i tato s´ıt’ m˚ uˇze trpˇet problémem “strachu z neznáma”, kter´ y autor naz´ yvá “deadlock”. Pro jeho ˇreˇsen´ı zavád´ı pravdˇepodobnostn´ı v´ ystupn´ı neurony. Pravdˇepodobnostn´ı neuron k se skládá z konvenˇcn´ıho neuronu kµ , kter´ y udává stˇredn´ı hodnotu k, a konvenˇcn´ıho neuronu kσ , kter´ y generuje rozptyl. V´ ystup yknew pravdˇepodobnostn´ıho neuronu je pak dán vzorcem yknew = ykµnew + ykσnew ,

(4.22)

kde z je náhodnˇe rozdˇeleno napˇr´ıklad podle normáln´ıho rozdˇelen´ı. Odpov´ıdaj´ıc´ı pkij pak mus´ıme poˇc´ıtat dle následuj´ıc´ı formule: pkijnew ← pkµ ijnew +

yknew − ykµnew kσ pijnew ykσnew 45

(4.23)

My vˇsak budeme v experimentech pˇredcházet problému “strachu z neznáma” t´ım, ˇze s pravdˇepodobnost´ı 5% budeme v´ ystup s´ıtˇe nahrazovat náhodn´ ym v´ ystupem, podobnˇe jako u modifikace algoritmu TD(λ) v´ yˇse. Dalˇs´ı moˇznost´ı, jak vnést do algoritmu vˇetˇs´ı explorativn´ı schopnosti a zefektivnit uˇcen´ı modeluj´ıc´ı s´ıtˇe, je autorem navrhovaná umˇelá zvˇedavost a umˇelá nuda [16]. Pro zdokonalován´ı modelu je d˚ uleˇzité, aby se agent dostával do situac´ı, ve kter´ ych zat´ım selhávaj´ı predikce jeho modeluj´ıc´ı s´ıtˇe. Modeluj´ıc´ı s´ıt’ pak má moˇznost se z tˇechto chyb pouˇcit. Jak autor tvrd´ı, pro zdokonalen´ı modelu jsou nejzaj´ımavˇejˇs´ı situace, kde se model pouze “lehce m´ yl´ı”. Zvˇedavost a nudu budeme reprezentovat jedn´ım z odmˇen ˇovac´ıch neuron˚ u l ∈ IR , jehoˇz hodnota bude odpov´ıdat v kaˇzdém okamˇziku eukleidovské vzdálenosti predikce vstup˚ u a jejich skuteˇcn´ ych hodnot. Jeho poˇzadovaná hodnota cl bude odpov´ıdat zm´ınˇenému “lehkému omylu”. Zvˇedavost se tak stane jednou z agentov´ ych odmˇen a agent tak bude motivován, aby vyhledával situace, ve kter´ ych se m˚ uˇze “nˇeco nauˇcit”. Jaká je schopnost uvedeného algoritmu z´ıskávat opoˇzdˇené odmˇeny? Modeluj´ıc´ı s´ıt’ predikuje pouze hodnotu okamˇzité odmˇeny, i kdyˇz v závislosti na historii stav˚ u a akc´ı. V kaˇzdém kroku pak upravujeme ˇr´ıdic´ı s´ıt’ tak, aby série jejich pˇredchoz´ıch akc´ı pˇrinesla v daném kroku co nejvˇetˇs´ı odmˇenu. Chyba ˇr´ıdic´ı s´ıtˇe se tedy propaguje do minulosti a s´ıt’ d´ıky tomu do urˇcité m´ıry um´ı z´ıskávat opoˇzdˇené odmˇeny. Algoritmus lze ale jeˇstˇe zdokonalit tak, ˇze by modeluj´ıc´ı s´ıt’ predikovala kumulativn´ı odmˇenu s vyuˇzit´ım principu “Temporal Difference learning”. Pˇredpokládejme pro jednoduchost, ˇze pracujeme s obvyklou odmˇenou, tak jako v pˇredchoz´ım, která nemá poˇzadovanou hodnotu, ale jej´ıˇz kumulativn´ı hodnotu chceme maximalizovat. Necht’ k ∈ IR je vstupn´ı neuron pro odmˇenu. Chyba prediktoru predk ∈ PR v ˇcase t bude rovna (ypredk (t) − γypredk (t + 1) − yk (t + 1))2 , (4.24) kde 0 < γ < 1 má podobn´ y v´ yznam jako v 2.1. Zmˇenu pouˇzité chybové funkce provedeme u ´pravou prvn´ıho cyklu v bloku 5 algoritmu. Abychom ale byli schopni tuto chybu poˇc´ıtat, mus´ıme m´ıt k dispozici jiˇz predikci z následuj´ıc´ıho kroku, a tedy budeme muset adaptaci vah modeluj´ıc´ı s´ıtˇe odloˇzit o jeden krok. Poˇzadované hodnotu ck odmˇeny k nastav´ıme na dostateˇcnˇe velké ˇc´ıslo. Modeluj´ıc´ı s´ıt’ pak bude predikovat kumulativn´ı odmˇenu za cel´ y ˇzivot agenta a ˇr´ıdic´ı s´ıt’ bude upravována podle gradientu predikce této kumulativn´ı odmˇeny tak, aby agent tuto kumulativn´ı odmˇenu maximalizoval. Schmidhuber popisuje experiment[15], kdy s´ıt’ byla u ´spˇeˇsnˇe trénována, aby zareagovala v´ ystupem na prvn´ı v´ yskyt vstupn´ıho vzoru B po posledn´ım v´ yskytu vzoru A, kdy mezi nimi mohl b´ yt libovolnˇekrát vloˇzen vzor X. Dále popisuje ˇcásteˇcnˇe u ´spˇeˇsn´ y experiment s vyváˇzen´ım simulované tyˇce stoj´ıc´ı na voz´ıku. Pˇri tomto experimentu byl algoritmus upraven tak, ˇze vˇsechny parciáln´ı derivace byly pravidelnˇe po 8 kroc´ıch nulovány. Podobnou u ´pravu pouˇz´ıváme i v naˇsich experimentech s t´ımto modelem, které jsou popsány v experimentáln´ı ˇca´sti.

46

Kapitola 5 Experiment´ aln´ı ˇ c´ ast 5.1 5.1.1

´ Uloha dravce a koˇ risti Zad´ an´ı u ´ lohy

Naˇs´ım c´ılem bylo porovnat u ´spˇeˇsnost popsan´ ych model˚ u neuronov´ ych s´ıt´ı pˇri r˚ uzn´ ych nastaven´ıch jejich parametr˚ u pˇri ˇreˇsen´ı neprimitivn´ı u ´lohy zpˇetnovazebného uˇcen´ı. Pro tento u ´ˇcel byla zvolena varianta simulace koˇristi a dravce. Popis pouˇzitého simulátoru lze nalézt v pˇr´ıloze B. V dvourozmˇerném diskrétn´ım prostoru o velikosti 100 × 100 se pohybuje urˇcit´ y poˇcet jedinc˚ u koˇristi a urˇcit´ y poˇcet dravc˚ u. Agent v roli koˇristi ˇr´ıd´ıc´ı se testovan´ ym algoritmem zpˇetnovazebného uˇcen´ı se snaˇz´ı co nejdéle pˇreˇz´ıt. Koˇrist um´ırá, pokud je seˇzrána dravcem nebo pokud z˚ ustane dlouho bez potravy (vyhladov´ı). V kaˇzdém kroku simulace ztrác´ı koˇrist ˇcást své vnitˇrn´ı zásoby potravy, kterou m˚ uˇze doplnit pˇr´ıjmem potravy z prostˇred´ı. Potrava pro koˇrist se zpoˇcátku nacház´ı vˇsude v prostoru a pomalu dor˚ ustá, pokud je seˇzrána. Pokud se koˇrist pohybuje, spotˇrebuje v´ıce potravy, neˇz pokud z˚ ustává v klidu. V kaˇzdém pˇr´ıpadˇe ale spotˇrebovává potravu vˇetˇs´ı rychlost´ı, neˇz potrava dor˚ ustá, a proto je nucena se pohybovat. Dravci, ˇr´ıd´ıc´ı se jednoduch´ ym napevno dan´ ym algoritmem, se snaˇz´ı co nejrychleji seˇzrat koˇrist. Pro zjednoduˇsen´ı jsme vylouˇcili moˇznost, ˇze dravec umˇre hladem. Vstupy: Kaˇzd´ y agent (koˇrist i dravec) má 4 vstupy (senzory), ˇc´ıslované od 0: Vstup 0 - Hlad: Informace o tom, jak dlouho jeˇstˇe agent vydrˇz´ı bez potravy. Pokud je tato hodnota nulová, agent je zcela syt´ y. Pokud tato hodnota vystoup´ı na 1, jedinec vyhladov´ı a umˇre. ˇ Vstup 1 - Cich: ˇ Cich napov´ıdá agentovi, kolik je v okol´ı jedinc˚ u jiného druhu (koˇristi nebo dravc˚ u), neˇz je on sám. Kaˇzd´ y jedinec jiného druhu, kter´ y je v dosahu ˇcichu, zvyˇsuje hodnotu tohoto vstupu o pˇr´ıspˇevek odpov´ıdaj´ıc´ı rozd´ılu svoj´ı vzdálenosti od agenta a dosahu agentova ˇcichu. Vstup 2 - Zrak: Zrak napov´ıdá agentovi, zda se nacház´ı nˇejak´ y jedinec jiného druhu ve smˇeru pˇred 47

n´ım. Hodnota tohoto senzoru odpov´ıdá vzdálenosti agenta od nejbliˇzˇs´ıho jedince jiného druhu, kter´ y se nacház´ı pˇred agentem. Vstup 3 - Pˇ r´ıtomnost potravy: Tento vstup agentovi ˇr´ıká, kolik je v daném m´ıstˇe potravy pro koˇrist (Pro dravce tak tato hodnota nen´ı pˇr´ıliˇs d˚ uleˇzitá.). V kaˇzdém kroku se m˚ uˇze agent otoˇcit aˇz o 90◦ v libovolném smˇeru a poté vykonat jednu ze dvou moˇzn´ ych akc´ı - konzumovat potravu nebo se pohybovat. Agent se pohybuje vˇzdy ve svém aktuáln´ım smˇeru o poˇcet krok˚ u, kter´ y je omezen maximáln´ı rychlost´ı pˇr´ısluˇsnou jeho druhu. Koˇrist se nem˚ uˇze pohybovat, pokud je na stejném m´ıstˇe i dravec (je chycena). Pokud se dravec rozhodne konzumovat potravu, zabije t´ım jeden z kus˚ u koˇristi, která se nacház´ı na stejném m´ıstˇe jako on. Pokud zde ˇza´dná koˇrist nen´ı, dravcova akce nemá ˇza´dn´ y v´ ysledek. Pokud se koˇrist rozhodne ˇzrát, zkonzumuje vˇsechnu potravu v daném m´ıstˇe a zv´ yˇs´ı svoj´ı zásobu u ´mˇernˇe tomu, kolik potravy se v daném m´ıstˇe vyskytovalo. V´ ystupy Agent ovládá koˇrist prostˇrednictv´ım ˇctyˇr v´ ystup˚ u. V´ ystup 0 - Pˇ r´ıjem potravy: Pokud je hodnota tohoto v´ ystupu vˇetˇs´ı neˇz hodnota v´ ystupu 2, agent se rozhodl konzumovat potravu. V´ ystupy 1 a 2 - Rotace: Kaˇzd´ y jedinec v simulaci je v kaˇzdém okamˇziku otoˇcen v urˇcitém smˇeru. V´ ystupy 1 a 2 udávaj´ı zda a na kterou stranu se agent otoˇc´ı (zmˇen´ı smˇer). V´ ystup 1 udává rotaci vpravo (ve smˇeru hodinov´ ych ruˇciˇcek), v´ ystup 2 rotaci vlevo (proti smˇeru hodinov´ ych ◦ ruˇciˇcek). Rozd´ıl tˇechto dvou hodnot je vynásoben 90 a o v´ yslednou hodnotu se agent pootoˇc´ı vpravo nebo vlevo, podle toho, kter´ y v´ ystup mˇel vyˇsˇs´ı hodnotu.1 V´ ystup 3 - Pohyb: Pokud je hodnota tohoto v´ ystupu vˇetˇs´ı neˇz hodnota v´ ystupu 0, agent se bude pohybovat. V takovém pˇr´ıpadˇe se posune ve svém aktuáln´ım smˇeru o vzdálenost rovnou souˇcinu hodnoty v´ ystupu 2 a agentovy maximáln´ı rychlosti. Odmˇ ena V pr˚ ubˇehu experiment˚ u jsme porovnávali v´ ysledky jednotliv´ ych algoritm˚ u pˇri tˇrech r˚ uzn´ ych zp˚ usobech odmˇen ˇován´ı. Odmˇ en ˇ ovac´ı funkce 1: V kaˇzdém kroku ˇzivota je agentovi pˇridˇelena odmˇena velikosti 1. V okamˇziku smrti pak dostává odmˇenu v hodnotˇe 0. Odmˇ en ˇ ovac´ı funkce 2: V kaˇzdém kroku ˇzivota je agentovi pˇridˇelena odmˇena velikosti 1 m´ınus agent˚ uv hlad. Tuto hodnotu budeme naz´ yvat agentova zásoba potravy F ood. V okamˇziku smrti pak agent dostává odmˇenu v hodnotˇe 0. 1

Tento zp˚ usob kódován´ı v´ ystup˚ u se osvˇedˇcil mnohem lépe, neˇz pouˇzit´ı jediného neuronu pro rotaci, jehoˇz krajn´ı hodnoty by kódovaly maximáln´ı rotaci vpravo a vlevo. V takovém pˇr´ıpadˇe mˇela koˇrist pˇr´ıliˇsnou tendenci se toˇcit na jednu ˇci druhou stranu, podle toho zda pˇr´ıspˇevek neuronu pro rotaci k predikci odmˇeny byl záporn´ y nebo kladn´ y.

48

Odmˇ en ˇ ovac´ı funkce 3: Odmˇena 3 zavád´ı obdobu “strachu z nepˇr´ıtele”. Agentova odmˇena bude pak minimum ze zb´ yvaj´ıc´ı zásoby potravy a tohoto “strachu”: r = min(F ood, M ood),

(5.1)

kde F ood ∈ [0, 1] je agentova zásobˇe potravin, a M ood ∈ [0, 1] je pˇr´ımo u ´mˇerné vzdálenosti nejbliˇzˇs´ıho dravce, kter´ y je v dosahu agentova ˇcichu. M ood bude rovno 1, pokud nebude ˇza´dn´ y dravec v dosahu agentova ˇcichu, a bude rovno 0, pokud se bude nacházet dravec na stejném m´ıstˇe jako agent. V okamˇziku smrti pak jeˇstˇe agent dostává odmˇenu v hodnotˇe 0. ´ Uloha má vˇsechny vlastnosti, které potˇrebujeme k provˇeˇren´ı algoritm˚ u. Prostˇred´ı je nemarkovské a pravidla, jak´ ymi se ˇr´ıd´ı, je agent˚ um zpoˇcátku neznámé. Agenti nemaj´ı ˇza´dnou apriorn´ı informaci o správném ˇreˇsen´ı problému. Agenti musej´ı umˇet vyhledávat odmˇenu opoˇzdˇenou aspoˇ n o jeden krok, nebot’, aby mohli vyhledat potravu, mus´ı se pohybovat, coˇz je nejprve stoj´ı ˇca´st jejich zásoby potravy, a pˇrinese v´ ynos aˇz po dvou kroc´ıch, a to jen pokud v následuj´ıc´ım kroku agent konzumuje nalezenou potravu. Optimáln´ı zp˚ usob, jak se vyh´ ybat dravc˚ um, nen´ı zˇrejm´ y, a vzniká tak prostor pro sofistikované strategie. Agenti se uˇc´ı online zp˚ usobem. Pro jejich u ´spˇeˇsnost bude téˇz v´ yznamné, kolik aktivity vynaloˇz´ı na exploraci a kolik na exploataci.

5.1.2

Mˇ eˇ ren´ı u ´ spˇ eˇ snosti

´ eˇsnost jednotliv´ Uspˇ ych algoritm˚ u budeme mˇeˇrit dvˇema typy test˚ u. Kaˇzd´ y test se skládá ze série simulac´ı. V pr˚ ubˇehu celého testu jsou s´ıtˇe uˇceny. V kaˇzdé simulaci jsou jedinci rozm´ıstˇeni na nová náhodná m´ısta v náhodném smˇeru. Simulace konˇc´ı, pokud je vˇsechna koˇrist mrtvá, nejdéle vˇsak po 500 kroc´ıch. Poté jsou jedinci oˇziveni a zaˇc´ıná dalˇs´ı simulace. Kaˇzd´ y jedinec koˇristi bude m´ıt svou vlastn´ı neuronovou s´ıt’, která mezi jednotliv´ ymi simulacemi bude zachována (bude si pamatovat, co se nauˇcil). ´ eˇsnost algoPˇri prvn´ım typu testu bude v prostˇred´ı 20 jedinc˚ u koˇristi a 5 dravc˚ u. Uspˇ ritmu ohodnot´ıme body tak, ˇze v kaˇzdém kroku pˇridáme tolik bod˚ u, kolik je ˇzij´ıc´ıch jedinc˚ u koˇristi. Potom budeme poˇc´ıtat pr˚ umˇern´ y poˇcet bod˚ u za kaˇzd´ ych 100 po sobˇe jdouc´ıch simulac´ı a sledovat v´ yvoj v ˇcase. Celková délka testu se bude v r˚ uzn´ ych pˇr´ıpadech liˇsit dle toho, zda se jeˇstˇe s´ıt’ zdokonaluje, a v závislosti na ˇcasové nároˇcnosti test˚ u. Nicménˇe srovnávat v´ ysledky r˚ uzn´ ych konfigurac´ı budeme vˇzdy za stejnou dobu testován´ı. Druh´ y typ testu bude test bez dravc˚ u, kter´ y budeme provádˇet u vybran´ ych nejlepˇs´ıch konfigurac´ı. V tomto typu testu budeme zkouˇset, zda se jeden jedinec koˇristi dokáˇze nauˇcit strategii, jak vyj´ıt s j´ıdlem tak, aby pˇreˇzil do konce simulace. Pˇr´ıkladem takové strategie je pravidelné stˇr´ıdán´ı jednoho kroku, ve kterém se agent bude pohybovat, a jednoho kroku, ve kterém bude konzumovat potravu. Protoˇze nauˇcené ˇreˇsen´ı nemus´ı b´ yt stabiln´ı, budeme jednak mˇeˇrit poˇcet simulac´ı, neˇz se agent tuto strategii nauˇc´ı poprvé, jednak poˇcet simulac´ı nutn´ ych k tomu, aby se tuto strategii nauˇcil a dokázal ji udrˇzet ve dvaceti následuj´ıc´ıch simulac´ıch. Test budeme opakovat pˇri stejném nastaven´ı parametr˚ u a r˚ uzné náhodné inicializaci desetkrát, pokaˇzdé aˇz 10000 simulac´ı, nebo dokud algoritmus nenajde stabiln´ı ˇreˇsen´ı. 49

Kaˇzd´ y algoritmus s kaˇzdou konfigurac´ı testovanou testem prvn´ıho typu jsme oˇc´ıslovali ˇc´ıslem testu, kter´ ym se pak odkazujeme v grafech a tabulkách. Poté, co jsou popsány v´ ysledky vˇsech test˚ u prvn´ıho typu, je uvedena jejich shrnuj´ıc´ı tabulka. Následnˇe je popsán vzhled nauˇcené s´ıtˇe v nej´ uspˇeˇsnˇejˇs´ım z experiment˚ u z dan´ ym modelem. Tato konfigurace je pak testována v testu typu 2 bez dravc˚ u. Testy tohoto typu jsou znaˇceny velk´ ymi p´ısmeny. Nakonec je prezentováno porovnán´ı v´ yhod a nev´ yhod vˇsech testovan´ ych model˚ u. Pro srovnán´ı jsme vytvoˇrili jednoduch´ y pevn´ y program skládaj´ıc´ı se z rozhodovac´ıch pravidel. Algoritmus 6 1. Pokud je dravec za tebou, ut´ıkej 2. Pokud je dravec pˇred tebou, otoˇc se o 90◦ u ut´ıkej 3. Pokud je na m´ıstˇe malé mnoˇzstv´ı potravy, popojdi a lehce se pootoˇc 4. Jinak z˚ ustaˇ n na m´ıstˇe a konzumuj potravu Test 0: Agenti ˇr´ıd´ıc´ı se t´ımto programem byli velmi u ´spˇeˇsn´ı a z´ıskali v pr˚ umˇeru okolo 721000 bod˚ u za 100 simulac´ı. Pokud jsme v simulaci vypnuli dravce, byli tito agenti schopni stabilnˇe pˇreˇz´ıt celé trván´ı simulace (500 krok˚ u). Test 1: Dále jsme zmˇeˇrili u ´spˇeˇsnost náhodnˇe chovaj´ıc´ıho se algoritmu, opˇet pro u ´ˇcel porovnán´ı s následuj´ıc´ımi experimenty. Náhodn´ y algoritmus byl téˇz pomˇernˇe u ´spˇeˇsn´ y, z´ıskával v pr˚ umˇeru okolo 220000 bod˚ u za 100 simulac´ı. V testu bez agent˚ u se ˇcasto povedlo náhodnˇe se chovaj´ıc´ımu agentu pˇreˇz´ıt celou simulaci, ale nikdy nesplnil kriterium stability. Uvˇedomme si, ˇze náhodn´ y algoritmus je v ˇreˇsen´ı této u ´lohy pomˇernˇe u ´spˇeˇsn´ y z toho d˚ uvodu, ˇze jedinec rovnomˇernˇe rozdˇeluje ˇcas mezi konzumaci potravy a vyhledáván´ı nové potravy. Nav´ıc pro dravce nen´ı snadné chytit náhodnˇe se pohybuj´ıc´ı koˇrist. Naproti tomu neuronová s´ıt’ s nemˇennou náhodnou konfigurac´ı by si vedla mnohem h˚ uˇre, protoˇze by vˇetˇsinou opakovala stále stejnou akci.

5.1.3

S´ıt’ s n´ ahodn´ ymi zmˇ enami

V této ˇcásti popisujeme experimenty s algoritmy 2 a 3 popsan´ ymi v ˇcásti 4.2. S´ıt’ ˇr´ızená tˇemito algoritmy byla testována v simulátoru dravce a koˇristi. S´ıt’ dostávala na vstupu vjemy simulovaného organismu a mˇela za u ´kol vykonat takové akce, aby se organismus dokázal vyhnout predátor˚ um a naj´ıt potravu. Pouˇzili jsme s´ıt’ bez skryt´ ych neuron˚ u, která mˇela pouze 4 vstupn´ı a 4 v´ ystupn´ı neurony. Nejprve jsme pouˇzili odmˇen ˇovac´ı funkci 2, tj. u ´mˇernou agentovˇe zásobˇe potravy. Test 2 a 3 (obr´ azek 5.1): Nejprve byl testován algoritmus 2 pˇri dvou r˚ uzn´ ych hodnotách omezuj´ıc´ıch maximáln´ı náhodnou zmˇenu váhy. V testu 2 to bylo ±0.01 a v testu 3 ±0.05. S´ıtˇe se v tomto pˇr´ıpadˇe uˇcily velmi málo nebo v˚ ubec. Test 3 byl o nˇeco u ´spˇeˇsnˇejˇs´ı neˇz test 2. Pˇri jeˇstˇe vyˇsˇs´ı maximáln´ı moˇzné zmˇenˇe vah byly v´ ysledky jeˇstˇe o nˇeco lepˇs´ı. To je ale pravdˇepodobnˇe zp˚ usobeno jen t´ım, ˇze pˇri vyˇsˇs´ıch zmˇenách vah se algoritmus v´ıce podobá náhodnému algoritmu z testu 1. S´ıtˇe nakonec dospˇely do takového 50

stavu, ˇze se jedinci pˇrestali pohybovat, a pouze konzumovali potravu na m´ıstˇe, dokud jim nedoˇsla. To je pˇr´ıkladem toho, ˇze algoritmus neum´ı vyhledávat opoˇzdˇené odmˇeny, nebot’ dává pˇrednost okamˇzitému v´ ynosu za konzumaci, pˇred potravou, kterou by musel hledat.

Obrázek 5.1: Testy 1, 2, 3. Testy 4, 5 a 6 (obr´ azek 5.2): Poté byla m´ısto náhodné inicializace pouˇzita ruˇcnˇe pˇrednastavená s´ıt’, která jiˇz zpoˇcátku dosahovala sluˇsn´ ych v´ ysledk˚ u. Pokud jsme ji zafixovali a otestovali (test 4), z´ıskala v pr˚ umˇeru necel´ ych 340000 bod˚ u za 100 simulac´ı. Algoritmus s náhodn´ ymi zmˇenami ale ani pˇri této inicializaci nefungoval a s´ıt’ dosahovala v kaˇzdé dalˇs´ı simulaci stále horˇs´ıch v´ ysledk˚ u. Podoba s´ıtˇe nekonvergovala a sp´ıˇse se náhodnˇe mˇenila. A to pˇri nastaven´ı maximáln´ıch zmˇen ±0.01 (Test 5) i ±0.05 (Test 6).

Obrázek 5.2: Testy 4, 5, 6. Bˇehem testu 5 se v prvn´ıch 100 simulac´ıch algoritmu povedlo pˇrekonat v´ ysledky ’ p˚ uvodn´ı s´ıtˇe, s´ıt tak vylepˇsil a dosáhl necel´ ych 385000 bod˚ u. Jedinci se stali o nˇeco 51

aktivnˇejˇs´ımi a vyhledávali novou potravu i kdyˇz jeˇstˇe jejich zásoba nedocházela, na coˇz pˇri v´ ychoz´ım nastaven´ı s´ıtˇe ˇcekali. V následn´ ych simulac´ıch ale u ´spˇeˇsnost jiˇz jen klesala a agenti se opˇet stávali stále pasivnˇejˇs´ı. Diskuze nedostatk˚ u algoritmu 2 viz 4.2.

Obrázek 5.3: Testy 2, 7, 9, 11.

Obrázek 5.4: Testy 3, 8, 10, 12. Testy 7 - 12 (obr´ azky 5.3 a 5.4): S algoritmem 2 jsme porovnávali algoritmus 3 pro délku periody zmˇeny 5, 10 a 20 krok˚ u. Jelikoˇz je v tomto algoritmu náhodná zmˇena provádˇena jen jednou za n krok˚ u (n je délka ˇcasové periody), vynásobili jsme v kaˇzdém experimentu velikost maximáln´ı moˇzné zmˇeny ˇc´ıslem n, aby rozsah zmˇen z˚ ustal srovnateln´ y. Pouˇzité velikosti maximáln´ıch zmˇen tedy byly ±(n × 0.01) respektive ±(n × 0.05). Toto byly testy v poˇrad´ı 7, 9, 11 respektive 8, 10, 12. Algoritmus 3 znatelnˇe pˇrekonal algoritmus 52

2, pˇredevˇs´ım v pˇr´ıpadˇe periody 20 (obrázek 5.5), a to u obou zkouˇsen´ ych maximáln´ıch hodnot pˇr´ıpustn´ ych zmˇen. Mezi jedinci se objevili takov´ı, kteˇr´ı stˇr´ıdavˇe konzumovali a vyhledávali potravu, a “inteligentnˇe” reagovali u ´tˇekem na pˇr´ıtomnost dravc˚ u. A to pˇrestoˇze pouˇzitá odmˇena nezohledˇ nuje bl´ızkost dravce. Projevily se tak u ´ˇcinky negativn´ı odmˇeny, kterou agent dostává pˇri u ´mrt´ı. Problémy algoritmu 2 vˇsak v niˇzˇs´ı m´ıˇre stále pˇretrvávaj´ı.

Obrázek 5.5: V´ ahy a prahy s´ıtˇ e uˇ cen´ e v testu 11. Na obrázku jsou váhy a prahy s´ıtˇe po 900 tréninkových simulac´ıch (zaokrouhlené na jedno desetinné m´ısto). Synapse s kladnými vahami jsou vyznaˇceny zelenˇe (synapse s nejvyˇsˇs´ımi vahami svˇetle zelenˇe), synapse s negativn´ımi vahami naopak ˇcervenˇe (svˇetle ˇcervenˇe pro váhy s nejniˇzˇs´ımi hodnotami). Pˇr´ısluˇsný agent umˇel vyhled´ avat potravu a do jisté m´ıry se vyhýbat dravc˚ um. ’ V´ ahy zajiˇst uj´ı, ˇze agent se vydá hledat potravu, pouze kdyˇz má hlad a zkonzumoval potravu na m´ıstˇe, kde se nacház´ı. Pokud agent vid´ı dravce, neut´ık´ a, ale otoˇc´ı se na m´ıstˇe. T´ım se dostane do situace, kdy dravce c´ıt´ı, ale nevid´ı. V této situaci pak ut´ık´ a. Agent má tendenci se toˇcit vlevo. I pˇri u ´tˇeku pˇred dravcem agent pravidelnˇe konzumuje potravu. Testy 13 a 14 (obr´ azek 5.6): Algoritmus 3 s periodou zmˇen 5 a maximáln´ımi povolen´ ymi zmˇenami vah nejprve ±(10 × 0.01) a poté ±(10 × 0.05) jsme aplikovali téˇz na s´ıt’ pˇrednastavenou jako v testu 4. V´ ysledek nepˇrinesl zdokonalen´ı. Testy 15, 16 a 17 (obr´ azky 5.7 a 5.8): Nej´ uspˇeˇsnˇejˇs´ı z test˚ u v´ yˇse jsme zkusili zopakovat s odmˇen ˇovac´ı funkc´ı 3, která zahrnuje strach z dravc˚ u. Maximáln´ı zmˇena vah byla ±(n×0.01). Testovali jsme náhodnˇe inicializovan´ y algoritmus 2 (test 15) a algoritmus 3 s periodou 20 (test 16) a algoritmus 3 pˇrednastaven´ y jako v pˇredchoz´ıch testech (test 17). Zmˇena odmˇen ˇován´ı nepˇrinesla markantn´ı zlepˇsen´ı. V´ ysledky algoritmu 2 a 3 v testu s dravci s náhodnou inicializac´ı shrnuje tabulka 5.1, s pˇrednastaven´ım pak tabulka 5.2.

53

Obrázek 5.6: Testy 4, 13, 14.

Obrázek 5.7: Testy 2, 11, 15, 16.

54

Obrázek 5.8: Testy 4, 5, 17. Test 2 3 7 8 9 10 11 12 15 16

Odmˇ ena

Perioda zmˇ en

Max. zmˇ ena

Nej. v´ ysledek

Pr˚ um. v´ ysledek

2 2 2 2 2 2 2 2 3 3

1 1 5 5 10 10 20 20 1 20

±0.01 ±0.05 ±(5 × 0.01) ±(5 × 0.05) ±(10 × 0.01) ±(10 × 0.05) ±(20 × 0.01) ±(20 × 0.05) ±0.01 ±(20 × 0.01)

129354 144907 156520 159940 149876 168060 196024 164802 151334 164698

128100 142849 152720 146356 138636 149958 174555 158255 140685 152093

Tabulka 5.1: V´ ysledky experiment˚ u s algoritmy 2 a 3, ve kter´ ych byla pouˇ zita n´ ahodn´ a inicializace. V sloupci “Nej. výsledek” je nejvyˇsˇs´ı poˇcet bod˚ u z´ıskaný za sto simulac´ı z prvn´ıch deseti po sobˇe jdouc´ıch set simulac´ı. Ve sloupci “Pr˚ um. výsledek” je pr˚ umˇerný poˇcet bod˚ u na sto simulac´ı mˇeˇrený ve stejném obdob´ı. Nejlepˇs´ı výsledky byly dosaˇzeny v testu 11. Test 4 5 6 13 14 17

Odmˇ ena

Perioda zmˇ en

Max. zmˇ ena

Nej. v´ ysledek


2 2 2 2 3

1 1 1 10 10 1

±0.01 ±0.01 ±0.05 ±(10 × 0.01) ±(10 × 0.05) ±0.01

347542 384843 240072 268697 195122 339505

340160 299716 173787 200941 164943 263215

Tabulka 5.2: V´ ysledky experiment˚ u s algoritmy 2 a 3, ve kter´ ych byla s´ıt’ pˇ rednastavena ruˇ cnˇ e vybran´ ymi hodnotami. Ve sloupci “Nej. výsledek” je nejvyˇsˇs´ı poˇcet bod˚ u z´ıskaný za sto simulac´ı z prvn´ıch deseti po sobˇe jdouc´ıch set simulac´ı. Ve sloupci “Pr˚ um. výsledek” je pr˚ umˇerný poˇcet bod˚ u na sto simulac´ı mˇeˇrený ve stejném obdob´ı. Pouze v testu 5 byla u ´spˇeˇsnost výchoz´ı s´ıtˇe krátkodobˇe zdokonalena. 55

Test A: S´ıt’ se stejnou konfigurac´ı, jako v testu 11 jsme testovali druh´ ym typem testu. V deseti náhodn´ ych pokusech jsme testovali, zda se agent bez pˇr´ıtomnosti dravc˚ u nauˇc´ı konzumovat a vyhledávat potravu a pˇreˇz´ıt tak celou simulaci. Ve vˇsech deseti pˇr´ıpadech se toto agentovi povedlo v pr˚ umˇeru po 11.5 simulac´ıch. Stabiln´ı ˇreˇsen´ı se povedlo naj´ıt v osmi z deseti pˇr´ıpad˚ u a to v pr˚ umˇeru po 1006 simulac´ıch se smˇerodatnou odchylkou 980.

5.1.4

Modifikovan´ e TD(λ)

V následuj´ıc´ım popisujeme experimenty s algoritmem 4 popsan´ ym v 4.4.2 - upravenou verz´ı TD(λ). Pouˇz´ıvali jsme vˇzdy parametr uˇcen´ı α = 0.5 a z´ıskanou odmˇenu jsme v kaˇzdém kroku dˇelili ˇc´ıslem 50, aby celková odmˇena za partii nemohla pˇr´ıliˇs pˇresáhnout ˇc´ıslo 1. Pouˇzitá hodnota λ, pokud nen´ı uvedeno jinak, byla 0.5. V experimentech, ve kter´ ych jsme pouˇz´ıvali metodu znáhodnˇen´ı ˇc´ıslo 2 a 3, jsme hodnoty kaˇzdého ze 4 vstup˚ u pro akci diskretizovali do mnoˇziny 0, 0.5, 1, ˇcili moˇzn´ ych akc´ı bylo 34 = 81. Testy 18, 19 a 20 (obr´ azek 5.9): Pouˇzili jsme odmˇen ˇovac´ı funkci ˇc´ıslo 2 a s´ıt’ bez skryt´ ych neuron˚ u. Porovnávali jsme v´ ysledky pro r˚ uzné zp˚ usoby znáhodnˇen´ı popsané v 4.4.3. V testu 18 jsme pouˇzili znáhodnˇen´ı, pˇri kterém je vygenerováno 50 akc´ı a z nich vybrána ta nejlepˇs´ı (metoda znáhodnˇen´ı ˇc. 4). V testu 19 jsme pouˇzili ˇreˇsen´ı, které zakazuje agentovi pouˇz´ıvat stejnou akci mnohokrát za sebou, pˇriˇcemˇz hodnota ACT ION LIM IT byla rovna tˇrem (metoda znáhodnˇen´ı ˇc´ıslo 3). V testu 20 jsme pak s pravdˇepodobnost´ı 5% nahradili nejlepˇs´ı akci náhodnou akc´ı (metoda znáhodnˇen´ı 2). V testu se prokázalo, ˇze pro reprezentaci vlivu agentovy ˇcinnosti na z´ıskán´ı odmˇeny je tˇreba s´ıtˇe se skryt´ ymi neurony. S´ıtˇe si nevedly zcela ˇspatnˇe, ale velmi brzy se pˇrestaly zdokonalovat a jejich u ´spˇeˇsnost stagnovala. Zdaleka nejlepˇs´ı v´ ysledky dosáhla s´ıt’ v testu 18 pouˇz´ıvaj´ıc´ı znáhodnˇen´ı 4. S´ıt’ pouˇz´ıvaj´ıc´ı znáhodnˇen´ı 2 v testu 20 si vedla lépe neˇz s´ıt’ se znáhodnˇen´ım 3 v testu 19.

Obrázek 5.9: Testy 18, 19, 20. Testy 21, 22 a 23 (obr´ azek 5.10): Stejné testy jsme poté opakovali pro s´ıt’ s jednou skrytou vrstvou o ˇctyˇrech neuronech. V testu 21 jsme pouˇzili znáhodnˇen´ı 4 s nejlepˇs´ı z 50 56

náhodn´ ych akc´ı, v testu 22 jsme omezovali opakován´ı stejn´ ych akc´ı a v testu 23 jsme 5% akc´ı generovali náhodnˇe. Test 21 dopadl velmi u ´spˇeˇsnˇe. S´ıt’ se pomalu, ale nepˇretrˇzitˇe zdokonalovala a po 10000 trénovac´ıch simulac´ı dosahovala v pr˚ umˇeru pˇres 460000 bod˚ u za 100 simulac´ı, ˇc´ımˇz v´ yznamnˇe pˇrekonala i ruˇcnˇe nastavenou s´ıt’ z testu 4. S´ıt’ z testu 22 s metodou znáhodnˇen´ı 3 se téˇz uˇcila, ale ze tˇrech testovan´ ych s´ıt´ı nejpomaleji. S´ıt’ v testu 23 se v prvn´ıch 1000 simulac´ıch témˇeˇr nezdokonalovala, ale pozdˇeji se zaˇcala uˇcit a dosáhla lepˇs´ıch v´ ysledk˚ u neˇz v testu 22.

Obrázek 5.10: Testy 21, 22, 23. Lze ˇr´ıci, ˇze vˇsechny tˇri metody fungovaly. Agenti se dokázali nauˇcit v´ yhodn´ ym zp˚ usobem volit mezi konzumac´ı nalezené potravy a vyhledáván´ım nové potravy. Agenti se také nauˇcili reagovat u ´tˇekem na pˇr´ıtomnost dravc˚ u.

Obrázek 5.11: Testy 22, 25. Testy 24, 25 a 26 (obr´ azky 5.11, 5.12 a 5.13): Stejné testy s jednou skrytou vrstvou jsme opakovali pˇri nahrazen´ı odmˇen ˇovac´ı funkce 2 odmˇen ˇovac´ı funkc´ı 3. V testu 24 bylo pouˇzito znáhodnˇen´ı 4, v testu 25 znáhodnˇen´ı 3 a v testu 26 znáhodnˇen´ı 2. 57

Zmˇena odmˇen ˇovac´ı funkce pˇrinesla v kombinaci se znáhodnˇen´ım 4 v testu 24 podstatné zlepˇsen´ı u ´spˇeˇsnosti v´ ysledné s´ıtˇe (obrázek 5.14). Pˇritom v prvn´ıch cca 1000 simulac´ıch mˇela lepˇs´ı v´ ysledky s´ıt’ uˇcená s odmˇenou 2, která byla pozdˇeji bˇehem uˇcen´ı s´ıt´ı s odmˇenou 3 pˇredstihnuta. Tento jev je moˇzné vysvˇetlit tak, ˇze jednoduˇsˇs´ı odmˇen ˇovac´ı funkce pomohla agentovi na poˇca´tku nauˇcit se základn´ı taktiku pˇreˇzit´ı, zat´ımco v pozdˇejˇs´ı fázi pomáhala agentovi sofistikovanˇejˇs´ı odmˇena 3 se inteligentnˇeji vyh´ ybat nebezpeˇc´ı. Pˇri zb´ yvaj´ıc´ıch dvou typech znáhodnˇen´ı ke zdokonalen´ı s pouˇzit´ım odmˇeny 3 nedoˇslo. Vzájemné poˇrad´ı jednotliv´ ych metod znáhodnˇen´ı bylo stejné jako v pˇredchoz´ıch experimentech pˇri odmˇenˇe ˇc´ıslo 2.

Obrázek 5.12: Testy 23, 26.

Obrázek 5.13: Testy 21, 24, 27. Test 27 (obr´ azek 5.13): V´ ysledky z pˇredchoz´ıch test˚ u jsme zkusili téˇz porovnat s v´ ysledky s´ıtˇe pˇri metodˇe znáhodnˇen´ı 4 a nejjednoduˇsˇs´ı odmˇen ˇovac´ı funkce 1. S´ıt’ s touto odmˇenou pouze z poˇca´tku uˇcen´ı pˇredstihovala s´ıtˇe odmˇen ˇovac´ı funkc´ı 2 a 3, velmi záhy se ale pˇrestala zdokonalovat a jej´ı v´ ysledná u ´spˇeˇsnost byla mnohem niˇzˇs´ı. Potvrdilo se tak, ˇze jemnˇejˇs´ı odmˇen ˇovac´ı funkce zlepˇsuje proces zpˇetnovazebného uˇcen´ı. 58

Obrázek 5.14: S´ıt’ uˇ cen´ a algoritmem 4. S´ıt’ jednoho z nej´ uspˇeˇsnˇejˇs´ıch agent˚ u v testu 24 po 4000 tréninkových simulac´ıch. Váhy a prahy byly zaokrouhleny. Agent umˇel vyhled´ avat potravu a velmi u ´spˇeˇsnˇe unikat dravc˚ um. S´ıtˇe r˚ uzných agent˚ u v testu si vzájemnˇe byly velmi podobné. Ze vˇsech neuron˚ u ve skryté vrstvˇe vedou kladné synapse do výstupn´ıho neuronu, maj´ı tedy kladný pˇr´ıspˇevek k oˇcek´ avané kumulativn´ı odmˇenˇe. S´ıti dominuj´ı dráhy, které sniˇzuj´ı predikci odmˇeny, pokud je pozorov´ an dravec nebo pokud agent trp´ı hladem. V´ ahy zachycuj´ıc´ı vliv agentových akc´ı jsou ménˇe výrazné. Zelenˇe jsou vyznaˇceny dráhy, ˇ které zachycuj´ı, ˇze je výhodné konzumovat potravu. Cervenˇ e jsou naopak oznaˇceny váhy, které zachycuj´ı výhody pohybu. Agent se rozhodne konzumovat potravu a z˚ ustat na m´ıstˇe, pokud je v takovém stavu, ˇze výstup skrytého neuronu oznaˇceného ˇsipkou je rozhoduj´ıc´ı pro hodnotu výstupu celé s´ıtˇe. Jak ukázaly experimenty v´ yˇse, metoda znáhodnˇen´ı 4 pˇrináˇs´ı podstatnˇe lepˇs´ı v´ ysledky neˇz ostatn´ı uvaˇzované metody. V dalˇs´ım jiˇz experimentujeme pouze s metodou znáhodnˇen´ı 4. Testy 28 a 29 (obr´ azek 5.15): V tˇechto experimentech bylo testováno, zda druhá skrytá vrstva m˚ uˇze b´ yt pˇr´ınosem v ˇreˇsen´ı dané u ´lohy. V obou pˇr´ıpadech mˇela s´ıt’ dvˇe skryté vrstvy po ˇctyˇrech neuronech. V experimentu 28 byla pouˇzita odmˇen ˇovac´ı funkce ˇc´ıslo 2 a v experimentu 29 odmˇen ˇovac´ı funkce ˇc´ıslo 3. V obou testech byly dosaˇzeny horˇs´ı v´ ysledky neˇz v odpov´ıdaj´ıc´ıch variantách s jednou skrytou vrstvou. Dalˇs´ı skrytá vrstva tedy nen´ı pˇr´ınosem pˇri ˇreˇsen´ı dané u ´lohy. Testy 30 - 33 (obr´ azek 5.16): V tˇechto testech jsme se pokusili naj´ıt nejlepˇs´ı hodnoty parametru λ pro danou u ´lohu. V kaˇzdém testu jsme pouˇzili jednu skrytou vrstvu 59

Obrázek 5.15: Testy 21, 24, 28, 29. a odmˇen ˇovac´ı funkci ˇc´ıslo 2. V testech 30, 31, 32 a 33 byly pouˇzity hodnoty λ v poˇrad´ı 0, 0.25, 0.75, 1 a v´ ysledky byly srovnány s testem 21, ve kterém byla pouˇzita hodnota λ = 0.5. Pˇri hodnotˇe λ = 1 se s´ıt’ zpoˇca´tku uˇcila nejrychleji, ale velmi brzy se pˇrestala zdokonalovat a v´ ysledky byly znatelnˇe horˇs´ı neˇz pro vˇsechny ostatn´ı hodnoty. Pro ostatn´ı hodnoty byly v´ ysledky srovnatelné, nicménˇe nejlépe se s´ıt’ uˇcila pˇri hodnotˇe λ = 0.75, ménˇe dobˇre pro λ = 0.5, potom pro λ = 0.25 a jeˇstˇe h˚ uˇre pro λ = 0. Tedy od urˇcité hodnoty rostla u ´spˇeˇsnost s´ıtˇe s velikost´ı λ, patrnˇe d´ıky lepˇs´ı schopnosti pˇredv´ıdat opoˇzdˇené odmˇeny.

Obrázek 5.16: Testy 21, 30, 31, 32, 33.

60

V´ ysledky experiment˚ u s modifikovan´ ym TD(λ) shrnuje tabulka 5.3. Test 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Odmˇ ena

Zn´ ahodnˇ en´ı

λ

Skryt´ e neurony

Nej. v´ ysledek


2 2 2 2 2 2 3 3 3 1 2 3 2 2 2 2

4 3 2 4 3 2 4 3 2 4 4 4 4 4 4 4

0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0 0.25 0.75 1

0 0 0 4 4 4 4 4 4 4 4+4 4+4 4 4 4 4

293703 91675 135955 399840 220962 274455 427641 200613 247435 297242 299929 360709 348474 382142 418372 234959

251125 86156 132399 313315 151198 172748 330954 144956 160655 273909 244587 260887 266309 298424 323127 213849

Tabulka 5.3: V´ ysledky experiment˚ u s algoritmem 4. Pouˇzité metody znáhodnˇen´ı jsou oˇc´ıslov´ any tak, jak je pops´ ano v ˇc´ asti 4.4.3. V sloupci “Nej. výsledek” je nejvyˇsˇs´ı poˇcet bod˚ u z´ıskaný za sto simulac´ı z prvn´ıch 38 po sobˇe jdouc´ıch set simulac´ı. Ve sloupci “Pr˚ um. výsledek” je pr˚ umˇerný poˇcet bod˚ u na sto simulac´ı mˇeˇrený ve stejném obdob´ı. Nejlepˇs´ı výsledky byly dosaˇzeny v testu 24. Test B: Pro test bez dravc˚ u byla vybrána konfigurace pouˇzitá v testu 24 - odmˇen ˇovac´ı pˇredpis 3 se znáhodnˇen´ım ˇc´ıslo 4, jednou skrytou vrstvou a parametrem λ = 0.5. V kaˇzdém z deseti test˚ u se agentovi povedlo pˇreˇz´ıt celou simulaci, pr˚ umˇernˇe k tomu docházelo po 77 simulac´ıch. Stabiln´ı ˇreˇsen´ı se povedlo naj´ıt pouze ve tˇrech z tˇechto pokus˚ u, v pr˚ umˇeru po 282 simulac´ıch se smˇerodatnou odchylkou 97. Avˇsak i bˇehem pokus˚ u, pˇri kter´ ych nebylo stabiln´ı ˇreˇsen´ı nalezeno, se s´ıt’ uˇz po nˇekolika stech simulac´ıch dostala do takového stavu, ˇze agent pˇreˇz´ıval v pr˚ umˇeru kaˇzdou druhou testovac´ı simulaci.

5.1.5

Schmidhuberova rekurentn´ı s´ıt’

V této ˇcásti jsou popsány experimenty s algoritmem 5 z ˇca´sti 4.5. Pro u ´ˇcely u ´lohy dravce a koˇristi byla ˇr´ıdic´ı s´ıt’ vybavena ˇctyˇrmi normáln´ımi vstupy (hlad, ˇcich, zrak a pˇr´ıtomnost potravy), jedn´ım odmˇen ˇovac´ım vstupem a ˇctyˇrmi v´ ystupy (konzumace potravy, rotace vpravo, rotace vlevo a pohyb vpˇred). Modeluj´ıc´ı s´ıt’ obsahovala prediktory pro vˇsechny vstupy ˇr´ıdic´ı s´ıtˇe. Poˇcet skryt´ ych neuron˚ u se mˇenil mezi r˚ uzn´ ymi testy. S´ıt’ je znázornˇena na obrázku 5.17. Pouˇzité parametry uˇcen´ı pro ˇr´ıdic´ı i modeluj´ıc´ı s´ıt’ byly rovné 0.5. Vˇsechny aproximace parciáln´ıch derivac´ı byly jednou za dvacet krok˚ u vynulovány. Pokud jsme totiˇz tyto parciáln´ı derivace nevynulovali, nar˚ ustaly jejich hodnoty bˇehem uˇcen´ı k nekoneˇcnu a s nimi i váhy ˇr´ıdic´ı s´ıtˇe. V testech nebyly pouˇzity zmiˇ nované modifikace rozˇsiˇruj´ıc´ı algoritmus o umˇelou zvˇedavost, pravdˇepodobnostn´ı v´ ystupy ani techniky “Temporal Difference learning”. Test 34 (obr´ azek 5.18): Nejprve jsme zkusili pouˇz´ıt algoritmus bez jakékoli formy znáhodnˇen´ı v´ ystup˚ u. Pro odmˇen ˇován´ı byl pouˇzit pˇredpis 2 zohledˇ nuj´ıc´ı agentovu zásobu 61

Obrázek 5.17: Schmidhuberova s´ıt’ pro u ´ lohu dravce a koˇ risti. Na obrázku je schéma Schmidhuberovy rekurentn´ı s´ıtˇe pro ˇreˇsen´ı u ´lohy koˇristi a dravce se dvˇema skrytými neurony modeluj´ıc´ı s´ıtˇe tak, jak byla pouˇzita napˇr´ıklad v testu 36. Modˇre jsou vybarveny norm´ aln´ı vstupn´ı neurony a jejich prediktory, oranˇzovˇe odmˇena a jej´ı prediktor, ˇzlutˇe výstupn´ı neurony a ˇsedˇe skryté neurony. Ze vˇsech vstupn´ıch a výstupn´ıch neuron˚ u ˇr´ıdic´ı s´ıtˇe vedou synapse do vˇsech neuron˚ u modeluj´ıc´ı s´ıtˇe. ˇ ıdic´ı s´ıt’ nemˇela ˇzádn´ potravy ale nikoli nebezpeˇc´ı od dravc˚ u. R´ y skryt´ y neuron a modeluj´ıc´ı s´ıt’ mˇela 2 skryté neurony. Aby byla modeluj´ıc´ı s´ıt’ schopna reprezentovat sloˇzitˇejˇs´ı znalosti typu “v jedné situaci pˇrinese odmˇenu akce A a v jiné situaci pˇrinese odmˇenu akce B”, opakovali jsme krok 4 algoritmu v kaˇzdé iteraci dvakrát. Vybaven´ı ˇr´ıdic´ı s´ıtˇe jsme v tomto experimentu provádˇeli pouze jednou.

Obrázek 5.18: Testy 34. S´ıt’ bez znáhodnˇen´ı v testu 34 se nedokázala vyrovnat s problémem “strachu z neznáma” popsan´ ym v ˇcásti 4.4.3. S´ıtˇe se neuˇcily a vˇsichni agenti po urˇcitém poˇctu simulac´ı dospˇeli do stavu, kdy neustále opakovali stejnou akci. Bud’ se nepˇretrˇzitˇe pohybovali a nekonzumovali potravu, a nebo stále z˚ ustávali na m´ıstˇe a konzumovali potravu, dokud jim nedoˇsla ˇci dokud je nedostihl dravec. 62

Testy 35 - 38 (obr´ azek 5.19): Test 34 prokázal nutnost urˇcité formy znáhodnˇen´ı. V tˇechto a následuj´ıc´ıch testech proto byla v kaˇzdé iteraci algoritmu s pravdˇepodobnost´ı 5% agentova akce nahrazena akc´ı náhodnou. V tˇechto testech jsme experimentovali s pouˇzitou odmˇen ˇovac´ı funkc´ı a poˇctem skryt´ ych neuron˚ u modeluj´ıc´ı s´ıtˇe. V testech 35 a 36 byla pouˇzita odmˇen ˇovac´ı funkce 2, zat´ımco v testech 37 a 38 odmˇen ˇovac´ı funkce 3. V testech 35 a 37 byla pouˇzita modeluj´ıc´ı s´ıt’ bez skryt´ ych neuron˚ u, v testech 36 a 38 mˇela modeluj´ıc´ı s´ıt’ 2 skryté neurony. Ostatn´ı podm´ınky byly stejné, jako v testu 34.

Obrázek 5.19: Testy 35, 36, 37, 38. Vˇsechny tyto ˇctyˇri s´ıtˇe se dokázaly u ´lohu zpoˇca´tku rychle nauˇcit. Dokázaly vyhledávat a konzumovat potravu i vyh´ ybat se dravc˚ um. S pˇr´ıliˇs dlouh´ ym uˇcen´ım se pak ale jejich kvalita zhorˇsovala a pˇribliˇznˇe po 2500 simulac´ıch velmi klesla a agenti mˇeli tendenci pasivnˇe z˚ ustávat na jednom m´ıstˇe. Je moˇzné, ˇze tato s´ıt’ podléhá obdobˇe tzv. pˇreuˇcen´ı, se kter´ ym se setkáváme pˇri uˇcen´ı s uˇcitelem - viz konec ˇcásti 3.2. O nˇeco lépe dokázaly u ´lohu ˇreˇsit s´ıtˇe v testech 41 a 42 pˇri pouˇzit´ı odmˇen ˇovac´ı funkce 2. V tomto pˇr´ıpadˇe se tedy osvˇedˇcila sp´ıˇse jednoduˇsˇs´ı odmˇen ˇovac´ı funkce 2. Skryté neurony v modeluj´ıc´ı s´ıti nemˇely na u ´spˇeˇsnost pˇr´ıliˇs velk´ y vliv. Test 39 (obr´ azek 5.20): Pˇri dvou skryt´ ych neuronech modeluj´ıc´ı s´ıtˇe jsme téˇz provedli test s odmˇen ˇovac´ı funkc´ı ˇc´ıslo 1. Pˇri pouˇzit´ı této odmˇen ˇovac´ı funkce vˇsak nedocházelo k uˇcen´ı a agenti po krátké dobˇe vykonávali neustále stejné akce. Tedy primitivn´ı odmˇen ˇovac´ı funkce, která rozliˇsuje pouze zda je agent ˇziv´ y nebo mrtv´ y, nestaˇc´ı k tomu, aby algoritmus fungoval. Testy 40 a 41 (obr´ azek 5.21): Testována byla u ´spˇeˇsnost neuronové s´ıtˇe pˇri r˚ uzném poˇctu opakován´ı kroku 4 pouˇzitého algoritmu 5, tedy pˇri r˚ uzném poˇctu vybaven´ı modeluj´ıc´ı s´ıtˇe na jeden krok simulace. V testu 40 byl poˇcet opakován´ı 1 a v testu 41 byl roven 3. V´ ysledky byly porovnány s testem 36, ve kterém byl krok 4 opakován dvakrát. Testy ukazuj´ı, ˇze s pˇrib´ yvaj´ıc´ım poˇctem opakován´ı v´ ypoˇctu modeluj´ıc´ı s´ıtˇe na jednu iteraci algoritmu roste u ´spˇeˇsnost s´ıtˇe. S´ıt’ v testu 41 pˇredstihla s´ıt’ z testu 36, která byla 63

Obrázek 5.20: Testy 36, 38, 39. ´ eˇsnost s´ıt´ı po urˇcitém poˇctu iterac´ı opˇet zaˇcala v´ u ´spˇeˇsnˇejˇs´ı neˇz s´ıt’ v testu 40. Uspˇ yraznˇe klesat, pˇriˇcemˇz ale pˇri poˇctu iterac´ı 3 klesala znatelnˇe pomaleji.

Obrázek 5.21: Testy 36, 40, 41. Testy 42, 43 a 44 (obr´ azek 5.22): V tˇechto testech jsme se dále snaˇzili zv´ yˇsit s´ılu s´ıtˇe. Vycházeli jsme opˇet z konfigurace pouˇzité v testu 36. V testu 42 byly m´ısto 2 skryt´ ych neuron˚ u modeluj´ıc´ı s´ıtˇe pouˇzity 4 skryté neurony. V testu 43 jsme ponechali 2 skryté neurony v modeluj´ıc´ı s´ıti, ale ˇr´ıdic´ı s´ıt’ téˇz obsahovala 2 skryté neurony. Nastaven´ı testu 44 pak bylo stejné jako pro test 43 s tou v´ yjimkou, ˇze nejen modeluj´ıc´ı s´ıt’, ale téˇz ’ ˇr´ıdic´ı s´ıt vybavovala dvakrát v jednom kroku simulace (Dvakrát jsme opakovali krok 2 algoritmu 5.). ´ eˇsnost s´ıt´ı byla velmi podobná. Závˇerem je, ˇze zv´ Uspˇ yˇsen´ı poˇctu skryt´ ych neuron˚ u ani opakován´ı v´ ypoˇctu ˇr´ıdic´ı s´ıtˇe nav´ıc nepˇrináˇs´ı v´ yrazné zv´ yˇsen´ı u ´spˇeˇsnosti. V´ ysledky algoritmu 5 v experimentu s dravci jsou zaznamenány v tabulce 5.4. 64

Obrázek 5.22: Testy 36, 42, 43, 44. Test 34 35 36 37 38 39 40 41 42 43 44

Odmˇ ena

Kroky o + m

Skryt´ eo+m

N´ ahodnost

Nej. v´ ysl.

Pr˚ um. v´ ysl.

2 2 2 3 3 1 2 2 2 2 2

1+2 1+2 1+2 1+2 1+2 1+2 1+1 1+3 1+2 1+2 2+2

0+2 0+0 0+2 0+0 0+2 0+2 0+2 0+2 0+4 2+2 2+2

5% 5% 5% 5% 5% 5% 5% 5% 5% 5%

102777 179324 181512 165068 156824 86026 150783 188129 190217 184423 177350

92910 135352 133507 129025 116359 63893 119371 152446 145156 147094 142303

Tabulka 5.4: V´ ysledky experiment˚ u s algoritmem 5. Sloupec “Kroky o + m” oznaˇcuje, kolik výpoˇct˚ u ˇr´ıdic´ı respektive modeluj´ıc´ı s´ıtˇe bylo opakov´ ano v jednom kroku algoritmu. Sloupec “Skryté o + m” obsahuje poˇcet skrytých neuron˚ u v ˇr´ıdic´ı a modeluj´ıc´ı s´ıti. V sloupci “Nej. výsl.” je nejvyˇsˇs´ı poˇcet bod˚ u z´ıskaný za sto simulac´ı z prvn´ıch 30 po sobˇe jdouc´ıch set simulac´ı. Ve sloupci “Pr˚ um. výsl.” je pr˚ umˇerný poˇcet bod˚ u na sto simulac´ı mˇeˇrený ve stejném obdob´ı. Nejlepˇs´ı výsledky byly dosaˇzeny v testech 36, 41, 42 a 43. Test C: Pro test bez dravc˚ u byla zvolena konfigurace z testu 36. Ve vˇsech z deseti pokus˚ u bylo pomˇernˇe rychle nalezeno stabiln´ı ˇreˇsen´ı, pˇri kterém agent pˇreˇzil dvacet simulac´ı v ˇradˇe. Poprvé agent pˇreˇzil celou simulaci v pr˚ umˇeru po 58 tréninkov´ ych simulac´ıch, stabiln´ı ˇreˇsen´ı nacházel v pr˚ umˇeru po 101 simulac´ıch se smˇerodatnou odchylkou 99. V´ ysledn´ı jedinci obvykle pravidelnˇe stˇr´ıdali krok, ve kterém konzumovali potravu, a krok, ve kterém se pˇresouvali na jiné m´ısto. Na obrázku 5.23 je zobrazena s´ıt’ podobná té, která byla v´ ysledkem testu C. V modeluj´ıc´ı s´ıti lze pozorovat kódován´ı mnoha základn´ıch znalost´ı, napˇr´ıklad, ˇze pokud má agent hlad a n´ızkou odmˇenu, je pravdˇepodobné, ˇze bude m´ıt hlad a odmˇena bude n´ızká i v pˇr´ıˇst´ım kroku. S´ıt’ téˇz zachycuje znalost o tom, ˇze konzumace potravy pˇrináˇs´ı po65

Obrázek 5.23: Schmidhuberova s´ıt’ uˇ cen´ a v testu bez pred´ ator˚ u. Agent ˇr´ızený touto s´ıt´ı umˇel pˇreˇz´ıt v prostˇred´ı bez predátor˚ u neomezenˇe dlouhou dobu. Narozd´ıl od testu C zde pro jednoduchost nebyly pouˇzity skryté neurony (pouˇzita konfigurace z testu 35). Pro pˇrehlednost jsme téˇz nezakreslili vstupn´ı neurony pro ˇcich a zrak, ani jejich prediktory, nebot’ v tomto testu nebyly tyto vstupy nikdy aktivn´ı. Obrázek neobsahuje ani výstupn´ı neurony pro rotaci, které nejsou pˇr´ıliˇs d˚ uleˇzité. Pro pochopen´ı funkce modeluj´ıc´ı s´ıtˇe je tˇreba vz´ıt v u ´vahu, ˇze výpoˇcet modeluj´ıc´ı s´ıtˇe prob´ıhal dvakrát v kaˇzdé iteraci algoritmu. V´ ahy byly zaokrouhleny na jedno desetinné m´ısto. travu, ale sniˇzuje dostupnost potravy v pˇr´ıˇst´ım kroku. Za pozornost stoj´ı dvˇe dráhy, které jsou vyznaˇceny ˇcervenˇe. Jedna obsahuje znalost o tom, ˇze pohyb sniˇzuje z´ıskanou odmˇenu v následuj´ıc´ım kroku (nebot’ agent nekonzumuje potravu a naopak pohybem j´ı v´ıce spotˇrebuje). Druhá dráha reprezentuje znalost, ˇze pohyb pˇrináˇs´ı potravu a potrava pˇrináˇs´ı odmˇenu. Tyto dvˇe znalosti p˚ usob´ı protich˚ udnˇe pˇri trénován´ı vah synaps´ı ˇr´ıdic´ı s´ıtˇe, které vedou do v´ ystupn´ıho neuronu pro pohyb. To nut´ı ˇr´ıdic´ı s´ıt’ rovnomˇernˇe stˇr´ıdat mezi pohybem a konzumac´ı potravy. Návaznost ˇcerven´ ych synaps´ı z neuronu pro pohyb do prediktoru potravy a ze vstupu pro potravu do prediktoru odmˇeny pˇri uˇcen´ı ˇr´ıdic´ı s´ıtˇe je dána t´ım, ˇze na posledn´ım ˇra´dku bloku 5 algoritmu 5 jsou parciáln´ı derivace v´ ystup˚ u vstupn´ıch neuron˚ u nahrazovány parciáln´ımi derivacemi aktivac´ı jejich prediktor˚ u. Zobrazené nastaven´ı ˇr´ıdic´ı s´ıtˇe vede agenta k tomu, aby konzumoval potravu, pokud je pˇr´ıtomna, a pohyboval se v opaˇcném pˇr´ıpadˇe. Kladné váhy kˇr´ıˇzov´ ych vazeb mezi v´ ystupn´ımi neurony pro konzumaci potravy a pohyb nav´ıc vedou agenta k tomu, aby akce stˇr´ıdal (Docház´ı zde k vyuˇzit´ı rekurentn´ı dráhy coby pamˇeti.).

66

5.1.6

Srovn´ an´ı testovan´ ych algoritm˚ u

Pro srovnán´ı v´ ysledk˚ u algoritm˚ u 3, 4 a 5 jsme vybrali jejich nej´ uspˇeˇsnˇejˇs´ı konfigurace z test˚ u 11, 24 a 36 (obrázek 5.24). Pro kaˇzdé z tˇechto tˇr´ı nastaven´ı jsme opakovali test s dravci desetkrát pˇri r˚ uzn´ ych náhodn´ ych inicializac´ıch. Pro kaˇzdé opakován´ı jsme zaznamenali dosaˇzené body v nejlepˇs´ı stovce z prvn´ıch 3000 trénovac´ıch simulac´ı. Pro kaˇzd´ y z algoritm˚ u jsme spoˇc´ıtali pr˚ umˇer bod˚ u za nejlepˇs´ı stovku a smˇerodatnou odchylku pˇres vˇsech 10 opakován´ı. Jak ukazuje tabulka 5.5, v testech prvn´ıho typu byl jednoznaˇcnˇe nej´ uspˇeˇsnˇejˇs´ı algoritmus 4, kter´ y se v celém pr˚ ubˇehu testován´ı dokázal zdokonalovat a dosahoval pˇribliˇznˇe dvojnásobn´ y poˇcet bod˚ u oproti ostatn´ım dvˇema algoritm˚ um. Proto lze se statistickou spolehlivost´ı 95% a dokonce i 99% tvrdit, ˇze tento algoritmus dosahuje lepˇs´ıch v´ ysledk˚ u neˇz ostatn´ı dva algoritmy. Sofistikovanˇejˇs´ı algoritmus 5, kter´ y oproti obˇema zb´ yvaj´ıc´ım algoritm˚ um vybavuje agenta téˇz pamˇet´ı, se po 1500 simulac´ıch pˇrestal zdokonalovat. Mˇeˇren´ı ukazuj´ı, ˇze u ´spˇeˇsnost tohoto algoritmu byla velmi podobná u ´spˇeˇsnosti algoritmu 3. V testech druhého typu pak nejlépe uspˇel algoritmus 5, kter´ y se vˇzdy pomˇernˇe rychle nauˇcil pˇreˇz´ıt celé trván´ı simulace.

Obrázek 5.24: Srovn´ an´ı algoritm˚ u 3, 4, 5 Moˇznosti algoritmu 3 jsou zˇrejmˇe omezené a nebyla oˇcekávána jeho pˇr´ıliˇsná u ´spˇeˇsnost v ˇreˇsen´ı u ´lohy. V´ ysledky jsou nicménˇe zaj´ımavou ukázkou toho, ˇceho lze dosáhnout s velmi jednoduch´ ym algoritmem. Vysoká u ´spˇeˇsnost algoritmu 4 je pomˇernˇe pˇrekvapivá, nebot’ algoritmus byl p˚ uvodnˇe urˇcen pro odliˇsn´ y typ u ´loh a s´ıt’ nemá moˇznost si uchovávat informace z minulosti. Co se t´ yˇce algoritmu 5 pro rekurentn´ı s´ıt’, v´ ysledky dosaˇzené v testech bez dravc˚ u jsou povzbudivé. Naproti tomu v testech prvn´ıho typu se algoritmus pˇr´ıliˇs neosvˇedˇcil, a vezmeme-li v u ´vahu jeho vysokou v´ ypoˇcetn´ı nároˇcnost, algoritmus neprokázal svoji uˇziteˇcnost v ˇreˇsen´ı dané u ´lohy. Je ale pravdˇepodobné, ˇze existuj´ı rezervy ve zdokonalen´ı tohoto algoritmu, napˇr´ıklad v pouˇzit´ı propracovanˇejˇs´ı metody znáhodnˇen´ı. 67

Algoritmus 3 4 5

Test 11 24 36

Test bez dravc˚ u

Pr˚ umˇ ern´ e body 5

80% 30% 100%

1.805 · 10 3.929 · 105 1.815 · 105

Smˇ er. odch. 1.06 · 104 1.78 · 104 1.64 · 104

Tabulka 5.5: Srovn´ an´ı u ´ spˇ eˇ snosti algoritm˚ u 3, 4 a 5 pˇ ri nejlepˇ s´ım nalezen´ em nastaven´ı jejich parametr˚ u. Sloupec “Test bez dravc˚ u” oznaˇcuje pod´ıl test˚ u druhého typu (bez dravc˚ u), pˇri kterých bylo nalezeno stabiln´ı ˇreˇsen´ı. Sloupec “Pr˚ umˇerné body” oznaˇcuje pr˚ umˇer z bod˚ u z´ıskaných algoritmem v nejlepˇs´ı stovce z prvn´ıch 3000 trénovac´ıch simulac´ı pˇres vˇsech deset opakov´ an´ı. Sloupec “Smˇer. odch. udáv´ a pˇr´ısluˇsnou smˇerodatnou odchylku.” Na disku CD pˇriloˇzeném k této práci se nacház´ı spustitelná verze simulátoru pˇrednastavená pro spuˇstˇen´ı experimentu s dravci i bez dravc˚ u pro vybrané konfigurace kaˇzdého ze tˇr´ı popsan´ ych algoritm˚ u spoleˇcnˇe se sv´ ym zdrojov´ ym kódem.

68

5.2

Aplikace v robotice

Jak jiˇz bylo uvedeno, vhodnou oblast´ı pro aplikaci zpˇetnovazebného uˇcen´ı je robotika. Rozhodli jsme se proto otestovat nej´ uspˇeˇsnˇejˇs´ı z popsan´ ych algoritm˚ u - algoritmus 4 (modifikovan´ y TD(λ)) na u ´loze robotiky. Pouˇzit´ ym robotem byl e-puck 2 , navrˇzen´ y t´ ymem ´ ˇ okolo Francesca Mondady z Ecole Polytechnique Fédérale de Lausanne ve Sv´ ycarsku. Epuck je jednoduch´ y robot ve tvaru kotouˇce o pr˚ umˇeru cca 8 cm, kter´ y je vybaven dvˇema nezávisle pohánˇen´ ymi koly a osmi infraˇcerven´ ymi senzory schopn´ ymi detekovat bl´ızkost pˇrekáˇzky. Robot je téˇz vybaven dalˇs´ımi senzory a efektory, které v testu nebyly pouˇzity. Hledán´ı vhodného nastaven´ı a uˇcen´ı neuronové s´ıtˇe bylo provádˇeno z d˚ uvodu u ´spory ˇ ˇcasu na simulátoru Webots 5.1.13 vytvoˇreného taktéˇz Sv´ ycarskou firmou Cyberbotics 3 . V´ ysledná neuronová s´ıt’ byla nakonec otestována na fyzickém robotu.

Obrázek 5.25: Robot e-puck je vybaven osmi infraˇcerven´ ymi senzory, které mohou sn´ımat vzdálenost nejbliˇzˇs´ı pˇrekáˇzky ve smˇeru, kter´ ym m´ıˇr´ı. Obrázek byl pˇrejat z webové stránky http://www.e-puck.org.

5.2.1

ˇ sen´ Reˇ au ´ loha robotiky

C´ılem bylo nauˇcit agenta - robota pohybovat se ve vymezeném prostoru a pˇritom se vyh´ ybat pˇrekáˇzkám (obrázek 5.26). T´ımto prostorem je ohrazené ˇctvercové pole velikosti 60 × 60 cm. Aby nebylo u ´lohu moˇzné ˇreˇsit pˇr´ıliˇs snadno j´ızdou po stále stejné trase, 2 3

http://www.e-puck.org http://www.cyberbotics.com

69

Obrázek 5.26: Prostˇ red´ı, ve kter´ em se pohybuje robot e-puck v pr˚ ubˇ ehu experimentu. Obr´ azek byl vygenerov´ an programem Webots. v prostoru se téˇz nacház´ı ˇctvercová pˇrekáˇzka velikosti 20 × 20 cm, která je v pr˚ ubˇehu ’ experimentu pˇrem´ıst ována. Jak ohrádka, tak pˇrekáˇzka maj´ı svˇetle ˇsedivou barvu. Vstupy: Jak je patrné z obrázku 5.25, robot je infraˇcerven´ ymi senzory hustˇeji osazen vepˇredu. To umoˇzn ˇuje u ´ˇcinnˇeji zabránit kolizi s pˇrekáˇzkou, pokud se robot pohybuje vpˇred. Hodnoty sn´ımané senzory ve stejné situaci se mezi r˚ uzn´ ymi fyzick´ ymi roboty liˇs´ı, protoˇze kaˇzd´ y robot je jedineˇcn´ y. Dosah senzor˚ u je v ˇra´du centimetr˚ u a záleˇz´ı také na barvˇe pˇrekáˇzky. Svˇetlé tˇeleso lépe odráˇz´ı infraˇcervené paprsky a je tedy lépe vidˇet. Lze ˇr´ıci, ˇze pokud nen´ı v dosahu senzoru ˇza´dná pˇrekáˇzka, hodnota senzoru se pohybuje pod hodnotou 300 4 . S bl´ıˇz´ıc´ı se pˇrekáˇzkou roste tato hodnota aˇz k nˇekolika tis´ıc˚ um, a to nelineárnˇe vzhledem ke vzdálenosti pˇrekáˇzky. Abychom zjednoduˇsili agentovu neuronovou s´ıt’, omez´ıme poˇcet jeho vstupn´ıch neuron˚ u kóduj´ıc´ıch stav prostˇred´ı na 4, které budeme znaˇcit st0 , st1 , st2 , st3 . Kaˇzd´ y z tˇechto vstup˚ u bude odpov´ıdat dvˇema z infraˇcerven´ ych senzor˚ u, pˇresnˇeji tomu z nich, kter´ y je v daném okamˇziku aktivnˇejˇs´ı. Vstup st0 odpov´ıdá dvojici senzor˚ u na levé stranˇe robota (IR 5, IR 6), vstup st1 odpov´ıdá dvojici pˇredn´ıch senzor˚ u (IR 7, IR 0), vstup st2 odpov´ıdá dvojici senzor˚ u na pravé stranˇe robota (IR 1, IR 2) a vstup st3 odpov´ıdá dvojici zadn´ıch neuron˚ u (IR 3, IR 4). Hodnoty senzor˚ u jsou jako takové pro vstup neuronové s´ıtˇe nevhodné, proto je tˇreba je pˇredzpracovat. Jsou-li signály dvojice senzor˚ u odpov´ıdaj´ıc´ıch urˇcitému vstupn´ımu neuronu sti rovny S1 , respektive S2 , potom bude pro hodnotu yi tohoto neuronu platit: p max(max(S1 − 300, 0), max(S2 − 300, 0)) (5.2) ysti = 70 Hodnoty vstup˚ u nejprve sn´ıˇz´ıme o 300, abychom se zbavili ˇsumu. Potom vybereme aktivnˇejˇs´ı z obou neuron˚ u, jeho hodnotu odmocn´ıme, abychom omezili nelinearitu vzhledem 4

Pro fyzické roboty plat´ı, ˇze kaˇzd´ y senzor dává ponˇekud r˚ uzné hodnoty, a senzory je tˇreba pro kaˇzdého zvláˇst’ kalibrovat .

70

ke vzdálenosti pˇrekáˇzky, a v´ ysledek nakonec vydˇel´ıme ˇc´ıslem 70, aby hodnota spadala do intervalu [0, 1], nebo jen m´ırnˇe pˇrevyˇsovala 1. V´ ystupy (akce): Obˇe z robotov´ ych kol se mohou nezávisle na sobˇe pohybovat vpˇred nebo vzad. Agent bude m´ıt v pojet´ı zpˇetnovazebného uˇcen´ı 4 v´ ystupy, z pohledu algoritmu 4 se bude jednat o 4 vstupn´ı neurony pro akce A0 , A1 , A2 , A3 . Pro usnadnˇen´ı uˇcen´ı jsme se rozhodli kódovat zvláˇstn´ım neuronem pohyb kaˇzdého kola vpˇred a vzad. V´ ystup A0 odpov´ıdá pohybu levého kola vpˇred, v´ ystup A1 pohybu levého kola vzad, v´ ystup A2 pohybu pravého kola vpˇred a v´ ystup A3 pohybu pravého kola vzad5 . Robot povoluje rychlost kaˇzdého kola z intervalu [−1000, 1000], kde 1000 oznaˇcuje maximáln´ı rychlost vpˇred, -1000 maximáln´ı rychlost vzad a 0 situaci, kdy je kolo v klidu. My omez´ıme rychlosti obou kol na interval [−500, 500]. Pro rychlost levého kola Speed1 tedy bude platit: Speed1 = 500(yA0 − yA1 )

(5.3)

Podobnˇe pro rychlost Speed2 pravého kola plat´ı: Speed2 = 500(yA2 − yA3 )

(5.4)

Odmˇ ena: Abychom nemuseli v kaˇzdém kroku pos´ılat nˇejak´ ym zp˚ usobem robotu zvnˇejˇsku informaci o tom, jak velkou z´ıskal odmˇenu, byla odmˇen ˇovac´ı funkce navrˇzena tak, aby robot sám byl schopen svoji odmˇenu spoˇc´ıtat. To komplikuje fakt, ˇze robot sám nezná svou pˇresnou polohu v prostˇred´ı. Proto bude, ponˇekud nepˇresnˇe, poˇc´ıtat robot ujetou vzdálenost a detekovat kolizi s pˇrekáˇzkou pouze z hodnot sv´ ych senzor˚ u (Jedná se o tzv. intern´ı ohodnocovac´ı funkci.). Pouˇzit´ y vzorec pro v´ ypoˇcet odmˇeny v ˇcase t bude: µ q ¶ (1) (2) (3) rt = rt · 1 − rt · (1 − rt ), (5.5) kde

|yA0 (t − 1) − yA1 (t − 1)| |yA2 (t − 1) − yA3 (t − 1)| + 2 2 je ˇclen odmˇen ˇuj´ıc´ı za pohyb kol (motivuje robota k pohybu), (1)

rt =

(5.6)

|yA0 (t − 1) − yA1 (t − 1) − yA2 (t − 1) + yA3 (t − 1)| (5.7) 2 je ˇclen penalizuj´ıc´ı pohyb kol proti sobˇe (odrazuje robota od toˇcen´ı se na m´ıstˇe) a µ ¶ |yst0 (t) + yst1 (t) + yst2 (t) + yst3 (t)| (3) rt = min 1, (5.8) 2 (2)

rt =

je ˇclen penalizuj´ıc´ı za aktivaci infraˇcerven´ ych senzor˚ u (odrazuje robota od bourán´ı do pˇrekáˇzek). Povˇsimnˇeme si, ˇze odmˇenu v ˇcase t urˇcujeme z hodnoty stavov´ ych vstup˚ u v ˇcase t (z toho, co momentálnˇe zaznamenávaj´ı senzory) a z hodnoty akˇcn´ıch vstup˚ u z ˇcasu t − 1 (z pˇredchoz´ı agentovy akce). Hodnota odmˇeny je nav´ıc v kaˇzdém kroku podˇelena speciáln´ım koeficientem, jak je uvedeno v následuj´ıc´ı ˇca´sti. Neuronová s´ıt’ pouˇzitá pro ˇr´ızen´ı robota je na obrázku 5.27. 5

Podobnˇe jako v experimentu s dravcem a koˇrist´ı, i zde se osvˇedˇcilo pouˇz´ıt v´ıce v´ ystupn´ıch neuron˚ u. Kdybychom pro kaˇzd´ y z motor˚ u pouˇzili pouze jeden v´ ystupn´ı neuron, agent by se velmi tˇeˇzko uˇcil vykonávat akce, pˇri kter´ ych z˚ ustává jedno z kol nehybné.

71

Obrázek 5.27: Neuronov´ a s´ıt’ pro experiment s robotem. Neuronové s´ıt’ má 4 vstupn´ı neurony pro stav, 4 vstupn´ı neurony pro akci, 8 skrytých neuron˚ u a jeden výstup predikuj´ıc´ı kumulativn´ı odmˇenu.

5.2.2

Specifika u ´ lohy

Popsaná u ´loha je netriviáln´ı a je stejnˇe jako u ´loha popsaná v 5.1 nemarkovská. Nav´ıc, stejnˇe jako pˇredchoz´ı u ´loha i tato vyˇzaduje od algoritmu schopnost nauˇcit se z´ıskávat opoˇzdˇené odmˇeny. Taková situace nastává napˇr´ıklad, pokud se pˇred agentem nacház´ı nˇejaká pˇrekáˇzka, kterou je tˇreba objet. Bˇehem zatáˇcen´ı se totiˇz kola toˇc´ı proti sobˇe, coˇz sniˇzuje agentovu okamˇzitou odmˇenu. Ta pˇrijde ale pozdˇeji, poté co se agentovi podaˇr´ı vzdálit se od pˇrekáˇzky. Uvˇedomme si, ˇze ˇreˇsen´ım takové situace pro robota ˇr´ızeného popsanou s´ıt´ı nen´ı couvat zpˇet. To by sice pˇrineslo odmˇenu okamˇzitˇe (agent se pohybuje a nav´ıc se vzdaluje od pˇrekáˇzky), ale dostává se do stejného stavu, v jakém byl pˇredt´ım, neˇz se dostal do bl´ızkosti pˇrekáˇzky (nemá pamˇet’). V tomto stavu pak vykoná znovu tu stejnou akci a opˇet se dostane do bl´ızkosti pˇrekáˇzky. Takovéto chován´ı, kdy se robot opakovanˇe pˇribliˇzoval k pˇrekáˇzce a opˇet od n´ı vzdaloval, bylo v pr˚ ubˇehu experiment˚ u nˇekolikrát pˇrechodnˇe pozorováno. Ukázalo se také, ˇze tato u ´loha klade vyˇsˇs´ı nároky na explorativn´ı schopnost algoritmu, neˇz u ´loha z ˇca´sti 5.1. Odmˇena v pˇredchoz´ı u ´loze byla typicky opoˇzdˇena nejv´ yˇse o jeden ˇcasov´ y krok, protoˇze agentovi staˇcilo se pohnout o jedno pole, aby naˇsel nov´ y zdroj potravy. Proto k objeven´ı cesty, jak tuto odmˇenu z´ıskat, staˇcilo jen slabé znáhodnˇen´ı agentova chován´ı. Naproti tomu je v této u ´loze nˇekdy tˇreba k tomu, aby se robot vzdálil od pˇrekáˇzky, vykonat delˇs´ı posloupnost krok˚ u, které odmˇenu nepˇrináˇsej´ı. Modifikovan´ y algoritmus je schopen se takovouto posloupnost krok˚ u nauˇcit, ovˇsem pouze v pˇr´ıpadˇe, ˇze bude disponovat dostateˇcnou schopnost´ı prozkoumávat nové moˇznosti. Uvaˇzme pˇr´ıpad, ˇze by algoritmus agentovi tuto schopnost nedával. Potom by se agent dokázal pouze nauˇcit to, ˇze rychl´ y pohyb rovn´ ym smˇerem pˇrináˇs´ı odmˇenu. Snaˇzil by se tedy stále rovnˇe pohybovat a velmi brzo by narazil na pˇrekáˇzku. Jelikoˇz nikdy pˇredt´ım ˇza´dnou pˇrekáˇzku u ´spˇeˇsnˇe neobjel, nemˇel pˇr´ıleˇzitost se nauˇcit, ˇze taková posloupnost akc´ı 72

pˇrinese v budoucnu odmˇenu. Proto se o to ani nepokus´ı. Nastal by tak problém “strachu z neznáma” diskutovan´ y v 4.4.3. V algoritmu bylo provedeno nˇekolik drobn´ ych modifikac´ı, abychom tento problém omezili. Pˇrestoˇze v pˇredchoz´ı u ´loze bylo u ´spˇeˇsnˇejˇs´ı znáhodnˇen´ı ˇc´ıslo 4 popsané v ˇcásti 4.4.3, pouˇzili jsme zde metodu znáhodnˇen´ı 2. Tato metoda dává agentovi vˇetˇs´ı explorativn´ı schopnosti, nebot’ agent obˇcasnˇe vykonává zcela náhodnou akci. Pravdˇepodobnost vykonán´ı náhodné akce byla zv´ yˇsena na 10%. Povolené hodnoty kaˇzdého neuronu pro akci byly 0, 0.5 a 1. Nastavili jsme také pomˇernˇe velkou délku ˇcasového kroku, za kter´ y m˚ uˇze robot zmˇenit rychlost pohybu sv´ ych kol - 256 ms. D´ıky tomu má jeden náhodn´ y tah delˇs´ı u ´ˇcinnost. Aby se nestávalo, ˇze se u ´ˇcinek náhodného otoˇcen´ı na jednu stranu vyruˇs´ı následn´ ym náhodn´ ym otoˇcen´ım robota na opaˇcnou stranu, generujeme pouze takové náhodné akce, pˇri kter´ ych se levé kolo toˇc´ı vpˇred v´ıce neˇz kolo pravé (plat´ı yA0 −yA1 ≥ yA2 −yA3 ). T´ım jsme na jednu stranu omezili agentovu schopnost prozkoumávat d˚ usledky rotace vlevo, na druhou stranu pos´ılili schopnost poznat, jak´ y v´ ysledek pˇrináˇs´ı rotace vpravo. Jelikoˇz otáˇcen´ım vpravo se robot m˚ uˇze dostat do kaˇzdé pozice, do které se lze dostat otáˇcen´ım vlevo, nemˇelo by toto omezen´ı p˚ usobit pˇr´ıliˇsnou u ´jmu. Dalˇs´ı odliˇsnost´ı této u ´lohy oproti u ´loze pˇredchoz´ı je fakt, ˇze tato u ´loha se neskládá z jednotliv´ ych oddˇelen´ ych simulac´ı. Budeme tedy v algoritmu 4 m´ısto vzorc˚ u 4.14 a 4.15 pouˇz´ıvat vzorce 4.18 a 4.19 tak, jak je popsáno na konci ˇca´sti 4.4.2, aby nedosahovala kumulativn´ı odmˇena nekoneˇcn´ ych hodnot. Parametr γ bude m´ıt hodnotu 0.9. Vzorce 4.16 a 4.17 pro posledn´ı uˇc´ıc´ı krok nebudou pouˇzity v˚ ubec. Hodnota okamˇzité odmˇeny bude v kaˇzdém kroku podˇelena ˇc´ıslem 10, aby s´ıt’ nebyla uˇcen´ım nucena vybavovat v´ ystup o hodnotˇe vyˇsˇs´ı neˇz 1.

5.2.3

Pr˚ ubˇ eh experimentu s robotem

Simulace a uˇcen´ı bude prob´ıhat nepˇretrˇzitˇe. Po kaˇzd´ ych 200 kroc´ıch simulace je ˇctvercová pˇrekáˇzka velikosti 20 × 20 cm náhodnˇe pˇrem´ıstˇena (tak, aby nekolidovala s robotem), a robot je náhodnˇe pootoˇcen, ale z˚ ustává na stejném m´ıstˇe. Robota pootáˇc´ıme, abychom zamezili tomu, ˇze v pr˚ ubˇehu uˇcen´ı uv´ızne v nˇejaké pozici (napˇr´ıklad v rohu ohrádky), ze které by se tˇeˇzko dostával. Za kaˇzd´ ych 2000 krok˚ u simulace zmˇeˇr´ıme celkovou z´ıskanou odmˇenu, celkovou ujetou vzdálenost a celkov´ y poˇcet robotov´ ych náraz˚ u. Pouˇzitá neuronová s´ıt’ bude m´ıt jednu skrytou vrstvu o osmi neuronech, nastaven´ı parametr˚ u bylo α = 0.5, λ = 0.75. V´ yvoj experimentu zachycuje obrázek 5.28. Bˇehem prvn´ıho tis´ıce krok˚ u simulace se robot po urˇcitém váhán´ı nauˇcil jezdit rovnˇe maximáln´ı rychlost´ı. Aspektem komplikuj´ıc´ım se nauˇcit pˇr´ımou j´ızdu mohlo b´ yt to, ˇze nˇekter´ y náhodn´ y tah naznaˇcil neuronové s´ıti, ˇze pohyb kupˇredu pˇrináˇs´ı odmˇenu, a jin´ y naopak, ˇze odmˇenu pˇrináˇs´ı pohyb vzad. V´ ysledné u ´pravy vah s´ıtˇe se t´ım mohly ˇca´steˇcnˇe ruˇsit a uˇcen´ı prodlouˇzit. Zaj´ımavé je, ˇze se robot nauˇcil jezdit pozadu. D˚ uvodem je, ˇze robotova intern´ı odmˇen ˇovac´ı funkce 5.5 identifikuje kolizi pomoc´ı aktivac´ı infraˇcerven´ ych senzor˚ u ve ˇclenu 5.8. Jelikoˇz je robot senzory hustˇeji osazen vepˇredu, pocit’oval agent kolize pˇri pohybu zpˇet jako m´ırnˇejˇs´ı trest. Robot se tak pohyboval kupˇredu, dokud nenarazil na stˇenu, podél které klouzal aˇz do rohu ohrádky, kde vˇzdy uv´ızl aˇz do doby, neˇz byl náhodnˇe otoˇcen vnˇejˇs´ım zásahem. Robot sám se jen obˇcas lehce pootoˇcil vpravo (respektive ve smˇeru hodinov´ ych ruˇciˇcek). Preference rotace 73

Obrázek 5.28: Pr˚ ubˇ eh experimentu se simulovan´ ym robotem t´ımto smˇerem je patrnˇe zp˚ usobena t´ım, ˇze náhodné kroky, která s´ıt mohla pozorovat, mˇely vˇzdy rotaci t´ımto smˇerem. Toto chován´ı robotu z˚ ustalo velmi dlouho, cca aˇz do 1.3-miliontého kroku uˇcen´ı. Poté se jeho chován´ı lehce zmˇenilo tak, ˇze stále jezdil plnou rychlost´ı vzad, ale kdyˇz se ocitnul v rohu, otoˇcil se a zam´ıˇril do stˇredu prostoru. Nˇekdy se také dokázal odvrátit od rovné zdi. Na grafu 5.28 je patrné zv´ yˇsen´ı odmˇeny i ujeté vzdálenosti, a naopak sn´ıˇzen´ı poˇctu koliz´ı. K dalˇs´ı zmˇenˇe chován´ı doˇslo po cca 1.46 milionech krok˚ u simulace. Robot se nauˇcil jezdit opatrnˇeji, poloviˇcn´ı rychlost´ı, a po nárazu do pˇrekáˇzky se otoˇcil vpravo a pˇrekáˇzce se vyhnul. Schopnost vyh´ ybat se pˇrekáˇzkám se postupnˇe zdokonalovala aˇz se robot nauˇcil j´ım vyh´ ybat jeˇstˇe pˇred koliz´ı, tak, ˇze couvnul, pˇriˇcemˇz se pootoˇcil ve smˇeru hodinov´ ych ruˇciˇcek. Na grafu 5.28 je tato zmˇena opˇet dobˇre patrná. Koliz´ı ub´ yvá a ujetá vzdálenost ’ z˚ ustává pˇribliˇznˇe stejná, nebot robot se na jednu stranu nezasekává o pˇrekáˇzky, ale na druhou stranu se pohybuje poloviˇcn´ı rychlost´ı. Pozoruhodné ale je, ˇze hodnota z´ıskané odmˇeny poklesla. To je zp˚ usobeno nepˇresnost´ı pouˇzité intern´ı odmˇen ˇovac´ı funkce 5.5, která urˇcuje robotovu rychlost dle nastavené rychlosti kol, a proto nedostateˇcnˇe trestá náraz plnou zpˇetnou rychlost´ı do pˇrekáˇzky. Toto robotovo u ´spˇeˇsné, i kdyˇz pˇr´ıliˇs opatrné chován´ı trvalo pˇribliˇznˇe do 1.6-miliontého kroku. Poté se s´ıt’ dostala do nestabiln´ıho stavu a robotovo chován´ı se velmi rychle mˇenilo. Nˇejak´ y ˇcas se otáˇcel na m´ıstˇe. Po dalˇs´ıch cca 20000 kroc´ıch se zaˇcal rychle pohybovat smˇerem vpˇred pˇriˇcemˇz zpoˇca´tku hodnˇe boural, ale brzy se nauˇcil pˇrekáˇzkám vyh´ ybat rotac´ı vpravo, pozdˇeji opˇet i s mal´ ym couvnut´ım zpˇet. Zaj´ımavé je, ˇze v této dobˇe se robot nˇekdy, pˇredevˇs´ım za nepˇr´ıtomnosti pˇrekáˇzky, stáˇcel i proti smˇeru hodinov´ ych ruˇciˇcek. Poté se znovu zaˇcal chovat promˇenlivˇe. To skonˇcilo po cca 1.68-miliontém kroku, kdy se robot opˇet zaˇcal pohybovat zpˇet, tentokrát plnou rychlost´ı, pˇriˇcemˇz se u ´spˇeˇsnˇe vyh´ ybal koliz´ım s pˇrekáˇzkámi. Naˇsel tedy témˇeˇr ideáln´ı ˇreˇsen´ı. Po pˇribliˇznˇe 1.77-miliontém kroku se robot náhle pˇrestal pohybovat a dále jiˇz nejevil známky uˇcen´ı se. Konfigurace vyv´ıjej´ıc´ı se neuronové s´ıtˇe byly pr˚ ubˇeˇznˇe ukládány a nej´ uspˇeˇsnˇejˇs´ı z nich byly pozdˇeji otestovány na fyzickém robotu e-puck (obrázek 5.29), kde téˇz fungovaly. Robot se i zde dokázal u ´spˇeˇsnˇe vyh´ ybat pˇrekáˇzkám. Na pˇriloˇzeném CD jsou uloˇzeny videa a fotografie experimentu na reálném i simulovaném robotu, pouˇzité zdrojové kódy i vˇsechny historické konfigurace neuronové s´ıtˇe z pr˚ ubˇehu experimentu. 74

Obrázek 5.29: Experiment s fyzick´ ym robotem e-puck - robot se pohybuje ve vymezeném prostoru, pˇriˇcemˇz se u ´spˇeˇsnˇe vyh´ ybá pˇrekáˇzkám.

75

Kapitola 6 Meze zpˇ etnovazebn´ eho uˇ cen´ı V této ˇca´sti (nepˇr´ıliˇs formálnˇe) srovnáme u ´lohu zpˇetnovazebného uˇcen´ı s prohledáván´ım stavového prostoru. D´ıky tomu budeme moci navrhnout urˇcité doporuˇcen´ı pro stanoven´ı vhodné odmˇen ˇovac´ı funkce a také vyvod´ıme nˇekteré obecné závˇery o mez´ıch praktického pouˇzit´ı zpˇetnovazebného uˇcen´ı.

6.1

Zpˇ etnovazebn´ e uˇ cen´ı a stavov´ y prostor

Formalismus zpˇetnovazebného uˇcen´ı má pomˇernˇe bl´ızko k formalismu prohledáván´ı stavového prostoru [10], kter´ y b´ yvá ˇcasto pouˇz´ıván napˇr´ıklad pˇri ˇreˇsen´ı her. Podobnˇe jako vu ´loze zpˇetnovazebného uˇcen´ı (viz ˇca´st 2.1), i zde je dána koneˇcná mnoˇzina stav˚ uS a koneˇcná mnoˇzina akc´ı (operátor˚ u) A, z nichˇz kaˇzdá je parciáln´ım zobrazen´ım z mnoˇziny stav˚ u S do mnoˇziny stav˚ u S. Tedy, podobnˇe jako pˇri zpˇetnovazebném uˇcen´ı, akce vede z jednoho stavu do druhého stavu, pˇriˇcemˇz ne vˇsechny akce mus´ı b´ yt aplikovatelné v kaˇzdém stavu. Dále je dán poˇcáteˇcn´ı stav ∫0 a mnoˇzina koncov´ ych stav˚ u Z ⊆ A. C´ılem u ´lohy je naj´ıt posloupnost akc´ı vedouc´ı ze stavu ∫0 do libovolného z koncov´ ych stav˚ u, pˇr´ıpadnˇe naj´ıt nejkratˇs´ı takovou posloupnost akc´ı. ´ Ulohu prohledáván´ı stavového prostoru lze pˇr´ımoˇcaˇre pˇrevést na u ´lohu zpˇetnovazebného uˇcen´ı. Mnoˇzina stav˚ u, mnoˇzina akc´ı i poˇca´teˇcn´ı stav z˚ ustane beze zmˇeny a odmˇen ˇovac´ı funkci definujeme takto: ½ 1 : s ∈Z r(s) = (6.1) −1 : s 6∈ Z Maximalizac´ı z´ıskané kumulativn´ı odmˇeny bychom pak donutili agenta, aby co nejkratˇs´ı cestou dorazil do koncového stavu, a pˇrestal tak z´ıskávat záporné odmˇeny. Povˇsimnˇeme si, ˇze v obecném pˇr´ıpadˇe je u ´loha zpˇetnovazebného uˇcen´ı tak, jak jsme ji definovali v 2.1, sloˇzitˇejˇs´ı, neˇz u ´loha prohledáván´ı stavového prostoru. V pˇr´ıpadˇe prohledáván´ı stavového prostoru máme zaruˇcenu koneˇcnost mnoˇziny stav˚ u i mnoˇziny akc´ı. Prostˇred´ı se chová deterministicky, markovsky a nav´ıc zákony jeho dynamiky jsou pˇresnˇe známé (Agent se nemus´ı uˇcit, jaké maj´ı jeho akce dopad na prostˇred´ı.). V pˇr´ıpadˇe prohledáván´ı stavového ´ prostoru pˇredpokládáme typicky offline uˇcen´ı. Uloha prohledáván´ı stavového prostoru je vyˇreˇsena, kdyˇz je dosaˇzen c´ılov´ y stav, zat´ımco pˇri zpˇetnovazebném uˇcen´ı nemus´ı koncov´ y 76

stav existovat a ˇcinnost agenta nemus´ı b´ yt ˇcasovˇe omezená. Tyto pˇredpoklady umoˇzn ˇuj´ı k ˇreˇsen´ı u ´lohy prohledáván´ı stavového prostoru pouˇz´ıvat algoritmy, jako je napˇr´ıklad prohledáván´ı do hloubky (backtracking) nebo prohledáván´ı do ˇs´ıˇrky. Lze tedy ˇr´ıci, ˇze prohledáván´ı stavového prostoru je speciáln´ım pˇr´ıpadem u ´lohy ´ zpˇetnovazebného uˇcen´ı. Ulohu prohledáván´ı stavového prostoru um´ıme v obecném pˇr´ıpadˇe pomoc´ı prohledávac´ıch algoritm˚ u ˇreˇsit, to ale m˚ uˇze b´ yt prakticky nesch˚ udné v pˇr´ıpadˇe ´ pˇr´ıliˇs velké mnoˇziny S. Uloha zpˇetnovazebného uˇcen´ı je v obecném pˇr´ıpadˇe jeˇstˇe sloˇzitˇejˇs´ı a napˇr´ıklad pro nekoneˇcnˇe velkou mnoˇzinu S nemus´ıme b´ yt v˚ ubec schopni nalézt takovou strategii, aby agent dosáhnul maximáln´ı odmˇeny. Pˇr´ıstup zpˇetnovazebného uˇcen´ı se ale oproti prohledáván´ı stavového prostoru liˇs´ı i v tom, ˇze ˇcasto netrváme na nalezen´ı optimáln´ıho ˇreˇsen´ı - strategie která agentovi z´ıská maximáln´ı kumulativn´ı odmˇenu, ale spokoj´ıme se s ˇreˇsen´ım suboptimáln´ım - strategi´ı, která z´ıská “dostateˇcnˇe velkou” kumulativn´ı odmˇenu. Pˇrestoˇze u ´loha zpˇetnovazebného uˇcen´ı je v obecném pˇr´ıpadˇe efektivnˇe neˇreˇsitelná, u ´lohy, se kter´ ymi se setkáme v praxi, nemus´ı b´ yt takto sloˇzité. Faktory, které mohou ˇreˇsen´ı u ´lohy usnadnit, jsou pˇredevˇs´ım: 1. Pouˇzit´ y zp˚ usob odmˇen ˇován´ı 2. Sloˇzitost pravidel dynamiky prostˇred´ı Tyto faktory jsou rozebrány v následuj´ıc´ıch dvou ˇca´stech.

6.2

Jak stanovit odmˇ enu

Dle naˇs´ı definice u ´lohy zpˇetnovazebného uˇcen´ı je jiˇz mechanismus odmˇen ˇován´ı pevnˇe souˇca´st´ı zadán´ı. V reálné situaci vˇsak obvykle mámˇe nˇejak´ y c´ıl, kterého chceme dosáhnout, a pro tento u ´ˇcel se snaˇz´ıme odmˇen ˇovac´ı funkci nadefinovat co nejvhodnˇeji tak, aby se maximalizac´ı celkové odmˇeny agent bl´ıˇzil dosaˇzen´ı c´ıle. Takto napˇr´ıklad v ˇca´sti 5.1 bylo naˇs´ım c´ılem, aby agent v roli koˇristi pˇreˇzil co nejdéle, a v ˇca´sti 5.2, aby se robot rychle pohyboval, aniˇz by naráˇzel do pˇrekáˇzek. Odmˇen ˇovac´ı funkci jsme zkouˇseli definovat tak, aby agenta vedla k dosaˇzen´ı tohoto c´ıle. Jin´ ym pˇr´ıkladem jsou ˇzivoˇcichové, kteˇr´ı se zˇrejmˇe v biologické evoluci vyvinuli tak, ˇze jejich c´ılem je pˇreˇzit´ı a reprodukce, a jejich mozky je odmˇen ˇuj´ı za akce, které k tomuto c´ıli vedou. Vhodná definice odmˇen ˇovac´ıho mechanismu je zásadn´ım faktorem ovlivˇ nuj´ıc´ım, zda pouˇzit´ı zpˇetnovazebného uˇcen´ı bude u ´spˇeˇsné. Pˇresto této problematice neb´ yvá v literatuˇre vˇenováno pˇr´ıliˇs pozornosti. Pˇredpokládejme opˇet, ˇze u ´lohu máme zadánu ve formˇe prohledáván´ı stavového prostoru. Dána je mnoˇzina stav˚ u S, mnoˇzina akc´ı A, poˇca´teˇcn´ı stav ∫o a mnoˇzina koncov´ ych stav˚ u Z. Prostˇred´ı je tedy deterministické, markovské, jeho dynamika je známá a poˇcet moˇzn´ ych stav˚ u a akc´ı je koneˇcn´ y. V pˇredchoz´ı ˇca´sti definujeme formul´ı 6.1 jednu moˇznou variantu odmˇen ˇován´ı, která, pokud bude odpov´ıdaj´ıc´ı u ´loha zpˇetnovazebného uˇcen´ı optimálnˇe vyˇreˇsena, povede téˇz k vyˇreˇsen´ı p˚ uvodn´ıho problému prohledáván´ı stavového prostoru. Navrhovaná odmˇen ˇovac´ı funkce ale agentovi neposkytuje ˇzádnou uˇziteˇcnou informaci o tom, zda jeho jednotlivé akce vedou k c´ıli ˇci nikoliv. Pouze ho informuje o jeho 77

u ´spˇechu aˇz v pˇr´ıpadˇe nalezen´ı ˇreˇsen´ı. K tomu m˚ uˇze vést ale velmi dlouhá sekvence agentov´ ych akc´ı, kterou m˚ uˇze b´ yt tˇeˇzké nalézt. To bude klást pˇr´ıliˇs vysoké nároky na pouˇzit´ y algoritmus zpˇetnovazebného uˇcen´ı, kter´ y se bude muset pot´ ykat s velmi komplikovan´ ym problémem opoˇzdˇen´ ych odmˇen popsan´ ym v 4.2. Vhodnou u ´pravou odmˇen ˇovac´ı funkce m˚ uˇze b´ yt ale moˇzné tento problém omezit aˇz eliminovat. Pˇredpokládejme, ˇze pouˇz´ıváme algoritmus zpˇetnovazebného uˇcen´ı, kter´ y v kaˇzdém 1 kroku vyb´ırá tu akci, která pˇrinese nejvyˇsˇs´ı okamˇzitou odmˇenu . Tento algoritmus nazvˇeme hladov´ ym. D´ıky uveden´ ym pˇredpoklad˚ um na vlastnosti prostˇred´ı nebude tˇeˇzké hladov´ y algoritmus implementovat. Hladov´ y algoritmus je primitivn´ı v tom smyslu, ˇze nedává agentovi v˚ ubec ˇzádnou schopnost z´ıskávat opoˇzdˇené odmˇeny. Pokud by byl pouˇzit s odmˇenou 6.1, v´ ysledky by byly velmi ˇspatné. Pˇresto je hypoteticky moˇzné zvolit odmˇen ˇovac´ı funkci r tak, aby tento algoritmus dokázal u ´lohu optimálnˇe ˇreˇsit. Pro ∫ ∈ S definujme D(∫ ) jako nejniˇzˇs´ı moˇzn´ y poˇcet akc´ı vedouc´ı ze stavu ∫ do libovolného koncového stavu. Pokud neexistuje cesta z ∫ do ˇzádného koncového stavu, poloˇz´ıme D(∫ ) = ∞ (nebo dostateˇcnˇe vysoké reálné ˇc´ıslo). Odmˇen ˇovac´ı funkci potom definujeme takto: r(∫ ) = −D(∫ )

(6.2)

Je zˇrejmé, ˇze pˇri takovéto odmˇen ˇovac´ı funkci najde hladov´ y algoritmus strategii, která maximalizuje kumulativn´ı odmˇenu, a t´ım také najde nejkratˇs´ı posloupnost akc´ı vedouc´ı z poˇca´teˇcn´ıho do koncového stavu pro odpov´ıdaj´ıc´ı u ´lohu prohledáván´ı stavového prostoru. Abychom dosáhli pˇrirozeného vztahu, ˇze hodnota dosud z´ıskané kumulativn´ı odmˇeny bude pˇr´ımo u ´mˇerná (s koeficientem -1) vzdálenosti, která zb´ yvá k dosaˇzen´ı c´ıle v odpov´ıdaj´ıc´ı u ´loze prohledáván´ı stavového prostoru, a zároveˇ n zaruˇcili dalˇs´ı pˇr´ıjemnou vlastnost, ˇze hodnota okamˇzité odmˇeny v pr˚ ubˇehu ˇcinnosti hladového algoritmu neustále neporoste, ale bude rovna jedné, uprav´ıme 6.2 na: r(∫t ) = D(∫t−1 ) − D(∫t ) = −∆D(∫t )

(6.3)

Okamˇzitá odmˇena tak bude odpov´ıdat u ´bytku vzdálenosti od nejbliˇzˇs´ıho koncového stavu 2 3 v prostoru stav˚ u . Pˇri takovéto odmˇen ˇovac´ı funkci bude hladov´ y algoritmus fungovat stejnˇe dobˇre jako pˇri odmˇen ˇovac´ı funkci 6.2. Uvˇedomme si, ˇze v tomto pˇr´ıpadˇe ale nen´ı okamˇzitá odmˇena funkc´ı stavu, ale pˇrechodu mezi stavy (viz poznámka 2 z ˇcásti 2.1). D´ıky tomu, ˇze pˇri dan´ ych pˇredpokladech a odmˇen ˇovac´ı funkci 6.2, respektive 6.3 dosahuje optimáln´ıch v´ ysledk˚ u i nejprimitivnˇejˇs´ı hladov´ y algoritmus, lze tyto odmˇen ˇovac´ı funkce povaˇzovat za ideáln´ı. Odmˇen ˇovac´ı funkce 6.2 a 6.3 jsou narozd´ıl od odmˇen ˇovac´ı funkce 6.1 definovány tak, ˇze okamˇzitá odmˇena také velmi dobˇre agentovi napov´ıdá, jak z´ıskat maximáln´ı kumulativn´ı odmˇenu. Lze oˇcekávat, ˇze i pro takové u ´lohy zpˇetnovazebného uˇcen´ı, které nebyly 1 Pouˇzit´ı tohoto algoritmu pˇr´ı ˇreˇsen´ı u ´lohy zpˇetnovazebného uˇcen´ı odvozené z u ´lohy prohledáván´ı stavového prostoru s odmˇen ˇovac´ı funkc´ı r bude analogické pouˇzit´ı tzv. hill-climbing algoritmu[10] na p˚ uvodn´ı u ´loze prohledáván´ı stavového prostoru pouˇz´ıvaj´ıc´ı r coby hodnot´ıc´ı funkci stav˚ u. 2 Uveden´ a odmˇen ˇovac´ı funkce tedy neodmˇen ˇuje za dosaˇzen´ y stav ale za zlepˇsen´ı. Tuto situaci lze volnˇe pˇripodobnit k ˇclovˇeku, kter´ y nemá potˇeˇsen´ı z toho, co má, a smutek z toho, co nemá, ale potˇeˇsen´ı z toho, co z´ıskal, a smutek z toho, co ztratil. 3 Pokud bychom uvaˇzovali spojit´ y ˇcas, okamˇzitá odmˇena by byla derivac´ı kumulativn´ı odmˇeny podle ∂D(∫ ) ˇcasu a psali bychom r(∫t ) = − ∂t .

78

odvozeny od prohledáván´ı stavového prostoru, a pˇri pouˇzit´ı jiného neˇz hladového algoritmu budou v´ ysledky pro odmˇen ˇovac´ı funkce s touto vlastnost´ı lepˇs´ı. Odmˇen ˇovac´ı funkce s touto vlastnost´ı agentovi v pˇr´ıpadˇe, ˇze mu dynamika svˇeta nen´ı pˇredem známa, usnadn´ı postupné zdokonalován´ı. Lze tedy v tomto smyslu hovoˇrit o urˇcité kvalitˇe odmˇen ˇovac´ı funkce. Tento princip podporuj´ı téˇz experimenty s r˚ uzn´ ymi odmˇen ˇovac´ımi funkcemi popsané v ˇcásti 5.1. V´ ysledky experiment˚ u pˇri pouˇzit´ı tamtéˇz popsané odmˇen ˇovac´ı funkce 1 dokládaj´ı, ˇze tato odmˇen ˇovac´ı funkce nen´ı kvalitn´ı (Je to obdoba zde popsané odmˇen ˇovac´ı funkce 6.1.), nebot’ u ´spˇeˇsnost pˇri pouˇzit´ı této odmˇen ˇovac´ı funkce byla vˇzdy n´ızká. Naproti tomu s odmˇen ˇovac´ımi funkcemi 2 a 3 byly dosaˇzeny podstatnˇe lepˇs´ı v´ ysledky, pˇriˇcemˇz v nˇekter´ ych pˇr´ıpadech byla v´ yhodnˇejˇs´ı odmˇena ˇc´ıslo 2 a v jin´ ych naopak odmˇena ˇc´ıslo 3. Ménˇe kvalitn´ı odmˇen ˇovac´ı funkce klade vyˇsˇs´ı nároky na schopnost pouˇzitého algoritmu zpˇetnovazebného uˇcen´ı z´ıskávat opoˇzdˇené odmˇeny. Pokud bychom m´ısto hladového algoritmu napˇr´ıklad pouˇzili takov´ y algoritmus, pˇri kterém agent vˇzdy vykoná dvojici po sobˇe následuj´ıc´ıch akc´ı, které v souˇctu pˇrinesou nejvyˇsˇs´ı moˇznou odmˇenu ze vˇsech moˇzn´ ych dvojic akc´ı provediteln´ ych v daném stavu, pravdˇepodobnˇe by k dosaˇzen´ı stejnˇe dobr´ ych v´ ysledk˚ u staˇcila ménˇe kvalitn´ı odmˇena. Kdybychom pouˇzili algoritmus TD(λ) popisovan´ y v 4.4, staˇcila by nám pravdˇepodobnˇe i ménˇe kvalitn´ı odmˇen ˇovac´ı funkce. Návrh kvalitnˇejˇs´ı odmˇen ˇovac´ı funkce vˇsak vyˇzaduje od jej´ıho tv˚ urce vyˇsˇs´ı znalost ˇreˇsené u ´lohy. Proto nebude obvykle v praxi moˇzné definovat odmˇen ˇovac´ı funkci tak, aby i hladov´ y algoritmus dosahoval optimáln´ıch v´ ysledk˚ u tak, jako tomu je u odmˇen ˇovac´ı funkce 6.3. Jedná se tedy o urˇcit´ y kompromis mezi kvalitou odmˇen ˇovac´ı funkce a nároky na algoritmus zpˇetnovazebného uˇcen´ı, kter´ y je tˇreba hledat zvláˇst’ pro kaˇzdou konkrétn´ı u ´lohu.

6.3

Sloˇ zitost dynamiky prostˇ red´ı

Druh´ ym faktorem, kter´ y má zásadn´ı dopad na sloˇzitost ˇreˇsen´ı urˇcité u ´lohy zpˇetnovazebného uˇcen´ı, je sloˇzitost zákon˚ u, kter´ ymi se ˇr´ıd´ı prostˇred´ı. V pˇredchoz´ı ˇcásti jsme naznaˇcili, ˇze pˇri kvalitn´ı odmˇen ˇovac´ı funkci m˚ uˇze k ˇreˇsen´ı u ´lohy staˇcit pomˇernˇe jednoduch´ y algoritmus. K tomu jsme ale pˇredpokládali, ˇze prostˇred´ı je koneˇcné a chová se deterministicky, markovsky, a ˇze máme dánu u ´plnou znalost o tom, jak se toto prostˇred´ı chová. Ve mnoha u ´lohách zpˇetnovazebného uˇcen´ı, napˇr´ıklad v u ´lohách robotiky, tyto pˇredpoklady ale splnˇeny nejsou. V takové situaci mohou b´ yt velmi uˇziteˇcné právˇe neuronové s´ıtˇe. V ˇcásti 4.3 se zab´ yváme moˇznostmi, jak lze neuronovou s´ıt’ nauˇcit kompaktnˇe reprezentovat zákonitosti prostˇred´ı. I tyto moˇznosti ale maj´ı své meze. Pˇri vymezen´ı u ´loh zpˇetnovazebného uˇcen´ı jsme pˇripustili prostˇred´ı, která se mohou ˇr´ıdit zcela jak´ ymikoli zákonitostmi, tedy i taková prostˇred´ı, jejichˇz reprezentaci nedokáˇzeme ˇza´dn´ ym algoritmem neuronovou s´ıt’ efektivnˇe nauˇcit. Nav´ıc, jak bylo dokázáno v 4.3.2, i pˇri dané s´ıti, která dokonale predikuje okamˇzitou odmˇenu, je nalezen´ı akce, která ji maximalizuje, obecnˇe NP-tˇeˇzké. Je tedy velice pravdˇepodobné, ˇze existuj´ı natolik sloˇzité u ´lohy zpˇetnovazebného uˇcen´ı, ˇze je prakticky ˇreˇsit nedokáˇzeme. Napˇr´ıklad lidské bytosti jsou ale schopny v pr˚ ubˇehu ˇzivota pochopit pomˇernˇe sloˇzité pˇr´ırodn´ı zákony a vyuˇz´ıvat je k tvorbˇe komplikovan´ ych plán˚ u akc´ı a lze pˇredpokládat, ˇze podstatná ˇca´st tohoto uˇcen´ı se odehrává procesem podobn´ ym zpˇetnovazebného uˇcen´ı. Známé filosofické pravidlo Occamovy bˇritvy ˇr´ıká, ˇze bychom mˇeli dávat pˇrednost tomu nejjednoduˇsˇs´ımu vysvˇetlen´ı pozorovan´ ych jev˚ u. Jin´ ymi slovy, dynamika prostˇred´ı, se kter´ ymi 79

se v praxi budeme setkávat, m˚ uˇze b´ yt ˇcasto jednoduˇsˇs´ı, neˇz v obecném pˇr´ıpadˇe. Proto lze oˇcekávat, ˇze pˇri u ´lohách z reálného svˇeta dokáˇz´ı umˇelé neuronové s´ıtˇe se svoj´ı schopnost´ı generalizace vytvoˇrit pouˇziteln´ y model reprezentuj´ıc´ı zákonitosti prostˇred´ı. Tento model je moˇzné vyuˇz´ıt k naplánován´ı akc´ı, které povedou k z´ıskán´ı i do jisté m´ıry opoˇzdˇen´ ych odmˇen. Sp´ıˇse neˇz s ˇreˇsen´ım pˇrináˇsej´ıc´ım maximáln´ı kumulativn´ı odmˇenu se ale v pˇr´ıpadˇe komplikovan´ ych u ´loh budeme muset spokojit se strategi´ı, která pˇrinese “dostateˇcnˇe vysokou” kumulativn´ı odmˇenu, tedy se suboptimáln´ım ˇreˇsen´ım. Je tˇreba uváˇzit, ˇze pokud lidské bytosti pouˇz´ıvaj´ı ke svému uˇcen´ı nˇejak´ y druh algoritmu zpˇetnovazebného uˇcen´ı, tento algoritmus se musel vyv´ıjet v evoluci miliony let. Kdyby existoval nˇejak´ y jednoduch´ y algoritmus, kter´ y by byl pouˇziteln´ y pro inteligentn´ı ˇreˇsen´ı problém˚ u reálného svˇeta, zrodily by se v evoluci pravdˇepodobnˇe inteligentn´ı ˇzivoˇcichové mnohem dˇr´ıve. Nav´ıc chován´ı lid´ı stejnˇe jako ostatn´ıch ˇzivoˇcich˚ u z velké ˇca´sti urˇcuj´ı téˇz vrozené vzorce chován´ı. Pˇrehnaná oˇcekáván´ı moˇznost´ı ˇreˇsit komplikované problémy vyˇzaduj´ıc´ı inteligentn´ı uvaˇzován´ı a tvorbu plán˚ u pouze pomoc´ı vhodného algoritmu zpˇetnovazebného uˇcen´ı tedy nejsou na m´ıstˇe. V tomto ohledu je ale velmi zaj´ımavá moˇznost kombinace zpˇetnovazebného uˇcen´ı s evoluˇcn´ımi algoritmy.

80

Kapitola 7 Z´ avˇ er Vu ´vodu této práce byl vymezen pˇr´ıstup zpˇetnovazebného uˇcen´ı a naznaˇcen moˇzn´ y pˇr´ınos metody zpˇetnovazebného uˇcen´ı k ˇreˇsen´ı reáln´ ych problém˚ u. Byly formálnˇe definovány pojmy pouˇz´ıvané v oblasti zpˇetnovazebného uˇcen´ı a téˇz zavedeny definice t´ ykaj´ıc´ı se neuronov´ ych s´ıt´ı. Popsali jsme odliˇsnosti klasické neuronové s´ıtˇe pro uˇcen´ı s uˇcitelem a neuronové s´ıtˇe urˇcené pro zpˇetnovazebné uˇcen´ı. Diskutován byl pˇr´ınos neuronov´ ych s´ıt´ı modeluj´ıc´ıch zákony prostˇred´ı a bylo téˇz formálnˇe dokázáno, ˇze pro danou s´ıt’ prahov´ ych hodnot modeluj´ıc´ı odmˇenu je nalezen´ı akce maximalizuj´ıc´ı tuto odmˇenu NP-´ upln´ y problém. Poté byly detailnˇe popsány tˇri konkrétn´ı vybrané modely neuronové s´ıtˇe. Prvn´ı z nich je pomˇernˇe primitivn´ı neuronová s´ıt’ zdokonaluj´ıc´ı se vhodn´ ymi náhodn´ ymi zmˇenami, která byla autorem navrhnuta sp´ıˇse jen pro demonstraˇcn´ı u ´ˇcely. Druh´ ym z model˚ u je námi navrˇzená modifikace Suttonova algoritmu TD(λ), která u ´spˇeˇsnˇe rozˇsiˇruje doménu pouˇzit´ı p˚ uvodn´ıho algoritmu i na nemarkovská nedeterministická prostˇred´ı s agentovi neznámou dynamikou a potenciálnˇe nekoneˇcnou mnoˇzinou moˇzn´ ych stav˚ u a akc´ı. Posledn´ım po’ psan´ ym modelem byla dvojitá rekurentn´ı s´ıt Juergena Schmidhubera, která narozd´ıl od pˇredchoz´ıch poskytuje agentovi pamˇet’. Vˇsechny uvedené modely byly porovnány pomoc´ı experimentu se simulátorem dravce a koˇristi, nej´ uspˇeˇsnˇejˇs´ı z nich - modifikované TD(λ) bylo téˇz otestováno v robotickém experimentu pomoc´ı simulátoru Webots, nejprve na simulovaném, poté na fyzickém robotu e-puck. Experimenty prokázaly vhodnost pˇr´ıstupu zpˇetnovazebného uˇcen´ı k ˇreˇsen´ı nˇekter´ ych sloˇzit´ ych u ´loh umˇelé inteligence. Experimenty potvrdily, ˇze velmi zásadn´ım kriteriem u ´spˇeˇsnosti algoritmu v pˇr´ıpadˇe sloˇzitˇejˇs´ıch u ´loh je jeho schopnost z´ıskávat opoˇzdˇené odmˇeny, tedy odmˇeny, které agent z´ıská teprve aˇz s urˇcit´ ym ˇcasov´ ym odstupem od vykonán´ı prvn´ı z akc´ı, která zp˚ usobuje z´ıskán´ı této odmˇeny. Ukázalo se, jak d˚ uleˇzité je v tomto ohledu vybavit algoritmus schopnost´ı explorace, tj. schopnost´ı vykonávat dosud nevyzkouˇsené sekvence akc´ı. Dále experimenty potvrdily, ˇze vhodn´ y zp˚ usob odmˇen ˇován´ı m˚ uˇze tento problém velmi usnadnit. V neposledn´ı ˇradˇe také experimenty naznaˇcily, ˇze ˇreˇsen´ı problému m˚ uˇze b´ yt usnadnˇeno vhodn´ ym kódován´ım agentov´ ych vstup˚ u a v´ ystup˚ u. Nakonec byl porovnán pˇr´ıstup zpˇetnovazebného uˇcen´ı s pˇr´ıstupem prohledáván´ı stavového prostoru. Z tohoto srovnán´ı byla vyvozena urˇcitá doporuˇcen´ı vhodného zp˚ usobu odmˇen ˇován´ı a nˇekteré spekulativn´ı závˇery o mez´ıch pouˇzit´ı zpˇetnovazebného uˇcen´ı na reálné u ´lohy. Popisované modely neuronov´ ych s´ıt´ı nejsou zcela biologicky opodstatnˇené a netvrd´ıme, ˇze tyto konkrétn´ı procesy prob´ıhaj´ı v nervové soustavˇe ˇziv´ ych organism˚ u. Ani modifiko81

van´ y algoritmus TD(λ), ani Schmidhuber˚ uv algoritmus pro rekurentn´ı s´ıt’ nejsou lokáln´ı v prostoru, speciálnˇe k uˇcen´ı pouˇz´ıvaj´ı v´ ypoˇcet parciáln´ıch derivac´ı. Nen´ı pravdˇepodobné, ˇze by takové v´ ypoˇcty prob´ıhaly v nervové soustavˇe ˇziv´ ych organism˚ u. Dalˇs´ım rozd´ılem oproti ˇcinnosti nervové soustavy vyˇsˇs´ıch ˇzivoˇcich˚ u je to, ˇze námi popsané neuronové s´ıtˇe maj´ı speciáln´ı a pevnou architekturu, zat´ımco architektura pˇrirozen´ ych neuronov´ ych s´ıt´ı je velmi komplikovaná a promˇenlivá - dovoluje vznik a zánik nov´ ych synaps´ı i neuron˚ u v pr˚ ubˇehu ˇzivota. Otázkou je, zda a pˇr´ıpadnˇe jak by tyto odliˇsnosti zmˇenily v´ ypoˇcetn´ı schopnosti umˇel´ ych neuronov´ ych s´ıt´ı. Lze oˇcekávat, ˇze bychom mohli dosáhnout jeˇstˇe lepˇs´ıch v´ ysledk˚ u zkombinován´ım v´ yhod dvou popsan´ ych algoritm˚ u - schopnosti algoritmu TD(λ) pˇredv´ıdat opoˇzdˇené odmˇeny a pamˇeti Schmidhuberovy rekurentn´ı s´ıtˇe. Zde popisované algoritmy jsou jen v´ ybˇerem z mnoha moˇzn´ ych technik, jak lze aplikoˇ vat neuronové s´ıtˇe ve zpˇetnovazebném uˇcen´ı. Rada dalˇs´ıch, které by mohly b´ yt v tomto smˇeru pˇr´ınosné, je jiˇz mimo rozsah této práce. Mezi jin´ ymi jsou to napˇr´ıklad r˚ uzné kompetiˇcn´ı s´ıtˇe inspirované teori´ı neuráln´ıho darwinismu G. Edelmana[4] nebo Schmidhuberova Long Short-Term Memory[5], která u ´dajnˇe dosahuje velmi dobr´ ych v´ ysledk˚ u pˇri sledován´ı opoˇzdˇen´ ych odmˇen. Dále zm´ın´ıme Suttonovo Adaptive Heuristic Critics[1], s´ıtˇe s tzv. spiking neurony a pˇredevˇs´ım r˚ uzné moˇznosti kombinace neuronov´ ych s´ıt´ı s genetick´ ymi algoritmy[6]. Genetické algoritmy mohou b´ yt napˇr´ıklad pouˇzity k v´ yvoji vhodné odmˇen ˇovac´ı funkce, architektury s´ıtˇe, nebo k ˇca´steˇcnému nauˇcen´ı s´ıtˇe, která bude douˇcena pomoc´ı zpˇetnovazebného uˇcen´ı.

82

Seznam obr´ azk˚ u 3.1

Obecná neuronová s´ıt’ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

3.2

Vrstevnatá neuronová s´ıt’ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3.3

Problém lokáln´ıho minima . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

4.1

Odstranˇen´ı neuron˚ u pro stav z modelu . . . . . . . . . . . . . . . . . . . . 26

4.2

Pˇr´ıklad s´ıtˇe rozhoduj´ıc´ı problém 3-SAT . . . . . . . . . . . . . . . . . . . . 29

4.3

Munroova s´ıt’ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

4.4

Hra Backgammon. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

4.5

Schmidhuberova rekurentn´ı s´ıt’ . . . . . . . . . . . . . . . . . . . . . . . . . 43

5.1

Testy 1, 2, 3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

5.2

Testy 4, 5, 6. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

5.3

Testy 2, 7, 9, 11. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

5.4

Testy 3, 8, 10, 12. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

5.5

S´ıt’ uˇcená algoritmem 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

5.6

Testy 4, 13, 14. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

5.7

Testy 2, 11, 15, 16. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

5.8

Testy 4, 5, 17. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

5.9

Testy 18, 19, 20. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

5.10 Testy 21, 22, 23. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 5.11 Testy 22, 25. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 5.12 Testy 23, 26. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 5.13 Testy 21, 24, 27. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 5.14 S´ıt’ uˇcená algoritmem 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 5.15 Testy 21, 24, 28, 29. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 5.16 Testy 21, 30, 31, 32, 33. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 83

5.17 Schmidhuberova s´ıt’ pro u ´lohu dravce a koˇristi. . . . . . . . . . . . . . . . . 62 5.18 Testy 34. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 5.19 Testy 35, 36, 37, 38. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 5.20 Testy 36, 38, 39. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 5.21 Testy 36, 40, 41. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 5.22 Testy 36, 42, 43, 44. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 5.23 S´ıt’ nauˇcená algoritmem 5 . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 5.24 Srovnán´ı algoritm˚ u 3, 4, 5 . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 5.25 Infraˇcervené senzory e-pucku . . . . . . . . . . . . . . . . . . . . . . . . . . 69 5.26 Experiment s robotem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 5.27 Neuronová s´ıt’ pro experiment s robotem . . . . . . . . . . . . . . . . . . . 72 5.28 Pr˚ ubˇeh experimentu se simulovan´ ym robotem . . . . . . . . . . . . . . . . 74 5.29 Experiment s fyzick´ ym robotem . . . . . . . . . . . . . . . . . . . . . . . . 75

84

Seznam tabulek 5.1

Testy algoritm˚ u 2 a 3 s náhodnou inicializac´ı . . . . . . . . . . . . . . . . . 55

5.2

Testy algoritm˚ u 2 a 3 s pˇrednastaven´ım . . . . . . . . . . . . . . . . . . . . 55

5.3

Testy algoritmu 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

5.4

Testy algoritmu 5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

5.5

Srovnán´ı algoritm˚ u 3, 4, 5 . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

85

Literatura [1] Barto A. G., Sutton R. S., Anderson C. W. (1983): Neuronlike elements that can solve difficult learning control problems. IEEE Transactions on Systems Man and Cybernetics 13, 834-846. [2] Bertsekas D. P., Tsitsiklis J. N. (1995): Neuro-Dynamic Programming: An overview. Proceedings of the 34th IEEE Conference on Decision and Control , 560-564. [3] Civ´ın L. (2006): Vrstevnaté neuronové s´ıtˇe a jejich aplikace pˇri dob´ yván´ı znalost´ı. Diplomová práce, Matematicko-fyzikáln´ı fakulta Univerzity Karlovy v Praze. [4] Edelman G. M. (1978): The mindful brain. VB Mountcastle, MIT. [5] Hochreiter J., Schmidhuber J. (1997): Long Short-Term Memory. Neural Computation, 9(8), 1735-1780. [6] Holland J. H. (1975): Adaptation in Natural and Artificial Systems. University of Michigan Press, Ann Arbor. [7] Hornik K., Stinchcombe M., White H. (1989): Multilayer feedforward networks are universal approximators. Neural Networks 2, 359-366. [8] Hutter M. (2001): General loss bounds for universal sequence prediction. Proceedings of the 18th International Conference on Machine Learning (ICML-2001). [9] Judd J. S. (1988): Neural Network Design and the Complexity of Learning. Dissertation, Computer Science Department, California Institute of Technology, USA. ˇ epánková O., Laˇzansk´ [10] Maˇr´ık V., Stˇ y J. (1993): Umˇelá inteligence (1), kapitola 2. Praha, Academia. [11] Munro P. W. (1987): A dual back-propagation scheme for scalar reinforcement learning. Proceedings of the Ninth Annual Conference of the Cognitive Science Society, Seatle, WA. [12] Robinson A. J., Fallside F. (1987): Static and dynamic error propagation networks with application to speech encoding. Proceedings of Neural Information Processing Systems, American Institute of Physics. [13] Rumelhart D. E., Hinton G. E., Williams R. J. (1986): Learning internal representations by error propagation. Parallel Distributed Processing: Explorations in the Microstructure of cognition, volume I, 318-362. 86

[14] Schmidhuber J. H. (1989): A Local Learning Algorithm for Dynamic Feedforward and Recurrent Networks. Connection Science, 1(4), 403-412. [15] Schmidhuber J. H. (1990): Making the world differentiable: On using supervised learning fully recurrent neural networks for dynamic reinforcement learning and planning in non-stationary environments. Technical Report FKI-126-90 (revised), Insitut f¨ ur Informatik, Technische Universität M¨ unchen. [16] Schmidhuber J. H. (1991): A possibility for implementing curiosity and boredom in model-building neural controllers. Proceedings of the International Conference on Simulation of Adaptive Behavior: From Animals to Animats 222-227, MIT Press/Bradford Books. [17] Schultz W., Dayan P., Montague P. (1997): A neural substrate of prediction and reward. Science 275 , 1593-1599. [18] Sutton R. S. (1988): Learning to predict by the methods of temporal differences. Machine learning 3 , 9-44. [19] Tesauro G. (1995): Temporal Difference Learning and TD-Gammon. Communications of the ACM, Vol. 38, No. 3. [20] Watkins C. J. C. H. (1989): Learning from Delayed Rewards. PhD thesis, Cambridge University, Cambridge, England. [21] Williams R. J., Zipser D. (1989): A Learning Algorithm for Continually Running Fully Recurrent Neural Networks. Neural computation 1 , 270-280.

87

Dodatek A Knihovna neuronov´ ych s´ıt´ı Flexinets Souˇca´st´ı diplomové práce je i knihovna objekt˚ u a metod pro práci s neuronov´ ymi s´ıtˇemi Flexinets. V této knihovnˇe byly implementovány vˇsechny v´ yˇse popsané modely neuronov´ ych s´ıt´ı (s´ıt’ zpˇetného ˇs´ıˇren´ı, s´ıt’ s náhodn´ ymi zmˇenami, modifikované TD(λ) a Schmidhuberova rekurentn´ı s´ıt’). Vˇsechny experimenty popsané v experimentáln´ı ˇca´sti práce byly provedeny s vyuˇzit´ım knihovny Flexinets. Knihovna umoˇzn ˇuje pomˇernˇe jednoduch´ ymi u ´pravami pˇridávat nové modely neuronov´ ych s´ıt´ı nebo rozˇsiˇrovat funkcionalitu stávaj´ıc´ıch model˚ u.

A.1

Principy knihovny Flexinets

Knihovna byla napsána v C++ s pouˇzit´ım Microsoft Visual C++ 6.0 a je objektovˇe orientována. Skládá se ze dvou soubor˚ u - neurons.h a neurons.cpp. Prvn´ı z nich je hlaviˇckov´ y soubor obsahuj´ıc´ı deklarace vˇsech tˇr´ıd a poloˇzek, druh´ y z nich obsahuje tˇela vˇsech metod. V tˇechto souborech jsou popsány postupnˇe vˇsechny implementované modely neuronov´ ych s´ıt´ı. Byla pouˇzita konvence, ˇze jména objekt˚ u a dalˇs´ıch typ˚ u zaˇc´ınaj´ı velk´ ym p´ısmenem, jména instanc´ı objekt˚ u, promˇenn´ ych a poloˇzek objekt˚ u p´ısmenem mal´ ym a jména konstant preprocesoru jsou psána celá velk´ ym p´ısmem. Oba soubory jsou podrobnˇe okomentovány (v Angliˇctinˇe), pˇriˇcemˇz v neurons.h lze nalézt podrobnˇeji okomentované parametry metod, zat´ımco v neurons.cpp lze nalézt i komentáˇre d´ılˇc´ıch v´ ypoˇct˚ u a pˇr´ıkaz˚ u, které to vyˇzaduj´ı. Knihovna Flexinets definuje tˇr´ıdu Synapse pro spojen´ı mezi neurony, tˇr´ıdu Neuron pro obecn´ y neuron a tˇr´ıdu NNetwork pro obecnou neuronovou s´ıt’. Obecn´ y neuron a obecná neuronová s´ıt’ jsou vybaveny datov´ ymi poloˇzkami a metodami, které jsou potˇreba pro práci s vˇetˇsinou r˚ uzn´ ych model˚ u neuronov´ ych s´ıt´ı. Konkrétn´ı modely neuronov´ ych s´ıt´ı jsou pak v knihovnˇe pˇridány vytvoˇren´ım potomk˚ u tˇr´ıdy NNetwork a tˇr´ıdy Neuron, které nesou datové poloˇzky a metody charakteristické pro ten kter´ y model. Knihovna ve velké m´ıˇre vyuˇz´ıvá standardn´ı ˇsablony jazyka C++ (tzv. STL - Standart templates library) pro práci se seznamy neuron˚ u, seznamy synaps´ı apod.. Vnitˇrnˇe zacház´ı knihovna s Neurony pˇredevˇs´ım pomoc´ı ukazatel˚ u, ale veˇrejné metody urˇcené pro uˇzivatelské pouˇzit´ı v extern´ıch programech odkazuj´ı na neurony pomoc´ı jejich index˚ u v s´ıti. Pop´ıˇseme zde struˇcnˇe vˇsechny v souˇcasnosti implementované tˇr´ıdy knihovny Flexinets. Omez´ıme se pˇritom na popis jejich datov´ ych poloˇzek, kter´ y vystihuje základn´ı funkcionalitu tˇechto tˇr´ıd. Jejich metod je 88

mnoho, a proto ˇctenáˇre odkazujeme na jejich okomentovan´ y kód v knihovnˇe. Intern´ı metody knihovny Flexinets jsou typicky deklarovány jako chránˇené (protected nebo private), metody, které b´ yvaj´ı volány z extern´ıho programu, jako veˇrejné. Datové poloˇzky tˇr´ıd jsou vesmˇes chránˇené.

A.2

Tˇ r´ıdy knihovny Flexinets

Class Synapse Tato tˇr´ıda popisuje spojen´ı mezi dvˇema neurony. Poˇzadavky na podobu synapse se mezi implementovan´ ymi modely pˇr´ıliˇs neliˇs´ı, a proto v souˇcasnosti nen´ı implementován ˇzádn´ y potomek této tˇr´ıdy a tato tˇr´ıda je pouˇz´ıvána v kaˇzdém modelu pˇr´ımo. Jelikoˇz je seznam synaps´ı poloˇzkou neuronu, do kterého synapse vstupuje, nen´ı tˇreba, aby synapse obsahovala poloˇzku pro jej´ı c´ılov´ y neuron. Obsahuje tedy pouze ukazatel na zdrojov´ y neuron Neuron* source a aktuáln´ı hodnotu váhy float weight. Nˇekteré algoritmy (napˇr´ıklad ty, které pouˇz´ıvaj´ı moment uˇcen´ı) potˇrebuj´ı znát téˇz pˇredchoz´ı hodnotu váhy. Ta je uloˇzena v datové poloˇzce float oldWeight. Class Neuron Tˇr´ıda Neuron reprezentuje umˇel´ y neuron s jeho základn´ımi poloˇzkami. Model s´ıtˇe s náhodn´ ymi zmˇenami vah popsan´ y v 4.2 pouˇz´ıvá tuto tˇr´ıdu pˇr´ımo, v ostatn´ıch modelech pracujeme s potomky této tˇr´ıdy. Tˇr´ıda je vybavena ukazatelem na pˇrenosovou funkci static float(* tFunction)(float), coˇz umoˇzn ˇuje pracovat s libovolnou pˇrenosovou funkc´ı (Typicky pouˇz´ıváme sigmoidu.) Protoˇze tFunction je statická poloˇzka, vˇsechny neurony maj´ı stejnou pˇrenosovou funkci. Dalˇs´ı statickou poloˇzkou je float maxRandomWeight, která udává maximáln´ı absolutn´ı hodnotu prah˚ u a vah pˇri náhodné inicializaci. Poloˇzka ConnectionList inputs je seznam vstupn´ıch synaps´ı neuronu, float bias a float oldBias obsahuj´ı aktuáln´ı, respektive pˇredchoz´ı hodnoty prahu. Poloˇzky float outputVal a float oldVal pak obsahuj´ı aktuáln´ı a pˇredchoz´ı v´ ystup neuronu. Class NNetwork Tato tˇr´ıda pˇredstavuje obecnou neuronovou s´ıt’. Jej´ımi datov´ ymi poloˇzkami je seznam ukazatel˚ u na vˇsechny neurony s´ıtˇe PtrList neurons, jeho podmnoˇzina ukazuj´ıc´ı pouze na vstupn´ı neurony PtrList netInputs a jeho podmnoˇzina ukazuj´ıc´ı pouze na v´ ystupn´ı neurony PtrList netOutputs. Neuron této s´ıtˇe bude obvykle instance tˇr´ıdy Neuron. Model s´ıtˇe s náhodn´ ymi zmˇenami vah popsan´ y v 4.2 pouˇz´ıvá tuto tˇr´ıdu pˇr´ımo, v ostatn´ıch modelech pracujeme s potomky této tˇr´ıdy. Tˇr´ıda NNetwork je vybavena ˇradou metod manipuluj´ıc´ıch s neurony s´ıtˇe, které vyuˇzijeme v r˚ uzn´ ych algoritmech pracuj´ıc´ıch s neuronov´ ymi s´ıtˇemi. Class BPNeuron, Class BPNetwork Tyto tˇr´ıdy definuj´ı neuron a s´ıt’ neuron˚ u pro algoritmus 1 - backpropagation popsan´ y v 3.2. Tˇr´ıda BPNeuron je oproti tˇr´ıdˇe Neuron obohacena o poloˇzku double delta, která obsahuje hodnotu chybového ˇclenu daného neuronu, ze kterého se poˇc´ıtaj´ı parciáln´ı derivace v´ ystup˚ u s´ıtˇe podle jednotliv´ ych vah. Hlavn´ı metodou tˇr´ıdy BPNetwork, která vykoná jednu smyˇcku algoritmu zpˇetného ˇs´ıˇren´ı, je void teach(float* input, float* desired, float alpha, float moment). Aby metody tˇr´ıdy BPNetwork správnˇe fungovaly, je nutné, aby neurony s´ıtˇe byly seˇrazeny dle vah, poˇc´ınaje vstupn´ı vrstvou a v´ ystupn´ı 89

vrstvou konˇce. Pokud s´ıt’ vytvoˇr´ıme metodou tˇr´ıdy NNetwork void createLayers(int layersNum, ...), jsou tyto podm´ınky zaruˇceny. Class TDNetwork Tato tˇr´ıda implementuje modifikovan´ y algoritmus TD(λ) se tˇremi druhy znáhodnˇen´ı pouˇz´ıvan´ ymi v popsan´ ych experimentech. Zmiˇ novan´ y druh znáhodnˇen´ı 1 pro offline uˇcen´ı, kter´ y v experimentech nebyl pouˇzit, lze snadno dodat téˇz. Tento model neuronové s´ıtˇe vyuˇz´ıvá stejnˇe jako algoritmus zpˇetného ˇs´ıˇren´ı neurony tˇr´ıdy BPNeuron. Jejich poloˇzku double delta ale narozd´ıl od tohoto algoritmu vyuˇz´ıvá k ukládán´ı parciáln´ı derivace v´ ystupu jediného v´ ystupn´ıho neuronu s´ıtˇe podle potenciálu neuronu, jehoˇz je poloˇzkou. Staré hodnoty vah synaps´ı vyuˇz´ıvá algoritmus k uloˇzen´ı ˇcasovˇe váˇzené sumy parciáln´ıch derivac´ı S(t) definovaného vzorcem 4.12 v ˇca´sti 4.4. Kromˇe seˇrazen´ı neuron˚ u dle vrstev zde nav´ıc pro správnou funkˇcnost metod tˇr´ıdy TDNetwork poˇzadujeme, aby v seznamu neuron˚ u vˇsechny vstupn´ı neurony pro stav pˇredcházely vˇsechny vstupn´ı neurony pro akce. Tˇr´ıda TDNetwork zavád´ı nav´ıc ˇctyˇri datové poloˇzky. Poloˇzka float lambda obsahuje hodnotu parametru λ, poloˇzka int stateInputs udává, kolik ze vstupn´ıch neuron˚ u kóduje stav prostˇred´ı, BPNeuron* predictor je ukazatel na jedin´ y v´ ystupn´ı neuron, kter´ y predikuje odmˇenu, a float rand prob je pravdˇepodobnost, ˇze vybraná akce bude nahrazena náhodnˇe zvolenou akc´ı pˇri pouˇzit´ı znáhodnˇen´ı typu 2. Class SNeuron, Class SNetwork Tˇr´ıdy pˇredstavuj´ı neuron a neuronovou s´ıt’ pro algoritmus 5 - Schmidhuberovu rekurentn´ı s´ıt’. Tˇr´ıda SNeuron je oproti tˇr´ıdˇe Neuron pro u ´ˇcely algoritmu 5 obohacena o datové poloˇzky float* derivatives, float* oldDerivatives, float* derBias, float* oldDerBias, které ukazuj´ı na dynamicky vytvoˇrená pole star´ ych a nov´ ych hodnot parciáln´ıch derivac´ı neuronu dle vah a prah˚ u celé s´ıtˇe. SNeuron si dále udrˇzuje v poloˇzce SNetwork* netPointer ukazatel na s´ıt’, ve které je um´ıstˇen, a sv˚ uj index v této s´ıti v poloˇzce int neuronIndex. V pˇr´ıpadˇe, ˇze se jedná o predikˇcn´ı neuron z modeluj´ıc´ı s´ıtˇe, poloˇzka SNeuron* predicts ukazuje na predikovan´ y neuron, v opaˇcném pˇr´ıpadˇe má tato poloˇzka hodnotu nulového ukazatele. Tˇr´ıda SNetwork klade pro správnou funkˇcnost sv´ ych metod na uspoˇra´dán´ı neuron˚ u v s´ıti dalˇs´ı podm´ınky. Vˇsechny neurony ˇr´ıdic´ı s´ıtˇe mus´ı v seznamu neuron˚ u pˇredcházet vˇsechny neurony modeluj´ıc´ı s´ıtˇe, pˇriˇcemˇz prvn´ı mus´ı b´ yt vstupn´ı neurony a posledn´ı z neuron˚ u ˇr´ıdic´ı s´ıtˇe mus´ı b´ yt neurony v´ ystupn´ı. Derivace dle neexistuj´ıc´ıch vah mus´ı m´ıt nastaveny nulovou hodnotu. Tyto podm´ınky jsou pˇri pouˇz´ıván´ı dodan´ ych metod zaruˇceny. Tˇr´ıda SNetwork obsahuje dále datové poloˇzky int stepNo udávaj´ıc´ı, zda je algoritmus ve svém prvn´ım cyklu, int controlSize udávaj´ıc´ı velikost ˇr´ıdic´ı s´ıtˇe, ukazatel na odmˇen ˇovac´ı vstup SNeuron* reward, ukazatel na prediktor odmˇeny SNeuron* rewardPredictor a pole ukazatel˚ u na vˇsechny prediktory std::vector<SNeuron*> predictors. Pro rozˇs´ıˇren´ı knihovny o dalˇs´ı model je obvykle tˇreba napsat nové potomky tˇr´ıd Neuron a NNetwork, definovat nové datové poloˇzky a metody a pˇredefinovat virtuáln´ı metody tˇr´ıdy NNetwork. Knihovnu Flexinets vˇcetnˇe pˇr´ıkladu jej´ıho pouˇzit´ı pˇri uˇcen´ı s´ıtˇe zpˇetného ˇs´ıˇren´ı logickou funkci XOR lze nalézt na CD pˇriloˇzeném k této práci.

90

Dodatek B Pouˇ zit´ y simul´ ator koˇ risti a dravce Za u ´ˇcelem testován´ı algoritm˚ u popsan´ ych v této práci jsme vyvinuli jednoduch´ y simulátor dravce a koˇristi, kter´ y je pˇr´ılohou této práce.

B.1

Uˇ zivatelsk´ e rozhran´ı

Uˇzivatelské rozhran´ı simulátoru je pomˇernˇe strohé, skládá se z textové konzole a jednoho grafického okna. V grafickém oknˇe se zobrazuje pr˚ ubˇeh simulace nebo uˇzivatelská nápovˇeda. V prvn´ım pˇr´ıpadˇe okno znázorˇ nuje dravce v podobˇe ˇcerven´ ych bod˚ u a koˇrist v podobˇe bod˚ u modr´ ych, které se postupnˇe pˇrebarvuj´ı do zelena, pokud koˇrist hladov´ı. V grafickém oknˇe najdeme dále informace o tom, kolik koˇristi bylo seˇzráno dravci a kolik j´ı vyhladovˇelo, kolik bod˚ u a jakou odmˇenu zat´ım z´ıskala koˇrist v právˇe bˇeˇz´ıc´ı simulaci a kolikátá simulace právˇe prob´ıhá. Konzole slouˇz´ı k v´ ypisu informac´ı o pr˚ ubˇehu experiment˚ u. Po skonˇcen´ı kaˇzdé série simulac´ı je zde vypsán poˇcet simulac´ı, které probˇehly, celkov´ y poˇcet bod˚ u a odmˇena z´ıskané v sérii. Po spuˇstˇen´ı je v grafickém oknˇe zobrazena struˇcná nápovˇeda k ovládán´ı programu, kterou lze skr´ yt a opˇetovnˇe zobrazit klávesou F1. Jeden krok simulace provedeme klávesou enter, kontinuáln´ı bˇeh simulace spust´ıme a zastav´ıme mezern´ıkem. Klávesa 0 slouˇz´ı k vypnut´ı nebo zapnut´ı znáhodnˇen´ı v pˇr´ıpadˇe, ˇze je tato volba relevantn´ı (tedy pˇri pouˇzit´ı Schmidhuberova modelu ˇci modifikovaného TD(λ) se znáhodnˇen´ım ˇc´ıslo 2). Klávesou 1 v grafickém oknˇe naprogramujeme jednu simulaci, klávesou 2 naprogramujeme sérii simulac´ı a klávesou 3 naprogramujeme nekoneˇcn´ y sled simulac´ı. Klávesou A lze zakázat a opˇet povolit uˇcen´ı. Simulace m˚ uˇze bˇeˇzet ve dvou módech - se zobrazen´ım a bez zobrazen´ı. Mód bez zobrazen´ı je rychlejˇs´ı a hod´ı se pro experimenty sestávaj´ıc´ı z dlouhé série simulac´ı. Módy pˇrep´ınáme klávesou D. Klávesou R pˇreruˇs´ıme právˇe prob´ıhaj´ıc´ı simulaci a pˇriprav´ıme novou. Volba S uloˇz´ı strukturu a váhy neuronov´ ych s´ıt´ı ˇr´ıd´ıc´ıch koˇrist do oˇc´ıslovan´ ych soubor˚ u v podadresáˇri /results. Klávesa escape ukonˇc´ı cel´ y simulátor. Potˇrebujeme-li pˇri experimentu zjistit ˇc´ıslo nˇekterého z agent˚ u, m˚ uˇzeme na nˇej kliknout lev´ ym tlaˇc´ıtkem myˇsi. Na konzolu se pak vyp´ıˇse jeho ˇc´ıslo a pˇr´ıpadnˇe dalˇs´ı u ´daje o nˇem. Uloˇz´ıme-li agenty pomoc´ı klávesy S, m˚ uˇzeme takto poklikán´ım na agenta zjistit, které ˇc´ıslo souboru odpov´ıdá kterému agentu na obrazovce. Pro nˇekteré modely vyvolá poklepán´ı myˇs´ı na agenta téˇz v´ ypis dalˇs´ıch informac´ı uˇziteˇcn´ ych pro anal´ yzu pˇr´ısluˇsné neuronové s´ıtˇe (napˇr´ıklad hodnoty jeho vstup˚ u a v´ ystup˚ u). 91

B.2

Struˇ cnˇ e o implementaci simul´ atoru

Simulátor byl stejnˇe jako knihovna pro práci s neuronov´ ymi s´ıtˇemi Flexinets naprogramován v C++ s pouˇzit´ım Microsoft Visual C++ 6.0. Uˇzivatelské rozhran´ı bylo vytvoˇreno pomoc´ı knihovny OpenGL. Program vyuˇz´ıvá objektovˇe orientovan´ ych technik tak, aby byl program pˇrehledn´ y a snadno modifikovateln´ y. Simulátor poskytuje rozhran´ı pro pouˇzit´ı dodaného algoritmu (funkce v jazyce C / C++) pro ovládán´ı koˇristi nebo dravce. Stejnˇe jako v knihovnˇe Flexinets, i zde byla pouˇzita konvence, ˇze jména objekt˚ u a dalˇs´ıch typ˚ u zaˇc´ınaj´ı velk´ ym p´ısmenem, jména instanc´ı objekt˚ u, promˇenn´ ych a poloˇzek objekt˚ u p´ısmenem mal´ ym a jména konstant preprocesoru jsou psána celá velk´ ym p´ısmem. Kód je pro vˇetˇs´ı ˇcitelnost podrobnˇe okomentován.

B.2.1

Hierarchie objekt˚ u

Základn´ı pouˇzité objekty jsou tˇr´ıda Environment a tˇr´ıda Creature. Tˇr´ıda Environment poskytuje abstraktn´ı rozhran´ı pro prostˇred´ı (svˇet) obecného simulátoru a deklaruje nejd˚ uleˇzitˇejˇs´ı datové poloˇzky a metody, které konkrétn´ı simulátor mus´ı obsahovat. Jednou z poloˇzek tˇr´ıdy Environment je spojov´ y seznam creatureList instanc´ı tˇr´ıdy Creature, která poskytuje abstraktn´ı rozhran´ı pro obecného agenta. Kromˇe seznamu agent˚ u obsahuje dále tˇr´ıda Environment abstraktn´ı deklaraci základn´ıch metod pro pˇridáván´ı a ub´ırán´ı agent˚ u a jejich interakci s prostˇredn´ım. Tˇr´ıda Creature popisuje základn´ı datové poloˇzky, které mus´ı m´ıt kaˇzd´ y druh agenta (napˇr. souˇradnice udávaj´ıc´ı jeho polohu) a základn´ı virtuáln´ı metodu action(inputs, outputs, reward), která pos´ılá agentovi informaci o jeho aktuáln´ıch vstupech a odmˇenˇe a poˇzaduje informaci o jeho v´ ystupech. Tato metoda by sama nemˇela mˇenit stav prostˇred´ı, pouze vrátit informaci o tom, co agent chce vykonat. Simulátor, kter´ y pouˇz´ıváme pro popisované experimenty, vyuˇz´ıvá tˇr´ıdu Environment1, která je potomkem tˇr´ıdy Environment. Tˇr´ıda definuje konkrétn´ı vlastnosti svˇeta s diskrétn´ım prostorem a ˇcasem odpov´ıdaj´ıc´ıho v´ yˇse popsané u ´loze. Speciálnˇe tˇr´ıda Environment1 pˇredpokládá, ˇze agenti komunikuj´ı s prostˇred´ım prostˇrednictv´ım 4 vstup˚ u, 3 v´ ystup˚ u a odmˇeny, tak jak jsou popsány v zadán´ı u ´lohy. Tˇr´ıdˇe Environment1 odpov´ıdá tˇr´ıda agent˚ u Creature1, která je potomkem tˇr´ıdy Creature. Popisuje stále jeˇstˇe abstraktn´ı tˇr´ıdu agent˚ u pro toto prostˇred´ı. Jej´ım potomkem je tˇr´ıda Tiger pˇredstavuj´ıc´ı dravce a tˇr´ıda Rabbit pˇredstavuj´ıc´ı koˇrist. Agenti ˇr´ıd´ıc´ı se r˚ uzn´ ymi dodan´ ymi algoritmy (napˇr. nˇejak´ ym modelem neuronové s´ıtˇe) jsou pak potomci tˇr´ıdy Rabbit liˇs´ıc´ı se mezi sebou definic´ı virtuáln´ı metody action.

B.2.2

Struktura programu

Základem ˇcinnosti simulátoru je metoda tˇr´ıdy Environment1 oneStep, která pˇredstavuje jeden krok simulace. Metoda postupnˇe projde seznam agent˚ u creatureList. Pro kaˇzdého z nich vypoˇc´ıtá hodnotu vstup˚ u a odmˇenu a zavolá jeho metodu action, aby z´ıskala jeho v´ ystupy, které potom vykoná pomoc´ı metody perform. 92

Zdrojov´ y kód simulátoru se skládá z tˇechto soubor˚ u: genericSim.h - obsahuje definice abstraktn´ıch tˇr´ıd Environment a Creature environment.h - obsahuje definice konstant pouˇzit´ ych v simulátoru a potomk˚ u tˇr´ıdy Environment a Creature environment.cpp - kód metod urˇcuj´ıc´ıch logiku simulátoru SurvivalSim.cpp - funkce main a uˇzivatelské rozhran´ı simulátoru Chceme-li tedy experimentovat s nov´ ym algoritmem, je tˇreba vytvoˇrit nového potomka tˇr´ıdy Rabbit, upravit v souboru environment.cpp metodu Environment1::spawn tak, aby vytváˇrela v prostˇred´ı agenty ˇr´ızené t´ımto algoritmem, a pˇr´ıpadnˇe v témˇze souboru upravit metodu Environment1::restart, pokud je potˇreba agenty na zaˇca´tku simulace inicializovat. Poˇcet krok˚ u na jednu simulaci a poˇcet simulac´ı v experimentu m˚ uˇzeme nastavit zmˇenou konstanty TICKS respektive SESSIONS v souboru SurvivalSim.cpp. Simulátor koˇristi a dravce je pˇriloˇzen na disku CD k této práci.

93

Dodatek C Obsah pˇ riloˇ zen´ eho CD Souˇca´st´ı této práce je i CD, na kterém lze nalézt tuto práci v elektronické verzi, zdrojové kódy knihovny neuronov´ ych s´ıt´ı Flexinets, zdrojové kódy pouˇzité pro experimenty popsané v´ yˇse a demonstraˇcn´ı videa a programy umoˇzn ˇuj´ıc´ı snadno opakovat nej´ uspˇeˇsnˇejˇs´ı z experiment˚ u popsan´ ych v´ yˇse. Následuje popis obsahu CD: • Precti.txt - popis obsahu CD • Readme.txt - popis obsahu CD v Angliˇctinˇe • Adresáˇr Thesis Tento adresáˇr obsahuje elektronickou verzi této práce. – NS a RL.ps - tato práce ve formátu postscript – NS a RL.pdf - tato práce ve formátu Adobe reader • Adresáˇr Flexinet Tento adresáˇr obsahuje zdrojov´ y kód pouˇzité knihovny neuronov´ ych s´ıt´ı Flexinets. – neurons.h - hlaviˇcka s definicemi knihovny Flexinets – neurons.cpp - tˇela metod a funkc´ı knihovny Flexinets – xor.cpp - ukázkov´ y pˇr´ıklad aplikace knihovny Flexinets pro nauˇcen´ı s´ıtˇe zpˇetného ˇs´ıˇren´ı v´ ypoˇcet logické funkce XOR • Adresáˇr PredatorPrey Tento adresáˇr obsahuje soubory t´ ykaj´ıc´ı se experiment˚ u v simulátoru dravce a koˇristi popsan´ ych v ˇca´sti 5.1. Adresáˇr obsahuje podadresáˇre odpov´ıdaj´ıc´ı experiment˚ um s dravci a bez dravc˚ u pro vybranou konfiguraci kaˇzdého ze tˇr´ı testovan´ ych algoritm˚ u (celkem 6 experiment˚ u). Kaˇzd´ y z adresáˇr˚ u má obdobn´ y obsah: – SurvivalSim.exe - demonstraˇcn´ı program spouˇstˇej´ıc´ı experiment – opengl.dll, glu.dll, glut.dll - potˇrebné dynamické knihovny openGL – results - adresáˇr pro ukládán´ı konfigurac´ı s´ıt´ı bˇehem experimentu – source - adresáˇr se zdrojov´ ym kódem simulátoru vˇcetnˇe souboru environment.h s parametry nastaven´ ymi pro spuˇstˇen´ı pˇr´ısluˇsného experimentu 94

• Adresáˇr ExperimentRobot Tento adresáˇr obsahuje soubory t´ ykaj´ıc´ı se experimentu se simulovan´ ym i reáln´ ym robotem e-puck v programu Webots popsaného v ˇca´sti 5.2. Názvy nˇekter´ ych soubor˚ u v jeho podadresáˇr´ıch odpov´ıdaj´ı stavu experimentu v urˇcitém ˇcase. Potom jejich názvy obsahuj´ı ˇc´ıslo, které udává, po kolika ˇcasov´ ych periodách tento stav nastal. ˇ Casová perioda se skládá z 200 krok˚ u robota. Tedy napˇr´ıklad soubor real 8000.avi zachycuje chován´ı fyzického robota po 1600000 kroc´ıch simulovaného uˇcen´ı. Obsah adresáˇre je následuj´ıc´ı: – real epuck01.jpg, real epuck02.jpg - fotografie z experimentu s reáln´ ym robotem – video simulation - filmy zachycuj´ıc´ı pr˚ ubˇeh experimentu se simulovan´ ym robotem – video real - filmy zachycuj´ıc´ı pr˚ ubˇeh experimentu s fyzick´ ym robotem – controler source - zdrojov´ y kód pouˇzit´ y v experimentu ∗ neurons.h - hlaviˇckov´ y soubor knihovny Flexinets s parametrem EPUCKTURNRIGHT, kter´ y pro u ´ˇcely tohoto experimentu povoluje pouze náhodné pohyby, pˇri nichˇz se robot toˇc´ı vpravo ∗ ThesisController.cpp - zdrojov´ y kód programu ovládaj´ıc´ıho robota (tzv. kontroleru) ∗ ThesisSupervisor.cpp - zdrojov´ y kód obsluˇzného programu pro experiment (tzv. supervisoru) – experiment log - adresáˇr s v´ ysledky experimentu ∗ results - adresáˇr obsahuj´ıc´ı vˇsechny mezikonfigurace neuronové s´ıtˇe z pr˚ ubˇehu experimentu, které mohou b´ yt opˇetovnˇe naˇcteny upraven´ım parametru LOADFILE ve zdrojovém souboru kontroleru ∗ rewards.csv - soubor obsahuj´ıc´ı historii z´ıskan´ ych odmˇen za kaˇzd´ ych 200 krok˚ u experimentu ∗ testWebots.csv - soubor obsahuj´ıc´ı historii ujeté vzdálenosti a poˇctu robotov´ ych koliz´ı za kaˇzd´ ych 200 krok˚ u experimentu – Webots Tento adresáˇr obsahuje soubory potˇrebné pro spuˇstˇen´ı experimentu v simulátoru Webots. Pro spuˇstˇen´ı experimentu je tˇreba m´ıt nainstalovánu verzi simulátoru Webots umoˇzn ˇuj´ıc´ı pouˇzit´ı uˇzivatelsky definovan´ ych kontroler˚ u. V takovém pˇr´ıpadˇe staˇc´ı pˇrekop´ırovat tento podadresáˇr do adresáˇre, kde je simulátor nainstalován, otevˇr´ıt soubor se svˇetem a ujistit se ˇze je propojen se správn´ ym supervisorem a kontrolerem. Soubory s pˇr´ıponou .nn obsaˇzené v podadresáˇr´ıch tohoto adresáˇre obsahuj´ı uloˇzené konfigurace neuronové s´ıtˇe v urˇcitém stádiu experimentu. ∗ thesisWorld.wbt - soubor se svˇetem pro program Webots pouˇzit´ ym v experimentu ∗ ThesisSupervisor - adresáˇr se supervisorem pˇreloˇzen´ ym pro pouˇzit´ı v simulátoru Webots ∗ ThesisController - adresáˇr s kontrolerem pˇreloˇzen´ ym pro pouˇzit´ı v simulátoru Webots 95

∗ 4000, 7000, 8000, 8210, 8660 - adresáˇre s kontrolery pro simulátor Webots, které demonstruj´ı chován´ı robota, pokud zastav´ıme jeho uˇcen´ı v urˇcitém stádiu experimentu

96

Univerzita Karlova v Praze Matematicko-fyzikální fakulta

Recommend Documents