Úvod Příklad Výpočty a grafické znázornění. Filip Habr. České vysoké učení technické v Praze Fakulta jaderná a fyzikálně inženýrská

Úvod

ˇ Výpoˇcty a grafické znázornení

Pˇríklad

ˇ Neuronové síte-Delta uˇcení Filip Habr ˇ Ceské vysoké uˇcení technické v Praze Fakulta jaderná a fyzikálneˇ inženýrská

30. bˇrezna 2009

Úvod

Pˇríklad


Obsah prezentace

Obsah prezentace

Delta uˇcení 1

Teorie k delta uˇcení

2

Zadání pˇríkladu

3

Vyhledání mj a Mj → výpoˇcet standardizovaných hodnot

4

Standardizovaná tabulka

5

Výpoˇcet prvních dvou iterací w 1 a w 2 a výsledného w

6

ˇ Grafické znázornení

Úvod


Pˇríklad

Obsah prezentace

Pˇríprava dat

ˇ Data X ∈ Rm×n je vhodné pˇred spuštením perceptronu ˇ standardizovat → napˇr. rozpetím: Xnew = ij mj = min(Xkj ) Mj = max(Xkj )

Xij −mj Mj −mj

∈ h0, 1i

Úvod


Pˇríklad

Obsah prezentace

Delta uˇcení

y = f (x, w) yk = f (x k , w) ∆k = yk∗ − yk pk (w) = 21 ∆2k P P(w) = m k =1 pk (w) = min

P(w) = =

Pm

Pm

1 2 k =1 2 ∆k

1 ∗ k =1 2 (yk

=

Pm

1 ∗ k =1 2 (yk

− f (x k , w))2 = min

− yk )2

Úvod


Pˇríklad

Obsah prezentace

Delta uˇcení Algoritmus w 0 ∈ Rn+1 (malé), λ0 > 0 náhodná volba k. vzoru, λj =

λ0 1+j

výpoˇcet yk a ∆k výpoˇcet citlivosti síteˇ na váhy adaptace vah ˇ Ucení hladkého perceptronu P y = f (x, w) = tanh( ni=0 wi xi ) ∂ tanh(x,w) ∂wi

= (1 − y 2 )xi

w j+1 = w j + λj ∆k (1 − yk2 )x k

Úvod

Pˇríklad

Pˇríklad


Tabulka hodnot: x0 x1 x2 1 1 5 1 2 3,5 1 2 7 1 3 3,5 1 3 4,5 1 4 4 1 4 6 1 5 5 1 6 5,5 1 8 2

y* -1 -1 1 -1 1 1 1 1 1 1


Úvod


Pˇríklad

Pˇríklad



y* -1 -1 1 -1 1 1 1 1 1 1

Výpoˇcet mj a Mj : m1 = 1 m2 = 2 M1 = 8 M2 = 7

Úvod


Pˇríklad

Pˇríklad



y* -1 -1 1 -1 1 1 1 1 1 1

Výpoˇcet mj a Mj : m1 = 1 m2 = 2 M1 = 8 M2 = 7

Standardizované hodnoty: x0 x1 x2 1 0 0,6 1 0,14 0,3 1 0,14 1 1 0,28 0,3 1 0,28 0,5 1 0,43 0,4 1 0,43 0,8 1 0,57 0,6 1 0,71 0,7 1 1 0

y* -1 -1 1 -1 1 1 1 1 1 1

Úvod

Pˇríklad


První iterace Zvolili jsme λ0 = 1


Úvod

Pˇríklad


První iterace Zvolili jsme λ0 = 1 Jako první vzor jsme náhodneˇ vybrali: k = 2


Úvod

Pˇríklad


První iterace Zvolili jsme λ0 = 1 Jako první vzor jsme náhodneˇ vybrali: k = 2 Váhový vektor jsme zvolili w 0 = (0; 0; 0)


Úvod

Pˇríklad


První iterace Zvolili jsme λ0 = 1 Jako první vzor jsme náhodneˇ vybrali: k = 2 Váhový vektor jsme zvolili w 0 = (0; 0; 0) y2 = tanh(0 · 1 + 0 · 0, 14 + 0 · 0, 3) = 0 Pn ⇒ y = tanh( i=0 wi xi )


Úvod


Pˇríklad


První iterace Zvolili jsme λ0 = 1 Jako první vzor jsme náhodneˇ vybrali: k = 2 Váhový vektor jsme zvolili w 0 = (0; 0; 0) y2 = tanh(0 · 1 + 0 · 0, 14 + 0 · 0, 3) = 0 Pn ⇒ y = tanh( i=0 wi xi ) ∆2 = −1 − 0 = −1

⇒ ∆k = yk∗ − yk

Úvod


Pˇríklad



⇒ ∆k = yk∗ − yk

w 1 = (0; 0; 0) + 1 · (−1) · (1 − 02 ) · (1; 0, 14; 0, 3) = (−1; −0, 14; −0, 3) ⇒ w j+1 = w j + λj ∆k (1 − yk2 )x k

Úvod


Pˇríklad



⇒ ∆k = yk∗ − yk

w 1 = (0; 0; 0) + 1 · (−1) · (1 − 02 ) · (1; 0, 14; 0, 3) = (−1; −0, 14; −0, 3) ⇒ w j+1 = w j + λj ∆k (1 − yk2 )x k Rovnice pˇrímky tedy vypadá takto: −0, 3x1 − 1x2 − 0, 14 = 0

Úvod


Pˇríklad



⇒ ∆k = yk∗ − yk

w 1 = (0; 0; 0) + 1 · (−1) · (1 − 02 ) · (1; 0, 14; 0, 3) = (−1; −0, 14; −0, 3) ⇒ w j+1 = w j + λj ∆k (1 − yk2 )x k Rovnice pˇrímky tedy vypadá takto: −0, 3x1 − 1x2 − 0, 14 = 0 Pruseˇ ˚ cík s osou x1 je: −0, 47

Úvod


Pˇríklad



⇒ ∆k = yk∗ − yk

w 1 = (0; 0; 0) + 1 · (−1) · (1 − 02 ) · (1; 0, 14; 0, 3) = (−1; −0, 14; −0, 3) ⇒ w j+1 = w j + λj ∆k (1 − yk2 )x k Rovnice pˇrímky tedy vypadá takto: −0, 3x1 − 1x2 − 0, 14 = 0 Pruseˇ ˚ cík s osou x1 je: −0, 47 Pruseˇ ˚ cík s osou x2 je: −0, 14

Úvod ˇ Výpoˇcty a grafické znázornení

První iterace

Pˇríklad


Úvod

Pˇríklad


Druhá iterace Jako druhý vzor jsme náhodneˇ vybrali: k = 7


Úvod

Pˇríklad



Druhá iterace Jako druhý vzor jsme náhodneˇ vybrali: k = 7 y7 = tanh((−1) · 1 + (−0, 14) · 0, 43 + (−0, 3) · 0, 8) = −0, 86

Úvod

Pˇríklad



Druhá iterace Jako druhý vzor jsme náhodneˇ vybrali: k = 7 y7 = tanh((−1) · 1 + (−0, 14) · 0, 43 + (−0, 3) · 0, 8) = −0, 86 ∆7 = 1 − (−0, 86) = 1, 86

Úvod


Pˇríklad


Druhá iterace Jako druhý vzor jsme náhodneˇ vybrali: k = 7 y7 = tanh((−1) · 1 + (−0, 14) · 0, 43 + (−0, 3) · 0, 8) = −0, 86 ∆7 = 1 − (−0, 86) = 1, 86 λ1 = 0, 5

⇒ λj =

λ0 1+j

Úvod


Pˇríklad



⇒ λj =

λ0 1+j

w2 = (−1; −0, 14; −0, 3) + 0, 5 · 1, 86 · (1 − (−0, 86)2 ) · (1; 0, 43; 0, 8) = = (0, 73; 0, 6; 1, 08)

Úvod


Pˇríklad



⇒ λj =

λ0 1+j

w2 = (−1; −0, 14; −0, 3) + 0, 5 · 1, 86 · (1 − (−0, 86)2 ) · (1; 0, 43; 0, 8) = = (0, 73; 0, 6; 1, 08) Rovnice pˇrímky tedy vypadá takto: 0.6x1 + 1.08x2 + 0.73 = 0

Úvod


Pˇríklad



⇒ λj =

λ0 1+j

w2 = (−1; −0, 14; −0, 3) + 0, 5 · 1, 86 · (1 − (−0, 86)2 ) · (1; 0, 43; 0, 8) = = (0, 73; 0, 6; 1, 08) Rovnice pˇrímky tedy vypadá takto: 0.6x1 + 1.08x2 + 0.73 = 0 Pruseˇ ˚ cík s osou x1 je: −1, 22

Úvod


Pˇríklad



⇒ λj =

λ0 1+j

w2 = (−1; −0, 14; −0, 3) + 0, 5 · 1, 86 · (1 − (−0, 86)2 ) · (1; 0, 43; 0, 8) = = (0, 73; 0, 6; 1, 08) Rovnice pˇrímky tedy vypadá takto: 0.6x1 + 1.08x2 + 0.73 = 0 Pruseˇ ˚ cík s osou x1 je: −1, 22 Pruseˇ ˚ cík s osou x2 je: −0, 68


Druhá iterace

Pˇríklad


Úvod

Pˇríklad


Koneˇcná iterace-výsledek V posledním kroku jsme vybrali: k = 7


Úvod

Pˇríklad


Koneˇcná iterace-výsledek V posledním kroku jsme vybrali: k = 7 y7 = −0, 86


Úvod

Pˇríklad


Koneˇcná iterace-výsledek V posledním kroku jsme vybrali: k = 7 y7 = −0, 86 ∆7 = 0, 36


Úvod

Pˇríklad


Koneˇcná iterace-výsledek V posledním kroku jsme vybrali: k = 7 y7 = −0, 86 ∆7 = 0, 36 λn = 2 · 10−8


Úvod

Pˇríklad


Koneˇcná iterace-výsledek V posledním kroku jsme vybrali: k = 7 y7 = −0, 86 ∆7 = 0, 36 λn = 2 · 10−8 w n = (−0, 73; 1, 49; 0, 94)


Úvod

Pˇríklad


Koneˇcná iterace-výsledek V posledním kroku jsme vybrali: k = 7 y7 = −0, 86 ∆7 = 0, 36 λn = 2 · 10−8 w n = (−0, 73; 1, 49; 0, 94) Rovnice pˇrímky tedy vypadá takto: 1, 49x1 + 0, 94x2 + −0, 73 = 0


Úvod

Pˇríklad


Koneˇcná iterace-výsledek V posledním kroku jsme vybrali: k = 7 y7 = −0, 86 ∆7 = 0, 36 λn = 2 · 10−8 w n = (−0, 73; 1, 49; 0, 94) Rovnice pˇrímky tedy vypadá takto: 1, 49x1 + 0, 94x2 + −0, 73 = 0 Pruseˇ ˚ cík s osou x1 je: 0, 49


Úvod

Pˇríklad


Koneˇcná iterace-výsledek V posledním kroku jsme vybrali: k = 7 y7 = −0, 86 ∆7 = 0, 36 λn = 2 · 10−8 w n = (−0, 73; 1, 49; 0, 94) Rovnice pˇrímky tedy vypadá takto: 1, 49x1 + 0, 94x2 + −0, 73 = 0 Pruseˇ ˚ cík s osou x1 je: 0, 49 Pruseˇ ˚ cík s osou x2 je: 0, 78



Koneˇcná iterace

Pˇríklad


Úvod Příklad Výpočty a grafické znázornění. Filip Habr. České vysoké učení technické v Praze Fakulta jaderná a fyzikálně inženýrská

Recommend Documents