2016-2017 ősz 2. gyakorlat
NEURAL NETWORKS
Feladatok 2.1)
Adjon meg azt a perceptronon implementált Bayes-i klasszifikátort, amely kétdimenziós a bemeneti tér felett szeparálja a Gauss eloszlású mintákat! Rajzolja le a bemeneti tér felett a döntési egyenest! A két osztály mintáinak várhatóértéke
és kovariancia mátrixa a következő:
1 T C1 osztály: E X x s1 és E X x μ1 x μ1 K C1 I 1 1 T C2 osztály: E X x s 2 és E X x μ1 x μ1 K C2 I 1 w K 1 s1 s 2
b 1/ 2 s1T K 1s1 s 2T K 1s 2
A következő ábrán a C1 és C2 osztály 104 db realizációit láthatjuk (kék és piros pontokként), valamint a bayesi döntést megvalósító szeparáló görbét (kék egyenes)
A következő ábrákon a két osztály sűrűségfüggvénye van ábrázolva felületként illetve bizonyos szintek szintvonalként. Látható hogy a bayesi döntés görbéje az, ahol a két felület metszi egymást.
1/5
2016-2017 ősz 2. gyakorlat
NEURAL NETWORKS
4
2
0
2
4
4
2
0
2
4
Azonban a döntési görbe akkor lesz csak egy hipersík (2D-ben egyenes), ha a két véletlen folyamat kovariancia mátrixa megegyezik.
1 0.2 2 0.1 Ellenpélda, ha K C1 , K C2 0.2 1 0.1 1 4
2
0
2
2
2.2)
0
2
4
Egy perceptronon a Bayes-i klasszifikátort implementálták, amely kétdimenziós bemeneti tér felett szeparálja a Gauss eloszlású mintákat. A két osztály mintáinak várhatóértéke és kovariancia mátrixa a következő:
1 0.5 1 T C1 osztály: E X x μ1 és E X x μ1 x μ1 0.5 1 1 1 0.5 1 T C2 osztály: E X x μ 2 és E X x μ 2 x μ 2 0.5 1 1
Adja meg a perceptron súlyait! Rajzolja le a bemeneti tér felett a döntési egyenest!
2/5
2016-2017 ősz 2. gyakorlat
NEURAL NETWORKS
Adott egy perceptron a w 0 kezdeti súlyokkal, valamint egy 3 tanító halmaz:
2.3)
T 1 1 0 w 0 2 1 1 , 3 1, , 1, , 1, . 1 0 1
a) Tanítsa a perceptront a tanítóhalmaz elemeire a w(5) lépésig ( 1 )! Töltse ki az alábbi táblázatot! k 1 2 3 4 5
x(k)
d(k)
y(k)
e(k)=d(k)-y(k)
w(k-1)
w(k)
b) Rajzolja le a w(0) és w(5) súlyokkal meghatározott szeparációs egyeneseket és a tanítandó mintákat ábrázoló pontokat egy ábrába! c) Az 5. lépésre a hálózat megtanulja-e helyesen szeparálni a tanítóhalmaz elemeit? Indokolja állítását!
2.4)
Egy perceptron hálózat a bal oldali ábrán látható döntési tartománnyal adott vezérlési feladatot látja el.
a) Rajzolja fel a hálózatot. és adja meg a perceptronok súlyait, amikor a vezérlési feladat döntési határa (a bal oldali ábrán a háromszög) ismert! b) Ha csak a minták (körök és négyszögek) ismertek, akkor hogyan lehet az előző feladatban leírt struktúrájú kétrétegű hálózatot Rosenblatt algoritmussal tanítani? Adja meg a W(1) súlyokat, ha a második ábrán pirossal jelölt minta a tanulóhalmaz első eleme (a tanulási ráta 1 ), és a hálózat inicializált W(0) állapotát a második ábra írja le. c) Rajzolja le a döntési tartományt a tanulás első lépése után! (A döntési tartományt a W(1) súlyokkal meghatározott hálózat esetén) Jól dönt-e a hálózat a tanulás első lépése után a tanulóhalmaz első elemére?
3/5
2016-2017 ősz 2. gyakorlat
NEURAL NETWORKS
2.5)
Az alábbi ábra alapján adott egy perceptron hálózat és egy klasszifikációs feladat. Az inicializált súlyok:
w 0 w11 0 w12 0 1 1 1 W 0 10 w20 0 w21 0 w22 0 1 1 1
Perceptron (Rosenblatt) tanítással tanítsa meg a hálózatot helyes szeparációra ( 1 )!
2.6)
Egy gépjármű klasszifikációs feladathoz a szakértők a tömeg és hosszúság alapján néhány típust besoroltak az alábbi táblázat szerint: Tömeg 10 20 5 2 3 10 15 5
Hosszúság 6 5 4 5 6 7 8 9
Kategória teherautó teherautó kisteherautó kisteherautó teherautó teherautó teherautó teherautó
a) Adja meg (súlyokkal együtt) azt a legegyszerűbb neurális hálózatot, ami megoldja ezt a klasszifikációs feladatot! Rajzolja le a bemeneti teret és a döntési tartományokat! b) A fenti táblázat alapján tanítsa a hálózatot Rosenblatt tanulással három iterációra, ha a neurális hálózat kezdeti súlyainak mindegyike 1 értékű! (Megjegyzés: az eredményt a lenti táblázathoz hasonló formában adja meg!) k 1 2 3
x(k)
d(k)
y(k)
e(k)=d(k)-y(k)
w(k-1)
w(k)
c) A harmadik iteráció után helyesen szeparál a hálózat az összes mintára? d) Milyen neurális hálózat alapú megoldásokat javasolna abban az esetben, ha a szakértők bevezetnék a kamion kategóriát a táblázat 7. sorában lévő típus esetén?
4/5
2016-2017 ősz 2. gyakorlat
NEURAL NETWORKS
2.7)
Magyarország bruttó hazai termékének volumenindexe a KSH adatai alapján az alábbiak:
Egy perceptron alkalmazásával szeretnénk a változás előjelét predikálni ( sgn(GDPk ) 1 esetén emelkedik, sgn(GDPk ) 1 esetén csökken) a korábbi két év volumenindexe ( GDPk 1 és GDPk 2 ) alapján. a) Adja meg a K tanulóhalmaz elemeit! b) Tanítsa a peceptront Rosenblatt tanulással három iterációra, ha a neurális hálózat kezdeti súlyainak mindegyike 1 értékű! (Megjegyzés: az eredményt a lenti táblázatban adja meg!) k 1 2 3
x(k)
d(k)
y(k)
e(k)=d(k)-y(k)
w(k-1)
w(k)
c) A tanulóhalmaz alapján a tanulás véges lépésben megáll? (Segítség: a bemeneti térben ábrázolva a tanulóhalmaz elemeit választ kapunk a kérdésre.)
5/5
