Analýza antropologických dat metodami výpočetní inteligence. Bc. Jakub Novák

ˇ e vysoké uˇcen´ı technické v Praze Cesk´ Fakulta elektrotechnická

Diplomová práce

Anal´ yza antropologick´ ych dat metodami v´ ypoˇ cetn´ı inteligence Bc. Jakub Novák

Vedouc´ı práce: Ing. Kord´ık Pavel, Ph.D.

Studijn´ı program: Elektrotechnika a informatika strukturovan´ y magistersk´ y Obor: Informatika a v´ ypoˇcetn´ı technika kvˇeten 2008

ii

Podˇ ekov´ an´ı Chtˇel bych moc podˇekovat Ing. Pavlu Kord´ıkovi, Ph.D. za jeho v´ yborné veden´ı mé práce. Jeho pozitivn´ı pˇr´ıstup a vstˇr´ıcnost, se kterou pˇristupoval k m´ ym dotaz˚ um a problém˚ um. iii

iv

Prohl´ aˇ sen´ı Prohlaˇsuji, ˇze jsem svou diplomovou práci vypracoval samostatnˇe a pouˇzil jsem pouze podklady uvedené v pˇriloˇzeném seznamu. Nemám závaˇzn´ y d˚ uvod proti uˇzit´ı tohoto ˇskoln´ıho d´ıla ve smyslu §60 Zákona ˇc. 121/2000 Sb., o právu autorském, o právech souvisej´ıc´ıch s právem autorsk´ ym a o zmˇenˇe nˇekter´ ych zákon˚ u (autorsk´ y zákon).

V Praze dne 23.5.2008

.............................................................

v

vi

Abstract A computational intelligence methods are suitable instrument for work with the anthropological data which represents senescence indicators along with other inputs. Based on this information we try to predict the age of skeleton. But this is a very difficult process and obtain high-quality results is complicated. My goal in this diploma thesis is to find and valorize the best methods which can handle well the anthropological data and give us the best results.

Abstrakt Metody v´ ypoˇcetn´ı inteligence jsou vhodn´ ym nástrojem pro práci s antropologick´ ymi daty, které pˇredstavuj´ı kostern´ı ohledán´ı spolu s nˇekter´ ymi dalˇs´ımi vstupy, ze kter´ ych se snaˇz´ıme predikovat vˇek zesnulého. Proces to vˇsak nen´ı v˚ ubec jednoduch´ y a dostat kvalitn´ı v´ ysledky je pomˇernˇe komplikované. Proto si touto prac´ı kladu za c´ıl nalézt a zhodnotit nejvhodnˇejˇs´ı metody, které by umˇely dobˇre zpracovat daná antropologick´ a data a podat co nejlepˇs´ı v´ ysledek.

vii

viii

Obsah Seznam obr´ azk˚ u

xi

Seznam tabulek

xiii

´ 1 Uvod

1

2 Metody pro anal´ yzu antropologick´ ych dat 2.1 Z´ıskáván´ı znalost´ı z dat . . . . . . . . . . . 2.2 Typy dolovac´ıch u ´loh . . . . . . . . . . . . . 2.2.1 Klasifikace a predikce . . . . . . . . 2.2.2 Shlukován´ı . . . . . . . . . . . . . . 2.2.3 Anal´ yza odlehl´ ych objekt˚ u . . . . . 2.2.4 Anal´ yza nalezen´ ych vzor˚ u . . . . . . 2.3 Data . . . . . . . . . . . . . . . . . . . . . . 2.3.1 Antropologická data . . . . . . . . . 2.4 Prediktivn´ı metody . . . . . . . . . . . . . . 2.5 Klasifikaˇcn´ı metody . . . . . . . . . . . . . 2.6 Shlukové metody . . . . . . . . . . . . . . . 3 Pˇ redzpracov´ an´ı dat - teoretick´ aˇ c´ ast ˇ 3.1 Ciˇstˇen´ı dat . . . . . . . . . . . . . . 3.1.1 Nekompletn´ı data . . . . . . 3.1.2 Zaˇsumˇelá data . . . . . . . . 3.2 Integrace a transformace dat . . . . 3.3 Redukce dat . . . . . . . . . . . . . . 3.3.1 Poˇcetn´ı redukce . . . . . . . . 3.4 Dalˇs´ı moˇzné metody pˇredzpracov´ an´ı

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . . . . . .

. . . . . . .

. . . . . . . . . . .

. . . . . . .

. . . . . . . . . . .

. . . . . . .

. . . . . . . . . . .

. . . . . . .

. . . . . . . . . . .

. . . . . . .

. . . . . . . . . . .

. . . . . . .

. . . . . . . . . . .

. . . . . . .

. . . . . . . . . . .

. . . . . . .

. . . . . . . . . . .

. . . . . . .

. . . . . . . . . . .

. . . . . . .

. . . . . . . . . . .

. . . . . . .

. . . . . . . . . . .

. . . . . . .

. . . . . . . . . . .

. . . . . . .

. . . . . . . . . . .

. . . . . . .

. . . . . . . . . . .

. . . . . . .

. . . . . . . . . . .

. . . . . . .

. . . . . . . . . . .

. . . . . . .

. . . . . . . . . . .

. . . . . . .

. . . . . . . . . . .

. . . . . . .

. . . . . . . . . . .

2 2 2 2 2 2 2 3 3 4 8 12

. . . . . . .

16 16 16 17 17 18 20 21

4 V´ ysledky experiment˚ u 4.1 Prediktivn´ı metody . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.1.1 GMDH . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.1.2 GAME . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2 Klasifikaˇcn´ı metody . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2.1 LVQ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2.2 Perceptron . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2.3 RBF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3 Metody shlukové anal´ yzy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3.1 SOM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.4 Pˇredzpracovac´ı metody . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.4.1 V´ ysledky jednotliv´ ych metod . . . . . . . . . . . . . . . . . . . . . . . . 4.4.2 V´ ysledky experiment˚ u za pouˇzit´ı modulu pro automatické pˇredzpracov´ an´ı dat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22 22 22 23 23 24 25 27 30 30 33 34

5 Zhodnocen´ı v´ ysledk˚ u

41

6 Z´ avˇ er

45

7 Literatura

47 ix

38

A Seznam pouˇ zit´ ych zkratek

49

B Obsah pˇ riloˇ zen´ eho CD

51

x

Seznam obr´ azk˚ u 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11 2.12 2.13

Ukázka GMDH s´ıtˇe jako ˇcerné skˇr´ıˇ nky . . . . Struktura s´ıtˇe GMDH . . . . . . . . . . . . . Ukonˇcen´ı uˇcen´ı s´ıtˇe GMDH . . . . . . . . . . Pˇr´ıklad s´ıtˇe GAME . . . . . . . . . . . . . . . Prostor 2D a hraniˇcn´ı pˇr´ımka . . . . . . . . . Model perceptronu jako neuronu . . . . . . . Struktura RBF s´ıtˇe . . . . . . . . . . . . . . . Ukázka typick´ ych Radial Basis Function . . . Trénovaná RBF . . . . . . . . . . . . . . . . . Struktura neuron˚ u Kohonenovy mapy . . . . SOM - moˇzné struktury uspoˇr´ ad´ an´ı neuron˚ u. SOM - pˇr´ıklad adaptace vah neuronu . . . . . U-matice pro s´ıt’ 10 x 10 . . . . . . . . . . . .

. . . . . . . . . . . . .

5 5 7 8 9 9 10 11 12 13 14 15 15

3.1 3.2

Pˇr´ıklad rozdˇelen´ı do shluk˚ u . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Metody v´ ybˇeru podmnoˇziny atribut˚ u. . . . . . . . . . . . . . . . . . . . . . . .

18 19

4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9 4.10 4.11

V´ ysledn´ y GMDH model v KnowledgeMiner softwaru . . . . . . . . LVQ - celkov´ y pˇrehled u ´spˇeˇsnosti ohodnocen´ı . . . . . . . . . . . . Rozptyl u ´spˇeˇsnosti klasifikace pomoc´ı automaticky generované s´ıtˇe Rozptyl u ´spˇeˇsnosti klasifikace pomoc´ı minimáln´ı s´ıtˇe . . . . . . . . 2D prostor vstupn´ıch vektor˚ u obsahuj´ıc´ı dva shluky . . . . . . . . . RBF - správnˇe zaˇrazené vzorky pro n=4 a σ = 0,775 . . . . . . . . SOM - vliv pohlav´ı na predikci . . . . . . . . . . . . . . . . . . . . SOM - rozdˇelen´ı podle národnosti . . . . . . . . . . . . . . . . . . . SOM - rozdˇelen´ı podle kontinentu . . . . . . . . . . . . . . . . . . . SOM - v´ ysledné ”shluky” koster podle stáˇr´ı . . . . . . . . . . . . . Ukázka programu GAME spolu s pˇredzpracovac´ım dialogem . . . .

. . . . . . . . . . .

22 25 27 28 29 30 31 31 32 33 34

5.1 5.2 5.3

Ukázka grafu trénovac´ıch dat pomoc´ı 2D regrese . . . . . . . . . . . . . . . . . Rozptyl v´ ysledn´ ych hodnot MAPD - vybrané PM metody . . . . . . . . . . . . Rozptyl v´ ysledn´ ych hodnot MMVI . . . . . . . . . . . . . . . . . . . . . . . . .

43 44 45

xi

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . .

xii

Seznam tabulek 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9 4.10 4.11 4.12 4.13 4.14 4.15 4.16 4.17 4.18 4.19

GMDH vˇeková regrese . . . . . . . . . . . . . . . . . . . . . . . V´ ysledky GMDH a GAME . . . . . . . . . . . . . . . . . . . . Parametry s´ıtˇe LVQ1 . . . . . . . . . . . . . . . . . . . . . . . . LVQ1 - procentuáln´ı u ´spˇeˇsnost klasifikace . . . . . . . . . . . . Parametry automaticky generované s´ıtˇe . . . . . . . . . . . . . Parametry minimáln´ı s´ıtˇe . . . . . . . . . . . . . . . . . . . . . Pr˚ umˇerná u ´spˇeˇsnost klasifikace na automaticky generované s´ıti Pr˚ umˇerná u ´spˇeˇsnost klasifikace na minimáln´ı s´ıti . . . . . . . . Zastoupen´ı ve vˇekov´ ych tˇr´ıd´ ach . . . . . . . . . . . . . . . . . . Zastoupen´ı ˇzen Evropanek . . . . . . . . . . . . . . . . . . . . . RBF - nejlepˇs´ı v´ ysledky pro n=4 a σ = 0,775 . . . . . . . . . . Pˇrepoˇc´ıtány v´ ysledky GMDH a GAME . . . . . . . . . . . . . V´ ysledek pˇredzpracovac´ıch metod - All units, 1N . . . . . . . . V´ ysledek pˇredzpracovac´ıch metod - All units, ensemble (3N) . . V´ ysledek pˇredzpracovac´ıch metod - linear, 1N . . . . . . . . . . V´ ysledek pˇredzpracovac´ıch metod - linear, ensemble (3N) . . . V´ ysledky ˇc.1 - modulu pro automatické pˇredzpracov´ an´ı dat . . Pr˚ umˇerné hodnoty z tabulek 4.13 aˇz 4.16 . . . . . . . . . . . . V´ ysledky ˇc.2 - modulu pro automatické pˇredzpracov´ an´ı dat . .

. . . . . . . . . . . . . . . . . . .

23 23 24 25 26 26 26 27 28 29 29 35 36 36 36 37 39 40 40

5.1 5.2 5.3

Porovnán´ı v´ ysledk˚ u klasifikaˇcn´ıch metod - tuˇcnˇe nejlepˇs´ı v´ ysledek . . . . . . . . Vybrané v´ ysledky algoritm˚ u GAME a GMDH - chyba RMS . . . . . . . . . . . Vybrané nejlepˇs´ı pˇredzpracovac´ı metody . . . . . . . . . . . . . . . . . . . . . .

41 42 42

xiii

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . .

xiv

´ KAPITOLA 1. UVOD

1

´ 1 Uvod V této diplomové práci se zamˇeˇruji na r˚ uzné metody v´ ypoˇcetn´ı inteligence k nasazen´ı pro dolován´ı znalost´ı z dat (tzv. data mining). Zkoum´ am jejich vyuˇzit´ı, kvalitu v´ ysledn´ ych dat, které nám mohou poskytnout a jejich nasazen´ı na reáln´ ych datech. Pro experimenty se vˇsemi metodami vyuˇz´ıvám antropologická data. Z nich se snaˇz´ım z´ıskat co nejlepˇs´ı hodnoty za pouˇzit´ı r˚ uzn´ ych metod neuronov´ ych s´ıt´ı. Experimentuji s r˚ uzn´ ymi pˇredzpracovac´ımi metodami, tak aby nám poskytly co nejlepˇs´ı u ´pravu pˇredloˇzen´ ych dat a t´ım se pokusily pomoci k dosaˇzen´ı jeˇstˇe lepˇs´ıho v´ ysledku. S t´ımto c´ılem také testuji modul pro automatické pˇredzpracov´ an´ı dat, implementovan´ y do programu GAME, jehoˇz v´ ysledky poté porovnávám s ostatn´ımi metodami. Mou snahou bylo také shromáˇzdit a porovnat v´ ysledky, které vznikly v rámci r˚ uzn´ ych prac´ı, a vybrat z nich ty nejvhodnˇejˇs´ı pro práci s antropologick´ ymi daty. K této práci mˇe motivovalo navázat na v´ yzkum, kter´ y jsem prov´ adˇel v rámci své bakaláˇrské práce, která byla také zaloˇzená na antropologick´ ych datech a neuronov´ ych s´ıt´ıch. Proto moˇznost pokraˇcovat v této problematice a pokusit se posunout v´ ysledky v této oblasti dále, mˇe pˇriˇslo velice lákavé. Pokusit se vylepˇsit pˇresnost predikce stáˇr´ı kostern´ıch poz˚ ustatk˚ u, zmapovat pouˇzit´ı jin´ ych technologi´ı a pˇredzpracovac´ıch metod. Tato práce se dˇel´ı do nˇekolika kapitol. Prvn´ı z nich je Metody pro anal´ yzu antropologick´ ych dat (AD). Zde teoreticky popisuji metody, které jsou vhodné pro práci s AD, jak funguj´ı a jak´ ych v´ ystup˚ u z nich m˚ uˇzeme dosáhnout. V druhé kapitole popisuji r˚ uzné metody u ´pravy dat. Co je moˇzné s daty udˇelat, aby poskytovaly co nejlepˇs´ı vypov´ıdac´ı hodnotu. Za t´ımto u ´ˇcelem, ˇze m˚ uˇzeme data r˚ uzn´ ymi zp˚ usoby upravovat, redukovat a ˇcistit, k ˇcemuˇz nám dopomáhaj´ı pˇredzpracovac´ı metody. V dalˇs´ı kapitole popisuji experimenty, které byly s AD provedeny. Jak´ ych prostˇredk˚ u a metod k nim bylo pouˇzito a jaké v´ ysledky nám poskytly. Následuje kapitola, kde shrnuji dosaˇzené v´ ysledky a porovn´ av´ am je mezi sebou. T´ım se snaˇz´ım nalézt nejlepˇs´ı metody a ty doporuˇcit pro práci s AD. Posledn´ı kapitolou je závˇer. Ta uzav´ır´ a mou diplomovou práci a hodnot´ı, k jak´ ym v´ ysledk˚ um jsem dospˇel.

´ ´ KAPITOLA 2. METODY PRO ANALYZU ANTROPOLOGICKYCH DAT

2

2 Metody pro anal´ yzu antropologick´ ych dat 2.1

Z´ısk´ av´ an´ı znalost´ı z dat

Metody v´ ypoˇcetn´ı inteligence pro z´ıskáv´ an´ı znalost´ı z dat jsou vhodn´ ym nástrojem pro odhalován´ı pˇredem skryt´ ych vztah˚ u mezi daty. Hlavn´ı techniky pouˇz´ıvané pˇri vytˇeˇzov´ an´ı dat jsou regrese, klasifikace a shlukován´ı. Pomoc´ı tˇechto technik m˚ uˇzeme z antropologick´ ych dat z´ıskat poˇzadované informace. Na základˇe vstupn´ıch dat m˚ uˇzeme pomoc´ı regrese predikovat v´ ystup, ˇc´ımˇz je stáˇr´ı kostry. V podstatˇe jde o to, ˇze si vezme soubor dat a pomoc´ı matematického vzorce se tyto data pop´ıˇs´ı. T´ım vznikne urˇcit´ y model, kter´ y popisuje dané data.

2.2

Typy dolovac´ıch u ´ loh

ˇ ´ Rada metod pouˇz´ıvan´ ych v problematice z´ısk´ av´ an´ı znalost´ı vych´ az´ı z umˇelé inteligence. Ulohy se rozdˇeluj´ı na 2 typy: deskriptivn´ı a prediktivn´ı. Deskriptivn´ı funkce charakterizuj´ı a popisuj´ı data podle jejich vlastnost´ı. Prediktivn´ı funkce pracuj´ı tak, ˇze na základˇe trénovac´ıch dat jsou schopny pˇredpovˇedˇet vlastnosti dat novˇe pˇr´ıchoz´ıch. 2.2.1

Klasifikace a predikce

Jedná se o prediktivn´ı dolovac´ı u ´lohy. C´ılem klasifikace je nalezen´ı pravidel, která rozliˇsuj´ı a zároveˇ n popisuj´ı tˇr´ıdy dat. Tato pravidla se pak pouˇzij´ı k predikci tˇr´ıdy objektu, jehoˇz zaˇrazen´ı neznáme. Model je sestavován pomoc´ı podm´ınkov´ ych pravidel, rozhodovac´ıch strom˚ u nebo jin´ ych prostˇredk˚ u. Proces klasifikace se sestáv´ a ze tˇr´ı krok˚ u: 1. Tr´ enov´ an´ı – na základˇe trénovac´ı mnoˇziny je vytvoˇren model pro klasifikaci. Tato fáze se oznaˇcuje také jako uˇcen´ı. 2. Testov´ an´ı – ovˇeˇren´ı kvality modelu testov´ an´ım pomoc´ı testovac´ı mnoˇziny. 3. Aplikace – pouˇzit´ı modelu ke klasifikaci dat, jejichˇz tˇr´ıdu neznáme. Klasifikace se pouˇz´ıv´ a k predikci diskrétn´ıch tˇr´ıd. Oproti tomu predikce pˇredpov´ıd´ a hodnoty spojit´ ych atribut˚ u. V tomto pˇr´ıpadˇe pˇredpov´ıdáme numerickou nedostupnou hodnotu. Nejˇcastˇejˇs´ı metodou predikce je regresn´ı anal´ yza. V pˇr´ıpadˇe antropologick´ ych dat jde o predikci vˇeku kostry. 2.2.2

Shlukov´ an´ı

Shluková anal´ yza (Cluster Analysis) na rozd´ıl od klasifikace a predikce analyzuje objekty bez znalosti pˇriˇrazen´ı do tˇr´ıd. C´ılem je nalézt tˇr´ıdy objekt˚ u, které maj´ı co nejv´ıce spoleˇcného tak, aby se objekty r˚ uzn´ ych tˇr´ıd co nejv´ıce liˇsily. Nalezené tˇr´ıdy maj´ı podobu tzv. shluk˚ u. 2.2.3

Anal´ yza odlehl´ ych objekt˚ u

Jde o nalezen´ı objekt˚ u, které se nˇejak´ ym zp˚ usobem v´ yznamnˇe odliˇsuj´ı od ostatn´ıch. Takové datové objekty se naz´ yvaj´ı odlehlé (outlier). Tato anal´ yza m˚ uˇze napˇr´ıklad v praxi odhalit podvodné zneuˇzit´ı kreditn´ıch karet, extrémnˇe velké nebo podezˇrelé nákupy. U antropologick´ ych dat jde o nalezen´ı tzv. ”ustˇrelen´ ych” hodnot a ty pro modelov´ an´ı nepouˇz´ıvat, protoˇze zanáˇs´ı chybu do predikce stáˇr´ı. 2.2.4

Anal´ yza nalezen´ ych vzor˚ u

Systém pro z´ıskáván´ı znalost´ı z dat je schopen generovat obrovské mnoˇzstv´ı vzor˚ u nebo pravidel. Vzniká tak d˚ uleˇzitá otázka zaj´ımavosti nalezen´ ych vzor˚ u. V praxi je zaj´ımav´ a pro koncového


3

uˇzivatele pouze malá ˇcást. Zaj´ımavé vzory nebo pravidla pak pˇredstavuj´ı znalost. Aby byl vydolovan´ y vzor pro uˇzivatele zaj´ımav´ y, mus´ı m´ıt 4 základn´ı vlastnosti, které urˇcuj´ı m´ıru zaj´ımavosti: • Srozumitelnost – vzor mus´ı b´ yt srozumiteln´ y pro ˇclovˇeka • Platnost – pro nová nebo testovac´ı data • Uˇ ziteˇ cnost – vzor mus´ı m´ıt reálnou uˇziteˇcnost • Novost – pˇrináˇs´ı nové poznatky Uˇziteˇcn´ ym vzorem m˚ uˇze b´ yt i vzor, kter´ y validuje hypotézu, kterou se snaˇz´ı uˇzivatel potvrdit. Pro urˇcen´ı m´ıry zaj´ımavosti existuj´ı objektivn´ı a subjektivn´ı metody. Objektivn´ı metody jsou zaloˇzeny na struktuˇre objevovan´ ych vzor˚ u a statistick´ ych u ´daj´ıch k nim vztaˇzen´ ych. Mezi tyto metody patˇr´ı dˇr´ıve zm´ınˇené frekventované vzory a asociaˇcn´ı pravidla (m´ıra podpory a spolehlivosti). Subjektivn´ı m´ıry by mˇely doplˇ novat objektivn´ı, které samy o sobˇe nejsou dostateˇcn´ ym kritériem pro vyhodnocen´ı zaj´ımavosti. Mezi takov´ a kritéria patˇr´ı napˇr. novost, neoˇcek´ avanost apod.

2.3

Data

Pro z´ıskán´ı kvalitn´ıho v´ ysledku mohou b´ yt limituj´ıc´ı data sama. Je d˚ uleˇzité rozhodnout která data (vstupy) jsou d˚ uleˇzité a které ménˇe, pro v´ ysledek, kterého se snaˇz´ıme dosáhnout. Ne vˇsechny informace jsou vhodné pro vytˇeˇzov´ an´ı dat. Je zapotˇreb´ı porozumˇet struktuˇre, pokryt´ı ˇ a kvalitˇe dan´ ych dat. Casto je také zapotˇreb´ı pˇredzpracovat daná data, abychom z nich odstranili informace, které nejsou pro námi poˇzadovan´ y model potˇrebn´ a nebo dokonce jsou zav´ adˇej´ıc´ı a smˇeˇruj´ı k ˇspatn´ ym v´ ysledk˚ um. Takov´ ym dat˚ um ˇr´ık´ ame zaˇsumˇel´ a. Pomoc´ı pˇredzpracovac´ıch metod se snaˇz´ıme takov´ ymto zavádˇej´ıc´ım hodnotám pˇrech´ azet a eliminovat je. Bylo vyvinuto mnoho technik pro z´ısk´ av´ an´ı znalost´ı z dat. Pro predikci biologického stáˇr´ı ˇclovˇeka z jeho kostern´ıch poz˚ ustatk˚ u na antropologick´ ych datech se hod´ı nejv´ıce regresivn´ı modelován´ı. Protoˇze na trénovac´ıch datech se vytvoˇr´ı model popisuj´ıc´ı jednotlivé vztahy mezi promˇenn´ ymi (neuronová s´ıt’) a pomoc´ı n´ı na testovac´ıch datech se dá predikovat stáˇr´ı kostry. Jednak m˚ uˇzeme urˇcovat stáˇr´ı kostry pˇr´ımo nebo si stanovit urˇcité vˇekové skupiny a stáˇr´ı dané kostry urˇcovat podle toho do které skupiny spadá - klasifikace. Pro urˇcován´ı vˇeku koster se jako vhodné jev´ı metody lineárn´ı regrese a to GMDH (Group Method of Data Handling) a GAME (Group of Adaptive Models Evolution). D´ıky nim m˚ uˇzeme odhadovat vˇek koster. Dalˇs´ımi metodami jsou LVQ (Learning Vector Quantization), Perceptron - technick´ y model organické nervové s´ıtˇe a nebo RBF (Radial Basis Function). Tyto metody jsou vhodné pro klasifikaci do vˇekov´ ych tˇr´ıd. A tˇret´ı zaj´ımavou skupinou pro práci s AD jsou metody shlukové anal´ yzy. Do tˇech spadaj´ı mapy SOM - Self-Organizing Map. Jednotlivé metody budou popsány dále v práci spolu s v´ ysledky experiment˚ u. 2.3.1

Antropologick´ a data

Stˇeˇzejn´ım prvkem o kter´ y se op´ırá tato diplomov´ a práce jsou pouˇzité antropologické data. Ty naˇse ˇskola z´ıskala za spolupráce s Université Bordeaux, pˇresnˇeji ve spolupráci s Jaroslavem Br˚ uˇzkem, kter´ y dané data poskytnul. Ty jsou posb´ır´ any z muze´ı celého svˇeta. Obsahuj´ı r˚ uzné pˇr´ıznaky opotˇreben´ı kost´ı, ke kter´ ym doch´ az´ı pˇri stárnut´ı. Podle tˇechto ohledán´ı se snaˇz´ıme predikovat vˇek kostry. Bohuˇzel jak se ukázalo, tak jsou tyto data velmi zaˇsumˇel´ a a predikce


4

nen´ı pˇr´ıliˇs pˇresná, jak bude vidˇet dále ve v´ ysledc´ıch experiment˚ u. Data reprezentuj´ı mnoˇzinu hodnot, kter´ ymi je ohodnocena lidská kostra pro u ´ˇcely odhadu stáˇr´ı z lidského skeletonu (Schmitt, 2001; Schmitt et al., 2002). Jde o vizuáln´ı ohodnocen´ı morfologick´ ych zmˇen povrchu dvou kost´ı pánevn´ıch. Vzorek je sebrán z 955 koster, u kter´ ych je známo pohlav´ı a vˇek. Tato kolekce obsahuje data: • Kontinent: Europe, Africa, North America, Asia. • N´ arodnost: Portugal, Africaner, ZULU, USAW, Spain, Suisse, SOTO, Thailand, USAB. • Pohlav´ı: Female, Male. ˇ ıseln´ • C´ e parametry: PUSA, PUSB, PUSC, SSPIA, SSPIB, SSPIC, SSPID. Vˇek zesnul´ ych se pohybuje mezi 19 a 100 lety. Vstupn´ı data obsahuj´ı informace identifikaˇcn´ı ˇc´ıslo kostry, které ale nen´ı pro predikci d˚ uleˇzité. Dále data popsaná v´ yˇse, z nichˇz nejd˚ uleˇzitˇejˇs´ımi faktory jsou: 3 vstupy jsou ohledán´ı spony stydké na pánvi: • Zadn´ı ploténka (PUSA) ohodnocena na stupnici (1-2-3) • Pˇredn´ı ploténka (PUSB) ohodnocena na stupnici (1-2-3) • Zadn´ı hˇrbet (PUSC) ohodnocena na stupnici (1-2) 4 pozorován´ı sacropelvic povrchu ilia: • Pˇr´ıˇcné uloˇzen´ı (SSPIA) ohodnocen´ı (1-2) • Zmˇeny na povrchu kloubu (SSPIB) hodnocen´ı (1-2-3-4) • Zmˇeny na hrotu kosti (SSPIC) hodnocen´ı (1-2) • Zmˇeny na iliu tuberosity (SSPID) hodnocen´ı (1-2) A jako posledn´ı informac´ı, a to v´ ystupn´ı, je stáˇr´ı kostry. Ten slouˇz´ı k nauˇcen´ı neuronové s´ıtˇe v pr˚ ubˇehu fáze trénován´ı a ve fázi testov´ an´ı se pokouˇs´ıme tuto hodnotu predikovat, popˇr´ıpadˇe klasifikovat. Nakonec jsou jeˇstˇe data rozdˇelily do dvou mnoˇzin a to do trénovac´ı, která obsahuje 639 vzork˚ u a testovac´ı, ˇc´ıtaj´ıc´ı 319 vzork˚ u.

2.4

Prediktivn´ı metody

GMDH Neuronové s´ıtˇe typu GMDH jsou polynomiáln´ı s´ıtˇe. Lze je pouˇz´ıt napˇr´ıklad pro predikce (bankovnictv´ı, pˇredpov´ıdán´ı poˇcas´ı), ale napˇr´ıklad také pro rozpoznáv´ an´ı. S´ıtˇe se uplatn´ı vˇsude tam, kde si ˇreˇsen´ y problém lze pˇredstavit jako ”ˇcernou skˇr´ıˇ nku” maj´ıc´ı nˇekolik nezávisl´ ych ´ vstup˚ u a jeden v´ ystup. Ukolem s´ıtˇe je naj´ıt hodnotu v´ ystupu v závislosti na nˇejaké kombinaci vstup˚ u. Idea s´ıtˇe GMDH spoˇc´ıvá v nalezen´ı analytického vyjádˇren´ı (funkce), které bude pracovat takov´ ym zp˚ usobem, ˇze s´ıt´ı predikovan´ a hodnota v´ ystupu bude co nejvˇerohodnˇeji vyjadˇrovat skuteˇcnou hodnotu. Tuto funkci hledáme postupnˇe pˇri uˇcen´ı s´ıtˇe pomoc´ı uˇc´ıc´ı mnoˇziny. Autorem s´ıtˇe GMDH je DrSc. Alexey Grigorievich Ivakhnenko.


5

Obrázek 2.1: Ukázka GMDH s´ıtˇe jako ˇcerné skˇr´ıˇ nky

S´ıtˇe typu GMDH jsou s´ıtˇe polynomiáln´ıho typu ”s uˇcitelem”. Uˇcitel zde spoˇc´ıv´ a v tom, ˇze s´ıti pˇri uˇcen´ı pˇredkládáme dvojice vstupn´ı vektor - poˇ zadovan´ a hodnota. Jejich základn´ı ˇcinnost spoˇc´ıvá v aproximaci funkc´ı f : A ⊂ Rn ⇒ R, coˇz demonstruje obrázek 2.1. Z obrázku je patrné, ˇze s´ıt’ má n vstup˚ u (X1 − Xn) a jeden v´ ystup (Y ). Horn´ı mez poˇctu vstup˚ u neexistuje, pouze ovlivˇ nuje nároky na v´ ypoˇcetn´ı prostˇredky, které mus´ıme vynaloˇzit. Pokud budeme cht´ıt vyuˇz´ıt vˇsech vlastnost´ı GMDH, je minimáln´ı poˇcet vstup˚ u 3. Hlavn´ı nasazen´ı s´ıtˇe je v oblastech, kde je potˇreba aproximace funkc´ı. Po u ´pravˇe lze s´ıt’ pouˇz´ıt napˇr´ıklad pro predikce, ˇci klasifikace. Coˇz se právˇe hod´ı k urˇcov´ an´ı vˇeku v antropologick´ ych datech. Struktura neuronové s´ıtˇe, ze které také vych´ az´ı princip GMDH, lze vidˇet na obrázku 2.2:

Obrázek 2.2: Struktura s´ıtˇe GMDH Jak jiˇz bylo ˇreˇceno v´ yˇse, ˇcinnost s´ıtˇe spoˇc´ıv´ a v aproximaci funkc´ı f : A ⊂ Rn ⇒ R. Funkce mapuj´ı podmnoˇzinu n-rozmˇerného Euclidovského prostoru do mnoˇziny reáln´ ych ˇc´ısel. Pˇr´ıklad na obrázku 2.2 má 4 vstupy (sloˇzky vstupn´ıho vektoru X1 −Xn ) a jeden v´ ystup y 0 , coˇz je odhad funkce y = f (X). Na obrázku si lze vˇsimnout toho, ˇze s´ıt’ se sklád´ a z jednotliv´ ych vrstev, kaˇzd´ a vrstva je sloˇzena z prvk˚ u (neuron˚ u). Vrstvy m˚ uˇzeme rozdˇelit na 3 kategorie: • vstupn´ı - slouˇz´ı k distribuci sloˇzek vstupn´ıho vektoru do s´ıtˇe, konkrétnˇe do prvn´ı skryté vrstvy. Obsahuje tolik neuron˚ u, kolik je prvk˚ u vstupn´ıho vektoru; • v´ ystupn´ı - pokud pˇri procesu uˇcen´ı dospˇejeme do stavu, kdy v´ ystup s´ıtˇe splˇ nuje naˇse kritéria, posledn´ı vrstvu prohlás´ıme za v´ ystupn´ı a ukonˇc´ıme tvorbu s´ıtˇe. Neuron, kter´ y dává nejlepˇs´ı v´ ysledky v závislosti na testovac´ıch datech, prohlás´ıme za v´ ystup s´ıtˇe; • skryt´ e - vrstvy, které jsou mezi vstupn´ı a v´ ystupn´ı vrstvou. S´ıt’ GMDH by mˇela m´ıt

6

´ ´ KAPITOLA 2. METODY PRO ANALYZU ANTROPOLOGICKYCH DAT pro svou správnou funkci alespoˇ n jednu skrytou vrstvu. Maximáln´ı poˇcet skryt´ ych vrstev nen´ı nijak omezen.

Vstupn´ı vrstva nen´ı pro funkci s´ıtˇe nijak v´ yznamn´ a, slouˇz´ı pouze pro distribuci jednotliv´ ych sloˇzek vstupn´ıho vektoru do dalˇs´ıch vrstev (na vstupn´ı vrstvu navazuje prvn´ı skrytá vrstva, na prvn´ı skrytou druhá skrytá atd.). Skryté vrstvy obsahuj´ı v´ ykonné prvky s´ıtˇe (neurony). V´ ystupn´ı vrstva obsahuje pouze jeden neuron, kter´ y zároveˇ n tvoˇr´ı v´ ystup celé s´ıtˇe. Vlastn´ı chován´ı s´ıtˇe je zaloˇzeno na principu dopˇredného ˇs´ıˇren´ı (v pˇr´ıpadˇe obrázku 2.2 zleva doprava). Na jednotlivé vstupy s´ıtˇe (vstupy neuron˚ u vstupn´ı vrstvy) pˇriloˇz´ıme hodnoty vstupn´ıho vektoru, které jsou vstupn´ı vrstvou distribuov´ any do prvn´ı skryté vrstvy, kde jsou provedeny pˇr´ısluˇsné kombinace. V´ ystup prvn´ı skryté vrstvy je dále distribuov´ an na vstupy druhé skryté vrstvy a tak dále. Posledn´ı vrstvou je vrstva v´ ystupn´ı, která obsahuje pouze jeden neuron (jeden v´ ystupn´ı neuron nen´ı pravidlem, v nˇekter´ ych modifikac´ıch GMDH jich m˚ uˇze b´ yt i v´ıce). Jej´ım v´ ystupem je reálné ˇc´ıslo y, které je souˇcasnˇe v´ ystupem celé s´ıtˇe. Poˇcet skryt´ ych vrstev nen´ı omezen a nen´ı pˇredem urˇcen. Vypl´ yvá ze sloˇzitosti ˇreˇseného problému a poˇzadavk˚ u kladen´ ych na pˇresnost v´ ystupu. Na obrázku 2.2 si lze vˇsimnout, ˇze mezi neurony jednotliv´ ych vrstev neexistuje u ´plné propojen´ı. Dále si vˇsimnˇeme, ˇze kaˇzd´ y neuron (vyjma neuron˚ u vstupn´ı vrstvy) má právˇe dva vstupy a jeden v´ ystup (v´ ystup se mnohaˇcetnˇe distribuuje do neuron˚ u dalˇs´ıch vrstev). Z toho plynou jistá omezen´ı pro minimáln´ı poˇcet vstup˚ u. S´ıt’ s jedn´ım vstupem vytvoˇrit nejde a ani to nemá smysl. S´ıt’ se dvˇema vstupy neobsahuje ˇzádné skryté vrstvy - vzniklá s´ıt’ je jiného charakteru. Pokud chceme vytvoˇrit s´ıt’, která bude m´ıt vˇsechny vlastnosti GMDH jsme omezeni minimáln´ım poˇctem vstup˚ u 3. S´ıt’ GMDH se od ostatn´ıch s´ıt´ı liˇs´ı pˇredevˇs´ım t´ım, ˇze doch´ az´ı ke splynut´ı procesu uˇcen´ı a tvorby s´ıtˇe. Na poˇcátku nen´ı dána ani struktura s´ıtˇe, ani poˇcet neuron˚ u. Známe pouze poˇcet sloˇzek vstupn´ıho vektoru → vytvoˇr´ıme vstupn´ı vrstvu s odpov´ıdaj´ıc´ım poˇctem neuron˚ u. Na této vrstvˇe postupnˇe procesem uˇcen´ı vyr˚ ustaj´ı dalˇs´ı a dalˇs´ı vrstvy, dokud nen´ı splnˇen poˇzadavek na v´ ystup s´ıtˇe. Algoritmus tvorby jednotliv´ ych vrstev je stále stejn´ y. Kaˇzd´ a novˇe vytvoˇren´ a vrstva se vˇzdy samostatnˇe zadaptuje a zmraz´ı (bˇehem dalˇs´ıho uˇcen´ı se jiˇz jej´ı parametry nemˇen´ı a tato vrstva slouˇz´ı pouze k distribuci signálu). Na této vrstvˇe posléze stav´ıme stejn´ ym zp˚ usobem ’ dalˇs´ı vrstvu a cel´ y postup opakujeme, dokud s´ıt nesplˇ nuje poˇzadavky, které na n´ı klademe. Pokud doraz´ıme do tohoto bodu, tvorbu s´ıtˇe zastav´ıme. Ukonˇcen´ı v´ ypoˇctu nastane, jakmile s´ıt’ splˇ nuje poˇzadavky na ”pˇresnost” v´ ystupu. Postupujeme tak, ˇze v kaˇzdém uˇc´ıc´ım kroku (po pˇridán´ı nové vrstvy a vyˇc´ıslen´ı koeficient˚ u) otestujeme, zda jsme jiˇz nedosáhli poˇzadovanou hodnotu a zda bychom právˇe v tomto kroku nemˇeli tvorbu s´ıtˇe ukonˇcit. Pr˚ ubˇeh stˇredn´ı kvadratické chyby v závislosti na poˇctu skryt´ ych vrstev ukazuje obrázek 2.3. Na nˇem si m˚ uˇzeme vˇsimnout toho, ˇze s poˇctem vrstev se v´ ysledn´ a chyba s´ıtˇe zmenˇsuje. Jakmile ale dosáhne minima, zaˇc´ıná se opˇet zvˇetˇsovat. My mus´ıme toto globáln´ı minimum naj´ıt a ukonˇcit zde tvorbu s´ıtˇe. Tvorbu s´ıtˇe tedy m˚ uˇzeme ukonˇcit: • v okamˇziku, kdy dos´ ahneme glob´ aln´ıho minima • v okamˇziku, kdy s´ıt’ dos´ ahne lepˇ s´ıho v´ ystupu neˇ z poˇ zadujeme Zde je tˇreba si uvˇedomit, ˇze je pˇri uˇcen´ı tˇreba obej´ıt m´ısta lokáln´ıho minima. Lze to provést napˇr´ıklad tak, ˇze pˇredpokládáme, ˇze nalezené m´ısto je globáln´ım minimem, ale pokraˇcujeme


7

Obrázek 2.3: Ukonˇcen´ı uˇcen´ı s´ıtˇe GMDH

v pˇridán´ı jeˇstˇe nˇekolika vrstev. Podle v´ yvoje chyby se bud’ vr´ at´ıme do p˚ uvodn´ıho m´ısta, nebo pokraˇcujeme dál. Posledn´ı vrstvu oznaˇc´ıme za v´ ystupn´ı vrstvu. Neuron s nejlepˇs´ım v´ ystupem v této vrstvˇe oznaˇc´ıme jako v´ ystupn´ı neuron celé s´ıtˇe. Odstran´ıme ostatn´ı neurony, které neovlivˇ nuj´ı v´ ystup s´ıtˇe. T´ım je s´ıt’ nauˇcena a máme model postihuj´ıc´ı pˇredloˇzen´ a data. Ten poté m˚ uˇzeme aplikovat na testovac´ı data. [GMDH web]

GAME Dalˇs´ı metodou vhodnou pro pouˇzit´ı na antropologick´ ych datech je GAME (Group of Adaptive Models Evolution). Jedná se v podstatˇe o vylepˇsenou variantu GMDH, ze které také vych´ az´ı. ’ Pˇr´ıklad tvorby s´ıtˇe GAME je vidˇet na obrázku 2.4. Z nˇej je patrné, ˇze se s´ıt vytváˇr´ı vrstvu po vrstvˇe v pr˚ ubˇehu procesu uˇcen´ı z jednotek, které pˇren´ aˇsej´ı informace dopˇrednˇe ze vstup˚ u na v´ ystup. S´ıt’ se tak postupnˇe rozr˚ ust´ a a uˇc´ı. Genetick´ y algoritmus mus´ı v kaˇzdé vrstvˇe vybrat vhodné jednotky, které budou pouˇzity dále pro vytvoˇren´ı modelu. V´ıce informac´ı o tomto moˇ delován´ı lze naj´ıt v [Kord´ık, 05], podle [Kord´ık, Snorek, 05]. GAME m˚ uˇze vytváˇret modely pro klasifikaci, predikci, identifikaci a regresi. Topologie GAME model˚ u se pˇrizp˚ usobuje povaze skryt´ ych dat. Metoda je odolná v˚ uˇci neplatn´ ym nebo redundantn´ım poloˇzkám, vhodná pro krátké a zaˇsumˇelé vzorky. V GAME rostou jednotky z minimáln´ı formy, poˇcet vstup˚ u je minimálnˇe jeden a shora omezen poˇrad´ım skryté vrstvy, ve které jednotka je. Vstupy jednotek jiˇz nejsou pouze z pˇr´ımé pˇredchoz´ı vrstvy. Mohou b´ yt pˇripojeny na vstup jakékoli jednotky z pˇredchoz´ıch vrstev, stejnˇe tak k libovolnému vstupu modelu. Za pouˇzit´ı s´ıtˇe GAME byla vyuˇzita tzv. ensemble technika. Ta je zaloˇzena na tom, ˇze koneˇcné mnoˇzstv´ı model˚ u neuronov´ ych s´ıt´ı nauˇc´ıme na stejné u ´loze. A kdyˇz dáme dohromady vˇsechny tyto modely, tak spolu popisuj´ı dan´ y problém (data) daleko lépe neˇz kaˇzd´ y model sám. Vyuˇz´ıv´ a se dvou pˇr´ıstup˚ u a to bud’ tzv. bagging nebo boosting. Bagging neboli jakési pytlován´ı ˇci sáˇckován´ı pˇredstavuje postup, kdy jsou jedny trénovac´ı data rozdˇeleny na v´ıce soubor˚ u a z nich jsou poté trénovány jednotlivé modely. GAME s´ıtˇe pouˇz´ıvané programem GAME pouˇz´ıvaj´ı pˇresnˇe takov´ y pˇr´ıstup, pˇri pouˇzit´ı ensemble techniky.

8

´ ´ KAPITOLA 2. METODY PRO ANALYZU ANTROPOLOGICKYCH DAT input variables

P

P

L

C

C

3 inputs P max

G second layer

P

P

first layer

C

third layer

interlayer connection 4 inputs max L

output layer

output variable

Obrázek 2.4: Pˇr´ıklad s´ıtˇe GAME. S´ıt’ se vytvoˇr´ı pomoc´ı trénovac´ıch dat obsahuj´ıc´ıch vhodné jednotky pro pˇrenos (P-jednotky perception optimalizované pomoc´ı backpropagation algoritmu, L-lineárn´ı a C-polynomiáln´ı pˇrenosové jednotky, oboj´ı optimalizované pomoc´ı Quasi Newton metody).

2.5

Klasifikaˇ cn´ı metody

LVQ Metodou vhodnou pro klasifikaci do tˇ r´ıd, tud´ıˇz zde se jiˇz nepokouˇs´ıme urˇcit pˇresn´ y vˇek kostry, ale padnut´ı do tˇr´ıdy, je LVQ - Learning Vector Quantization. Tato neuronov´ a s´ıt’ vych´ az´ı z Kohonenovy s´ıtˇe, která patˇr´ı k samoorganizuj´ıc´ım neuronov´ ym s´ıt´ım, takˇze nepotˇrebuje ke svému trénován´ı uˇcitele. Jejich funkce je zaloˇzena na principu shlukové anal´ yzy ( nalezen´ı urˇcit´ ych vlastnost´ı a závislost´ı pˇr´ımo v pˇredkládan´ ych trénovac´ıch datech ). Kohonen˚ uv základn´ı model je vˇetˇsinou dvojdimenzionáln´ı i kdyˇz m˚ uˇze m´ıt i jiné uspoˇr´ ad´ an´ı v´ ystupn´ıch neuron˚ u. Tento model obsahuje jen vstupn´ı a v´ ystupn´ı vrstvu. Poˇcet vstup˚ u do s´ıtˇe je roven dimenzi vstupn´ıho prostoru. Poˇcet vstup˚ u neuronu ve v´ ystupn´ı vrstvˇe je roven poˇctu vstup˚ u do Kohonenovy s´ıtˇe. Váhy tˇechto vstup˚ u neuronu slouˇz´ı k zakódov´ an´ı vzor˚ u. Jedinou operac´ı, kterou neuron prov´ ad´ı, je v´ ypoˇcet vzdálenosti pˇredloˇzeného vzoru od vzoru zakódovaného ve vah´ ach daného neuronu. V´ ystupn´ı neurony jsou propojeny se vˇsemi sv´ ymi sousedn´ımi neurony. Kaˇzd´ y vstup je spojen s kaˇzd´ ym neuronem v´ ystupn´ı mˇr´ıˇzky. LVQ je modifikovaná Kohonenova s´ıt’, která je schopna pracovat s pomoc´ı uˇcitele. Fáze uˇcen´ı je o nˇeco komplikovanˇejˇs´ı neˇz u Kohonenovy s´ıtˇe, vybavovac´ı fáze je shodná. Existuj´ı tˇri verze LVQ1,LVQ2 a LVQ3, které se od sebe liˇs´ı algoritmem hledán´ı nejlepˇs´ı hranice mezi tˇr´ıdami. LVQ1: Neuronová s´ıt’ LVQ vylepˇsuje své chov´ an´ı podle informace o tˇr´ıdˇe do které vstupn´ı vektor patˇr´ı. V prvn´ı fázi bˇeˇz´ı LVQ jako klasick´ a Kohonenova s´ıt’. T´ım se zajist´ı urˇcité samovolné uspoˇrádán´ı neuron˚ u do tˇr´ıd. Pak pˇrijde na ˇradu LVQ1. Pˇriv´ ad´ıme na vstupy znovu trénovac´ı vektory a v pˇr´ıpadˇe, ˇze vektor byl zaˇrazen do správné tˇr´ıdy, pˇriklon´ı váhy jeˇstˇe v´ıce k dané tˇr´ıdˇe. V opaˇcném pˇr´ıpadˇe mus´ı b´ yt váhy od ˇspatné tˇr´ıdy odklonˇeny. T´ım se zv´ yrazˇ nuj´ı hranice mezi tˇr´ıdami a zmenˇsuje riziko ˇspatnˇe zaˇrazeného vektoru. LVQ1 m˚ uˇze b´ yt jeˇstˇe vylepˇsena a tato vylepˇsená verze se naz´ yvá Optimalizovan´ a LVQ1. Rozd´ıl je v individuáln´ım nastaven´ı


9

parametru rychlosti uˇcen´ı pro kaˇzd´ y neuron. [MOON web]

Perceptron Dalˇs´ı podobnou metodou klasifikace koster do skupin je neuronov´ a s´ıt’ zaloˇzen´ a na perceptronu. Ten pˇredstavuje nˇeco jako lidsk´ y neuron, do kterého vedou vstupy (vstupn´ı informace) a v´ ystupem jsou zpracované vstupn´ı informace v podobˇe poˇzadovaného formátu ´ v´ ysledku. Ukolem perceptronu (rep. obecnˇe neuronové s´ıtˇe) je nalézt hranici mezi tˇemito dvˇema skupinami. Správné urˇcen´ı hranice je d˚ uleˇzité pro budouc´ı správné zaˇrazen´ı nového vzoru.

Obrázek 2.5: Prostor 2D a hraniˇcn´ı pˇr´ımka

Obrázek 2.6: Model perceptronu jako neuronu

Algoritmus uˇ cen´ı Uˇcen´ı je interaktivn´ı proces, kdy se v kaˇzdém kroku trochu pooprav´ı jednotlivé sloˇzky váhového vektoru. Vzory, které slouˇz´ı k uˇcen´ı, se vyb´ıraj´ı z mnoˇziny vˇsech vstupn´ıch vzor˚ u. Tˇechto vzor˚ u m˚ uˇze b´ yt libovoln´ y poˇcet. Na poˇcátku jsou váhy nastaveny na své poˇc´ ateˇcn´ı hodnoty, které se nejˇcastˇeji vol´ı náhodnˇe. Hraniˇcn´ı pˇr´ımka (rovina, ...) urˇcen´ a tˇemito vahami je samozˇrejmˇe ˇspatnˇe orientována. Teprve ˇcasem se vlivem adaptace vah podaˇr´ı naj´ıt správn´ y smˇer. Základn´ım principem je uˇcen´ı se z vlastn´ıch chyb. Jestliˇze perceptron odpovˇedˇel ˇspatnˇe na pˇredloˇzen´ y vzor, upravujeme váhy (zvyˇsujeme nebo sniˇzujeme) tak, aby se sn´ıˇzila chyba. Hodnota, kterou modifikujeme váhy, je odvozena z velikosti chyby. Je to vlastnˇe ”vzdálenost” mezi dan´ ym a správn´ ym v´ ystupem, [Perceptron].


10

Obrázek 2.7: Struktura RBF s´ıtˇe

RBF • Patˇr´ı mezi nejmladˇs´ı typy neuronov´ ych s´ıt´ı. ˇ • Casto se pouˇz´ıvá na regresi a predikci. • Jedná se o typ dopˇredné v´ıcevrstvé s´ıtˇe, se vstˇr´ıcn´ ym ˇs´ıˇren´ım signálu a uˇcen´ım s uˇcitelem. Jej´ı v´ yhodou je zejména rychlost uˇcen´ı. • Radiáln´ı funkce je urˇcena sv´ ym stˇredem a jej´ı hodnota závis´ı na vzdálenosti argumentu od tohoto stˇredu. RBF je to tˇr´ıvrstvá s´ıt’, jej´ıˇz struktura je obdobná jako u tˇr´ıvrstvé s´ıtˇe typu backpropagation, ale pˇrenosová funkce v´ ystupn´ıch neuron˚ u mus´ı b´ yt lineárn´ı, coˇz nemus´ı b´ yt pro s´ıt’ typu backpropagation pravda a pˇrenosové funkce skryt´ ych neuron˚ u jsou tzv. Radial Basis Functions, odtud i název s´ıtˇe. Jejich charakteristick´ ym znakem je, ˇze bud’ monotónnˇe klesaj´ı, nebo rostou smˇerem od svého stˇredového bodu. Na následuj´ıc´ıch obrázc´ıch je ukázka struktury RBF s´ıtˇe (obrázek 2.7) a RBF funkce (obrázek 2.8). Kromˇe vstupn´ı vrstvy, která slouˇz´ı jen pro pˇred´ an´ı hodnot, má RBF s´ıt’ vrstvu RBF (skrytá vrstva) a vrstvu v´ ystupn´ı tvoˇrenou perceptrony. Mezi jednotliv´ ymi vrstvami se zpravidla pouˇz´ıvá u ´plné propojen´ı. Definice RBF neuron˚ u: v´ ypoˇcet vnitˇrn´ıho potenciálu φ =

pPn

i=1 (xi

− ci )2

Jin´ ymi slovy: Vnitˇrn´ı potenciál se poˇc´ıtá jako euklidovsk´ a vzdálenost vstupn´ıho vektoru x od c dˇelenou ˇs´ıˇrkou b. Pro RBF neurony se pouˇz´ıvá Eukleidovsk´ a metrika, na rozd´ıl od perceptron˚ u, kde se pouˇz´ıv´ a skalárn´ı souˇcin. Vektor C = c1 , ..., cn oznaˇcujeme jako prototyp, protoˇze reprezentuje jistou podmnoˇzinu vstupn´ıch dat ve tvaru shluku. Jako aktivaˇcn´ı funkce se nejˇcastˇeji pouˇz´ıv´ a Gaussova funkce a multikvadratická funkce, ale existuj´ı i jiné. Uˇ cen´ı neuron˚ u RBF vrstvy Trénovac´ı mnoˇzinu tvoˇr´ı dvojice vstup-v´ ystup. Uˇcen´ı RBF s´ıtˇe je rozdˇeleno na dvˇe fáze. V prvn´ı fázi se urˇc´ı prototyp C a sigma pro kaˇzd´ y RBF neuron. Tento proces prob´ıh´ a bez znalost´ı


11

Obrázek 2.8: Ukázka typick´ ych Radial Basis Function

funkˇcn´ıch hodnot nebo kategori´ı. Pouˇz´ıvaj´ı se algoritmy podobné algoritm˚ um pro shlukovou anal´ yzu, nebo algoritm˚ um uˇcen´ı Kohonenovy s´ıtˇe. Pro urychlen´ı této fáze lze vyuˇz´ıt také neadaptivn´ıch metod, napˇr. rovnomˇerné, nebo náhodné rozloˇzen´ı stˇred˚ u RBF neuron˚ u po vstupn´ım prostoru. Uˇ cen´ı neuron˚ u v´ ystupn´ı vrstvy Druhá fáze uˇcen´ı má za u ´kol urˇcit váhy v´ ystupn´ıch neuron˚ u. Vzhledem k charakteru v´ ystupn´ıch neuron˚ u, je moˇzno pouˇz´ıt metody nejmenˇs´ıch ˇctverc˚ u, nebo gradientn´ıch algoritm˚ u. Pouˇ zit´ı RBF s´ıtˇ e ’ Po nauˇcen´ı je s´ıt pˇripravená k pouˇzit´ı na nov´ ych, zat´ım neznám´ ych datech. Nov´ y vstupn´ı vektor nebude pravdˇepodobnˇe stejn´ y jako vektory trénovac´ı mnoˇziny (pˇresnˇeji ˇreˇceno, bod ve stˇredu aktivaˇcn´ı funkce m˚ uˇze b´ yt posunut). Pravdˇepodobnˇe bude ˇc´ asteˇcnˇe odpov´ıdat jen nˇekolik vah vektoru, a proto se uvedou v ˇcinnost odpov´ıdaj´ıc´ı skryté uzly, které se postupnˇe mˇen´ı. Neuron bude aktivován jen tehdy, bude-li vstupn´ı vektor zaˇrazen do jeho oblasti zájmu. Normálnˇe je aktivováno mnoho neuron˚ u a jejich v´ ystup je sluˇcov´ an dohromady ve v´ ystupn´ıch uzlech. T´ımto zp˚ usobem s´ıt’ interpoluje prostor mezi stˇredy zájmov´ ych oblast´ı neuron˚ u. Obrázek 2.9 ukazuje pˇr´ıklad trénované RBF. Jednotlivé aktivaˇcn´ı funkce R1 , R2 , ... jsou zobrazeny jako kˇrivky dvou vstupn´ıch funkc´ı I1 a I2 . Vypoˇc´ıtan´ y model bude lokáln´ı (ve smyslu, ˇze má velice malou vypov´ıdac´ı schopnost o tom, jak vypadaj´ı funkce mimo zájmové oblasti konkrétn´ıho neuronu, popˇr. kde jsou jiná ˇskolen´ a data). Kaˇzd´ a aktivaˇcn´ı funkce reprezentuje právˇe jeden m´ıstn´ı model ˇskolen´ ych dat, takˇze vnitˇrek zájmové oblasti odpov´ıd´ a konkrétn´ımu ’ neuronu. Na druhé stranˇe bˇeˇzná v´ıcevrstv´ a s´ıt produkuje globáln´ı aproximaci, z toho vypl´ yv´ a, ˇze je kaˇzdá zájmová oblast ovlivnˇena i ostatn´ımi trénovac´ımi daty, které ve skuteˇcnosti nemus´ı m´ıt na danou oblast ˇzádn´ y vliv. RBF s´ıt’ jako klasifik´ ator To je pˇr´ıpad, kter´ y pouˇzijeme na antropologick´ a data. Zde m˚ uˇzeme vyuˇz´ıt jak spojit´ ych, tak nespojit´ ych v´ ystupn´ıch funkc´ı RBF neuron˚ u. Nespojité zaˇrazuj´ı vstupn´ı vektor do nauˇcené mnoˇziny (shluku), spojité mohou informovat, do jaké m´ıry patˇr´ı vektor do této mnoˇziny.


12

Obrázek 2.9: Trénovan´ a RBF

Základn´ı pravidla pro stavbu s´ıtˇe jsou: • V´ ystup RBF neuronu je napojen pouze na jeden v´ ystupn´ı neuron • Na v´ ystupn´ı neuron m˚ uˇze b´ yt napojeno v´ıce RBF neuron˚ u. • Pr˚ unik sféry vlivu RBF neuron˚ u náleˇzej´ıc´ıch v´ıce r˚ uzn´ ym kategori´ım mus´ı b´ yt prázdn´ y. • RBF neurony téˇze kategorie mus´ı reprezentovat vzory dané kategorie s minimáln´ı chybou. Pokud pouˇz´ıváme pro klasifikaci RBF s´ıt’ se spojit´ ymi v´ ystupn´ımi funkcemi RBF neuron˚ u, mus´ı b´ yt váhy a práh v´ ystupn´ıch neuron˚ u nastaven tak, aby tyto neurony realizovaly prahovou logickou funkci OR. Obvykle se RBF s´ıt’ uˇc´ı ˇr´ adovˇe rychleji, neˇz obyˇcejn´ a dopˇredn´ a neuronov´ a s´ıt’, ale RBF s´ıt’ je zpravidla pomalejˇs´ı pˇri pouˇzit´ı vˇetˇs´ıho poˇctu uzl˚ u, podle [VSB web].

2.6

Shlukov´ e metody

SOM Dnes jiˇz mezi základn´ı typy neuronov´ ych s´ıt´ı, patˇr´ı také tzv. SOM = Self-Organizing Maps, neboli samoorganizuj´ıc´ı se mapy, ˇcastˇeji známé po svém ”stvoˇriteli” jako Kohonenovy mapy. Ty patˇr´ı do skupiny samouˇc´ıc´ıch se neuronov´ ych s´ıt´ı, tzn. s´ıt´ı s uˇcen´ım bez uˇcitele, které ke svému nastavován´ı nepotˇrebuj´ı ideáln´ı vzory. To znamená, ˇze k uˇcen´ı s´ıtˇe staˇc´ı jen velk´ a skupina reáln´ ych signál˚ u, z nichˇz nˇekteré maj´ı urˇcitou spoleˇcnou vlastnost nebo naopak v´ yrazné odliˇsnosti a jiˇz k nim nemus´ı b´ yt pˇriˇrazeny ˇz´ adné ideáln´ı uˇc´ıc´ı signály nebo informace (target = c´ılové hodnoty). Ty v pˇr´ıpadˇe tzv. uˇcen´ı s uˇcitelem udávaj´ı koneˇcn´ y c´ılov´ y stav, do kterého se má s´ıt’ uˇcen´ım dostat. A právˇe jejich z´ısk´ an´ı b´ yv´ a ˇcasto velk´ ym problémem. Naopak u SOM (Kohonenovy mapy) nám napˇr´ıklad staˇc´ı jen skupina vstupn´ıch signál˚ u a bˇehem uˇcen´ı si s´ıt’ jiˇz sama nalezne spoleˇcné znaky a odliˇsnosti, podle kter´ ych se bude ve své aktivn´ı ˇcinnosti rozhodovat. A to je ta v´ yhoda, která za cca 20 let od vzniku Kohonenov´ ych map, z nich udˇelala velmi ˇcasto vyuˇz´ıvanou a velmi obl´ıbenou neuronovou s´ıt’. Svoj´ı schopnost´ı samoorganizace a shlukov´ an´ı objekt˚ u s podobn´ ymi vlastnostmi do skupin jsou Kohonenovy mapy pˇr´ımo pˇredurˇceny pro aplikace rozhodov´ an´ı, rozliˇsov´ an´ı a tˇr´ıdˇen´ı objekt˚ u, ˇ signál˚ u, znaˇcek apod. Castou aplikac´ı je rozpoznáv´ an´ı ˇreˇci (napˇr.pˇrepis mluveného slova na


13

Obrázek 2.10: Struktura neuron˚ u Kohonenovy mapy s v´ıtˇezn´ ym neuronem BMU (vstupn´ı vektor s hodnotami x1...xn, neuron s váhami mi = W )

napsané apod.) nebo pˇreloˇzen´ı psaného textu na tiˇstˇen´ı, ˇci v mém pˇr´ıpadˇe antropologick´ a data. Princip a struktura Základ tvoˇr´ı uspoˇrádaná struktura neuron˚ u, které se v tomto pˇr´ıpadˇe daj´ı pˇredstavit jako body (krouˇzky), kde ke kaˇzdému pˇr´ısluˇs´ı unikátn´ı vektor koeficient˚ u oznaˇcované jako váhy W (mi na obrázku 2.10). Nejˇcastˇeji má struktura formu dvourozmˇerné (k=2) ˇctvercové nebo obdéln´ıkové matice, hexagonáln´ıho u ´tvaru nebo nˇekdy i jednorozmˇerného vektoru (k=1). Rozmˇer struktury (k) vˇsak nemá nic spoleˇcného s poˇctem vah kaˇzdého neuronu (bodu), tedy dimenz´ı neuronu (n). Obvykle plat´ı, ˇze k < n, stejnˇe jako poˇcet neuron˚ u m < n. Naopak tvar struktury uspoˇrádán´ı neuron˚ u má vliv na uˇcen´ı mapy a poˇcet vah je vˇzdy shodn´ y s poˇctem parametr˚ u vstupn´ıch vzork˚ u, hodnot nebo koeficient˚ u vstupuj´ıc´ıho zpracov´ avaného signálu. Tvar uspoˇrádán´ı neuron˚ u má vliv na volbu tzv. okol´ı neuronu R, které vymezuje jeho sousedy (sousedn´ı, nejbl´ıˇze postavené neurony). V maticovém uspoˇr´ ad´ an´ı neuron˚ u (ˇctvercové nebo hexagonáln´ı) je velikost okol´ı rovná poˇctu ”ˇrad” neuron˚ u od centr´ aln´ıho neuronu - viz obrázek 2.11. Váhy kaˇzdého neuronu naopak definuj´ı polohu neuronu v prostoru. Princip uˇ cen´ı SOM Matici neuron˚ u se postupnˇe pˇredkl´ adaj´ı vektory vstupn´ıho signálu (x ) tak, ˇze se zvláˇst’ porovnává rozd´ıl pˇr´ısluˇsn´ ych hodnot vektoru vah (koeficient˚ u w ) kaˇzdého neuronu s hodnotami vektoru vstupn´ıho signálu. K vyjádˇren´ı rozd´ılu se m˚ uˇze vyuˇz´ıt r˚ uzn´ ych algoritm˚ u, ale nejˇcastˇeji se dává pˇrednost v´ ypoˇctu euklidovské vzdálenosti D, tj. souˇcet rozd´ıl˚ u pˇr´ısluˇsn´ ych hodnot: D = (x1 − w1 )2 + (x2 − w2 )2 + ..... + (xn − wn )2 V´ ysledkem je tedy poˇcet hodnot D, rovn´ y poˇctu neuron˚ u ve struktuˇre (napˇr. 100 hodnot v matici 10 x 10 neuron˚ u). Následnˇe se vybere jedin´ y neuron s nejmenˇs´ım D a oznaˇc´ı se jako tzv. v´ıtˇez (winner). Váhy tohoto neuronu totiˇz nejv´ıce ze vˇsech odpov´ıdaj´ı hodnotám právˇe pˇredloˇzeného signálu. Pˇri pˇredkládán´ı prvn´ı uˇc´ıc´ıho vstupn´ıho vektoru se jeho hodnoty porovn´ avaj´ı s náhodnˇe vygenerovan´ ymi hodnotami vah (koeficient˚ u) jednotliv´ ych neuron˚ u. Váhy W v´ıtˇezného neuronu se pak upravuj´ı (updatuj´ı), aby se co nejv´ıce pˇribl´ıˇzily hodnotám právˇe pˇredloˇzeného vstupn´ıho vektoru (x ). Vyuˇz´ıv´ a se vzorce: Wi nové = Wi staré + α(x − Wi staré) kde α je uˇc´ıc´ı koeficient vyjadˇruj´ıc´ı rychlost uˇcen´ı (m˚ uˇze nab´ yvat hodnot 0 aˇz 1, napˇr. α = 0.6), Wi je vektor vah (koeficinet˚ u) i-tého neuronu Wi = [Wi 1, Wi 2, ...., Wi n] a x je vstupn´ı uˇc´ıc´ı vektor x = [x1 , x2 , ...xn ].

14


Obrázek 2.11: Moˇzné struktury uspoˇrád´ an´ı neuron˚ u (*) s definic´ı okol´ı R v´ıtˇezného neuronu (#)

Pˇri opˇetovném opakován´ı dávky uˇc´ıc´ıch vektor˚ u nebo postupn´ ym pˇredkl´ ad´ an´ım dalˇs´ıch nov´ ych dávek se uˇc´ıc´ı koeficient obvykle sniˇzuje. Spolu s v´ıtˇezn´ ym neuronem se mˇen´ı i ty sousedn´ı v definovaném okol´ı R (viz obrázek 2.11). Jejich váhy se upravuj´ı stejn´ ym zp˚ usobem jako u v´ıtˇeze, pouze s t´ım rozd´ılem, ˇze koeficient α je nahrazen koeficientem β, pˇriˇcemˇz plat´ı α < β. Pˇri opˇetovném opakován´ım dávky uˇc´ıc´ıch vektor˚ u se m˚ uˇze prov´ adˇet i sniˇzov´ an´ı hodnoty okol´ı R aˇz na R = 0, tzn. adaptuje se pouze v´ıtˇez. Ve v´ ysledku by se mˇelo dosáhnout stavu, kdy v maticové struktuˇre neuron˚ u vznikne nˇekolik v´ yznamn´ ych center, tzv. shluky, mezi nimiˇz se v´ yraznˇe liˇs´ı hodnoty vah neuron˚ u. Neurony, jejichˇz váhy bˇehem uˇcen´ı dosáhly nulov´ ych hodnot, se ze struktury mohou vylouˇcit. Poˇcet shluk˚ u by mˇel b´ yt shodn´ y s poˇctem odliˇsn´ ych vlastnost´ı nebo parametr˚ u, které Kohonenova mapa naˇsla v pˇredloˇzen´ ych dávkách uˇc´ıc´ıch vstupn´ıch vektor˚ u. To také znamená, ˇze funkˇcnost mapy a neuronov´ ych s´ıt´ı obecnˇe, v´ yraznˇe závis´ı na sloˇzen´ı signál˚ u a informac´ı v uˇc´ıc´ıch dávk´ ach. Pro jednoduˇsˇs´ı kontrolu a pˇrehlednˇejˇs´ı dohled nad uˇcen´ım mapy se vyuˇz´ıv´ a grafického zobrazen´ı shluk˚ u, které vyjadˇruje prostorové vztahy mezi neurony v prostoru vah. V diagramu jsou váhové vektory (= neurony) zobrazeny jako ˇcerné body v dvojdimenzionáln´ım prostoru, ˇ které zároveˇ n tvoˇr´ı centra shluk˚ u. Cern´ e ˇc´ ary pˇredstavuj´ı pˇr´ımky spojuj´ıc´ı váhové vektory sousedn´ıch neuron˚ u. Na obrázku 2.12 je ukázan´ a zmˇena ”pozice” neuronu pˇred a po adaptaci vah na vstupn´ı vektor (zelen´ y bod). Po nauˇcen´ı SOM se na vstup vˇzdy pˇriklád´ a analyzovan´ y neznám´ y vektor hodnot (zelen´ y bod) podobného druhu, jako byly uˇc´ıc´ı vektory a opˇet v´ ypoˇctem podobnosti-vzdálenosti od vektor˚ u vah jednotliv´ ych neuron˚ u (ˇcerné body), se vybere ten v´ıtˇezn´ y neuron, nejv´ıce podobn´ y hodnotám na vstupu. Ten jiˇz pˇredstavuje urˇcitou definovanou skupinu (shluk) a t´ım je znám v´ ysledek. Ten pˇredstavuje zaˇrazen´ı analyzovan´ ych dat do nˇekteré skupiny ˇci kategorie a t´ım i jejich pojmenován´ı a nalezen´ı jejich vlastnost´ı, [SOM]. U-matice Pro zobrazen´ı v´ ysledk˚ u metody SOM se vyuˇz´ıv´ a tzv u-matice. Ta zobrazuje neuronovou s´ıt’ s barevnˇe vyjádˇrenou informac´ı o tom, jak moc se dan´ y neuron liˇs´ı od okoln´ıch ve sv´ ych vah´ ach.


15

Obrázek 2.12: Pˇr´ıklad adaptace vah neuronu v mapˇe rozloˇzen´ı shluk˚ u ve dvojdimenzionáln´ım prostoru

ˇ ım svˇetlejˇs´ı, t´ım je jim podobnˇejˇs´ı. Svˇetlé oblasti vymezené tmavˇs´ı hranic´ı tak pˇredstavuj´ı C´ shluky (clusters) neuron˚ u s podobn´ ym referenˇcn´ım vektorem. Jako pˇr´ıklad m˚ uˇzeme pouˇz´ıt obrázek 2.13, kde vid´ıme jasnˇe jeden takov´ y velk´ y shluk s nepˇr´ıliˇs ostrou hranic´ı a asi bychom naˇsli i pár menˇs´ıch. V této u-matici kaˇzdé druhé pol´ıˇcko pˇredstavuje neuron, mezi nimi jsou vyznaˇceny pˇrechody k sousedn´ım neuron˚ um, takˇze je obrázek informativnˇejˇs´ı, neˇz kdyby byl zhuˇstˇen´ y, jak se obˇcas vyskytuje, a jedno pol´ıˇcko pˇredstavovalo jeden neuron. B´ılé a ˇcerné teˇcky a ˇc´ısla oznaˇcuj´ı neurony, ˇc´ısla jsou názvy, pˇridˇelené vektor˚ um ve vstupn´ıch datech (má-li vstupn´ı vektor 10 poloˇzek, je 11. sloupec dat brán jako jeho název). Existuj´ı r˚ uzné variace u-matice, snaˇz´ıc´ı se pˇrekonat nˇekteré jej´ı nev´ yhody nebo poskytuj´ıc´ı jinou informaci (napˇr. p-matice, u*-matice).

Obrázek 2.13: U-matice pro s´ıt’ 10 x 10

ˇ ´ Í DAT - TEORETICKA ´ C ˇ AST ´ KAPITOLA 3. PREDZPRACOV AN

16

3 Pˇ redzpracov´ an´ı dat - teoretick´ aˇ c´ ast Z´ısk´ aván´ı znalost´ı je proces, kter´ y se provád´ı v nˇekolika kroc´ıch. Tyto kroky se mohou prov´ adˇet v iterac´ıch. Jelikoˇz máme data nejr˚ uznˇejˇs´ıho druhu a ty ˇcasto b´ yvaj´ı tzv. zaˇsumˇel´ a nebo nekonˇ ym problémem pro dolován´ı dat je chybˇej´ıc´ı hodnota atributu. Tyto problémy zistentn´ı. Cast´ mohou vznikat vlivem lidského faktoru, ztrátou dat nebo integrac´ı z r˚ uzn´ ych datov´ ych soubor˚ u. Podstatn´ ym krokem v tomto procesu je proto ˇciˇstˇen´ı a integrace dat. ˇ stˇen´ı, integrace, v´ ˇ stˇ Ciˇ ybˇer a transformace se souhrnnˇe oznaˇcuj´ı jako pˇredzpracov´ an´ı dat. Ciˇ en´ı dat slouˇz´ı k odstranˇen´ı zaˇsumˇen´ ych a nekonzistentn´ıch dat. Integrace dat je krokem, kter´ y spojuje data z r˚ uzn´ ych zdroj˚ u do jednoho zdroje. Transformace dat prov´ ad´ı transformaci dat a upravuje data tak, aby byla vhodná pro dolovac´ı metody (napˇr. normalizace hodnot m˚ uˇze zlepˇsit v´ ysledek dolován´ı). V´ ybˇ er dat zmenˇsuje objem dat pro dolov´ an´ı, napˇr´ıklad pomoc´ı agregace, shlukován´ım, nebo odstranˇen´ım nezaj´ımav´ ych atribut˚ u. Pˇredzpracov´ an´ı dat m˚ uˇze v´ yraznˇe zlepˇsit kvalitu vydolovan´ ych vzor˚ u a t´ım i v´ ysledek dolov´ an´ı. Obecnˇe plat´ı, ˇze data, která chceme pouˇz´ıt pro dolován´ı, mus´ı co nejpˇresnˇeji modelovat realitu, kterou reprezentuj´ı, b´ yt konzistentn´ı, d˚ uvˇerná, aktuáln´ı, dostupná a prospˇeˇsn´ a pro danou u ´lohu. Správné pˇredzpracován´ı dat je d˚ uleˇzité pro z´ısk´ an´ı co nejlepˇs´ıch v´ ysledk˚ u a zab´ır´ a také velké mnoˇzstv´ı ˇcasu.

3.1

ˇ stˇ Ciˇ en´ı dat

Jedná se o odstranˇen´ı problém˚ u nekompletn´ıch, zaˇsumˇel´ ych nebo chybˇej´ıc´ıch hodnot. D˚ uvodem tˇechto problém˚ u m˚ uˇze b´ yt porucha na pˇr´ıstroji pro sbˇer dat, lidsk´ y faktor, chyba komunikaˇcn´ıho ´ kanálu apod. Ukolem ˇciˇstˇen´ı dat je doplnˇen´ı chybˇej´ıc´ıch atribut˚ u, vyhlazen´ı zaˇsumˇel´ ych hodnot, odstranˇen´ı extrémn´ıch hodnot a vyˇreˇsená konzistence. Tento proces nen´ı jednopr˚ uchodov´ y, ale iterativn´ı. Urˇcit´ y krok ˇciˇstˇen´ı m˚ uˇze m´ıt za následek opakov´ an´ı nˇekterého pˇredchoz´ıho kroku. Napˇr´ıklad pˇri odstranˇen´ı nekonzistence, m˚ uˇze vzniknout potˇreba pro odstranˇen´ı chybˇej´ıc´ı hodnoty. 3.1.1

Nekompletn´ı data

Velmi ˇcast´ ym problémem je chybˇej´ıc´ı hodnota atributu, kter´ y vˇsak m˚ uˇze reprezentovat d˚ uleˇzité informace pro proces dolován´ı. Existuje nˇekolik metod pro oˇsetˇren´ı chybˇej´ıc´ıch hodnot. • Ignorov´ an´ı poloˇ zky – tato metoda je vhodná pouze v pˇr´ıpadˇe, pokud v prvku relace chyb´ı nˇekteré dalˇs´ı atributy (nelze odvodit chybˇej´ıc´ı hodnotu atributu) nebo v pˇr´ıpadˇe ˇciˇstˇen´ı dat pro klasifikaci. • Manu´ aln´ı doplnˇ en´ı chybˇ ej´ıc´ı hodnoty – metoda by byla vhodná, ale vˇetˇsinou kv˚ uli velkému mnoˇzstv´ı dat je prakticky nepouˇziteln´ a. Uˇzivatel by rovnˇeˇz musel m´ıt znalosti, které by uplatnil pˇri nahrazován´ı. • Automatick´ e doplnˇ en´ı glob´ aln´ı konstantou – pouˇz´ıv´ a se hodnota mimo rozsah platn´ ych hodnot daného atributu (napˇr. 0 nebo ∞ pro numerick´ y atribut). Pokud by v´ yskyt této odlehlé hodnoty byl n´ızk´ y, algoritmus pro dolov´ an´ı j´ı m˚ uˇze ignorovat, ale v pˇr´ıpadˇe ˇcastého v´ yskytu m˚ uˇze tato metoda negativnˇe ovlivnit v´ ysledek dolov´ an´ı. Algoritmus by mohl tuto konstantu brát za d˚ uleˇzitou a chybnˇe ji interpretovat jako stˇeˇzejn´ı. • Pouˇ zit´ı pr˚ umˇ ern´ e hodnoty atributu – hodnota pro automatické doplˇ nov´ an´ı se vypoˇc´ıtá jako pr˚ umˇer z hodnot atribut˚ u v ostatn´ıch prvc´ıch.


17

• Pouˇ zit´ı pr˚ umˇ ern´ e hodnoty n-tic stejn´ e tˇ r´ıdy – je pouˇzita pr˚ umˇern´ a hodnota atributu z relac´ı, které patˇr´ı do stejné tˇr´ıdy. Napˇr´ıklad v pˇr´ıpadˇe tˇr´ıdy vzdˇel´ an´ı=“vysokoˇskolské“ se pouˇzije pr˚ umˇerná hodnota atributu pˇr´ıjem z pr˚ umˇeru hodnot relac´ı, které spadaj´ı do této tˇr´ıdy. • Doplnˇ en´ı nejpravdˇ epodobnˇ ejˇ s´ı hodnotou – tato hodnota m˚ uˇze b´ yt vypoˇctena pouˇzit´ım odvozovac´ıch nástroj˚ u jako je Bayesovsk´ a klasifikace, regrese apod. Jedná se vlastnˇe o klasifikaci nebo predikci s doplˇ novan´ ym atributem jako c´ılem. Metoda se jev´ı jako nejlepˇs´ı, protoˇze nejv´ıce zohledˇ nuje okoln´ı informace, z nichˇz je doplˇ nuj´ıc´ı hodnota poˇc´ıtána.

3.1.2

Zaˇ sumˇ el´ a data

Jedná se o náhodné chyby v datech. D˚ uvod˚ u pro zaˇsumˇené hodnoty m˚ uˇze b´ yt v´ıce. Vˇetˇsinou jde o chyby vzniklé poruchou na zaˇr´ızen´ı pro sbˇer dat, lidsk´ ym faktorem, ˇspatn´ ym ohodnocen´ım, poruchou hardware nebo pouˇzit´ım r˚ uzn´ ych formát˚ u pro kódov´ an´ı. Techniky, které prov´ adˇej´ı vyhlazen´ı dat, jsou uvedeny n´ıˇze. • Plnˇ en´ı – vyhlazován´ı numerick´ ych dat je prov´ adˇeno tak, ˇze setˇr´ıdˇen´ a posloupnost zohledˇ nuje hodnoty v bl´ızkém okol´ı. Tato technika prov´ ad´ı lokáln´ı vyhlazen´ı. Setˇr´ıdˇené hodnoty se rozdˇel´ı do tzv. koˇs˚ u stejné frekvence. Hodnoty v koˇs´ıch se pak nahrad´ı pr˚ umˇ erem koˇse, medi´ anem koˇse nebo hraniˇ cn´ı hodnotou koˇse. • Regrese – data se nahrazuj´ı hodnotami, které jsou dány regresn´ı kˇrivkou. Lze pouˇz´ıt lineárn´ı nebo v´ıcenásobnou lineárn´ı regresi. • Rozdˇ elen´ı do shluk˚ u (tzv. shlukov´ an´ı) – nalezen´ı odlehl´ ych hodnot, které nelze zaˇradit do ˇzádného shluku. Intuitivnˇe mohou b´ yt hodnoty, které spadnou mimo grupu, brány jako zbloudilé. • Kombinovan´ a poˇ c´ıtaˇ cov´ a a ruˇ cn´ı kontrola - expertn´ı systém urˇc´ı potenciáln´ı odlehlé hodnoty detekc´ı pˇrekroˇcen´ı urˇcitého prahu. Ruˇcn´ı kontrolou se z nich pak vyberou skuteˇcné chybné hodnoty. Metody pro odstraˇ nován´ı ˇsumu z dat m˚ uˇzeme rovnˇeˇz ch´ apat i jako metody pro redukci dat. Lze je pouˇz´ıt i pro diskretizaci hodnot. Poˇz´ıv´ a se metoda pro rozˇclenˇen´ı na intervaly stejné ˇs´ıˇrky nebo rozˇclenˇen´ı na intervaly stejné hloubky.

3.2

Integrace a transformace dat

Jedná se o spojen´ı dat z nˇekolika nezávisl´ ych u ´loˇziˇst’ do jednoho a vytvoˇren´ı jednoho konzistentn´ıho zdroje. V pˇr´ıpadˇe integrace dat jde o nalezen´ı atribut˚ u r˚ uzn´ ych vstup˚ u, které k sobˇe patˇr´ı. Napˇr´ıklad atribut pro identifikaci zboˇz´ı m˚ uˇze b´ yt v jedné databázi (datech) nazván item id v druhé jako iid. Tento problém se oznaˇcuje jako konflikt schématu. Dalˇs´ı podstatnou ˇcást´ı procesu integrace je odstranˇen´ı redundance. To znamená odstranˇen´ı dat, která jsou duplicitn´ı ale i taková, která se daj´ı odvodit z jin´ ych uloˇzen´ ych dat. Redundance se daj´ı detekovat z metadat, ale v datech se m˚ uˇze vyskytnout i silná korelace, která se detekuje tzv. korelaˇcn´ı anal´ yzou. Dalˇs´ım problémem, s kter´ ym se mus´ı integrace vypoˇr´ adat, je konflikt hodnot, kdy jsou odpov´ıdaj´ıc´ı si hodnoty atribut˚ u r˚ uzné, a konflikt identifikace, kdy v r˚ uzn´ ych u ´loˇziˇst´ıch je identifikace objekt˚ u r˚ uzná (napˇr. rodné ˇc´ıslo a poˇradové ˇc´ıslo u osob). Ve fázi transformace se data transformuj´ı tak, aby lépe vyhovovala dolovac´ım metodám a charakteru dolovac´ı u ´lohy. Operace, které m˚ uˇzou b´ yt zahrnuty ve fázi transformace:


18

Obrázek 3.1: Pˇr´ıklad rozdˇelen´ı do shluk˚ u

• Vyhlazen´ı – odstranˇen´ı ˇsumu. • Agregace – aplikuj´ı se sumaˇcn´ı nebo agregaˇcn´ı funkce typické pro plnˇen´ı datového soboru. Obvykle se provád´ı pˇri plnˇen´ı datové kostky pro anal´ yzu na vyˇsˇs´ı u ´rovni abstrakce a slouˇz´ı rovnˇeˇz jako redukce dat, napˇr. denn´ı pˇr´ıjmy slouˇcené, aby se mohly vypoˇc´ıtat mˇes´ıˇcn´ı a roˇcn´ı pˇr´ıjmy. • Generalizace – nahrazen´ı hodnoty atributu jejich obecnˇejˇs´ı hodnotou jako u hierarchie koncept˚ u, napˇr. jednoduch´ y atribut jako je vˇek m˚ uˇze b´ yt mapov´ an na vyˇsˇs´ı u ´roveˇ n jako nezletil´ y, dospˇel´ y... • Normalizace dat – jde o transformaci hodnot tak, ˇze spadaj´ı do urˇcitého intervalu hodnot (typicky je to < 0.0, 1.0 >). Normalizace se prov´ ad´ı typicky u neuronov´ ych s´ıt´ı, shlukován´ı a metody nejbliˇzˇs´ıho souseda, protoˇze by mohlo doj´ıt k negativn´ımu ovlivnˇen´ı v´ ysledku dolován´ı. Normalizace vˇetˇsinou zabrán´ı tomu, aby atribut s velk´ ym rozsahem hodnot pˇrekryl sv´ ym v´ yznamem atributy s menˇs´ım rozsahem hodnot. Existuje celá ˇrada metod pro normalizaci, ale nejˇcastˇejˇs´ı jsou min-max normalizace (lineárn´ı transformace), z-score (normalizace na základˇe pr˚ umˇeru a odchylky) a dekadickou zmˇenou mˇeˇr´ıtka (posunut´ı desetinné ˇcárky tak, aby obor hodnot leˇzel v poˇzadovaném rozsahu).

3.3

Redukce dat

Jelikoˇz je dolován´ı nad velk´ ym mnoˇzstv´ım dat ˇcasovˇe a v´ ypoˇcetnˇe nároˇcné, je ˇz´ adouc´ı zdrojov´ a data vhodn´ ym zp˚ usobem redukovat. Vhodn´ ym zp˚ usobem rozum´ıme tak, ˇze informace obsaˇzen´ a v datech se nezmˇen´ı nebo nezmˇen´ı se charakter dat a je zachov´ ana integrita dat. Pouˇz´ıv´ a se zpravidla 5 technik pro redukci dat: 1. Agregace datov´ e kostky – sumarizace p˚ uvodn´ıch dat. Technika kde jsou operace aplikované na data, tak aby se seskupila do nˇekolikarozmˇerné datové krychle. 2. Odstranˇ en´ı dimenze – provád´ı se, pokud je dimenze pro anal´ yzu nepodstatná nebo málo podstatná. Kl´ıˇcov´ ym faktorem je správné zvolen´ı mnoˇziny atribut˚ u pro redukci. Je nutné znát doménu a v´ yznam uloˇzen´ ych dat vˇcetnˇe závislost´ı.


19

3. Redukce poˇ ctu hodnot – data jsou nahrazena modelem a reprezentov´ ana parametry. 4. Komprese dat – ztrátová ˇci bezztrátov´ a komprese dat. 5. Diskretizace a pouˇ zit´ı konceptu´ aln´ı hierarchie – hodnoty atribut˚ u jsou nahrazeny hodnotami z interval˚ u nebo hodnotami z nˇejaké konceptu´ aln´ı hierarchie. Redukuje se poˇcet r˚ uzn´ ych hodnot atribut˚ u. Mnoˇzina dat m˚ uˇze obsahovat stovky atribut˚ u, ze kter´ ych je spousta nerelevantn´ıch nebo redundantn´ıch pro dob´ yván´ı znalost´ı. Napˇr. pˇri klasifikaci zákazn´ık˚ u, kteˇr´ı si nejsp´ıˇse koup´ı novou plazmovou televizi, je atribut telefonn´ı ˇc´ıslo nepodstatn´ y na rozd´ıl od atribut˚ u plat ˇci vˇek. Vynechán´ı relevantn´ıch atribut˚ u nebo ponech´ an´ı zbyteˇcn´ ych m˚ uˇze zp˚ usobit zmaten´ı procesu dob´ yván´ı znalost´ı nebo jeho zpomalen´ı. Redukce dimenze sniˇzuje velikost dat odstraˇ nov´ an´ım atribut˚ u. Typicky se aplikuj´ı metody v´ ybˇeru podmnoˇziny atribut˚ u. C´ılem je nalézt minimáln´ı podmnoˇzinu atribut˚ u takovou, ˇze rozloˇzen´ı pravdˇepodobnost´ı tˇr´ıd je co nejbl´ıˇze p˚ uvodn´ımu obsazen´ı atribut˚ u. Sn´ıˇzen´ı poˇctu atribut˚ u také zjednoduˇsuje pochopen´ı nalezen´ ych vzor˚ u. V mnoˇzinˇe d atribut˚ u existuje d2 r˚ uzn´ ych podmnoˇzin. Hledán´ı nejlepˇs´ı podmnoˇziny hrubou silou je ˇcasovˇe nároˇcné. Proto se pouˇz´ıvaj´ı r˚ uzné heuristiky, pˇrev´ aˇznˇe na bázi hladov´ ych algoritm˚ u, tj. pˇri prohledáván´ı vyb´ıraj´ı podle nejlepˇs´ı moˇznosti v daném okamˇziku. Strategi´ı je pˇrijmout lokálnˇe optimáln´ı krok ve snaze naj´ıt globáln´ı optimum. V praxi jsou tyto metody efektivn´ı. Kvalita atribut˚ u se urˇcuje statistick´ ymi testy, pˇredpoklád´ a se, ˇze jsou nezávislé. Základn´ı heuristické metody jsou zobrazeny na obrázku 3.2

Obrázek 3.2: Metody v´ ybˇeru podmnoˇziny atribut˚ u

1. Dopˇ redn´ y v´ ybˇ er: zaˇc´ıná se s prázdnou mnoˇzinou atribut˚ u. V kaˇzdém kroku se vloˇz´ı nejlepˇs´ı atribut ze zb´ yvaj´ıc´ıch v p˚ uvodn´ı mnoˇzinˇe. 2. Zpˇ etn´ a eliminace: zaˇc´ıná se s u ´plnou p˚ uvodn´ı mnoˇzinou atribut˚ u. V kaˇzdém kroku se odstran´ı nejhorˇs´ı atribut z mnoˇziny. 3. Kombinovan´ y dopˇ redn´ y a zpˇ etn´ y bˇ eh: kombinace pˇredchoz´ıch, kdy se v kaˇzdém kroku pˇridá nejlepˇs´ı a odstran´ı nejhorˇs´ı atribut. 4. Rozhodovac´ı stromy: kaˇzd´ y vnitˇrn´ı uzel stromu obsahuje test atributu, kaˇzd´ a vˇetev odpov´ıdá v´ ysledku testu a kaˇzd´ y list znamená v´ ysledek predikce tˇr´ıdy. Atributy ve stromu jsou redukovanou podmnoˇzinou atribut˚ u a ostatn´ı jsou irelevantn´ı.


20 3.3.1

Poˇ cetn´ı redukce

Poˇcetn´ı redukce slouˇz´ı k sn´ıˇzen´ı poˇctu dat volbou alternativn´ı formy reprezentace dat. Metody mohou b´ yt parametrické, kdy se data vyjádˇr´ı jejich modelem a uchovaj´ı se jen jeho parametry (pˇr´ıpadnˇe i odlehlé hodnoty). Neparametrické metody jsou histogramy, shlukov´ an´ı a vzorkov´ an´ı. Regresn´ı metoda - V lineárn´ı regresn´ı metodˇe jsou data modelov´ ana, aby odpov´ıdala pˇr´ımce. Podle rovnice y = ax + b je hodnota y pˇredpov´ıdan´ a podle hodnoty x. Parametry a a b se urˇc´ı metodou nejmenˇs´ıch ˇctverc˚ u, aby odchylka pˇredpov´ıdané hodnoty od skuteˇcné byla minimáln´ı. Histogramy - Histogram atributu A rozdˇel´ı data do disjunktn´ıch mnoˇzin. Mnoˇziny jsou zobrazeny na vodorovné ose, v´ yˇska odpov´ıdá pr˚ umˇerné ˇcetnosti prvk˚ u v mnoˇzinˇe. Mnoˇziny mohou b´ yt i jednoprvkové. Zp˚ usob rozdˇelen´ı hodnot atributu do mnoˇzin m˚ uˇze probˇehnout nˇekolika zp˚ usoby: 1. Konstantn´ı ˇs´ıˇrka: velikost mnoˇziny je volena konstantnˇe. 2. Konstantn´ı v´ yˇska: mnoˇziny jsou voleny tak, aby ˇcetnost prvk˚ u v kaˇzdé mnoˇzinˇe byla pˇribliˇznˇe stejná. 3. V-optimáln´ı: pro dan´ y poˇcet mnoˇzin je histogram volen tak, aby váˇzen´ y souˇcet p˚ uvodn´ıch dat byl nejmenˇs´ı. Váha v mnoˇzinˇe je poˇcet hodnot v n´ı. 4. MaxDiff: uvaˇzuj´ı se rozd´ıly mezi kaˇzd´ ym párem sousedn´ıch hodnot. Hranice mnoˇziny je vytvoˇrena mezi kaˇzd´ ym párem, pro páry maj´ıc´ı β − 1 nejvˇetˇs´ıch rozd´ıl˚ u, β je uˇzivatelsky definovaná. Shlukov´ an´ı - Metody shlukován´ı rozˇcleˇ nuj´ı seznam objekt˚ u do skupin tak, aby v rámci jedné skupiny byly objekty podobné a odliˇsné od objekt˚ u v jiné skupinˇe. Podobnost odpov´ıdá vzdálenosti objekt˚ u v prostoru. Vlastnost´ı skupiny je pr˚ umˇer, kter´ y odpov´ıd´ a nejvˇetˇs´ı vzdálenosti mezi dvˇema objekty ve skupinˇe, a vzdálenost od tˇeˇziˇstˇe, která odpov´ıd´ a pr˚ umˇerné vzdálenosti objekt˚ u od tˇeˇziˇstˇe skupiny (pr˚ umˇern´ y objekt ve skupinˇe). Vzorkov´ an´ı - Umoˇzn ˇuje redukovat data v´ ybˇerem náhodného vzorku p˚ uvodn´ıch dat. Z velkého objemu dat D obsahuj´ıc´ıho N poloˇzek m˚ uˇzeme vybrat vzorek nˇekolika zp˚ usoby: 1. Náhodn´ y v´ ybˇer vzorku bez nahrazen´ı: z mnoˇziny D se náhodnˇe vybere n < N prvk˚ u, kdy pravdˇepodobnost v´ ybˇeru kaˇzdého je 1/N . 2. Náhodn´ y v´ ybˇer vzorku s nahrazen´ım: podobné pˇredchoz´ımu s t´ım, ˇze prvky mohou b´ yt vybrány nˇekolikrát. 3. Vzorek ze shluk˚ u: pokud jsou poloˇzky v D uspoˇr´ ad´ any do M disjunktn´ıch mnoˇzin, pak aplikac´ı pˇredchoz´ıch metod vybereme m < M skupin. 4. Rozvrstven´ y vzorek: pokud je D rozdˇeleno do nˇekolika disjunktn´ıch vrstev (vrstva m˚ uˇze b´ yt napˇr. vˇekov´ a skupina u zákazn´ıka), pak je rozvrstven´ y vzorek z´ısk´ an aplikac´ı náhodného v´ ybˇeru pro kaˇzdou vrstvu. T´ımto máme zaruˇceno, ˇze i málo poˇcetn´ a vrstva bude zastoupena. V´ yhodou metody vzorkován´ı je, ˇze ˇcasov´ a sloˇzitost závis´ı na n a nikoli na velikosti p˚ uvodn´ıch dat N. Ostatn´ı metody redukce dat potˇrebuj´ı alespoˇ n jeden pr˚ uchod pˇres mnoˇzinu D. Vzorkován´ı je pˇrirozenou metodou redukce dat. Chybu m˚ uˇzeme snadno korigovat volbou velikosti poˇctu vzork˚ u n.


3.4

21

Dalˇ s´ı moˇ zn´ e metody pˇ redzpracov´ an´ı

Pˇredstavme si struˇcnˇe jeˇstˇe nˇekteré dalˇs´ı metodu pˇredzpracov´ an´ı dat. PCA Principal Component Analysis (ˇcesky anal´ yza hlavn´ıch komponent) v sobˇe zahrnuje dva druhy pˇredzpracován´ı. V prvn´ım kroku transformuje data do nového souˇradného systému tak, ˇze hodnoty na prvn´ı ose (hlavn´ı komponentˇe) maj´ı nejvˇetˇs´ı rozptyl, hodnoty na druhé ose maj´ı druh´ y nejvˇetˇs´ı rozptyl, a tak dále. Nové souˇradnice jsou vˇzdy nˇejakou lineárn´ı kombinac´ı souˇradnic p˚ uvodn´ıch a nemaj´ı ˇz´ adn´ y fyzikáln´ı v´ yznam. Druh´ y, voliteln´ y krok spoˇc´ıvá v redukci poˇctu atribut˚ u. Ten m˚ uˇzeme napˇr´ıklad zvolit pevnˇe, tedy tak, ˇze po prvn´ım kroku vybereme pouze prvn´ıch k komponent. Druhou variantu pˇredstavuje volba promˇenného poˇctu komponent na základˇe splnˇen´ı nˇejakého kritéria. FastICA Jedná se o implementaci metody ICA (Independent Component Analysis, anal´ yza nezávisl´ ych komponent), jej´ıˇz myˇslenka je následuj´ıc´ı. Metoda pˇredpoklád´ a, ˇze data, která máme, respektive jejich atributy, vznikly lineárn´ı kombinac´ı jin´ ych, vzájemnˇe nezávisl´ ych atribut˚ u (nezávisl´ ych komponent). Algoritmus se snaˇz´ı naj´ıt zpˇetnou transformaci tak, aby dostal opˇet p˚ uvodn´ı” nezávislé komponenty. Metoda, p˚ uvodnˇe vyvinut´ a hlavnˇe pro ” zpracován´ı signálu, lze pouˇz´ıt i pro jiná data neˇz jen ˇcasové pr˚ ubˇehy. Známa je napˇr´ıklad ukázka odstranˇen´ı ˇsumu z obrázku, ale i jiné. Feature selection Takto jsou souhrnnˇe oznaˇcov´ any metody, které se ze souboru atributu snaˇz´ı vybrat ty, které jsou z hlediska struktury dat nejv´ yznamnˇejˇs´ı, a ty nepodstatné vynechat. T´ım se ulehˇc´ı práce uˇc´ıc´ımu algoritmu, kter´ y se m˚ uˇze soustˇredit” na podstatné atributy a ” ´ nezatˇeˇzovat se ménˇe podstatn´ ymi. Uvodn´ ı náhled do této problematiky pˇrin´ aˇs´ı napˇr´ıklad [Guyon, Elisseeff, 03], podle [Zelenka, 07] .

´ ˚ KAPITOLA 4. VYSLEDKY EXPERIMENTU

22

4 V´ ysledky experiment˚ u V této kapitole budou postupnˇe popsány jednotlivé metody (které byly popsány v´ yˇse) spolu s v´ ysledky experiment˚ u nad antropologick´ ymi daty.

4.1 4.1.1

Prediktivn´ı metody GMDH

V´ ypoˇcty pro odhad stáˇr´ı kostry jsem prov´ adˇel v programu KnowledgeMiner 5 v rámci své bakaláˇrské práce. Nebot’ je program urˇcen pro platformu Mac, bylo zapotˇreb´ı m´ıt program spuˇstˇen pod emulátorem, coˇz nebyl problém a v´ ypoˇcty prob´ıhaly bez problém˚ u. Vˇsechny experimenty byly provádˇeny pro s´ıt’ GMDH, která je v tomto software jeˇstˇe vylepˇsena o to, ˇze neurony nemusej´ı m´ıt jenom 2 vstupy, ale i lich´ y poˇcet, napˇr´ıklad 1. Dále bylo pouˇzito vylepˇsen´ı nazvané layer-break-through, které znamená to, ˇze jednotlivé neurony nemusej´ı b´ yt propojeny jenom v sousedn´ıch vrstvách, ale i v mezilehl´ ych. Coˇz je znázornˇeno na obrázku 4.1

Obrázek 4.1: V´ ysledn´ y GMDH model v KnowledgeMiner softwaru za pouˇzit´ı vylepˇsen´ı layerbreak-trough

Experimenty byly provádˇeny na dvou mnoˇzin´ ach testovac´ıch a trénovac´ıch dat (train/test 1 a train/test2), za u ´ˇcelem vylouˇcen´ı nerovnomˇerného rozloˇzen´ı hodnot v trénovac´ı a testovac´ı mnoˇzinˇe. Jako v´ ystupn´ı ukazatel pro u ´spˇeˇsnost odhadu stáˇr´ı kostry byla zvolena modifikovan´ a hodnota RMS (Root mean squared error). Ta se poˇc´ıt´ a podle vzorce 4.1 v uN X 1u RM S = t (y − d)2i

N

(4.1)

i=1

Kde: N – poˇcet pouˇzit´ ych vzork˚ u, y – v´ ystupn´ı vypoˇc´ıtan´ a hodnota, d – skuteˇcn´ a hodnota V´ ysledky práce se s´ıt´ı GMDH jsou vidˇet v tabulce 4.1. V této tabulce je vidˇet nˇekolik konfigurac´ı, s nimiˇz byly vytváˇreny modely. Bylo vybráno 8 nejlepˇs´ıch konfigurac´ı. Jednotlivé konfigurace jsou popsány v mé bakaláˇrské práci [Nov´ ak, 06]. Stˇeˇzejn´ı jsou hodnoty chyby RMS. Bohuˇzel z v´ ysledk˚ u je patrné, ˇze chyba nen´ı zanedbatelná (pr˚ umˇernˇe kolem 0,68-0,69). Z toho plyne, ˇze data jsou velmi zaˇsumˇelá, ˇc´ımˇz zanáˇs´ı do predikce stáˇr´ı chybu. Pˇri proch´ azen´ı jednotliv´ ych v´ ysledk˚ u predikce stáˇr´ı jsem u nˇekter´ ych mˇeˇren´ı naˇsel odchylku i 30 let. Nicménˇe je metoda GMDH k urˇcován´ı stáˇr´ı dobr´ ym nástrojem. Bohuˇzel z antropologick´ ych dat nejsme schopni dostat lepˇs´ı v´ ysledky v d˚ usledku zanesen´ ych nepˇresnost´ı.

´ ˚ KAPITOLA 4. VYSLEDKY EXPERIMENTU Configuration config 1 config 2 config 3 config 4 config 5 config 6 config 7 config 8

Train 1 0,45773 0,47688 0,47670 0,46646 0,53752 0,45780 0,45417 0,44980

Test 1 0,69570 0,71613 0,71094 0,70330 0,77992 0,69291 0,69027 0,70599

23 Train 2 0,46431 0,46795 0,46771 0,46917 0,55504 0,46367 0,46110 0,45575

Test 2 0,67458 0,66152 0,66193 0,66177 0,72760 0,67290 0,67421 0,66131

Test avg 0,68514 0,68883 0,68643 0,68253 0,75376 0,68290 0,68224 0,68365

Tabulka 4.1: Urˇcován´ı vˇeku kostry - RMS chyba GMDH model˚ u 4.1.2

GAME

Tato metoda neuronov´ ych s´ıt´ı byla testov´ ana pomoc´ı stejnojmenného softwaru GAME. Ten byl vyvinut na naˇs´ı katedˇre Pavlem Kord´ıkem. Nyn´ı je program bˇeˇznˇe pouˇz´ıv´ an a na jeho v´ yvoji se stále pracuje a pod´ıl´ı se na nˇem celá ˇrada lid´ı. V´ ysledky testován´ı provedené Pavlem Kord´ıkem jsou patrné z tabulky 4.2: Model GAME GAME GMDH GMDH

Train 1 0,458 0,458 0,454 0,449

Test 1 0,660 0,659 0,690 0,705

Train 2 0,455 0,455 0,461 0,455

Test 2 0,679 0,679 0,674 0,661

Test avg 0,669 0,669 0,682 0,683

Tabulka 4.2: Srovn´ an´ı v´ ysledk˚ u GMDH a GAME Zde jsou vybrány dva nejlepˇs´ı v´ ysledky GMDH s´ıtˇe, spolu s dvˇema nejlepˇs´ımi z GAME s´ıtˇe. Je patrné, ˇze rozd´ıly nejsou pˇr´ıliˇs veliké. To je dáno také d´ıky tomu, ˇze KnowledgeMiner má v sobˇe implementovány pokroˇcilejˇs´ı funkce s´ıtˇe GMDH, které se v urˇcit´ ych ohledech podobaj´ı s´ıt´ım ’ GAME. Nicménˇe o nˇeco lépe dopadla s´ıt GAME. V´ ysledky jsou interpretov´ any opˇet pomoc´ı RMS, jako je tomu v pˇredchoz´ı metodˇe. Je patrné, ˇze i zde je chyba nezanedbatelná a odhadovan´ y vˇek nen´ı pˇr´ıliˇs pˇresn´ y. Nicménˇe to neznamená, ˇze by metoda GAME nebyla vhodná, ba naopak. Bohuˇzel data nesou velkou nepˇresnost. Projevilo se zde i to, ˇze nástroj GAME je v´ıce vˇedeck´ ym a má mnohem vˇetˇs´ı moˇznosti nastaven´ı ˇ ımˇz lze také velmi zjemnit nastaven´ı experiment˚ oproti programu KnowledgeMiner. C´ u a t´ım je i zpˇresnit. Proto jsou v´ ysledky lepˇs´ı. Nicménˇe to sebou také nese nutnost znát podrobnˇeji danou problematiku, aby bylo dosaˇzeno kvalitn´ıho nastaven´ı. Obˇe metody GMDH a GAME se ukázaly jako velmi kvalitn´ı nástroje k z´ısk´ av´ an´ı znalost´ı z dat. GAME prokázal kvalitnˇejˇs´ı v´ ystupy a proto ho lze doporuˇcit jako vhodného kandid´ ata pˇri práci s lineárn´ı regres´ı.

4.2

Klasifikaˇ cn´ı metody

V této sekci je m´ ym c´ılem shrnout a porovnat v´ ysledky z jin´ ych prac´ı, které se také zab´ yvaly experimenty s antropologick´ ymi daty, zhodnotit jednotlivé v´ ysledky pro kaˇzdou metodu a poté


24 Parametr initialisation learning function learning rate neurons training iterations use voting window size

LVQ1 K-nearest neighbour even linear decay 0,25 250 7600 false -

Tabulka 4.3: Parametry s´ıtˇe LVQ1 vˇsechny vzájemnˇe porovnat a doporuˇcit nejvhodnˇejˇs´ı. Coˇz je shrnuto a porovn´ ano v kapitole Zhodnocen´ı v´ ysledk˚ u na stranˇe 41. V´ ysledky jednotliv´ ych metod se daly dobˇre porovn´ avat, protoˇze jsou stejnˇe hodnoceny a bylo pouˇzito rozdˇelen´ı ro stejn´ ych klasifikaˇcn´ıch tˇr´ıd. 4.2.1

LVQ

Pˇri testech proveden´ ych pomoc´ı LVQ1 na antropologick´ ych datech bylo pouˇzito rozdˇelen´ı do následuj´ıc´ıch vˇekov´ ych kategori´ı: 1. P˚ uvodn´ı vˇekové kategorie, tj. vˇek u ´mrt´ı < 29, 30 − 39, 40 − 49, 50 − 59, 60 − 69 a > 70 (T1 ). 2. Vˇekové kategorie < 29, 30 − 49, > 50 (T2 ). 3. Vˇekové kategorie < 29, 30 − 59, > 60 (T3 ). Uvaˇzovat populaci pocházej´ıc´ı z Evropy: • Celá populace. ˇ ycaˇri), Spain • Pouze populace pocházej´ıc´ı z Evropy, tedy tˇr´ıdy Port (Portugalci), Suis (Sv´ ˇ (Spanˇelé), USAE (pˇristˇehovalci do USA), Africaner (afrikánci - potomci holandsk´ ych pˇristˇehovalc˚ u ˇzij´ıc´ı v Jiˇzn´ı Africe). Zkoumat pouze jedno pohlav´ı: • Obˇe pohlav´ı. • Jen muˇzi. • Jen ˇzeny. Celkem bylo pouˇzito 3 · 2 · 3 = 18 soubor˚ u dat, které byly vygenerov´ any z p˚ uvodn´ıch dat obsahuj´ıc´ıch vˇsechny atributy. Experimenty byly provedeny pomoc´ı softwarového nástroje WEKA. Protoˇze ten ale neobsahuje algoritmy pro neuronové s´ıtˇe typu LVQ, bylo tˇreba je doplnit formou plug-inu. Parametry vˇsech s´ıtˇe byly vˇzdy nastaveny tak, aby dávaly pro p˚ uvodn´ı sadu dat co nejlepˇs´ı v´ ysledky (nastaven´ı je patrné z tabulky 4.3, tj. co nejvˇetˇs´ı procento u ´spˇeˇsnˇe ohodnocen´ ych testovac´ıch dat. Dále byla pouˇzita 10-ti foldová cross-validace.


25

Obrázek 4.2: LVQ - celkov´ y pˇrehled u ´spˇeˇsnosti ohodnocen´ı

Kategorie T1 T2 T3

obˇe pohlav´ı 38,4% 68,6% 69,6%

ˇzeny 40,5% 68,6% 70,6%

muˇzi 35,8% 65,8% 65,3%

Evropané obˇe pohlav´ı ˇzeny 40,1% 46,6% 71,1% 71,5% 69,9% 73,3%

muˇzi 38,2% 72,0% 63,2%

Tabulka 4.4: LVQ1 - procentu´ aln´ı u ´spˇeˇsnost klasifikace V´ ysledky experiment˚ u jsou vidˇet z grafu správnˇe ohodnocen´ ych instanc´ı 4.2. P´ısmeno m v grafu znamená, ˇze ve vstupn´ıch datech byli pouze muˇzi, f jen ˇzeny a e jen Evropané. Je zde pˇeknˇe vidˇet rozptyl správnˇe zaˇrazen´ ych jedinc˚ u v rámci mˇeˇrené skupiny. Dále si lze vˇsimnout skoku mezi urˇcován´ım hodnot do v´ıce menˇs´ıch skupin oproti menˇs´ımu poˇctu skupin. Rozd´ıl mezi tˇr´ıdami T1 oproti T2 + T3. Dále v tabulce 4.4 jsou shrnuty v´ ysledky v´ ypoˇct˚ u. Jsou brány jako pr˚ umˇer z 5 mˇeˇren´ı. Je patrné, ˇze pˇri rozdˇelen´ı do v´ıce vˇekov´ ych skupin odhad vˇeku do správnˇe skupiny nen´ı pˇr´ıliˇs pˇresn´ y (38,4%). Pokud, ale sn´ıˇz´ıme poˇcet skupin a t´ım velikost jednotliv´ ych kategori´ı rozˇs´ıˇr´ıme, odhad se zpˇresn´ı. To je patrné u v´ ysledk˚ u skupin T2 a T3. Dále je vidˇet, ˇze rozdˇelen´ı podle pohlav´ı na muˇze a ˇzeny nepˇrináˇs´ı pˇr´ıliˇsné zlepˇsen´ı, i kdyˇz u ˇzen je klasifikace o pár procent pˇresnˇejˇs´ı. Klasifikace pouze Evropan˚ u pˇrináˇs´ı jiˇz o nˇeco patrnˇejˇs´ı zlepˇsen´ı oproti pouˇzit´ ym cel´ ym dat˚ um. V´ ysledky mˇeˇren´ı podle [August´ yn, 07]. 4.2.2

Perceptron

Experimenty byly provádˇeny opˇet v programu WEKA, na dvou druz´ıch v´ıcevrstvé s´ıtˇe perceptron, automaticky generované a minimáln´ı. Testy byly prov´ adˇeny pomoc´ı cross-validation, mnoˇzina vzorku se náhodnˇe rozdˇelila do deseti stejnˇe velk´ ych skupin (Fold) a následnˇe se postupnˇe vyb´ırala jedna skupina a ta se pouˇzila jako uˇc´ıc´ı a ostatn´ı skupiny slouˇzily jako testovac´ı. Tento postup se provádˇel tak dlouho, dokud kaˇzd´ a skupina nebyla v pozici uˇc´ıc´ı mnoˇziny. Kaˇzd´ y test byl proveden 6 krát a pokaˇzdé byly vzorky rozdˇeleny do skupin r˚ uznˇe.


26

Vstupn´ı data byly rozdˇeleny stejnˇe jako u s´ıt´ı typu LVQ. Tedy na skupiny T1 - T3, rozdˇelen´ı podle pohlav´ı a Evropany. Parametry nastaven´ı: 1. Automaticky generovan´ a s´ıt’ Parametry s´ıtˇe generoval automaticky pro kaˇzdou vstupn´ı mnoˇzinu software WEKA. Parametry s´ıtˇe pro jednotlivé vstupn´ı mnoˇziny (vstupn´ı vrstva - skrytá vrstva - v´ ystupn´ı vrstva) jsou vidˇet v tabulce 4.5 T1 T1e T1ef/T1em T1f/T1m T2 T2e T2ef/T2em T2f/T2m

21-13-6 16-11-6 15-10-6 20-13-6 21-12-3 16-9-3 15-9-3 20-11-3

T3 T3e T3ef/T3em T3f/T3m

21-12-3 16-9-3 15-9-3 20-11-3

Tabulka 4.5: Parametry automaticky generované s´ıtˇe 2. Minim´ aln´ı s´ıt’ Parametry s´ıtˇe vych´ azej´ı z automaticky generované s´ıtˇe, jen poˇcet neuron˚ u ve skryté vrstvˇe byl sn´ıˇzen na minimum. Tedy stejn´ y jako poˇcet neuron˚ u ve v´ ystupn´ı vrstvˇe. Parametry s´ıtˇe jsou v tabulce 4.6. T1 T1e T1ef/T1em T1f/T1m T2 T2e T2ef/T2em T2f/T2m

21-6-6 16-6-6 15-6-6 20-6-6 21-3-3 16-3-3 15-3-3 20-3-3

T3 T3e T3ef/T3em T3f/T3m

21-3-3 16-3-3 15-3-3 20-3-3

Tabulka 4.6: Parametry minimáln´ı s´ıtˇe V´ ysledky experimentu jsou vyhodnoceny pomoc´ı pr˚ umˇeru ˇsesti experiment˚ u nad jedn´ım vstupn´ım souborem. Hodnoty jsou uvedeny v tabulce 4.7 a 4.11. Druh´ y zp˚ usob je pomoc´ı graf˚ u 4.3 a 4.4, které nejen znázorˇ nuj´ı pr˚ umˇernou hodnotu, ale zároveˇ n je moˇzné vidˇet i rozptyl jednotliv´ ych hodnot. Kategorie T1 T2 T3

obˇe pohlav´ı 36,6% 65,7% 67,0%

ˇzeny 36,2% 65,4% 64,8%

muˇzi 37,9% 64,5% 68,1%


muˇzi 42,3% 68,0% 71,7%

Tabulka 4.7: Pr˚ umˇerná u ´spˇeˇsnost klasifikace na automaticky generované s´ıti Z experiment˚ u je vidˇet, ˇze pokud jsou data rozdˇelena do ˇsesti vˇekov´ ych kategori´ı, tak se u ´spˇeˇsnost klasifikace pohybuje kolem 40%. Situace se znatelnˇe zlepˇs´ı, pokud data rozdˇel´ıme


27

Obrázek 4.3: Rozptyl u ´spˇeˇsnosti klasifikace pomoc´ı automaticky generované s´ıtˇe

Kategorie T1 T2 T3

obˇe pohlav´ı 37,4% 66,0% 67,6%

ˇzeny 35,0% 66,3% 65,3%

muˇzi 38,6% 66,4% 69,8%


muˇzi 41,3% 68,5% 75,0%

Tabulka 4.8: Pr˚ umˇern´ au ´spˇeˇsnost klasifikace na minimáln´ı s´ıti pouze do tˇr´ı vˇekov´ ych kategori´ı. V tomto pˇr´ıpadˇe uˇz se u ´spˇeˇsnost klasifikace pohybuje mezi 60% a 70%. Také se ukázalo, ˇze pokud pouˇzijeme jen populace poch´ azej´ıc´ı pouze z Evropy, u ´spˇeˇsnost klasifikace se nepatrnˇe zv´ yˇs´ı (kolem 1 az. 5%). Rozdˇelen´ı na muˇzské a ˇzenské pohlav´ı pˇrináˇs´ı nejednoznaˇcné v´ ysledky, v nˇekter´ ych pˇr´ıpadech se u ´spˇeˇsnost klasifikace zv´ yˇsila, a v nˇekter´ ych dokonce poklesla. Posledn´ım experimentem se s´ıt´ı perceptron byl vliv poˇctu neuron˚ u ve skryté vrstvˇe na u ´spˇeˇsnost klasifikace a ukázalo se, ˇze pˇri sn´ıˇzen´ı poˇctu neuron˚ u sice v pr˚ umˇeru u ´spˇeˇsnost nepatrnˇe vzrostla, ale zato znatelnˇe vzrostl rozptyl jednotliv´ ych hodnot, [Prchl´ık, 07] Z experiment˚ u je vidˇet, ˇze dopadly hodnˇe podobnˇe jako s´ıt LVQ. A i závˇer z tohoto vyhodnocen´ı je, ˇze urˇcován´ı do vˇetˇs´ıho poˇctu menˇs´ıch vˇekov´ ych skupin je ménˇe pˇresné neˇz do ménˇe s vˇetˇs´ım rozpˇet´ım. Coˇz je vcelku logick´ y v´ ysledek. Na jednu stranu je dobˇre, ˇze testy dopadly podobnˇe jako u pˇredchoz´ı metody LVQ, protoˇze si tak vzájemnˇe potvrzuj´ı v´ ysledky. Na druhou stranu by bylo v´ yhodnˇejˇs´ı, kdyby nˇekter´ a si poradila s AD lépe a podala pˇresnˇejˇs´ı urˇcov´ an´ı do dané skupiny. 4.2.3

RBF

I zde byl pouˇzit program WEKA a stejné rozdˇelen´ı antropologick´ ych dat jako v pˇredchoz´ıch dvou metodách. Zastoupen´ı vˇekov´ ych tˇr´ıd pro skupinu T1 shrnuje tabulka 4.9. Pouˇzit´ y simulátor Weka 3.4.11 má implementov´ anu normalizovanou Gaussovskou RBF s´ıt’ a


28

Obrázek 4.4: Rozptyl u ´spˇeˇsnosti klasifikace pomoc´ı minimáln´ı s´ıtˇe Tˇr´ıda <29 Poˇcet 115 Zastoupen´ı 12,0%

30-39 168 18,6%

40-49 189 19,8%

50-59 176 18,4%

60-69 149 15,6%

>70 156 16,4%

Tabulka 4.9: Zastoupen´ı ve vˇekov´ ych tˇr´ıd´ ach pouˇz´ıvá standardn´ı algoritmus K-means. Uˇzivatel má moˇznost pro RBF s´ıt’ nastavit na následuj´ıc´ı parametry: • numClusters n - Poˇcet shluk˚ u, které by mˇel vygenerovat algoritmus K-means. Poˇcet shluk˚ u je tˇreba odhadnout. Pˇr´ıklad klasifikace pro 2D prostor vstupn´ıch vektor˚ u, kter´ y obsahuje dva shluky je na obrázku 4.5 • minStdDev σ – minimáln´ı standardn´ı odchylka f (x) pro shluky. Parametr σ ovlivˇ nuje urˇcován´ı shluk˚ u. Velikost parametru má vliv na to jak´ ym zp˚ usobem se s´ıt’ bude uˇcit. Pˇr´ıliˇs malá hodnota m˚ uˇze zp˚ usobit to, ˇze s´ıt’ bude pˇreuˇcen´ a, pˇr´ıliˇs velk´ a naopak to, ˇze bude docházet k chybné klasifikaci. • clusteringSeed x - Náhodná inicializace pro K-means algoritmus, pro kaˇzdé mˇeˇren´ı byla zvolena jiná iniciaˇcn´ı hodnota. • maxIts -1 - Maximáln´ı poˇcet iterac´ı pro splnˇen´ı logistické regrese. Pouze pro problémy s diskrétn´ımi tˇr´ıdami. • ridge 1.0E-8 - hodnota vrcholu pro logistickou nebo lineárn´ı regresi. Byly testovány r˚ uzné parametry s´ıtˇe n (numClusters) a σ (minStdDev ). Pro vyˇc´ıslen´ı chyby bylo vyuˇzito metody cross-validation. Ve v´ ysledc´ıch je ukáz´ ana pr˚ umˇern´ a hodnota v´ ysledku. Nejprve se provedl odhad parametru σ (minStdDev ), nejlepˇs´ıch v´ ysledk˚ u pro s´ıtˇe s n = 2 a n = 3 bylo dosaˇzeno pro σ = 0,775. S touto hodnotou se pak vyzkouˇselo mˇenit poˇcet shluk˚ u n. n V´ ypoˇcetn´ı sloˇzitost roste s poˇctem shluk˚ u pˇribliˇznˇe O(2 ) a ˇcas v´ ypoˇctu pro hodnoty n > 4 byl ˇrádovˇe v hodinách aˇz des´ıtkách hodin (u souboru T1).


29

Obrázek 4.5: 2D prostor vstupn´ıch vektor˚ u obsahuj´ıc´ı dva shluky

Zmˇena parametr˚ u se projevovala sp´ıˇse nev´ yraznˇe a dosaˇzené v´ ysledky se mˇenily v ˇr´ adech okolo jednotek procent. Nejlepˇs´ıch v´ ysledk˚ u bylo dosaˇzeno pro n = 4; σ = 0,775. A to jak pro vstup s poˇctem tˇr´ıd 4 (T2 a T3), tak i pro T1 s 6 tˇr´ıdami. S dále rostouc´ım poˇctem shluk˚ u se dosahovalo stejn´ ych nebo dokonce horˇs´ıch v´ ysledk˚ u. Pro kostry ˇzen Evropanek pro T1 byl namˇeˇren nejlepˇs´ı v´ ysledek dokonce pouze pro n = 2. Pˇredpoklad, ˇze vˇetˇs´ı poˇcet shluk˚ u zlepˇs´ı v´ ysledky klasifikace, se nepotvrdil. Ve v´ ysledc´ıch je ˇ patrn´ y v´ yrazn´ y rozd´ıl klasifikace koster ˇzen v souborech T2 a T3. Zeny jsou v celkovém souboru rovnomˇernˇe zastoupeny. V souboru Evropanek je v´ yraznˇejˇs´ı rozd´ıl v zastoupen´ı tˇr´ıd, viz následuj´ıc´ı histogram; podle [Bruchanov, 07]. T3 < 29 30 - 59 > 60

ˇ Zeny Evropanky 32 111 103

T2 < 29 30 - 59 < 29

ˇ Zeny Evropanky 32 66 148

Tabulka 4.10: Zastoupen´ı ˇzen Evropanek

Kategorie T1 T2 T3

obˇe pohlav´ı 39,5% 67,6% 68,5%

ˇzeny 38,7% 68,0% 66,2%

muˇzi 43,4% 69,0% 70,8%


muˇzi 45,7% 72,2% 73,9%

Tabulka 4.11: RBF - nejlepˇs´ı v´ ysledky pro n=4 a σ = 0,775 V´ ysledky jsou podobné tˇem z metod Perceptron a LVQ. Opˇet zde doˇslo k podobné u ´spˇeˇsnosti klasifikace a ni tato metoda nevyboˇcuje oproti dˇr´ıve testovan´ ym.


30

Obrázek 4.6: RBF - správnˇe zaˇrazené vzorky pro n=4 a σ = 0,775

4.3 4.3.1

Metody shlukov´ e anal´ yzy SOM

Pro práci se SOM mapami byl pouˇzit software SOM-PAK (Self-Organizing Map Packed). Jde o softwarov´ y simulátor Kohonenovy samoorganizuj´ıc´ı neuronové s´ıtˇe. Program pracuje pod operaˇcn´ım systémem DOS, ale dá se zprovoznit i pod Win 2000/XP. Ovlád´ an´ı tohoto programu je realizováno prostˇrednictv´ım dávkového souboru, kde si lze nastavit typ s´ıtˇe, poˇcet uˇc´ıc´ıch krok˚ u a jiné. Vliv pohlav´ı na predikci vˇ eku Jako prvn´ı bylo zjiˇst’ováno, jestli má nˇejak´ y vliv, zda se jedná o kostru muˇzského nebo ˇzenské pohlav´ı. Zda by mˇela skuteˇcnost, ˇze se jedná o jedno nebo druhé vliv nˇejak´ y vliv na v´ ysledky. Z experimentu na obrázku 4.7 je moˇzno vidˇet, ˇze se neobjevil ˇz´ adn´ y v´ yznaˇcn´ y shluk, kter´ y by naznaˇcoval, ˇze pohlav´ı ovlivˇ nuje predikci stáˇr´ı. V ˇcemˇz se tato metoda shoduje s metodami klasifikaˇcn´ımi. Na základˇe tohoto zjiˇstˇen´ı by se dalo vylouˇcit pohlav´ı zesnulého ze vstupn´ım dat pro uˇcen´ı s´ıt´ı, protoˇze nemá velk´ y vliv na odhad stáˇr´ı. V´ yznamnost p˚ uvodu zesnul´ eho Dalˇs´ım experimentem bylo ovˇeˇren´ı, zda má vliv národnost ˇci kontinent, na kterém zesnul´ y ˇzil, na odhad stáˇr´ı. Jako vstupn´ı data byly pouˇzity kostern´ı ohodnocen´ı a jako zobrazovan´ a veliˇcina na obrázku 4.8 národnost a na obrázku 4.9 kontinent na kterém ˇzil. Z v´ ysledku je patrné, ˇze se opˇet neobjevily v´ yrazné shluku a tedy ani národnost ani kontinent nejsou d˚ uleˇzité vstupn´ı informace pro urˇcován´ı vˇeku. Urˇ cen´ı vˇ eku podle SOM map Hlavn´ı otázkou je zda dokáˇz´ı SOM mapy naj´ıt v antropologick´ ych datech nˇejakou souvislost mezi vstupy a v´ ysledn´ ym vˇekem. Zda se podaˇr´ı naj´ıt nˇejaké shluky. V´ ysledn´ a mapa je vidˇet na obrázku 4.10. Je vidˇet, ˇze ˇzádné v´ yrazné shluky nevznikly. Dá se vypozorovat jakási bariéra ve tvaru p´ısmene M, procházej´ıc´ı z levého doln´ıho rohu do stˇredu, kde vytvoˇr´ı stˇred p´ısmene M a dále pokraˇcuje do pravého doln´ıho rohu. T´ım rozdˇel´ı u-matici na tˇri oblasti. V nich lze nalézt podobné neurony, ale d´ıky ˇsed´ ym oblastem, které ˇc´ asteˇcnˇe pˇreruˇsuj´ı tyto shluky, nelze povaˇzovat tyto tˇri oblasti za spojité. Pokud se pod´ıváme bl´ıˇze na vzorky pˇr´ısluˇs´ıc´ı do dan´ ych oblast´ı, tak lze vypozorovat, ˇze v levé ˇcásti se nacházej´ı zesnul´ı s niˇzˇs´ım vˇekem a v pravé ˇc´ asti s vyˇsˇs´ım vˇekem. Dále pod pomysln´ ym


31

Obrázek 4.7: SOM - U-matrix trénovan´ a podle kostern´ıch ohledán´ı a zobrazeno pohlav´ı (M-muˇz, F-ˇzena)

ˇ Obrázek 4.8: SOM - rozdˇelen´ı podle národnosti (POR - Portugalci, SPAIN - Spanˇ elé, SOTO ˇ Soto, SUISSE - Sv´ ycaˇri, THAI -Thaici, USAB – obˇcané USA a ˇcernoˇsi, USAW – obˇcané USA a bˇeloˇsi, ZULU - Zulu)

32


Obrázek 4.9: SOM - rozdˇelen´ı podle kontinentu (AFRIC- Afrika, ASIA -Asie, EUR – Evropa, NA – -Severn´ı Amerika)

p´ısmenem M, v levé ˇcásti pod obloukem lze naj´ıt vˇek mezi tˇriceti a padesáti lety. T´ım ovˇsem podobnosti konˇc´ı a ve zbyl´ ych oblastech se nach´ azej´ı kostry r˚ uzného vˇeku. Tud´ıˇz pokud bychom dostaly kostry s podobn´ ym ohledán´ım jako vzorky z pod levé ˇc´ asti oblouku p´ısmene M, mohli bychom odhadnou vˇek kolem 40 let plus minus deset let. Ale co se t´ yˇce jin´ ych ohledán´ı koster, dostaneme nepˇresn´ y odhad. Kostry podobné vzork˚ um v levé ˇc´ asti bychom mohli odhadnout na mladˇs´ı padesáti ˇci ˇsedesáti let a kostry podobné vzork˚ um pravé ˇc´ asti starˇs´ı jako pˇribliˇznˇe pˇetapadesáti let. Ale bohuˇzel i v tˇechto oblastech se vyskytuj´ı jedinci s odliˇsn´ ym vˇekem, proto odhad bude nepˇresn´ y. SOM mapy z [Macek, 06]. Takˇze i metoda SOM nám dala v´ ysledky podobné pˇredchoz´ım metodám. Nejde o chybu metody, protoˇze za pouˇzit´ı SOM map na jin´ ych datech pracuje metoda v poˇr´ adku, ale o ˇsum obsaˇzen´ y v antropologick´ ych datech. Odhad stáˇr´ı z tˇechto dat je znaˇcnˇe nepˇresn´ y. Na coˇz ukazuj´ı zat´ım vˇsechny pouˇzité algoritmy. Proto se dále pokus´ım oˇcistit data pomoc´ı pˇredzpracovac´ıch metod, zda nám toto pom˚ uˇze k lepˇs´ımu v´ ysledku.


33

Obrázek 4.10: SOM - v´ ysledné ”shluky” koster podle stáˇr´ı

4.4

Pˇ redzpracovac´ı metody

D˚ uvodem pouˇzit´ı pˇredzpracovac´ıch metod je u ´sil´ı o zlepˇsen´ı v´ ysledk˚ u na AD. Vyzkouˇset jednotlivé pˇredzpracován´ı a posoudit podle v´ ysledk˚ u, zda nám mohou pomoci zlepˇsit kvalitu dat. V´ ybornˇe nám také poslouˇz´ı k otestov´ an´ı modulu pro automatické pˇredzpracov´ an´ı. Protoˇze v´ ysledky z nˇej dosaˇzen´ ych budeme moci porovnat s v´ ysledky z jednotliv´ ych PM a porovnat, zda modul zvol´ı správné sekvence PM a dosáhne tak vˇetˇs´ı u ´spˇeˇsnosti. Vstupn´ı antropologická data byla rozdˇelena na trénovac´ı a testovac´ı v pomˇeru 70 : 30. Trénovac´ı data byla jednak ponechána beze zmˇeny a dále byly nˇekteré vstupn´ı hodnoty nahrazeny hodnotou NaN (v´ ystupn´ı hodnota (vˇek) byla ponech´ ana nezmˇenˇena). Bylo vyzkouˇseno nahradit 10%, 20%, 30%, 40% a 50% hodnot. Na tyto nahrazená data byly poté aplikov´ any pˇredzpracovac´ı metody, aby neznámou hodnotu NaN nahradily a t´ım se mohlo posoudit kvalitu pˇredzpracovac´ıch metod a jejich pozitivn´ı ˇci negativn´ı vliv na antropologick´ a data. Testy s pˇredzpracovac´ımi metodami byly provedeny na softwaru GAME a za pouˇzit´ı FAKE GAME, jenˇz jde ovládat z pˇr´ıkazové ˇr´ adky a nastavit spoustu parametr˚ u v´ ypoˇctu. Jako hlavn´ı konfigurace se bere z programu GAME, kde se dopˇredu nastav´ı poˇzadované parametry (napˇr´ıklad jednotky které budou pouˇzity k tvorbˇe s´ıtˇe, poˇcet model˚ u, které se maj´ı vytvoˇrit, pomˇer trénovac´ıch/testovac´ıch dat a spousta dalˇs´ıho) a v´ ysledn´ y konfiguraˇcn´ı soubor je uloˇzen do souboru a naˇc´ıtá se pˇri pouˇz´ıván´ı FAKE GAME. Jako pˇredzpracovac´ı metody byly vyuˇzity ty, které jsou implementov´ any v programu GAME. Program samotn´ y spolu se zobrazen´ım pˇredzpracovac´ıho dialogu je moˇzno vidˇet na obrázku 4.11. Metody, které byly pouˇzity jsou následuj´ıc´ı: • CMVI - Constant Missing Value Imputer • MMVI - Median Missing Value Imputer • NNMVI - Nearest Neighbor Missing Value Imputer • NA - Noise adder


34

Obrázek 4.11: Ukázka programu GAME spolu s pˇredzpracovac´ım dialogem

Jednotlivé metody ve zkratce udˇelaj´ı s daty následuj´ıc´ı. CMVI nahrad´ı chybˇej´ıc´ı hodnoty (v mém pˇr´ıpadˇe hodnoty oznaˇcené jako NaN) celoˇc´ıselnou konstantou. MMVI nahrad´ı hodnoty NaN stˇredn´ı hodnotou vypoˇc´ıtanou z ostan´ıch vstupn´ıch dat (vˇetˇsinou nejde o celoˇc´ıselnou konstantu). NNMVI nahrad´ı chybˇej´ıc´ı hodnotu za pomoci sousedn´ıch hodnot, ze kter´ ych chybˇej´ıc´ı hodnotu vypoˇc´ıtá. NA nenahrazuje hodnoty NaN v˚ ubec, ale zato nahrad´ı vˇsechny ostatn´ı vstupn´ı hodnoty. Tyto metody byly aplikov´ any na vˇsechny sloupce se vstupn´ımi daty. V´ıce se lze o pˇredzpracovac´ıch metodách doˇc´ıst v kapitole vˇenované teorii pˇredzpracovac´ıch metod. Jiné metody nebyly pouˇzity, protoˇze se pˇri pokusech aplikovat na AD neosvˇedˇcily a nepˇrináˇsely poˇzadované zlepˇsen´ı v´ ysledk˚ u.

4.4.1

V´ ysledky jednotliv´ ych metod

Pro porovnán´ı v´ ysledk˚ u z pˇredchoz´ıch popsan´ ych metod GMDH a GAME, byly v´ ysledky z tabulky 4.2 ze strany 23 pˇrepoˇc´ıtány podle vzorce 4.2 a jsou zobrazeny v tabulce 4.12. Bude tak moˇzno porovnat pˇredchoz´ı v´ ysledky bez pˇredzpracovac´ıch metod s v´ ysledky za pouˇzit´ı r˚ uzn´ ych pˇredzpracovac´ıch metod.


35

v u N u1 X RM S = t ∗ (y − d)2i

N

(4.2)

i=1

Kde: N – poˇcet pouˇzit´ ych vzork˚ u, y – v´ ystupn´ı vypoˇc´ıtan´ a hodnota, d – skuteˇcn´ a hodnota Model GAME GAME GMDH GMDH

Train 1 8,180 8,180 8,109 8,019

Test 1 11,788 11,770 12,324 12,592

Train 2 8,127 8,127 8,234 8,127

Test 2 12,127 12,127 12,038 11,806

Test avg 11,949 11,949 12,181 12,199

Tabulka 4.12: Pˇrepoˇc´ıt´ any v´ ysledky GMDH a GAME Pˇri testován´ı PM jsem postupoval tak, ˇze jsem si vytvoˇril trénovac´ı data, ve kter´ ych byly vstupn´ı ´ hodnoty v r˚ uzném procentuáln´ım zastoupen´ı nahrazeny neznámou hodnotou NaN. Ukolem PM bylo tuto hodnotu co nejlépe nahradit hodnotou ˇc´ıselnou, tak aby v´ ysledn´ a trénovac´ı data obsahovala co nejmenˇs´ı chybu a nebyla tolik zaˇsumˇel´ a. Coˇz se testovalo oproti testovac´ım dat˚ um, která byla kompletn´ı bez chybˇej´ıc´ıch hodnot a dal se tak zvalidovat v´ ysledek. Nejprve jsem zkouˇsel jednotlivé pˇredzpracovac´ı metody zvláˇst’, kdy byla kaˇzd´ a pouˇzita na vˇsechna vstupn´ı data. Bylo pouˇzito defaultn´ıho nastaven´ı GAME s tˇemi zmˇenami, kdy bylo vyzkouˇseno r˚ uzné nastaven´ı pouˇzit´ ych jednotek pro stavbu s´ıtˇe. Defaultn´ı nastaven´ı se pˇri testován´ı ukázalo jako ideáln´ı, protoˇze pˇri zvˇetˇsen´ı poˇzadavk˚ u na kvalitu s´ıtˇe se zvyˇsoval v´ ypoˇcetn´ı ˇcas a v´ ystup se zlepˇsoval jenom nepatrnˇe. Jednak jsem vyzkouˇsel pouˇzit´ı jenom jednotek typu linear a oproti tomu vyuˇz´ıt vˇsechny moˇzné jednotky, které GAME nab´ız´ı. Coˇz jsou lineárn´ı, polynomiáln´ı (CombiNeuron, PolyHornerNeuron, PlySimpleNeuron, PolySimpleNRNeuron), perceptrony (BPNetwork, NRBPNetwork) a ostatn´ı jednotky (ExpNeuron, SignumNeuron, SinusNeuron, PolyFractNeuron a r˚ uzné typy Gaussova neuronu). Dále jsem zkouˇsel vytváˇret jenom jeden samostatn´ y model a na nˇem zjiˇst’ovat u ´spˇeˇsnost odhadu vˇeku. A oproti tomu tzv. ensemble techniku, kdy se vyuˇzije v´ıce model˚ u k z´ısk´ an´ı vˇetˇs´ı pˇresnosti. V mém pˇr´ıpadˇe jsem pouˇz´ıval na tutu techniku modely tˇri. To z toho d˚ uvodu, ˇze to byl kompromis mezi z´ıskan´ ym v´ ysledkem a v´ ypoˇcetn´ım ˇcasem, protoˇze za pouˇzit´ı této techniky jsou v´ ypoˇcty ˇcasovˇe nároˇcné. Jako software pro testován´ı jsem zvolil FAKE GAME, kter´ y dobˇre splˇ nuje poˇzadavky na to, co jsem potˇreboval. Nav´ıc je odzkouˇsen na r˚ uzn´ ych datech a je ovˇeˇrena jeho správn´ a funkˇcnost a spolehlivost. Jako pˇr´ıklad jednoho z pouˇzit´ ych pˇr´ıkaz˚ u k tvorbˇe modelu je zde: java -Xmx512M -Xms128M -jar fake_runtime.jar -c NewAllunits -n 3 -f -d ADTraining10a-CMVI -t ADtesting Z tohoto pˇr´ıkazu lze vidˇet, ˇze program pracuje v prostˇred´ı Java. Vyuˇz´ıv´ a ke svému bˇehu bal´ık fake runtime.jar (-jar fake runtime.jar). Zde je pouˇzito konfigurace, kdy je pouˇzito vˇsech jednotek pro tvorbu s´ıtˇe (-c NewAllunits). Je zapnut v´ ystup html souboru, kde jsou uloˇzeny v´ ysledky experimentu (-f). Je vytvoˇren ensemble model ze tˇr´ı samostatn´ ych model˚ u (-n 3) a je pouˇzita trénovac´ı a testovac´ı mnoˇzina dat (-d ADTraining10a-CMVIa -t ADtesting1). Jednotlivá mˇeˇren´ı byla provedena vˇzdy stejn´ ym zp˚ usobem a pˇetkr´ at opakov´ ana pro dosaˇzen´ı


36 PM CMVI MMVI NA NNMVI bez PM

10% 12,805 13,161 17,432 12,948 17,311

20% 13,418 13,101 17,480 13,741 17,352

30% 13,452 13,192 16,838 13,170 16,518

40% 14,406 13,978 17,045 15,135 17,677

50% 15,487 14,875 17,176 15,392 17,271

0%

12,400

Tabulka 4.13: V´ ysledek pˇredzpracovac´ıch metod - All units, 1N PM CMVI MMVI NA NNMVI bez PM

10% 12,517 12,406 17,394 12,520 16,947

20% 12,995 12,857 17,036 13,444 17,157

30% 13,185 12,785 16,742 13,188 17,155

40% 14,007 13,988 17,210 14,901 17,315

50% 15,120 14,195 17,245 15,341 16,907

0%

12,004

Tabulka 4.14: V´ ysledek pˇredzpracovac´ıch metod - All units, ensemble (3N) pˇresnˇejˇs´ı hodnoty. Takˇze v´ ysledné hodnoty v následuj´ıc´ıch tabulkách jsou pr˚ umˇerem z pˇeti mˇeˇren´ı. V prvn´ı tabulce 4.13 jsou v´ ysledky modelov´ an´ı za pouˇzit´ı vˇsech jednotek (All units) a vytváˇr´ı se jeden model (-n 1), tedy bez ensemble techniky. Ve spodn´ım ˇr´ adku je také zobrazena chyba mˇeˇren´ı bez pouˇzit´ı pˇredzpracovac´ıch metod. Hodnoty v procentech v prvn´ım ˇr´ adku pˇredstavuj´ı mnoˇzstv´ı nahrazen´ ych hodnot. Vˇsechny v´ ysledné hodnoty v této a dalˇs´ıch tabulkách jsou spoˇcteny podle vzorce 4.2. V druhé tabulce 4.14 je pouˇzito opˇet vˇsech typ˚ u jednotek (All units) a je zde pouˇzita tvorba ensemble modelu ze tˇr´ı model˚ u (-n 3). Ve tˇret´ı tabulce 4.15 jsou v´ ypoˇcty provedeny za pouˇzit´ım jednotek linear a tvorby jednoho modelu. ˇ Ctvrtou tabulkou 4.16, za pouˇzit´ı pˇredzpracovac´ıch metod kaˇzdé zvláˇst’, je tabulka s pouˇzit´ım jednotek linear a tvorbˇe ensemble modelu. Z v´ ysledk˚ u experiment˚ u z tabulek 4.13 aˇz 4.16 lze doj´ıt k nˇekolika závˇer˚ um. ’ Prvn´ım je, ˇze at uˇz za pouˇzit´ı pouze linear jednotek (LJ) ˇci vˇsech jednotek (all units PM CMVI MMVI NA NNMVI bez PM

10% 14,311 12,170 NaN 12,554 NaN

20% 14,811 12,427 NaN 13,512 NaN

30% 15,901 12,718 NaN 13,645 NaN

40% 16,510 13,667 NaN 15,453 NaN

50% 16,642 14,525 NaN 15,588 NaN

0%

12,773

Tabulka 4.15: V´ ysledek pˇredzpracovac´ıch metod - linear, 1N

´ ˚ KAPITOLA 4. VYSLEDKY EXPERIMENTU PM CMVI MMVI NA NNMVI bez PM

10% 14,215 12,496 NaN 12,689 NaN

20% 14,398 12,338 NaN 13,566 NaN

30% 15,844 12,253 NaN 13,235 NaN

37 40% 15,584 14,516 NaN 14,813 NaN

50% 16,630 14,363 NaN 15,094 NaN

0%

11,864

Tabulka 4.16: V´ ysledek pˇredzpracovac´ıch metod - linear, ensemble (3N)

AU) vycház´ı pˇreváˇzná ˇcást v´ ysledk˚ u lépe s vyuˇzit´ım ensemble techniky (ET). Coˇz nen´ı pˇr´ıliˇs pˇrekvapuj´ıc´ı, protoˇze se vyuˇz´ıvá tˇr´ı model˚ u popisuj´ıc´ı stejnou vˇec, na m´ısto pouze jednoho. T´ım se potvrdilo, ˇze pouˇzit´ı této techniky se vyplat´ı pro dosaˇzen´ı lepˇs´ıch v´ ysledk˚ u. Mus´ıme m´ıt ale na pamˇeti, ˇze ˇcasová nároˇcnost se zvyˇsuje s mnoˇzstv´ım model˚ u, které pˇri ensemble pouˇzijeme. Kdyˇz jsem zkouˇsel v´ ypoˇcty s jedn´ım modelem a poté pouˇzil stejné v´ ypoˇcty na ensemble (za pouˇzit´ı tˇr´ı model˚ u), tak ˇcas na v´ ypoˇcet byl pˇribliˇznˇe trojnásobn´ y. To ˇcin´ı v´ ypoˇcty ˇcasovˇe nároˇcn´ ymi a je zapotˇreb´ı naj´ıt kompromis mezi kvalitou v´ ysledku a ˇcasem stráven´ ym v´ ypoˇcetn´ı jednotkou na tvorbˇe modelu. Druh´ ym závˇerem, kter´ y lze z v´ ysledk˚ u vyvodit je, ˇze u metod MMVI a NNMVI vych´ az´ı v´ ysledky za pouˇzit´ı pouze LJ v nˇekter´ ych hodnotách, ale pˇreci jenom o nˇeco málo lépe neˇz pˇri pouˇzit´ı AU. To mˇe trochu pˇrekvapilo, protoˇze jsem oˇcek´ aval, ˇze pˇri pouˇzit´ı stejn´ ych jednotek (LJ) doplnˇen´ ych jeˇstˇe o jiné, bude v´ ysledek lepˇs´ı AU znatelnˇe lepˇs´ı, coˇz se zde neprojevilo. Ale na druhou stranu je rozd´ıl témˇeˇr zanedbateln´ y a jeˇstˇe ne ve vˇsech hodnotách LJ vedou. Kde je vˇsak jasnˇe vidˇet lepˇs´ı v´ ysledky za pouˇzit´ı AU je u pˇredzpracovac´ı metody CMVI. Zde je uˇz rozd´ıl mezi pouˇzit´ım LJ a AU markantnˇejˇs´ı, oproti rozd´ılu u metod MMVI a NNMVI. Tam byl rozd´ıl v ˇrádu desetin aˇz setin, kdeˇzto zde je rozd´ıl i v ˇr´ adu jednotek. Tady se projevilo vyuˇzit´ı v´ıce jednotek k nauˇcen´ı modelu daleko v´ yhodnˇejˇs´ı. Dalˇs´ı oblast, kde pouˇzit´ı AU je kaˇzdopádnˇe v´ yhodnˇejˇs´ı, je v mém pˇr´ıpadˇe u metody NA a také u dat bez pouˇzit´ı jakékoliv pˇredzpracovac´ı metody. Zde LJ selhávaj´ı a jako nejd˚ uleˇzitˇejˇs´ı hodnotu berou NaN, na kterou nauˇc´ı s´ıt’, coˇz se samozˇrejmˇe ˇspatnˇe a v´ ysledek je hodnota NaN m´ısto ˇc´ısla predikovaného vˇeku. U metody NA k tomu doˇslo z toho d˚ uvodu, jak tato metoda funguje, protoˇze ta nenahrazuje hodnotu NaN. Ta pouze zmˇen´ı ˇc´ıselné hodnoty, ale NaN v datech poˇr´ ad z˚ ust´ av´ a. Proto by se mohla projevit lépe aˇz po jiné pˇredzpracovac´ı metodˇe, která NaN z dat odstran´ı na ˇc´ıselnou hodnotu. Dalˇ s´ı závˇer z tˇechto ˇctyˇr tabulek by ˇsel vyvodit z toho, která pˇredzpracovac´ı metoda si lépe vedla a po jej´ım pouˇzit´ı a vytvoˇren´ı modelu, byla spoˇc´ıt´ ana nejmenˇs´ı chyba. Na prvn´ı pohled to nen´ı u ´plnˇe zˇrejmé, a proto jsem si spoˇc´ıtal pr˚ umˇerné hodnoty chyb kaˇzdé metody pro vˇsechna procentuáln´ı zastoupen´ı chybˇej´ıc´ıch hodnot. A metoda s nejmenˇs´ı chybou je MMVI za pouˇzit´ı lineárn´ıch jednotek. Ale rozd´ıly jsou opravdu nepatrné, ty jsou aˇz v ˇr´ adu desetin. Opomenu-li metodu NA, která nenahrazuje chybˇej´ıc´ı hodnoty a tak aplikovan´ a sama nedáv´ a moc dobré v´ ysledky. Druhé nejlepˇs´ı v´ ysledky dáv´ a stejná metoda (MMVI ) a za pouˇzit´ı vˇsech jednotek. A jako pomyslnou tˇret´ı nejlepˇs´ı metodou je CMVI za pouˇzit´ı AU. T´ımto jsem odzkouˇsel pouˇzitelné pˇredzpracovac´ı metody kaˇzdou zvláˇst’ aplikovat na antropologická data s chybˇej´ıc´ımi hodnotami a zjistit jak dopadnou a jak si s nahrazen´ım dat porad´ı. Z v´ ysledku je vidˇet, ˇze chyba je vˇetˇs´ı neˇz chyba u stejn´ ych metod neuronov´ ych s´ıt´ı pouˇzit´ ych na data bez nahrazen´ı hodnot za hodnoty neznámé. Coˇz je dáno t´ım, ˇze po nahra-


38

zen´ı nˇekter´ ych hodnot pˇredzpracovac´ımi metodami, se je nepodaˇrilo nahradit lepˇs´ımi. A tak z˚ ustávaj´ı nezmˇenˇená antropologická data po tˇechto experimentech sama o sobˇe lepˇs´ı. I kdyˇz i tak dávaj´ı velkou chybu. Z tabulky 4.12, kde jsou vidˇet v´ ysledky metod GMDH a GAME, které byly spoˇc´ıtány dˇr´ıve, je z hodnot vidˇet, ˇze dopadly témˇeˇr totoˇznˇe jako u test˚ u pˇredzpracovac´ıch metod, ale s daty s nezmˇenˇen´ ymi hodnotami. T´ım jsem si ovˇeˇril, ˇze pouˇzité postupy a metody pˇri v´ ypoˇctech kvality pˇredzpracovac´ıch metod byly správné a správnˇe pouˇzity. Dalˇs´ı co je moˇzné vyzkouˇset, je vyuˇzit´ı automatického pouˇzit´ı pˇredzpracovac´ıch metod aplikovan´ ych na data. Tuto funkˇcnost pˇridal do programu GAME Miloslav Pavl´ıˇcek, jako v´ ysledek své diplomové práce [Pavl´ıˇcek, 08]. 4.4.2

V´ ysledky experiment˚ u za pouˇ zit´ı modulu pro automatick´ e pˇ redzpracov´ an´ı dat

Tento modul nebyl zat´ım testován na antropologick´ ych datech. Tak bude zaj´ımavé srovnat ’ v´ ysledky jednotliv´ ych metod zvláˇst , jak bylo provedeno v´ yˇse, oproti tomuto modulu. Modul funguje tak, ˇze po naˇcten´ı trénovac´ıch a testovac´ıch dat a nastaven´ım poˇzadované konfigurace, zaˇcne ˇslechtit chromozóm, kter´ y by mˇel na konci procesu obsahovat nejlepˇs´ı posloupnost pˇredzpracovac´ıch metod vhodn´ ych pro pˇredloˇzen´ a data. V´ ysledn´ y nejlepˇs´ı chromoz´ om se pak aplikuje na trénovac´ı data, na nichˇz nahrad´ı hodnoty podle posloupnosti PM. T´ım by mˇelo b´ yt dosaˇzeno nejlepˇs´ıho nahrazen´ı hodnot v dan´ ych datech. Modul obsahuje funkˇcn´ı tyto pˇredzpracovac´ı metody: • EP - Example preprocessor • NA - Noise adder • CMVI - Constant Missing Value Imputer • MMVI - Median Missing Value Imputer • NNMVI - Nearest Neighbor Missing Value Imputer • MIR - Missing Instances Remover Z v´ ypisu je vidˇet, ˇze obsahuje metody pouˇzité v sekci 4.4.1 a dále nav´ıc metody Example preprocessor - EP a Missing Instances Remover - MIR. Ty se mˇe pˇri testov´ an´ı pˇr´ıliˇs neosvˇedˇcili. Obzvláˇstˇe pˇri práci se samostatnou metodou MIR doˇslo k tomu, ˇze jak metoda odstraˇ nuje chybˇej´ıc´ı hodnoty, tak z mnoˇziny, kde chyb´ı 10% hodnot odebrala tolik dat, ˇze z˚ ustalo jenom 50 ˇrádk˚ u hodnot. Pˇri pouˇzit´ı na 20% chybˇej´ıc´ıch hodnot zbylo 5 hodnot. A pˇri pouˇzit´ı na 30% NaN hodnot nezbyly ˇzádné data. Coˇz je také zp˚ usobeno t´ım, ˇze jsem vˇzdy aplikoval PM na vˇsechny sloupce se vstupn´ımi hodnotami. To z toho d˚ uvodu, ˇze jsem vych´ azel z pˇredpokladu, ˇze pokud bude nˇekdo pracovat s daty, které dobˇre nezná a nev´ı které sloupce hodnot jsou d˚ uleˇzité, tak pouˇzije metody na vˇsechny. Modul pro automatické pˇredzpracován´ı dat (MAPD) pracuje inteligentnˇeji a pokud aplikoval metodu MIR, tak jenom na nˇekteré sloupce a nepˇriˇslo se o tak znaˇcnou ˇc´ ast dat. Ale pro adekvátn´ı porovnán´ı jsem prvnˇe pouˇzil modul se stejn´ ymi metodami, jako jsem testoval samostatnˇe (tedy NA, CMVI, MMVI a NNMVI). To aby bylo moˇzno porovnat v´ ysledky metod pouˇzit´ ych samostatnˇe oproti tomuto automatickému pˇredzpracov´ an´ı. Pro zaj´ımavost jsem pak jeˇstˇe provedl testy se zapnut´ ymi vˇsemi metodami.

´ ˚ KAPITOLA 4. VYSLEDKY EXPERIMENTU Units, model All units, 1N All units, ensemble (3N) Linear, N1 Linear, ensemble (N3)

0% 12,900 12,284 12,764 12,165

10% 12,933 12,503 12,818 11,679

39 20% 13,253 13,120 13,104 13,106

30% 14,011 13,656 13,311 13,374

40% 14,519 14,479 14,378 14,379

50% 14,726 14,867 15,550 14,922

Tabulka 4.17: V´ ysledky PM za pouˇzit´ı automatického modulu - pouˇzity vybrané metody

Jediné co jsem mˇenil v nastaven´ı MAPD, byly PM které se maj´ı aplikovat. Zbytek nastaven´ı jsem nechal defaultnˇe, protoˇze je nastaveno dostateˇcnˇe silnˇe. Opˇet testy probˇehly za pouˇzit´ı lineárn´ıch a vˇsech jednotek. Tvorbou jednoho modelu a ensemble modelu. V tabulce 4.17 jsou v´ ysledky modulu za pouˇzit´ı metod jako v sekci 4.4.1. Pro kaˇzdé data s r˚ uzn´ ym procentuáln´ım zastoupen´ı nahrazen´ ych hodnot byl vyˇslechtˇen samostatn´ y chromozóm, aby bylo dosaˇzeno co nejlepˇs´ıho v´ ysledku a daná sekvence PM obsaˇzen´ a v chromoz´ omu, byla pro daná data co nejoptimálnˇejˇs´ı. Kaˇzd´ y test byl za stejného nastaven´ı spuˇstˇen pˇetkr´ at a z tˇechto hodnot brán pr˚ umˇer. Samotná tvorba chromozómu je v´ ypoˇcetnˇe ˇcasovˇe nároˇcn´ a. Takˇze k ˇcasu potˇrebnému na tvorbu neuronové s´ıtˇe pˇribude jeˇstˇe doba na ˇslechtˇen´ı chromoz´ omu. Z tabulky 4.17 je z v´ ysledn´ ych hodnot chyby vidˇet, ˇze i zde dopadly lépe ensemble modely. U nich je v´ ysledná chyba menˇs´ı neˇz pouze u tvorby jediného modelu. Opˇet se ukázalo, ˇze pr˚ umˇernˇe jsou v ˇrádu desetin lepˇs´ı v´ ysledky za pouˇzit´ı pouze lineárn´ıch jednotek, ale rozd´ıl je nepatrn´ y. Oproti pˇredchoz´ım v´ ysledk˚ um PM je zde vidˇet, ˇze vˇsechny metody vykazuj´ı hodnˇe vyrovnané a podobné v´ ysledky. Nejsou zde tak velké rozd´ıly chyby RMS mezi pouˇzit´ ymi jednotkami na tvorbu neuronové s´ıtˇe. Coˇz pˇriˇc´ıt´ am dobré adaptaci chromoz´ omu na pˇredloˇzené data a t´ım dobˇre zvolené kombinaci PM. Pro dobré porovnán´ı hodnot jsem v´ ysledky z tabulek 4.13 aˇz 4.16, ze strany 36 zpr˚ umˇeroval do tabulky 4.18. Pr˚ umˇer je vˇzdy brán ze vˇsech PM pro dan´ y sloupec procenta nahrazen´ ych hodnot. V´ yjimkou jsou hodnoty pro lineárn´ı jednotky spolu s metodou NA, kde v´ ysledkem je hodnota NaN. Ty jsem samozˇrejmˇe do pr˚ umˇeru poˇc´ıtat nemohl. Proto je zapotˇreb´ı si uvˇedomit, ˇze pokud by zde metoda NA fungovala, dala by jistˇe horˇs´ı v´ ysledky neˇz dalˇs´ı tˇri PM. K tomuto závˇeru docház´ım podle v´ ysledk˚ u chyby metody NA v tabulkách 4.13 a 4.14 za pouˇzit´ı AU. Zde je jasnˇe vidˇet, ˇze tato metoda dopadla nejh˚ uˇre a dáv´ a velkou chybu, která se negativnˇe projev´ı v pr˚ umˇeru hodnot. Proto je pr˚ umˇer chyby za pouˇzit´ı lineárn´ıch jednotek o to niˇzˇs´ı. Ale pro jistou pˇredstavu nám toto postaˇc´ı. Pˇri pohledu na v´ ysledky je patrné, ˇze modul pro automatické pˇredzpracov´ an´ı si vedl lépe neˇz samostatné metody zvláˇst’. Dokonce pˇredvedl lepˇs´ı v´ ysledky oproti pr˚ umˇern´ ym hodnotám LJ z tabulky 4.18, ve kter´ ych neni zapoˇc´ıt´ ana chyba za metodu NA. Coˇz je d˚ ukazem toho, ˇze modul pracuje správnˇe a je schopen podávat kvalitn´ı v´ ystupy. D´ıky kombinaci a aplikaci v´ıce pˇredzpracovac´ıch metod, na sloupce a hodnoty, kde to bylo vhodné, byl schopen MAPD podat lepˇs´ı v´ ysledky, ˇc´ımˇz se prokázala jeho dobrá funkˇcnost na antropologick´ ych datech. Pro zaj´ımavost jsem jeˇstˇe provedl v´ ypoˇcet chyby opˇet s pouˇzit´ım MAPD, ale s t´ım rozd´ılem, ˇze jsem nechal zapnuty vˇsechny funkˇcn´ı PM metody. V´ ysledky jsou v tabulce 4.19. Velk´ y rozd´ıl oproti pouˇzit´ı jenom vybran´ ych pˇredzpracovac´ıch metod nen´ı, ale pˇreci jenom k lehkému zhorˇsen´ı doˇslo. Nejde o nic razantn´ıho, ale kaˇzdop´ adnˇe to ke zlepˇsen´ı nepomohlo. Proto metody


40 Units, model All units, 1N All units, ensemble (3N) Linear, N1 Linear, ensemble (N3)

10% 14,087 13,709 13,012 13,133

20% 14,435 14,083 13,583 13,434

30% 14,163 13,975 14,088 13,777

40% 15,141 15,027 15,210 14,971

50% 15,733 15,475 15,585 15,362

Tabulka 4.18: Pr˚ umˇerné hodnoty z tabulek 4.13 aˇz 4.16 Units, model All units, 1N All units, ensemble (3N) Linear, N1 Linear, ensemble (N3)

10% 13,070 13,303 13,078 12,698

20% 12,706 13,065 12,691 12,588

30% 13,336 14,115 13,990 13,190

40% 14,307 14,098 14,533 13,931

50% 15,212 15,144 15,490 14,522

Tabulka 4.19: V´ ysledky PM za pouˇzit´ı automatického modulu - pouˇzity vˇsechny metody Example preprocessor a Missing Instances Remover nepˇrin´ aˇsej´ı vylepˇsen´ı v´ ysledku na antropologick´ ych datech. Coˇz mˇe potvrdilo to, ˇze tyto metody na tyto data nejsou pˇr´ıliˇs vhodné.

´ ˚ KAPITOLA 5. ZHODNOCENÍ VYSLEDK U

41

5 Zhodnocen´ı v´ ysledk˚ u Rád bych shrnul v´ ysledky, ke kter´ ym jsem v pr˚ ubˇeh˚ u práce s antropologick´ ymi daty (AD) pˇriˇsel. Zhodnotil u ´spˇeˇsnost jednotliv´ ych metod a program˚ u a pokusil se doporuˇcit nejvhodnˇejˇs´ı. Jako jednou z oblast´ı v´ yzkumu bylo zhodnocen´ı AD pomoc´ı klasifikaˇcn´ıch metod (KM). Experimenty se podaˇrilo vyhodnocovat podle stejné metriky a tak v´ ysledky mohou b´ yt dobˇre porovnávány. Bylo také zachováno stejné rozdˇelen´ı ve tˇrech skupinách T1, T2 a T3. Pro pˇrehlednost jsem v´ ysledky vˇsech tˇechto metod shrnul to tabulky 5.1. V n´ı jsem jeˇstˇe tuˇcnˇe zv´ yraznil hodnoty, které pˇredstavuj´ı nejvˇetˇs´ı procento dobˇre zaˇrazen´ ych jedinc˚ u, v porovn´ an´ı s ostatn´ımi metodami. Z nich je dobˇre vidˇet, ˇze nejlépe si vedli KM: Radial Basis Function - RBF a Learning Vector Quantization - LVQ. A z tˇechto dvou jeˇstˇe o nˇeco lépe dopadla RBF. Zaj´ımavé je, ˇze RBF ohodnotila lépe Evropany, kdeˇzto LVQ vˇsechny kostry dohromady. Coˇz je v´ yhodnˇejˇs´ı v tom, pokud neprovád´ıme ˇzádné dalˇs´ı u ´pravy dat a selekce. Nav´ıc rozd´ıly mezi tˇemito dvˇemi metodami nejsou veliké. Proto bych obˇe hodnotil jako kvalitn´ı. Oproti tˇemto dvˇema metoda perceptron dopadla o nˇeco h˚ uˇre. Z tabulky je vidˇet, ˇze pouze dvˇe hodnoty má jako nejlépe ohodnocené. Coˇz z n´ı dˇelá ”nejhorˇs´ı”, ale neznamená to, ˇze by u ´plnˇe propadla. Dále je z v´ ysledk˚ u patrné, ˇze pˇresnˇejˇs´ı urˇcov´ an´ı vˇeku v menˇs´ıch skupinách je dosti nepˇresné a v´ ysledky jsou neuspokojivé. Ve skupinˇe T1 se pohybujeme u ´spˇeˇsnost jenom kolem 41% dobˇre zaˇrazen´ ych jedinc˚ u. Rozˇclenˇen´ı na muˇze a ˇzeny také nepˇrin´ aˇs´ı pˇr´ıliˇsné zlepˇsen´ı, sp´ıˇse by se dalo ˇr´ıci, ˇze zanedbatelné. Coˇz také potvrzuj´ı SOM mapy t´ım, ˇze nevznikly ˇz´ adné shluky podle pohlav´ı.

RBF

Perce.

LVQ

Vytˇr´ıdˇen´ı a klasifikace pouze Evropan˚ u zlepˇsilo o nˇeco málo u ´spˇeˇsnost, ale jenom v ˇr´ adu jednotek procent.

Kategorie T1 T2 T3 T1 T2 T3 T1 T2 T3

obˇe pohlav´ı 38,4% 68,6% 69,6% 37,4% 66,0% 67,6% 39,5% 67,6% 68,5%

ˇzeny 40,5% 68,6% 70,6% 35,0% 66,3% 65,3% 38,7% 68,0% 66,2%

muˇzi 35,8% 65,8% 65,3% 38,6% 66,4% 69,8% 43,4% 69,0% 70,8%

Evropané obˇe pohlav´ı ˇzeny 40,1% 46,6% 71,1% 71,5% 69,9% 73,3% 40,2% 35,2% 71,6% 70,8% 69,6% 62,9% 42,2% 36,1% 71,4% 73,5% 70,7% 64,3%

muˇzi 38,2% 72,0% 63,2% 41,3% 68,5% 75,0% 45,7% 72,2% 73,9%

Tabulka 5.1: Porovnán´ı v´ ysledk˚ u klasifikaˇcn´ıch metod - tuˇcnˇe nejlepˇs´ı v´ ysledek Dalˇs´ı oblast´ı byly metody shlukové anal´ yzy - kde byly vyzkouˇseny SOM mapy. Na nich bylo také zkoumáno, zda má pohlav´ı vliv na predikci vˇeku, ale dospˇelo se ke stejnému závˇeru jako v KM, ˇze rozd´ıly v pohlav´ı jsou zanedbatelné. Na mapách nevznikly ˇz´ adné shluky. Dále se testovalo, zda je d˚ uleˇzit´ ym vstupn´ım faktorem národnost ˇci kontinent na kterém zesnul´ y ˇzil. I zde nevznikly ˇzádné shluky podobn´ ych jedinc˚ u, coˇz znamená ménˇe podstatná vstupn´ı informace. To potvrzuj´ı i KM, kde vyˇclenˇen´ı Evropan˚ u z celého souboru dat nevedlo k signifikantn´ımu vylepˇsen´ı u ´spˇeˇsnosti klasifikace.


42 Model GAME GAME GMDH GMDH

Train 1 8,180 8,180 8,109 8,019

Test 1 11,788 11,770 12,324 12,592

Train 2 8,127 8,127 8,234 8,127

Test 2 12,127 12,127 12,038 11,806

Test avg 11,949 11,949 12,181 12,199

LJ

AU

Tabulka 5.2: Vybrané v´ ysledky algoritm˚ u GAME a GMDH - chyba RMS PM CMVI MMVI NNMVI CMVI MMVI NNMVI

10% 12,517 12,406 12,52 14,215 12,496 12,689

20% 12,995 12,857 13,444 14,398 12,338 13,566

30% 13,185 12,785 13,188 15,844 12,253 13,235

40% 14,007 13,988 14,901 15,584 14,516 14,813

50% 15,12 14,195 15,341 16,63 14,363 15,094

Pr˚ umˇer 13,565 13,246 13,879 15,334 13,193 13,880

Tabulka 5.3: Vybrané nejlepˇs´ı PM za pouˇzit´ı ensemble techniky - tuˇcnˇe hodnoty s nejmenˇs´ı chybou; AU - vˇsechny jednotky, LJ - lineárn´ı jednotky A jako posledn´ı se na SOM mapách pokouˇselo odpovˇedˇet na otázku, zda jsou AD vhodná k predikci vˇeku zesnulého. V nˇekter´ ych m´ıstech mapy se objevily tˇri nev´ yrazné shluky. Jeden reprezentoval jedince staré tˇricet aˇz padesát let. Dalˇs´ı kostry mladˇs´ı padesáti let a tˇret´ı oblast starˇs´ı padesáti let. Ale i v tˇechto se objevovaly jedinci jiného vˇeku. Coˇz ukazuje na velkou zaˇsumˇenost a nepˇresnost AD. Predikce stáˇr´ı kostry z tˇechto dat je velmi nepˇresn´ a. Ke stejn´ ym v´ ysledk˚ um se doˇslo za pouˇzit´ı metod lineárn´ı regrese (GMDH a GAME). Zde se vˇsak netestovalo padnut´ı do urˇcité vˇekové skupiny, ale pokouˇselo se zde pˇresnˇe urˇcit vˇek kostry. V´ ysledky vˇsak prokázaly, ˇze ani tˇemito metodami z AD nejde dostat lepˇs´ı v´ ysledky. Nejlepˇs´ı hodnoty zobrazuje tabulka 5.2. Zde jsou v´ ysledky v podobˇe chyby RMS podle vzorce 4.2. Tyto v´ ysledné hodnoty ukazuj´ı na nepˇresnost urˇcov´ an´ı v´ ysledné veliˇciny, coˇz je zde vˇek. Vykazuj´ı vysok´ y ˇsum, kter´ y do predikce stáˇr´ı vnáˇs´ı chyby. Proto je vhodné vyzkouˇset r˚ uzné pˇredzpracovac´ı metody, zda ty by nevyˇcistily data od tˇechto ”ˇspatn´ ych” hodnot a po jejich aplikován´ı bychom nedosáhli lepˇs´ıch v´ ysledk˚ u. Za t´ımto u ´ˇcelem jsem otestoval nˇekolik PM, spolu s modulem pro automatické pˇredzpracov´ an´ı dat. Chtˇel jsem také vyzkouˇset kvalitu pˇredzpracovac´ıch metod, a která z nich je nejvhodnˇejˇs´ı. A nakonec samostatné metody porovnat s MAPD, zda ten dokáˇze dát lepˇs´ı v´ ysledky. Do tabulky 5.3 jsem vybral ty metody, které dopadly nejlépe a to na algoritmech za pouˇzit´ı ensemble techniky, která dávala lepˇs´ı v´ ysledky neˇz jeden model samotn´ y. Tuˇcnˇe jsou vˇzdy zv´ yraznˇeny ty hodnoty, které mˇely menˇs´ı chybu, bud’ za pouˇzit´ı AU nebo LJ. Na konec jsem vloˇzil pr˚ umˇer z hodnot v daném ˇrádku. Z v´ ysledk˚ u je vidˇet, ˇze nejlépe dopadla metoda MMVI. Za jej´ıho pouˇzit´ı se podaˇrilo dosáhnout nejmenˇs´ı chyby. Druhou nejlepˇs´ı byla metoda CMVI. V´ ysledky MAPD jsou shrnuty v tabulce 4.17 v pˇredchoz´ı kapitole. Ty kdyˇz se porovnaj´ı s v´ ysledky pr˚ umˇern´ ych hodnot PM, jako je tomu v tabulce 4.18, tak dojdeme k závˇeru, ˇze automatické pˇredzpracován´ı dává menˇs´ı chybu. Kdyˇz ale porovn´ ame MAPD s hodnotami chyb jenom u metody MMVI, která dopadla samostatnˇe nejlépe, tak dojdeme ke zjiˇstˇen´ı, ˇze ta dáv´ a


Obrázek 5.1: Ukázka grafu trénovac´ıch dat pomoc´ı 2D regrese

43

44


Obrázek 5.2: Rozptyl v´ ysledn´ ych hodnot MAPD - vybrané PM metody

samo o sobˇe lepˇs´ı v´ ysledky. Otázkou ale z˚ ust´ av´ a, jestli to bude platit obecnˇe na jak´ ychkoliv datech, coˇz si nemysl´ım. Proto v´ yhoda MAPD spoˇc´ıv´ a v tom, ˇze nemus´ıme znát tak dobˇre daná data a modul za nás pˇredpˇriprav´ı optimáln´ı posloupnost pˇredzpracovac´ıch metod. Které by nám mˇely dát po aplikován´ı na data kvalitn´ı v´ ysledek. Zkouˇsel jsem i PM na data, do kter´ ych nebyla zámˇernˇe zanesena neznám´ a hodnota, tedy neupravené trénovac´ı data. Chtˇel jsem zjistit, jestli by nám pˇredzpracov´ an´ı dat nedalo jeˇstˇe lepˇs´ı hodnoty. To se ale bohuˇzel nestalo. Kdyˇz jsem se pokouˇsel aplikovat PM po jedné, tak ty na datech bez chybˇej´ıc´ıch hodnot nic nenahradily a metoda NA vnesla jeˇstˇe vˇetˇs´ı chybu. Kde se projevily PM bylo, ale u modulu pro automatické pˇredzpracov´ an´ı dat. Tam byla vytvoˇrena sekvence PM, které se aplikovaly. Ale bohuˇzel z v´ ysledku v tabulce 4.17 je ve sloupci pro 0% nahrazen´ ych hodnot vidˇet, ˇze v´ ysledky nejsou lepˇs´ı oproti v´ ysledk˚ um z tabulky 5.2. Coˇz vede k závˇeru, ˇze AD k odstranˇen´ı ˇsumu v datech pˇredzpracovac´ı metody pˇr´ıliˇs nepomohly. Na obrázku 5.2 jsou zobrazeny rozptyly v´ ysledn´ ych hodnot z pˇeti mˇeˇren´ı pro modul MAPD, kde jsou pouˇzity jenom nˇekteré PM. Rozptyl popisuje hodnoty z tabulky 4.17. Je vidˇet, ˇze rozptyl nen´ı zrovna nejmenˇs´ı. Rozd´ıl rozptylu mezi pouˇzit´ım vˇsech (AU) nebo lineárn´ıch jednotek (LJ) nen´ı nijak velik´ y. V obou pˇr´ıpadech jsou si rozptyly podobné. Zobrazil jsem jeˇstˇe rozptyl v´ ysledn´ ych hodnot pro nejlepˇs´ı pˇredzpracovac´ı metodu MMVI, za pouˇzit´ı ensemble techniky, na obrázku 5.3. Opˇet jde o rozptyl z pˇeti hodnot z mˇeˇren´ı. Zde uˇz lze pozorovat trochu vˇetˇs´ı rozptyl za pouˇzit´ı vˇsech jednotek (AU). K dosaˇzen´ı menˇs´ıho rozptylu a pˇresnˇejˇs´ı pr˚ umˇerné hodnoty by bylo zapotˇreb´ı mˇeˇren´ı opakovat daleko v´ıcekrát. To je ale bohuˇzel ˇcasovˇe nadm´ıru nároˇcné. Mysl´ım si, ˇze mé v´ ysledky dávaj´ı dostateˇcnou pˇresnost, pro porovnáván´ı jednotliv´ ych metod a algoritm˚ u mezi sebou a vyvozen´ı závˇer˚ u.

´ ER ˇ KAPITOLA 6. ZAV

45

Obrázek 5.3: Rozptyl v´ ysledn´ ych hodnot MMVI

6 Z´ avˇ er Mysl´ım si, ˇze se mˇe touto prac´ı podaˇrilo dobˇre zmapovat r˚ uzné metody a algoritmy vhodné pro anal´ yzu antropologick´ ych dat. Snaˇzil jsem se je popsat nejprve teoreticky, ukázat jak funguj´ı a ˇceho jsme za jejich pomoci schopni dosáhnout. Poté jsem je testoval a experiment´ alnˇe zkouˇsel dostat z nich co nejlepˇs´ı v´ ysledky na antropologick´ ych datech. Snaˇzil jsem se také shromáˇzdit, utˇr´ıdit a porovnat v´ ysledky z jin´ ych prac´ı a doporuˇcit ty z nich, jeˇz prokázaly nejlepˇs´ı v´ ysledky. Podaˇrilo se mi otestovat r˚ uzné pˇredzpracovac´ı metody a urˇcit jejich u ´spˇeˇsnost. Z v´ ysledk˚ u jsem také urˇcil nejlepˇs´ı pro pouˇzit´ı na AD. Následnˇe jsem otestoval modul pro automatické pˇredzpracován´ı dat a odzkouˇsel ho tak na reáln´ ych datech. V´ ysledky se pak daly pˇeknˇe porovnat s pouˇzit´ım jenom PM samostatn´ ych. Vyhodnocen´ı tˇechto mˇeˇren´ı jsou vidˇet v pˇredchoz´ıch kapitolách. Ukázalo se, ˇze pˇredzpracovac´ı metody jsou vhodné pro u ´pravu dat a i MAPD ukázal dobré v´ ysledky. Bohuˇzel antropologická data i po tˇechto vylepˇsen´ıch nám nedávaj´ı lepˇs´ı v´ ysledky. Coˇz poukázalo na velké zaˇsumˇen´ı dat a velkou chybu, kterou v sobˇe nesou. To také potvrdily vˇsechny metody obsaˇzené v této práci. At’ uˇz se jednalo o metody lineárn´ı regrese, klasifikaˇcn´ı metody nebo metody shlukové anal´ yzy. Vˇsechny dospˇely ke stejn´ ym závˇer˚ um a ukazuj´ı na obt´ıˇznost spolehlivˇe predikovat vˇek koster z tˇechto dat.

46

´ ER ˇ KAPITOLA 6. ZAV

KAPITOLA 7. LITERATURA

47

7 Literatura [Devlin, 97] Devlin, B.: Data Warehouse from Architecture to Implementation Addison-Wesley. Reading, Massachusetts 1997 [Fayyad, 96] Fayyad, U.M., G. Piatetsky-Shapiro, P. Smyth: From Data Mining to Knowledge Discovery: An Overview. In : Fayyad, U.M. et al: Advances in Knowledge Discovery and Data Mining. California 1996 [Novák, 06] Nov´ ak, J.: GMDH networks the KnowledgeMiner software ˇ Bakaláˇrská práce, CVUT, Praha 2006 [Macek, 06] Macek, O.: Self-organizing maps (SOM) ˇ Bakaláˇrská práce, CVUT, Praha 2006 [Kord´ık, 05] Kord´ık P.: Group of Adaptive Models Evolution Technical Report DCSE-DTP-2005-07, CTU Prague 2005. ˇ ˇ [Kord´ık, Snorek, 05] Kord´ık P., Snorek M.: Ensemble Techniques for Credibility Estimation of GAME Model, Artificial Neural Networks: Formal Models and Their Applications - ICANN 2005 Berlin: Springer, 2005 ´ [August´ yn, 07] Augustýn, M.: Uloha 2 z pˇ redmˇ etu 36NAN - Neuronov´ e s´ıtˇ e a neuropoˇ c´ıtaˇ ce - Antropologick´ a data ˇ Semestráln´ı práce z pˇredmˇetu 36NAN, CVUT, Praha 2007 [Prchl´ık, 07] Prchl´ık, M.: Druh´ a semestr´ aln´ı pr´ ace z pˇ redmˇ etu 36NAN ˇ Semestráln´ı práce z pˇredmˇetu 36NAN, CVUT, Praha 2007 [Bruchanov, 07] Bruchanov, M.: Klasifikace antropologick´ ych dat ˇ Semestráln´ı práce z pˇredmˇetu 36NAN, CVUT, Praha 2007 [Gálet, 07] G´ alet, M.: Grafick´ a nadstavba pro syst´ em z´ısk´ av´ an´ı znalost´ı Diplomová práce, VUT, Brno 2007 [Pavl´ıˇcek, 08] Pavl´ıˇcek, M.: Modul pro automatick´ e pˇ redzpracovan´ı dat ˇ Diplomová práce, CVUT, Praha 2008 [Guyon, Elisseeff, 03] Guyon I., Elisseeff A.: An introduction to variable and feature selection Journal of machine learning research, 3(1):1157–1182, 2003 [Han, Kamber, 06] Han J., Kamber M.: Data Mining: Concepts and Techniques. Second edition. Elsevier Inc., 2006 [Zelenka, 07] Zelenka, P.: Pˇ redzpracov´ an´ı dat v programu YALE ˇ Diplomová práce, CVUT, Praha 2007 [GMDH web] Výukové p´ asmo na téma GMDH http://neuron.felk.cvut.cz/courseware/data/chapter/myska2000/ [MOON web] Learning Vector Quantization (LVQ) http://moon.felk.cvut.cz/~ pjv/Jak/ neur/n607/uvod.html

48

KAPITOLA 7. LITERATURA

[gerstner web] Pˇredzpracov´ an´ı dat pro data mining: metody a n´ astroje http://gerstner.felk.cvut.cz/biolab/33ZUI/tut-datamining.ppt [GMDH web2] Group method of data handling webpage htt://www.gmdh.net ˇ [CTU] Skoln´ ı str´ anka skupiny Neuronových s´ıt´ı http://service.felk.cvut.cz/courses/36NAN/index.html [VSB web] RBF s´ıtˇe (Radial Basis Function) http://homen.vsb.cz/~ min038/rbf/rbf1.html#dalsi fce [Perceptron] Jeden perceptron - klasifikace http://neuron.felk.cvut.cz/courseware/data/chapter/36nan028/s04.html [SOM] Samouˇc´ıc´ı se neuronov´ a s´ıt’ - SOM, Kohonenovy mapy http://automatizace.hw.cz/mereni-a-regulace/ART244-samoucici-se-neuronova-sit--som-kohonenovy-mapy.html [SOM-PAK] Pouˇzit´ı programového bal´ıku SOM PAK pro samoorganizuj´ıc´ı neuronové s´ıtˇe (mapy) http://www.jakubholy.net/school/som pak.html

ˇ YCH ´ DODATEK A. SEZNAM POUZIT ZKRATEK

A Seznam pouˇ zit´ ych zkratek AD - Antropologická data AU - All units - vˇsechny jednotky CMVI - Constant Missing Value Imputer EP - Example preprocessor ET - Ensemble technika GAME - Group of Adaptive Models Evolution GMDH - Group Method of Data Handling ICA - Independent Component Analysis KM - Klasifikaˇcn´ı metody LJ - Linear jednotky LVQ - Learning Vector Quantization MAPD - Modul pro automatické pˇredzpracov´ an´ı dat MIR - Missing Instances Remover MMVI - Median Missing Value Imputer NA - Noise adder NNMVI - Nearest Neighbor Missing Value Imputer PCA - Principal Component Analysis PM - Pˇredzpracovac´ı metoda RBF - Radial Basis Function RMS - Root mean squared error SOM - Self-Organizing Maps SOM-PAK - Self-Organizing Map Program Package

49

50

ˇ YCH ´ DODATEK A. SEZNAM POUZIT ZKRATEK

ˇ ˇ EHO ´ DODATEK B. OBSAH PRILO ZEN CD

B Obsah pˇ riloˇ zen´ eho CD | | | | | | |

- readme.txt - text/ - - DP Jakub Novak.pdf - data/

readme.txt - obsahuje popis jednotliv´ ych adresáˇr˚ u a co se v nich nach´ az´ı text/ - Sloˇzka obsahuj´ıc´ı samotnou diplomovou práci data/ - data pouˇzitá pro v´ ypoˇcty

51

Analýza antropologických dat metodami výpočetní inteligence. Bc. Jakub Novák

Recommend Documents