FAKULTA INFORMAČNÍCH TECHNOLOGIÍ

ˇ Í TECHNICKE´ V BRNEˇ VYSOKE´ UCEN BRNO UNIVERSITY OF TECHNOLOGY

ˇ ÍCH TECHNOLOGIÍ FAKULTA INFORMACN ˇ ÍTACOV ˇ ´ ´ ´ U ˚ USTAV POC YCH SYSTEM FACULTY OF INFORMATION TECHNOLOGY DEPARTMENT OF COMPUTER SYSTEMS

´ AN ´ Í MODELU ˚ PRO DOLOVAN ´ Í Z DAT POROVNAV

´ RSK ˇ ´ PRACE ´ BAKALA A BACHELOR’S THESIS

´ AUTOR PRACE AUTHOR

BRNO 2007

ˇ JAN POSPÍSIL

ˇ Í TECHNICKE ´ V BRNE ˇ VYSOKE´ UCEN BRNO UNIVERSITY OF TECHNOLOGY

ˇ ÍCH TECHNOLOGIÍ FAKULTA INFORMACN ˇ ˇ ´ ´ ´ ´ U ˚ USTAV POCITACOVYCH SYSTEM FACULTY OF INFORMATION TECHNOLOGY DEPARTMENT OF COMPUTER SYSTEMS

´ AN ´ Í MODELU ˚ PRO DOLOVAN ´ Í Z DAT POROVNAV DATAMINING MODELS COMPARISON

´ RSK ˇ ´ PRACE ´ BAKALA A BACHELOR’S THESIS

´ AUTOR PRACE

ˇ JAN POSPÍSIL

AUTHOR

´ VEDOUCÍ PRACE SUPERVISOR

BRNO 2007

ˇ Ph.D. ´ S, Ing. ROMAN LUKA

Abstrakt Tato práce se zabývá základn´ım porovnáván´ım vlastnost´ı dataminingových model˚u vzhledem k r˚uzných povahám dat. D˚uraz byl kladen pˇredevˇs´ım na nalezen´ı kl´ıcˇ ových vlastnot´ı, které ovlivˇnuj´ı pˇresnost klasifikace dat. Práce je cˇ lenˇena do nˇekolika cˇ a´ st´ı tak, aby i neodborný cˇ tenáˇr nebo dokonce uplný laik porozumˇel tématu a mohl ze závˇer˚u této práce profitovat. V prvn´ı fázi je cˇ tenáˇr seznámen s problematikou dataminingu, potˇrebných model˚u a algoritm˚u, druhá cˇ a´ st se zabývá porovnáván´ım model˚u a zhodnocen´ım výsledk˚u.

Kl´ıcˇ ová slova Dolován´ı z dat, klasifikace, porovnáván´ı model˚u, SAS Enterprise miner, z´ıskáván´ı znalost´ı z dat, datamining

Abstract This thesis focuses on comparing of the datamining models features depending on the different databazis topology. The objekt was to find key features that at most involve the accuracy of classification. Thesis is composed from chapters in a way that even a non-professional or even a complete laik could understand the object and could find theese thesis results useful. In the beginning the reader is beeing made familiar with all the background information about datamining and its models and algorithms, the second part denotes about the model comparison and discusses its results.

Keywords Datamining, classification, datamining models, SAS Enterprise miner

Citace Jan Posp´ısˇil: Porovnáván´ı model˚u pro dolován´ı z dat, bakaláˇrská práce, Brno, FIT VUT v Brnˇe, 2007

Porovnáván´ı model˚u pro dolován´ı z dat Prohlásˇen´ı Prohlaˇsuji, zˇ e jsem tuto bakaláˇrskou práci vypracoval samostatnˇe pod veden´ım pana Ing. Romana Lukásˇe, Ph.D . ....................... Jan Posp´ısˇil 14. kvˇetna 2007

c Jan Posp´ısˇil, 2007.

Tato práce vznikla jako sˇkoln´ı d´ılo na Vysokém uˇcen´ı technickém v Brnˇe, Fakultˇe informaˇcn´ıch technologi´ı. Práce je chránˇena autorským zákonem a jej´ı uˇzit´ı bez udˇelen´ı oprávnˇen´ı autorem je nezákonné, s výjimkou zákonem definovaných pˇr´ıpad˚u.

Zadán´ı Porovnán´ı modelu˚ pro dolován´ı dat z dat • Vedouc´ı: Lukásˇ Roman, Ing., Ph.D., UIFS FIT VUT • Oponent: Bart´ık Vladim´ır, Ing., Ph.D., UIFS FIT VUT

1. Seznamte se podrobnˇe s metodami pro dolován´ı dat z databáz´ı a s prostˇred´ım programu SAS Enterprise Miner. 2. Z r˚uzných zdroj˚u naleznˇete data vhodná pro dolován´ı. 3. Pro dolován´ı z tˇechto dat pomoc´ı r˚uzných model˚u (napˇr. regresn´ı analýza, rozhodovac´ı strom, neuronová s´ıt’ BP) pouˇzijte program SAS Enterprise Miner. 4. Z pˇredchoz´ıho výsledku udˇelejte analýzu, který model je vhodný pro jaký druh dat a proˇc. 5. Zhodnot’te dosaˇzené výsledky.

Licenˇcn´ı smlouva Licenˇcn´ı smlouva je uloˇzena v arch´ıvu Fakulty informaˇcn´ıch technologi´ı Vysokého uˇcen´ı technického v Brnˇe.

1

Obsah 1

2

3

Z´ıskáván´ı znalost´ı z dat ´ 1.1 Uvod . . . . . . . . . . . . . . . . . . . . . . . 1.2 Definice . . . . . . . . . . . . . . . . . . . . . . 1.3 Potencionáln´ı aplikace . . . . . . . . . . . . . . 1.4 Datové zdroje . . . . . . . . . . . . . . . . . . . 1.4.1 Multidimenzionáln´ı datový model . . . . 1.4.2 Operace nad multidimenzionáln´ı kostkou 1.5 Proces z´ıskáván´ı znalost´ı . . . . . . . . . . . . . 1.5.1 Fáze . . . . . . . . . . . . . . . . . . . . 1.5.2 Metodiky . . . . . . . . . . . . . . . . . 1.6 Typické dataminingové u´ lohy . . . . . . . . . . . 1.6.1 Dolován´ı asociaˇcn´ıch pravidel . . . . . . 1.6.2 Shlukovac´ı analýza . . . . . . . . . . . . 1.6.3 Predikce . . . . . . . . . . . . . . . . . . 1.6.4 Klasifikace . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

3 3 4 4 5 5 5 7 7 7 8 8 10 11 11

Klasifikace ´ 2.1 Uvod . . . . . . . . . . . . . . . . . . 2.1.1 Proces klasifikace . . . . . . . . 2.1.2 Vlastnosti klasifikátoru . . . . . 2.2 Rozhodovac´ı strom . . . . . . . . . . . 2.2.1 Algoritmus . . . . . . . . . . . 2.2.2 Výbˇer atributu . . . . . . . . . 2.2.3 Optimalizace . . . . . . . . . . 2.3 Neuronová s´ıt’ . . . . . . . . . . . . . . 2.3.1 Neuron . . . . . . . . . . . . . 2.3.2 Neuronová s´ıt’ Backpropagation

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

12 12 12 12 13 13 14 15 15 15 16

Porovnáván´ı modelu˚ pro klasifikaci 3.1 Výzkumný zámˇer . . . . . . . . . . . . . . . . . 3.2 Testovac´ı data . . . . . . . . . . . . . . . . . . . 3.3 Prostˇred´ı SAS Enterprise miner . . . . . . . . . . 3.4 Porovnáván´ı model˚u . . . . . . . . . . . . . . . 3.4.1 Výbˇer klasifikátoru s nejlepˇs´ımi výsledky 3.4.2 Vliv poˇctu atribut˚u na klasifikaci . . . . . 3.4.3 Vydolovatelnost informace . . . . . . . . 3.4.4 Zaˇsumˇelá tˇr´ıda . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

19 19 19 20 24 24 26 29 30

2

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

4

Závˇer

33

Seznam pouˇzitých zdroju˚

33

A Pˇr´ıloha

35

3

Kapitola 1

Z´ıskáván´ı znalost´ı z dat 1.1

´ Uvod

Historický vývoj Z´ıskáván´ı znalost´ı dat je povaˇzováno za jeden z hlavn´ıch smˇer˚u vývoje databázových technologi´ı dneˇska. Je ale nutno dodat, zˇ e snahy o analytický pˇr´ıstup k ukládaným dat˚um zde byl jiˇz od samého zaˇca´ tku 60.let, v dobˇe vzniku prvn´ıch datovˇe intenzivn´ıch aplikac´ı. Na data uloˇzená v hieratických cˇ i s´ıt’ových databáz´ıch byly aplikovány jednoduché statistické metody logické regrese a rozhodovac´ıch strom˚u. Výsledky obsahovaly chyby vlivem náhodných korelac´ı, se kterými se tento pˇr´ıstup nebyl schopen vypoˇra´ dat. Tézˇ vzhledem k výkonové spolehlivostn´ı u´ rovni tehdejˇs´ı výpoˇcetn´ı techniky, z˚ustaly pokusy tohoto typu pouze na bázi akademických projekt˚u. Prekvizity Dalˇs´ım impulzem se ukázal v 80. letech aˇz pˇr´ıchod nových systém˚u ˇr´ızen´ı báze dat zaloˇzených bud’ na relaˇcn´ım nebo pozdˇeji i objektovém pˇr´ıstupu. Takto ˇr´ızené databáze zaznemenaly v krátké dobˇe velké rozˇs´ıˇren´ı v globáln´ım mˇeˇr´ıtku a prosadily se jako plnohodnotný zp˚usob uchováván´ı informac´ı. Pˇr´ıstup k databázi uˇz nebyl doménou programátor˚u. Do hry pˇricházej´ı i lidé, kterým se poˇc´ıtaˇc dostal na kanceláˇrský st˚ul, a kteˇr´ı s databáz´ı, pomoc´ı r˚uzných pˇra´ telských uˇzivatelských rozhran´ı, kaˇzdodennˇe pracuj´ı. Z pohledu dataminingu c´ılovou skupinou jsou pak lidé, kteˇr´ı vyuˇz´ıvaj´ı pˇr´ıstupu k databáz´ım k analýze cˇ i jinému zp˚usobu z´ıskaván´ı poznatk˚u o datech v nich uloˇzených. Motivace Vlastn´ıci databáz´ı jiˇz kromˇe operaˇcn´ı databáze, kde uchovávaj´ı svá aktuáln´ı data, disponuj´ı i mechanismy na ukládán´ı a archivaci tˇechto dat ve velkých objemech, viz. [3].

Top´ıme se v datech, ale trp´ıme nedostatkem informac´ı.

4

Vlivem rozvoje informaˇcn´ı spoleˇcnosti a technického pokroku vznikaj´ı nové zdroje dat: • Multimediáln´ı zdroje dat, datové proudy. • Web a strukturované formy dokument˚u. Explozivnˇe rostou objemy informac´ı uchovávaných v databáz´ıch. Objemy dat zaˇc´ınaj´ı uˇzivatel˚um ´ ernˇe tomu tedy roste zájem o nástroje, které dovedou velké objemy dat pˇrer˚ustat pˇres hlavu. Umˇ efektivnˇe zpracovávat a transformovat na znalosti pro podporu rozhodován´ı.

1.2

Definice

Jako z´ıskáván´ı znalost´ı z dat lze definovat cˇ innost, která vede k z´ıskán´ı zaj´ımavých netriviáln´ıch zjiˇstˇen´ı z velkého mnoˇzstv´ı dat. Pˇredmˇetem zájmu jsou souvislosti mezi daty, nikoliv hodnoty, které jsou v databázi explicitnˇe uvedeny. Nejde tedy o koncept typický v operaˇcn´ıch databáz´ıch. Pouze se nedotazujeme na poˇzadované hodnoty. Aby mˇela tato cˇ innost smysl, mus´ı z´ıskané znalosti pˇrinásˇet nˇejaký uˇzitek, napˇr´ıklad v podobˇe informac´ı, které pomáhaj´ı pˇri strategických rozhodnut´ıch, nˇejakým zp˚usobem obohacuj´ı naˇse povˇedom´ı o datech, ze kterých dolujeme právˇe ony skryté souvislosti. Lidé na vedouc´ıch pozic´ıch se rozhoduj´ı podle své vlastn´ı intuice a dobrá intuice patˇr´ı bezesporu ke kvalitám správného manaˇzera. Typickým u´ kolem z´ıskáván´ı znalost´ı z dat je poskytnout lepˇs´ı výchoz´ı podm´ınky pˇri strategickém rozhodnut´ı t´ım ,ˇze pom˚uzˇ eme pochopit nˇekteré zákonitosti, které se nacház´ı v historických datech k danému tématu. Pro term´ın “z´ıskáván´ı znalost´ı z databáz´ı” se v literatuˇre m˚uzˇ eme setkat s ˇradou alternativn´ıch ˇ y pˇreklad názv˚u a definic, v angliˇctinˇe napˇr´ıklad Information harvesting, Data distilery a dalˇs´ı. Cesk´ se s tˇemito názvy nˇekdy aˇz kurioznˇe popral jako: Rýpáni se v datech, Datokopectv´ı. Tento fakt je zapˇr´ıcˇ inˇen t´ım, zˇ e tato vˇedn´ı discipl´ına proˇsla prudkým vývojem a definitivn´ı koncept se ustálil aˇz v posledn´ı dobˇe. Z anglického Datamining, které bylo p˚uvodnˇe pouze jednou z fáz´ı z´ıskáván´ı znalost´ı, se tato hornická metafora stala pˇreneseným významem a je tedy moˇzné ji brát jako synonymum pro celý proces.

1.3

Potencionáln´ı aplikace

Intuitivnˇe lze oblasti aplikace z´ıskáván´ı znalost´ı hledat tam, kde v´ıme, zˇ e se hromad´ı data s nˇejakou vypov´ıdaj´ıc´ı schopnost´ı a zároveˇn je informace v nich skrytá atraktivn´ı pro danou oblast. Obecnˇe jsou to trh a marketing, pojiˇst’ovnictv´ı a analýza rizik, medic´ına, bezpeˇcnost. ´ • Analýza nákupn´ıho koˇs´ıku - Uloha se zabývá nalezen´ım spoleˇcnˇe prodávaného zboˇz´ı, ˚ Pokud napˇr´ıklad zjist´ıme, zˇ e na jedné u´ cˇ tence se významnˇe cˇ asto frekventovaných vzoru. spoleˇcnˇe vyskytuje pivo a dˇetské pleny, vyplývá z toho napˇr´ıklad zjiˇstˇen´ı, zˇ e pro tˇezˇ ký bal´ık plen je vyslán tat´ınek, který si s oblibou po cestˇe pˇribere i pro sebe pivo. Obchodn´ık má pak k dispozici podklady pro rozhodnut´ı, jak má uspoˇra´ dat jednotlivá oddˇelen´ı, aby tat´ınkovo rozhodnut´ı podpoˇril. Z frekventovaných vzor˚u se pak generuj´ı asociaˇcn´ı pravidla. • Finanˇcn´ı a riziková analýza - Zabývá se dolován´ım znalost´ı ohlednˇe profilu zákazn´ıka, kdy je tˇreba jistá forma predikce chován´ı zákazn´ıka. Napˇr´ıklad jak bude reagovat na r˚uzné formy reklamn´ı kampanˇe, nebo naopak zda je riziko, zˇ e nebude splácet hypotéku.

5

• Biologická a klinická data - Dolován´ı z biologických dat je velmi sˇiroká oblast, která zahrnuje pˇr´ıpady od testován´ı hypotéz, analýzy klinických pˇr´ıpad˚u aˇz po molekulárn´ı biologii a genetiku. Touto oblast´ı dolován´ı dat se zabýva obor Bioinformatiky, který je zde s dataminingem u´ zce spojen. • Dolován´ı v datových proudech a webu - Zcela speciáln´ı oblast´ı pro dolován´ı z dat jsou datové proudy. Nejvˇetˇs´ı výzva zde spoˇc´ıvá v tom, zˇ e veˇskeré dolován´ı se mus´ı odehrávat pouze v okamˇziku jednoho pr˚uchodu daty. Jde typicky o u´ lohy jako analýzy telefonn´ıch hovor˚u cˇ i záznam˚u z dohledových kamer. V pˇr´ıpadˇe dolován´ı z webu a z textu obecnˇe jde o vyhledáván´ı a analýzu kl´ıcˇ ových slov a následnou klasifikaci dokument˚u, napˇr´ıklad podle tématu o kterém pojednávaj´ı.

1.4

Datové zdroje

Neˇz se budeme vˇenovat samotnému procesu dolován´ı dat, je tˇreba se zabývat jistými prekvizitami a nástroji, které s efektivn´ım dolován´ım u´ zce souvisej´ı. Pˇredevˇs´ım pak systémy, které jsou schopny poskytovat kvalitn´ı datovou podporu pro typické dataminingové operace. V praxi se velmi cˇ asto doluje z dat z r˚uzných zdroj˚u (operaˇcn´ı databáze, u´ daje od zákazn´ık˚u ...) a ty mohou trpˇet r˚uznou formou sˇumu a nekonzistentnosti. Lze sice ˇr´ıci, zˇ e dolován´ı lze provádˇet nad jakýmikoliv daty, nicménˇe u´ spˇech je u´ zce spjat s kvalitou dat. Odpovˇed´ı na naˇse nároky jsou nástroje pro kolekci, zpracováván´ı a následnou strukturovanou prezentaci dat vhodnou pro zpracován´ı dolovac´ımi algoritmy - datové sklady. Pˇri ukládán´ı do datového skladiˇstˇe procház´ı data cˇ iˇstˇen´ım a transformacemi a obecnˇe lze ˇr´ıci, zˇ e maj´ı vyˇssˇ´ı kvalitu a vˇetˇs´ı vypov´ıdac´ı schopnost. Data v datových skladech maj´ı následuj´ıc´ı vlastnosti: • Integrovaný - Extrakce a integrace dat do heterogenn´ıho formátu, i kdyˇz data p˚uvodnˇe pocházej´ı z r˚uzných zdroj˚u. • Dlouhodobá data- Archivace dat za vˇetˇs´ı cˇ asové periody, ˇra´ dovˇe roky. • Perzistence - Po pˇreveden´ı dat do skladiˇstˇe, se uˇz data needituj´ı, jsou koneˇcná. • Subjektová orientace - Data jsou organizována podle konkrétn´ıch koncept˚u jako zákazn´ıci, prodeje, výrobky.

1.4.1 Multidimenzionáln´ı datový model Od tabulek cˇ i objekt˚u v OTLP (operaˇcn´ı databáze) se zde dostáváme k jinému modelu pro uchováván´ı dat - multidimenzionáln´ı kostce. Dimenze reprezentuj´ı aspekty, ze kterých mohou být nahl´ızˇ ena data, typickým pˇr´ıkladem je cˇ as, geograficka poloha a typ výrobku jehoˇz prodej sledujeme. V tomto pˇr´ıpadˇe máme pro jednoduchost pouze tˇri dimenze a výsledek si tedy lze pˇredstavit jako trojrozmˇernou kostku, viz obr. 1.1.

1.4.2 Operace nad multidimenzionáln´ı kostkou V takto organizované datové struktuˇre jsou tˇreba operace, které nám umoˇzn´ı lepˇs´ı pohled na data. Respektive se stávaj´ıc´ım pohledem, urˇceným multidimenzionáln´ı kostkou, pracovat a pˇr´ızp˚usobovat ho pro potˇreby analýzy.

6

Obrázek 1.1: Ukázka uloˇzen´ı prodej˚u v jednotlivých mˇestech v pr˚ubˇehu cˇ asu

• ROLL UP - Procházen´ı konceptuáln´ı hierarchie v dimenzi smˇerem nahoru. Zvyˇsován´ı agregace hodnot. Pokud se pˇresuneme z u´ rovnˇe napˇr´ıklad prodej˚u za týden na u´ roveˇn prodej˚u za mˇes´ıc. • DRILL DOWN - Opaˇcný postup neˇz u ROLL UP, zavrtáváme se do detail˚u dat v dimenzi a sniˇzujeme agregaci. • SLIDE & DICE - Operace, která je synonymum pro výbˇer. Výsledkem je oˇrezán´ı dat aˇz na ty, která nás zaj´ımaj´ı. Vznikne podkostka, která v dimenz´ıch obsahuje pouze data vyhovuj´ıc´ı podm´ınkám. Napˇr´ıklad prodeje pouze z urˇcitého regionu v urˇcitém mˇes´ıci. • PIVOT - Geometrická rotace ve smyslu zmˇeny orientace dat na osách. Nijak do dat nezasahuje. Pouˇz´ıvá se pro vizuáln´ı u´ pravu napˇr´ıklad 2D graf˚u.

7

1.5

Proces z´ıskáván´ı znalost´ı

1.5.1 Fáze Z hlediska práce s daty rozeznáváme z procesu dolován´ı následuj´ıc´ı fáze, mezi kterými se iterativnˇe procház´ı. V závislosti na d´ılˇc´ıch výsledc´ıch se fáze mohou opakovat nebo naopak vypouˇstˇet. 1. Porozumˇen´ı problému - Analýza situace, definován´ı problému, nalezen´ı aktér˚u, stanoven´ı zisk˚u a pˇr´ıpadných rizik, vypracován´ı projektového plánu. ˚ 2. Porozumˇen´ı datumVytvoˇren´ı konceptu, zámˇeru ohlednˇe toho, jaké konkrétn´ı zjiˇstˇen´ı by pro násˇ projekt byla pˇr´ınosná. Obstarán´ı vhodných dat, o kterých si mysl´ıme, zˇ e by mohly obsahovat odpovˇedi na naˇse otázky a porozumˇet jejich struktuˇre a povaze. 3. Pˇr´ıprava dat - Transformace dat do vhodné struktury, cˇ iˇstˇen´ı dat od vychýlených a chybˇej´ıc´ıch hodnot, selekce c´ılových dat pro samotný proces. 4. Datamining - Jádro procesu, výbˇer a aplikace nejvhodnˇejˇs´ı techniky, sestaven´ı modelu. 5. Vyhodnocen´ı - Transformace a vyhodnocen´ı výsledk˚u, uˇcinˇen´ı patˇriˇcných závˇer˚u. 6. Nasazen´ı - Prom´ıtnut´ı závˇer˚u to praxe, monitoring odezvy a následné shrnut´ı u´ spˇesˇnosti celého projektu. Posloupnost je ˇrazena z demonstraˇcn´ıch d˚uvod˚u tak, aby na sebe jej´ı prvky logicky navazovaly. V praxi je vˇsak obvyklé, zˇ e se nˇekteré fáze sluˇcuj´ı.Napˇr´ıklad pˇri cˇ iˇstˇen´ı dat je tˇreba upravená data nˇekam ukládat a je tedy praktiˇctˇejˇs´ı provádˇet rovnou i jejich integraci. Operace pro pˇr´ıpravu dat se fyzicky realizuj´ı jiˇz pˇri ukládán´ı dat do datových sklad˚u.

1.5.2 Metodiky Snahy o podporu efektivity tohoto procesu daly vzniknout rˇadˇe metodik, které nav´ıc poskytuj´ı uˇzivateli pevný rámec pro usnadnˇen´ı ˇreˇsen´ı dolovac´ıch u´ loh. Za nˇekterými metodikami stoj´ı pˇredn´ı firmy na poli softwarových ˇreˇsen´ı v této oblasti a kaˇzdá uplatˇnuje trochu jiný pohled na problematiku. • Metodika 5A - Vznikla na p˚udˇe firmy SPSS, a sv˚uj název z´ıskala podle pˇeti fáz´ı ze kterých se skladá. – Assess - posouzen´ı potˇreb projektu – Access - shromázˇ dˇen´ı dat – Analyze - proveden´ı analýz – Akt - pˇremˇena znalost´ı na plán potˇrebných zmˇen – Automate - zaveden´ı znalost´ı do praxe

8

• Metodika SEMMA - Pouˇz´ıvaná softwarovými produkty firmy SAS, název je opˇet zkratkou jednotlivých krok˚u procesu. – Sample - výbˇer vhodných objekt˚u – Explore - prozkoumán´ı struktury dat – Modify - datové transformace – Model - analýza dat pomoc´ı umˇelé inteligence, metod strojového uˇcen´ı – Assess - zhodnocen´ı modelu a interpretace závˇer˚u

1.6

´ Typické dataminingové ulohy

1.6.1 Dolován´ı asociaˇcn´ıch pravidel ´ Uloha se soustˇred´ı na z´ıskáván´ı asociac´ı - souvislot´ı mezi daty. Typicky se pak jedná o jiˇz zm´ınˇenou analýzu nákupn´ıho koˇs´ıku. Prodejce tak z´ıská informace, podle kterých si m˚uzˇ e udˇelat lepˇs´ı pˇredstavu o tom, jaké výrobky jsou nakupovány dohromady a tak napˇriklad lépe uspoˇra´ dat zboˇz´ı v prodejnˇe nebo vytipovat jednotlivé skupiny nakupuj´ıc´ıch a lépe se pˇrizp˚usobit jejich potˇrebám. Pokud máme k dispozici u´ cˇ tenky, které reprezentuj´ı seznamy nakupovaných vˇec´ı. M˚uzˇ eme stanovit, podle toho zda se výrobek v koˇs´ıku vyskytuje nebo ne, napˇr´ıklad následuj´ıc´ı asociaˇcn´ı pravidlo: MOUKA ∧V EJCE ⇒ KVASNICE Jestliˇze si zákazn´ık koup´ı mouku a vejce, s velkou pravdˇepodobnost´ı si koup´ı také kvasnice. Bude se asi jednat o nákup surovin na peˇcen´ı.V praxi se nicménˇe nemus´ı jednat jenom o nákupy a koˇs´ıky, ale lze dolovat souvislosti mezi událostmi, hodnotami v r˚uzných procesech a podobnˇe. Nyn´ı se zbˇezˇ nˇe pod´ıváme na algoritmy a principy, jakými se z dat z´ıskávaj´ı frekventované vzory (ˇcasto opakuj´ıc´ı se výrobky), ze kterých se pak asociaˇcn´ı pravidla tvoˇr´ı. Algoritmus Apriori Princip cˇ innosti spoˇc´ıvá ve dvou kroc´ıch. 1. Krok - generován´ı kandidátu˚ spojen´ım, na principu spojen´ı podmnoˇzim. V prvn´ım kole jsou kandidáti vˇsechny prvky databáze. ˚ které se nevyskytuj´ı poˇzadovanˇe cˇ asto 2. Krok - eliminac´ı kandidátu, Tyto dva kroky se opakuj´ı v kaˇzdém kole. Algoritmus konˇc´ı, pokud pro kandidáty aktuáln´ıho kola jiˇz nemá podporu, výsledkem jsou pak podporovan´ı kandidáti pˇredchoz´ıho kola.

9

Nevyhnutelnými u´ kony jsou pak procházen´ı celé databáze pˇri poˇc´ıtán´ı výskytu (podpory) kandidát˚u a zátˇezˇ systému pˇri samotném generován´ı kandidát˚u. Oba fakty jsou o to závaˇznˇejˇs´ı, zˇ e poˇcty kandidát˚u m˚uzˇ ou být obrovské, vˇetˇs´ı neˇz rozsah p˚uvodn´ı databáze. Proto se tento alg. doˇckal u´ prav do mnoha jiných verz´ı, které jeho nejbolavˇejˇs´ı m´ısta odstraˇnuj´ı, podrobnˇeji zde [1]. FP strom Výraznˇe efektivnˇejˇs´ı algoritmus. Uspoˇra´ dán´ı frekventovaných mnoˇzin do struktury stromu pˇri jednom pr˚uchodu databáze. 1. Krok - stejný jako u Apriori alg. - z´ıskán´ı poˇzadovanˇe podporovaných prvk˚u 2. Krok - uspoˇra´ dán´ı podle podpory, konstrukce FP stromu Pro kaˇzdou frekventovanou mnoˇzinu je zaloˇzena vˇetev. Nˇekteré vˇetve mohou m´ıt spoleˇcné prefixy (poˇca´ tky), v pˇr´ıpadˇe, zˇ e obsahuj´ı spoleˇcné frekventované podmnoˇziny. Výsledkem je pak samotný strom, respektive jeho nejdelˇs´ı vˇetve, viz obr. 1.2. Pro rychlejˇs´ı pr˚uchod uchováváme tabulku odkaz˚u na poˇca´ teˇcn´ı uzly. Pˇr´ıklad: { 1, 3, 4 } { 2, 4, 5 } { 2, 4, 6 }

Obrázek 1.2: Ukázka konstrukce FP stromu pro uvedené záznamy

10

1.6.2 Shlukovac´ı analýza Proces, který vyhledává podobné vlastnosti v datech a rozdˇeluje je podle nich do tˇr´ıd. C´ılem je, aby si prvky ve stejné tˇr´ıdˇe byly co nejv´ıce podobné a zároveˇn, aby se co nejménˇe podobaly prvk˚um z jiných tˇr´ıd. Mˇeˇr´ıtko podobnosti cˇ asto bývá vzájemná vzdálenost, odtud také pocház´ı název u´ lohy. Metoda pracuje pouze s mnoˇzinou vzork˚u, kterou má zpracovávat, nepotˇrebuje zˇ a´ dné doplˇnuj´ıc´ı informace. Jedná se o druh metody bez uˇcitele.

Obrázek 1.3: Výsledek aplikace shlukovac´ı metody

Shlukovac´ı analýzu vyuˇz´ıváme vˇsude, kde jsou v datech potˇreba indetifikovat jisté podobné skupiny, napˇr´ıklad v bioinformatice, pˇri rozpoznáván´ı vzor˚u v multimédi´ıch (objekty na fotografii) nebo jako stupeˇn pˇredzpracován´ı pro jiné dataminingové u´ lohy - Klasifikace. K dispozici je mnoho variant algoritmu. Ty se liˇs´ı principem, na kterém pracuj´ı nebo vlastnostmi a t´ım pádem vhodnost´ı pro r˚uzné povahy dat, povahy aplikac´ı cˇ i výpoˇcetn´ı nároˇcnost´ı. Metody zaloˇzené na rozdˇelován´ı Lze aplikovat na N objekt˚u pro rozdˇelen´ı do M tˇr´ıd. Na zaˇca´ tku je nutné vˇedˇet poˇcet tˇr´ıd, do kterých má algoritmus objekty rozdˇelovat. Principem cˇ innosti je vyhledáván´ı ohniska, objektu, který nejlépe vyhovuje vzdálenostn´ım funkc´ım ostatn´ıch objekt˚u. 1. Krok - Náhodné stanoven´ı ohnisk vˇsech tˇr´ıd. 2. Krok - Iterativnˇe vyhledávat lépe vyhovuj´ıc´ı ohniska a vhodnˇe pˇreskupovat objekty.

11

Algoritmus konˇc´ı, pokud nezbyly zˇ a´ dné objekty, které by bylo výhodnˇejˇs´ı pˇresunout.Pro tuto u´ lohu jsou vyuˇz´ıvany dvˇe hlavn´ı heuristiky. • Metoda centráln´ıho stˇredu- Známá tézˇ jako K-MEANS. Jako ohnisko je fiktivn´ı bod, stˇred, jehoˇz poloha se odvozuje pomoc´ı stˇredn´ıch hodnot atribut˚u objekt˚u urˇcité tˇridy. • Metoda reprezentuj´ıc´ıho objektu - Metoda vyuˇz´ıvá podobného principu, s t´ım rozd´ılem, zˇ e jako ohnisko je vybrán jeden z bod˚u. Obˇe metody tedy pracuj´ı na podobných principech a maj´ı podobné vlastnosti. Jsou vhodné pˇredevs´ım pro menˇs´ı a stˇredn´ı dobˇre ohraniˇcené shluky kulatých tvar˚u. Metoda reprezentuj´ıc´ıho bodu má vˇetˇs´ı odolnost proti sˇumu a odlehlým hodnotám, ale zato je kv˚uli výpoˇct˚um zvolen´ı nového ohniska nároˇcnˇejˇs´ı. Nevýhodou obou metod z˚ustává stanoven´ı poˇctu tˇr´ıd pˇred samotnou analýzou a nevhodnost pro komplikovanˇejˇs´ı tvary. Shlukovac´ı metody zaloˇzené na jiných principech nalezneme napˇr´ıklad zde [1].

1.6.3 Predikce Metoda, která posuzuje data podle jejich atribut˚u a pˇriˇrazuje jim hodnoty obecnˇe spojitého charakteru. Metoda pracuje na bázi uˇcen´ı s uˇcitelem. Je tˇreba ji poskytnout ohodnocená trénovac´ı data a potom ji aplikovat na jiná data s podobnou nebo stejnou strukturou. Pomoc´ı predikce m˚uzˇ eme napˇr´ıklad ˇreˇsit u´ lohy typu pˇredpov´ıdán´ı u´ rody na urˇcité zemˇedˇelské regiony, kdy známe m´ıstn´ı historické hodnoty poˇcas´ı (jako teploty, srázˇ kové u´ hrny) a výslednou u´ rodu a podle letoˇsn´ıch hodnot bychom rádi pˇredpovˇedˇeli objem té letoˇsn´ı. Mezi metody, se kterými se zde setkáváme nejˇcastˇeji patˇr´ı lineárn´ı a v´ıcenásobná lineárn´ı regrese, ale i jiné viz. [2]. • Lineárn´ı regrese - Vektor dat, atribut˚u x1 , x2 , . . . , xn a hodnot atribut˚u y1 , y2 , . . . , yn , aproximuje rovnic´ı pˇr´ımky pomoc´ı metody nejmenˇs´ıch cˇ tverc˚u. Y = kX + q Mnoˇzinu trénovac´ıch dat metoda vyuˇzije na nastaven´ı koeficient˚u k, q. Predikce se provád´ı dosazen´ım hodnoty atribut˚u do nauˇceného klasifikátoru. • V´ıcenásobná regrese - Vyuˇz´ıvá stejného principu predikce, pouze zobecnˇeného pro N atribut˚u.

1.6.4 Klasifikace Klasifikace je rovnˇezˇ jedna z velmi d˚uleˇzitých u´ loh a je tedy rovnˇezˇ uvedena ve výcˇ tu, ale z hlediska zamˇeˇren´ı této práce se j´ı bude velmi podrobnˇe zabývat následuj´ıc´ı kapitola.

12

Kapitola 2

Klasifikace 2.1

´ Uvod

2.1.1 Proces klasifikace Klasifikace dat je rozdˇelován´ı objekt˚u do skupin, tˇr´ıd podle jejich atribut˚u. Pod pojmem N-nárn´ı klasifikace rozum´ıme rozdˇelován´ı do N tˇr´ıd, avˇsak N < ∞ . Klasifikace je metoda uˇcen´ı s uˇcitelem, klasifikátor konkrétn´ı klasifikaˇcn´ı metody se nauˇc´ı na mnoˇzinˇe dat, která rozdˇelen´ı do tˇr´ıd jiˇz obsahuje, a pak je schopný jiˇz sám klasifikovat data podobné povahy. 1. Uˇcen´ı klasifikátoru na mnoˇzinˇe dat, u kterých známe tˇr´ıdu. 2. Validace klasifikátoru, ovˇeˇren´ı u´ speˇsnosti uˇcebn´ı fáze. Klasifikátor zpracuje data, u kterých mu zataj´ıme, do které tˇr´ıdy patˇr´ı, a pak porovnáme u´ spˇesˇnost, respektive stanov´ıme chybu. Validaˇcn´ı data nesm´ı být podmnoˇzinou trénovac´ıch dat. 3. Klasifikace ostrých dat, které maj´ı stejnou povahu a strukturu jako validaˇcn´ı a trénovac´ı, ale nejsou identická. Pˇredstavme si lékaˇrskou kliniku, kde jsou pacienti pˇred vyˇsetˇren´ım dotazován´ı na u´ daje o jejich celkovém zdravotn´ım stavu, zˇ ivotn´ım stylu nebo zˇ ivotosprávˇe a zda nˇekdy prodˇelali srdeˇcn´ı pˇr´ıhodu. Z takto z´ıskané databáze je klasifikátor schopný izolovat skupinu lid´ı, u kterých je vyˇssˇ´ı riziko infarktu myokardu. U kaˇzdého novˇe pˇr´ıchoz´ıho pacienta m˚uzˇ e být, na základˇe zjiˇstˇen´ı potˇrebných u´ daj˚u o jeho aktuáln´ım stavu, stanoveno, jestli patˇr´ı do rizikové skupiny pˇred t´ım, neˇz zaznamenal jakékoliv pot´ızˇ e se srdcem a tato informace m˚uzˇ e být vyuˇzita lékaˇrem napˇr´ıklad k lepˇs´ımu adresován´ı prevence.

2.1.2

Vlastnosti klasifikátoru

Kvalita klasifikátor˚u se odvozuje hlavnˇe od dosahovaných výsledk˚u. Pokud nˇekterý model nevyhov´ı napˇr´ıklad ve fázi validace, m˚uzˇ e být chyba bud’ v datech, ve vhodnosti modelu pro danou u´ lohu, nebo ve formulaci celé dolovac´ı u´ lohy. Kvalita klasifikátoru se dále pak hodnot´ı z tˇechto hledisek. • Pˇresnost - Schopnost odhalit podstatné vazby v datech a na základˇe nich provést co nejúspˇesˇnˇejˇs´ı klasifikaci. • Srozumitelnost - Jednoduˇse interpretovatelné, na informace pˇreveditelné výsledky. • Rychlost - N´ızká cˇ asová nároˇcnost fáz´ı, zejména pak uˇcen´ı. 13

• Stabilita - N´ızká chybovost výsledk˚u vzhledem k sˇumu v datech nebo rozsáhlosti databáze.

2.2

Rozhodovac´ı strom

2.2.1 Algoritmus Zp˚usob prezentace dat formou rozhodovac´ıho stromu je znám z mnoha oblast´ı lidské cˇ innosti. Princip indukce rozhodovac´ıch strom˚u byl pˇrevzat z metod strojového uˇcen´ı. Postupujeme stylem rozdˇel a panuj. Trénovac´ı data postupnˇe, v závislosti na hodnotách atribut˚u, rozdˇelujeme na menˇs´ı a menˇs´ı celky tak, aby v jednotlivých uzlech pˇrevládaly data stejných znak˚u. V nejniˇzsˇ´ı u´ rovni, listech, jsou data jiˇz rozdˇelená do tˇr´ıd. Poˇc´ınaje koˇrenovým uzlem provád´ıme analýzu od shora dol˚u, postupnou specializaci atribut˚u tˇr´ıd. Mnoˇzina klasifikovaných dat D, Mnoˇzina uˇzitých atribut˚u A.

VytvorStrom(D, A) 1. Vytvoˇr nový uzel N. 2. Skonˇci a vrat’ uzel N jako list dané tˇr´ıdy, pokud vˇsechny data z mnoˇziny D jsou ve stejné tˇr´ıdˇe. 3. Skonˇci, pokud je seznam atribut˚u A prázdný. 4. Vyber a odstraˇn vhodný atribut Ai z mnoˇziny A a pojmenuj podle nˇej uzel N. 5. Pro kaˇzdou hodnotu atributu Ai opakuj: (a) Vytvoˇr vˇetev z uzlu N. (b) Vytvoˇr podmnoˇzinu mnoˇziny D, obsahuje pouze zvolenou hodnotu v atributu Ai . (c) Pokud je mnoˇzina prázdná, pak spoj list s nejbˇezˇ nˇejˇs´ı tˇr´ıdou v mnoˇzinˇe D. (d) Pokud je mnoˇzina neprázdná, rekurzivnˇe volej algoritmus VytvorStrom (viz. obr. 2.1) pro tuto podmnoˇzinu dat a mnoˇzinu atribut˚u A, ve kterém budou chybˇet vˇsechny Ai podle, kterých jsme jiˇz klasifikovali.

14

Obrázek 2.1: Výstavba rozhodovac´ıho stromu

2.2.2

Výbˇer atributu

V pˇredchoz´ı kapitole je atribut podle kterého se pojmenuje uzel popsán jako vhodný. V této chv´ıli se pod´ıváme, co to znamená a jak se taková vhodnost stanov´ı. Z hlediska vytváˇren´ı rozhodovac´ıho stromu, jsou v hieratické struktuˇre nejvýsˇe um´ıstˇené uzly, které maj´ı na podˇr´ızené uzly nejvˇetˇs´ı vliv, respektive nejv´ıce odliˇsuj´ı pˇr´ıklady r˚uzných tˇr´ıd. Nab´ız´ı se analogie z praxe, kdy v urˇcovac´ım atlase rostlin, který je také vlastnˇe jenom druh rozhodovac´ıho stromu, tézˇ postupujeme od nejd˚uleˇzitejˇs´ıch fakt˚u k detail˚um. ˇ ım Rozliˇsovac´ı schopnost atributu A urˇc´ıme podle hodnot funkce informaˇcn´ıho zisku GAIN(A). C´ vyˇssˇ´ı zisk, t´ım vˇetˇs´ı rozliˇsovac´ı schopnost. Jak vid´ıme ze vzorce, je sloˇzen z rozd´ılu dvou funkc´ı a ˇr´ıká, jak se redukuje celková entropie dat výbˇerem jednoho atributu. GAIN(A) = H(C) − H(A) Celková entropie dat: nt T nt T pi log2 pi = − ∑t=1 H(C) = − ∑t=1 n log2 n

Kde pi je pravdˇepodobnost, zˇ e náhodný vzorek z datové mnoˇziny bude klasifikován do i-té tˇr´ıdy, tézˇ se dá na veliˇcinu pohl´ızˇ et jako na relativn´ı cˇ etnost i-té tˇr´ıdy. H(C) je entropie pro daný atribut vzhledem k celým dat˚um.

15

nt (A(v) T nt (A(v) H(A(v) = − ∑t=1 n(A(v) log2 n(A(v)

H(A)) = − ∑Val(A) n(A(v) n H(A(v)) Kde H(A(v)) je hodnota entropie pro kaˇzdou hodnotu v atributu A nad daty, kde se vyskytuje A(v). H(A) je pak stˇredn´ı hodnota vázˇ eného souˇctu H(A(v)).

2.2.3

Optimalizace

V praxi se setkáváme s t´ım, zˇ e klasifikovaná data obsahuj´ı sˇum nebo odchýlené hodnoty, nebo prostˇe svou povahou (hodnˇe bl´ızkých hodnot atribut˚u) stˇezˇ uj´ı indukci rozhodovac´ıho stromu. At’ uˇz je pˇr´ıcˇ inou kvalita nebo povaha dat, m˚uzˇ e doj´ıt k tomu, zˇ e algoritmus produkuje velké mnoˇzstv´ı vˇetv´ı a strom je pˇr´ıliˇs koˇsatý, nebo dokonce nevhodnˇe postavený. Aby se pˇredcházelo tˇemto neˇzadouc´ım efekt˚um, byly do algoritm˚u pro indukci rozhodovac´ıch strom˚u zabudovány metody pro jejich optimalizaci nebo-li takzvané oˇrezáván´ı viz. [2]. • Prepruning - Analýza prob´ıhá jiˇz pˇri vytváˇren´ı stromu. Algoritmus se rozhodne zda nepotˇrebný podstrom nenahrad´ı listem, cˇ i ménˇe cˇ asteji i naopak. • Postpruning - Odstraˇnován´ı nevýznamných vˇetv´ı aˇz po dokonˇcen´ı stromu, na coˇz se mus´ı cˇ ekat a proces se zpomaluje. Zato má tato metoda pˇrehled o celém (hotovém) stromu a je tedy schopná kvalifikovanˇeji podstromy posuzovat.V praxi se proto pouˇz´ıvá bud’ kombinace obou metod nebo Postpruning

2.3

Neuronová s´ıt’

Dalˇs´ım z klasifikátor˚u, o kterém je tˇreba se zm´ınit, je neuronová s´ıt’. Jeden ze známých princip˚u metod umˇelé inteligence. Vyuˇz´ıvá model fungován´ı lidského neuronu, který ve spojen´ı s mnoha jinými neurony tvoˇr´ı s´ıt’. Z hlediska dobýván´ı znalost´ı pˇredstavuj´ı neuronové s´ıtˇe jeden z nejmocnˇejˇs´ıch a nejpouˇz´ıvanˇejˇs´ıch systém˚u, na kterém jsou postaveny nástroje pro klasifikaci a predikci. Silnou stránkou je práce s numerickými atributy a na tomto poli pˇredstavuj´ı alternativu k rozhodovac´ım strom˚um.

2.3.1

Neuron

Lidský neuron se skládá z tˇela a výbˇezˇ k˚u, krátkých dostˇredivých axonu˚ a jednoho dlouhého odstˇredivého dentridu. Axony jsou z jiných neuron˚u pˇrivádˇeny informace. Pokud intenzita pˇrenásˇeného vzruchu dosáhne jisté hranice, informace je po zpracován´ı vyslána dentridem k jinému neuronu. Model pouˇz´ıvaný pro naˇse u´ cˇ ely pracuje v zásadˇe podobnˇe. Na vstupy umˇelého neuronu jsou pˇrivedeny hodnoty atribut˚u dat x1 , x2 , x3 , . . . , xn . V tˇelˇe neuronu jsou zpracována tak, zˇ e informace, které nesou jednotlivé xi , jsou ohodnocena váhami w1 , w2 , . . . , wn . Souˇcin vah a vstup˚u se sˇc´ıtá a k výsledné sumˇe je jeˇstˇe pˇriˇcten BIAS (konstanta) konkrétn´ıho neuronu viz. obr. 2.2. ∑ni=1 wi xi + BIAS

16

Aktivaˇcn´ı funkce vhodným nelineárn´ım zp˚usobem transformuje souˇcet podnˇet˚u. Výstup je potom veden do vstupu neuronu v dalˇs´ı vrstvˇe nebo rovnou vyhodnocen. Nejpouˇz´ıvanˇejˇs´ı aktivaˇcn´ı funkc´ı v souvislosti s t´ımto typem neuronu je funkce: y=

1 1+e− x

Obrázek 2.2: Schéma neuronu Poˇca´ teˇcn´ı nastaven´ı neuronu je libovolné. Uˇcen´ı prob´ıhá iterativnˇe stanovován´ım chyby a následné u´ pravy hodnot vah a biasu.

2.3.2

Neuronová s´ıt’ Backpropagation

Topologie Spojen´ım v´ıce samostatných neuron˚u tak, zˇ e výstup z neuronu i pˇrivedeme opˇet jako vstup do neuronu i + 1 z´ıskáváme strukturu, která sˇc´ıtá rozhodovac´ı schopnost samostatného neuronu. Vˇsechny neurony uspoˇra´ dáme do vrstev a propoj´ıme je tak, zˇ e budou spojeny systémem kaˇzdý s kaˇzdým v rámci sousedn´ıch vrstev, ale neurony v rámci stejné vrstvy z˚ustanou nespojeny. Prvn´ı vrstva, takzvaná vstupn´ı, sama o sobˇe data nezpracovává, jenom zajiˇstuje distribuci mezi ostatn´ı neurony sousedn´ı vrstvy. Klasifikace se odehravá zejména ve skryté vrstvˇe, kterých m˚uzˇ e být obecnˇe libovolný poˇcet, nicménˇe nejpouˇz´ıvanejˇs´ı topologie s´ıtˇe backpropagation má právˇe jednu. Výsledek je vyhodnocen výstupn´ı vrstvou. Výsledky klasifikace pro aktuáln´ı data z´ıskáváme z posledn´ı, výstupn´ı vrstvy viz. obr. 3.2.

17

Obrázek 2.3: Schéma neuronové s´ıtˇe

Uˇcen´ı s´ıtˇe Backpropagation Jak uˇz bylo zm´ınˇeno výsˇe, uˇcen´ı neuronové s´ıtˇe spoˇc´ıvá v nalezen´ı správných hodnot vah pro neuronové vstupy a hodnot konstatnt (bias˚u) pro samotné neurony. V prvn´ı iteraci jsou vˇsechny hodnoty nastaveny libovolnˇe. Pro tento jistˇe zmatený výstup se spoˇc´ıtá chyba neuron˚u ve výstupn´ı vrstvˇe a podle n´ı zpˇetnˇe stanovujeme chyby neuron˚u v ostatn´ıch vrstvách (error backpropagation). C´ılem je zminimalizovat rozd´ıly mezi hodnotami ve výstupn´ım vektoru a mezi poˇzadovaným výsledkem, dokud se chyba neustál´ı na nˇejaké minimáln´ı hodnotˇe, nedosáhneme poˇzadovaný poˇcet iterac´ı nebo jiˇz nedocház´ı k zˇ a´ dným u´ pravám hodnot vah a bias˚u. Opakujeme pro vˇsechny vzorky X mnoˇziny S dokud s´ıt’ nedosáhla jedné z výsˇe uvedených podminek: 1. Pro kaˇzdý neuron j spoˇc´ıtej hodnoty: I j = ∑ wi jOi + BIAS j Oj =

1 1+e− I j

Kde Oi je vstup do neuronu j z neuronu i nebo vstupn´ıho vektoru a wi j je váha vstupu mezi neuronem i a j. O j je výstup aktivaˇcn´ı funkce neuronu j.

18

2. Vˇsechny neurony znaj´ı ted’ své výstupy, které jsou porovnány s vektorem správných výsledk˚u T j a nastává fáze distribuce chyby. Pro kaˇzdý neuron j ve výstupn´ı vrstvˇe spoˇc´ıtej: Err j = O j (1 − O j )(T j − O j ) Kde O j je hodnota z vektoru aktuáln´ıch výsledk˚u a T j hodnota z vektoru správných výsledk˚u. Pro chybu neuron˚u dalˇs´ıch vrstev poˇc´ıtej: Err j = O j (1 − O j ) ∑k Errk w j k 3. Uprav váhy a BIASy vˇsech neuron˚u: wi j = wi j + l(Err j Oi ) BIAS j = BIAS j + l(Err j ) Kde cˇ´ıslo l je koeficient uˇcen´ı, reálné cˇ´ıslo z intervalu h0, 1i. Vyjadˇruje do jaké m´ıry se bude neuronová s´ıt’ pˇrizp˚usobovat aktuáln´ım vzork˚um. Pˇri vysokém koeficientu se rychle uˇc´ı, zato se m˚uzˇ e stát, zˇ e se nauˇc´ı klasifikovat výhradnˇe vzorky z trénovac´ı mnoˇziny. Kvalitn´ı implementace klasifikátor˚u tento koeficient v pr˚ubˇehu uˇcen´ı dynamicky mˇen´ı.

19

Kapitola 3

Porovnáván´ı modelu˚ pro klasifikaci 3.1

Výzkumný zámˇer

Dolován´ı z dat se stává pˇrirozenou souˇca´ st´ı procesu rozhodován´ı a rˇ´ızen´ı obecnˇe. Datamingové nástroje jsou bˇezˇ nou výbavou pracoviˇstˇe kaˇzdého analytika. Pˇred potˇrebu efektivnˇe zanalyzovat svá data jsou stavˇeni i lidé, kteˇr´ı nemaj´ı zˇ a´ dné odborné znalosti, a pˇresto mohou být d´ıky modern´ım nástroj˚um integrovaných do celých analytických prostˇred´ı u´ spˇesˇn´ı. Rozhodli jsme se pod´ıvat bl´ızˇ e na nˇekteré vlastnosti model˚u, které jsou pro u´ spˇesˇné dolován´ı z dat v bˇezˇ né praxi kl´ıcˇ ové. Hlavnˇe jsme se zamˇeˇrili na r˚uzné aspekty metod pro klasifikaci. K dispozici je vice klasifikátor˚u r˚uzných vlastnost´ı (logická regrese, neuronová s´ıt’, rozhodovac´ı strom). Bˇezˇ ný uˇzivatel dataminingovývh nástroj˚u (manaˇzer, analylitik) nen´ı a vlastnˇe ani nemus´ı být do hloubky seznámen s principy jednotlivých klasifikátor˚u . Jeho prioritou z˚ustává uˇzitá hodnota, kterou vydolován´ım urˇcité informace z´ıská. Naˇsim c´ılem je tedy porovnat v praxi nejbˇezˇ nˇeji pouˇz´ıvané klasifikátory a z jejich vlastnost´ı stanovit, který pln´ı, v závislosti na typu u´ lohy, poˇzadavky bˇezˇ ného uˇzivatele nejlépe. Poˇradavky bˇezˇ ného uˇzivatele: ´ esˇnost, pˇresnost klasifikace - správnost výsledk˚u, ke kterým model dospˇeje • Uspˇ • Srozumitelnost modelu - pouˇzitelnost vydolované informace • Robustnost algoritmu - schopnost se vypoˇra´ dat s sˇumem a chybˇej´ıc´ımi hodnotami bez výrazné ztráty pˇresnosti, stability

3.2

Testovac´ı data

Rozhodli jsme se porovnávat výsˇe uvedené vlastnosti klasifikátor˚u na datových mnoˇzinách r˚uzných vlastnost´ı. Zejména nás zaj´ımala pˇresnost pˇredpov´ıdac´ıch schopnost´ı klasifikátor˚u pro r˚uznˇe sloˇzité datasety. Pro naˇse u´ cˇ ely bohatˇe dostaˇcovaly datasety s velikost´ı okolo 2000 vzork˚u s rovnomˇerným zastoupen´ım vzork˚u vˇsech tˇr´ıd. Pouˇzivaly jsme datasety ze zdroje: UCI Machine Learning Repository http://http://www.ics.uci.edu/~mlearn/MLSummary.html )

20

3.3

Prostˇred´ı SAS Enterprise miner

Pro vyhodnocován´ı jsme pouˇz´ıvali Enterprise miner platformu SAS 9.1 od firmy SAS Institute. Firma SAS je jedn´ım z hlavn´ıch producent˚u statistického software. Enterprise miner je obrovský bal´ık, který obsahuje mnoho model˚u pro vyhodnocován´ı dat. Implementace je na vysoké u´ rovn´ı, vˇetˇsinou jsou vˇsechny potˇrebné datové transformace zabudované do konkrétn´ıho datového modelu. Nástroje pro práci s daty jsou cˇ lenˇeny do skupin, které odpov´ıdaj´ı metodice Semma, jejiˇz autorem je tézˇ firma SAS.

Uˇzivatelské rozhran´ı Proces dobýván´ı se pro kaˇzdou u´ lohu definuje pomoc´ı procesn´ıho diagramu, který se skládá z uzl˚u a propojen´ı mezi nimi. K dispozici je toolbar odkud jednoduˇse um´ıst’ujeme uzly stylem drag and drop na pracovn´ı plochu. Uzly spojujeme sˇipkami, které urˇcuj´ı jak budou data procházet zpracován´ım a záleˇz´ı tedy na jejich orientaci.

Obrázek 3.1: Ukázka uˇzivatelského rozhran´ı SAS Enteprise mineru

Procesn´ı diagram Kaˇzdý uzel pln´ı v dolovac´ı u´ loze nˇejakou funkci. Pˇri rozkliknut´ı m˚uzˇ e uˇzivatel mˇenit a nastavovat parametry, pokud to ale neudˇelá, systém zpravidla za nˇej sám základn´ı modelovac´ı nastaven´ı provede.

21

Obrázek 3.2: Základn´ı nástroje

• Input data source - Výbˇer a naˇcten´ı datasetu z knihoven SAS EM, editace poˇctu pouˇzitých vzork˚u. Startovn´ı uzel. • Insight - Nástroj pro prozkoumán´ı výstupu jakéhokoliv uzlu. • Transform variables - Editace datových typ˚u, pod kterými chceme s daty pracovat. Práce s promˇenými. • Data set attributes - Specifikace rol´ı promˇených, urˇcen´ı vstup˚u a c´ıle klasifikace. Zam´ıtnut´ı promˇených. • Data partition - Procentuáln´ı rozdˇelˇen´ı datasetu na trénovac´ı, validaˇcn´ı a testovac´ı cˇ a´ st. • Regresion - Uzel pro nastaven´ı parametr˚u klasifikátoru pro lineárn´ı regresi. • Neural network - Uzel pro nastaven´ı parametr˚u klasifikátoru pro neuronovou s´ıt’. • Decision tree -Uzel pro nastaven´ı parametr˚u klasifikátoru pro rozhodovac´ı strom. • Assessment - Vyhodnocovac´ı uzel, zobrazuje výsledky v podobˇe klasifikaˇcn´ıch graf˚u nebo ziskových kˇrivek. Vkládán´ı dat Data se do SAS EM importuj´ı bud’ pˇr´ımo z datového skladu, nebo za pomoc´ı standarn´ıho dialogu Import Data. K dispozici je ˇrada formát˚u kompatibiln´ıch se software jako napˇr´ıklad exel, access, lotus notes. Velkým rozˇs´ıˇren´ım jsou pak uˇzivatelsky definované formáty, které rozpoznávaj´ı urˇcité základn´ı oddˇelovaˇce a na základˇe nich je moˇzné ruˇcnˇe transformovat data do podporovaného formátu.

22

Modelován´ı a zobrazen´ı výsledku Pro nastavené procesn´ı schéma se modelován´ı spouˇst´ı kompilac´ı Assessment uzlu, obecnˇe posledn´ıho uzlu ve schématu. SAS EM jiˇz zajist´ı kompilaci vˇsech pˇredcházej´ıc´ıch uzl˚u. Pro u´ spˇesˇnost tohoto procesu je tˇreba: • M´ıt vhodnˇe (kompatibilnˇe) vloˇzená data. • Oznaˇcenou alespoˇn jednu promˇenou jako c´ıl klasifikace. • Správnˇe zvolené a pospojované uzly. Výsledky v uzlu assess, ke kterým model dospˇel, jsou zobrazeny v podobˇe dvou r˚uzných druh˚u graf˚u. Diagnostický graf klasifikace:

Obrázek 3.3: Diagnostický graf klasifikace - Diagnostic chart

Graf má podobu krychle se základn´ımi osami. Na osu X jsou naneseny tˇr´ıdy, kterými jsou ohodnocena data. Na osu Y jsou pak nanásˇeny tˇr´ıdy, do kterých je zaˇradil klasifikátor. Na ose Z vid´ıme mnoˇzstv´ı klasifikovaných prvk˚u. Pokud by byla klasifikace 100% uspˇesˇná, shodovalo by se ohodnocen´ı vzorku z osy X s výsledkem klasifikace z osy Y a graf by mˇel podobu sloupc˚u pouze v diagonále roviny X - Y. Nˇekdy se stává, zˇ e poˇrad´ı tˇr´ıd na ose Y nen´ı stejné jako na ose X a výsledná ideáln´ı diagonála je deformovaná. 23

Graf ziskové kˇrivky:

Obrázek 3.4: Graf ziskové kˇrivky - Lift chart

Pomoc´ı grafu ziskové kˇrivky je moˇzné zpracovat pouze výsledky binárn´ı promˇené. Kˇrivka vyjadˇruje závislost mezi procentuáln´ı u´ spˇesˇnost´ı klasifikace a poˇctem vzork˚u. Napˇr´ıklad klasifikátor, jehoˇz výsledek je na obrázku (ˇcervená kˇrivka), by zvládl mezi 10% vzork˚u klasifikovat správnˇe 77%. Modrá kˇrivka znázorˇnuje celkové zastoupen´ı dané tˇr´ıdy v datech. Pro 100% dat se obˇe kˇrivky logicky potkaj´ı. Zhodnocen´ı SAS EM je ukázkou softwaru, d´ıky kterému jsou uˇzivatele schopn´ı dobývat informace, které potˇrebuj´ı pro své rozhodován´ı, aniˇz by museli být experty na problematiku strojového uˇcen´ı nebo databáz´ı. Prostˇred´ı dovoluje snadno zakládat projekty a formulovat c´ıle u´ lohy, které pak procház´ı kvalitn´ımi implementacemi klasifikátor˚u. Veˇskeré potˇrebné pˇredzpracován´ı dat (napˇr´ıklad diskretizace pro potˇreby rozhodovac´ıho stromu) je automatické a uˇzivatel o nˇem zpravidla ani nev´ı. Na druhou stranu jsou k dispozici uzly pro zámˇerné pˇredzpracován´ı dat, cˇ iˇstˇen´ı dat od chybˇej´ıc´ıch a vychýlených hodnot. SAS EM je moˇzné pouˇz´ıvat samostatnˇe, ale i jako souˇca´ st celé platformy SAS business inteligence.

24

3.4

Porovnáván´ı modelu˚

K dispozici jsme mˇeli nˇekolik klasifikátor˚u s lehce odliˇsnými vlastnostmi a zaj´ımalo nás, který z nich si povede lépe na nˇekolika skupinách testovac´ıch dat. Pro srovnáván´ı jsme pouˇzivali klasifikátory: Neuronová s´ıt, Logická regrese, Rozhodovac´ı strom z prostˇred´ı SAS EM ve standartn´ım nastaven´ı. • Neuronová s´ıt’- Je napˇr´ıklad silnˇejˇs´ı pˇri práci s daty, které maj´ı numerickou (spojitou) povahu. Naopak diskrétn´ı u´ daje je tˇreba binarizovat (pˇriˇradit diskrétn´ım poloˇzkám numerické atributy). U neuronových s´ıt´ı je nebezpeˇc´ı, zˇ e se takzvanˇe pˇreuˇc´ı (ve fázi uˇcen´ı se pˇr´ıliˇs nauˇc´ı na prvky z trénovac´ı mnoˇziny a jiné prvky pak klasifikuj´ı mylnˇe ). • Rozhodovac´ı strom- Neum´ı pracovat s numerickými daty, která je potˇreba diskretizovat, coˇz se ne vˇzdy podaˇr´ı ideálnˇe. Rozhodovac´ı strom se sˇpatnˇe vyrovnává s chybˇej´ıc´ımi hodnotami u atribut˚u dat, hodnoty je tˇreba doplnit napˇr´ıklad nejˇcastˇeji vyskytuj´ıc´ım se prvkem v dané datové mnoˇzinˇe, coˇz je zásah, který také pˇrisp´ıvá ke sn´ızˇ en´ı pˇresnosti výsledné klasifikace. • Lineárn´ı regrese- Pracuje tézˇ s numerickými daty. Vhodnˇejˇs´ı pro predikci.

3.4.1 Výbˇer klasifikátoru s nejlepˇs´ımi výsledky Pˇredpoklad C´ılem cˇ´ıslo jedna kaˇzdého dolován´ı je pˇredevˇs´ım pˇresnost klasifikace a ve výsledku maximalizován´ı uˇzitku ze z´ıskané informace. Pˇredpokládali jsme, zˇ e rozd´ıly v povaze klasifikátor˚u budou m´ıt vliv ´ esˇnost klasifikace. na jejich uspˇ Dataset Pro testován´ı klasifikátor˚u jsme pouˇzivali datasety r˚uzných parametr˚u - rozsah˚u, komplikovanosti a sofistikovanosti. Pro test nejvhodnˇejˇs´ıho klasifikátoru m˚uzˇ eme, vzhledem k výsledk˚um, vybrat jeden pˇr´ıklad za vˇsechny (kompletn´ı pˇrehled vˇsech výsledk˚u v podobˇe graf˚u lze naj´ıt na pˇriloˇzeném datovém nosiˇci). Jde o data, která byla nashromázˇ dˇena mezi pracuj´ıc´ımi lidmi v rove 1996. Atributy obsahuj´ı u´ daje jako vzdˇelán´ı, obor ve kterém dotyˇcný pracuje, pozici na které pracuje, rodinný stav, zemi, pohlav´ı, rasu cˇ i poˇcet odpracovaných hodin týdnˇe a dalˇs´ı u´ daje (viz pˇr´ıloha), které maj´ı vliv na ´ výsˇi mzdy. Ukolem klasifikátoru je rozˇclenit lidi, do dvou tˇr´ıd podle výsˇe platu - pod a nad 50 tis´ıc dolar˚u za cˇ asovou jednotku. Výsledek Násˇ pˇredpoklad o dramatických rozd´ılech ve výsledc´ıch klasifikátoru pro tento relativnˇe komplikovaný dataset (14 atribut˚u) se nepotvrdil viz. obr. 3.5, 3.6 a 3.7. Témˇeˇr se vˇsemi 8-mi porovnávanými datasety mˇely vˇsechny tˇri klasifikátory podobnou u´ spˇesˇnost, respektive podobnou chybu, pr˚umˇernˇe kolem 5%. V zásadˇe s podobnými výsledky jsme se setkávali u vˇsech ostatn´ıch zkoumaných dataset˚u. Z pohledu relativn´ıho srovnán´ı vˇsak nejlépe klasifikovala neuronová s´ıt’, s chybou ˇra´ dovˇe o jednotky procent niˇzsˇ´ı neˇz rozhodovac´ı strom a logická regrese. Tato výhoda je vˇsak vykoupena podstatnˇe delˇs´ı dobou uˇcen´ı, která by mohla být pˇri vˇetˇs´ıch objemech dat nevýhodou.

25

Obrázek 3.5: Diagnostický graf klasifikace pro neuronovou s´ıt’

Obrázek 3.6: Diagnostický graf klasifikace pro logickou regresi

26

Obrázek 3.7: Diagnostický graf klasifikace pro rozhodovac´ı strom

3.4.2

Vliv poˇctu atributu˚ na klasifikaci

Pˇredpoklad P˚uvodnˇe jsme pˇredpokládali, zˇ e chybovost klasifikace urˇcitým zp˚usobem souvis´ı se sloˇzitost´ı (poˇctem atribut˚u) databáze. Pokud by se klasifikátor musel rozhodovat na základˇe sˇirokého spektra atribut˚u, mus´ı vytvoˇrit strukturu, at’ uˇz rozhodovac´ıho stromu cˇ i neuronové s´ıtˇe, která bude muset být sloˇzitˇejˇs´ı a tedy i nároˇcnˇejˇs´ı na kvalitu algoritmu. Dataset Nechali jsme tedy vyhodnotit dva datasety, které se oba vyznaˇcuj´ı vˇetˇs´ım poˇctem atribut˚u, pˇritom témˇeˇr vˇsechny jsou pro klasifikaci d˚uleˇzité. • Databáze hub - Obsahuje asi 22 atribut˚u, které popisuj´ı typické znaky, podle kterých se urˇcuj´ı druhy hub jako tvar a povrch klobouˇcku, velikost, tvar a barva nohy nebo barva podhoub´ı. ´ Ukolem klasifikátoru je urˇcit, zda je houba jedlá nebo nejedlá. • Databáze moˇrských sˇkebl´ı - Databáze jistého druhu moˇrských uˇsn´ı, která obsahuje asi 8 rozmˇer˚u (atribut˚u), které vznikly mˇeˇren´ım r˚uzných fyzických cˇ a´ st´ı tˇela sˇkeble. Pˇredmˇetem klasifikace je urˇcen´ı stáˇr´ı (respektive poˇctu krouˇzk˚u na tˇele, coˇz nepˇr´ımo prozrazuje stáˇr´ı u sˇkeble) podle fyzických rozmˇer˚u jako jsou pr˚umˇer, váha a výsˇka schránky, pohlav´ı.. Výsledek Porovnán´ım výsledk˚u tˇechto dvou dataset˚u viz. obr. 3.9 a 3.8 jsme dospˇeli k závˇeru, zˇ e výsledek nezbytnˇe nezávis´ı pˇr´ımo na poˇctu atribut˚u. Vˇsechny modely podaly velmi podobné výsledky, pro jednoduchost jsou zde tedy pouze výsledky modelu logické regrese. 27

Obrázek 3.8: Diagnostický graf klasifikace databáze hub

Obrázek 3.9: Diagnostický graf klasifikace databáze moˇrských sˇkebl´ı

28

Jak je vidˇet z diagnostického grafu klasifikace pro houbový dataset, klasifikace dopadla velmi dobˇre, i kdyˇz má asi tˇrikrát tolik atribut˚u co dataset se sˇkeblemi. Na výsledky klasifikace tˇechto dvou dataset˚u mohou bezesporu m´ıt vliv i v´ıce r˚uzných okolnost´ı, nicménˇe tento pozoruhodný rozd´ıl nás pˇrivedl na myˇslenku, zˇ e v´ıce neˇz poˇcet atribut˚u klasifikaci ztˇezˇ uje poˇcet tˇr´ıd, do kterých klasifikujeme. Provedli jsme proto redukci poˇctu z 18 tˇr´ıd na 4 tˇr´ıdy. P˚uvodn´ı tˇr´ıdy cˇ lenˇené podle poˇctu krouˇzk˚u od 1 aˇz 18, jsme nahradili pouze kategoriemi malý, stˇredn´ı, vˇetˇs´ı, velký.

Obrázek 3.10: Diagnostický graf klasifikace pro 4 tˇr´ıdy

Pˇresto, zˇ e klasifikátor jiˇz akceptovatelnˇe nepozná vˇetˇs´ı sˇkebli viz. obr. 3.10, je redukce poˇctu tˇr´ıd bezesporu prospˇesˇná. Ropoznávac´ı schopnost malých sˇkebl´ı se zlepˇsila.

29

3.4.3 Vydolovatelnost informace Pˇredpoklad V nˇekterých databáz´ıch, jako tomu bylo napˇr´ıklad z výsˇe uvedeným datasetem sˇkebl´ı, nen´ı moˇzné spolehlivˇe dolovat informace, v naˇsem pˇr´ıpadˇe provádˇet klasifikaci. Protoˇze o datech máme informace, které ve skuteˇcnosti na výslednou tˇr´ıdu maj´ı malý vliv. Klasifikátor pak vlastnˇe nechybuje, jenom v datech, které mu byly poskytnuty, nen´ı poˇzadovaná souvislost v˚ubec patrná. Dataset Pro demostraci této vlastnosti, jsme vygenerovali umˇelý dataset (generátor viz. web http://www.datasetgenerator.com), ve kterém jsou vˇsechny tˇr´ıdy pˇresným d˚usledkem atribut˚u dat. Pro srovnán´ı je zde pak dataset, ve kterém se posuzuje pouˇz´ıvaná antikoncepˇcn´ı metoda v závisloti na demografických a sociáln´ıch datech, které o sobˇe poskytly indonézké zˇ eny pˇri vládn´ım pr˚uzkumu v rove 1987. Vdané zˇ eny byly dotazovány, aby uvedly napˇr´ıklad své vzdˇelán´ı, pracovn´ı pozici, spoleˇcenské postaven´ı, vyznán´ı a zároveˇn zda pouˇz´ıvaj´ı jednorázovou, dlouhodobou nebo zˇ a´ dnou metodu antikoncepce. Výbˇer antikoncepce, zde uvád´ıme jako pˇr´ıklad vˇeci, která závis´ı na velkém mnoˇzstv´ı faktor˚u, které je tˇezˇ ké vˇsechny zaznamenat.

Obrázek 3.11: Diagnostický graf klasifikace metod antikoncepce

30

Obrázek 3.12: Diagnostický graf klasifikace umˇelého datasetu

Výsledek Jak je vidˇet z grafu viz. obr. 3.11 a 3.12 , klasifikátor nebyl pˇri urˇcen´ı metody antikoncepce pˇr´ıliˇs u´ spˇesˇný. Poˇcet sˇpatnˇe klasifikovaných vzor˚u je o nˇeco málo menˇs´ı neˇz poˇcet správnˇe klasifikovaných. Pokud se pod´ıváme bl´ızˇ e na okolnosti klafikace, zjist´ıme, zˇ e nejpodstatnˇejˇs´ım atributem nebyly demografické nebo sociáln´ı okolnosti, ale celkový poˇcet dˇet´ı. Klasifikátor, prostˇe nemˇel dost relevantn´ıch informac´ı. Naproti tomu syntetický dataset se skládal pouze ze vzork˚u, jejichˇz tˇr´ıda byla pˇresným odvozen´ım z atribut˚u zaloˇzených na podobných pravidlech.

c1 → B=c & C=j & F=b c8 → A=d & D=g & F=m a podobnˇe . . .

3.4.4

Zaˇsumˇelá tˇr´ıda

Pˇredpoklad V pr˚ubˇehu porovnáván´ı jsme si vˇsimli zaj´ımavého u´ kazu. U nˇekterých dataset˚u se stávalo, zˇ e nˇekteré klasifikátory odm´ıtaly pˇriˇrazovat vzorky do nˇekterých tˇr´ıd. Po bliˇzsˇ´ım prozkoumán´ı dat v tˇechto tˇr´ıdách jsme zjistili, zˇ e se zde vyskytuj´ı vzorky, které aˇckoliv maj´ı stejné nebo témˇeˇr stejné atributy, náleˇz´ı do r˚uzných tˇr´ıd. Znamenalo by to, zˇ e implementace klasifikátor˚u v SAS EM vynechaj´ı tˇr´ıdu pokud naraz´ı na rozporuplné informace.

31

Obrázek 3.13: Diagnostický graf klasifikace datasetu se zaˇsumˇelou tˇr´ıdou

Dataset Graf na obr. 3.13 je výsledkem klasifikace dat automobil˚u s atributy s r˚uznými vlastnostmi jako poˇrizovac´ı cena, náklady na udrˇzbu, poˇcet dveˇr´ı atd. Vzorky byly rozdˇeleny do tˇr´ıd podle u´ spˇesˇnosti v prodej˚u na trhu - nepˇrijatelná, pˇrijatelná, dobrá, velmi dobrá. Ve tˇr´ıdˇe s dobrou prodejnost´ı se vyskytovalo tolik r˚uzných vzork˚u, zˇ e neuronová s´ıt’ do této tˇr´ıdy odm´ıtla klasifikovat. Abychom si tomu domˇenku potvrdili, vygenerovali jsme umˇelý dataset, který obsahoval zhruba 1000 vzork˚u, které byly rozdˇeleny na tˇri cˇ a´ sti. Vzorky s cˇ´ıslem 5 a ohodnocen´ım tˇr´ıdou “pˇetky”, cˇ´ıslem 10 a ohodnocen´ım tˇr´ıdou “des´ıtky”, cˇ´ıslem 15 a ohodnocen´ım tˇr´ıdou “patnáctky”. Zhruba kaˇzdý pátý vzorek byl ohodnocen tˇr´ıdou sˇum, at’ jeho atribut byl jakýkoliv z výsˇe uvedených. Výsledek Splnilo se oˇcekáván´ı, zˇ e zˇ a´ dný z klasifikátor˚u tˇr´ıdu sˇum to klasifikace v˚ubec nezahrne. Neobsahuje totiˇz zˇ a´ dny atribut, podle kterého by tak bylo správné uˇcinit.

32

Obrázek 3.14: Diagnostický graf klasifikace datasetu s umˇele zaˇsumˇelou tˇr´ıdou

33

Kapitola 4

Závˇer ˚ které ovlivˇnuj´ı uspˇ ´ esˇnost klasifikace Tato práce mˇela za u´ kol zhodnotit vlastnosti klasifikátoru, v r˚uzných typech databáz´ı. V prvn´ı cˇ a´ sti byl cˇ tenáˇr na pˇrehledové u´ rovni seznámen s dataminingem obecnˇe a posléze podrobnˇeji i s principy, na kterých pracuj´ı modely, jejichˇz vlastnosti jsme porovnávali. Pˇredstavili jsme si prostˇred´ı SAS EM, které umoˇznuje rychlé a snadné ˇreˇsen´ı dolovác´ıch u´ kol˚u. Bˇehem porovnáván´ı výsledk˚u klasifikace u´ cˇ elovˇe zvolených dataset˚u jsme doˇsli k nˇekterým poznatk˚um, které ponˇekud pˇredˇcily naˇse oˇcekáván´ı. Doˇsli jsme k nˇekterým závˇer˚um, které pomohou i laickému uˇzivateli, manaˇzerovi, studentovi lépe pochopit podstatu dobˇre zformulované dolovac´ı ´ ulohy a základn´ı hlediska jej´ı u´ spˇesˇnosti. Budouc´ıch moˇzných rozˇs´ıˇren´ı pro tuto oblast se nab´ız´ı hned nˇekolik, záleˇz´ı jakým smˇerem se hodláme vydat, moje práce se soustˇredila pouze na modely klasifikace, nab´ız´ı se ostatn´ı zmiˇnované modely - shlukovan´ı, predikce, asociaˇcn´ı pravidla. Pokud bychom se zamˇeˇrili na sp´ısˇe na u´ roveˇn detail˚u práce, je moˇzné vlastnosti model˚u porovnávat v podstatnˇe vˇetˇs´ıch podrobnestech, vˇcetnˇe stanoven´ı urˇcitého pˇrenosného systému metrik pro porovnáván´ı.

34

Literatura [1] Berka, Petr: Dobýván´ı znalost´ı z databáz´ı. Book. Academica, Praha, 2003. [2] Zendulka, Jaroslav, a kol. :Z´ıskáván´ı znalost´ı z databáz´ı: Studijn´ı opora. Fakulta informaˇcn´ıch technologi´ı, Brno, 2006. [3] Han,J., Kamber, M.: Concepts and techniques. Elsevier Inc.,2006.

35

Dodatek A

Pˇr´ıloha Na pˇriloˇzeném médiu (cd-rom) lze nalézt elektronickou podobu tohoto textu, vˇsechny porovnávané datasety (vˇcetnˇe zde nezmiˇnovaných) a jejich výsledky v podobˇe diagnostických graf˚u.

36

FAKULTA INFORMAČNÍCH TECHNOLOGIÍ

Recommend Documents