Vysoká škola ekonomická v Praze Fakulta informatiky a statistiky
SHLUKOVÁ ANALÝZA ROZSÁHLÝCH SOUBORŮ DAT: nové postupy založené na metodě k-průměrů
Disertační práce
Doktorand:
RNDr. Marta Žambochová
Školitel:
prof. Ing. Hana Řezanková, CSc.
Obor:
Statistika
Praha, květen 2010
Prohlášení Prohlašuji, že disertační práci na téma „Shluková analýza rozsáhlých souborů dat: nové postupy založené na metodě k-průměrů“ jsem vypracovala samostatně. Použitou literaturu a podkladové materiály uvádím v přiloženém seznamu literatury.
V Praze dne
................................................... podpis
2
Abstrakt Shluková analýza se stala jedním z hlavních nástrojů používaných při získávání znalostí z dat, které je označováno jako data mining. V této nové oblasti analýzy dat se často zpracovávají datové soubory velkých rozměrů, a to jak co do počtu sledovaných objektů, tak co do počtu proměnných, kterými jsou objekty charakterizovány. Pro shlukování dat bylo vyvinuto mnoho metod. Jednou z často používaných technik je metoda k-průměrů. Jejím základem je hledání nejlepšího přiřazení objektů do shluků na principu inicializačního rozdělení objektů a následného postupného přerozdělování s využitím optimalizační funkce. Cílem této disertační práce bylo jednak porovnání vybraných existujících variant metody k-průměrů, detailní charakteristika jejich pozitivních a negativních vlastností, jednak návrh nových modifikací této metody a jejich experimentální srovnání s již existujícími přístupy. Tyto cíle byly splněny. Ve své práci jsem se zaměřila na modifikace metod k-průměrů pro shlukování velkého počtu objektů, konkrétně na algoritmy BIRCH k-průměrů, filtrovací, dvoufázový a k-průměrů++. Experimentálně jsem sledovala časovou náročnost jednotlivých algoritmů, vliv inicializačních rozdělení, vliv odlehlých objektů a validitu výsledných shluků. Při experimentech byly použity dva reálné datové soubory a dále několik souborů generovaných. V závěru práce jsou shrnuty společné a rozdílné rysy zkoumaných variant metody k-průměrů s důrazem na výše uvedená hlediska. Přínosem práce je tedy kromě zhodnocení současných variant metody k-průměrů především návrh výše uvedených nových modifikací, jejich naprogramování a experimentální ověření. Modifikace přinesly zejména urychlení výpočtu způsobené zjednodušením práce s účelovou funkcí a kritérií ukončení programu. Aplikování hlavní myšlenky algoritmu k-průměrů++ do jiných variant metody k-průměrů přineslo lepší výsledky shlukování z hlediska variability. Nejzásadnější z navržených změn je modifikace filtrovacího algoritmu, která přináší zcela novou vlastnost této metody, a to odhalení odlehlých objektů. Součástí práce je CD, které obsahuje zdrojové kódy jednotlivých programů vytvořených ve vývojovém prostředí MATLAB. Programy byly vytvořeny speciálně pro účely této práce a jsou určeny pro experimentální použití. CD také obsahuje datové soubory využívané k jednotlivým pokusům.
Klíčová slova: shluková analýza, velké soubory dat, metoda k-průměrů, časová náročnost zpracování, inicializační rozdělení do shluků, odlehlé objekty
3
Abstract Cluster analysis has become one of the main tools used in extracting knowledge from data, which is known as data mining. In this area of data analysis, data of large dimensions are often processed, both in the number of objects and in the number of variables, which characterize the objects. Many methods for data clustering have been developed. One of the most widely used is a k-means method, which is suitable for clustering data sets containing large number of objects. It is based on finding the best clustering in relation to the initial distribution of objects into clusters and subsequent step-by-step redistribution of objects belonging to the clusters by the optimization function. The aim of this Ph.D. thesis was a comparison of selected variants of existing k-means methods, detailed characterization of their positive and negative characteristics, new alternatives of this method and experimental comparisons with existing approaches. These objectives were met. I focused on modifications of the k-means method for clustering of large number of objects in my work, specifically on the algorithms BIRCH k-means, filtering, k-means++ and two-phases. I watched the time complexity of algorithms, the effect of initialization distribution and outliers, the validity of the resulting clusters. Two real data files and some generated data sets were used. The common and different features of method, which are under investigation, are summarized at the end of the work. The main aim and benefit of the work is to devise my modifications, solving the bottlenecks of the basic procedure and of the existing variants, their programming and verification. Some modifications brought accelerate the processing. The application of the main ideas of algorithm k-means++ brought to other variants of k-means method better results of clustering. The most significant of the proposed changes is a modification of the filtering algorithm, which brings an entirely new feature of the algorithm, which is the detection of outliers. The accompanying CD is enclosed. It includes the source code of programs written in MATLAB development environment. Programs were created specifically for the purpose of this work and are intended for experimental use. The CD also contains the data files used for various experiments.
Key words: cluster analysis, large data sets, k-means method, time-consuming of the process, initial distribution of objects into clusters, outliers
4
Obsah Úvod .............................................................................................................. 8 Seznam použitých symbolů......................................................................... 13 1
Shluková analýza a velké soubory dat ................................................. 13 1.1
SHLUKOVÁ ANALÝZA ...................................................................................... 15
1.1.1 Reprezentace vstupních dat ........................................................................ 16 1.1.2 Předzpracování dat..................................................................................... 16 1.1.3 Míry podobnosti a nepodobnosti ................................................................ 17 1.1.4 Metody shlukové analýzy ............................................................................ 22 1.2
PROBLEMATIKA VELKÝCH SOUBORŮ DAT ........................................................ 24
1.2.1 Metody rozkladu ......................................................................................... 26 1.2.2 Shlukování pomocí minimální kostry.......................................................... 27 1.2.3 Varianta algoritmu CLARANS pro velké datové soubory .......................... 28 1.2.4 Algoritmus BIRCH...................................................................................... 31 1.2.5 Algoritmy ISODATA a ISOCLUS ............................................................... 40 1.3
2
MOŽNOSTI SROVNÁNÍ VÝSLEDKŮ SHLUKOVÁNÍ ............................................... 43
Metoda k-průměrů ................................................................................ 46 2.1
METODA K-CENTROIDŮ ................................................................................... 46
2.1.1 Euklidovská vzdálenost ............................................................................... 47 2.1.2 Manhattanská vzdálenost............................................................................ 48 2.1.3 Čebyševova vzdálenost ............................................................................... 49 2.2
MATEMATICKÝ POPIS ZADÁNÍ METODY K-PRŮMĚRŮ........................................ 50
2.3
ALGORITMUS K-PRŮMĚRŮ ............................................................................... 51
2.4
SNIŽOVÁNÍ VÝPOČETNÍ NÁROČNOSTI ALGORITMU ........................................... 53
2.5
ODSTRANĚNÍ VLIVU INICIALIZAČNÍHO ROZDĚLENÍ........................................... 57
2.6
SNÍŽENÍ VLIVU ODLEHLÝCH OBJEKTŮ .............................................................. 59
5
2.7
3
VLIV POŘADÍ OBJEKTŮ ..................................................................................... 60
Alternativy metody k-průměrů ............................................................. 61 3.1
ALGORITMUS BIRCH K-PRŮMĚRŮ .................................................................. 62
3.1.1 Implementace algoritmu BIRCH k-průměrů............................................... 64 3.1.2 Provedené experimenty............................................................................... 65 3.1.3 Shrnutí......................................................................................................... 77 3.2
FILTROVACÍ ALGORITMUS................................................................................ 78
3.2.1 Mrkd-stromy................................................................................................ 78 3.2.2 Hlavní principy a postup filtrovacího algoritmu ........................................ 79 3.2.3 Modifikovaný filtrovací algoritmus (MFA)................................................. 82 3.2.4 Implementace filtrovacích algoritmů.......................................................... 89 3.2.5 Provedené experimenty............................................................................... 90 3.2.6 Shrnutí......................................................................................................... 99 3.3
ALGORITMUS K-PRŮMĚRŮ++ .......................................................................... 100
3.3.1 Implementace algoritmu k-průměrů++ ...................................................... 101 3.3.2 Provedené experimenty............................................................................. 101 3.3.3 Shrnutí....................................................................................................... 106 3.4
DVOUFÁZOVÝ ALGORITMUS K-PRŮMĚRŮ....................................................... 108
3.4.1 Postup první fáze ...................................................................................... 108 3.4.2 Postup druhé fáze...................................................................................... 109 3.4.3 Implementace dvoufázového algoritmu k-průměrů .................................. 110 3.4.4 Provedené experimenty............................................................................. 111 3.4.5 Shrnutí....................................................................................................... 117
4
Závěrečné srovnání alternativ metody k-průměrů ............................. 119 4.1
POPIS DAT ...................................................................................................... 120
4.1.1 Soubor VOWEL......................................................................................... 120 4.1.2 Soubor IRIS............................................................................................... 121 4.1.3 Soubor GENER ......................................................................................... 122 4.1.4 Soubor GENER1 ....................................................................................... 123 4.1.5 Soubor VILIKUS ....................................................................................... 127
6
4.2
PROVEDENÉ EXPERIMENTY ............................................................................ 127
4.2.1 Časová náročnost algoritmu..................................................................... 127 4.2.2 Snížení vlivu inicializačního rozdělení ..................................................... 129 4.2.3 Snížení vlivu odlehlých objektů................................................................. 133 4.2.4 Srovnání validity shlukování pomocí různých metod ............................... 135
5
Závěr................................................................................................... 138
Základní pojmy z teorie grafů ................................................................... 142 Literatura ................................................................................................... 147 Přílohy: Výsledky experimentálních zpracování ...................................... 153
7
Úvod Moderní doba je charakterizována explozí velkého objemu dat shromažďovaných v databázích. Rychlý rozvoj informačních technologií toto ukládání dat stále více usnadňuje. Uchovávání dat se stává přístupnější a levnější. Výsledkem jsou velké databázové soubory v různých odvětvích, jako je průmysl, věda či administrativa. Tento proces vedl ke vzniku a rozvoji nového oboru na rozhraní informatiky, statistiky, strojového učení a matematiky, oboru zvaného data mining, který se zabývá získáváním informací z databází. Cílem je hledání vztahů v datech a jejich vlastností. Pomocí technik zahrnutých v oblasti data mining se v rozsáhlých datových souborech hledají nové, předem jednoduše neodhadnutelné informace a vztahy využitelné například při rozhodování firmy. Pravděpodobně nejvýstižnější definici formuloval se svými spolupracovníky v roce 1996 Usama Fayyad v článcích [16] či [17] navazujících na předchozí dílo [20]. Nejrozšířenější je využití v oblasti marketingu, pojišťovnictví a telekomunikací, ale i v mnoha dalších oblastech, jako jsou medicína, biologie, chemie, astronomie, strojírenství či finance. Podrobný popis najdeme například v [52]. Nástroje pro data mining využívají celou řadu relativně různorodých statistických i nestatistických metod, jako jsou lineární regrese, logistická regrese, shluková analýza, neuronové sítě, genetické algoritmy, klasifikační stromy, detekce odchylek či odhalení závislostí a rozdílů. Data mining nenahrazuje, ale doplňuje dosud užívané postupy vyhodnocování hromadných dat. Jde však o komplexnější proces, než „prosté“ výše uvedené metody, viz například [52]. Jednou z hlavních metod používaných v oblasti data mining je shluková analýza, která je zařazována mezi klasifikační postupy. Obecně je klasifikace metodou pro rozřazování dat do skupin podle různých hledisek, případně některých známých přiřazení. Pokud jsou tato přiřazení předem známa alespoň pro vzorek dat, můžeme vytvořit klasifikační model. Častý je však případ klasifikace, kdy žádná výsledná přiřazení předem známa nejsou a úlohou klasifikace je jejich nalezení. Používanou technikou v takovýchto případech je shluková analýza, která zahrnuje celou řadu přístupů a metod.
8
Shlukování je důležitá technika pro odhalování struktury dat. Zabývá se zejména podobností datových objektů. Dělí množinu datových objektů do několika skupin (shluků) tak, aby si objekty uvnitř jednotlivých shluků byly co nejvíce podobny a objekty z různých shluků si byly podobny co nejméně. Přitom každý datový objekt je popsán vektorem hodnot jednotlivých proměnných. Výsledky analýzy závisí na volbě proměnných, zvolené míře podobnosti mezi datovými objekty a shluky a na zvoleném algoritmu výpočtu. Pomocí takto nalezených shluků pak můžeme lépe vyšetřit strukturu dat a s jednotlivým shlukem můžeme následně pracovat souhrnně jako s jedním objektem. Nalezené shluky ale vystihují strukturu dat pouze z pohledu vybraných proměnných. Nevhodný výběr proměnných může vést k zavádějícím závěrům. Shluková analýza je běžným nástrojem používaným při marketingových průzkumech. Autoři v článku [50] popisují její využití například pro klasifikaci světových obchodů, k určení typologie zákazníků, či k identifikaci výhod, které upřednostňují zákazníci při výběru produktu finanční pomoci. V článku [35] je navržen praktický nástroj založený na principu shlukování objektů pro hodnocení segmentů trhu cestovního ruchu z hlediska očekávané ekonomické návratnosti. Jiné využití shlukové analýzy pro zpracování obzvláště velkých datových souborů je uvedeno v [48]. V práci je popsána problematika vyhodnocování fair value1 z portfolií v oblasti životního pojištění. Z důvodu velkého množství smluv životního pojištění vstupujících do zpracování (v ČR se jedná o řádově desetitisíce až statisíce, v zahraničí až o milióny smluv) není možno výpočty provádět pro každou pojistnou smlouvu zvlášť. Pomocí shlukové analýzy je možno nalézt skupiny (shluky) vzájemně podobných smluv a další výpočty poté provádět pouze s reprezentanty těchto skupin. Autoři článků [7] a [8] se zabývají shlukováním velkého počtu denních ionosferických křivek charakterizovaných pomocí 24 hodnot získaných v rozmezí let 1958 až 1998. Výsledkem jejich zkoumání bylo potvrzení předpokladu, že se denní ionosferické křivky shlukují dle zeměpisné šířky. Kromě datových objektů je možné shlukovat také proměnné, což se může uplatnit například při zjišťování typických prvků v obrázcích a následném hledání 1
Za fair value se dá s jistou měrou zjednodušení označit suma diskontovaných výnosů a nákladů. Tento ukazatel je považován za nezkreslený odhad tržní ceny portfolia, viz [48].
9
podobných obrázků, viz [61]. Podobná aplikace shlukování je využívána například při vyhledávání relevantních informací z velkého množství dokumentů, jenž je popsáno například v [53]. V tomto případě je každý dokument reprezentován řádově 100 – 1 000 slov (proměnných), jejichž počet je redukován například pomocí shlukování proměnných. Výsledkem shlukování je nalezení typických slov, které následně umožní výběr dokumentů obsahujících požadované informace. Shlukování dokumentů využívá například oficiální internetový portál vlády USA k automatickému uspořádání svých výsledků hledání dle požadavků uživatele a nalezení souvisejících témat (viz [88]) . V dnešní době jsou požadavky na metody shlukové analýzy následující:
schopnost efektivně zpracovávat rozsáhlé datové soubory,
možnost pracovat s různými typy proměnných (kvantitativní, kategoriální, binární) a především pracovat s kombinacemi proměnných různých typů,
nízké nároky na doménové znalosti (např. počet shluků),
schopnost nalézt shluky, které nabývají při grafickém zobrazení různého tvaru (konvexních i nekonvexních obrazců),
schopnost pracovat s datovými soubory s chybějícími údaji,
schopnost pracovat s datovými soubory s odlehlými údaji,
nezávislost na pořadí vstupních dat,
schopnost práce s vektory značných rozměrů (tj. s daty popisovanými velkým počtem proměnných),
schopnost shlukovat i s ohledem na specifikovaná omezení,
interpretovatelnost a užitečnost výsledků.
Současné metody obvykle splňují jen některé z výše uvedených požadavků. Disertační práce se zaměřuje na metody určené pro shlukování velkého množství objektů. Cílem je hlubší analýza jedné ze speciálních skupin shlukovacích algoritmů, technik založených na principu metody k-průměrů, tj. technik určených pouze pro zpracování kvantitativních dat. Pozornost je věnována dosud chybějícímu porovnání vybraných existujících alternativ a detailní charakteristice jejich pozitivních i negativních vlastností. V neposlední řadě je cílem práce návrh nových modifikací algoritmu
10
k-průměrů, jejich detailní popis, ověření jejich funkčnosti a časové náročnosti, vysvětlení jejich výhod i nevýhod a srovnání s již existujícími alternativami. Jednotlivé algoritmy byly naprogramovány a jejich ověřování a vzájemné porovnávání bylo provedeno na speciálně vygenerovaných datech i na reálných datových souborech. Práce je členěna do pěti základních kapitol. V první kapitole se věnuji problematice velkých souborů dat a shlukové analýze v obecném smyslu. Zvláště pak se zaměřuji na použitelné míry podobnosti, základní principy jednotlivých metodologických skupin a rozbor některých vybraných metod pro shlukování velkých datových souborů. Druhá kapitola je zaměřena na detailní rozbor metody k-průměrů, její výhody a nevýhody. V této kapitole jsou popsány možnosti odstranění, nebo alespoň zmírnění některých nevýhod a jsou zde uvedeny modifikované metody k-průměrů, jejichž vznik byl motivován nápravou těchto nedostatků. Jednotlivé části třetí kapitoly obsahují detailní popis některých algoritmů, které jsou založeny na principu metody k-průměrů (dále budou tyto metody označovány jako alternativy metody k-průměrů) a které byly navrženy pro analýzu rozsáhlých datových souborů, a jejich hlubší analýzu. Součástí této kapitoly je i návrh nových modifikací těchto alternativ. Při navrhování jednotlivých modifikací jsem se zaměřila na řešení vybraných problematických stavů a situací jednotlivých alternativ základní metody k-průměrů. Zajímala mne především schopnost detekce odlehlých objektů spolu se schopností algoritmů zpracovat co nejefektivněji datové soubory obsahující velký počet objektů. Efektivity algoritmů bylo dosaženo mimo jiné využitím různých typů stromů. Příkladem je MFA, navržená modifikace umožňující detekci odlehlých objektů efektivním způsobem využívajícím mrkd-stromů (viz část 3.2.3). I mnoho dalších návrhů je založeno na kombinaci existujících alternativ základního algoritmu umožňujících řešení některého z problémů základní metody a variant využívajících stromů. Jednou z takovýchto kombinací je propojení algoritmu k-průměrů++ s filtrovacím algoritmem (viz části 3.2, 3.3 a kapitola 4). Hlavní důraz je v kapitole kladen na vysvětlení podstaty algoritmů, analýzu jejich časové náročnosti, chování v závislosti na volbě parametrů daného algoritmu a na různém typu dat. K experimentálnímu ověření byly využity vlastní programy vytvořené pro účely této práce. Popis všech implementací je rovněž součástí třetí kapitoly, programy jsou uloženy na přiloženém CD. Obsahem čtvrté kapitoly je vzájemné porovnání některých
11
popsaných variant, a to především z hlediska časové náročnosti a kvality shlukování. Závěrečná, pátá kapitola shrnuje výsledky celé práce. Z hlediska vlastního přínosu jsou nejdůležitější kapitoly 3 a 4. Dále následuje kapitola obsahující vysvětlení vybraných pojmů z teorie grafů užívaných v textu. Následuje seznam použité literatury. Na závěr je připojeno několik příloh obsahujících dílčí tabulky s údaji z jednotlivých experimentů. Údaje obsažené v těchto tabulkách byly využity při vytváření grafů a tabulek uvedených v práci.
12
Seznam použitých symbolů X
matice dat
n
počet objektů (počet řádků v matici dat)
d
počet proměnných (počet sloupců v matici dat) d
R
množina uspořádaných d-tic reálných čísel
x, resp. y
objekt (vektor)
xi
i-tý objekt (řádek matice dat)
xj, resp. xij
j-tá složka vektoru (prvek matice)
x
aritmetický průměr objektů xi, i = 1, ..., n
x
x
2
2 2
euklidovská norma čtvercová euklidovská norma
S(x, y)
míra podobnosti mezi objekty x a y
D(x, y)
míra nepodobnosti mezi objekty x a y
k, resp. k
počet shluků
kmax
prahová hodnota pro počet shluků
C
množina shluků
Cl
l-tý shluk
nc
počet objektů ve shluku
nl
počet objektů ve shluku Cl
LS
vektorový součet souřadnic všech objektů ve shluku
SS
vektorový součet druhých mocnin souřadnic objektů ve shluku
c
centroid
cl
centroid náležející shluku Cl
K
množina centroidů
min(x, K)
vzdálenost objektu x od jemu nejbližšího centroidu z množiny K
ml
medoid náležející shluku Cl
M
množina medoidů
c(x)
centroid nejbližší objektu x
m(x)
medoid nejbližší objektu x
13
Q(C)
hodnota účelové funkce pro množinu shluků C
Q
minimální dosažená hodnota účelové funkce v dané úloze
q
kvalita shluku
p
pořadí iterace
MD
míra nesouhlasu
E
entropie
Hubertovo
L
prahová hodnota pro počet objektů ve shluku
R
prahová hodnota variability shluku
G
graf
v
vrchol (uzel) grafu G
V
množina vrcholů grafu G
H
hyperkvádr, H R d
14
1 Shluková analýza a velké soubory dat Jak již bylo zmíněno v úvodu, v poslední době vzrůstá potřeba analýzy dat velmi velkého objemu. Tato kapitola obsahuje stručný popis základních principů shlukové analýzy, zvláště pak použití shlukové analýzy při zpracování velkých datových souborů. Detailněji je tato problematika popsána například v [14], [26], [37], [38], [51], [54], [55], [56] či [78].
1.1 Shluková analýza Shluková analýza se zabývá zejména podobností datových objektů. Dělí množinu datových objektů do několika skupin (shluků) tak, aby si objekty uvnitř jednotlivých shluků byly co nejvíce podobny a objekty z různých shluků si byly podobny co nejméně. Zásadním hlediskem při klasifikaci shluků je rozlišení, zda se shluky mohou vzájemně překrývat, či nikoliv. Překrývání shluků znamená, že jeden objekt může být zařazen do dvou, případně více, různých shluků. Výsledkem shlukování pak může být informace o míře příslušnosti daného objektu k jednotlivým shlukům. Takovéto postupy jsou nazývány fuzzy shlukovou analýzou. Tato práce je zaměřena pouze na disjunktní shlukování, ve kterém se nepředpokládá překrývání shluků. Fuzzy shluková analýza je popsána například v [56] či [14]. Dalším z hledisek pro klasifikaci metod shlukové analýzy je předmět shlukování. Základním využitím shlukové analýzy je vyhledávání skupin podobných objektů – statistických jednotek (například respondentů, výrobků, dokumentů). Kromě toho však můžeme zjišťovat skupiny podobných proměnných – statistických znaků popisujících statistickou jednotku (těmi mohou být například věk či datum narození respondenta), případně vyhledávat podobnost objektů i proměnných současně, což je předmětem dvourozměrné shlukové analýzy. Shlukovou analýzu lze provádět mnoha různými metodami, které se od sebe liší jednak způsoby určování podobnosti objektů pomocí měr podobnosti (viz kapitola 1.1.3) a jednak způsoby shlukování, viz například [84].
15
1.1.1 Reprezentace vstupních dat Při výběru metody shlukové analýzy záleží na reprezentaci zdrojových dat. Můžeme mít k dispozici přímo zdrojová data, či relační data. V prvním případě jsou data uspořádána do matice, kde každý řádek reprezentuje údaje o jednom objektu a každý sloupec nese informaci o jedné z proměnných popisujících každý z objektů. V dalším textu bude počet sledovaných objektů (a tím i počet řádků v datové matici) označován symbolem n a počet proměnných (a tím i počet sloupců datové matice) budu označovat d. To znamená, že každý z n řádků je d-rozměrným vektorem, jehož každý prvek je hodnota proměnné, neboli sledovaného statistického znaku. Pokud máme k dispozici zdrojová data, je výběr metody závislý na typu proměnných (kvantitativní, kategoriální, binární proměnné). Podrobný popis například [56]. Pojem relační data se používá pro matici vzájemných podobností, což je čtvercová matice řádu n. Prvek matice v i-tém řádku a i-tém sloupci nese informaci o podobnosti i-tého a i-tého objektu, respektive prvek matice v j-tém řádku a j-tém sloupci nese informaci o podobnosti j-té a j-té proměnné v případě shlukování proměnných. Popis používaných měr podobnosti je uveden v kapitole 1.1.3. Matici podobností můžeme mít buď přímo zadanou, nebo ji můžeme vypočítat z datové matice mezi všemi objekty. Další možností formy vstupních dat je dvourozměrná tabulka sdružených četností, viz například [26]. Tato forma se využívá v situaci, kdy zpracováváme kategoriální data a cílem je získat shluky kategorií.
1.1.2 Předzpracování dat Pro úspěšné shlukování je důležitý výběr proměnných vstupujících do procesu a určení jejich významnosti. Toto rozhodnutí se děje jednak na základě metodologické znalosti zpracovávané problematiky a praktických požadavků, podle kterých proměnných mají být objekty rozlišeny, jednak na základě systémových analýz, jenž určí, podle kterých proměnných se objekty nejvíce liší a jenž pokud možno vyberou vzájemně nezávislé proměnné. Po výběru proměnných, které budou vstupovat do shlukovacího procesu, je nutno posoudit typ proměnných (např. kvantitativní, kategoriální, binární). V případě
16
potřeby převedeme proměnné, buď všechny nebo jen některé, na jiný typ. Jednou z možných úprav je například převod více-kategoriální proměnné na binární, kdy jednu více-kategoriální proměnnou nahradíme tolika binárními proměnnými, kolika různých hodnot může kategoriální proměnná nabývat. V případě kvantitativních dat, v situaci, kdy všechny sledované proměnné mají stejné jednotky a srovnatelné hodnoty, není potřeba žádných dalších úprav hodnot proměnných. Častější je však případ, kdy mají jednotlivé proměnné odlišné jednotky nebo jsou jejich hodnoty nesrovnatelné. V těchto situacích je nejjednodušším řešením znormování dat, pomocí kterého zrušíme vliv jednotek a rozměrů jednotlivých proměnných. Při normování z původní matice X typu n x d vytvoříme novou matici X´ stejného typu dle předpisu
x´ij kde x j
1 n xij a s j n i 1
xij x j sj
, i 1, ..., n,
j 1, ..., d ,
(1.1)
n 1 2 xij x j . n 1 i 1
1.1.3 Míry podobnosti a nepodobnosti Způsob měření podobnosti závisí na předmětu shlukování. Pokud chceme shlukovat objekty, používáme často jiné míry podobnosti než v případě, že chceme shlukovat proměnné. Volba míry podobnosti při shlukování objektů navíc závisí na typu proměnných, pomocí kterých je objekt popsán. Problematika měr podobnosti je podrobně popsána například v [56].
Úvodní definice Definice 1. Nechť x je vektor v Rd. Zobrazení x : Rd R nazveme normou vektoru, pokud splňuje následující vlastnosti. 1.
x 0 pro každý nenulový vektor x. x 0 právě tehdy, když x je nulový vektor.
2.
x x x Rd a R.
3.
x y x y x, y x Rd.
17
Příklady vektorových norem (důkazy splnění jednotlivých vlastností jsou součástí učebnic lineární algebry): 1.
d
x 1 xj
(l1- norma, manhattanská, oktaedrická norma)
j 1
2.
x
3.
x
2 2 2
d x j j 1 d
xj
1
2
2
2
(l2- norma, euklidovská, kulová norma) (kvadratická, čtvercová euklidovská norma)
j 1
1
4. 5.
d pp x p x j j 1 x max xi , 1 i d
(lp- norma) (l- norma, maximová, kubická, krychlová norma)
2
V práci budu převážně pracovat s x 2 , případně x 2 . Definice 2. Nechť x, y jsou vektory v Rd. Zobrazení : Rd x Rd R nazveme pseudometrikou, pokud splňuje následující vlastnosti. 1. x, y 0 , x, y Rd. 2. x, x 0 , x Rd. 3. x, y y , x , x, y Rd (symetrie).. 4. x, y y , z x, z , x, y, z Rd (trojúhelníková nerovnost).
Definice 3. Nechť x, y jsou vektory v Rd. Zobrazení : Rd x Rd R nazveme metrikou, pokud splňuje následující vlastnosti. 1. x, y 0 a x, y 0 právě tehdy, když x = y, x, y Rd. 2. x, y y , x , x, y Rd (symetrie). 3. x, y y , z x, z , x, y, z Rd (trojúhelníková nerovnost). Poznámka: Každá vektorová norma indukuje metriku danou vztahem (x, y ) x y .
18
Shlukování objektů V případě zjišťování podobnosti objektů používáme buď míry podobnosti, nebo míry nepodobnosti. Symbolem X označme množinu všech objektů. Mírou podobnosti mezi objekty x a y rozumíme zobrazení S: X x X R, které libovolným dvěma objektům x a y přiřadí reálné číslo, přičemž jsou splněny následující vlastnosti: S (x, y ) 0, 1 ,
(1.2)
S (x, x) 1,
S (x, y ) 0, S (x, y ) S (y , x). Mírou nepodobnosti dvou objektů x a y rozumíme zobrazení D: X x X R, které libovolným dvěma objektům x a y přiřadí reálné číslo, přičemž jsou splněny následující vlastnosti
D(x, x) 0,
(1.3)
D(x, y ) 0, D (x, y ) D(y , x). Často jsou využívány míry nepodobnosti, ve kterých je pro všechny trojice objektů x, y, z splněna trojúhelníková nerovnost, tj. D(x, y ) D(y , z ) D(x, z ). To znamená, že splňují všechny vlastnosti metriky. Hodnota D(x, y) v tomto případě bývá nazývána vzdáleností objektů x, y v metrice D. V případě kvantitativních dat platí X Rd. Pro zjišťování podobnosti či nepodobnosti kvantitativních dat se používají především míry vzdálenosti. Nejznámější z nich je euklidovská vzdálenost, která je pro dva objekty x = [x1, ..., xd] a y = [y1, ..., yd] , kde d je počet proměnných popisujících každý objekt, definována dle vzorce DE (x, y ) x - y
2
19
d
(x j 1
j
y j )2 ,
(1.4)
respektive čtvercová euklidovská vzdálenost definovaná předpisem DES (x, y ) x - y
d
(x j y j )2 .
2 2
(1.5)
j 1
Mezi další patří manhattanská vzdálenost d
D B ( x, y ) x - y 1 x j y j ,
(1.6)
j 1
Minkowského vzdálenost D M ( x, y ) x - y
p
x j 1
Čebyševova vzdálenost
DC (x, y ) x, y
p
d
p
j
yj ,
(1.7 )
(1.8)
max j x j y j ,
ale i mnoho dalších, viz například [56]. Jako míry podobnosti pro porovnání vektorů nezáporných hodnot můžeme uvést například kosinovou míru d
S K ( x, y )
x
j
j 1
d
yj ,
d
x y j 1
2 j
j 1
(1.9)
2 j
Jaccardův koeficient d
S J (x, y )
x j 1
d
d
j
yj
j 1
j 1
20
2 j
,
d
x y x 2 j
j 1
j
yj
(1.10)
či Diceho koeficient d
S D (x, y )
2xj yj j 1
d
d
x y 2 j
j 1
j 1
.
(1.11)
2 j
V případě potřeby lze výše uvedené míry podobnosti převézt na míry def
nepodobnosti dle vztahu D (x, y ) 1 S (x, y ) a naopak. Podobnost nominálních dat měříme nejčastěji pomocí koeficientu prosté shody, jež vyjadřuje podíl počtu proměnných, ve kterých se dva měřené objekty shodují, ku počtu všech proměnných popisujících objekty. d
s j 1
S ( x, y )
j
(1.12)
,
d
kde s j 1 pro x j y j a s j 0 jinak. Pro měření podobnosti asymetrických binárních dat můžeme použít například speciální variantu Jaccardova či Diceho koeficientu, viz například [56]. Při měření symetrických binárních dat použijeme míry vhodné pro nominální data.
Shlukování proměnných Na rozdíl od objektů měříme podobnost proměnných pomocí různých měr závislosti. Pro kvantitativní proměnné se nejčastěji využívá Pearsonův korelační koeficient, definovaný pro proměnné xj a xj vztahem
x n
r jj
i 1
x n
i 1
ij
x j xij x j
x j xij x j
ij
kde n je počet objektů, x j
i 1
n
2
i 1
n
x
n
2
n
ij
a x j
x i 1
21
n
ij
.
,
(1.13)
Pro nominální proměnné se obvykle používají míry založené na kontingenční tabulce a na Pearsonově statistice chí-kvadrát. Mezi nejpoužívanější patří Pearsonův kontingenční koeficient, Cramérovo V či Čuprovův kontingenční koeficient.
1.1.4 Metody shlukové analýzy Algoritmy z oblasti shlukové analýzy můžeme rozdělit do několika kategorií. Mezi ně patří například hierarchické metody, metody rozkladu, metody založené na hustotě, metody založené na mřížce, či metody založené na modelu. Toto dělení je jedním z mnoha uváděných v literatuře. Jednou z nejznámějších a nejpopulárnějších skupin algoritmů shlukové analýzy jsou metody hierarchického shlukování. Popis těchto postupů nalezneme například v [26], [37], [39] nebo v [56]. Jejich popularita je založena na jednoduchosti, přehlednosti a na dobré interpretovatelnosti výsledků. V hierarchických metodách je vytvářena hierarchie rozdělení do shluků, a to buď aglomerativním, nebo divizivním způsobem. Grafickým výstupem hierarchických metod je například speciální typ stromového grafu, který se nazývá dendrogram. Dendrogram je binární strom2 jehož každý vrchol představuje shluk. Horizontální řezy dendrogramem jsou jednotlivá rozdělení do shluků. Prezentace výsledku shlukování formou dendrogramu je velkou výhodou hierarchických metod. Umožňuje uživateli se na základě grafického znázornění výsledku rozhodnout o počtu výsledných shluků. Aglomerativní (sdružovací) způsob začíná v situaci, kdy je každý objekt samostatným shlukem. Postupně se spojují vždy dva shluky, které jsou si v daném okamžiku nejvíce podobny. Spojování se provádí až do stavu, kdy jsou všechny objekty v jednom společném shluku. Za kritérium zastavení může být využito i dosažení určitého počtu shluků. Divizivní (rozdělovací) způsob postupuje opačným směrem, začíná v situaci, kdy jsou všechny objekty v jednom společném shluku, který je postupně rozdělován až do stavu, kdy je každý objekt v samostatném shluku. I v tomto případě může být použito za kritérium zastavení dosažení určitého počtu shluků.
2
Viz kapitola Základní pojmy z teorie grafů
22
Rozsah metod rozkladu je velmi široký. Do této skupiny je zahrnuto mnoho algoritmů na velmi rozdílných principech. Základem však je vždy hledání nejlepšího shlukování pomocí prvotního rozdělení objektů do shluků a následného postupného přerozdělování objektů ve shlucích s cílem optimalizovat danou účelovou funkci. Metody rozkladu vytváří rozdělení objektů do předem určeného počtu shluků. Metody založené na hustotě jsou určeny především pro prostorová data3. Vytvářejí shluky na základě vyhodnocení prostoru datových objektů a nalezení oblastí s vyšší hustotou výskytu objektů oproti okolnímu prostoru. Zástupcem je například algoritmus DENCLUE (DENsity-based CLUstEring), viz [27]. Jeho postup je založen na principu modelování matematické funkce – funkce vlivu, která popisuje vliv každého objektu na jeho okolí. Dále je využívána tzv. celková funkce hustoty, jenž je definována jako součet jednotlivých funkcí vlivu všech objektů. Centra vznikajících shluků jsou pak umístěna do míst lokálních maxim celkové funkce hustoty. Na poněkud jiném principu je založen další zástupce této skupiny, algoritmus DBSCAN (Density-Based Spatial Clustering of Aplications with Noise), viz [13]. Jeho postup vychází z hustoty definované pro blízké okolí každého objektu, z dosažitelnosti objektů zjištěné na základě této hustoty a propojenosti dvou objektů ověřené pomocí dosažitelnosti vybraných objektů. Shlukem je pak neprázdná množina objektů, pro kterou platí následující dvě vlastnosti. Shluk vždy obsahuje všechny body, jenž jsou dosažitelné z libovolného jeho bodu. Libovolné dva body ležící v tomtéž shluku musí být propojené. Metody této skupiny nejsou založeny na vzdálenostech mezi objekty, a tím umožňují nacházet shluky obecně libovolného tvaru. Naopak nevýhodou této skupiny metod je nutnost zadat parametry hustoty. Metody založené na mřížce pracují na podobném principu jako metody založené na hustotě. Na rozdíl od nich rozdělují prostor datových objektů do mřížky, která je tvořena konečným počtem buněk. Každá buňka mřížky je vícerozměrným kvádrem. Toto rozdělení do mřížky umožňuje efektivnější práci s prostorem objektů. Jedním z algoritmů pracujících na tomto principu je například STING (STatistical INformation 3
Pojmem prostorová data (angl. Spatial Data) se označují data o poloze, tvaru a vztazích mezi jevy reálného světa, vyjádřená zpravidla ve formě souřadnic a topologie. Tj. taková data, která se vztahují k určitým místům v d-dimenzionálním prostoru (d ≥ 2) a pro která jsou na potřebné úrovni rozlišení známé polohy těchto míst. Tzn., že známe odpověď na otázku, kde se vyskytují, známe jejich polohu. Základními typy jsou například bod, úsečka, polygon.
23
Grid), viz [67]. Tento algoritmus pracuje ve dvou fázích. V první fázi rekurzivním způsobem vytvoří mřížkovou strukturu tvořenou několika úrovněmi pravoúhlých buněk. Pro každou buňku jsou vypočítány a uchovány statistické charakteristiky potřebné pro další zpracování, jako je počet objektů, minimální a maximální hodnota obsažená v buňce, aritmetický průměr, směrodatná odchylka a typ pravděpodobnostního rozdělení. Ve druhé fázi algoritmu probíhá vlastní shlukování, které se provádí nad mřížkou vytvořenou v první fázi. Výhodou algoritmu je především rychlost zpracování, která není závislá na počtu objektů ale pouze na počtu buněk mřížkové struktury. Tím je algoritmus vhodný i pro shlukování dat ve velkých souborech. Další výhodou je možnost nalezení shluků různých tvarů. Metody založené na modelu se snaží nalézt matematický model, jímž se řídí datové objekty. Takovýmto modelem může být například směs pravděpodobnostních rozdělení. Jednotlivá rozdělení ve výsledku určují jednotlivé shluky. Metody hledají například pomocí EM algoritmu (viz [10]) maximálně věrohodný odhad parametrů pravděpodob-nostních rozdělení. Jinou, sekvenční metodou pro přibližné odhady parametrů je metoda částicových filtrů (particle filtres), která odhaduje důležitost na základě tzv. funkce zájmu v množině daného počtu vážených částic. Podrobněji viz např. [11]. Nevýhodou těchto metod je fakt, že jejich použití vyžaduje znalost struktury dat. Mezi další, principiálně odlišné zástupce této skupiny patří algoritmy SOM (Kohonenova mapa) a SOON, viz [52] či [56], založené na principu neuronových sítí.
1.2 Problematika velkých souborů dat O velikosti datového souboru se hovoří ze dvou odlišných hledisek. Za prvé z hlediska počtu proměnných, které sledujeme pro každý objekt. Existují vědní obory (například chemometrie), kde se setkáváme až s několika sty sledovaných proměnných. Ve shlukovacích úlohách se přitom již 16 proměnných považuje za velký počet. Množství proměnných především ovlivňuje výpočetní náročnost zjištění míry podobnosti, respektive nepodobnosti. Daný problém se řeší dvěma různými způsoby. Jednak snižováním počtu proměnných (snižováním dimenze úlohy) například pomocí analýzy hlavních komponent či faktorové analýzy, viz například [26]. Druhým způsobem je volba speciálního algoritmu pro shlukování.
24
Druhým hlediskem určení velikosti datového souboru je počet datových objektů. Ve starších učebnicích statistiky se velkým souborem nazývá soubor obsahující více než 250 objektů. S rozvojem výpočetní techniky se pohled na velikost datového souboru z hlediska zpracovatelnosti změnil. Pomocí libovolných shlukovacích metod lze zpracovat soubory mnohem větší, obsahující i přes tisíc objektů. V některých případech (například při shlukování velkého počtu objektů pomocí hierarchických metod) je však výsledek velmi nepřehledný a tím i nepoužitelný. Navíc se v praxi mnohdy musíme vypořádat i se zpracováním ještě mnohem větších souborů, souborů obsahujících často statisíce nebo miliony objektů. Nezřídka se může stát, že je soubor natolik veliký, že se nevejde do operační paměti počítače. V takovém případě je nutno jej postupně číst z disku, což vede k velkému nárůstu časové náročnosti zpracování. Shlukování velkého počtu objektů lze provézt mnoha způsoby, viz [56]. Můžeme například použít algoritmy rychlého rozkladu, v nichž je využíván výběr tzv. hlavních objektů, od nichž se počítají vzdálenosti ostatních objektů. Každý hlavní objekt přísluší k jednomu shluku. Příslušnost libovolného objektu ke shluku se posuzuje podle vzdálenosti k hlavnímu objektu, navíc je brána v úvahu tzv. prahová (maximální povolená) vzdálenost od hlavního objektu. Pokud neexistuje shluk, ve kterém daný objekt nepřekračuje prahovou vzdálenost, je vytvořen shluk nový s vlastním hlavním objektem. Na tomto základě je založen například přírůstkový (z angl. originálu incremental) algoritmus BIRCH, který je popsán v kapitole 1.2.4. Jiným přístupem může být různý způsob vzorkování, při kterém se z celého souboru vybere reprezentativní část, která obsahuje pouze takové množství objektů, které lze shlukovat v rozumném čase. Na takto vybrané podmnožině objektů se nejprve vytvoří soustava shluků a poté se zbývající objekty přiřadí k již vytvořeným shlukům. Na tomto principu je založena například varianta algoritmu CLARANS, popsaná v kapitole 1.2.3. V poslední době se objevují nové algoritmy shlukové analýzy, které jsou určeny pro zpracování datových souborů s velkým počtem objektů. Tyto algoritmy jsou často založeny na principu různých typů kořenových stromů4. Touto problematikou jsem se zabývala například v článku [71], [73] či [74].
4
Viz kapitola Základní pojmy z teorie grafů
25
Výhodou takovéto reprezentace dat je fakt, že mnohé početní i rozhodovací operace v příslušném algoritmu se mohou nahradit jediným hromadným úkonem a mohou se provádět místo s jednotlivými objekty s celou množinou objektů spojenou ve společném vrcholu. Navíc většina těchto algoritmů buduje strom pouze jedenkrát a pak jej v jednotlivých iteračních krocích upravuje a optimalizuje. Tím se velmi sníží počet přístupů k datům i počet aritmetických a rozhodovacích operací. Mezi algoritmy založené na stromové struktuře patří například algoritmus BIRCH, popsaný v kapitole 1.2.4, varianta algoritmu CLARANS, popsaná v kapitole 1.2.3, shlukování pomocí minimální kostry, viz kapitola 1.2.2, či filtrovací algoritmus, viz kapitola 3.2.
1.2.1 Metody rozkladu Metody rozkladu nepracují s maticí vzdáleností pro všechny dvojice objektů, a proto jsou velmi vhodné pro zpracování souborů s velkým počtem objektů. Základní myšlenkou metod této skupiny je rozdělení objektů do předem daného počtu shluků. Způsob dělení může však být různý. Jedním ze způsobů je vytvoření počátečního rozdělení a následného vylepšování tohoto shlukování na základě optimalizace nějaké účelové funkce. Metod pracujících na tomto principu je celá řada. Liší se především způsobem reprezentace shluků. Patří sem například metoda k-průměrů (v literatuře se můžeme setkat s názvem k-středů [85], k-průměrů [56], k-těžišť [37], či anglickým originálem k-means [86]). Jak z názvu vyplývá, každý ze shluků je reprezentován svým středem, tj. d-rozměrným vektorem skládajícím se z průměrných hodnot jednotlivých proměnných. Tato metoda je blíže popsána v kapitole 2. Dále mezi metody rozkladu náleží metoda k-medoidů, kde je každý shluk reprezentován tzv. medoidem. Tato metoda bývá označována PAM (Partitioning Around Medoids), viz např. [56] či [37]. Pokud máme libovolný neprázdný shluk C X , pak můžeme definovat medoid shluku C jako konkrétní objekt shluku, pro nějž platí, že součet vzdáleností (nejčastěji se používá Euklidovská vzdálenost, ale není podmínkou) ode všech ostatních objektů shluku je minimální.
26
Cílem metody k-medoidů je nalézt podmnožinu objektů m 1 , m 2 , ..., m k X , která minimalizuje kritérium
Dx, m(x) ,
xX
(1.14)
kde x X je objekt a m(x) m 1 , m 2 , ..., m k je medoid, který má od objektu x minimální vzdálenost ze všech medoidů. Obě zmíněné metody jsou použitelné pouze pro kvantitativní data. Přesto existují metody, které jsou použitelné i v případě nominálních dat. K nim patří například metoda k-modů, kde je shluk charakterizován d-rozměrným vektorem obsahujícím modální hodnoty jednotlivých proměnných. Jinou variantou je metoda k-histogramů, při které sledujeme informace o četnostech kategorií jednotlivých proměnných. Stručný popis těchto metod nalezneme například v [56]. Jiný princip využívá například metoda využívající minimální kostru grafu. Je to jedna z metod založených na reprezentaci dat pomocí stromů.
1.2.2 Shlukování pomocí minimální kostry Poznámka: Jednotlivé pojmy z oblasti teorie grafů použité v této části kapitoly jsou definovány a vysvětleny v samostatné kapitole Základní pojmy z teorie grafů. Kostra grafu G je libovolný strom, který je podgrafem grafu G, obsahuje všechny vrcholy grafu G a pro který platí, že množina hran kostry je podmnožinou hran původního grafu. Podrobněji například [22], [34] či [75]. Jednotlivé hrany grafu můžeme „ohodnotit“, tzn. každé hraně grafu přiřadíme nezáporné reálné číslo, které nazýváme váha hrany. Většina grafů může mít mnoho různých koster. Jednou z úloh teorie grafů je nalezení minimální kostry (součet vah jednotlivých hran minimální kostry je menší nebo roven než součet vah jednotlivých hran libovolné jiné kostry daného grafu). Existují tři velmi jednoduché algoritmy, a to algoritmus Kruskalův (nebo-li hladový), Jarníkův (nebo-li Primův) a Borůvkův, viz například [75], [33], či [9]. První, kdo vymyslel jeden z algoritmů, a to v roce 1926, byl Otakar Borůvka. Další byl algoritmus Jarníkův, který je však ve světě znám jako Primův, ačkoliv s tímto
27
algoritmem přišel český matematik Jarník již v roce 1930 a Prim až v roce 1957. Hladový algoritmus vymyslel Kruskal až v roce 1956, avšak jeho algoritmus je, zdá se, nejznámější a nejoblíbenější. Metoda shlukování pomocí minimální kostry (minimum spanning tree) patří k hierarchickým aglomeračním metodám shlukové analýzy. Každý objekt představuje jeden vrchol grafu. Všechny vrcholy jsou vzájemně pospojovány hranami (jedná se o tzv. úplný graf, kdy je každá dvojice vrcholů spojena hranou). Váha hrany je vyjádřením podobnosti dvou spojených objektů. Pomocí libovolného algoritmu z výše uvedených nalezneme minimální kostru tohoto grafu. Vyjmutím hrany s maximální vahou obdržíme dvě komponenty (souvislé části grafu), které reprezentují dva shluky. Dalším postupným vyjímáním hran s maximální vahou dostáváme potřebné množství shluků. Vyjmutím k – 1 hran s maximálními vahami dostaneme tedy k shluků. Algoritmus minimální kostry se využívá i v tzv. hybridním přístupu pro shlukování ve velkých souborech dat. Hybridní přístup je založen na provedení výběru objektů a shlukování objektů v tomto výběru. K takto vytvořeným shlukům jsou přiřazovány zbylé objekty. Při použití minimální kostry jsou objekty rozděleny do skupin, pro každou skupinu je zkonstruována minimální kostra. Tyto minimální kostry jsou spojovány tak, aby tvořily globální minimální kostru. Problematika minimální kostry a shlukování pomocí minimální kostry je zmíněna například v [22], [23], [60], [68] či [75].
1.2.3 Varianta algoritmu CLARANS pro velké datové soubory Jedním z algoritmů pro shlukovou analýzu rozsáhlých datových souborů je algoritmus zvaný CLARANS (Clustering Large Application based on RANdomized Search) popsaný například v [13]. Základem tohoto algoritmu je metoda k-medoidů. Algoritmus CLARANS řeší problematiku shlukování n objektů do předem daného počtu shluků k a pro definovanou míru vzdálenosti mezi dvěma objekty (pro prostorová data je přirozenou měrou vzdálenosti euklidovská vzdálenost). Algoritmus hledá množinu k vybraných objektů (tzv. medoidů) takových, že průměr vzdáleností všech objektů ze zkoumaného souboru k jejich nejbližšímu medoidu je minimální.
28
Medoidem nazýváme, jak již bylo řečeno, konkrétní objekt z podmnožiny, pro nějž platí, že součet vzdáleností ode všech ostatních objektů podmnožiny je minimální. Výsledkem algoritmu bude k shluků, kde každý z těchto k shluků přísluší k jednomu z k medoidů a každý shluk příslušný k danému medoidu obsahuje ty objekty souboru, pro které je vzdálenost k tomuto medoidu ze všech vzdáleností ke k medoidům minimální. Algoritmus CLARANS v prvním kroku náhodně vybere k medoidů. Každý ze zbývajících objektů přiřadí k jim nejbližšímu medoidu. V druhém kroku vybere z těchto medoidů náhodně jednoho zástupce a taktéž náhodně vybere jeden z objektů zkoumaného souboru, který není medoidem. Dále algoritmus zjistí, zda by záměnou těchto dvou objektů došlo ke zlepšení. To znamená, že zjistí, jestli se sníží průměrná vzdálenost objektů od „jejich“ medoidů, po přeorganizování příslušnosti objektů k medoidům, pokud by se z vybraného objektu, který není medoidem, stal medoid a z vybraného medoidu se stal „běžný“ objekt. Pokud by ke zlepšení došlo, provede záměnu. Mezi vstupní parametry algoritmu patří počet, kolikrát algoritmus tento krok provádí. Po provedení daného počtu porovnání a případných záměn algoritmus spočítá a uloží aktuální průměrnou vzdálenost. Postup se opakuje od prvního kroku, od náhodného výběru k medoidů. Po průchodu tímto vnějším cyklem algoritmu se opět porovná, jestli došlo k vylepšení. To znamená, jestli druhému náhodnému výběru k medoidů nepřísluší nižší průměr ze vzdáleností všech objektů k „jejich“ medoidům. Počet průchodů vnějším cyklem je omezen, a to druhým vstupním parametrem algoritmu. Algoritmus končí po provedení předem daného počtu iteračních kroků. Tento počet je určen vstupními parametry. Autoři článku [13] doporučují první vstupní parametr (počet náhodných výběrů k medoidů – počet průchodů vnějším cyklem) nastavit na 2 a druhý vstupní parametr (počet pokusů o záměnu medoidů – počet
1,25 průchodů vnitřním cyklem) nastavit na hodnotu max k n k , 250 . Výstupem 100 algoritmu je množina medoidů a jim příslušných shluků. Postup algoritmu CLARANS 0. Vstup: datová matice X, požadovaný počet shluků k, povolené počty průchodů vnějším, respektive vnitřním cyklem iinternal , iexternal.
29
1. Náhodný výběr k medoidů, M m 1 , m 2 , ..., m k X . 2. Přiřazení všech objektů k jim nejbližším medoidům, tj. objekt x je přiřazen k medoidu ml, pokud platí x ml
2 2
x j mlj min x m l 2 , l 1, ..., k , l l d
2
j 1
2
d 2 min x j ml j , l 1, ..., k , l l . j 1
(1.15)
3. Výpočet průměrné vzdálenosti objektů od medoidů, k nimž jsou přiřazeny. v
x m(x)
xX
2 2
n
,
(1.16)
kde n je počet objektů, x X je objekt a m(x) M je jemu odpovídající medoid. 4. Náhodný výběr libovolného medoidu m l m 1 , m 2 , ..., m k a libovolného objektu, který není medoidem x i X \ m 1 , m 2 , ..., m k . 5. M´ m 1 , m 2 , ..., m k \ m l x i . 6. Výpočet průměrné vzdálenosti objektů od medoidů z množiny M´, k nimž jsou přiřazeny. v´
x m(x)
xX
n
2 2
,
(1.17)
kde n je počet objektů, x X je objekt a m(x) M´ je k němu příslušný medoid. 7. Pokud v´< v, pak vytvořit novou množinu medoidů M = M´, a položit v = v´. 8. Pokud není dosaženo maximálního počtu průchodů vnitřním cyklem iinternal, návrat na krok 4. Pokud byl překročen maximální počet průchodů vnitřním cyklem iinternal a nebyl překročen maximální počet průchodů vnějším cyklem iexternal, návrat na krok 1. Jinak konec. 9. Výstup: k medoidů M, resp. přiřazení objektů do těchto k shluků.
30
Nejproblematičtější částí algoritmu z hlediska efektivity pro velké soubory dat je vyhodnocení zlepšení průměru vzdáleností jednotlivých objektů od „jejich“ medoidu. V algoritmu pro velké prostorové databáze5 je tento problém vyřešen tak, že je vybrán jen relativně malý počet reprezentantů ze souboru a postup algoritmu CLARANS je aplikován pouze na tyto reprezentanty. Toto je způsobem vzorkování používaný v databázových systémech, přičemž jsou zde využity tzv. R*-stromy6. R*-stromy jsou datové struktury využívané k indexování7 prostorových informací. Ze všech objektů zkoumaného souboru vytvoříme R*-strom a pomocí tohoto stromu vybereme vhodný počet reprezentantů (v závislosti na velikosti souboru a požadovaném počtu shluků). Poté pomocí algoritmu CLARANS zjistíme k medoidů. Nakonec všechny datové objekty přiřadíme k jednotlivým medoidům, a tím vytvoříme požadované shluky. Mezi výhody tohoto algoritmu patří dle autorů [13] mimo jiné fakt, že jej lze použít nejen pro shlukování objektů, pro které je možno definovat průměr, ale obecně pro objekty, pro něž je definována míra podobnosti mezi dvěmi objekty. Dalšíí pozitivní vlastností algoritmu jeho značná efektivnost při zpracování velkých souborů dat. Metoda je také, obdobně jako všechny algoritmy k-medoidů, robustnější než metoda k-průměrů. Odlehlé objekty nevytvářejí vždy samostatný shluk.
1.2.4 Algoritmus BIRCH Jednou z metod, která je schopna se vypořádat s efektivním shlukováním velkého počtu objektů, je metoda BIRCH (Balanced Iterative Reducing and Clustering using Hierarchies). Algoritmus blíže popsali jeho autoři v [69] a [70]. Data jsou shlukována postupně tak, jak vstupují do procesu. Algoritmus vytváří CF-strom, do kterého vstupující objekty zařazuje jeden po druhém. Úkolem vnitřních
5
Prostorová data (angl. Spatial Data) viz poznámka 3 na straně 21. Prostorové databáze jsou databáze obsahující prostorová data.
6
Viz kapitola Základní pojmy z teorie grafů.
7
Indexováním se nazývá proces vytvoření a využívání indexu v databázi. Index (nebo také klíč, angl. key) je databázová konstrukce, sloužící ke zrychlení vyhledávacích a dotazovacích procesů v databázi, definování unikátní hodnoty sloupce tabulky. Index je obvykle definován výběrem tabulky a jednoho konkrétního sloupce (nebo více sloupců), nad kterými si analytik databáze přeje dotazování urychlit.
31
vrcholů CF-stromu je umožnit nalezení správného listu pro zařazení nového objektu, každý listový vrchol pak reprezentuje shluk. Podrobněji například [81], [82] či [83] . Struktura CF-stromů je založena na principech B-stromů a R-stromů6, tj. stromových strukturách pro indexování souborů dat. CF-stromy využívají tzv. CF-charakteristiku shluku (Cluster Feature). Tato charakteristika je uspořádanou trojicí CF = (nc, LS, SS), kde nc je počet objektů ve shluku, LS je vektorovým součtem souřadnic všech objektů ve shluku a SS je vektorovým součtem druhých mocnin nc
nc
i 1
i 1
souřadnic těchto objektů, tj. LS x i , SS x i2 . Poznámka: V článku [69] je jako třetí prvek CF-charakteristiky uveden součet souřadnic vektoru SS. Důležitou vlastností této charakteristiky je CF aditivita, což znamená následující: Jsou-li CF1 = (n1, LS1, SS1) a CF2 = (n2, LS2, SS2)
CF-charakteristiky dvou
disjunktních shluků, pak CF-charakteristika shluku, který vznikne spojením původních dvou shluků, je rovna součtu CF-charakteristik původních shluků, tj. CF = CF1+ CF2 =(n1 + n2, LS1+ LS2, SS1+ SS2).
(1.18)
Údaje obsažené v CF-charakteristice jsou dostačující k výpočtu centroidů, míry nepodobnosti shluků (informace o meziskupinové variabilitě) a míry kompaktnosti shluků (informace o vnitroskupinové variabilitě), což jsou charakteristiky potřebné k tvorbě stromu. Charakteristiky potřebné pro práci algoritmu, které autoři uvádějí v článku [69], a úprava vzorců jejich výpočtu do tvaru, z něhož je zřejmé použití CFcharakteristiky jsou následující. Mějme
shluk
s
nc
x i , i 1, ..., nc
objekty
a
s CF-charakteristikou
CF = (nc, LS, SS), pak můžeme definovat centroid shluku c jako nc
c
x i 1
i
nc
LS . nc
(1.19)
První z možných variant pro měření míry kompaktnosti shluku je druhá odmocnina průměrné kvadratické euklidovské vzdálenosti všech objektů shluku od jeho centroidu. Budu značit P0. Autory [69] je nazývána jako „poloměr shluku“. Můžeme ji vypočíst dle vztahu
32
nc xi c P0 i 1 nc
1
2 2
2 nc x i c 2 i 1 nc
xij2 2 xij c j c 2j i 1 j 1 nc nc
d
d 2 SS j nc j 1
1 2
1
n 2 c d xij c j 2 i 1 j 1 nc
1
2
xij2 2 xij c j c 2j i 1 j 1 i 1 j 1 i 1 j 1 nc nc
d
1 LS 2j nc j 1 nc
nc
d
nc
d
1
d
1 2
(1.20)
1
d 2 2 d 2 LS SS LS 2j j j j 1 j 1 j 1 2 n nc c . d
Druhou z možných variant pro měření míry kompaktnosti shluku je druhá odmocnina průměrné kvadratické euklidovské vzdálenosti mezi všemi dvojicemi objektů shluku. Budu značit P1. Autory článku [69] je nazývána jako „průměr shluku“. Můžeme ji vypočíst dle vztahu x i x i P1 i 1 i1 n n 1 c c nc
nc
2 2
1 2
x i x i 2 i 1 i1 n n 1 c c nc
nc
1 2
nc nc d xij xij 2 i 1 i1 j 1 nc nc 1
nc nc d 2 xij 2 xij xij xij 2 i 1 i1 j 1 nc nc 1
1
2
nc d d nc 2 d nc 2 nc xij x x ij ij xij j 1 i 1 j 1 i 1 i 1 j 1 i1 2 nc 1 nc nc 1 nc 1
33
1
2
(1.21)
1
2
1
d d 2 LS 2j SS j j 1 j 1 . 2 2 nc 1 nc nc 1
x i , i 1, ..., n1 ,
Dále mějme dva různé shluky, jeden shluk s n1 objekty
s centroidem c1 a CF-charakteristikou CF1 = (n1, LS1, SS1). Druhý shluk s n 2 objekty
x i , i n1 1, ..., n1 n2
s centroidem c2 a CF-charakteristikou CF2 = (n2, LS2, SS2).
Nepodobnost těchto dvou shluků pak můžeme zjišťovat několika alternativními způsoby. Jednou z možných alternativ je například centroidní metoda, kdy je vzdálenost mezi shluky počítána jako euklidovská vzdálenost jejich centroidů definovaná vztahem P2 c1 c 2
2 c1 j c 2 j j 1 d
2
1 2
d LS1 j LS 2 j j 1 n1 n2
1
2
2 ,
(1.22)
případně jako manhattanská vzdálenost centroidů podle vztahu P3 c1 c 2
1
d
d
LS1 j
j 1
j 1
n1
c1 j c 2 j
LS 2 j n2
(1.23)
.
Jinou alternativou je určení nepodobnosti shluků metodou průměrné vazby pro mezishlukové vzdálenosti, za využití výpočtu nepodobnosti dvou shluků podle vztahu n1 n1 n2 x i x i 2 i 1 i n1 1 P4 n1 n2
1
2 n1 n1 n2 d 2 xij 2 xij xij xi2j i 1 i n1 1 j 1 n1 n2
n1 n2 d n1 n1 d 2 d n1 n2 2 xij x x x ij i j ij i 1 j i n 1 1 i 1 j 1 1 j 1 in1 1 2 n1 n2 n2 n1 d d d LS LS SS 2 j SS1 j 1j 2j j 1 j 1 j 1 2 n1 n1 n2 n2
34
1
2 .
1
2
1
2
(1.24)
Další možností je metoda průměrné vazby pro vnitroskupinové vzdálenosti, kdy je nepodobnost dvou shluků vypočtena dle vztahu x i x i 2 P5 i 1 i1 n n n n 1 2 1 2 1 n1 n2 n1 n2
1 2
n1 n2 n1 n2 d 2 xij 2 xij xij xi2j i 1 i1 j 1 n1 n2 n1 n2 1
1
2
1
d d n1 n2 2 d n1 n2 2 n1 n2 n1 n2 2 xi x x x i i i j 1 i 1 j 1 i 1 i 1 j 1 i 1 2 n1 n2 n1 n2 1 n1 n2 1 n1 n2 1
(1.25)
1
d d 2 LS1 j LS 2 j 2 SS1 j SS 2 j j 1 j 1 . 2 2 n1 n 2 1 n1 n 2 n1 n2 1
Je zřejmé, že P5 je v podstatě P1 shluku vytvořeného sloučením dvou shluků. Jinou možností je Wardova metoda, kdy je nepodobnost dvou shluků vypočítána dle vztahu n1 n2 x t1 n1 n2 t1 1 P6 x i n1 n2 i 1
2
n1 x t2 n1 t 2 1 x i n i 1 1
2
n1 n2 x t3 n2 t3 n1 1 x i n 2 i1
2
n1 n2 n1 n2 d n1 n2 xi xt xt j 1 1 i 1 d n1 n2 j 1 t1 1 j 1 t1 1 xi2 2 n1 n 2 n1 n 2 j 1 i 1 d
d
d
n1
x 2 j 1 i 1
2 i
2
n1
x x j 1 i 1
i j
t 2 1
n1
t2 j
2
n1 xt j 2 j 1 t 1 2 n1 d
n1
2
n1 n2 d n1 n2 n1 n2 xij xt3 j xt3 j d n1 n2 j 1 i n 1 t3 n1 1 j 1 t3 n1 1 xi2j 2 1 n2 n2 j 1 i n1 1 d
35
(1.26)
LS d
SS1 j SS 2 j d
j 1
d
d
SS 2 j j 1
j 1
n2
1j
d
2 2j
d
2
n1 n 2
j 1
LS
LS 2 j
LS j 1
n1
SS1 j j 1
d
2 1j
d
LS
LS j 1
n2
LS d
2 2j
j 1
j 1
n1
2 1j
LS 2 j
2
1j
n1 n 2
.
CF-stromy jsou vysoce vybalancované8 stromy se dvěma parametry. Prvním parametrem je faktor větvení, což je uspořádaná dvojice čísel (F, L) a druhým práh T. Pro každý vnitřní vrchol CF-stromu platí, že obsahuje maximálně F záznamů9 ve tvaru [CFi, potomeki], kde i = 1, …, F, CFi je CF-charakteristika podshluku, který je reprezentován tímto potomkem a „potomeki“ je ukazatel na i-tý podřízený vrchol. Příklad CF-stromu je znázorněn na obrázku 1.3.
Obr. 1.3 Ukázka CF-stromu pro F = 6 a L = 5 (dle [23])
Úkolem vnitřních vrcholů je umožnit nalezení správného listu pro zařazení nového datového objektu. Každý list obsahuje nejvýše L záznamů ve formě [CFi], kde 8
Viz kapitola Základní pojmy z teorie grafů.
9
Záznamem rozumíme ucelenou část informace, jež je obsažena v daném vrcholu.
36
i = 1, …, L, navíc obsahuje ukazatel na předchozí list a ukazatel na následný list, takže
všechny listy jsou vzájemně propojeny pomocí ukazatelů „předchůdce“ a „následník“. Každý listový vrchol reprezentuje shluk vytvořený všemi podshluky reprezentovanými jednotlivými záznamy daného listu. Pro každý záznam listu ale musí platit prahové pravidlo, že rozpětí záznamu (tj. míra kompaktnosti,viz (1.20) či (1.21), shluku obsahujícího objekty daného záznamu) je menší než práh T. Je zřejmé, že velikost stromu je funkcí prahu T. Platí, že čím větší je hodnota prahu P, tím je menší výška8 stromu a naopak. Obdobné tvrzení platí i pro faktor větvení (F, L). Jak již bylo řečeno, CF-strom je budován dynamicky, postupně jsou vkládány nové objekty. Proces vkládání začíná v kořeni stromu. Nalezne se větev vedoucí k nejbližšímu vrcholu – potomku (za využití jedné z měr nepodobnosti (1.22) až (1.26)). Takto se pokračuje, až se dojde do listu. Pro podshluk reprezentovaný tímto listem ověříme platnost prahového pravidla. Pokud toto pravidlo platí, zařadíme nový objekt do příslušného shluku a upravíme příslušnou CF-charakteristiku listu i CF-charakteristiky vrcholů na cestě od listu ke kořeni CF-stromu. Pokud je prahové pravidlo po zařazení nového objektu překročeno, musíme pro tento objekt vytvořit nový shluk a jemu příslušný list. Následně se musí přepočítat všechny „inkriminované“ CF-statistiky (tj. statistiky náležející k vrcholům na cestě od daného listu ke kořeni stromu). Pokud se vytvořením nového vrcholu dostaneme do konfliktu s faktorem větvení (počet větví žádného vrcholu nesmí být větší než F, resp. L), musíme rozštěpit daný vrchol, opět s přepočtem příslušných CF-charakteristik. Obdobně je přebudován celý strom. Vlastní algoritmus probíhá ve třech, respektive čtyřech fázích. V první fázi vytváří CF-strom, do kterého zařazuje postupně přicházející datové objekty. Ve druhé fázi kondenzuje vytvořený CF-strom a optimalizuje jeho velikost upravením prahové hodnoty (jeden z parametrů CF-stromu) a pomocí patřičného přestavění stromu zároveň umožní odstranění odlehlých objektů. Ve třetí fázi se minimalizuje dopad citlivosti na pořadí vstupních dat. Algoritmus zde shlukuje listové vrcholy pomocí aglomerativního hierarchického algoritmu shlukování. Ve čtvrté, nepovinné, fázi algoritmus přerozděluje objekty k jejich nejbližším centrům, a tím získává nové složení shluků. Tato fáze umožňuje odstranění jednoho z negativních důsledků výstavby CF-stromu, že fakticky jeden objekt vstupující
37
formálně algoritmem ve dvou různých okamžicích se může přiřadit do dvou různých shluků. Přerozdělením se tyto dva objekty dostanou do společného shluku. Bohužel je to druhá fáze, kde je nutno opětovně procházet celý soubor objekt po objektu. Postup algoritmu BIRCH 0. Vstup: datová matice X, faktor větvení (F, L), práh T. 1. Tvorba CF-stromu (načítání dat do operační paměti). 1.1 Počátek vytváření CF-stromu t1 s inicializační hodnotou parametru T. 1.2 Sekvenční procházení souborem a vkládání objektů do stromu t1. 1.2.1 Pro každý vkládaný objekt nalezneme odpovídající list. Hledání začínáme v kořeni stromu, procházíme směrem od kořene k listům, vždy vybíráme toho potomka, který je vkládanému objektu „podobnější“, tj. je menší hodnota předem zvolené míry nepodobnosti (viz (1.22) až (1.26)) mezi shlukem obsahujícím objekty asociované10 s daným vrcholem-potomkem a shlukem obsahujícím vkládaný objekt. 1.2.2 Pokud by vložením objektu do nalezeného listu došlo k překročení faktoru větvení, tj. buď obsahuje nějaký vnitřní vrchol na cestě od kořene k označenému listu větší počet objektů, než je hodnota F, nebo listový vrchol obsahuje více objektů než je hodnota L, provedeme štěpení vrcholu přesahujícího faktor větvení. 1.2.3 Pokud by vložením objektu do nalezeného listu došlo k překročení prahu T, tj. hodnota předem zvolené míry kompaktnosti (viz (1.20) či (1.21)) shluku obsahujícího všechny objekty asociované s listem (včetně
vkládaného
objektu)
přesahuje hodnotu T, provedeme štěpení listu. 1.2.4 Upravení CF-charakteristik všech vrcholů na cestě od kořene CFstromu k vybranému listu.
10
Každý vrchol v stromu reprezentuje nějakou množinu objektů. Řekneme, že tyto objekty jsou asociované s vrcholem v.
38
1.3 Pokud se vytvářený CF-strom nevejde do operační paměti, pak 1.3.1 navýšení hodnoty T, 1.3.2 přestavba stromu t1 do stromu t2 za využití nové hodnoty T, 1.3.3 převedení t2 do t1, 1.3.4 návrat na krok 1.2. 2. Kondenzace vytvořeného CF-stromu a optimalizace jeho velikosti. 3. Aglomerativní hierarchické shlukování listových vrcholů CF-stromu. 4. Přerozdělování objektů k jejich nejbližším centrům. 5. Výstup: Přiřazení objektů matice X do shluků. Výhodou algoritmu BIRCH (bez použití nepovinné fáze) je, že prochází datovým souborem pouze jedenkrát pro prvotní načtení všech objektů do CF-stromu. Reflektuje přirozenou tendenci objektů k seskupování a rozlišuje oblasti s velkou hustotou objektů a výskyt objektů osamocených, čímž dobře odhaluje odlehlé objekty11 a umožňuje je optimálně vynechat z další analýzy. Nevýhodou je citlivost na pořadí vstupujících objektů. Nepovinná fáze citlivost na pořadí vstupujících objektů minimalizuje, na druhou stranu velmi algoritmus zpomalí z důvodu opětovného průchodu daty.
11
Existuje mnoho definic pojmu odlehlý objekt. Mezi nejčastěji používané náleží následující definice.
Odlehlým objektem nazveme objekt, který:
se neřídí stejným modelem jako ostatní data,
je velmi vzdálen od většiny ostatních objektů, tj. např. o
pro předem dané hodnoty a je objekt O označen za odlehlý (vzhledem k a ), pokud má méně než procent ostatních objektů vzdálenost od objektu O menší než (Knorr a Ng 1997),
o
pro předem dané hodnoty k a je objekt O označen za odlehlý (vzhledem k k a ), pokud k nejbližších objektů k objektu O má vzdálenost od O větší než (Al-Zoubi a Obeid 2007).
Další podrobněji viz například [1], [4] či [66].
39
1.2.5 Algoritmy ISODATA a ISOCLUS Shlukovací metoda ISODATA (Iterative Self Organizing Data Analysis Technique) je podrobněji popsaná například v [64], nebo její obměna ISOCLUS v [40]. Jedná se o iterativní metody. Algoritmus obou vychází z podstaty algoritmu k-průměrů, to znamená, že centry shluků jsou libovolné body Rd, ale je založen na principu rozdělování a spojování shluků. Na rozdíl od metody k-průměrů nevyžaduje zadání cílového počtu shluků. Vstupů zadávaných uživatelem je více. Jsou to parametry udávající počáteční počet shluků k, povolenou vnitroshlukovou směrodatnou odchylku smax, minimální počet objektů ve shluku nmin, minimální vzdálenost mezi dvěma centry
shluků lmin, maximální počet dvojic shluků spojovaných v rámci jedné iterace12 pmax a maximální počet iterací imax.
Postup algoritmu ISOCLUS 0.
Vstup: datová matice X, k, smax, nmin, lmin, pmax a imax (popis významu parametrů viz výše).
1.
Náhodný výběr k počátečních center13 K c1 , c 2, , ..., c k , přiřazení k = k.
2.
Přiřazení všech objektů x X
k jim nejbližšímu centru, tj. objekt x je
přiřazen k centru cl, pokud platí x cl
2 2
x j clj min x c l 2 , l 1, ..., k , l l , d
2
j 1
2
(1.27)
čímž vytvoříme pro l 1, ..., k množiny Cl, obsahující všechny objekty x X přiřazené k centru cl.
3.
Přemístění center všech existujících shluků do centroidů cl vypočítaných ze všech objektů daného shluku dle vztahu
12
Iterace znamená proces opakovaného použití postupu či funkce. Používá se například v matematice
(numerické metody) či informatice. 13
Centrem množiny objektů nazýváme určitý „střed“ této množiny. Středem množiny můžeme rozumět
buď konkrétní objekt nebo „objekt“ uměle spočítaný. Centrum lze definovat různým způsobem, může jím být například centroid (vektor průměrných hodnot), či medoid (objekt nejblíže centroidu).
40
cl
1 x, l 1, ..., k , nl xCl
(1.28)
kde označení nl je počet objektů příslušných k l-tému centru, Cl je množina objektů příslušných k l-tému centru. 4.
Odstranění center shluků, pro něž platí nl < nmin, z množiny K, snížení hodnoty k o počet odstraněných center. Pokud došlo k odstranění alespoň jednoho centra, návrat na krok 2.
5.
Pro každé centrum výpočet průměrné kvadratické euklidovské vzdálenosti vl centra cl od objektů jemu přiřazených dle vztahu vl
1 x cl nl xCl
2 2
d 1 2 x j clj , l 1, ..., k , nl xCl j 1
(1.29)
výpočet váženého průměru v ze všech hodnot vl (s váhami nl) tj. v
1 k nl v l . n l 1
(1.30)
6.
Pokud je prováděna poslední iterace, přechod na krok 9.
7.
Výpočet vektorů směrodatných odchylek S l s1 , s 2 , ..., s d pro každé z center cl s lj
1 2 x j clj , l 1, ..., k , j 1, ..., d , nl xCl
(1.31)
označení největší souřadnice S l jako slmax . 8.
Pokud existuje shluk, jehož směrodatná odchylka překračuje předepsanou hranici, nebo-li přesněji pokud
k´ slmax s max vl v nl 2(nmin 1) k , 2
(1.32)
l-tý shluk se rozdělí do dvou nových shluků. Dělíme podle proměnné odpovídající slmax , prahem pro dělení je centrum cl (viz obrázek 1.4), navýšit hodnotu k o 1, k = k + 1, pokud se některý ze shluků rozštěpil, návrat na krok 2. 9.
Výpočet všech vzájemných vzdáleností distll mezi jednotlivými centry
41
dist ll c l c l
2 2
clj cl j , l , l : 1 l l k . d
2
(1.33)
j 1
10. Setřídit vzestupně hodnoty distll, vybrat maximálně pmax hodnot, pro které platí distll < lmin , příslušné shluky sloučit, tj. C ll C l C l ,
(1.34)
nl c l nl c l , nl nl přečíslovat centra, příslušně snížit hodnotu k. c ll
11. Pokud není dosaženo maximálního počtu iterací imax, návrat na krok 2. 12. Výstup: přiřazení objektů matice X do k shluků. Algoritmus ISODATA pracuje obdobně jako algoritmus ISOCLUS, jediný rozdíl je v krocích 2 až 4. Zatímco se v algoritmu ISOCLUS tyto kroky opakují, dokud se v rámci čtvrtého kroku zruší alespoň jedno centrum, v algoritmu ISODATA se druhý až čtvrtý krok provádí v dané iteraci pouze jedenkrát.
Obr. 1.4 Ukázka dělení shluku v algoritmu ISODATA, resp. ISOCLUS (dle [64])
Výhodou obou algoritmů je schopnost eliminovat shluky s velmi malým počtem objektů. Minimální přípustný počet objektů ve shluku může být dalším z parametrů zadávaným uživatelem. Objekty ze shluků, které mají menší počet objektů než je
42
stanovená hranice můžeme klasifikovat jako odlehlé objekty14. Další výhodou je velmi dobrá použitelnost pro málo strukturovaná data, algoritmus je proto vhodný i v případě, že o datech nic předem nevíme. Nevýhodou algoritmů je dlouhý čas zpracování pro obzvlášť velké soubory dat. Přesto existuje relativně jednoduché řešení. Pokud je počet objektů n pro zpracování příliš veliký, budou se všechny iterace, kromě poslední, provádět na rozumně veliké (tj. vyhovující z hlediska časové náročnosti zpracování), náhodně vybrané podmnožině objektů. Poslední iteraci je nutno provést na celém původním datovém souboru.
1.3 Možnosti srovnání výsledků shlukování Pokud máme informace o předpokládaném zařazení jednotlivých objektů do shluků, můžeme vzájemně porovnat dvě shlukovací metody celkem jednoduše. K tomuto účelu existuje mnoho přístupů. Jednou z nich je například srovnání pomocí míry nesouhlasu MD (measure of disagreement), která je definována předpisem
MD
k 1 n nll , n l 1
(1.35)
kde n je celkový počet objektů, nll je počet společných objektů mezi l-tým shlukem náležícím do předpokládaného rozdělení do shluků a l-tým shlukem náležícím do výsledného shlukování použité metody, přičemž k sobě přiřazujeme shluky (tj. shluky mají stejný index v předpokládaném i vypočítaném shlukování), které mají co nejvíce stejných objektů. Platí, že MD 0, 1 . Čím více se hodnota MD blíží k 0, tím je shlukování kvalitnější. Pokud MD = 0, pak došlo k naprosté shodě. Naopak, čím více se hodnota
MD blíží k 1, tím je metoda méně úspěšná. Pokud se počet shluků v předpokládaném shlukování liší od počtu shluků ve výsledném shlukování, je nutno použít jiný způsob zjištění kvality. Můžeme využít například hodnocení pomocí entropie. Entropii El l-tého shluku vypočítáme podle vztahu 14
Viz poznámka 9 na straně 33.
43
k
nll nll ln , l 1, , ..., k , (1.36) nl l 1 nl kde k je počet shluků, v předpokládaném shlukování, k je počet shluků ve vypočítaném E l
shlukování, nl je počet objektů v l-tém shluku vypočítaného shlukování, nll je počet objektů z l-tého shluku shlukování, které jsou umístěny do l-tého shluku předpokládaného shlukování.Výsledné hodnocení shlukování je dáno entropií E
nl El , (1.37) l 1 n kde k je počet shluků ve vypočítaném shlukování, nl je počet objektů v l-tém shluku k
E
vypočítaného shlukování, n je celkový počet shlukovaných objektů a El entropie l-tého shluku. Častější je však případ, kdy nemáme žádné předpokládané rozdělení do shluků. V tomto případě je využitelné testování kvality pomocí křížové ověřování (cross validation), srovnávající výsledky shlukování na různých náhodně vygenerovaných částech původního souboru. Pokud jsou výsledky na obou vzorcích podobné, kvalita shlukovací metody je dobrá. Naopak, pokud jsou výsledky rozdílné, nalezené shlukování dobré není. Jako míru podobnosti dvou rozkladů můžeme použít například
Hubertovu definovanou předpisem
1 n n U ii Vii , n 2 i 1 i1
(1.38)
kde Uii (resp. Vii) = 1, pokud i-tý a i-tý objekt náleží ke stejnému shluku v prvním (resp. druhém) shlukování a Uii (resp. Vii) = 0 jinak. Výše uvedené způsoby hodnocení kvality shluků a ještě mnoho dalších jsou popsány například v [58], některé v [65]. V knize [6] je uvedeno několik způsobů hodnocení kvality klasifikace pomocí rozhodovacích stromů, které jsou dobře použitelné i v případě klasifikace pomocí shlukování. V případě shlukování kvantitativních dat je jedním z nejčastěji používaných kritérií na posouzení, která z metod lépe vyřešila shlukovací problém nad danými daty, měření vnitroskupinové a meziskupinové variability. Z definice shlukovacího problému vyplývá, že cílem shlukování je nalézt rozdělení do skupin s co nejmenší vnitroskupinovou a co největší meziskupinovou variabilitou. Je známo, že celková
44
variabilita je součtem vnitroskupinové a meziskupinové variability. Pro danou množinu objektů je celková variabilita pevně dána.
A tedy čím je větší meziskupinová
variabilita, tím je menší vnitroskupinová variabilita. Proto je možno se soustředit pouze na minimalizaci vnitroskupinové variability. Pokud k měření (ne)podobnosti objektů použijeme euklidovskou (resp. čtvercovou euklidovskou) vzdálenost, je možno minimalizovanou funkci psát ve tvaru k
nl
Q x li x l , 2
(1.39)
l 1 i 1
kde k je počet shluků, nl počet objektů v l-tém shluku, x l vektor průměrů všech proměnných náležícím objektům v l-tém shluku, x li i-tý objekt v l-tém shluku.
45
2 Metoda k-průměrů Metoda k-průměrů je speciálním zástupcem skupiny algoritmů k-centroidů, jenž jsou významnou podskupinou metod rozkladu. Jedná se o velmi oblíbený a hojně používaný iterativní shlukovací postup, který je vhodný pro analýzu v případě kvantitativních dat. Základní myšlenkou algoritmu je hledání rozkladu objektů do předem daného počtu shluků, pro který je součet vzdáleností jednotlivých objektů od centra jejich shluku Q minimální. Q x c(x) 2 , 2
(2.1)
xX
kde X je množina všech sledovaných objektů, x je libovolný objekt, c(x) je centroid15 nejbližší objektu x. To znamená, že neexistuje centroid z množiny všech centroidů, který by měl od objektu x menší vzdálenost než centroid c(x). V literatuře je uvedeno pod různými názvy mnoho variant základního postupu k-průměrů, ve kterých je centroid tvořen průměrnými hodnotami proměnných. Mimo jiné jsou to Forgyova ([18]), Janceyova ([19]), Llyodova ([19] či ([31])), MacQueenova ([36]), Wishartova ([19]) metoda, ale i mnoho dalších. V první části kapitoly popíšu základní problematiku týkající se souvislosti typu použité vzdálenosti a charakteru16 centroidu, v dalších částech se budu podrobněji věnovat základní verzi metody k-průměrů, jejímu matematickému popisu, výhodám a nevýhodám použití a základním postupům vedoucím ke zmírnění některých nevýhod.
2.1 Metoda k-centroidů Hlavní
princip
metody
k-centroidů
spočívá
v iterativním
vylepšování
počátečního rozdělení n objektů do předem daného počtu k shluků. Algoritmus využívá při svém průběhu výpočtu centroidů (středů) shluků. Cílem úlohy k-centroidů je hledání minima účelové funkce Q (tj. funkce k proměnných, kterými jsou body z Rd tvořící centroidy), která je definována jako součet vzdáleností objektů od „jejich“ centroidů, viz (2.1). 15 16
Centroid je střed shluku, blíže viz část 2.1 Charakterem centroidu se rozumí konkrétní statistická charakteristika (např. medián či průměr).
46
Centroid c množiny objektů X Rd můžeme definovat jako c arg min D(x, y ); y R d , xX
(2.2)
kde D(x,y) je vzdálenost dvou objektů x, y Rd, například definovaná libovolným předpisem z (1.4) až (1.8). Nechť máme množinu všech objektů X rozdělenou do shluků C1, ..., Ck. Aplikací vztahu (2.2) na libovolný shluk Cl z množiny všech shluků {C1, ..., Ck} můžeme vypočítat centroid tohoto shluku c(Cl). Naopak platí, že pro libovolnou množinu k centroidů existuje rozdělení objektů do shluků. Nechť
c1 , ..., c k
je
množina centroidů, pak rozdělení C C1 , ... , C k množiny X do shluků definujeme dle předpisu
C l x; x X l 1, ..., k : D(c l , x) D(c l , x) .
(2.3)
Obecně c(Cl) ani cl není určen jednoznačně a proto se nemusí rovnat. Výběr použité vzdálenosti určuje charakter centroidu, a tím i typ a výsledek použité shlukovací metody. V dalších částech vysvětlím odvození charakteru centroidu pro nejpoužívanější vzdálenosti.
2.1.1 Euklidovská vzdálenost Pokud použijeme jednu z euklidovských vzdáleností, viz (1.4) a (1.5), můžeme vztah (2.2) vyjádřit ve tvaru c arg min xX
x d
j 1
j
2 y j ; y Rd ,
(2.4)
respektive d 2 c arg min x j y j ; y R d . xX j 1
(2.5)
Je zřejmé, že oba vztahy jsou ekvivalentní a tedy výsledky obou vztahů (2.4) i (2.5) jsou shodné. Pro jednoduchost můžeme pracovat pouze s (2.5).
47
Mějme n číselných hodnot a1, a2, ..., am a definujme reálnou funkci f jedné proměnné x předpisem m
f ( x) x ai . 2
(2.6)
i 1
Funkce f(x) je spojitá, shora neomezená funkce. Pokud chceme najít minimum této funkce, stačí, když položíme derivaci funkce rovnu 0, tj. m m 2 m m 2 2 (2.7) 0 f ´(x) x a i mx 2 ai x ai 2mx 2 ai . 1 i 1 i i 1 i 1 1 m Vyřešením rovnice (2.7) zjistíme, že funkce nabývá minima pro x ai . m i 1 Pokud zjištěný vztah aplikujeme na každý prvek vektoru ve výrazu (2.5),
vidíme, že centroidem při použití čtvercové euklidovské (respektive euklidovské) vzdálenosti je vektor průměrných hodnot jednotlivých proměnných spočtených na základě všech objektů přiřazených k danému shluku.
2.1.2 Manhattanská vzdálenost Pokud použijeme manhattanskou vzdálenost, viz (1.10), dostáváme se ke vztahu d c arg min x i y i ; y R d arg min x y 1 ; y R d . xX xX i 1
(2.8)
Mějme m číselných hodnot a1, a2, ..., am takových, že platí a1 a 2 ... a m , definujme reálnou funkci g jedné proměnné x předpisem m
g ( x) x ai .
(2.9)
i 1
Funkce g(x) je spojitá, po částech lineární funkce. Pro m liché nabývá funkce minima v jednom ze zlomových bodů. Pro m sudé existuje i takové, že funkce nabývá minima na celém intervalu ai , ai 1 . Zlomové body jsou dány nulovými hodnotami jednotlivých absolutních hodnot, to znamená pro x a1 , resp. x a 2 , ..., resp. x a m . Tyto hodnoty rozdělují množinu reálných čísel na m + 1 intervalů, a to
I 1 , a1 , I 2 a1 , a 2 , ..., I m 1 a m , . Na I1 jsou výrazy ve všech absolutních hodnotách záporné. Z definice absolutní hodnoty vyplývá, že funkce g(x) má na
48
intervalu I1 tvar m
g1 ( x) x a1 x a 2 ... x a m mx ai .
(2.10)
i 1
Obdobnou úvahou se dostaneme k závěru, že na intervalu
m
I2 má funkce g(x) tvar g 2 ( x) m 2x ai a1 , i 2 m
2
i 3
i 1
I3 má funkce g(x) tvar g 3 ( x) m 4x ai ai
atd ,
Im+1 má funkce g(x) tvar g m 1 ( x) mx ai .
m
i 1
Obecně tedy na intervalu Il má g(x) tvar m
l 1
i l
i 1
g l ( x) m 2l 1x ai ai , což je lineární funkce se směrnicí m 2l 1 .
Funkce gl(x) je klesající, pokud má zápornou směrnici, tedy platí m 1. 2 Naopak funkce gl(x) je rostoucí, pokud má kladnou směrnici, a tedy platí m 2l 1 0 , tedy l
m 1. 2 Z těchto závěrů vyplývá, že funkce g(x) nabývá svého minima pro x rovno mediánu m 2l 1 0 , tedy l
hodnot a1, a2, ..., am. Pokud zjištěný vztah aplikujeme na každý prvek vektoru ve výrazu (2.8), vidíme, že centroidem při použití manhattanské vzdálenosti je vektor mediánů pro jednotlivé proměnné spočtených na základě všech objektů přiřazených k danému shluku.
2.1.3 Čebyševova vzdálenost Pokud použijeme Čebyševovu vzdálenost, viz (1.12), dostáváme se ke vztahu c arg min max x j y j ; y R d arg min x y ; y R d . xX 1 j d xX
49
(2.11)
Zřejmě platí x
x 1 d x . Z toho vyplývá, že l1- norma a l- norma jsou
ekvivalentní17, a proto obdobně jako v případě manhattanské vzdálenosti platí, že při použití Čebyševovy vzdálenosti je centroidem opět vektor mediánů pro jednotlivé proměnné spočtených na základě všech objektů přiřazených k danému shluku.
2.2 Matematický popis zadání metody k-průměrů Nechť x i xi1 , ..., xid , kde xij R, j 1, ..., d je d-dimenzionální objekt, n je
počet všech shlukovaných objektů, X i ; i 1, ..., n je množina všech objektů. Nechť k je počet požadovaných shluků, C C l ; l 1, ..., k je množina všech shluků, přičemž
platí C l X, l 1, ..., k , k
C
l
X,
(2.12) (2.13)
l 1
C l C l , l , l 1, ..., k : l l .
(2.14)
Definujme váhy wil (indikátory přináležení do shluků) pomocí předpisu wil 1, pokud x i C l , wil 0, pokud x i C l .
(2.15)
Dále pro každý shluk Cl definujme centroid shluku c l cl1 , ..., cld dle vztahu n
clj
w
il
i 1
n
xij
wil
, l 1, ..., k .
(2.16)
i 1
Pak cíl úlohy k-průměrů můžeme převést na hledání minima účelové funkce Q (funkce k proměnných = k centroidů), která je definována jako součet čtverců euklidovských
vzdáleností objektů od jejich centroidů,
17
Vektorové normy x , x jsou ekvivalentní, pokud existují kladné konstanty a takové, že
x x v x
platí pro všechna x.
50
Q x c(x) xX
2 2
wil xij clj , k
n
l 1 i 1
d
2
(2.17)
j 1
kde c(x) označuje centroid, ke kterému je objekt x nejblíže. Přímo z definice je zřejmé, že minimalizace hodnot funkce Q ukazuje na minimalizaci variabilit uvnitř shluků. Dále platí, že celková variabilita souboru zůstává při různém shlukování stále stejná. Z toho vyplývá, že variabilita mezi shluky je tím větší, čím je menší hodnota optimalizované funkce Q. Vzhledem k vlastnostem (2.12) až (2.14) můžeme vztah (2.17) napsat pro libovolné rozdělení do shluků C C l ; l 1, ..., k , při označení Q(C l ) Q(C ) x c(x) xX
2 2
xc
xCl k
2 l 2
x cl l 1 xCl
, ve tvaru 2 2
k
Q(C l ) . l 1
(2.18)
Mějme libovolné rozdělení množiny X do předem daného počtu k shluků C C l ; l 1, ..., k . Dle vztahu (2.2) při použití čtvercové euklidovské vzdálenosti vy-
počítáme pro všechny shluky Cl, l 1, ..., k centroidy cl. Poté, s využitím vzorce (2.3), vytvoříme nové rozdělení do shluků C´ C´l ; l 1, ..., k . Lze dokázat, že platí Q(C´) Q(C ) . Podrobný důkaz nalezneme například v [32]. Vzhledem k výše
uvedeným informacím můžeme formulovat postup základní verze metody k-průměrů, který je popsán v následující části.
2.3 Algoritmus k-průměrů Základní algoritmus k-průměrů je tvořen následujícími kroky (viz například [15] či [25]) 0. Vstup: datová matice X, požadovaný počet shluků k. 1. Prvotní náhodné rozdělení objektů do k shluků. 2. Výpočet centroidů všech shluků, tj. pro všechna l = 1, ..., k vypočítat cl dle vztahu (2.16). 3. Přiřazení všech objektů k centroidům, tj. pro množinu centroidů c1 , ..., c k , vzniklých v kroku 2 vytvořit rozdělení C C1 , ... , Ck množiny X do shluků dle předpisu (2.3).
51
4. Pokud došlo ke změně, tj. pokud se změnila množina shluků oproti předchozí iteraci, nebo-li pokud existuje objekt xX, který byl přiřazen do jiného shluku než v předchozí iteraci, návrat na krok 2. 5. Výstup: k centroidů, resp. přiřazení objektů matice X do k shluků.
Uvedená verze algoritmu je z roku 1957 a je známa pod názvem Llyodův algoritmus, viz např. [19]. Forgyho algoritmus [18] z roku 1965 se liší v prvním kroku, kdy prvotní rozdělení do shluků provádí pomocí náhodného výběru k objektů, které jsou zvoleny za prvotní centra a následně jsou k nim přiřazeny ostatní objekty. Janceyova verze algoritmu z roku 1966 nepočítá nové centroidy přímo z datové matice, ale vypočítává je za využití centroidů z předchozí iterace, viz [19]. MacQuenova metoda [36] se liší od ostatních tím, že přepočet centroidů provádí po přesunu jednotlivých objektů z jednoho shluku do druhého a nikoliv až po provedení všech změn. Hlavními výhodami metody k-průměrů jsou především
jednoduchý princip,
přijatelná rychlost (a tím použitelnost pro velké soubory dat),
relativně dobré výsledky (vzhledem k minimalizaci vnitroskupinové variability).
Mezi nevýhody metody k-průměrů patří
nutnost zadání požadovaného počtu shluků,
hledání pouze lokálního optima,
hledání pouze konvexních shluků,
velká časová náročnost pro obzvlášť velké soubory,
silný vliv inicializačního rozdělení na výsledek shlukování,
negativní vliv odlehlých objektů,
vliv pořadí objektů na výsledek shlukování,
možnost nedodržení určeného počtu shluků (tj. možnost vzniku prázdných shluků).
52
Problém nalezení pouze lokálního optima je dán principem algoritmu, a proto jej nelze odstranit. Obdobně i schopnost nalezení pouze konvexních shluků. Problém nutnosti zadání požadovaného počtu shluků je možno řešit vhodným předzpracováním dat pro určení optimálního počtu shluků. Touto problematikou se zabývají například články [57] a [59]. V případě, že v průběhu shlukovacího postupu vznikne prázdný shluk, čemuž nemůžeme zabránit, sníží se požadovaný počet shluků k. Nejčastějším řešením tohoto problému je rozdělení největšího shluku do dvou. Jedna z možností rozdělení jednoho shluku na dva je uvedena v kapitole 1.2.5. Problematikou výhod a nevýhod metod k-průměrů jsem se zabývala v článku [78]. Alternativy metody k-průměrů se především zaměřují na odstranění nebo alespoň zmírnění některé ze
zbývajících z výše uvedených nevýhod.
2.4 Snižování výpočetní náročnosti algoritmu Problém výpočetní náročnosti je řešen různými autory velmi různě. Od algoritmicky malých, téměř kosmetických úprav, až po principiální změny. Vygenerovala jsem data obsahující 10 000 dvourozměrných objektů rozdělených do dvaceti shluků. Obě souřadnice objektů náležejících jednotlivým shlukům byly náhodně generovány jako hodnoty patřící normálnímu rozdělení vygenerovaných parametrů. Střední hodnoty byly náhodně generovány z rovnoměrného rozdělení s hodnotami od 0,0 do 1,0. Rozptyly byly náhodně generovány z rovnoměrného rozdělení s hodnotami mezi 0,1 a 0,5. Data jsem zpracovala pomocí klasického algoritmu k-průměrů. V průběhu jsem v jednotlivých iteracích zaznamenávala hodnoty účelové funkce Q, definované vztahem (2.17). Na obrázku 2.1 je patrný velmi rychlý počáteční pokles hodnot účelové funkce Q a zanedbatelný pokles ve vyšších iteracích. Od sedmdesáté sedmé iterace se hodnota funkce Q nemění. Velmi podobných výsledků jsem dosáhla i při sledování poklesu hodnot účelové funkce Q při shlukování objektů jiných souborů, které jsem vygenerovala výše popsaným způsobem.
53
hodnota funkce Q
600 550 500 450 400 350 300 250 200 150 100 50 0 0
20
40
60
80
počet iterací
čas v sekundách
Počet iterací
100
počet iterací
350 300 250 200
80 60 40 20 0 1
0,1
0,01
0,001
0,0001
0,00001
0,000001
150 100 50 0 0,0000001
Čas v sekundách
Obr. 2.1 Vývoj hodnot účelové funkce Q
Minimální hodnota vylepšení funkce Q
Obr. 2.2 Závislost času, respektive počtu iterací na nastavené minimální hodnotě
vylepšení účelové funkce Q Algoritmus umožňuje nalezení pouze lokálního minima, proto již není velkým ústupkem od přesnosti výsledku, pokud ukončíme běh algoritmu po dostatečném počtu iteračních kroků, ještě v okamžiku, kdy se hodnota funkce Q stále nepatrně snižuje. V některých variantách (například implementace metody k-průměrů ve statistickém programovém systému STATISTICA či SPSS) se výpočet ukončuje po předem daném počtu iterací. Nejčastěji uváděnou variantou (např. [2], [15], [32] či [51]) je ukončení algoritmu udáním mezní hodnoty zlepšení hodnoty (absolutní či relativní) účelové
54
funkce Q, při které se již nemá pokračovat ve výpočtu. Tato řešení mohou znamenat úsporu času při zpracování velmi rozsáhlých souborů dat, ovšem na úkor přesnosti výsledku. Na obrázku 2.2 je znázorněn vývoj času zpracování, respektive počtu iterací, v závislosti na mezní absolutní hodnotě změny hodnot funkce Q, při které je algoritmus ukončen. Mezní hodnoty funkce Q jsou v grafu vyneseny v logaritmickém inverzním měřítku. V tabulce 2.1 je uveden přepočet absolutních hodnot změn hodnot funkce Q. Pro absolutní hodnoty menší než 0,0001 jsou relativní hodnoty řádově menší než 10-6. Tab. 2.1 Převod absolutních hodnot změn hodnot funkce Q
absolutní hodnota změny relativní hodnota změny
1 0,1 0,01 0,001 0,0001 0,022124 0,003462 0,000348 0,000039 0,000004
Principielně odlišnou obměnou je například algoritmus využívající mrkd-stromů. Algoritmus k-průměrů pracující na tomto principu autoři článku [31] nazvali filtrovací algoritmus. Jeho dvě varianty jsou popsány v kapitole 3.2. Vstupní data uspořádaná do stromové struktury přinášejí velké zefektivnění původní verze metody. Toto zefektivnění je způsobeno faktem, že při výpočtech nemusíme pracovat samostatně s jednotlivými objekty ale pracujeme hromadně se skupinami objektů sdružených ve vrcholech stromu. Použití stromů se z časového hlediska obzvlášť vyplatí, pokud potřebujeme algoritmus spouštět opakovaně, například při zkoumání výsledků pro různá počáteční rozdělení do shluků. Objevují se i alternativy metod, které řeší časovou proveditelnost běhu algoritmu k-průměrů i pro obzvlášť velké soubory, které nelze načíst najednou do operační paměti.
V těchto případech je nutno při každé operaci s libovolným objektem přistupovat na disk. I/O operace18 patří k časově velmi náročným. Proto se všechny metody umožňující zpracování i takto velkých souborů snaží minimalizovat počet průchodů souborem. K nejznámějším z těchto metod patří metoda BIRCH popsaná v kapitole 1.2.4, která se 18
I/O operace (angl. Input – Output) operace pro čtení a zápis z disku, respektive jiného zařízení do
operační paměti.
55
stala základem dvoufázové metody shlukování ve statistickém systému SPSS od verze 11.5. Tento algoritmus však nepatří mezi algoritmy k-průměrů. Do této skupiny ale náleží jedna z variant metody BIRCH, která je popsaná v kapitole 3.1, a to algoritmus BIRCH k-průměrů. Oba tyto algoritmy, jak původní klasickou metodu BIRCH, tak modifikovanou metodu BIRCH k-průměrů, je možno spustit ve tvaru, kdy postačuje jeden průchod datovým souborem. Je to však na úkor kvality shlukování. V případě klasického algoritmu BIRCH není povinná poslední fáze, ve které se při druhém průchodu souborem přerozdělují všechny objekty k jim nejbližším centrům, čímž se získává nové složení shluků oproti předchozí povinné fázi, v níž přiřazení jednotlivých objektů k centrům vychází z příslušnosti k jednomu z podshlukům vzniklým v první fázi algoritmu. Bez využití poslední nepovinné fáze však hrozí riziko, že dva totožné objekty vstupující do první fáze v různých okamžicích tvorby CF-stromu, budou zařazeny do odlišných výsledných shluků. V případě alternativy motivované algoritmem k-průměrů se vynechá třetí krok, přerozdělování všech objektů k centrům vzniklým pomocí shlukování centroidů vzniklých v prvním kroku algoritmu. Objekty se v tomto zrychlujícím případě automaticky přiřadí do shluku, kam náleží „jejich“ centroid. Z hlediska kvality shlukování se mi však osvědčilo naopak po třetím kroku algoritmu přidat ještě čtvrtý, ve kterém se provede vylepšení výsledku pomocí klasické metody k-průměrů. V tomto případě však již nemůžeme mluvit o výhodnosti použití pro velmi velké soubory, viz kapitoly 3.1 a 4.2.1. Další možnosti popisuje ve svých článcích [42], [43], [44], [45] či [46] C. Ordonez. K zefektivnění běhu algoritmu k-průměrů využívá síly databázových systémů, specielně SQL prostředí ORACLE. DBMS19 ORACLE je určen pro velké databáze. Pokud zpracovávaná data naplníme do SQL tabulky a poté při programování využíváme všech optimalizačních prostředků databázového systému, dostaneme velmi dobré výsledky. Podobný přístup popisují ve svých článcích [62] a [63] autoři L. Suresh a J. B. Simha.
19
DBMS (DataBase Management System) - databázový systém. Obvykle je to sada programů, které tvoří mezivrstvu mezi aplikacemi a uloženými daty
56
2.5 Odstranění vlivu inicializačního rozdělení Velká citlivost metody k-průměrů na inicializační „náhodné“ rozdělení do shluků je velmi negativní vlastností. V původním Lloydově algoritmu, viz část 2.3, se v inicializačním kroku vytváří náhodné rozdělení do shluků. V případě, že toto náhodné rozdělení vytvoří nerovnoměrně (vzájemně či vzhledem ke skutečné velikosti) veliké shluky, dochází k nepřijatelně špatným výsledkům. Problematikou jsem se zabývala v článku [79]. Vliv inicializačního rozdělení do shluků na výsledné shlukování jsem mimo jiné prověřovala na zpracování dobře známého souboru IRIS, který obsahuje 150 objektů rozdělených do tří skupin po 50 objektech, každý objekt je popsán pomocí čtyř kvantitativních proměnných (podrobnější popis souboru je uveden v části 4.1.2). K porovnání kvality výsledných shlukování vzniklých různými algoritmy na stejných datech je vhodné použít dosaženou minimální hodnotu účelové funkce Q. Platí, že čím je nižší tato hodnota, tím je nižší vnitroskupinová variabilita shluků, a tím i vyšší meziskupinová variabilita mezi shluky, a tedy lepší shlukování. Ve většině případů náhodného rozdělení do shluků se hodnota účelové funkce Q pohybovala v rozmezí od 78,2548 do 108,2683. V případě volby velmi nevyváženého prvotního rozdělení do shluků, kdy první dva shluky obsahovaly pouze po jednom objektu a třetí shluk obsahoval všechny ostatní objekty, se konečná hodnota minimalizované funkce Q „vyšplhala“ až na 240,3687. To znamená, že výsledná hodnota v tomto případě velmi převýšila hodnoty dosažené při jiných inicializačních rozděleních do shluků, tedy kvalita výsledného shlukování je mnohem horší. Nejvíce využívaný způsob, kdy za prvotní centra vybíráme prvních k objektů a k nim následně vytvoříme patřičné shluky, však vede v mnoha případech také k dosti špatným výsledkům. Jedno z možných rozložení inicializačních center souboru IRIS, vytvořených tímto způsobem, je vidět na obrázku 2.3a). Zobrazení pomocí grafů „scatterplot“ je součástí přílohy 10. Při různém náhodném generování inicializačních center se cílová hodnota účelové funkce Q pohybovala ve spodní části výše uvedeného rozmezí. Nejlepší dosažená hodnota funkce Q však je 77,0924. Této hodnoty dosáhly algoritmus k-průměrů++ (viz kapitola 3.3) a BIRCH algoritmus k-průměrů (viz kapitola 3.1).
57
2
1,5
1
1
0,5
0,5
faktor 2
faktor 2
2
1,5
0 -5
-4
-3
-2
-1
0
1
2
3
4
-0,5
0 -5
-4
-3
-2
-1
0
1
2
3
4
-0,5
-1
-1
-1,5
-1,5
faktor 1
faktor 1
a)
b) 2
1,5
faktor 2
1
-5
0,5
0 -4
-3
-2
-1
0
1
2
3
4
-0,5
-1
-1,5
faktor 1
c) Obr. 2.3 Inicializační rozmístění center (soubor IRIS) při metodách
a) základní k-průměrů, b) BIRCH k-průměrů, c) k-průměrů++ Jednoduchým řešením, jak zmírnit vliv volby inicializačních center, je spustit celý algoritmus několikrát pro různá počáteční rozdělení do shluků a z výsledných shlukování vybrat to s nejmenší hodnotou funkce Q. Tento postup však není dobře proveditelný u obzvlášť velkých souborů, kdy je doba zpracování velmi dlouhá. Proto jsem se zabývala dvěma způsoby kladoucími si za cíl rozptýlit inicializační centra co nejvíce mezi celým souborem, což vede k nejlepším konečným výsledkům shlukování. Podrobnější popis a ukázky jsou součástí dalších kapitol. Jednak jsem hlouběji prozkoumala metodu k-průměrů++, popsanou v kapitole 3.3, a jednak BIRCH algoritmus k-průměrů, viz kapitola 3.1. Výsledkem obou algoritmů bylo rovnoměrné rozmístění prvotních center mezi všemi objekty. Každý z algoritmů vedl k jinému inicializačnímu výběru center. Přesto na zkušebních datech byly konečné výsledky shlukování srovnatelné. Inicializační centra souboru IRIS, vytvořená těmito způsoby, jsou vidět na obrázku 2.3 b), respektive 2.3 c). Hlavním rozdílem byl čas zpracování velkého datového souboru. V mé konkrétní implementaci bylo zpracování pomocí algoritmu k-průměrů++ podstatně rychlejší než zpracování metodou BIRCH k-průměrů. Navíc nevýhodou druhé z uvedených metod je nutnost vhodné volby dvou vstupních parametrů, což může být
58
velmi náročné. V případě nevhodné volby může dojít k relativně špatným výsledkům celkového shlukování (viz část 3.1 či 4.2.4).
2.6 Snížení vlivu odlehlých objektů Velká citlivost shlukování na odlehlá pozorování je další skutečnost, která může záporně ovlivnit kvalitu výsledného rozdělení do shluků. Ve většině případů, zvlášť pokud data zpracováváme pomocí standardních statistických programových systémů, jsme odkázáni na vhodné předzpracování dat a případné vyloučení odlehlých objektů z dalšího zpracování. Touto problematikou se zabývá například článek [12] či [77]. Jinou možností je, jak navrhuje autor například v [21], spuštění několika málo iterací shlukovacího algoritmu, po kterých se může vytvořit shluk, respektive shluky, obsahující jen zanedbatelné množství objektů. Objekty v těchto shlucích můžeme považovat za odlehlé. Uvedený způsob není dle mého názoru ideální z důvodu nejasnosti potřebného počtu iterací, po kterých se oddělí malé shluky. Tento počet je různý pro různá počáteční rozdělení do shluků. Pro obzvlášť velké datové soubory není výše uvedený způsob využitelný vůbec z důvodu velké časové náročnosti zpracování jednotlivých iterací. V odborné literatuře se objevují shlukovací metody přímo zaměřené na data obsahující odlehlé objekty. Jedním z takovýchto postupů je například dvoufázový algoritmus k-průměrů, který je blíže popsán v podkapitole 3.4. Tento algoritmus umí odhalit malé skupinky objektů, které jsou od zbylých objektů velmi vzdálené. Na jiném principu je postavena moje varianta metody k-průměrů pracující s mrkd-stromy popsaná v části 3.2.3. Ta, obdobně jako předchozí algoritmus, nachází skupiny s malým počtem objektů (tj. menším než daná konstanta). Výhodou tohoto způsobu je fakt, že identifikace odlehlých objektů probíhá v rámci fáze předzpracování, kterou je nutno provádět i v případě, že nás odlehlé objekty nezajímají. Je to fáze organizující data do stromové struktury, která činí následující fázi shlukování velmi efektivní.
59
2.7 Vliv pořadí objektů Jedním z dalších možných problémů shlukovacích algoritmů je vliv pořadí objektů v datovém souboru na výsledné shlukování. Ve skupině algoritmů k-průměrů je citlivost k tomuto problému velmi rozdílná. Většina variant popsaných v rámci této práce není na pořadí závislá vůbec, ovšem existují i varianty silně závislé. Pokud se podíváme na jednotlivé kroky základního algoritmu k-průměrů, vidíme, že v krocích 2 až 4 pracujeme vždy se všemi objekty dohromady, přesněji řečeno s údaji vypočtenými na základě všech objektů. Žádným způsobem objekty netřídíme a rozřazování probíhá pouze na základě vzdálenosti od jednotlivých centroidů. Tyto kroky tedy nejsou žádným způsobem závislé na pořadí objektů v datovém souboru. Jiná situace je však v kroku 1. Zde velmi záleží na konkrétním způsobu, jak vytvoříme inicializační rozdělení do shluků. V základní Lloydově variantě se provádí náhodné rozdělení do shluků. To zcela jistě není na pořadí závislé. Taktéž varianta, kdy se za množinu inicializačních center shluků uvažuje množina k náhodně vybraných objektů, je viditelně na pořadí nezávislá. Nejčastěji používaná varianta, kdy se do množiny inicializačních center shluků vloží prvních k objektů datového souboru, je však zjevně zcela závislá na pořadí. Při této variantě není možno zmírnění vlivu inicializačního rozdělení objektů do shluků docílit pomocí opakovaného spuštění programu (při stálém pořadí objektů v souboru) a následného výběru nejlepšího výsledku, jak bylo popsáno v předchozí kapitole. Náhodný výběr objektů prováděný pomocí generování náhodného pořadí objektu v souboru je výpočetní operace, na jejíž provedení je potřeba zanedbatelný čas, srovnatelného s časem výběru prvních k objektů. Proto bych doporučila vždy využívat variantu s náhodným výběrem a vyhnout se variantě s výběrem prvních k objektů. Vlivu pořadí objektů v datovém souboru na výsledné shlukování v případě vybraných speciálních alternativ algoritmu k-průměrů se budu věnovat v kapitolách popisujících jednotlivé alternativy.
60
3 Alternativy metody k-průměrů V této kapitole podrobněji popíšu vybrané alternativy shlukovací metody k-průměrů umožňující řešení nebo alespoň zmírnění některých negativních vlastností
dané metody. Každá z podkapitol obsahuje detailní popis jedné z alternativ. Všechny tyto části mají obdobné členění. Nejprve vždy uvedu hlavní princip metody a její detailní postup. Poté v několika případech navrhnu modifikaci uvedeného postupu přinášející další dílčí vylepšení. Motivace a detailní popis navržené modifikace jsou vždy připojeny k popisu základního algoritmu. V každé podkapitole náležející dané alternativě bude následně popsána i její programová implementace. Text bude vždy obsahovat výpis hlavních výkonných procedur programu. Následují hlavní vstupy a výstupy jednotlivých procedur programů, v některých případech bude připojen i popis reprezentace dat v programu. Jednotlivé programové kódy jsou uloženy na přiloženém CD. V další části každé podkapitoly provedu diskuzi o časové náročnosti programu ve vztahu k počtu objektů ve zpracovávaném souboru, případně v závislosti na jiných faktorech, jako jsou počet dimenzí (proměnných), počet shluků, či na vstupních parametrech programu. Dále se budu zabývat rozborem konkrétních vlastností dané alternativy, opět v závislosti na různých hodnotách vstupních parametrů. Všechny popsané metody jsem naprogramovala ve vývojovém prostředí MATLAB verze 6.0 a ověřování proběhlo na počítači AMD Sempron 2400+ s frekvencí 1,6 GHz a 3 GB RAM. Experimenty jsem prováděla jednak na souborech dat speciálních vlastností, které jsem cíleně vytvořila pro ověření daného jevu, jednak na reálných i uměle generovaných souborech určených pro srovnání jednotlivých metod. Všechny tyto soubory jsou detailně popsány v části 4.1.
61
3.1 Algoritmus BIRCH k-průměrů V této části se budu věnovat variantě algoritmu BIRCH, jehož základní verze, kterou autoři poprvé zveřejnili v [69], je popsána v části 1.2.4. Algoritmus této varianty je blíže popsán například v [32]. Motivací vzniku varianty, obdobně jako základní metody BIRCH, bylo vytvořit postup umožňující shlukování objektů i v souborech, které se nevejdou do operační paměti, a proto se musí postupně načítat z disku, což je velice časově náročné. Hlavním cílem autorů bylo minimalizovat potřebný počet průchodů datovým souborem. Srovnáním obou variant BIRCH algoritmu jsem se zabývala v článku [76]. Hlavní myšlenka této metody vychází z principů algoritmu BIRCH. Hlavním cílem první fáze obou algoritmů BIRCH je jednorázovým sekvenčním průchodem datového souboru vytvořit takovou speciální datovou strukturu, která reprezentuje všechna data původního souboru a zároveň se vejde do operační paměti i v případě, že původní datový soubor dat se do operační paměti nevešel. V následujících fázích jsou pak shlukovány určité „metaobjekty“, jež jsou výsledkem první fáze. V obou algoritmech jsou těmito „metaobjekty“ skupiny (shluky) původních objektů, které splňují určité omezující vlastnosti. Přiřazením daného „metaobjektu“ (tj. skupiny objektů) do shluku se zároveň přiřadí i všechny objekty ve skupině obsažené. Na rozdíl o původního algoritmu BIRCH není metoda BIRCH k-průměrů založena na stromové struktuře, tj. oproti základní verzi nevytváří CF-strom, a je ovlivněna shlukovací metodou k-průměrů. Místo CF-charakteristiky je v uvedeném algoritmu ve výpočtu pro každý shluk Cl využívaná trojice údajů (m, q, c), kde m je velikost daného shluku, q je kvalita daného shluku a c je centroid shluku Cl. Kvalitu q shluku Cl vypočítáme dle vztahu q
( x c)
xCl
2
.
(3.1)
Lze jednoduše dokázat, že z trojice (nc, LS, SS), využívané v klasickém BIRCH algoritmu, a trojice (m, q, c) můžeme získat identické informace. Podrobný důkaz lze najít například v [32]. Obdobně jako základní algoritmus BIRCH má i tato varianta dva parametry. Prvním je L, povolený počet objektů v libovolném shluku v první fázi, a druhým je R,
62
hranice variability libovolného shluku („poloměr“ shluku). Pro libovolný shluk Cl vypočítáme jeho „poloměr“ rl dle vztahu rl
(x c )
2
l
xCl
nl
(3.2)
,
kde x je libovolný objekt shluku Cl, cl je jeho centroid, nl značí počet objektů ve shluku. Pro každý shluk Cl vznikající v první fázi algoritmu musí platit následující dvě omezující podmínky rl R,
(3.3)
nl L.
Autoři algoritmu nedávají žádné doporučení pro nastavení hodnot obou parametrů. Postup BIRCH algoritmu k-průměrů probíhá ve třech (respektive čtyřech) fázích (kromě vstupu a výstupu). 0. Vstup: datová matice X, parametry L a R (popis viz výše), počet shluků k. 1. V cyklu se sekvenčně vybere objekt x X a k tomuto objektu se nalezne „nejbližší“ shluk z množiny shluků ve kterém se přidáním objektu x nepřekročí hranice pro počet prvků ve shluku ani hranice variability shluku.
2
Tj. hledá se shluk Cl, pro nějž platí l arg min x c l 2 , l 1, ..., k , kde k je počet doposud vzniklých shluků a, označíme-li C l C l x , r l „poloměr“ shluku Cl a n l počet objektů ve shluku C l , platí rl R nl L. Pokud takovýto shluk neexistuje, vytvoří se pro objekt nový shluk, který obsahuje pouze tento objekt. Po zařazení objektu do shluku se objekt vymaže z množiny všech objektů. Cyklus se provádí, dokud není množina objektů prázdná. Pokud je počet shluků vzniklých v této fázi menší než požadovaný počet shluků k, změna (tj. snížení hodnoty) vstupních parametrů L a R a návrat na krok 120. 20
Autoři článku tento stav nijak neřeší. Uvedená možnost je nejjednodušší řešení situace, není však efektivní (a tím v praxi pro velké soubory dat použitelná) z důvodu nutnosti opětovného spuštění první fáze algoritmu a tím i nového průchodu datovým souborem. Jiným možným řešením by mohlo být rozdělení shluků s největším počtem objektů např. způsobem uvedeným v části 1.2.5.
63
2. V druhé fázi jsou centroidy z první fáze považovány za objekty shlukování. Jsou shlukovány do požadovaných k shluků pomocí metody k-průměrů. Je možno použít i jinou shlukovací metodu, zde popsaná verze vychází z [32]. Výsledkem této fáze je rozdělení centroidů z první fáze do k shluků. Na základě příslušnosti daného centroidu k výslednému shluku můžeme určit i příslušnost ke shluku u všech objektů, které byly v první fázi k tomto centroidu přiřazeny. Toto rozdělení původních objektů do shluků můžeme považovat za výsledné. 3. Třetí fáze již je nepovinná. Všechny původní objekty matice X jsou rozřazeny do shluků tak, že je každý objekt přiřazen k nejbližšímu z centroidů vzniklých ve druhé fázi. 4. Z hlediska kvality shlukování se mi osvědčilo po třetím kroku algoritmu přidat ještě čtvrtý, ve kterém se provede vylepšení výsledku pomocí klasické metody k-průměrů. V tomto případě však již nemůžeme mluvit o výhodnosti použití pro velmi velké soubory. 5. Výstup: Přiřazení objektů matice X do k shluků.
3.1.1 Implementace algoritmu BIRCH k-průměrů Vstupem algoritmu je datová matice o n řádcích a d sloupcích, jejíž každý řádek reprezentuje jeden z n objektů o d rozměrech. Druhým vstupem je povolený počet objektů v libovolném shluku L a třetím je hranice variability libovolného shluku („poloměr“ shluku) R pro první fázi algoritmu. Dalším vstupem je požadovaný počet cílových shluků. Posledním parametrem je prahová minimální hodnota vylepšení účelové funkce Q, definované předpisem (2.17). Důležitými výstupy jsou seznam center výsledných shluků, počet objektů v jednotlivých shlucích a výsledná hodnota účelové funkce Q. V průběhu ověřování byly využity další výstupy, jako například časy zpracování jednotlivých fází programu či centra vzniklá v první fázi programu.
64
3.1.2 Provedené experimenty Chování algoritmu jsem zkoumala na několika datových souborech. Jedním z nich je soubor IRIS s reálnými daty (viz část 4.1.2). Další experimenty jsem prováděla na uměle generovaných datech. Přímo pro zkoumání vlastností algoritmu BIRCH k-průměrů jsem vytvořila malý soubor s 20 objekty. Pro zkoumání závislosti doby
zpracování na počtu objektů jsem využila souboru GENER (viz část 4.1.3), z něhož jsem náhodným výběrem vytvářela různě velké soubory s počty objektů od sta do milionu.
Vliv volby parametrů na výsledné shlukování Pro názorné prozkoumání některých vlastností tohoto algoritmu jsem zvolila aplikaci algoritmu na známá data IRIS z [80]. Soubor je blíže popsán v části 4.1.2. Data souboru jsou uložena na přiloženém CD. Tento soubor byl vybrán především z důvodu, že obsahuje malý počet objektů, díky kterému je možno prozkoumat zařazení jednotlivých objektů do shluků. Dalším důvodem mého výběru je speciální struktura souboru, která je zřejmá z obrázku 4.2. Výše popsaný algoritmus BIRCH k-průměrů v první fázi provádí počáteční rozřazení objektů do shluků. Tato fáze má dva parametry, a to maximální počet objektů ve shluku L a „poloměr“ shluku R. Oba parametry silně ovlivňují výsledek první fáze. Například při hodnotě prvního parametru rovné L = 50 se při extrémně nízké hodnotě druhého parametru (R = 0,1) vytvořilo 118 shluků, přičemž nejpočetnější obsahoval pouze 5 objektů a průměrný počet objektů na shluk byl 1,2712. Naopak při stejné volbě prvního parametru a relativně vysoké hodnotě parametru druhého (R ≥ 1,0) se počet shluků ustálil na 5, přičemž dva nejpočetnější shluky obsahovaly plný počet objektů, tj. 50, a průměrný počet objektů na shluk byl 30. Při jiné konstantní hodnotě prvního parametru (L = 20) se při nízkých hodnotách druhého parametru (R ≤ 0,4) chová první fáze algoritmu stejně, jako pro předchozí hodnotu prvního parametru. Při stejné hodnotě prvního parametru a hodnotě druhého parametru R = 0,9 se vytvořilo 23 shluků, přičemž tři shluky obsahovaly plných 20 objektů a průměrný počet objektů na shluk byl 7,5217. Podrobnější přehled výsledků první fáze v závislosti na hodnotách obou parametrů je uveden v tabulce 3.1.
65
Tab. 3.1 Přehled výsledků první fáze algoritmu BIRCH k-průměrů
v závislosti na volbě obou parametrů L a R (soubor IRIS) Parametr L
Parametr R
Počet shluků
Počet objektů v největším shluku
50
0,1
118
5
1
Průměrný počet objektů na shluk 1,2712
50
0,2
70
11
1
2,1429
50
0,5
13
40
1
11,53850
50
0,9
8
50
2
18,75000
50
≥ 1,0 ≥
5
50
2
30,00000
20
0,1
118
5
1
1,2712
20
0,2
70
11
1
2,1429
20
0,5
25
20
1
7,5000
20
≥ 0,9 ≥
23
20
3
7,5217
Počet nejpočetnějších shluků
Tab. 3.2 Srovnání výsledků shlukování pomocí algoritmu BIRCH k-průměrů
v závislosti na volbě parametrů L, R (soubor IRIS) Parametr L
Parametr R
50
0,1
Počet chybně zařazených objektů ve 2. shluku 2
Počet chybně zařazených objektů ve 3. shluku 15
50
0,2
4
11
77,6817
50
0,9
17
1
78,3159
20
0,1
20
0,9
2 15 1. a 2. shluk si „rozdělily“ objekty odlišného druhu (+3 další objekty), 3. shluk obsahuje zbylých 97 objektů druhých druhů
Výsledná hodnota funkce Q 77,4107
77,4107 145,32340
Při dalším průzkumu jsem používala algoritmus včetně poslední nepovinné fáze. Výsledek celého algoritmu je ovlivněn výsledky první fáze a je velmi citlivý na volbu obou parametrů. Například zvolíme-li jako první parametr hodnotu L = 20, dostáváme pro hodnoty druhého parametru R ≥ 0,4 naprosto nevyhovující výsledky, zcela odlišné
66
od výsledků všech ostatních metod. Při volbě shlukování do tří shluků se vytvořil velký shluk o 97 objektech, obsahující téměř všechny objekty dvou druhů, které jsou si podobny. Naopak zbývající objekty třetího druhu, v obrázku 4.2 výrazně odděleného, se rozdělily do dalších dvou shluků v poměru 36:17. Pro srovnání kvality výsledků jednotlivých nastavení parametrů jsem, kromě vizuální kontroly chybných zařazení objektů, zvolila porovnání dosažených hodnot funkce Q, která udává součet čtverců vnitroskupinové variability. Je zřejmé, že čím nižší hodnota funkce Q (při daném počtu shluků), tím je lepší kvalita shlukování. Výsledky srovnání jsou uvedeny v tabulce 3.2.
shluky po 1. fázi shluky po 2. fázi
x2
1,5
1
0,5 0
1
2
3
4
5
6
7
8
9 10 11 12 13 14 15 16 17 18 19 20 21 x1
Obr. 3.1 Shluky po 1. a 2. fázi algoritmu BIRCH k-průměrů při pořadí objektů v souboru {1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20}, pro parametry „poloměr shluků“ R = 5, povolený počet objektů ve shluku L= 5, požadovaný počet shluků k = 3
Vliv pořadí objektů na výsledné shlukování Dále jsem se věnovala zkoumání vlivu pořadí objektů v datovém souboru na výsledné shlukování. Ověřování jsem prováděla na malém, vygenerovaném souboru dat, který obsahoval 20 objektů popsaných pouze jednou proměnnou. Proměnná nabývala postupně hodnot 1 až 20.
67
shluky po 1. fázi shluky po 2. fázi
x2
1,5
1
0,5 0
1
2
3
4
5
6
7
8
9 10 11 12 13 14 15 16 17 18 19 20 21 x1
Obr. 3.2 Shluky po 1. a 2. fázi algoritmu BIRCH k-průměrů při pořadí objektů
v souboru {20, 19, 18, 17, 16, 15, 14, 13, 12, 11, 10, 9, 8, 7, 6, 5, 4, 3, 2, 1}, pro parametry „poloměr shluků“ R = 5, povolený počet objektů ve shluku L = 5, požadovaný počet shluků k = 3 Program jsem spouštěla pro soubory, v nichž byla data ukládána v různých pořadích. Ve všech experimentech jsem nastavila jednotlivé parametry programu stejně, parametr „poloměr skupiny“ jsem nastavila na hodnotu R = 5, povolený počet objektů ve skupině také na hodnotu L = 5, požadovaný počet výsledných shluků k byl roven 3. Výsledná shlukování, včetně výsledků 1. fáze shlukování, ve třech vybraných případech jsou znázorněna na obrázcích 3.1 až 3.3. Jsou viditelné velmi znatelné rozdíly jak u výsledků první fáze, tak ve výsledném shlukování. V prvních dvou uvedených případech byla výsledná hodnota funkce Q rovna 73,5 a ve třetím případu nabyla funkce Q hodnoty 80.
68
Shluky po 1. fázi: objekty 1, 3, 5, 7, 9
objekty 18, 20
objekty 2, 4
objekt 16
objekty 11, 13, 15, 17, 19
objekty 10, 12, 14
objekt 6
objekt 8 shluky po 2. fázi
1,5
x2
1
0,5 0
1
2
3
4
5
6
7
8
9 10 11 12 13 14 15 16 17 18 19 20 21 x1
Obr. 3.3 Shluky po 1. a 2. fázi algoritmu BIRCH k-průměrů při pořadí objektů v souboru {1, 3, 5, 7, 9, 11, 13, 15, 17, 19, 20, 18, 16, 14, 12, 10, 8, 6, 4, 2}, pro parametry „poloměr shluků“ R = 5, povolený počet objektů ve shluku L = 5, požadovaný počet shluků k = 3
1 400
počet shluků
1 200 1 000 800 600 400 200 0 0
1
2
3
4
5
parametr R
Obr. 3.4 Vývoj počtu shluků vzniklých v první fázi algoritmu BIRCH k-průměrů v závislosti na parametru „poloměr shluků“ R, pro počet objektů n = 100 000, počet dimenzí d = 2, požadovaný počet výsledných shluků k = 3
69
Vliv vstupních parametrů K tomuto účelu jsem vytvořila ze souboru GENER, popsaného v kapitole 4.1.3., datový soubor skládající se ze tří shluků, přičemž první shluk obsahoval 33 334 objektů náhodně vybraných z prvního shluku souboru GENER. Další dva shluky nově vytvořeného souboru obsahovaly vždy 33 333 objektů vybraných z druhého, respektive třetího, shluku původního souboru GENER. 2 000
čas 1.fáze
čas 2. a 3. fáze
celkový čas
1 800 1 600
čas v sekundách
1 400 1 200 1 000 800 600 400 200 0 0
1
2
3
4
5
parametr R
Obr. 3.5 Průměrný čas průběhu algoritmu BIRCH k-průměrů v závislosti na parametru „poloměr shluků“ R, pro povolený počet objektů ve shluku L = 15 000, počet objektů n = 100 000, počet dimenzí d = 2, požadovaný počet shluků k = 3
Nejprve jsem sledovala počet vzniklých shluků v první fázi algoritmu pro různé hodnoty vstupních parametrů. Dle očekávání počet shluků vzniklých v první fázi klesal se vzrůstajícím povoleným počtem objektů ve skupině. Počáteční pokles byl velmi rychlý. V případě souboru obsahujícího 100 000 objektů klesl počet skupin z 19 941 pro hodnotu parametru L = 10 na 517 pro hodnotu L = 1 000. Poté došlo ke zmírnění poklesu a pro hodnoty parametru L nad 30 000 se počet skupin ustálil na 7. V případě sledování počtu vzniklých shluků na druhém parametru byla situace podobná. Jen došlo k zajímavé situaci, kdy po počátečním rychlém poklesu došlo pro určité hodnoty
70
parametru R k mírnému nárůstu. Poté pokles opět pokračoval, až do ustálení, které nastalo pro hodnoty parametru R nad 2. Vše je vidět na obrázku 3.4. K podobnému jevu došlo i při sledování souborů s jiným počtem objektů. Míra nárůstu byla různá, od téměř zanedbatelného až po velmi znatelný nárůst. Tab. 3.3 Průměrné časy a směrodatné odchylky po 1. fázi a na konci zpracování
programu v závislosti na parametru L parametr L 10 500 1 000 2 000 3 000 5 000 10 000 15 000 20 000 30 000 40 000 50 000 60 000 70 000 80 000 90 000 99 000
čas po 1. fázi výsledný čas aritm. průměr směr. odchylka aritm. průměr směr. odchylka 19093,0046 861,7350 478,4680 265,1250 211,3750 140,7820 74,8430 62,4060 74,1400 82,2190 83,8290 81,5930 78,0940 79,1250 83,3120 83,9840 81,9850
2,7579 1,2300 1,0574 0,6318 0,4810 0,4265 0,3037 0,6644 0,3751 0,7512 0,3196 0,2937 0,1755 0,1573 0,0918 0,3326 0,2071
19291,9200 939,4380 556,7340 337,0000 303,4380 262,9380 207,2810 178,3600 182,8900 206,6870 207,8290 212,8120 196,3130 196,9690 210,3280 212,1090 208,1250
1,9982 1,0777 1,1108 0,6210 0,4716 0,4741 0,1981 0,6697 0,1210 0,6134 0,3196 0,1368 0,2697 0,2112 0,1001 0,5033 0,5093
Na obrázcích 3.5 a 3.6 jsou znázorněny grafy zachycující závislost průměrné doby zpracování jednotlivých fází programu v závislosti na obou parametrech. V experimentech jsem vždy spustila program desetkrát pro dané nastavení parametrů. Z těchto hodnot jsem vypočítala aritmetický průměr a směrodatnou odchylku (viz tabulka 3.3, podrobněji viz příloha 6). Obdobný průběh času mělo i zpracování datových souborů s jiným počtem objektů, které nejsou zařazeny do této práce. Z grafů je zřejmé, že z časového hlediska existuje optimální hodnota obou parametrů.
71
1. fáze
čas v sekundách
1 000
2. a 3. fáze
celkový čas
900 800 700 600 500 400 300 200 100 0 0
20 000
40 000
60 000
80 000
100 000
počet objektů ve shluku
Obr. 3.6 Průměrný čas průběhu algoritmu BIRCH k-průměrů v závislosti na parametru povolený počet objektů ve shluku L, pro „poloměr shluků“ R = 0,9, počet objektů n = 100 000, počet dimenzí d = 2, požadovaný počet shluků k = 3
Obdobná situace nastala při sledování závislosti optimální hodnoty funkce Q na obou parametrech, která je zachycena na obrázcích 3.7 a 3.8. Při bližším sledování závislostí bohužel vyšlo najevo, že optimálních hodnot funkce Q je dosaženo pro jiné hodnoty parametrů než nejrychlejších časů. V případě parametru pro povolený počet objektů ve skupině L dokonce dochází k situaci, že pro hodnotu parametru, pro níž je čas zpracování nejnižší je hodnota funkce Q výrazně horší, než pro ostatní hodnoty parametru. Ve všech sledováních se hodnota sledované veličiny od určité hodnoty parametru ustálila na hodnotě, která nebyla o mnoho horší než nejlepší dosažené hodnoty. V případě, že není známá struktura dat a nemáme možnost hledat opakovaným spouštěním programu pro různé hodnoty parametrů optimální nastavení, lze z výše uvedeného důvodu doporučit nastavit vyšší hodnoty parametrů.
72
hodnota funkce Q
250 000 200 000 150 000 100 000 50 000 0 0
1
2
3
4
5
parametr R
Obr. 3.7 Vývoj výsledné hodnoty optimalizované funkce Q algoritmu BIRCH k-průměrů v závislosti na parametru „poloměr shluků“ R, pro povolený počet objektů ve shluku L =15 000, počet objektů n = 100 000, počet dimenzí d = 2, požadovaný počet shluků k = 3 140 000 hodnota funkce Q
120 000 100 000 80 000 60 000 40 000 20 000 0 0
20 000
40 000
60 000
80 000
100 000
parametr L
Obr. 3.8 Vývoj výsledné hodnoty optimalizované funkce Q algoritmu BIRCH k-průměrů v závislosti na parametru povolený počet objektů ve shluku L, pro „poloměr shluků“ R = 0,9, počet objektů n = 100 000, počet dimenzí d = 2, požadovaný počet shluků k = 3 Jednotlivé dílčí doby zpracování a dosažené hodnoty účelové funkce, pomocí
kterých byly vytvořeny grafy v této části jsou uvedeny v tabulkách v příloze 6.
Časová náročnost v závislosti na počtu objektů Pro další experimenty jsem náhodným výběrem objektů ze souboru GENER, popsaného v kapitole 4.1.3., vytvořila datové soubory, které vždy obsahovaly předem daný počet objektů uspořádaných do předem daného počtu shluků.
73
Zaměřila jsem se na sledování časové náročnosti běhu programu. Využila jsem předchozích experimentů na odhad co možná nejlepších nastavení parametrů pro různé počty objektů. Pro každou velikost datového souboru byly tedy použity jiné hodnoty vstupních parametrů. Pro každou velikost souboru a každé nastavení parametrů jsem program spouštěla desetkrát (viz příloha 6) a poté vypočítala průměr a směrodatnou odchylku naměřených hodnot, viz tabulky 3.4 až 3.6. Nejdříve jsem ověřovala závislost doby zpracování jednotlivých částí algoritmu a celkového času potřebného na celkový průběh. V případě ukončení programu po prvních třech fázích bez poslední nepovinné fáze rostl celkový čas téměř lineárně s nárůstem počtu objektů. Růst společného času druhé a třetí fáze dokonce mírně klesal. Tím byl eliminován rychlejší růst časů v první fázi. Vývoj průměrných časů je znázorněn na obrázku 3.9. 1. fáze
čas v sekundách
12 000
2. a 3.fáze
výsledný čas
10 000 8 000 6 000 4 000 2 000 0 0
200 000
400 000
600 000
800 000
1 000 000
počet objektů
Obr. 3.9 Průměrný čas průběhu algoritmu BIRCH k-průměrů bez nepovinné fáze v závislosti na počtu objektů, počet dimenzí d = 2, požadovaný počet shluků k = 20 Tab. 3.4 Průměrné časy po 1. fázi a směrodatné odchylky v závislosti na počtu objektů
počet objektů parametr L aritm. průměr směr. odchylka
100 000 50 000 116,5240 0,5062
300 000 150 000 724,1630 1,0193
500 000 100 000 2 059,5396 1,2994
74
750 000 250 000 3 793,4908 1,8366
1 000 000 750 000 5 923,5339 3,3049
Tab. 3.5 Průměrné časy po 3. fázi a směrodatné odchylky v závislosti na počtu objektů
počet objektů parametr1 aritm. průměr směr. odchylka
100 000 300 000 50 000 150 000 382,4900 2 274,2696 2,4244 3,2263
500 000 100 000 4 532,0995 5,4868
750 000 1 000 000 250 000 750 000 7 832,2430 11 003,6210 6,1429 50,2289
Tab. 3.6 Průměrné časy po nepovinné fázi a směrodatné odchylky v závislosti na počtu
objektů
čas v sekundách
počet objektů parametr1 aritm. průměr směr. odchylka
100 000 300 000 50 000 150 000 432,8501 2 692,4863 1,8435 6,1431
základní čas
20 000 18 000 16 000 14 000 12 000 10 000 8 000 6 000 4 000 2 000 0 0
200 000
500 000 750 000 1 000 000 100 000 250 000 750 000 5 502,1278 10 672,1997 18 804,4495 5,7680 17,8540 6,2741
nepovinná fáze
400 000
600 000
celkový čas
800 000
1 000 000
počet objektů
Obr. 3.10 Průměrný čas průběhu algoritmu BIRCH k-průměrů včetně nepovinné fáze v závislosti na počtu objektů, počet dimenzí d = 2, požadovaný počet shluků k = 20
Horší situace byla pro běh programu zahrnující i poslední nepovinnou fázi, ve které dochází ke zlepšení kvality shlukování pomocí základní metody k-průměrů. Pokud jsem program ukončovala v okamžiku, kdy došlo oproti předchozí iteraci ke změně hodnoty optimalizované funkce Q o méně, než předem daná hranice, byl časový nárůst velmi rychlý. Již pro datové soubory s počtem objektů kolem 500 000 překračovala doba zpracování hodinu. V případě, že jsem program ukončovala po předem daném počtu iterací, rostl čas s přibývajícím počtem objektů sice také rychleji než lineárně,
75
přesto nebyl nárůst tak extrémní. Závislost doby zpracování na počtu objektů pro tento způsob ukončení programu je znázorněna na obrázku 3.10.
Časová náročnost v závislosti na počtu objektů Pro další experimenty jsem výběrem proměnných ze souboru GENER1, popsaného v kapitole 4.1.4, vytvořila datové soubory, které vždy obsahovaly předem daný počet dimenzí. Objekty byly uspořádány do dvaceti shluků. Program jsem vždy pro daný počet dimenzí spouštěla desetkrát a měřila čas. Poté jsem vypočítala z těchto hodnot aritmetické průměry a směrodatné odchylky (viz tabulka 3.7, podrobněji viz příloha 6). Vývoj průměrných časů je vidět na obrázku 3.11. Je zřejmé, že časová náročnost roste s počtem dimenzí velmi výrazně. Tab. 3.7 Průměrné časy po nepovinné fázi a jejich směrodatné odchylky v závislosti na
počtu dimenzí počet dimenzí aritm. průměr směr. odchylka
2 381,3334 9,9128
4 415,0737 9,3183
6 10 1 061,5198 25 190,1941 24,7139 62,7233
čas v sekundách
30 000 25 000 20 000 15 000 10 000 5 000 0 0
2
4
6
8
10
12
počet dimenzí
Obr. 3.11 Průměrný čas průběhu algoritmu BIRCH k-průměrů včetně nepovinné fáze v závislosti na počtu dimenzí, počet objektů n = 100 000, požadovaný počet shluků k = 20
76
3.1.3 Shrnutí Algoritmus BIRCH k-průměrů je v první fázi algoritmu ovlivněn základní myšlenkou původního algoritmu BIRCH. V rámci této fáze rozdělí objekty do skupin splňujících předem dané omezující podmínky, jako je maximálně přípustný počet objektů ve skupině L a maximálně přípustná variabilita skupiny R. Výsledek první fáze je silně závislý na hodnotách obou parametrů L i R. Pro nezkušeného uživatele, který dobře nezná strukturu shlukovaných dat, je vhodná volba parametrů velmi obtížná. Algoritmus je určen pro shlukování velkých souborů dat, jejichž zpracování je časově velmi náročné. Proto není zcela možné shlukování mnohokrát opakovat pro různé hodnoty parametrů a následný výběr nejlepšího shlukování. V druhé fázi je využit klasický algoritmus k-průměrů, pomocí kterého se shlukují centra skupin vzniklých ve fázi první. Poté následuje výsledné rozdělení objektů do shluků. Nepovinná poslední fáze, ve které se pomocí klasického algoritmu k-průměrů ještě vylepší shlukování vzniklé v prvních třech fázích, sice kvalitu
výsledného shlukování podstatně zvýší, přináší však velký nárůst doby zpracování. Zvláště v případě, kdy v této fázi použijeme jako kritérium zastavení překročení meze změny hodnoty optimalizované funkce Q, narůstá čas se vzrůstajícím počtem objektů v souboru mnohem rychleji než lineárně. Algoritmus se stává špatně využitelným pro obzvlášť velké datové soubory. Určitým kompromisem je vylepšení shlukování pouze pomocí malého, předem daného, počtu iterací klasického algoritmu k-průměrů.
77
3.2 Filtrovací algoritmus V této části bude popsán algoritmus využívající speciální stromovou strukturu, mrkd-stromy. Nejprve se ve stručnosti budu věnovat struktuře mrkd-stromů a možnosti jejich tvorby. V další části se budu zabývat tzv. filtrovacím algoritmem tak, jak jej popsali autoři v [31]. Následovat bude odůvodnění možností jedné modifikace, kterou jsem navrhla. V poslední části detailně rozeberu implementaci algoritmů popsaných v předchozích částech kapitoly a provedu rozbor a diskuzi výhod, nevýhod a možných problémů použití popsaných metod.
3.2.1 Mrkd-stromy Kd-strom (resp. kvadrantový strom) je datová stromová struktura, která
reprezentuje rekurzivní dělení konečné množiny bodů z d-dimenzionálního prostoru na k částí (d-dimenzionálních hyperkvádrů), pomocí d – 1 dimenzionálních ortogonálních
nadrovin. Existuje mnoho způsobů dělení, jeden jednoduchý je rozdělení ortogonálně k nejdelší straně hyperkvádru na úrovni mediánu ze všech bodů hyperkvádru, viz obrázky 3.12 a 3.13.
Obr. 3.12 Ukázka dělení prostoru datových bodů na hyperkvádry pomocí
nadrovin pro d = 3, symetrická data Mrkd-stromy jsou speciálním binárním případem kd-stromů. Každý z vnitřních
vrcholů se štěpí na dva podřízené vrcholy, přičemž každý z vrcholů obsahuje informaci o všech bodech z příslušného hyperkvádru. Kořen stromu reprezentuje hyperkvádr
78
obsahující všechny sledované body. List (koncový vrchol) obsahuje jeden bod (nebo obecněji počet bodů menší než daná malá konstanta). Poznámka: V některých materiálech (např. [5], [47]) se pod pojmem kd-stromy rozumí mrkd-stromy.
Obr. 3.13 Ukázka dělení prostoru datových bodů na hyperkvádry pomocí
nadrovin pro d = 3, asymetrická data
3.2.2 Hlavní principy a postup filtrovacího algoritmu Tzv. filtrovací algoritmus je jednou z implementací Lloydova shlukovacího algoritmu využívající mrkd-stromy. Tento algoritmus je podrobněji popsán v [31], principy, na kterých je algoritmus postaven, v [30] a [41]. Algoritmus je velkým zefektivněním klasického přístupu algoritmu k-průměrů. Mrkd-strom je zkonstruován pouze jedenkrát pro daný soubor objektů a celá struktura nemusí být přepočítávána v každém iteračním kroku algoritmu k-průměrů. Autoři algoritmu provedli a v [31] popsali mnoho srovnávacích experimentů a na základě podrobné analýzy došli k závěru, že algoritmus je tím efektivnější, čím více jsou data přirozeně strukturovaná (tvoří viditelně oddělené skupiny), ale je účinný i v případě, pokud nejsou skupiny dat dobře oddělené. Dále ověřili srovnatelnost účinnosti se základním algoritmem BIRCH. Algoritmus pracuje s tzv. kandidátskými centry, resp. množinami kandidátských center vrcholu v mrkd-stromu. Kandidátská centra pro daný vrchol v jsou ta centra (v první iteraci inicializační centra, v následujících iteracích centra shluků vytvořených v předchozí iteraci), pro která je možno (tj „jsou kandidáty“), že k nim bude přiřazen alespoň jeden z objektů asociovaných s tímto vrcholem.
79
Postup filtrovacího algoritmu začíná vytvořením mrkd-stromu pro daná data. Pro každý vnitřní vrchol21 mrkd-stromu zjistí počet objektů asociovaných22 s tímto vrcholem a dále se z těchto dat vypočítá centroid. Stejně jako v Lloydově algoritmu se určí množina k inicializačních center (např. náhodným zvolením). Navíc se pro každý z vrcholů mrkd-stromu vytvoří množina kandidátských center, a to následujícím způsobem. Množina kandidátských center kořene stromu obsahuje všech k inicializačních center. Jednotlivá kandidátská centra se budou „prosívat“ stromem dolů směrem od kořene k listům následovně. Pro každý vrchol v označíme symbolem Hv nejmenší hyperkvádr obsahující všechny objekty asociované s tímto vrcholem a symbolem Kv množinu kandidátských center náležících vrcholu v. Nechť c* Kv, c* je ze všech c Kv nejblíže středu hyperkvádru Hv (tj. bodu z Rd, jehož souřadnice tvoří aritmetické průměry jednotlivých proměnných popisujících objekty obsažené v kvádru Hv). Z množiny Kv \ {c*} se odeberou („odfiltrují“) ta kandidátská centra c, pro která platí, že žádná část hyperkvádru Hv není blíže k c než k c*, protože z předchozího vyplývá, že toto c není nejbližším centrem pro žádný z objektů ležících v hyperkvádru Hv (tj. není kandidátem, že k němu bude přiřazen nějaký z objektů asociovaných s tímto
vrcholem). Zjištění, zda je některý z vrcholů hyperkvádru blíže k c* či k c, se provádí výběrem toho vrcholu V hyperkvádru Hv, který je nejblíže nadrovině, jež je kolmá ke směru c* c a od níž jsou c* a c stejně vzdáleny. Tato nadrovina dělí prostor na dvě části. V jedné z nich leží objekty, které jsou blíže k c než k c*. Druhá obsahuje objekty, které jsou blíže k c* než k c. Situace je znázorněna na obrázku 3.14. Hledaný vrchol V je vybírán následujícím způsobem. Označme h min , h max j j minimální, respektive maximální, hodnotu v j-té dimenzi (j = 1, ..., d) v rámci hyperkvádru Hv, u (u1 , u 2 , ..., u d ) vektor směřující z c* do c. Souřadnice [v1, v2, ..., vd] pokud u j 0 , a v j h max , pokud u j 0 . vrcholu V pak vypočítáme jako v j h min j j
21
Viz kapitola Základní pojmy z teorie grafů Každý vrchol v stromu reprezentuje nějakou množinu objektů. O těchto objektech řekneme, že jsou asociované s vrcholem v. 22
80
Obr. 3.14 Ukázka výběru vrcholu V v prostoru dimenze 2 (dle [47])
Pokud po „odfiltrování“ všech nežádoucích kandidátských center z Kv obsahuje Kv právě jediný prvek (který byl dříve označen c*), pak je zřejmé, že c* je nejbližším
centrem pro všechny objekty asociované s vrcholem v a všechny tyto objekty se mohou tomuto centru přiřadit. Pokud množina Kv po „odfiltrování“ nežádoucích kandidátských center obsahuje více než jeden prvek a pokud vrchol v není listem stromu, přejde se rekurzivně k dceřinému vrcholu. Pokud je v listem, spočítá se vzdálenost všech objektů asociovaných s tímto vrcholem od všech zbylých kandidátských center z množiny Kv a přiřadí se vždy k nejbližšímu centru. Tímto jsou přiřazeny všechny objekty jednotlivým centrům a může se dokončit iterační krok dle Lloydova algoritmu – mohou se spočítat patřičné centroidy a přemístit centra do těchto centroidů. Stejným způsobem se pracuje i v dalších iteracích. Průběh algoritmu se ukončí, stejně jako v případě Lloydova algoritmu, pokud se buď v posledním iteračním kroku nedošlo k žádné změně (tj. objekty jsou rozděleny do shluků stejně jako v předchozí iteraci), nebo pokud i přes případný přesun došlo jen k nevýraznému zlepšení, tj. snížení hodnoty (absolutní či relativní) účelové funkce menšímu než předem daná konstanta. Zkoumáním uvedeného algoritmu jsem se zabývala v článku [72].
81
Postup filtrovacího algoritmu 0. Vstup: datová matice X, počet shluků k. 1. Tvorba mrkd-stromu, pro každý vrchol stromu výpočet charakteristik (vektory minimálních a maximálních hodnot, vektor průměrů, vektor mediánů, vektor součtu druhých mocnin ze všech objektů asociovaných s daným vrcholem). 2. Tvorba množiny inicializačních kandidátských center kořene stromu, např. náhodným výběrem, nebo pomocí speciálního algoritmu (algoritmus k-průměrů++ viz 3.3).
3. Prosévání množiny kandidátských center skrz vrcholy směrem od kořene k listům pomocí „odfiltrování“ (tj. vypuštění) nežádoucích center (tj. center, která díky své vzdálenosti od objektů asociovaných s daným vrcholem nejsou vhodnými kandidáty na centrum těchto objektů). Podrobnější postup viz výše. 4. Pokud má množina kandidátských center více než jeden prvek a vrchol není listem, pak návrat na krok 3. 5. Pokud je množina kandidátských center pouze jednoprvková, pak jsou všechny objekty asociované s tímto vrcholem přiřazeny k zbylému jedinému kandidátskému centru. Pokud je vrchol listem, pak každý z objektů asociovaných s tímto vrcholem přiřadit k jemu nejbližšímu centru ze zbylých kandidátských center. 6. Pokud nebylo splněno kritérium zastavení (např. došlo ke změně rozdělení do shluků oproti minulému iteračnímu kroku, nebo došlo oproti minulému iteračnímu kroku k většímu snížení hodnoty účelové funkce než předem daná konstanta, nebo nebylo dosaženo maximálního povoleného počtu iterací) výpočet nových center a návrat na krok 3. 7. Výstup: přiřazení objektů matice X do k shluků.
3.2.3 Modifikovaný filtrovací algoritmus (MFA) V článku [31] autoři při tvorbě mrkd-stromu využívají dělení hyperkvádru pomocí nadroviny umístěné kolmo na nejdelší stranu na úrovni mediánu. V průběhu
82
práce na aplikaci algoritmu na tvorbu mrkd-stromu jsem měla obavy z efektivnosti výpočtu mediánu. Tato obava se ale ukázala neopodstatněná. Přesto mne přivedla k myšlence dělit hyperkvádr kolmo na nejdelší stranu, nikoliv však na úrovni mediánu, ale na úrovni aritmetického průměru. Výsledkem algoritmu s původní myšlenkou dělení na úrovni mediánu jsou velmi vyvážené stromy. Hloubka stromu23 se v jednotlivých větvích liší maximálně o jednu úroveň. Toto je způsobeno faktem, že dělení na úrovni mediánu zaručuje, že vrcholy v jedné úrovni stromu mají počet objektů odlišný maximálně o jeden objekt. Tato vlastnost má dvě velmi podstatné výhody. Jednou je relativně stabilní doba průchodu „prosévání“ kandidátských center v jednotlivých větvích stromu, a tím zaručená omezená doba celkového zpracování. Druhou výhodou je pohodlná práce se stromem v průběhu vlastního filtrovacího algoritmu. Stromy vzniklé pomocí upraveného algoritmu nejsou tak dokonale vyvážené. To znamená, že se délka cest od kořene k jednotlivým listům znatelně liší. Tato nevyváženost je zapříčiněna známou vlastností aritmetického průměru, který je silně ovlivňován odlehlými hodnotami. Proto v části oddělené průměrem, která obsahuje odlehlé hodnoty, je umístěn zpravidla mnohem menší počet objektů než v části druhé. Tato zdánlivá nevýhoda může být však docela podstatnou výhodou. Relativně dobře se daří odhalit odlehlé objekty, které mohou znehodnotit celkový výsledek konečného shlukování. Čím jsou objekty odlehlejší, tím dříve je algoritmus detekuje. Cesta stromu končící listem, jež obsahuje odlehlý objekt, je tím kratší, čím je objekt odlehlejší. Po oddělení odlehlého objektu se stávají data stejnorodější a hodnota aritmetického průměru se přibližuje hodnotě mediánu, dělení hyperkvádru je symetričtější. Vznikající podstrom je již vyváženější. Mrkd-strom vzniklý variantou dělení na úrovni aritmetického průměru se znatelně člení na několik vyvážených větších podstromů a případně několik krátkých osamocených větví. Příkladem je mrkd-strom na obrázku 3.16, který je vytvořen nad dvourozměrnými daty s jedním odlehlým objektem, jejichž struktura je zřejmá z obrázku 3.15. Minimální hloubka stromu je dvě. Tuto délku má cesta od kořene
23
Viz kapitola Základní pojmy z teorie grafů
83
stromu končící listem reprezentujícím odlehlý objekt. Maximální hloubka v takto vytvořeném stromu je sedm.
25 20
x2
15 10 5 0 0
2
4
6
8
10
12
14
16
18
20
22
x1
Obr. 3.15 Data s odlehlým objektem
Obr. 3.16 Mrkd-strom s dělením na pozici aritmetického průměru nad daty
s odlehlým objektem Na obrázku 3.17 je zobrazen mrkd-strom vytvořený nad stejnými daty pomocí původního algoritmu. Takto vytvořený strom má minimální hloubku pět a maximální hloubku šest. Odlehlý objekt není ve struktuře nijak viditelně odlišen.
84
Obr. 3.17 Mrkd-strom s dělením na pozici mediánu nad daty s odlehlým objektem
Poněkud jiná situace je znázorněna na obrázcích 3.18 a 3.19. Na obrázku 3.19 je zobrazen mrkd-strom vytvořený pomocí dělení na úrovni průměru z dat, jejichž struktura je zřejmá z obrázku 3.18. V datech je obsažen osamělý objekt24, který by mohl narušit celkový výsledek shlukování. Tento objekt je opět ve výsledném stromu velmi zřetelně viditelný. Je listem na cestě z kořene stromu k listu, jejíž délka je tři. Délka
x2
ostatních cest od kořene stromu k jednotlivým listům se pohybuje mezi pěti a osmi.
40 35 30 25 20 15 10 5 0 0
5
10
15
20
x1
Obr. 3.18 Data s osamělým objektem
Na obrázcích 3.208 a 3.21 je znázorněna situace asymetrických dat obsahujících jeden odlehlý objekt. Soubor znázorněný na obrázku 3.20 obsahoval 51 objektů 24
Osamělým objektem označuji speciální druh odlehlého objektu. Osamělý objekt splňuje obdobné
podmínky jako objekt odlehlý, tj. je velmi vzdálen od ostatních dat či při shlukování vytváří samostatný shluk. V žádné ze souřadnic však nenabývá extrémních hodnot, výjimečnou je kombinace všech souřadnic tohoto objektu (to znamená, že opticky se může „jevit mezi daty“).
85
popsaných pomocí dvou proměnných. Proměnné padesáti objektů byly uměle vygenerovány jako prvky exponenciálního rozdělení s parametrem 1. Poslední objekt byl uměle přidán. Na obrázku 3.21 je zobrazen mrkd-strom vytvořený pomocí dělení na úrovni průměru z dat, jejichž struktura je zřejmá z obrázku 3.20. Odlehlý objekt je opět ve výsledném stromu velmi zřetelně viditelný. Je listem na cestě z kořene stromu k listu, jejíž délka je tři. Délka ostatních cest od kořene stromu k jednotlivým listům se pohybuje mezi čtyřmi a osmi. Objekty korespondující s listy na cestách délky čtyři jsou v grafickém znázornění souboru umístěny na okraji „mraku“ objektů. Při určité interpretaci by je bylo možno také považovat za odlehlé.
Obr. 3.19 Mrkd-strom s dělením na pozici aritmetického průměru nad daty s osamělým
objektem 12 10
x2
8 6 4 2 0 0
2
4
6
8
10
x1
Obr. 3.20 Asymetrická data s osamělým objektem
86
12
Obr. 3.21 Mrkd-strom s dělením na pozici aritmetického průměru nad daty
s asymetrickými daty s odlehlým objektem Navrhla a prověřovala jsem různé způsoby identifikace odlehlých objektů v mrkd-stromu s dělením na úrovni průměru. Nejvíce se mi osvědčila varianta, kdy jsem za odlehlý označila ten objekt, jehož délka cesty ke kořeni byla „výrazně“ kratší než délka cesty z ostatních listů ke kořeni. Otázkou bylo, jak určit, co znamená výrazně kratší. Je zřejmé, že toto určení musí být závislé na počtu objektů, z nichž je mrkdstrom tvořen. Z konstrukce binárního stromu, kdy vrchol vznikajícího stromu reprezentující nějakou množinu objektů rozdělíme na dva následné vrcholy reprezentující dvě disjunktní podmnožiny, jejichž počet objektů se vzájemně liší maximálně o jeden, vyplývá, že hodnota log 2 n zaokrouhlená „nahoru“ na celé číslo vyjadřuje hloubku ideálně vyváženého binárního stromu pro n objektů (označíme hloubka). Tato hodnota představuje jakousi „průměrnou“ délku cest od listu ke kořeni stromu v libovolném binárním stromu sestrojeném nad n objekty. Z této úvahy vyplývá odpověď na výše položenou otázku, co znamená výrazně kratší cesta. Výrazně kratší cesta oproti ostatním je ta cesta, jejíž délka je několikrát menší než výše uvedená „průměrná“ délka, tj. délka cesty je menší než
hloubka . konst.
Uvedená konstanta určuje určitou míru odlehlosti objektu. Já ve svých experimentech používala hodnotu konst. = 2, tj. označení objektu za odlehlý, pokud je cesta z kořene stromu do listu obsahující tento objekt kratší než
hloubka , kde n je počet objektů. 2
Další mnou používanou variantou identifikace odlehlých objektů v mrkdstromech je označení skupiny objektů za odlehlé, pokud dělení na úrovni průměru je
87
asymetričtější než je nastavená hranice. Tedy, pokud poměr počtu objektů v jednotlivých oddělených částech je větší než předem daná konstanta, tj.
n1 konst., n2
kde n1 n2 jsou počty objektů v jednotlivých částech. Tato identifikace se však jevila méně dobrou. Kvalita výsledku byla více ovlivněna volbou konstanty. Již při malé změně konstanty se výsledná množina identifikovaných odlehlých objektů změní. Například v datech znázorněných na obrázku 3.18, jejichž mrkd-strom je vidět na obrázku 3.19 je výrazně odlehlý objekt oddělen od druhé části v poměru počtu objektů obou částí 5 : 1, ale existuje jiný objekt, který je oddělen v poměru 4 : 1. Tento objekt již ale není příliš odlehlý (na obrázku 3.20 se jedná o objekt na levém okraji skupiny objektů umístěné nejvíce vpravo).
Obr. 3.22 Falešný odlehlý objekt (dělení n rovni průměru)
Při vyhodnocování dat pomocí mrkd-stromu vytvořeného metodou dělení na úrovni průměru je třeba si uvědomit, že objekty detekované jako odlehlé nemusí ve skutečnosti odlehlými být. Tento relativně výjimečný stav by nastal v případě, kdyby se v rámci dělení hyperkvádrů oddělil osamocený objekt od početné skupiny tak, jak je vidět na obrázku 3.22.
88
3.2.4 Implementace filtrovacích algoritmů V následujícím textu bude popsána vlastní implementace jak filtrovacího, tak i modifikovaného filtrovacího algoritmu MFA. Oba programy využívají stejných procedur. Liší se pouze v části vytváření mrkd-stromu zabývající se dělením prostoru obsahujícího objekty.
Procedury pro tvorbu mrkd-stromu Vstupem procedur obou popsaných modifikací algoritmu pro tvorbu mrkdstromu je datová matice obsahující n řádků a d sloupců, jejíž každý řádek reprezentuje jeden z n objektů o d rozměrech. Druhým vstupem je pomocný údaj pro výpočet počtu iterací. Při prvotním volání procedury se tento vstup zadává roven 0. Výstupem je vytvořený mrkd-strom, celkový počet iterací a celkový čas zpracování. K realizaci mrkd-stromu byla využita struktura CELL, viz [89]. Pro kořen a každý vnitřní vrchol jsou ve struktuře uchovávány následující údaje: maximální a minimální hodnoty ve všech d dimenzích v rámci všech objektů obsažených v daném vrcholu, centroid, součet druhých mocnin jednotlivých souřadnic všech objektů, pro původní variantu medián ze všech objektů a pro upravenou variantu kód, že je levý, respektive pravý potomek vrcholu listem. Dále CELL struktura každého z těchto vrcholů obsahuje dvě struktury CELL reprezentující levý a pravý podstrom. V listech jsou uchovávány údaje o jednotlivých objektech. Procedury jsou volány rekurzivně. V každém průchodu procedurou je vygenerován jeden z vrcholů. V každé poslední úrovni rekurzivního vnořování je naplněn jeden z listů údaji o jednom objektu.
Procedura pro algoritmus k-průměrů s využitím mrkd-stromů Jedním ze vstupů řídící procedury pro zpracování algoritmu k-průměrů s využitím mrkd-stromů je CELL struktura obsahující mrkd-strom s údaji o zpracovávaných datech, který byl vytvořen procedurou, která byla popsána v předchozí části, a druhým vstupem je množina inicializačních center. Výstupem řídící procedury jsou tři údaje o výsledném shlukování, a to počet objektů v jednotlivých shlucích, součet jednotlivých souřadnic objektů v jednotlivých
89
shlucích a výsledná hodnota funkce Q, jež je dána předpisem (2.17), celková doba zpracování (v sekundách). Posledním výstupem je matice v jejíž řádcích jsou informace o výsledných centroidech. Hlavní výkonnou procedurou v této části programu je procedura provádějící prosévání množiny kandidátských center mrkd-stromem, a tím přiřazující všechny objekty k jednotlivým centrům. Tato procedura má šest vstupů. Jsou to CELL struktura obsahující mrkd-podstrom, množina všech kandidátských center, množina center, která do této úrovně prošla filtrováním, počet objektů a součet jednotlivých souřadnic, respektive součet druhých mocnin jednotlivých souřadnic objektů, které již byly do této úrovně přiřazeny k jednotlivým centrům. Výstupy výkonné procedury jsou jednak množina center, která zbyla po filtraci v kroku provedeném touto procedurou, aktualizovaný počet objektů a součet jednotlivých souřadnic, resp. součet druhých mocnin jednotlivých souřadnic objektů, které již byly do této úrovně přiřazeny k jednotlivým centrům. Posledním výstupem je doba (v sekundách) využitá na průběh procedury. Procedura je volána rekurzivně.
3.2.5 Provedené experimenty Prováděla jsem tři typy experimentů. Jednak jsem zkoumala závislost doby zpracování na počtu objektů v souboru, dále jsem sledovala závislost doby zpracování na počtu dimenzí v souboru. V obou těchto případech jsem program spouštěla pro dané nastavení vždy desetkrát. Z deseti takto naměřených časů jsem vypočítala průměrný čas, směrodatnou odchylku a variační koeficient. Naměřené a vypočítané hodnoty jsou uvedené v tabulkách přílohy 8. Nakonec jsem zkoumala chování algoritmu v závislosti na vzdálenosti mezi shluky. Experimenty jsem převážně prováděla na souborech se speciálně vygenerovanými daty.
Závislost doby zpracování na počtu objektů Náhodným výběrem objektů ze souboru GENER popsaného v kapitole 4.1.3. jsem vytvořila datové soubory, které vždy obsahovaly předem daný počet objektů uspořádaných do předem daného počtu shluků.
90
Tab. 3.8 Průměrné časy a směrodatné odchylky vytváření mrkd-stromu s dělením na
úrovni mediánu v závislosti na počtu objektů pro počet dimenzí d = 2 n aritm. průměr směr. odchylka
100 0,0465 0,0034
1 000 0,4295 0,0149
10 000 4,0235 0,0941
100 000 40,5315 0,2011
n aritm. průměr směr. odchylka
250 000 93,0390 1,1880
500 000 200,0310 1,2937
750 000 300,1170 0,6948
1 000 000 418,4850 0,4250
Na obrázku 3.23 je znázorněn průměrný čas běhu zpracování první fáze filtrovacího algoritmu v závislosti na počtu objektů n varianty algoritmu s dělením na úrovni mediánu. Hodnoty aritmetických průměrů a směrodatných odchylek jsou uvedeny v tabulce 3.8. Podrobnější údaje jsou součástí tabulky v příloze 8. Graf naznačuje, že doba zpracování roste lineárně s počtem objektů, což je přijatelný výsledek. Obdobná je situace pro MFA, časy jsou znázorněny na obrázku 3.25 a údaje
čas v sekundách
o průměrných hodnotách a směrodatných odchylkách v tabulce 3.10. 450 400 350 300 250 200 150 100 50 0 0
200 000
400 000
600 000
800 000
1 000 000
počet objektů
Obr. 3.23 Průměrný čas vytváření mrkd-stromu s dělením na úrovni mediánu
v závislosti na počtu objektů pro počet dimenzí d = 2 Z obrázku 3.24 je zřejmý poměr časů potřebných na jednotlivé části (první fáze = tvorba mrkd-stromu a druhá fáze = vlastní algoritmus k-průměrů). Průměrné časy a směrodatné odchylky druhé fáze filtrovacího algoritmu jsou uvedeny v tabulce 3.9. Je vidět, že podstatnou část doby na celkové zpracování zabírá čas na vytvoření mrkdstromu. Použití algoritmu je tedy obzvlášť výhodné, pokud plánujeme opakovat
91
shlukování. Je to například v případě, kdy chceme ověřovat vliv prvotního rozdělení do shluků na výsledné shlukování, případně pokud chceme vybrat nejlepší z výsledků.
tvorba stromu
600
vlastní výpočet
celkem
čas v sekundách
500 400 300 200 100 0 0
200 000
400 000
600 000
800 000 1 000 000 1 200 000
počet objektů
Obr. 3.24 Průměrný čas zpracování algoritmu k-průměrů s využitím
mrkd-stromů s dělením na úrovni mediánu v závislosti na počtu objektů Tab. 3.9 Průměrné časy a směrodatné odchylky druhé fáze filtrovacího algoritmu
v závislosti na počtu objektů pro počet dimenzí d = 2 100 0,5469 0,0442
n aritm. průměr směr. odchylka
1 000 1,2650 0,0382
100 000 250 000 500 000 1 000 000 16,0620 24,9060 35,4060 61,1250 0,1738 0,1652 0,1237 0,1349
600
čas v sekundách
500 400 300 200 100 0 0
200 000
400 000
600 000
800 000 1 000 000 1 200 000
počet objektů
Obr. 3.25 Průměrný čas vytváření mrkd-stromu s dělením na úrovni průměru
v závislosti na počtu objektů pro počet dimenzí d = 2
92
Tab. 3.10 Průměrné časy a směrodatné odchylky vytváření mrkd-stromu s dělením na
úrovni průměru v závislosti na počtu objektů pro počet dimenzí d = 2 1 000 10 000 100 000 250 000 500 000 750 000 1 000 000 n aritm. 0,4840 4,8600 50,9370 133,6560 251,5780 379,2650 525,6250 průměr směr. 0,0277 0,1432 00,2330 000,3040 000,5376 000,9436 001,7485 odchylka V grafu na obrázku 3.26 je znázorněno srovnání průměrných časů jednotlivých algoritmů v závislosti na počtu objektů n. Doba zpracování vzhledem k počtu objektů roste poněkud rychleji u algoritmu využívajícího dělení na úrovni průměru.
medián
čas v sekundách
600
průměr
500 400 300 200 100 0 0
200 000
400 000
600 000
800 000
1 000 000 1 200 000
počet objektů
Obr. 3.26 Srovnání průměrných časů potřebných na vytvoření mrkd-stromu s dělením
na úrovni průměru a na úrovni mediánu pro počet dimenzí d = 2
Závislost doby zpracování na počtu dimenzí Náhodným výběrem dimenzí ze souboru GENER1 popsaného v kapitole 4.1.4, jsem vytvořila datové soubory obsahující 100 000 objektů, které byly popsány předem daným počtem proměnných (tj. měly danou dimenzi d), uspořádaných do předem daného počtu shluků. Na obrázku 3.27 je znázorněn průměrný čas běhu zpracování v závislosti na počtu dimenzí d varianty algoritmu s dělením na úrovni mediánu. Průměrné časy a směrodatné odchylky jsou uvedeny v tabulce 3.11. Podrobnější údaje jsou součástí příslušné tabulky v příloze 8. Empirické údaje opět naznačují, obdobně jako v případě
93
sledování závislosti doby zpracování na počtu objektů, že doba zpracování roste lineárně, což je opět přijatelný výsledek.
čas v sekundách
120 100 80 60 40 20 0 0
20
40
60
80
100
120
počet dimenzí
Obr. 3.27 Průměrný čas vytváření mrkd-stromu s dělením na úrovni mediánu
v závislosti na počtu dimenzí pro počet objektů n = 100 000 Tab. 3.11 Průměrné časy a směrodatné odchylky vytváření mrkd-stromu s dělením na
úrovni mediánu v závislosti na počtu dimenzí pro počet objektů n = 100 000 2 d aritm. průměr 37,5940 směr. odchylka 0,1420 d aritm. průměr směr. odchylka
24 53,3120 0,6130
4 38,8900 0,4793 32 58,5780 0,4107
6 40,2810 0,4805 44 68,7500 1,8649
10 43,4220 1,1757 64 89,2970 1,0079
16 47,4840 0,5378 100 111,1100 1,6039
Tab. 3.12 Průměrné časy a směrodatné odchylky vytváření mrkd-stromu s dělením na
úrovni průměru v závislosti na počtu dimenzí pro počet objektů n = 100 000 d aritm. průměr směr. odchylka
2 47,1410 0,3157
4 48,4060 0,4906
6 50,9850 0,8099
10 55,0470 0,9076
16 58,7340 0,7132
d aritm. průměr směr. odchylka
24 63,5310 1,0815
32 71,5630 0,8310
44 82,6870 0,8490
64 96,6720 1,0516
100 113,5310 1,7224
94
Na obrázku 3.28 je znázorněn průměrná doba běhu zpracování v závislosti na počtu dimenzí d varianty algoritmu MFA. Průměrné časy a směrodatné odchylky jsou uvedeny v tabulce 3.12. Podrobnější údaje jsou součástí příslušné tabulky v příloze 8. Výpočetní čas ve všech případech, obdobně jako v případě dělení na úrovni mediánu, roste lineárně, což je opět přijatelný výsledek.
čas v sekundách
120 100 80 60 40 20 0 0
20
40
60
80
100
120
počet dimenzí
Obr. 3.28 Průměrný čas vytváření mrkd-stromu s dělením na úrovni průměru
v závislosti na počtu dimenzí pro počet objektů n = 100 000
140
medián
průměr
čas v sekundách
120 100 80 60 40 20 0 0
10
20
30
40
50
60
70
80
90
100 110
počet dimenzí
Obr. 3.29 Srovnání průměrných časů potřebných na vytvoření mrkd-stromu s dělením
na úrovni průměru a na úrovni mediánu pro počet objektů n = 100 000
95
V grafu na obrázku 3.29 je znázorněno srovnání průměrných časů jednotlivých algoritmů v závislosti na počtu dimenzí d. Zatímco čas vzhledem k počtu objektů roste poněkud rychleji u algoritmu využívajícího dělení na úrovni průměru (viz obrázek 3.26), čas vzhledem k počtu dimenzí roste srovnatelně rychle.
Experimenty s datovými soubory s málo a hodně oddělenými shluky Na obrázcích 3.30 až 3.32 jsou znázorněna data s různě rozlišenými shluky (tj. data s různou meziskupinovou variabilitou). V prvním případu (soubor USEBE) byla vygenerována dvourozměrná data náležející do pěti shluků. Každý shluk obsahoval tisíc objektů. Jednotlivé souřadnice v jednotlivých shlucích byly generovány jako hodnoty normálních rozdělení s rozptylem v rozmezí 1 až 3 a různými středními hodnotami. Shluky druhého (soubor ODSEBE) a třetího (soubor ODSEBE-A) případu vznikly
40
40
35
35
30
30
25
25
20
x2
x2
posunutím shluků prvního případu tak, aby bylo dosaženo znatelné změny ve struktuře.
20
15
15
10
10
5
5
0
0 0
5
10
15
20
25
0
30
5
10
15
20
25
30
x1
x1
Obr. 3.30 Data souboru USEBE
Obr. 3.31 Data souboru ODSEBE
Průměrné časy a směrodatné odchylky vypočítané vždy z deseti naměřených hodnot jsou uvedeny v tabulce 3.13. Podrobnější údaje jsou součástí tabulky v příloze 8. Průměrný čas potřebný na shlukování objektů znázorněných na obrázku 3.29 při
96
různých volbách inicializačních center je 1,4031 sekund a průměrný čas na shlukování objektů znázorněných na obrázku 3.32 je 0,7563 sekund. Nejvýraznější rozdíl nastal při volbě inicializačních center pomocí algoritmu k-průměrů++, který je podrobněji popsán v kapitole 3.3. Pro takto vytvořenou množinu inicializačních center byl výpočetní čas shlukování v případě souboru USEBE průměrně 1,1125 sekund a v případě souboru ODSEBE-A 0,3766 sekund.
60
50
x2
40
30
20
10
0 0
10
20
30
40
50
60
x1 Obr. 3.32 Data souboru ODSEBE-A Tab. 3.13 Průměrné časy filtrovacího algoritmu a jejich směrodatné odchylky při
shlukování dat ze souborů s odlišnou strukturou inicializační prvních k objektů pomocí k-průměrů++ centra soubor USEBE ODSEBE ODSEBE-A USEBE ODSEBE ODSEBE-A aritm. průměr 1,1125 0,4266 0,3766 1,4031 1,1484 0,7563 směr. odchylka 0,0381 0,0271 0,0266 0,0242 0,0504 0,0246
97
K podobným výsledkům jsem dospěla i v dalších pokusech při jinak vygenerovaných datech. Je zřejmé, že algoritmus je mnohem rychlejší v případě souborů jejichž objekty jsou přirozeně uspořádány do skupin s velkou meziskupinovou variabilitou. To vyplývá z postupu „prosévání“ center stromem, kdy vnořování do stromu je ukončeno v okamžiku, že je již jednoznačně rozhodnuto o přiřazení všech objektů asociovaných s vrcholem k nějakému centru. Algoritmus k-průměrů++ rozmisťuje inicializační centra velmi rovnoměrně mezi objekty. Je tedy pravděpodobné, že při tvorbě mrkd-stromu při dělení prostoru objektů pomocí nadrovin je množina inicializačních center také pravidelně dělena. Proto hloubka vnoření při „prosévání“ center je blízká hodnotě log 2 k , kde k je požadovaný počet shluků, a tedy i počet inicializačních center. V případě, kdy požadovaný počet shluků k je výrazně menší než počet objektů n, je vnořování ukončeno velmi brzy a čas celkového zpracování je výrazně kratší.
3 2 faktor 2
1 0 -4
-2
-1
0
2
4
-2 -3 faktor 1
Obr. 3.33 Odlehlé objekty souboru IRIS detekované algoritmem využívajícím
mrkd-stromy
Detekce odlehlých objektů K porovnání výsledků navrženého modifikovaného filtrovacího algoritmu jsem využila datový soubor IRIS popsaný v kapitole 4.1.2. Strom vzniklý pomocí základní verze filtrovacího algoritmu měl minimální hloubku sedm a maximální osm úrovní. Strom vzniklý pomocí MFA, umožňující
98
odhalení odlehlých objektů, měl minimální hloubku pět a maximální hloubku dvanáct úrovní. Objekty korespondující s listy na koncích cest délky pět, vedoucích od kořene, byly označeny jako odlehlé. Všech pět takto označených objektů je vidět na obrázku 3.33, na kterém je znázorněn výsledek faktorové analýzy provedené ve statistickém systému STATISTICA 6.0. V úvahu byly brány první dva faktory a data byla převedena do systému Excel, v němž byl vytvořen výsledný graf. Jiný způsob znázornění identifikovaných odlehlých objektů pomocí grafů „scatterplot“ je uveden v příloze 9.
3.2.6 Shrnutí V kapitole
byly
popsány
dvě verze
algoritmu
k-průměrů
využívající
mrkd-stromy. Varianta využívající dělení na úrovni průměrů (algoritmus MFA) byla vlastní modifikací původní verze využívající dělení na úrovni mediánu. Experimenty naznačily, že časová náročnost obou variant algoritmu založeného na mrkd-stromech roste lineárně s počtem objektů i s počtem dimenzí. Všechny experimenty však byly prováděny pouze s daty, jež se vešly do operační paměti. Ukázalo se, že rychlost je tím větší, čím jsou shluky oddělenější. Výhodným z hlediska rychlosti zpracování se ukázal výběr inicializačních center pomocí algoritmu k-průměrů++ (popis algoritmu viz kapitola .3).
Celková doba zpracování algoritmu se dělila na dva časové úseky, jednak dobu potřebnou na vytvoření mrkd-stromu a jednak dobu na vlastní shlukování. První z uvedených časových úseků tvořil podstatnou část celkové doby. Proto bych doporučovala oba tyto algoritmy využít zvlášť v případech, kdy je potřeba nad stejnými daty provádět několik pokusů shlukování. Je to například v situaci, kdy chceme ověřovat vliv prvotního rozdělení do shluků na výsledné shlukování, případně pokud chceme vybrat nejlepší z nich. Varianta využívající dělení na úrovni mediánu se jevila poněkud rychlejší. Výhodou MFA (tj. varianty využívající dělení na úrovni průměru) oproti předchozí variantě je schopnost oddělit odlehlá pozorování.
99
3.3 Algoritmus k-průměrů++ Jednou z variant, které eliminují nevhodný inicializační výběr center, je algoritmus k-průměrů++, který jeho autoři popsali ve článku [2]. Hlavním přínosem této alternativy je vytvoření speciálního inicializačního rozdělení do shluků. Prvotní centra jsou vybírána postupně s cílem co nejrovnoměrnějšího rozmístění mezi objekty. Prvním centrem je náhodně vybraný objekt ze všech datových objektů. Další centra jsou jedno po druhém vybírána ze zbývajících datových objektů. Vždy je vybrán objekt s nejvyšší hodnotou, která je vypočítána podle vztahu P(x) x
min(x , K ) 2 1 min(x , K ) 2 , 2 2 min(x, K ) x min(x, K )
(3.3)
kde x´ je zkoumaný objekt, x je libovolný objekt, min(x, K) (resp. min(x´, K)) vzdálenost objektu x (resp. x´) od jemu nejbližšího centra z množiny K doposud vybraných center. Tímto postupem vybereme zbývajících k –1 center. Po stanovení všech k center postupujeme stejně jako u základního algoritmu k-průměrů. Postup algoritmu k-průměrů++ 0. Vstup: datová matice X, počet shluků k . 1. První inicializační centrum c1 je určeno náhodným výběrem objektu z matice X. Vytvořme množinu inicializačních center K c1 , položme pocet = 1.
2. Dokud je počet center pocet menší než k 1 výpočet c pocet 1 arg max min(x´, K ) 2 , x X , 2 xX min( x, K )
kde min(x, K) (resp. min(x´, K)) je vzdálenost objektu x (resp. x´) od jemu nejbližšího centra z množiny K doposud vybraných center, K K c pocet 1 , pocet = pocet + 1.
3. Aplikace klasického algoritmu k-průměrů pro datovou matici X a množinu inicializačních center c1 , c 2 , ..., c k vypočítaných v kroku 2. 4. Výstup: přiřazení objektů matice X do k shluků.
100
3.3.1 Implementace algoritmu k-průměrů++ Program se skládá ze dvou výkonných procedur. První vytváří množinu inicializačních center a druhá rozděluje objekty do shluků. Vstupem první procedury je datová matice o n řádcích a d sloupcích, jejíž každý řádek reprezentuje jeden z n objektů o d rozměrech. Druhým vstupem je požadovaný počet inicializačních center. Výstupem je množina inicializačních center. Prvním vstupem druhé procedury je stejná datová matice jako u první procedury a druhým vstupem je množina inicializačních center vzniklá v předchozím kroku. Nejdůležitějším výstupem je množina center výsledných shluků. V průběhu experimentů jsem využívala i další pomocné výstupy, jako jsou čas zpracování, výsledná hodnota funkce Q definované vztahem (2.17), případně pro menší datové soubory, množiny objektů přidělených k jednotlivým centrům výsledného shlukování. První funkci jsem využívala také samostatně s cílem vytvoření inicializačních center potřebných jako vstup jiných algoritmů. Výsledky těchto experimentů jsou poznamenány v kapitolách týkajících se daných algoritmů.
3.3.2 Provedené experimenty Experimenty jsem prováděla na třech souborech. Jednak jsem použila speciálně vytvořeného souboru VILIKUS [65], který byl jedním ze souborů, jež autor využíval k porovnání vlastností různých shlukovacích algoritmů. Podrobné pokusy jsem prováděla na souboru na souboru IRIS a časovou náročnost jsem zkoumala na uměle generovaném souboru GENER.
Ověření funkčnosti algoritmu Základní funkčnost algoritmu jsem prověřovala na uměle vygenerovaných datech z [65] obsahujících 10 000 objektů rozdělených do dvaceti shluků. Každý objekt byl popsán dvěma kvantitativními proměnnými. Podrobný popis souboru je uveden v části 4.1.5. Soubor byl vybrán z důvodu možnosti přeledného grafického znázornění. Postupný vývoj vytváření množiny inicializačních center v souboru VILIKUS je zachycen na obrázku 3.34. Je vidět, že algoritmus rozmisťuje inicializační centra
101
rovnoměrně mezi všemi objekty. Obdobný výsledek jsem zaznamenala při opakovaných spuštěních programu, i v případech souborů dat, v nichž byly objekty uspořádány v jiném pořadí. Nezávislost výsledku na pořadí objektů vyplývá již z principu algoritmu. První centrum je vybráno náhodně ze všech objektů a následující centra jsou vybrána dle pravděpodobnosti, která je vypočítána na základě všech objektů.
1,00
0,90
0,90
0,80
0,80
0,70
0,70
0,60
0,60
x2
x2
1,00
0,50
0,50
0,40
0,40
0,30
0,30
0,20
0,20
0,10
0,10
0,00 0,00
0,10
0,20
0,30
0,40
0,50
x1
0,60
0,70
0,80
0,90
a)
0,10
0,20
0,30
0,40
0,50
x1
0,60
0,70
0,80
0,90
1,00
b) 0,90
0,80
0,80
0,70
0,70
0,60
0,60
x2
1,00
0,90
x2
1,00
0,50
0,50
0,40
0,40
0,30
0,30
0,20
0,20
0,10
0,10
0,00 0,00
c)
0,00 0,00
1,00
0,10
0,20
0,30
0,40
0,50
x1
0,60
0,70
0,80
0,90
1,00
0,00 0,00
0,10
0,20
0,30
0,40
0,50
x1
0,60
0,70
0,80
0,90
1,00
d) Obr. 3.34 Inicializační rozmístění center souboru VILIKUS
při metodě k-průměrů++ a) pro 2 shluky, b) pro 6 shluků, c) pro 10 shluků, d) pro 20 shluků
Vliv inicializace pomocí algoritmu k-průměrů++ na výsledné shlukování Výsledné rozmístění inicializačních center v souboru IRIS popsaného v kapitole 4.1.2 je znázorněno na obrázku 2.3 c). V porovnání s výsledky na obrázku 2.3 a) či 2.3 b) je zřejmé, že algoritmus k-průměrů++ rozmisťuje centra velmi dobře. Výsledné shlukování souboru IRIS pomocí algoritmu k-průměrů++ dopadlo pro zkoumaný algoritmus příznivě. Ve druhém shluku byl chybně zařazen pouze jeden objekt a ve
102
třetím shluku třináct objektů. Výsledná hodnota funkce Q byla 77,0924. Pro srovnání, při optimálním nastavení parametrů v algoritmu BIRCH k-průměrů, bylo v třetím shluku chybně zařazeno patnáct objektů a hodnota funkce Q byla 77,4107. Průměrná hodnota funkce Q pro různé množiny inicializačních center byla 78,2451, nejhorší dosažená hodnota v případě algoritmu BIRCH k-průměrů dokonce 145,3234. Tab. 3.14 Průměrné časy algoritmu k-průměrů++ a jejich směrodatné odchylky
v závislosti na počtu objektů počet objektů
2 shluky
5 shluků
10 shluků
20 shluků
aritm. průměr
směr. odch.
aritm. průměr
směr. odch.
aritm. průměr
směr. odch.
aritm. průměr
směr. odch.
10 000
0,0031
0,0062
0,0094
0,0077
0,0172
0,0046
0,0328
0,0047
20 000
0,0047
0,0072
0,0172
0,0083
0,0359
0,0073
0,0796
0,0269
50 000
0,0125
0,0063
0,0531
0,0077
0,1156
0,0077
0,2453
0,0072
80 000
0,0218
0,0075
0,0985
0,0069
0,2297
0,0072
0,5484
0,0392
100 000
0,0312
0,0004
0,1422
0,0050
0,3282
0,0098
0,7125
0,0290
150 000
0,0453
0,0048
0,2094
0,0078
0,4907
0,0280
0,9890
0,0640
200 000
0,0594
0,0062
0,2859
0,0123
0,6578
0,0290
1,4047
0,0573
400 000
0,1203
0,0072
0,5625
0,0281
1,2922
0,0289
2,7641
0,0411
600 000
0,1853
0,0233
0,8391
0,0262
1,9344
0,0281
4,1516
0,0789
800 000
0,2375
0,0118
1,1297
0,0425
2,5610
0,0300
5,5079
0,0560
1 000 000
0,2937
0,0092
1,4015
0,0762
3,2047
0,0497
6,8843
0,0710
Závislost doby zpracování na počtu objektů a požadovaném počtu shluků Náhodným výběrem objektů ze souboru GENER, který je popsán v kapitole 4.1.3, jsem tvořila datové soubory, které vždy obsahovaly předem daný počet objektů uspořádaných do předem daného počtu shluků. Pro každý počet objektů, respektive počet shluků, jsem spustila program desetkrát a poté spočítala průměrnou dobu zpracování. Jednotlivé časy jsou uvedeny v příloze 7. Průměrné časy a směrodatné odchylky jsou součástí tabulky 3.14. Vývoj průměrných časů je znázorněn na obrázcích 3.35 a 3.36. Je vidět, že průměrná
103
doba zpracování roste lineárně jak v závislosti na počtu objektů v souboru, tak na počtu požadovaných shluků.
2 shluky
8
5 shluků
10 shluků
20 shluků
čas v sekundách
7 6 5 4 3 2 1 0 0
200 000
400 000
600 000
800 000
1 000 000
počet objektů
Obr. 3.35 Srovnání průměrných časů potřebných pro běh algoritmu k-průměrů++
čas v sekundách
v závislosti na počtu objektů pro různé počty požadovaných shluků 5 000 objektů
8 7 6 5 4 3 2 1
200 000 objektů
1 000 000 objektů
0 0
5
10
15
20
počet shluků
Obr. 3.36 Srovnání průměrných časů potřebných pro běh algoritmu k-průměrů++
v závislosti na počtu požadovaných shluků pro různé počty objektů
Závislost doby zpracování na počtu dimenzí a požadovaném počtu shluků Náhodným výběrem dimenzí ze souboru GENER1 popsaného v kapitole 4.1.4, jsem vytvořila datové soubory obsahující 100 000 objektů, které byly popsány předem daným počtem proměnných (tj. měly danou dimenzi d), uspořádaných do předem daného počtu shluků.
104
Tab. 3.15 Průměrné časy algoritmu k-průměrů++ a jejich směrodatné odchylky
v závislosti na počtu dimenzí 2 shluky
5 shluků
10 shluků
20 shluků
d
aritm. průměr
směr. odch.
aritm. průměr
směr. odch.
2
0,0266 0,0072 0,1218 0,0064 0,2969 0,0261
0,6984
0,0100
4
0,0532 0,0078 0,2281 0,0240 0,5000 0,0095
1,0750
0,0231
6
0,0672 0,0073 0,3016 0,0252 0,6859 0,0298
1,4672
0,0762
10
0,1063 0,0062 0,4532 0,0098 1,0407 0,0272
2,1937
0,0480
16
0,1672 0,0098 0,6937 0,0244 1,5782 0,0972
3,2953
0,0374
24
0,2391 0,0071 1,0406 0,0613 2,2531 0,0318
4,8047
0,0591
32
0,3203 0,0077 1,3110 0,0228 2,9766 0,0352
6,3000
0,0789
44
0,4453 0,0306 1,7845 0,0407 3,9499 0,1561
8,5125
0,0482
64
0,6375 0,0250 2,5844 0,0616 5,7703 0,0603 12,2266 0,0844
směr. odch.
aritm. průměr
směr. odch.
aritm. průměr
čas v sekundách
100 0,9844 0,0185 3,9641 0,0384 8,9765 0,0784 18,6954 0,1426
2 shluky
20 18 16 14 12 10 8 6 4 2 0 0
20
5 shluků
40
10 shluků
60
20 shluků
80
100
počet dimenzí
Obr. 3.37 Srovnání průměrných časů potřebných pro běh algoritmu k-průměrů++
v závislosti na počtu dimenzí pro různé počty požadovaných shluků Na obrázcích 3.37 a 3.38 je znázorněn průměrný čas běhu zpracování v závislosti na počtu dimenzí d a požadovaném počtu shluků. Průměrné časy a směrodatné odchylky jsou uvedeny v tabulce 3.15. Podrobnější údaje jsou součástí příslušné
105
tabulky v příloze 7. Empirické údaje opět naznačují, obdobně jako v případě sledování závislosti doby zpracování na počtu objektů, že doba zpracování roste lineárně, což je opět přijatelný výsledek.
d=2
čas v sekundách
20
d=24
d=100
d=64
15 10 5 0 0
2
4
6
8
10
12
14
16
18
20
22
počet shluků
Obr. 3.38 Srovnání průměrných časů potřebných pro běh algoritmu k-průměrů++
v závislosti na počtu požadovaných shluků pro různé počty dimenzí
3.3.3 Shrnutí Byl popsán algoritmus k-průměrů++ minimalizující negativní vliv nevhodného počátečního rozdělení do shluků. Tento algoritmus v první části vytvoří množinu inicializačních center, v druhé části shlukuje objekty pomocí postupu klasického algoritmu k-průměrů. Experimenty ukázaly, že algoritmus ve své první části vytváří množinu inicializačních center, jež jsou velmi rovnoměrně rozmístěny mezi všemi objekty. Výsledky shlukování využívající množinu inicializačních center vytvořenou pomocí první fáze algoritmu k-průměrů++ patřily ve většině pokusů k těm nejkvalitnějším vzhledem k výsledné hodnotě funkce Q. Dále experimenty naznačily, že časová náročnost první části algoritmu roste lineárně v závislosti na počtu objektů i dimenzí v datovém souboru i na počtu požadovaných inicializačních center. Na základě těchto výsledků je možno říci, že je její využití vhodné i pro velmi početné datové soubory. Druhá část je klasický algoritmus k-průměrů, jehož časová náročnost roste s počtem objektů také lineárně.
106
Výhodou algoritmu je možnost zaměnit druhou část libovolnou jinou variantou algoritmu k-průměrů a docílit lepší rychlosti. Souhrnem lze říci, že časové zdržení vzniklé tvorbou speciální množiny inicializačních center se vzhledem k celkovému výsledku vyplatí. První část algoritmu doporučuji zařadit do zpracování libovolné varianty algoritmu k-průměrů vyžadující na vstupu množinu inicializačních center.
107
3.4 Dvoufázový algoritmus k-průměrů Jednou z alternativ umožňujících odhalení odlehlých objektů je dvoufázový algoritmus k-průměrů. Metodu popsali autoři v [29]. Postup v první fázi využívá modifikovaný algoritmus k-průměrů využívající heuristiku: „pokud je vkládaný objekt velmi vzdálen od všech dosavadních center shluků, je zařazen do nově vzniklého shluku“. Výsledkem první fáze je rozdělení do k shluků, kde k ≤ k≤ n, k je požadovaný počet shluků a n je počet objektů, přičemž objekty v jednom shluku jsou buď všechny odlehlé, nebo není odlehlý ani jeden. V druhé fázi algoritmus za pomoci minimální kostry odhalí odlehlé objekty a vytvoří cílové rozdělení do požadovaných k shluků.
3.4.1 Postup první fáze První fáze je obměnou algoritmu k-průměrů ovlivněnou algoritmem ISODATA, popsaného v kapitole 1.2.5. Na rozdíl od klasického algoritmu k-průměrů nevytváří předem daný počet shluků, ale konečný počet shluků se pohybuje v předem daném rozmezí. Obdobně jako v metodě ISODATA, navýšení počtu shluků pomůže zjistit potenciální odlehlé objekty. Nechť k je nastavitelný počet shluků. Na počátku položme k = k. Stejně jako v klasickém algoritmu k-průměrů vyberme (například náhodně) k objektů a vytvořme z nich množinu inicializačních center shluků K c1 , c 2 , ..., c k . Označme min(K) minimální vzdálenost mezi dvěma libovolnými centry, tj. d 2 min(K ) min clj cl j ; l , l 1, ..., k , l l . j 1
(3.4)
Dále pro každý objekt x označme min(x, K) vzdálenost objektu x od jemu nejbližšího centra z množiny K d 2 min(x, K ) min x j clj ; l 1, ..., k . j 1
(3.5)
Symbolem kmax označme maximální povolený počet vzniklých shluků. Je zřejmé, že musí platit k k max n. Hodnotu kmax volíme libovolně v daném rozsahu. Pro soubory obsahující náhodná data autoři doporučují volit hodnotu kmax blízkou hodnotě n.
108
Vlastní postup první fáze pak probíhá v následujících krocích. 0. Vstup: datová matice X, k (resp. k), kmax. 1. Výběr k inicializačních center. 2. Výpočet min(K). 3. Pro každý objekt x: a. výpočet min(x, K), b. je-li pro objekt min(x, K) > min(K), pak tento objekt bude centrem nově založeného shluku a položí se k = k+ 1, c. pokud k > kmax, pak se spojí dva nejbližší shluky do jednoho shluku a položí se k= kmax, d. objekt x přiřadit k nejbližšímu centru. 4. Pokud nebylo splněno kritérium zastavení, tj. nedošlo k (významné25) změně oproti předchozímu stavu, nebo nebylo dosaženo předem daného maximálního počtu iterací, návrat na krok 2. Jinak konec. 5. Výstup: k center spolu s rozdělením objektů matice X do k shluků.
3.4.2 Postup druhé fáze V druhé fázi algoritmus detekuje odlehlé objekty a provede výsledné rozdělení objektů do požadovaných k shluků. Všech k center vzniklých v první fázi je považováno za objekty nového shlukování. K nalezení odlehlých objektů jsou vhodné shlukovací metody, které na základě velké vzdálenosti oddělí některé objekty od ostatních. Mezi takovéto metody patří hierarchické metody, popsané v části 1.1.4, nebo například metoda založená na principu minimální kostry, viz část 1.2.2. Pro počet shluků k používaný v první fázi algoritmu platí vztah k k k max n
25
(3.6)
Významnou změnou se rozumí snížení hodnoty účelové funkce Q o hodnotu větší než předem daná konstanta. V případě dvoufázového algoritmu není vhodné z časových důvodů počítat v každém kroku hodnotu účelové funkce Q, proto se změnou stavu oproti předchozí iteraci může rozumět změna některého z center, tj posun centra z jednoho bodu Rd do jiného. Významnou změnou se rozumí posun alespoň jednoho centra alespoň v jednom směru o hodnotu větší než předem daná konstanta (buď absolutní, nebo lépe relativní).
109
Zvolíme-li hodnotu kmax blízkou celkovému počtu objektů n, může být i hodnota k srovnatelná s n. Z důvodu použitelnosti metody pro velmi velké soubory dat autoři v článku [29] nepoužili shlukování pomocí hierarchických metod, jejichž časová náročnost roste s třetí mocninou počtu objektů26, a zvolili efektivnější metodu založenou na minimální kostře (viz kapitola 1.2.2). Centra shluků vzniklá v první fázi se stanou vrcholy úplného grafu27, jehož každá hrana je ohodnocena vzdáleností daných dvou center. Vlastní postup druhé fáze probíhá v následujících krocích. 0. Vstup: k center (tj. k vrcholů úplného grafu). 1. Tvorba minimální kostry pro výše definovaný graf, vložení vzniklého stromu do lesa27 F. 2. Zrušení hrany s největším ohodnocením v rámci všech stromů obsažených v lese F a nahrazení původního stromu obsahujícího tuto hranu dvěma nově vzniklými podstromy. 3. Označení objektů z velmi malého podstromu za odlehlé (případně vyloučení z dalšího zpracování). 4. Pokud je počet stromů v lese F roven k, konec, jinak návrat na krok 2. 5. Výstup:přiřazení objektů matice X do k shluků, případně množina odlehlých objektů
3.4.3 Implementace dvoufázového algoritmu k-průměrů Vstupem algoritmu je datová matice o n řádcích a d sloupcích, jejíž každý řádek reprezentuje jeden z n objektů o d rozměrech. Druhým vstupem je množina inicializačních center pro první fázi algoritmu. Třetím vstupem je požadovaný počet cílových shluků. Není nutně potřeba, aby tento počet odpovídal počtu zadaných inicializačních center. Dalším vstupem je parametr kmax, vyjadřující maximální povolený počet shluků existujících v průběhu první fáze algoritmu. Posledním parametrem je hraniční minimální hodnota vylepšení optimalizované funkce Q, 26 27
Viz například [39]. Viz kapitola Základní pojmy z teorie grafů
110
definované předpisem (2.17). Poslední z uvedených vstupů není využit v jedné z verzí implementace, ve které je využito ukončení algoritmu po předem daném počtu iterací. Optimální počet iterací nelze bohužel dobře odhadnout, přesto je tento způsob ukončení výpočtu jednou z nabízených možností v různých oficiálních statistických systémech a je hojně využíván z důvodu větší efektivnosti výpočtu díky vypuštění výpočtu hodnoty účelové funkce Q v každé iteraci.Výpočet aktuální hodnoty účelové funkce Q a následné porovnání vylepšení je v rámci algoritmu velmi brzdící operací, kvůli které se stává algoritmus pro velký počet objektů těžko použitelný. Důležitými výstupy jsou seznam center výsledných shluků a počet objektů v jednotlivých shlucích. V průběhu ověřování byly používány i další výstupy, jako například časy v různých fázích algoritmu, minimální kostra vzniklá v druhé fázi algoritmu, objekty obsažené v jednotlivých výsledných shlucích či výsledná hodnota účelové funkce Q. Tyto výstupy však nejsou vždy potřebné a v určitých případech, například výpis obsahu jednotlivých shluků pro obzvlášť velké soubory dat, jsou naopak velmi nežádoucí. Při programování jsem narazila na problém, jenž nebyl autory v článku popsán. V průběhu první fáze může pomocí postupu popsaného v článku vzniknout i méně center vstupujících do fáze druhé, než je požadovaný počet výsledných shluků. Tato situace by byla neřešitelná. Problém jsem řešila pomocí rozdělení nejpočetnější skupiny objektů na dvě menší, a to dle vzoru klasického algoritmu na tvorbu mrkd-stromu popsaného v kapitole 3.2.2. Dělení je provedeno dle proměnné, v rámci které dosahují objekty obsažené ve skupině největšího rozpětí. Dělící hodnotou je medián této proměnné.
3.4.4 Provedené experimenty Nejdříve jsem ověřovala základní funkčnost algoritmu, poté jsem provedla podrobný průzkum vlastností. Nakonec jsem ověřovala časovou náročnost.
Experimenty ověřující základní funkčnost Základní funkčnost algoritmu jsem prověřovala na datech s velmi významně odlehlými objekty. Využila jsem data dvou základních typů popsaných v kapitole 3.2.5,
111
viz obrázky 3.14 a 3.17. V obou případech algoritmus odhalil odlehlé objekty ve velmi krátké době. To znamená, že dvoufázový algoritmus k-průměrů je vhodný pro shlukování objektů v datových souborech obsahujících odlehlé objekty.
Vliv volby parametrů na detekci odlehlých objektů Další z experimentů jsem prováděla na datovém souboru IRIS, popsaném v kapitole 4.1.2. Cílem byl detailní průzkum výsledků algoritmu s různým nastavením vstupních parametrů. Sledovala jsem množinu detekovaných objektů vzniklou při spuštění programu s různě volenými parametry kmax pro určení maximálního počtu center v první fázi a k pro požadovaný cílový počet shluků. Výsledné množiny se lišily. Vybrané případy jsou shrnuty v tabulce 3.16. Ve sloupci A jsou uvedena pořadová čísla odlehlých objektů detekovaných pomocí shluků s jediným objektem a ve sloupci B pořadová čísla objektů detekovaných pomocí shluků s dvěma objekty. Se vzrůstajícími hodnotami parametru k vzrůstal počet shluků s jedním objektem, a tím i počet detekovaných odlehlých objektů. Například pro hodnotu k = 30 algoritmus odhalil devatenáct odlehlých objektů detekovaných pomocí shluků s jediným objektem a osm odlehlých objektů detekovaných pomocí shluků s dvěma objekty. Tab. 3.16 Odlehlé objekty souboru IRIS detekované dvoufázovým
algoritmem k-průměrů k
kmax
3 3 3 6 6 10 10 10 10
10 40 70, 80, 90, 100 50 70, 80, 90, 100, 110 40 50 90, 100 130, 140, 150
Pořadí odlehlých objektů podle jejich počtu ve shlucích A – 1 objekt ve shluku B – 2 objekty 6, 42, 123 7, 48 42, 107, 132 107, 110 118, 132 107, 110 136, 119, 99, 61 107, 110 118, 132 42, 53, 107, 109, 132, 135 42, 61, 99, 107, 110, 135, 136, 119 42, 107, 109, 110, 119, 135, 136 118, 132 42, 107, 109, 110, 135, 136 118, 132
Devět nejčastěji vyskytujících se objektů je vidět na obrázku 3.39, na kterém je znázorněn
výsledek
faktorové
analýzy
provedené
ve
statistickém
systému
STATISTICA 6.0. V úvahu byly brány první dva faktory a data byla převedena do
112
systému Excel, v němž byl vytvořen výsledný graf. Jiný způsob znázornění identifikovaných odlehlých objektů pomocí grafů „scatterplot“ je uveden v příloze 9.
3 2
faktor 2
1 0 -4
-3
-2
-1
0
-1
1
2
3
4
-2 -3 faktor 1
Obr. 3.39 Odlehlé objekty souboru IRIS detekované dvoufázovým
algoritmem k-průměrů
první fáze
čas v sekundách
1200
druhá fáze
celkový čas
1000 800 600 400 200 0 0
20 000
40 000
60 000
80 000
100 000
počet objektů
Obr. 3.40 Průměrný čas průběhu dvoufázového algoritmu v závislosti na počtu objektů n pro počet dimenzí d = 2, požadovaný počet shluků k = 3, maximální počet shluků kmax = 6 a minimální hodnotě vylepšení účelové funkce Q tool = 0,1
113
Závislost doby zpracování na počtu objektů Náhodným výběrem objektů ze souboru GENER, popsaného v kapitole 4.1.3, jsem tvořila datové soubory, které vždy obsahovaly předem daný počet objektů uspořádaných do předem daného počtu objektů. Program jsem pro každý soubor spouštěla desetkrát. Z takto zaznamenaných časů jsem vypočetla průměrnou hodnotu a směrodatnou odchylku. Viz příloha 5. Na obrázku 3.40 je znázorněn vývoj průměrných časů potřebných na zpracování dvoufázového algoritmu v závislosti na počtu objektů v datovém souboru. Byla prozkoumána verze ukončující běh programu v okamžiku, kdy došlo oproti předchozí iteraci ke změně hodnoty funkce Q menší než předem daná hodnota. Z části grafu zpracování první fáze je zřejmé, že časy zpracování této fáze rostou rychleji než lineárně, což není z hlediska použití algoritmu pro shlukování obzvlášť velkých souborů
čas v sekundách
dat vhodné.
1 1 1 1
první fáze
600 400 200 000
druhá fáze
celkový čas
800 600 400 200 0 0
200 000
400 000
600 000
800 000
1 000 000
počet objektů
Obr. 3.41 Průměrný čas průběhu dvoufázového algoritmu v závislosti na počtu
objektů n pro počet dimenzí d = 2, požadovaný počet shluků k = 3, maximální počet shluků kmax = 6 a počet iteračních kroků p = 10 Na obrázku 3.41 je znázorněna závislost průměrných časů potřebných na zpracování dvoufázového algoritmu, verze ukončující běh programu po předem daném počtu iterací, na počtu objektů. Průměrné časy a směrodatné odchylky jsou uvedeny v tabulce 3.17. Podrobněji viz příloha 5. Je zřejmé, že se zpomalil nárůst času
114
zpracování v závislosti na počtu objektů v datovém souboru. Všechny sledované časy zpracování rostou víceméně lineárně, to znamená, že tato verze metody je vhodná pro použití při shlukování i velkých souborů dat. Tab. 3.17 Průměrné časy a směrodatné odchylky potřebné na zpracování dvoufázového
algoritmu počet objektů aritm. průměr směr. odchylka
100 500 0,0380 0,2190 0,0056 0,0202
počet objektů aritm. průměr směr. odchylka
50 000 100 000 20,9060 42,2540 0,3880 1,0621
1 000 0,4060 0,0135
5 000 2,1320 0,1468
10 000 4,5260 0,2619
200 000 500 000 700 000 88,8610 269,3960 364,5480 0,9123 0,6899 1,1364
20 000 8,4060 0,2930 1 000 000 539,1160 0,9164
240
čas v sekundách
200 160 120 80 40 0 0
20
40
60
80
požadovaný počet cílových shluků
Obr. 3.42 Průměrný čas průběhu dvoufázového algoritmu v závislosti na požadovaném
počtu shluků k, pro počet dimenzí d = 2, maximální počet shluků kmax = 100, počet objektů n = 10 000 a počet iteračních kroků p = 10 Experimenty naznačily, že čas zpracování nezávisí na požadovaném cílovém počtu shluků. Průběh průměrných časů dosažených pro různé hodnoty parametru k je zřejmý z obrázku 3.42. Průměrné hodnoty časů a směrodatné odchylky jsou uvedeny v tabulce 3.18. Na obrázku 3.43 je znázorněn vývoj průměrných časů (průměry a smě-
115
rodatné odchylky viz tabulka 3.19) potřebných na zpracování dvoufázového algoritmu v závislosti na maximálním povoleném počtu shluků vytvářených v průběhu první fáze. Podrobněji viz příloha 5. Zkoumaná byla verze ukončující běh programu po předem daném počtu iterací. Je zřejmé, že čas narůstá velmi rychle, mnohem rychleji než lineárně. Tab. 3.18 Průměrné časy a směrodatné odchylky potřebné na zpracování dvoufázového
algoritmu pro různé hodnoty parametru k k aritm. průměr směr. odchylka
čas v sekundách
k aritm. průměr směr. odchylka
4
6
10
15
20
25
209,9850
205,3750
207,9220 209,8280
207,9380
204,3280
0,1197
0,2515
0,2626
0,6607
1,3538
30
35
40
45
50
80
206,2340
205,3750
204,5310
206,3900
206,5780
205,4930
1,2025
1,4530
0,5281
3,0414
1,0940
1,0819
0,3937
1 600 1 400 1 200 1 000 800 600 400 200 0 0
100
200
300
400
500
maximální počet shluků
Obr. 3.43 Průměrný čas průběhu dvoufázového algoritmu v závislosti na maximálním
počtu shluků kmax pro počet dimenzí d = 2, požadovaný počet shluků k = 3, počet objektů n = 5 000 a počet iteračních kroků p = 10
116
Tab. 3.19 Průměrné časy a směrodatné odchylky potřebné na zpracování dvoufázového
algoritmu v závislosti na maximálním povoleném počtu shluků vytvářených v průběhu první fáze kmax 4 6 8 10 20 50 100 150 aritm. průměr 4,5000 6,3440 8,8430 10,7030 19,3130 48,9690 84,9060 141,3590 směr. odchylka 0,1009 0,1892 0,0659 0,2080 0,1938 0,0899 0,4179 0,2448
Autoři ve svém článku [29] doporučují pro datové soubory, v jejichž struktuře jsou objekty rozloženy poměrně rovnoměrně, položit hodnotu parametru kmax blízkou celkovému počtu objektů n. Z těchto dvou výše uvedených důvodů se ukazuje jako nevhodné použití dvoufázového algoritmu pro velké soubory dat s rovnoměrným rozložením objektů.
3.4.5 Shrnutí Byly popsány dvě verze dvoufázového algoritmu k-průměrů umožňující detekci odlehlých objektů a jejich případné vyřazení z dalšího zpracování. Tento algoritmus v první fázi vytvoří pomocí obměněného algoritmu k-průměrů množinu skupin, respektive množinu jejich center, v druhé fázi pak pomocí minimální kostry vyhledá odlehlé objekty a vytvoří požadovaný počet shluků. Experimenty naznačily, že časová náročnost první z variant algoritmu roste s počtem objektů mnohem rychleji než lineárně. Tento rychlý růst byl způsoben zpracováním v rámci první fáze. Tato, pro zpracování velkých souborů dat nevýhodná vlastnost, byla odstraněna v druhé verzi. Tato verze se liší pouze kritériem ukončení běhu první fáze algoritmu. Postup, dle návodu v článku [17], je ukončen, pokud oproti předchozímu iteračnímu kroku došlo k absolutnímu zlepšení hodnoty optimalizované funkce Q menšímu, než předem daná hodnota. Popsaný způsob ukončení jsem nahradila ukončením běhu postupu po předem daném počtu iterací. Tím odpadl výpočet hodnoty funkce Q v každém kroku a průběh nárůstu doby zpracování programu se zmírnil na lineární. Tato druhá verze je tedy použitelná i pro velké datové soubory.
117
Dále se ukázalo, že časová náročnost nezávisí na požadovaném počtu shluků. Naopak doba zpracování enormně roste s povoleným počtem center vzniklých v rámci první fáze. Jelikož autoři doporučují v případě rovnoměrně uspořádaných dat volit hodnotu tohoto parametru blízkou celkovému počtu objektů, není vhodné jeho využití pro velké soubory dat s nevýrazně strukturovanými daty.
118
4 Závěrečné srovnání alternativ metody k-průměrů V této kapitole budou shrnuty výhody a nevýhody všech alternativ metody k-průměrů popsaných v předešlých kapitolách. Dále bude provedeno srovnání
jednotlivých alternativ z různých hledisek. Pro potřeby srovnávacích a ověřovacích experimentů prováděných v rámci této práce jsem algoritmy naprogramovala ve vývojovém prostředí MATLAB. Toto prostředí není pro programování obdobných metod úplně nejvhodnější, zvlášť pokud by programy měly mít praktické a rutinní využití. V takovém případě by bylo vhodnější programovat v některém programovacím jazyku nižší úrovně, jako je například C++ či FORTRAN, ve kterých by bylo zpracování mnohem rychlejší. Cílem mé práce však bylo naprogramování zkušebních verzí. Hlavní důraz jsem kladla na funkčnost algoritmu. Programování v prostředí MATLAB se mi jevilo pro tyto účely nejefektivnější. Vlastnosti algoritmů jsem ověřovala na uměle generovaných datech různých vlastností. Ke srovnání jednotlivých postupů jsem dále využila dva soubory obsahující reálná data. Oba soubory jsou k dispozici na internetové stránce [80]. Ve své práci jsem se zaměřila na hledání možností minimalizace dopadu pouze těch negativních vlastností metody k-průměrů, které nevyplývají přímo z podstaty samotné metody. Příkladem principiální negativní vlastnosti, jíž jsem se nezabývala, je například vytváření pouze konvexních shluků či nutnost zadání požadovaného počtu shluků. Shlukování bez těchto negativních vlastností lze docílit pouze použitím některých jiných z mnoha metod shlukové analýzy. Zabývala jsem se výzkumem a srovnáním existujících alternativ k základnímu algoritmu k-průměrů a v některých případech jsem navrhla vlastní modifikaci postupu. Ve většině navržených změn se jednalo o úpravu vedoucí ke zrychlení zpracování. V některých změnách přináší mnou navržená alternativa nové, dobře využitelné vlastnosti algoritmu.
119
4.1 Popis dat 4.1.1 Soubor VOWEL Soubor VOWEL obsahuje 528 objektů popsaných pomocí 10 kvantitativních proměnných uspořádaných do 11 shluků. Charakterizuje výslovnost samohlásek v britské angličtině. Osm mluvčích (čtyři muži a čtyři ženy) přečetlo šestkrát 11 jednoslabičných slov, která se lišila výslovností samohlásky (heed, hid, head, had, hard, hud, hod, hoard, hood, who`d, heard). Každé slovo tedy bylo proneseno 48krát. V každém z uvedených
případů byl zaznamenán zvuk a převeden do deseti
numerických hodnot. Příslušný záznam je jedním objektem výsledného souboru. Shluky představují jednotlivá slova, kterých je jedenáct. Zdrojem dat byl [80]. Soubor je k dispozici na přiloženém CD, které je přílohou této práce. Popisné charakteristiky všech proměnných jsou uvedeny v tabulce 4.1. Podrobným průzkumem dat jsem zjistila, že hodnoty všech proměnných jsou rozloženy relativně rovnoměrně. Jedinou výjimkou je první proměnná, kde všechny objekty kromě jednoho nabývají záporných hodnot. Pouze u jediného objektu nabývá první proměnná kladné hodnoty. Není vyloučeno, že tato výjimka je způsobena chybou ve zdrojovém datovém souboru. Tab. 4.1 Popisné charakteristiky souboru VOWEL
Aritmetický Medián průměr X1 X2 X3 X4 X5 X6 X7 X8 X9 X10
–3,1598 +1,7353 –0,4480 +0,5250 –0,3893 +0,5850 +0,0175 +0,4174 –0,2681 –0,0846
–3,0970 +1,7330 –0,5025 +0,4565 –0,4170 +0,5275 +0,0400 +0,4770 –0,2550 –0,0825
Min.
Max.
Kvantil 5%
Kvantil 95 %
Směrodatná odchylka
–5,2110 –1,2740 –2,4870 –1,4090 –2,1270 –0,8360 –1,5370 –1,2930 –1,6130 –1,6800
1,8230 5,0740 1,4130 2,1910 1,8310 2,3270 1,4030 1,6730 1,3090 1,3960
–4,6940 –0,1100 –1,6460 –0,6900 –1,5030 –0,4120 –0,7520 –0,6020 –1,3890 –0,9350
–1,5120 +3,7490 +0,8990 +1,7710 +0,7530 +1,6860 +0,8130 +1,3460 +0,7670 +0,8650
0,9805 1,1610 0,7414 0,7694 0,7220 0,6485 0,4793 0,5956 0,6196 0,5603
Na obrázku 4.1 je znázorněn graf komponentního skóre souboru VOWEL s grafickým zvýrazněním příslušnosti jednotlivých objektů ke shlukům, tj. skupinám
120
příslušným ke stejnému slovu. Graf byl vytvořen v programu Excel s využitím výsledků metody hlavních komponent provedené v systému STATISTICA 6.0. Z obrázku je zřejmé, že shluky nejsou výrazně odděleny. Tento dojem však může být způsoben faktem, že první dva faktory popisují data jen z 50 %. 4
Shluk 1 Shluk 2
faktor 2
2
Shluk 3 Shluk 4 Shluk 5
0
Shluk 6 Shluk 7
-2
Shluk 8 Shluk 9
-4
Shluk 10 -6
-3
0
3
6
Shluk 11
faktor 1
Obr. 4.1 Rozptylový graf komponentního skóre souboru VOWEL
4.1.2 Soubor IRIS Soubor IRIS charakterizuje 150 objektů – květy z rodu iris, uspořádaných do tří shuků. Podrobný popis a zdroj dat viz [80]. Soubor je k dispozici na CD, které je přílohou této práce. Každý objekt (květ) je popsán pomocí čtyř kvantitativních proměnných, které představují jednotlivé rozměry, tj. šířku a délku kališních a korunních lístků květů. V tabulce 4.2 jsou uvedeny popisné charakteristiky všech proměnných souboru. Do souboru jsou zařazeny květy tří různých druhů z rodu iris, a to iris-setosa, iris-versicolor a iris-virginica. Soubor obsahuje 50 zástupců z každého druhu. Z průzkumové analýzy je zřejmé, že jeden z druhů se výrazněji odlišuje v popsaných atributech od zbývajících dvou. Ty se sice vzájemně také odlišují, ale ne tak výrazně, dokonce dochází k prolínání. Vše je názorně vidět na obrázku 4.2, na němž je znázorněn graf komponentního skóre souboru IRIS. Graf je vytvořen v programu Excel za využití výsledků metody hlavních komponent provedené v systému STATISTICA 6.0.
121
Data souboru IRIS jsou obsahem přílohy na přiloženém CD. V tabulce 4.2 jsou uvedeny popisné charakteristiky všech proměnných souboru. Jednotlivé grafy „scatterplot“ souboru IRIS jsou uvedeny v příloze 9. Tab. 4.2 Popisné charakteristiky souboru IRIS
Aritmetický Medián průměr X1 X2 X3 X4
5,8433 3,0540 3,7587 1,1987
5,8000 3,0000 4,3500 1,3000
Min.
Max.
Kvantil 5%
Kvantil 95 %
Směrodatná odchylka
4,3000 2,0000 1,0000 0,1000
7,9000 4,4000 6,9000 2,5000
4,6000 2,3000 1,3000 0,2000
7,3000 3,8000 6,1000 2,3000
0,8281 0,4336 1,7644 0,7632
2,0 1,5 faktor 2
1,0 Iris-setosa Iris-versicolor Iris-virginica
0,5 0,0 -0,5 -1,0 -1,5 -6,0
-4,0
-2,0
0,0
2,0
4,0
faktor 1
Obr. 4.2 Rozptylový graf komponentního skóre souboru IRIS
4.1.3 Soubor GENER Soubor GENER obsahuje milion uměle generovaných objektů rozdělených do dvaceti stejně velkých shluků. Každý objekt je popsán pomocí dvou kvantitativních proměnných. Souřadnice objektů jednotlivých shluků byly generovány jako náhodné hodnoty náležící normálnímu rozdělení daných parametrů. Parametry rozdělení v jednotlivých shlucích byly generovány opět náhodně jako hodnoty rovnoměrného rozdělení; střední hodnota náhodně z intervalu (0, 10) a rozptyl 2 z intervalu (0, 3).
122
Data souboru GENER jsou k dispozici na CD, které je přílohou této práce. V tabulce 4.3 jsou uvedeny popisné charakteristiky obou proměnných pro celý soubor, v tabulce 4.4 průměry a směrodatné odchylky těchto proměnných samostatně v rámci každého shluku. Tab. 4.3 Popisné charakteristiky souboru GENER
X1 X2
Aritmetický průměr
Medián
Min.
Max.
2,7468 1,7759
2,7686 1,5462
-7,2367 -7,8476
13,8266 14,0248
Kvantil Kvantil Směrodatná 5% 95 % odchylka -2,1220 0,4778 -3,0756 -0,3011
1,7068 1,9165
Tab. 4.4 Popisné charakteristiky jednotlivých shluků souboru GENER X1 X2
X1 X2
Shluk Arit.průměr Směr.odchylka Arit.průměr Směr.odchylka
1. 0,4 1,8 1,7 1,7
2. 2,3 1,4 0,0 0,0
3. 2,5 1,2 1,5 1,6
4. 3,1 1,8 5,0 2,0
5. 2,1 0,2 2,3 0,3
6. 1,2 0,5 1,6 1,7
7. 4,3 0,2 4,7 0,0
8. 3,0 1,5 2,4 0,9
9. 3,3 1,9 1,1 1,3
10. 2,1 1,0 2,7 1,3
Shluk Arit.průměr Směr.odchylka Arit.průměr Směr.odchylka
11. 2,3 0,4 0,5 2,0
12. 4,7 1,8 0,6 1,9
13. 2,5 0,9 0,7 0,4
14. 2,4 1,8 0,7 1,6
15. 3,8 0,2 2,7 0,0
16. 3,3 0,6 1,4 0,2
17. 4,8 0,5 4,4 0,8
18. 0,3 0,6 0,9 2,0
19. 3,7 0,2 0,1 0,3
20. 3,0 1,9 0,5 0,5
4.1.4 Soubor GENER1 Soubor GENER1 obsahuje 100 000 uměle generovaných objektů rozdělených do dvaceti stejně velkých shluků. Každý objekt je popsán pomocí sta kvantitativních proměnných. Souřadnice objektů jednotlivých shluků byly generovány jako náhodné hodnoty náležící normálnímu rozdělení daných parametrů. Parametry rozdělení v jednotlivých shlucích byly generovány opět náhodně jako hodnoty rovnoměrného rozdělení; střední hodnota náhodně z intervalu (0, 5) a rozptyl 2 z intervalu (0; 2). Data souboru GENER1 jsou k dispozici na CD, které je přílohou této práce. V tabulce 4.5 jsou uvedeny popisné charakteristiky všech proměnných souboru.
123
Tab. 4.5 Popisné charakteristiky souboru GENER1
X1 X2 X3 X4 X5 X6 X7 X8 X9 X10 X11 X12 X13 X14 X15 X16 X17 X18 X19 X20 X21 X22 X23 X24 X25 X26 X27 X28 X29 X30 X31 X32 X33 X34 X35 X36 X37 X38 X39 X40
Aritmetický průměr
Medián
Min.
Max.
Kvantil 5%
Kvantil 95 %
Směrodatná odchylka
2,2355 2,7365 3,2327 2,7260 2,6223 2,6273 2,9068 2,3944 2,3599 2,9530 2,2706 2,7475 2,6651 2,8583 2,5151 2,1205 2,3424 1,9387 2,1539 3,1982 2,5311 2,8669 2,7528 2,5343 2,7368 2,5317 2,7915 2,4550 2,1315 2,4069 2,3830 3,1110 2,3206 2,7465 2,7151 1,8970 2,9987 2,5166 2,4861 2,2694
2,2588 3,0693 3,5299 2,6939 2,5113 2,3900 2,9296 2,4456 2,3418 3,1433 1,9726 2,9532 2,6944 2,9815 2,5440 1,9987 2,3199 1,8203 1,9238 3,2504 2,3276 3,0509 2,9217 2,5694 2,8060 2,5117 2,6270 2,5905 2,0412 2,2966 2,4552 3,3792 2,1643 3,0602 2,9640 1,7698 3,1954 2,4003 2,4383 2,1752
-5,3484 -5,1288 -6,7602 -6,1811 -4,9025 -6,3810 -6,7383 -5,1248 -4,8920 -5,6218 -5,9049 -5,4837 -4,0938 -5,8623 -6,9252 -5,8591 -7,0303 -6,8616 -5,4209 -4,2069 -4,5704 -6,7661 -5,5637 -6,1767 -6,9161 -6,9047 -4,0321 -7,4858 -6,8537 -6,5093 -7,3035 -6,9309 -6,1079 -4,5693 -6,3930 -6,9213 -6,5164 -6,7082 -6,3525 -5,0896
10,4331 11,5859 10,6186 11,4071 11,3583 12,2674 12,3092 9,3178 11,0686 11,5913 12,0433 10,6108 10,0222 11,1088 11,3046 9,4142 8,9958 9,5205 11,6493 11,4323 11,5818 11,3039 11,6332 11,5617 10,5311 11,0549 11,7886 10,9543 10,4338 9,4485 11,2085 9,8277 9,4422 10,6180 12,0741 10,5016 10,0106 10,7510 10,8105 9,7282
-0,3896 -0,3566 -0,1940 -0,7204 -0,1581 -0,3533 -0,5731 -0,5369 -0,6416 -0,1116 -0,6641 -0,3392 0,2172 -0,4229 -0,1735 -0,6705 -0,6997 -0,6735 -0,6556 0,1192 -0,0937 0,0034 -0,3918 -0,5491 -0,5531 -0,7386 0,3684 -1,1186 -0,7007 -0,1940 -0,5561 -0,3244 -0,1933 0,1036 -0,7884 -0,7885 0,0349 -0,3352 -0,7296 -0,3598
5,3882 5,6804 5,6370 6,1994 5,6310 6,0501 6,1973 4,9214 5,4798 5,6760 5,4543 5,6187 5,1326 5,7187 5,5019 4,9393 5,1710 4,7797 5,5884 5,9107 5,3274 5,5018 5,5288 5,3666 5,4797 5,7171 5,4347 5,4638 5,0691 4,8776 5,2427 5,7337 5,2606 5,3163 5,7191 5,0855 5,5281 5,5828 5,3655 4,9527
1,8086 1,8206 1,7421 2,1247 1,7838 2,0618 2,0493 1,7081 1,8936 1,8478 1,8785 2,0686 1,6298 1,8617 1,7731 1,8144 2,0717 1,7349 1,8910 1,7685 1,7752 1,7196 1,9416 1,8417 1,9180 1,9985 1,5635 2,1352 1,7921 1,6121 1,8941 1,8319 1,7054 1,7021 1,9673 1,8618 1,6950 1,8938 1,8832 1,7932
124
X41 X42 X43 X44 X45 X46 X47 X48 X49 X50 X51 X52 X53 X54 X55 X56 X57 X58 X59 X60 X61 X62 X63 X64 X65 X66 X67 X68 X69 X70 X71 X72 X73 X74 X75 X76 X77 X78 X79 X80 X81 X82 X83
Aritmetický průměr
Medián
Min.
Max.
Kvantil 5%
Kvantil 95 %
Směrodatná odchylka
2,7700 2,3754 2,4697 2,7990 2,1735 2,6150 2,2318 2,6048 1,8400 2,5960 2,5412 2,3284 2,8983 2,5211 2,9620 2,5194 2,9264 2,2029 2,1857 2,6346 2,2279 2,4999 2,8019 1,8037 2,7236 2,2010 2,3580 2,6039 2,7389 2,5858 2,5210 2,1696 2,5079 2,1835 2,1727 2,4877 2,4417 2,1876 2,6786 2,4449 2,8013 1,9308 2,2051
3,0371 2,5134 2,4107 2,7489 1,9066 2,4565 1,9950 2,5381 1,6048 2,5118 2,7736 2,3276 2,8045 2,7001 2,9793 2,3630 3,2145 2,0578 2,0679 2,7813 2,1354 2,4264 2,7266 1,7075 2,8342 2,1785 2,0612 2,7561 2,6741 2,3927 2,5980 2,1202 2,4229 2,2039 1,7932 2,5015 2,2766 1,9767 2,4518 2,5024 2,9281 1,8115 2,3476
-6,2123 -5,5693 -5,1300 -5,8091 -6,9393 -6,0695 -6,0158 -6,7036 -4,4556 -5,2092 -7,5074 -6,5236 -6,8650 -4,4469 -7,4323 -6,6672 -6,6241 -6,4853 -6,5766 -5,7804 -5,0515 -4,3415 -5,4956 -6,8879 -6,2005 -7,0331 -6,2636 -6,2826 -3,5071 -6,4089 -6,5481 -7,3906 -5,3262 -6,1870 -6,5136 -5,2046 -5,2893 -6,8428 -5,5093 -5,4434 -5,8615 -7,0025 -7,4768
11,4271 10,6320 11,1240 9,3490 10,4577 9,7423 11,2593 10,9871 10,2191 11,3000 11,5647 10,7956 11,5828 11,9103 10,8915 9,7909 10,4498 8,8560 10,0540 9,1950 10,8722 11,9321 10,8775 10,0325 9,3519 9,6134 9,6871 10,0980 12,0325 10,2458 10,3151 11,2201 11,4838 10,0500 10,9755 12,2937 11,7940 10,2020 10,6451 10,9027 10,0748 10,0412 9,1207
-0,4027 -0,2887 -0,2585 0,1237 -0,5960 -0,2979 -0,7877 -0,2959 -0,6074 -0,0949 -0,7958 -0,6147 -0,0606 -0,0545 -0,0483 0,2733 -0,4698 -0,5959 -0,6939 -0,3256 -0,1129 -0,3355 0,0687 -0,8057 -0,2336 -0,5827 -0,6636 -0,7432 -0,0184 -0,3880 -0,3587 -0,4315 -0,5081 -0,5801 -0,7309 -0,2043 -0,1047 -0,6072 -0,1814 -0,5874 0,0265 -1,0847 -0,9549
5,3158 4,9821 5,3291 5,5516 5,3862 5,4914 5,3286 5,3523 4,8227 5,0982 5,8640 5,2323 5,5937 5,3940 5,6951 5,3078 5,5951 5,0863 5,1950 5,2388 4,9167 5,5456 5,7064 4,9473 5,2329 5,1676 5,4949 5,1362 5,8312 5,0474 4,8960 5,0686 5,5858 4,6185 5,8592 5,4505 5,1993 5,3452 5,6545 5,1940 5,3611 4,9770 4,8139
1,9115 1,6161 1,8335 1,7486 1,9572 1,8020 1,9583 1,7214 1,6856 1,6494 2,0089 1,7544 1,7342 1,7983 1,7342 1,5696 1,9429 1,7435 1,8467 1,6921 1,6499 1,9500 1,7648 1,7450 1,6573 1,7777 1,9727 1,9063 1,9182 1,8205 1,6390 1,8095 2,0133 1,7385 2,1284 1,8621 1,6768 1,8065 1,8420 1,8909 1,7080 1,8935 1,8202
125
X84 X85 X86 X87 X88 X89 X90 X91 X92 X93 X94 X95 X96 X97 X98 X99 X100
Aritmetický průměr
Medián
Min.
Max.
Kvantil 5%
Kvantil 95 %
Směrodatná odchylka
2,2745 2,6152 2,3235 2,4752 2,7183 2,9747 2,4241 2,8256 2,2469 2,5841 3,0096 2,2820 2,6458 2,5418 2,6745 2,1864 2,8415
2,3430 2,5706 2,5525 2,3154 2,9061 3,3831 2,2662 2,7763 2,3610 2,6410 3,1468 2,1493 2,6114 2,5132 2,7212 2,3094 2,8751
-6,0991 -4,4991 -5,8007 -5,7630 -5,7376 -6,5788 -5,2118 -6,5478 -5,4398 -5,6922 -4,4769 -6,3438 -4,4549 -3,8745 -6,7812 -6,3862 -6,0561
9,4675 11,6047 12,5533 11,0622 10,2548 10,6906 11,8403 10,2215 13,9508 8,8770 9,1259 11,3453 12,5693 9,7728 8,9354 11,5849 9,8168
-0,5776 -0,0685 -0,7209 -0,6580 -0,2896 -0,3351 -0,4950 0,1394 -0,4760 -0,3440 0,4298 -0,6498 0,0666 -0,1936 0,2694 -0,6761 0,0338
5,2497 5,4110 5,1343 6,0737 5,2474 5,7376 5,8287 5,5900 5,4933 4,9998 5,2449 5,4537 5,4815 5,2316 4,9820 5,1661 5,3106
1,9676 1,7803 1,8621 2,1321 1,6986 1,9826 1,9222 1,6981 1,8526 1,6748 1,6002 1,8477 1,6992 1,7272 1,4620 1,9394 1,5749
Tab. 4.6 Popisné charakteristiky souboru VILIKUS
X1 X2
Aritmet. průměr
Medián
Min.
Max.
Kvantil 5%
Kvantil 95 %
Směrodatná odchylka
0,52103 0,52610
0,51188 0,52276
0,01294 0,08622
0,97411 0,91789
0,08574 0,15279
0,92332 0,85479
0,21765 0,16440
Tab. 4.7 Popisné charakteristiky jednotlivých shluků souboru VILIKUS
Shluk Počet objektů Arit.průměr X1 Směr.odchylka Arit.průměr X2 Směr.odchylka
1. 529 0,47 0,03 0,44 0,03
2. 516 0,56 0,03 0,52 0,03
3. 490 0,54 0,03 0,32 0,03
4. 482 0,47 0,03 0,66 0,03
5. 488 0,86 0,03 0,39 0,03
6. 507 0,68 0,03 0,57 0,03
7. 473 0,63 0,03 0,77 0,03
8. 522 0,27 0,03 0,18 0,03
9. 532 0,33 0,03 0,36 0,03
10. 477 0,67 0,03 0,35 0,03
Shluk Arit.průměr Směr.odchylka Arit.průměr Směr.odchylka
11. 0,31 0,03 0,59 0,03
12. 0,44 0,03 0,56 0,03
13. 0,84 0,03 0,74 0,03
14. 0,76 0,03 0,49 0,03
15. 0,59 0,03 0,63 0,03
16. 0,40 0,03 0,84 0,03
17. 0,11 0,03 0,47 0,03
18. 0,36 0,03 0,70 0,03
19. 0,90 0,03 0,54 0,03
20. 0,22 0,03 0,46 0,03
X1 X2
126
4.1.5 Soubor VILIKUS Soubor VILIKUS obsahuje 10 000 uměle generovaných objektů rozdělených do dvaceti shluků. Každý objekt je popsán pomocí dvou kvantitativních proměnných. Podrobný popis a zdroj dat viz [65]. Data souboru VILIKUS jsou k dispozici na CD, které je přílohou této práce. V tabulce 4.6 jsou uvedeny popisné charakteristiky obou proměnných pro celý soubor, v tabulce 4.7 průměry a směrodatné odchylky těchto proměnných samostatně v rámci každého shluku.
4.2 Provedené experimenty Na výše uvedených datových souborech jsem provedla ověření a srovnání jednotlivých alternativ algoritmu k-průměrů. Zaměřila jsem se na sledování problematických vlastností základní metody, které jsem blíže popsala v kapitole 2.
4.2.1 Časová náročnost algoritmu Při ověřování časové náročnosti implementací jednotlivých alternativ jsem sledovala časy zpracování shlukování souborů IRIS a VOWEL. Především jsem ale zaměřila na sledování času zpracování při aplikaci programů na části datového souboru GENER obsahující rozdílné počty objektů. Jednotlivé podsoubory původního souboru jsem vytvořila náhodným výběrem objektů z každého shluku tak, aby výsledný podsoubor obsahoval předem daný počet objektů, přičemž všechny shluky byly stejně velké (z hlediska počtu objektů). Většinu algoritmů jednotlivých alternativ se mi podařilo naprogramovat tak, že následné experimenty naznačily lineární nárůst času v závislosti na počtu objektů ve zpracovávaném datovém souboru. Toto je zřejmé z obrázků 3.9, 3.10, 3.21, 3.25, 3.30 a 3.34. Některé z programů, především varianta algoritmu BIRCH, prokazovaly podstatně rychlejší nárůst času. Podstatné snížení rychlosti nárůstu časové náročnosti v závislosti na počtu objektů jsem docílila změnou kritéria zastavení výpočtu. V původních algoritmech bylo kritériem zastavení zanedbatelné zlepšení (tj. absolutní či
127
relativní zlepšení menší než předem daná konstanta) hodnoty účelové funkce Q, popsané vztahem (2.17). V tomto případě je nutno v rámci každé iterace počítat aktuální hodnotu účelové funkce Q. Při výpočtu se prochází všemi objekty. Ve „zrychlených“ variantách je využito jako kritéria zastavení dosažení zadaného počtu iterací. Nevýhodou druhého popsaného způsobu ukončení výpočtu algoritmu je určení počtu prováděných iterací. Neexistuje žádné doporučení vhodné volby. Toto by mohlo být cílem a zaměřením dalších výzkumů. Možným kompromisem by byl výpočet a srovnání zlepšení hodnoty účelové funkce Q ne v rámci každé iterace, ale například v každé desáté iteraci. Z tohoto pohledu jsou jednotlivé alternativy srovnatelné vzhledem k relativně lineárnímu nárůstu časové náročnosti v závislosti na počtu objektů. Časy zpracování jednotlivých programů jsou ovlivněny mou konkrétní implementací. Mým cílem nebyla optimalizace programů, proto je pravděpodobné, že existují rychlejší implementace jednotlivých algoritmů. Uvedené výsledky je dobré považovat jako „horní hranice“ možností algoritmů. Absolutní hodnoty časů zpracování tedy není vhodné porovnávat. Údaje v tabulkách 4.9 a 4.10 o časech zpracování datových souborů IRIS a VOWEL pomocí jednotlivých alternativ je proto nutné brát pouze jako orientační. V tabulkách jsou uvedeny průměrné hodnoty zpracování jednotlivých algoritmů pro oba sledované soubory. Průměrné hodnoty jsem vždy vypočítala z deseti naměřených hodnot (viz přílohy 1 a 2). V případech, kdy se běh zpracování skládal z několika samostatných částí, jsem zaznamenávala časy jednotlivých částí samostatně. V tabulkách jsou pak uváděny průměrné časy jednotlivých částí odděleně. Jednalo se o případ filtrovacího algoritmu, kdy se běh skládal ze dvou částí, uspořádání dat do struktury mrkd-stromu a následné vlastní shlukování. Dalším případem je filtrovací algoritmus využívající inicializačních center vzniklých pomocí algoritmu k-průměrů++. V tomto případě má běh tři samostatné části. Posledním případem je vlastní algoritmus k-průměrů++, jak je popsán v kapitole 3.2.3. I přes relativizaci výsledků je však zřejmé, že velmi výjimečné postavení mají algoritmy postavené na mrkd-stromech, viz kapitola 3.2. Toto postavení je dáno faktem, že oba popsané algoritmy využívající mrkd-stromy jsou složeny ze dvou samostatných fází. V první přípravné fázi se data uspořádají do stromové struktury a v druhé výkonné fázi se provádí vlastní shlukování. Hodnoty celkových časů zpracování nijak nevybočují oproti hodnotám časů zpracování ostatních algoritmů. Při bližším průzkumu, tj.
128
sledování časů zpracování jednotlivých fází, je však zřejmé, že čas první fáze zabírá podstatnou část z celkového času zpracování. V případě, že bychom potřebovali provádět opakované experimenty nad jedněmi konkrétními daty, je vhodné jednorázovým během první fáze data uspořádat do požadované struktury a poté již s malou časovou náročností opakovaně provádět druhou fázi algoritmu.
4.2.2 Snížení vlivu inicializačního rozdělení Vliv inicializačního rozdělení objektů do shluků jsem ověřovala na datových souborech IRIS a VOWEL. V případě algoritmu BIRCH jsem experimenty prováděla pro dvojí nastavení vstupních parametrů. Vždy jsem vybrala jedno nastavení parametrů, jehož výsledky vycházely z mých experimentů nejlépe, a druhé, jehož výsledky patřily v rámci mých experimentů k nejhorším, viz kapitola 3.1.2. Všechny programy jsem spouštěla pro oba soubory desetkrát, vždy s jinými náhodně vybranými inicializačními centry. Dále jsem spouštěla jednotlivé programy (u kterých to má smysl) s množinami inicializačních center vytvořených pomocí algoritmu k-průměrů++. V případě algoritmu BIRCH jsem algoritmus k-průměrů++ aplikovala pro vytváření množiny inicializačních center při shlukování středů vzniklých v první fázi algoritmu. Všechny tyto pokusy jsem opět prováděla pro každý program desetkrát, vždy pro jiný náhodně vybraný objekt souboru, který je v rámci algoritmu k-průměrů++ určen jako první inicializační centrum. Při jednotlivých bězích programů
jsem zaznamenávala hodnotu optimalizované funkce Q dané předpisem (2.17). Viz přílohy 1 a 2. Při sledování množin inicializačních center vytvořených pro soubor VOWEL algoritmem k-průměrů++ jsem zjistila, že se ve všech těchto množinách vyskytuje stejný objekt. Při následném shlukování pomocí libovolného z uvedených algoritmů vytvořil tento objekt samostatný shluk. Fakt, že objekt vytváří svůj vlastní shluk, je jednou z mnoha možných definic odlehlého objektu. Z tohoto důvodu jsem všechny provedené experimenty provedla i pro soubor, v němž byl tento objekt vynechán. Pro každou z výše popsaných skupin deseti hodnot funkce Q jsem vypočítala základní popisné charakteristiky, tj. aritmetický průměr, směrodatnou odchylku, minimum a maximum. Tyto hodnoty jsou uvedené v tabulkách 4.7 a 4.8.
129
Tab. 4.7 Srovnání hodnot funkce Q při shlukování souboru VOWEL pomocí vybraných
metod při různých inicializačních rozděleních Metoda Filtrovací algoritmus, k-průměrů++ bez odlehlého objektu BIRCH(200;0,1), k-průměrů++ bez odlehlého objektu BIRCH(200;0,5), náhodná inic.centra bez odl. objektu, včetně nepov. fáze k-průměrů++ bez odlehlého objektu BIRCH(200;0,1), k-průměrů++ bez odl. objektu, včetně nepov. fáze BIRCH(200;0,5), k-průměrů++ bez odl. objektu, včetně nepov. fáze BIRCH(200;0,1), náhodná inic.centra bez odlehlého objektu k-průměrů++ celý soubor BIRCH(200;0,5), náhodná inic.centra celý soubor, včetně nepovinné fáze Filtrovací algoritmus bez odlehlého objektu BIRCH(200;0,1), náhodná inic.centra bez odl. objektu, včetně nepov. fáze Filtrovací algoritmus celý soubor Filtrovací algoritmus, k-průměrů++ celý soubor BIRCH(200;0,5), náhodná inic.centra celý soubor BIRCH(200;0,5) , k-průměrů++ celý soubor, včetně nepovinné fáze BIRCH(200;0,1), náhodná inic.centra celý soubor, včetně nepovinné fáze BIRCH(200;0,1), náhodná inic.centra celý soubor BIRCH(200;0,5), k-průměrů++ bez odlehlého objektu BIRCH(200;0,1) , k-průměrů++ celý soubor, včetně nepovinné fáze BIRCH(200;0,1) , k-průměrů++ celý soubor
Aritmet. průměr
Směrodat. Minimum Maximum odchylka
0989,21
016,5685
0969,8
1 020,7
0993,33
020,4882
0970,2
1 045,6
0998,14
00,1006
0998,1
0998,3
0998,41
023,2979
0958,7
1 048,7
1 005,44
16,8667
0980,5
1 039,9
1 006,90
14,2981
0984,6
1 028,6
1 009,99
028,0979
0971,1
1 072,5
1 010,70
023,9491
0968,8
1 047,2
1 011,16
00,1200
1 011,1
1 011,4
1 012,51
039,1205
0946,8
1 110,2
1 017,82
00,0400
1 017,8
1 017,9
1 017,90
040,0447
0966,7
1 106,0
1 023,47
023,3139
0976,5
1 057,6
1 123,70
043,0559
1 053,4
1 189,2
1 029,21
15,3233
1 012,6
1 049,5
1 031,22
00,0600
1 031,2
1 031,4
1 033,20
028,0910
0997,2
1 071,2
1 037,84
014,5805
1 016,0
1 071,8
1 055,02
21,6716
1 011,0
1 088,2
1 061,00
036,1995
1 011,3
1 118,1
130
Metoda BIRCH(200;0,5) , k-průměrů++ celý soubor BIRCH(200;0,5), náhodná inic.centra bez odlehlého objektu Dvoufázový algoritmus bez odlehlého objektu Dvoufázový algoritmus celý soubor
Arit. průměr
Směrodat. odchylka
Min.
Max.
1 075,19
014,6442
1 055,1
1 097,3
1 080,92
071,2661
1 003,5
1 283,9
2 885,03
199,5450
2 486,5
3 106,4
3 418,70
197,6450
3 105,0
3 696,8
Tab. 4.8 Srovnání hodnot funkce Q při shlukování souboru IRIS pomocí vybraných
metod při různých inicializačních rozděleních Metoda
Aritmet. průměr
Směrodat. Minimum Maximum odchylka
k-průměrů++
078,94
00,0019
78,94
078,95
Filtrovací algoritmus, k-průměrů++
078,94
00,0017
78,94
078,94
078,94
00,0017
78,94
078,95
078,94
00,0020
78,94
078,95
078,94
00,0013
78,94
078,95
078,94
00,0021
78,94
078,95
BIRCH(50;0,1), k-průměrů++
079,35
00,1852
79,14
079,65
Filtrovací algoritmus
081,69
07,2756
78,94
103,45
BIRCH(50;0,1), náhodná inic.centra
086,16
20,0730
79,24
146,38
BIRCH(100;0,9), k-průměrů++
094,42
07,7617
89,34
106,28
BIRCH(100;0,9), náhodná inic.centra
129,61
47,8427
89,34
210,72
Dvoufázový algoritmus
137,93
77,5380
78,94
361,29
BIRCH(50;0,1), náhodná inic.centra včetně nepovinné fáze BIRCH(50;0,1), k-průměrů++ včetně nepovinné fáze BIRCH(100;0,9), náhodná inic.centra včetně nepovinné fáze BIRCH(100;0,9), k-průměrů++ včetně nepovinné fáze
Ze zjištěných hodnot je zřejmé, že shlukování souboru bez odlehlého objektu dosahuje lepších průměrných hodnot funkce Q. Zvlášť výrazný je tento rozdíl v případě, kdy množina inicializačních center byla vytvářena algoritmem k-průměrů++. Toto je
131
způsobeno výše uvedeným faktem existence shluku obsahujícího pouze jediný objekt. Pokud tento objekt ze souboru vyjmeme, má výsledné shlukování znatelně lepší kvalitu. Dále experimenty ukázaly, že lepší hodnoty funkce Q mají filtrovací algoritmus a algoritmus k-průměrů++. Naopak nejhorších výsledků dosáhl dvoufázový algoritmus. Směrodatné odchylky jsou znatelně menší ve všech případech, kdy jsme množinu inicializačních center vytvářeli pomocí algoritmu k-průměrů++. Z hodnot směrodatných odchylek můžeme usoudit, že výsledky shlukování jsou mnohem vyváženější v případech, kdy jsou inicializační centra rozložena mezi daty rovnoměrně, jako např. u algoritmu k-průměrů++. Je zřejmé, že cíleně rovnoměrné rozložení inicializačních center má daleko menší vliv na výsledné shlukování, než rozložení náhodné. Na výsledky je tedy možno se více spolehnout. Výraznou výjimkou byl algoritmus BIRCH s využitím přidané nepovinné fáze, při níž dochází k vylepšení shlukování dosaženého pomocí standardních fází algoritmu užitím klasické metody k-průměrů. V případě tvorby množiny inicializačních center pomocí algoritmu k-průměrů++ dosahovaly směrodatné odchylky sice velmi nízkých, nikoliv však zanedbatelných hodnot. V případě využití náhodného výběru inicializačních center dosahovaly směrodatné odchylky extrémně malých, téměř nulových hodnot. Ve většině těchto případů byla hodnota funkce Q téměř konstantní. To znamená, že se neprojevil vliv výběru inicializačních center. Z výše uvedeného možno usoudit, že data neobsahující odlehlé objekty je z hlediska kvality výsledného shlukování výhodné použít předzpracování pomocí algoritmu k-průměrů++ za účelem vytvoření optimální množiny inicializačních center. V případě existence odlehlých objektů mezi daty je potřeba tyto objekty ze shlukování vyloučit. Pak platí předchozí doporučení. Pokud ovšem není možné, například z metodických důvodů, odlehlé objekty z procesu shlukování vylučovat, pak naopak toto předzpracování není vhodné použít. Dále je možné doporučit algoritmus BIRCH s přidáním nepovinné fáze, který v rámci experimentů neprojevil závislost na volbě inicializačních center. Nutno ovšem připomenout, že přidáním nepovinné fáze velmi narůstá doba zpracování algoritmu a program se stává špatně použitelný pro velmi rozsáhlé soubory, viz kapitola 3.1.2.
132
4.2.3 Snížení vlivu odlehlých objektů Schopnost detekce odlehlých objektů jsem ověřovala na datových souborech IRIS a VOWEL. Srovnávala jsem výsledky tří algoritmů. Jedním je dvoufázový algoritmus, jehož popis je obsahem kapitoly 3.4. Druhým je algoritmus MFA (tj. mnou vytvořená modifikace filtrovacího algoritmu), která přináší změnu v první fázi postupu, tj. změnu postupu uspořádání dat do struktury mrkd-stromu, viz kapitola 3.2. Třetí zkoumanou možností detekce odlehlých objektů je mnou navržené využití algoritmu k-průměrů++ popsané v kapitole 3.3.
Postup využití algoritmu k-průměrů++ pro detekci odlehlých objektů Jak jsem již v předchozí části uvedla, v průběhu experimentů týkajících se shlukování souboru VOWEL jsem zjistila, že se v množině inicializačních center vytvořené pomocí algoritmu k-průměrů++ vždy vyskytuje jeden z objektů. Při dalším shlukování libovolnou metodou vytvořil tento objekt samostatný shluk. Fakt, že objekt vytvoří samostatný shluk, je považován za jednu z možných definic odlehlého objektu. Tento objekt byl navíc detekován jako odlehlý jak pomocí dvoufázového algoritmu, tak i pomocí metody využívající mrkd-stromy. Popsaná vlastnost je způsobena postupem, jakým jsou postupně vybírána inicializační centra v rámci algoritmu k-průměrů++. Celý postup je uveden v kapitole 3.3 a důležitý je především vztah (3.3). Prováděním mnoha pokusů s různými soubory obsahujícími odlehlý objekt jsem vysledovala, že odlehlý objekt je vždy prvkem množiny „dostatečného množství“ inicializačních center. Toto „dostatečné množství“ je tím menší, čím více je objekt odlehlý. To znamená, že velmi odlehlé objekty, které hodně narušují kvalitu výsledného shlukování se odhalí relativně rychle. K vlastní detekci odlehlého objektu stačí po vytvoření množiny inicializačních center provést dvě či tři iterace algoritmu k-průměrů. Již v průběhu těchto iterací se odlehlé objekty znatelně oddělí. Experimenty ukázaly, že výsledky dvoufázového algoritmu a algoritmu k-průměrů++ jsou závislé na nastavení vstupních parametrů programu. Výsledky
algoritmu MFA nejsou ovlivněny žádným uživatelským nastavením. Pokusy zaměřené na zkoumání chování algoritmu k-průměrů++ při detekci odlehlých objektů v souboru IRIS ukázaly, že pro hodnoty parametru k nižší než 10
133
algoritmus neodhalí žádné odlehlé objekty. Pro hodnotu k = 10 se vytvoří shluk obsahující tři objekty, který má výrazně menší počet objektů než ostatní shluky. Objekty v tomto shluku lze již označit za odlehlé. Situace je zachycena na obrázku 4.3 a). Pro hodnotu parametru k = 15 se vytvořil shluk obsahující samostatný objekt (na obrázku 4.3 b) objekt v kroužku) a dále se vytvořily shluky po dvou objektech. Při nastavení hodnoty parametru k = 20 se vytvoří tři shluky obsahující jediný objekt a dále tři shluky obsahující dva objekty. Takto detekované odlehlé objekty jsou vyznačeny na obrázcích 4.3 c) a d). Pro volbu vyšší hodnoty parametru k již vzniká velké množství malých shluků, a tím i nepřiměřeně velké množství objektů, jež jsou detekovány jako odlehlé. Jiný způsob znázornění identifikovaných odlehlých objektů pomocí grafů
3
3
2
2
1
1 faktor 2
faktor 2
„scatterplot“ je uveden v příloze 9.
0 -4
-3
-2
-1
-1
0
1
2
3
4
0 -4
-2
-1
faktor 1
3
3
2
2
1
1 faktor 2
faktor 2
b)
0 -3
-2
-1
-1
4
-3
-3 faktor 1
-4
2
-2
-2
a)
0
0
1
2
3
4
0 -4
-3
-2
-2
-1
-1
0
1
2
3
4
-2
-3
-3
faktor 1
faktor 1
c) d) Obr. 4.3 Odlehlé objekty souboru IRIS detekované pomocí algoritmu k-průměrů++, pro a) parametr k = 10, shluk obsahující tři objekty b) parametr k = 15, shluky obsahující 1 – 2 objekty c) parametr k = 20, shluky obsahující samostatné objekty d) parametr k = 20, shluky obsahující 1 – 2 objekty Experimenty zaměřené na zkoumání detekce odlehlých objektů v souboru IRIS pomocí dvoufázového algoritmu k-průměrů jsem již blíže popsala v kapitole 3.4. Výsledky jsou vidět na obrázku 4.4 a). Aplikaci algoritmu využívajícího mrkd-stromy
134
na odhalení odlehlých objektů jsem popsala v kapitole 3.2.3 a výsledky jsou znázorněny
3
3
2
2
1
1
faktor 2
faktor 2
na obrázku 4.4 b), znázornění pomocí grafů „scatterplot“ je uvedeno v příloze 9.
0 -4
-3
-2
-1
-1
0
1
2
3
4
0 -4
-3
-2
-1
-1
0
1
2
3
4
-2
-2 -3
-3
faktor 1
faktor 1
a)
b) Obr. 4.4 Odlehlé objekty souboru IRIS detekované pomocí
a) dvoufázového algoritmu b) algoritmu využívajícího mrkd-stromy
4.2.4 Validita výsledků shlukování Porovnání validity výsledného shlukování vytvořeného pomocí různých shlukovacích algoritmů jsem prováděla
na datových souborech IRIS a VOWEL.
V tabulkách příloh 3 (soubor VOWEL) a 4 (soubor IRIS) je uvedeno srovnání příslušností objektů obou zkoumaných souborů ke shlukům vytvořených jednotlivými metodami oproti shlukům faktickým. Tabulky obsahují počty objektů náležejících jednotlivým faktickým shlukům, které byly přiřazeny daným shlukům vytvořeným různými metodami. Validitu jsem ve všech případech měřila pomocí tří různých měr popsaných v kapitole 1.2.7. Kromě hodnoty funkce Q definované vztahem (2.17) jsem použila míru nesouhlasu MD definovanou vztahem (1.35) a hodnotu entropie E vypočítanou dle vztahu (1.37). Všechny spočítané hodnoty jsou uvedeny v tabulkách 4.9 a 4.10. Ve většině případů jsou všechny tři míry kvality shlukování ve vzájemném souladu. Všechny tři sledované míry kvality shlukování vyhodnotily nejhůře dvoufázový algoritmus a dále algoritmus BIRCH k-průměrů s nevhodně zvolenými parametry. V případě shlukování souboru IRIS byly všemi mírami vyhodnoceny obě testované metody využívající tvorbu množiny inicializačních center pomocí metody k-průměrů++. Při ověřování shlukování souboru VOWEL tyto dvě metody nejlépe nedopadly, byly
135
předstiženy klasickou metodou k-průměrů a filtrovacím algoritmem. Tento fakt je způsoben existencí odlehlého objektu v souboru VOWEL, což je blíže popsáno v předchozí části. Tab. 4.9 Srovnání metod při shlukování souboru VOWEL
Průměrný čas zpracování
Výsledná hodnota funkce Q
Míra nesouhlasu MD
Hodnota entropie E
3,2500
1 123,7
0,5833
1,2794
3,7660
1 100,9
0,5890
1,3331
4,1251 (0,125+4,0001)
1 022,7
0,5928
1,3277
k-průměrů (klasická)
5,5160
1 010,8
0,5739
1,2531
Dvoufázový algoritmus
6,2820
3 418,7
0,8674
2,2905
1 017,9
0,5966
1,1380
1 032,8
0,6155
1,2282
1 033,2
0,5663
1,2288
Metoda BIRCH k-průměrů (param. 200; 0,5) BIRCH k-průměrů (param.10; 0,5) k-průměrů++
Filtrovací algoritmus Mrkd stromy k-průměrů++ BIRCH k-průměrů (param. 200; 0,1)
9,359 (0,281+9,078) 9,387 (0,012+0,297+9,078) 14,34400
Výraznější nesoulad se projevil pouze při hodnocení shlukování souboru VOWEL pomocí metody filtrovacího algoritmu využívajícího tvorbu množiny inicializačních center metodou k-průměrů++. V tomto případě míra nesouhlasu MD udává kvalitu shlukování vzhledem k ostatním shlukovacím metodám mnohem horší než ostatní dvě míry kvality. Obdobně je tomu u hodnoty entropie E při shlukování pomocí klasické metody k-průměrů a metody BIRCH k-průměrů s parametry: povolený počet objektů ve shluku L = 200 a poloměr shluku R = 0,5. Při shlukování souboru IRIS došlo k výraznějšímu nesouladu v případě metody BIRCH k-průměrů s parametry: povolený počet objektů ve shluku L = 50 a poloměr shluku R = 0,1. Výsledná hodnota minimalizované funkce Q udávala horší kvalitu shlukování vzhledem k ostatním shlukovacím metodám oproti druhým dvěma mírám kvality.
136
Tab. 4.10 Srovnání metod při shlukování souboru IRIS
Průměrný čas zpracování
Výsledná hodnota funkce Q
Míra nesouhlasu MD
Hodnota entropie E
BIRCH k-průměrů (param, 50; 0,9)
0,1880
90,6007
0,1267
0,2898
k-průměrů (klasická)
0,2146
78,9451
0,1133
0,2900
0,298 (0,141+0,157)
78,9408
0,1067
0,2730
0,4060
79,3455
0,1067
0,2730
0,423 (0,016+0,063+0,344)
78,9408
0,1067
0,2730
0,0620
137,90000
0,2667
0,4121
0,0620
100,15300
0,2400
0,4132
0,625 (0,25+0,375)
79,1156
0,1067
0,2801
Metoda
k-průměrů++
BIRCH k-průměrů (param, 50; 0,1) Mrkd stromy k-průměrů++ Dvoufázový algoritmus BIRCH k-průměrů (param, 100; 0,9) Filtrovací algoritmus
137
5 Závěr Existuje velké množství variant základních metod shlukové analýzy. Neexistuje však dostatečný popis vhodnosti použití jednotlivých postupů. Stěžejní motivací zaměření mé dizertační práce byla potřeba porovnání postupů pro analýzu dat velkých datových souborů. Dílčím cílem práce bylo detailní zhodnocení jednoho z algoritmů použitelného pro velké soubory dat, a to metody k-průměrů. Hlavní důraz byl kladen na rozbor pozitivních a negativních vlastností této metody. Dále bylo cílem práce srovnání několika vybraných existujících alternativních metod k tomuto základnímu postupu a návrh jejich nových modifikací umožňujících minimalizaci negativních vlastností základního algoritmu. Součástí práce měl být detailní rozbor jednotlivých alternativ a modifikací základní metody k-průměrů, jejich programová implementace, experimentální ověření jejich funkčnosti a porovnání chování jednotlivých programů v různých situacích. Cíle práce byly splněny. V teoretické části práce byl uveden přehled vybraných metod určených pro shlukování velkého počtu objektů. Byly vybrány především metody určitým způsobem související s alternativami algoritmu k-průměrů, které jsou hodnoceny v dalších částech práce. Byl zde například uveden základní algoritmus BIRCH, na jehož základě vznikl algoritmus BIRCH k-průměrů, který je jednou z porovnávaných alternativ metody k-průměrů, algoritmy ISODATA, ISOCLUS a metoda shlukování pomocí minimální
kostry, jejichž hlavní myšlenka ovlivnila postup dvoufázového algoritmu k-průměrů a algoritmus CLARANS, využívající k zefektivnění shlukování speciální stromové struktury, jenž inspirovaly autory filtrovacího algoritmu. Dále byla uvedena detailní matematická formulace metody k-průměrů, její vazby na metody k-centroidů a k-mediánů. Poté jsem se soustředila na podrobnou analýzu problematických vlastností metody k-průměrů a návrhy jejich zmírnění. Mezi diskutované problematické vlastnosti patří především časová náročnost zpracování, vliv inicializačního rozdělení do shluků, vliv odlehlých objektů, vliv pořadí objektů a kvalita výsledného shlukování. Experimentální část práce v každé své sekci obsahuje detailní analýzu jedné z vybraných alternativ algoritmu k-průměrů. Výběr metod byl cíleně zaměřen na vytvoření nabídky řešení problémových situací základní metody k-průměrů. Jde
138
o algoritmus BIRCH k-průměrů, filtrovací algoritmus, algoritmus k-průměrů++ a dvoufázový algoritmus k-průměrů. Ve většině případů se mi podařilo připojit vlastní modifikaci, nebo alespoň upřesnění použití či návrh nového využití dané alternativy. Za nejvýznamnější považuji navrženou metodu MFA (modifikovaný filtrovací algoritmus). Dále byl uveden popis programové implementace všech uvedených alternativ a modifikací. Jednotlivé programy byly využity k experimentálnímu ověření funkčnosti algoritmů se zvláštním zaměřením na řešení zmírnění negativních vlastností metody k-průměrů.
Část uvedených algoritmů se zaměřuje na zefektivnění výpočtu. Jedná se především o algoritmy založené na stromové struktuře (např. oba filtrovací algoritmy a dvoufázový algoritmus k-průměrů) nebo algoritmus BIRCH k-průměrů, který efektivitu řeší minimalizací počtu průchodů datovým souborem (teoreticky i jediným průchodem). Další část algoritmů řeší zmírnění vlivu inicializačního rozdělení do shluků. Jedná se především o dvoufázový algoritmus k-průměrů a méně efektivní modifikaci BIRCH algoritmu k-průměrů. Jiné algoritmy (například dvoufázový algoritmus k-průměrů, MFA a všechny modifikace využívající hlavní myšlenky algoritmu k-průměrů++) se zabývají identifikací a odstraněním vlivu odlehlých objektů. Následují vzájemná experimentální srovnání dříve popsaných variant a modifikací při minimalizaci vždy jedné z negativních vlastností základního algoritmu k-průměrů. Přitom bylo využito několika různých datových souborů. Z hlediska výpočetní náročnosti se ukázaly všechny zkoumané algoritmy při použití vhodného
kritéria zastavení jako použitelné pro velké datové soubory. Toto tvrzení sice nebylo teoreticky dokázáno, což si práce nebrala jako svůj cíl, ale experimenty naznačily, že doba zpracování roste přijatelným způsobem, tj. lineárně s počtem shlukovaných objektů. Jako nejefektivnější se jevily algoritmy založené na struktuře mrkd-stromů (oba filtrovací algoritmy). Z hlediska snížení vlivu inicializačního rozdělení do shluků se ukázala dobrá modifikace BIRCH algoritmu k-průměrů (jejíž nevýhodou je menší efektivita, a tím menší vhodnost pro obzvlášť velké soubory) a všechny modifikace a varianty využívající hlavní myšlenku algoritmu k-průměrů++ (bohužel se ukázala nevhodnost použití pro soubory obsahující odlehlé objekty).
139
Identifikaci odlehlých objektů nejefektivněji provedl algoritmus MFA. Jeho
výhodou je fakt, že detekuje odlehlé objekty v rámci své standardní povinné fáze. Podobně je tomu i u dvoufázového algoritmu k-průměrů, jehož výsledek je však, na rozdíl od MFA, velmi závislý na volbě parametrů programu. Další prověřovanou možností byla detekce v rámci předzpracování pomocí modifikovaného algoritmu k-průměrů++. Tato varianta však přináší navýšení času o dobu tohoto předzpracování.
Všechny zkoumané postupy odhalily jednotně velmi odlehlé objekty. Mírně se však lišily při detekci objektů méně odlehlých. Nejvíce rozporuplné výsledky (navíc závislé na volbě vstupních parametrů) vykazoval dvoufázový algoritmus k-průměrů. Na vstupních parametrech je závislý i modifikovaný algoritmus k-průměrů++. Pro žádný z obou algoritmů projevujících závislost výsledku na vstupních parametrech neexistuje zcela jednoznačné doporučení pro volbu ideálních hodnot vstupních parametrů. Navíc, v případě dvoufázového algoritmu k-průměrů, hodnoty parametrů zaručující nejlepší výsledky přinášejí neúměrné navýšení doby zpracování. Předkládaná práce přináší potvrzení, že algoritmus k-průměrů náleží mezi metody vhodné pro shlukování velkých souborů dat v případě, že předpokládáme, že výsledné shluky jsou konvexní množiny, a známe (nebo vhodným předzpracováním zjistíme) požadovaný počet shluků. Ostatní negativní vlastnosti metody lze volbou vhodné modifikace základního algoritmu zásadně minimalizovat. V práci se podařilo vystihnout problematické vlastnosti základní metody k-průměrů, které lze určitým způsobem odstranit či alespoň zmírnit jejich dopad. Byly
splněny jedny z hlavních cílů a pro každou z těchto slabin bylo nalezeno několik možností řešení. Ve většině případů se podařilo navrhnout i vlastní modifikaci stávajících přístupů. Nejpřínosnější byly návrhy v oblasti práce se soubory obsahujícími odlehlé objekty (zvláště algoritmus MFA či modifikovaný algoritmus k-průměrů++). V neposlední řadě jsou přínosná experimentální ověření a porovnání jednotlivých postupů za pomoci mých vlastních programových implementací. Ve většině případů jednotlivé experimenty naznačily oprávněnost teoretických tvrzení. Jak jsem již uvedla dříve, programy nebyly vytvářeny s cílem běžného a pravidelného využití programů, ale byly vytvářeny pouze testovací verze. Dalším krokem by tedy měla být optimalizace programů (případně převedení algoritmů do
140
jiného vývojového prostředí vhodnějšího pro tento typ výpočtů, například jazyk C++) a vytvoření uživatelsky dobře využitelných aplikací. V průběhu práce se také objevilo několik otevřených problémů. Jedná se především o vylepšení stávajících variant, zvláště z hlediska výpočetní náročnosti zpracování a z hlediska kvality výsledného shlukování. Nadějně se jeví kombinace minimalizace počtu průchodů datovým souborem a využití různých forem stromových struktur. Pokusem o zlepšení výsledného shlukování by mohla být výměna metody v okamžiku dosažení lokálního minima a pokračování shlukování druhým způsobem obdobně, jak je například navrženo v [32]. Pokud se týká vytváření nových modifikací, jedná se především o rozšíření použitelnosti metody k-průměrů v případě přípustnosti překrývání se výsledných shluků (tzv. fuzzy shlukování) či použitelnosti metody pro shlukování i jiných než kvantitativních dat. Druhý zmíněný problém nastiňují například autoři v článku [28].
141
Základní pojmy z teorie grafů Základy teorie grafů jsou podrobněji popsány například v [9], [33], či [75]. Graf G je uspořádaná dvojice množin (V, E), kde V je konečná množina vrcholů (neboli
uzlů) a E je množina hran, tj. množina dvojic v 0 , v1 ; v0, v1 V, přičemž v1 = Φ(v0), kde Φ je zobrazení množiny V do podmnožiny V´ V . Sled z vrcholu a do vrcholu b označuje posloupnost vrcholů (v0, v1, ..., vk) grafu G, kde v0 = a, vk = b a h1 = {a, v1}, hi = {vi-1, vi} pro i = 2, 3, ..., k – 1, hk = {vk-1, b} jsou hrany
grafu. Cesta v grafu G = (V, E) je posloupnost vrcholů P (v1 , v 2 , ..., v n ) , pro kterou platí
vi , vi1 E , i 1, ..., n 1
a navíc vi v j , i j . Tj. cesta je sled, ve kterém se
žádný vrchol (a tedy ani hrana) neopakuje. Cyklus označuje uzavřený sled, tj. sled, který začíná a končí ve stejném vrcholu.
Říkáme, že graf G (V , E ) je souvislý, pokud pro každou dvojici vrcholů z V existuje cesta spojující tyto vrcholy. V opačném případě říkáme, že graf G je nesouvislý. Říkáme, že hrana e je incidentní s vrcholem v, pokud v grafu G (V , E ) platí e v, v´ .
Nechť G (V , E ) je konečný graf, vV. Položme EG(v) = {eE; ve}, VG(v) = {v´V; {v, v´}E}, dG(v) = |EG(v)|.
Číslo dG(v) nazýváme stupněm vrcholu v v grafu G. Stupněm vrcholu v tedy rozumíme počet hran incidentních s vrcholem v. Úplným grafem nazýváme graf, v němž je každá dvojice vrcholů spojena hranou.
142
Degenerovaným grafem nazýváme graf G (V , E ) , kde V je jednoprvková a E prázdná
množina (tj. graf obsahující pouze jeden vrchol). Stromem se rozumí souvislý acyklický graf. U stromů se často místo pojmu hrana
používá název větev. Tvrzení: Každý nedegenerovaný strom obsahuje alespoň dva vrcholy stupně jedna. Koncovými vrcholy, neboli listy nazýváme vrcholy stupně jedna. Vnitřním vrcholem stromu rozumíme každý z vrcholů stromu, který není listem. Kořenovým stromem rozumíme strom, jehož jeden vrchol je vybrán jako hlavní. Tento
vybraný vrchol se nazývá kořen. Les je neorientovaný graf, ve kterém jsou libovolné dva vrcholy spojeny nejvýše jednou
cestou. Ekvivalentní definice zní, že les je množina navzájem nepropojených stromů. U stromů využívaných v metodách shlukové analýzy reprezentují uzly stromu určitou množinu datových objektů. Kořen reprezentuje celý zpracovávaný soubor. Větve stromu vždy představují určité dělení množiny dat obsažených v rodičovském uzlu do několika podmnožin dat reprezentovaných uzly – potomky. Listy jsou v tomto případě vrcholy, které nemají žádné potomky. Podgraf vznikne zrušením některých vrcholů původního grafu, všech hran do těchto
vrcholů zasahujících a případně některých dalších hran. Přesněji graf G´ nazveme V (G´) . podgrafem grafu G, jestliže V (G´) V (G ) a E (G´) V (G ) 2 Hloubka vrcholu je definována jako délka cesty od kořene k vrcholu. Délka cesty je rovna počtu hran, které cesta obsahuje.
143
Výška, respektive hloubka, stromu je rovna hodnotě maximální hloubky vrcholu. Vybalancovaný, neboli vyvážený strom je takový strom, který má vrcholy rovnoměrně
rozložené, tedy má pro daný počet vrcholů nejmenší možnou výšku. Hranově ohodnocený graf se nazývá graf G (V , E ) společně s , kde je reálná
funkce definovaná na E, přiřazující každé hraně nějakou reálnou hodnotu. Kostrou grafu G nazýváme strom T (V ´, E´) , který je takovým podgrafem grafu G,
že V = V´ a E´ E. Mějme hranově ohodnocený graf G (V , E ) , kde V značí množinu vrcholů grafu a E označuje množinu hran grafu, s funkcí ohodnocení w : E R . Minimální kostrou T (V , E (T )) grafu G nazveme takovou kostru, pro kterou platí
eE ( S )
w(e) min w(e); S je kostra grafu G .
eE (T )
Hodnotě w(e) říkáme váha (resp. cena) hrany e.
B-strom řádu n [3] je takový strom, který splňuje tyto vlastnosti:
Kořen má nejvýše n potomků.
Všechny listy jsou na stejné úrovni (ve stejné hloubce).
Všechny uzly kromě kořene mají minimálně
Každý vrchol reprezentuje množinu klíčů (dat, objektů), jejichž počet je o jednu
n a maximálně n a potomků. 2
menší, než počet potomků.
Data (klíče) v uzlu jsou organizována vzestupně.
Každý klíč je asociován s potomkem, který je kořenem podstromu, jenž obsahuje klíče, jež jsou menší nebo rovny, než tento klíč, ale větší než klíč předchozí.
144
Příklad B-stromu je znázorněn na obrázku A.1.
3
1
2
4
6
8
7
29
9
15
26
30
35
40
43
Obr. A.1 Příklad B-stromu řádu 5
R-strom
[24]
představuje
jednoduchou
modifikaci
B-stromů,
kde
záznamy
v listových vrcholech stromu obsahují ukazatele k datovým objektům reprezentujícím prostorové objekty. Na rozdíl od B-stromu není striktně dodrženo pravidlo o polovičním naplnění vrcholů v nejhorším případě. R-strom řádu (m1, m) je m-ární strom, v němž minimální počet následníků libovolného vnitřního vrcholu je m1. R-strom řádu (m1, m) je tedy m-ární strom, který má následující vlastností.
Kořen, není-li listem, má nejméně dva bezprostřední následníky.
Každý vnitřní vrchol má n bezprostředních následníků, n m1 , m .
Každý listový vrchol obsahuje n indexových záznamů n m1 , m .
Všechny cesty v R-stromu jsou stejně dlouhé.
Každý vrchol R-stromu je multidimenzionálním pravoúhelníkem, jenž obsahuje všechny multidimenzionální pravoúhelníky obsažené v vrcholech – potomcích. Jednotlivé pravoúhelníky se mohou překrývat. Příklad R-stromu je znázorněn na obrázcích A.2 a A.3. R*-stromy [49] jsou datové struktury využívané k indexování28 prostorových informací. 28
Indexováním se nazývá proces vytvoření a využívání indexu v databázi. Index (nebo také klíč, angl.
Key) je databázová konstrukce, sloužící ke zrychlení vyhledávacích a dotazovacích procesů v databázi, definování unikátní hodnoty sloupce tabulky. Index je obvykle definován výběrem tabulky a jednoho
145
Jsou obdobou R-stromů, hlavním rozdílem je řešení situace, kdy při vkládání nového objektu „přetéká“ nějaký vrchol. V R-stromech je tento problém řešen štěpením uzlu, v R*-stromech vyjmutím a opětovným vložením některých objektů tohoto uzlu. Satisfakcí za menší efektivitu je stabilnější struktura, která je méně závislá na pořadí, v jakém jsou objekty vkládány.
Obr. A.2 Struktura tvorby R-stromu
Obr. A.3 Příklad R-stromu
konkrétního sloupce (nebo více sloupců), nad kterými si analytik databáze přeje dotazování urychlit.
146
Literatura [1] Angiulli, F., Pizzuti, C.: Outlier Mining in Large High-Dimensional Data Sets. IEEE Transactions on Knowledge and Data Engineering, 17(2), 2005, s. 203 – 215 [2] Arthur D., Vassilvitskii, S.: k -means++ The Advantages of Care-ful Seeding. Symposium on Discrete Algorithms ( SODA), New Orleans, Louisiana , 2007 s. 1027–1035. [3] Bayer, R., McCreight, E. M.: Organization and Maintenance of Large Ordered Indices. Acta Informatica, 1972, 1, s. 173 – 189. [4] Ben-Gal, I.: Outlier detection. Maimon O. and Rockach L. (Eds.) Data Mining and Knowledge Discovery Handbook: A Complete Guide for Practitioners and Researchers, Kluwer Academic Publishers, 2005, s. 1 – 16. [5] Bentley, J. L.: Multidimensional Binary Search Trees Used for Associative Searching. Comm. ACM , 18 , 1975, s. 509–517. [6]
Berka, P.: Dobývání znalostí z databází . Academia, Praha, 2003, 366 s.
[7] Bilge, A.H.: Clustering and Classification: Overview with Applications to Ionospheric Data. 11th Statistical Physics Days, Istanbul Technical University, Istanbul, Turkey, June 24-25, 2004. [8] Bilge, A.H., Mizrahi, E., Tulunay, Y.: Classification of the monthly medians of the ionospheric critical frequency fo F2 using clustering technique. COST 271 workshop, Spetses, Greece, 2003. [9]
Demel, J.: Grafy a jejich aplikace. Academia, Praha, 2002, 257 s.
[10] Dempster, A. P., Laird, N. M., Rubin, D. B.: Maximum Likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society - Series B(Methodological), 39, 1977, s. 1 – 38. [11] Doucet, A., de Freitas, N., Gordon, N.: Sequential Monte Carlo in Practice. Springer-Verlag, New York, 2001, 580 s. [12] Duan, L., Xu, L., Liu, Y., Lee, J.: Cluster-based outlier detection. Annals of Operations Research , 168 (1), April 2009,s. 151–168. [13] Ester, M., Kriegel, H-P., Xu, X..: A database Interface for Clustering in Large Spatial Databases. Proc. of 1st Int‘1 Conf. on Knowledge Discovery and Data Mining , 1995. [14] Everit, B.S., Landau, S., Leese, M.: Cluster Analysis. 4.vydání, Hodder Arnold, London, 2001, 256 s. [15] Faber, V.: Clustering and the Continuous k -Means Algorithm. Los Alamos Science , 22, 1994, s. 138–144. [16] Fayyad, U., Piatetsky-Shapiro, G., Smyth, P.: From data mining to knowledge discovery in databases. Artificial Intelligence Magazine, 17(3), 1996, s. 37–54.
147
[17] Fayyad, U., Piatetsky-Shapiro, G., Smyth, P.: The KDD process for extracting useful knowledge from volumes of data. Communications of the ACM , 39 (11), Nov. 1996, s. 27–34. [18] Forgy, E.: Cluster analysis of multivariate data: Efficiency vs. interpretability of classification. Biometrics, 21(3), 1965, s. 768 – 769. [19] Frank, I. E., Todeschini, R.: The data analysis handbook. Elsevier Science Ltd, Amsterdam, 1994, 365 s. [20] Frawley, W., Piatetsky-Shapiro, G., Matheus, C.: Knowledge Discovery in Databases. An Overview. Artificial Intelligence Magazine , Fall 1992, s. 213–228. [21] Goswami, A., Ruoming J., Agrawal,G.: Fast and exact out-of-core k -means clustering Data Mining. Knowledge and Information Systems, 10(1), 2006, s 17–40. [22] Graham, R., Hell, P.: On the history of minimum spanning tree problem. Annals of History of Computing , 7 , 1985. [23] Grygorash, O., Zhou, Y., Jorgensen, Z.: Minimum Spanning Tree Based Clustering Algorithms. 18th IEEE International Conference on Tools with Artificial Intelligence, ICTAI, Nov. 2006, s. 73–81. [24] Guttman, A., Stonebraker, M.: R-Trees: A Dynamic Index Structure for Spatial Searching. EECS Department University of California, Berkeley, Technical Repor t No. UCB/ERL M83/64, 1983. [25] Hartigan, J. A., Wong, M. A.: A k -means Clustering Algorithm. Applied Statistics , 28 (1), 1979, 100–108. [26] Hebák, P., Hustopecký, J., Pecáková, I.,Průša, M., Řezanková H., Svobodová, A., Vlach, P.: Vícerozměrné statistické metody (3). Praha, Informatorium, 2005, 196 s. [27] Hinneburg, A., Keim, D. A.: An Efficient Approach to Clustering in Large Multimedia Databases with Noise. Proceedings of the 4th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, AAAI Press, 1998, s. 58 – 65. [28] Huang, Z.: Extension to the k-Means Algorithm for Clustering Large Data Sets with Categorical Values. Data Mining and Knowledge Discovery , 2, 1998, s. 283–304. [29] Jiang, M. F., Tseng, S. S., Su, C. M.: Two-phase Clustering Process for Outliers Detection. Pattern Recognition Letters , 22(6-7), 2001, s. 691–700. [30] Kanungo, T., Mount, D. M., Netanyahu, N. S., Piatko, Ch., Silverman, R., Wu, A. Y.: The Analysis of a Simple k -means Clustering Algorithm. Proceedings of the sixteenth annual symposium on Computational geometry. Hong Kong 2000, s. 100–109. [31] Kanungo, T., Mount, D. M., Netanyahu, N. S., Piatko, CH. D., Silverman, R., WU, A. Y.: An Efficient k -Means Clustering Algorithm. Analysis and
148
Implementation. IEEE Transactions on pattern analysis and machina inteligence , 24 (7), 2002.
[32] Kogan, J.: Introduction to Clustering Large and High-Dimensional data . New York, Cambridge University Press, 2007, 205 s. [33] Kolář, J., Štěpánková, O., Chytil, M.: Logika, algebry a grafy, SNTL, Praha, 1989, 440 s. [34] Kruskal, T.: On the Shortest Spanning Subtree of a Graph and the Travelling Salesman Problem. Proc. of the American Mathematical Society, 1957, s. 48–50. [35] Lee, G., Morrison, A.M., O'Leary, J.T.: The Economic Value Portfolio Matrix: A Target Market Selection Tool for Destination Marketing Organizations. Tourism Management, 27 (4), 2006, s. 576 – 588. [36] MacQueen, J. B.: Some Methods for Classification and Analysis of Multivariate Observations. Proceedings of 5-th Berkeley Symposium on Mathematical Statistics and Probability, Berkeley, University of California Press, 1967, s. 281 – 297. [37] Meloun, M., Militký, J., Hill, M.: Počítačová analýza vícerozměrných dat v příkladech . Academia Praha 2005, 436 s. [38] Meloun, M., Militký: Kompendium statistického zpracování dat. Academia Academia Praha 2002, 766 s. [39] Mercer, D. P.: Clustering large datasets. Linacre College , October 2003 www.stats.ox.ac.uk/~mercer/documents/Transfer.pdf [40] Memarsadeghi, N., Mount, D. M., Netanyahu, N. S., Le Moigne, J., A.: Fast Implementation of the ISODATA Clustering Algorithm. International Journal of Computational Geometry and Applications, 17, 2007, s. 71–103. [41] Moore, A.: Very Fast EM-based Mixture Model Clustering using Multiresolution kd-trees. Advances in Neural Information Processing Systems , 1999, s. 543–549. [42] Ordonez, C.: Data Mining - Integrating K -means Clustering with a Relational DBMS Using SQL, IEEE Transaction on Knowledge and data engineering , 18 (2), 2006, s. 188–201. [43] Ordonez, C.: Clustering Binary Data Streams with K-means. Data Mining and Knowledge Discovery , Proceedings of the 8th ACM SIGMOD workshop on Research issues in data mining and knowledge discovery, June 13, 2003, San Diego, s. 12–19. [44] Ordonez, C.: K-means Clustering Using Structured Query Language NCR, Corporation, 07359913, Cl. Statements and Sufficient Statistics. 707-102, 2008. [45] Ordonez, C.:, Programming the K -means Clustering Algorithm in SQL. KDD'04 , August 22-25, Seattle, Washington, 2004, s. 823–828. [46] Ordonez, C., Omiecinski, E.: Efficient disk-based K-means Clustering for Relational Databases. IEEE TKDE , to appear, 2004.
149
[47] Pelleg, D., Moore, A.: Accelerating Exact k-means Algorithms with Geometric Reasoning. Proc ACM SIGKDD Int’l Conf. Knowledge Discovery and Data Mining , Aug. 1999, s. 277–281. [48] Peřina, M.: Aplikace shlukové analýzy v modelech životního pojištění. Diplomová práce, VŠE Praha, 2008, 67 s. [49] Pokorný, J.: Prostorové datové struktury a jejich použití k indexaci prostorových objektů. GIS Ostrava 2000 , Editor J. Růžička, Inst. Ekonomiky a systémů řízení Ostrava, s. 146–160. [50] Punj, G., Stewart, D. W.: Cluster Analysis in Marketing Research: Review and Suggestions for Application. Journal of Marketing Research, 20(2), 1983, s. 134 – 148, http://www.jstor.org/stable/3151680. [51] Qian,W. N., Zhou, A. Y.: Analyzing Popular Clustering Algorithms from Different Viewpoints. Journal of Software , 13 (8), 2002, s. 1382–1394. [52] Rhouma, M., Frigui, H.: Self-organization of pulse-coupled oscillators with application to clustering. IEEE Transactions on Pattern Analysis and Machine Intelligence, 23(2), 2001, s. 180 – 195. [52] Rud, O. P.: Data mining – Praktický průvodce dolováním dat pro efektivní prodej, cílený marketing a podporu zákazníků (CRM). Praha: Computer Press, 2001, 329 s. [53] Rüger, S. M., Gauch, S. E.: Feature Reduction for Document Clustering and Classification, 2000, http://kmi.open.ac.uk/publications/pdf/kmi-00-14.pdf [54] Řezanková, H., Húsek, D.: Klasifikace v programových systémech pro analýzu dat, ROBUST’2000, Praha, 2001, s. 257–266. [55] Řezanková, H.: Shlukování a velké soubory dat. KUPKA, Karel (ed.) Analýza dat 2004/II . Pardubice : TriloByte Statistical Software, 2005, s. 7–19. [56] Řezanková, H., Húsek, D., Snášel, V.: Shluková analýza dat . Professional Publishing, Praha 2007, 196 s. [57] Řezanková, H., Húsek, D., Determination of The Number of Clusters and Idenrification of Outlines in Statistical Software Packages. Mezinárodní statisticko-ekonomické dny na VŠE [CD-ROM]. Praha, 2007, s. 1–6. [58] Řezanková, H.: Hodnocení kvality shluků. KUPKA, Karel (ed.). Analýza dat 2008/II. Pardubice : TriloByte Statistical Software, 2009, s. 19–40. [59] Řezanková, H., Húsek, D.: Zjišťování optimálního počtu shluků ve statistických programových systémech. Robust 2008 . Liberec, 2008, s. 42–43. [60] Salzberg, S., Murthy, S. K.: Clustering Astronomical Objects Using Minimum Spanning Trees. Technical report, Dept. of Computer Science, Johns Hopkins University, July 1992. [61] Snášel, V., Moravec, P., Húsek, D., Frolov, A., Řezanková, H., Polyakov, P.: Pattern Discovery for High-Dimensional Binary Datasets. Neural Information Processing, 2008, s. 861 – 872.
150
[62] Suresh, L., Simha, J. B.: Efficiency Analysis of Efficient SQL based Clustering Algorithm. International Journal of Computer Science and Network Security, 8(11), 2008, s. 293–298. [63] Suresh, L., Simha, J. B.: Novel and Efficient Clustering Algorithm Using Structured Query Language. International Conference on Computing Communication and Networking (ICCCN), 2008. [64] Venkateswarlu, N. B., Raju, P. S. V. S. K.: Fast ISODATA Clustering Algorithms. Pattern Recognition , 25(3), 1992, s. 335–342. [65] Vilikus, O.: Shlukovací metody pro velké soubory dat. Diplomová práce, VŠE Praha, 2007, 110 s. [66] Walfish, S.: A Review of Statistical Outlier Methods. Pharmaceutical Technology, Nov 2, 2006, s. 1 – 5. [67] Wang, W., Yang, J., Muntz, R.: STING: A statistical information grid approach to spatial data mining. Proceedings of the 23rd International Conference on Very large Data Bases, Morgan Kaufman Publishers, Athens, 1997, s. 186 – 195. [68] Zahn, C.: Graph-theoretical methods for detecting and describing gestalt clusters. IEEE Transactions On Computers C20, 1971, s. 68–86. [69] Zhang, T., Ramakrishnan, R., Livny, M.: BIRCH: An Efficient Data Clustering Method for Very Large Databases. ACM SIGMOD Record, 25(2), 1996, s. 103–114. [70] Zhang, T., Ramakrishnan, R., Livny, M.: BIRCH: A New Data Clustering Algorithms and Its Applications. Journal of Data Mining and Knowledge Discovery , 1 (2), 1997, s. 141-182. [71] Žambochová, M.: Užití stromů v analýze dat. Forum statisticum Slovacum 2/2005, Bratislava, 2005, s. 163–167. [72] Žambochová, M.: Použití stromů ve statistice. Ekonomika, regiony a jejich výhledy , Ústí nad Labem 2006, s. 114–120. [73] Žambochová, M.: Rozhodovací stromy a mrkd-stromy v analýze dat. Sborník prací účastníků vědeckého semináře doktorského studia FIS VŠE, Praha, 2006, s. 196–202. [74] Žambochová, M.: Shlukování ve velkých souborech dat. Forum statisticum Slovacum 5/2006, Bratislava, 2006, 168–174. [75] Žambochová, M.: Teorie grafů v příkladech. Skripta FSE UJEP, Ústí nad Labem, 2008, 102 s. [76] Žambochová, M.: Algoritmus BIRCH a jeho varianty pro shlukování velkých souborů dat. Mezinárodní statisticko-ekonomické dny na VŠE [CDROM]. Praha, 2008, s. 1–6. [77] Žambochová, M.: Odlehlé objekty a shlukovací algoritmy. Mezinárodní statisticko-ekonomické dny na VŠE [CD-ROM]. Praha, 2009, s. 1–6.
151
[78] Žambochová, M.: Shlukování velkých souborů dat pomocí metod rozkladu. Robust 2008 . Liberec, 2008, s. 533–539. [79] Žambochová, M.: Inicializační rozdělení do shluků a jeho vliv na konečné shlukování v metodách k-průměrů, Sborník prací účastníků vědeckého semináře doktorského studia FIS VŠE, Praha, 2009, s. 243–250. [80] http://archive.ics.uci.edu/ml/datasets/ [81] http://xin.cz3.nus.edu.sg/group/personal/cx/modules/DM/birch.ppt#36 [82] http://www.cs.uic.edu/~dyu/birch.ppt [83] http://www1.uni-hamburg.de/RRZ/Software/SPSS/Algorith.120/ twostep_cluster.pdf [84] http://csie.org/~dm/clustering.1.1107.ppt#1 [85] http://sorry.vse.cz/~berka/docs/izi456/kap_3.pdf [86] http://gerstner.felk.cvut.cz/biolab/X33BMI/slides/KMeans.pdf [87] http://cs.wikipedia.org [88] http://en.wikipedia.org [89] http://www.mathworks.com/access/helpdesk/help/techdoc/ref/
152
Přílohy: Výsledky experimentálních zpracování Příloha 1: Měření hodnoty optimalizované funkce Q při shlukování souboru IRIS pomocí různých metod
BIRCH (50;0,1)
BIRCH (50;0,1)
BIRCH (100;0,9)
BIRCH (100;0,9)
povinné fáze povinné fáze povinné fáze povinné fáze k-průměrů++ dvoufázový
náhod.inic. inic. centra náhod.inic. inic. centra k-průměrů++ k-průměrů++ centra centra 1. 79,47 79,47 89,34 89,34 2. 79,47 79,47 89,34 89,34 3. 79,24 79,14 181,46 89,34 4. 79,47 79,65 210,72 106,28 5. 79,24 79,14 106,28 106,28 6. 79,24 79,47 210,72 89,34 7. 79,95 79,14 106,28 89,34 8. 79,24 79,47 89,34 106,28 9. 146,38 79,47 106,28 89,34 10. 79,95 79,14 106,28 89,34 86,16 79,35 129,61 94,42 průměr 20,07 0,19 47,84 7,76 s.odch. min. 79,24 79,14 89,34 89,34 max. 146,38 79,65 210,72 106,28
78,95 78,94 78,94 78,95 78,94 78,94 78,94 78,95 78,94 78,94 78,94 0,00 78,94 78,95
153,47 109,66 109,66 361,29 151,43 101,73 109,66 101,73 101,73 78,94 137,93 77,54 78,94 361,29
BIRCH BIRCH BIRCH BIRCH filtrovací filtrovací (50;0,1) (100;0,9) (100;0,9) (50;0,1) náhod.inic. inic. centra všechny fáze všechny fáze všechny fáze všechny fáze k-průměrů++ náhod.inic. inic. centra náhod.inic. inic. centra centra k-průměrů++ k-průměrů++ centra centra 1. 78,95 78,94 78,95 78,94 78,95 78,94 2. 79,12 78,94 78,95 78,94 78,95 78,95 3. 78,95 78,95 78,95 78,94 78,95 78,94 4. 78,94 78,94 78,95 78,95 78,95 78,94 5. 78,94 78,94 78,95 78,94 78,94 78,95 6. 80,32 78,94 78,94 78,95 78,95 78,94 7. 103,45 78,94 78,95 78,94 78,95 78,95 8. 80,32 78,95 78,94 78,94 78,95 78,95 9. 78,95 78,94 78,95 78,95 78,95 78,94 10. 78,94 78,94 78,95 78,94 78,95 78,94 průměr 81,69 78,94 78,94 78,94 78,94 78,94 s.odch. 7,2756 0,0017 0,0017 0,0020 0,0013 0,0021 min. 78,94 78,94 78,94 78,94 78,94 78,94 max. 103,45 78,95 78,95 78,95 78,95 78,95
153
Příloha 2: Měření hodnoty optimalizované funkce Q při shlukování souboru VOWEL pomocí různých metod
Soubor bez odlehlého objektu BIRCH (200;0,5)
BIRCH (200;0,5)
filtrovací
povinné fáze povinné fáze k-průměrů++ dvoufázový náhod.inic.
1. 2. 3. 4. 5. 6. 7. 8. 9. 10. průměr s.odch.
min. max.
náhod.inic. inic. centra k-průměrů++ centra 1056,60 1024,20 1042,80 1042,00 1087,20 1016,00 1067,50 1040,90 1283,90 1046,60 1084,60 1071,80 1003,50 1030,70 1069,00 1038,10 1061,20 1042,00 1052,90 1026,10 1080,92 1037,84 71,27 14,58 1003,50 1016,00 1283,90 1071,80 BIRCH (200;0,1) povinné fáze
1. 2. 3. 4. 5. 6. 7. 8. 9. 10. průměr s.odch.
min. max.
BIRCH (200;0,1)
centra 1017,80 975,45 1005,40 983,72 985,37 968,74 1013,80 1006,30 1048,70 978,88 998,42 23,30 968,74 1048,70 BIRCH (200;0,5)
2872,80 3059,10 2486,50 2965,30 3102,50 2634,90 2865,30 3025,60 3106,40 2731,90 2885,03 199,54 2486,50 3106,40 BIRCH (200;0,5)
1110,20 1026,70 1006,30 946,80 993,10 1001,70 988,60 1021,80 1019,40 1010,50 1012,51 39,12 946,80 1110,20 BIRCH (200;0,1)
povinné fáze všechny fáze všechny fáze všechny fáze
filtrovací inic. centra k-průměrů++ 985,01 1016,80 987,64 976,93 981,08 1020,70 969,80 987,30 995,80 971,00 989,21 16,57 969,80 1020,70 BIRCH (200;0,1) všechny fáze
inic. centra náhod.inic. inic. centra náhod.inic. inic. centra náhod.inic. k-průměrů++ k-průměrů++ centra centra k-průměrů++ centra 977,96 977,10 998,09 1007,60 1017,80 993,51 1018,20 1045,60 998,09 984,63 1017,80 1008,90 1072,50 996,67 998,09 1016,10 1017,80 1006,10 1032,30 990,92 998,09 1000,10 1017,80 1039,90 984,95 980,12 998,34 1018,20 1017,90 980,54 971,07 970,18 998,09 1000,50 1017,80 981,57 998,94 994,29 998,09 1028,60 1017,80 1012,60 1008,00 979,61 998,09 998,84 1017,80 999,25 1017,70 1009,70 998,09 1026,10 1017,90 1015,50 1018,30 989,12 998,34 988,35 1017,80 1016,50 1009,99 993,33 998,14 1006,90 1017,82 1005,44 28,10 20,49 0,10 14,30 0,04 16,87 971,07 970,18 998,09 984,63 1017,80 980,54 1072,50 1045,60 998,34 1028,60 1017,90 1039,90
154
Celý soubor BIRCH (200;0,5)
BIRCH (200;0,5)
filtrovací
povinné fáze povinné fáze k-průměrů++ dvoufázový náhod.inic.
1. 2. 3. 4. 5. 6. 7. 8. 9. 10. průměr s.odch.
min. max.
náhod.inic. inic. centra k-průměrů++ centra 1084,70 1055,70 1170,40 1080,90 1093,80 1092,00 1163,10 1075,60 1053,40 1080,60 1096,50 1057,20 1157,00 1097,30 1189,20 1069,30 1090,60 1088,20 1138,30 1055,10 1123,70 1075,19 43,06 14,64 1053,40 1055,10 1189,20 1097,30
BIRCH (200;0,1) povinné fáze
1. 2. 3. 4. 5. 6. 7. 8. 9. 10. průměr s.odch.
min. max.
BIRCH (200;0,1) povinné fáze
centra 1003,90 1047,20 1031,30 958,80 1012,60 1020,00 984,10 1028,90 1017,50 1002,70 1010,70 23,95 958,80 1047,20
BIRCH (200;0,5)
3521,30 3602,60 3254,40 3105,00 3696,80 3219,60 3490,50 3502,40 3610,30 3184,10 3418,70 197,65 3105,00 3696,80
BIRCH (200;0,5)
1021,30 1015,60 1000,40 1106,00 1017,90 966,70 1002,10 1072,50 1001,30 975,20 1017,90 40,04 966,70 1106,00
BIRCH (200;0,1)
filtrovací inic. centra k-průměrů++ 1022,60 1050,80 1022,40 1019,60 1048,60 1057,60 998,60 976,50 1021,30 1016,70 1023,47 23,31 976,50 1057,60
BIRCH (200;0,1)
všechny fáze všechny fáze všechny fáze
všechny fáze
náhod.inic. inic. centra náhod.inic. náhod.inic. inic. centra k-průměrů++ centra centra centra k-průměrů++
inic. centra k-průměrů++
1007,60 1041,30 1069,25 1007,40 1071,20 1052,90 998,26 1061,40 1025,50 997,18 1033,20 28,09 997,18 1071,20
1100,00 1024,20 1021,70 1053,40 1118,10 1011,30 1052,60 1113,40 1063,00 1052,30 1061,00 36,20 1011,30 1118,10
1011,10 1011,10 1011,10 1011,40 1011,10 1011,10 1011,40 1011,10 1011,10 1011,10 1011,16 0,12 1011,10 1011,40
155
1043,40 1049,50 1017,00 1012,60 1021,10 1015,30 1015,50 1048,30 1019,90 1049,50 1029,21 15,32 1012,60 1049,50
1031,20 1031,20 1031,20 1031,40 1031,20 1031,20 1031,20 1031,20 1031,20 1031,20 1031,22 0,06 1031,20 1031,40
1049,70 1079,70 1053,00 1011,00 1046,70 1081,40 1048,50 1050,80 1088,20 1041,20 1055,02 21,67 1011,00 1088,20
Příloha 3: Srovnání příslušnosti objektů souboru VOWEL ke shlukům vytvořených jednotlivými metodami oproti shlukům faktickým
Metoda k-průměrů shluk 0 1 2 3 4 5 6 7 8 9 10 celkem
0 6 24 12
1 7 17 18
2 12 7 23 6
3
4
5
12 30
6 2 28
8 15 8
6 6 48
6 48
48
6 48
6 48
1 16 48
3
4 32
5 11
12
6
4
6
7
8
9
10
12 18 15 12 12 7 2 48
6 14
28 8 12
25 12
48
6 8 18 15 1 48
11
48
6 12 48
7
8
9
10
15
11
18
6
8
celk. 25 48 53 38 71 51 57 34 62 46 43
Metoda k-průměrů++ shluk 0 1 2 3 4 5 6 7 8 9 10 celkem
0
1
2
24 1 6 6 11
17
10
7 6 18
9 22 4 7
48
48
48
36
48
12
23 10 48
10 48
156
18 16
30
14 48
6 48
6 12 9 48
11 17 1 48
6 6 48
celk. 57 51 1 22 78 51 30 84 63 35 56
Dvoufázový algoritmus shluk 0 1 2 3 4 5 6 7 8 9 10 celkem
0 42
1 48
2 48
3 47
4 43
5 45 1 2
6 48
7 42
8 47
9 45
10 45 2
6
1 2
1 2 1
1 1
5
2 48
48
48
48
48
48
48
48
1 48
2 7
3 36
4
6
7
8
32
5 22 13
14
11
4 11
5
11
4 15
48
11 30 1 1 48
6 6 12 15 48
6 11 19 12 48
6
7
8
9
11
6 15
12 7 13 14
6
23
12 7
2
6
14 48
7 7 7
48
48
48
48
9
10 18
celk. 500 3 8 1 3 2 1 1 6 2 1
Filtrovací algoritmus shluk 0 1 2 3 4 5 6 7 8 9 10 celkem
0 1 24 6
1
17 7
9 9 6
11
6 48
18
6 48
9
6
22
1 48
6 48
5 48
2 48
6 18 48
celk. 83 59 1 50 31 54 51 27 62 38 72
Filtrovací algoritmus s využitím k-průměrů++ shluk 0 1 2 3 4 5 6 7 8 9 10 celkem
0
1 11
2 1 18
3 36
4 12
5 32
10 18
3
1 6 11 6 24
6 18
6
4 6 9
13
48
18
23 6 6
48
6
48
48
10 20 48
11 1 48
157
6 24 48
celk. 99 32 1 29 68 52 37 59 43 48 66
Algoritmus BIRCH k-průměrů s parametry L = 200, R = 0,5 shluk 0 1 2 3 4 5 6 7 8 9 10 celkem
0
1
2
24 12
17 16
5 10 19
3
42 6
4
5
33
15 22
15 6 6 48
8 7 48
2 12 48
48
48
6 3
9 21 5
11
6
48
4 48
7 20
8 7
9 7
10
9 9 22
6 48
5 12 4 20
11 12 11 6 1
48
48
48
8
9
10 2
6 24
celk. 37 46 38 85 79 59 35 15 82 17 35
Algoritmus BIRCH k-průměrů s parametry L = 200, R = 0,1 shluk 0 1 2 3 4 5 6 7 8 9 10 celkem
0
1
2
6 24 12
7 17 18
12 6 22 8
6 48
6 48
48
3
4 32
5 15
12 35
6
10 18
10
4
1 48
48
1 48
6 11
7
15 20 16 14 7
30 6 12
48
48
6 9 18 14 1 48
11 25 6 6 48
8 7
9 7
6 2 3
celk. 60 25 47 52 43 81 63 49 64 23 21
48
Algoritmus BIRCH k-průměrů s parametry L = 10, R = 0,5 shluk 0 1 2 3 4 5 6 7 8 9 10 celkem
0
1
2
3
24 12
17 17
5 17 13
36
12 6 6 48
7 7 48
1 12 48
48
4
5
32
17 18
16
48
6 2
11 20 5
13
6
48
4 48
158
7 20
10
16 2 22
6 48
5 12 4 20
11 12 11 6 1
48
48
6 24
48
celk. 36 46 46 82 63 58 35 15 97 15 35
Příloha 4: Srovnání příslušnosti objektů souboru IRIS ke shlukům vytvořených jednotlivými metodami oproti shlukům faktickým
Metoda k-průměrů shluk 1 2 3 celkem
1 50 50
2 3 47
3 36 14
50
50
2 48
3 14
2 50
36 50
celkem 39 61 50
Metoda k-průměrů++ shluk 1 2 3 celkem
1 50 50
celkem 62 50 38
Dvoufázový algoritmus shluk 1 2 3 celkem
1
2 50
3 40
50
10 50
2 47 3
3 13 37
50
50
50 50
celkem 90 50 10
Filtrovací algoritmus shluk 1 2 3 celkem
1 50 50
celkem 60 40 50
Filtrovací algoritmus s využitím k-průměrů++ shluk 1 2 3 celkem
1
2 48
3 14
2 50
36 50
50 50
celkem 62 50 38
159
Algoritmus BIRCH k-průměrů s parametry L = 50, R = 0,9 shluk 1 2 3 celkem
1 50
50
2
3
18 32 50
49 1 50
celkem 50 67 33
Algoritmus BIRCH k-průměrů s parametry L = 50, R = 0,1 shluk 1 2 3 celkem
1
2 48
3 14
2 50
36 50
50 50
celkem 62 50 38
Algoritmus BIRCH k-průměrů s parametry L = 100, R = 0,9 shluk 1 2 3 celkem
1 50
50
2
3
11 39 50
46 4 50
celkem 50 57 43
160
Příloha 5: Sledování průměrného času zpracování dvoufázového algoritmu v závislosti na jednotlivých parametrech kmax = 6, k
= 3, volba n
počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
100 0,038 0,025 0,041 0,031 0,045 0,041 0,042 0,041 0,037 0,039 0,0380 0,0056 0,1470
500 0,221 0,203 0,258 0,205 0,203 0,249 0,202 0,196 0,226 0,227 0,2190 0,0202 0,0921
počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
50 000 100 000 20,452 40,156 20,536 42,487 21,006 42,023 21,128 41,965 20,452 44,028 20,568 43,586 20,996 42,965 21,026 42,148 21,154 42,021 21,742 41,161 20,9060 42,2540 0,3880 1,0621 0,0186 0,0251
1 000 0,425 0,384 0,412 0,395 0,397 0,415 0,428 0,401 0,394 0,409 0,4060 0,0135 0,0333
5 000 2,001 2,106 2,368 2,451 2,029 2,046 2,105 2,014 2,153 2,047 2,1320 0,1468 0,0689
200 000 500 000 86,681 268,481 88,059 269,936 89,245 269,024 88,265 268,563 89,764 270,741 89,495 270,036 88,963 269,012 89,285 269,148 88,992 269,925 89,861 269,094 88,8610 269,3960 0,9123 0,6899 0,0103 0,0026
161
10 000 4,025 4,854 4,296 4,425 4,836 4,847 4,348 4,659 4,406 4,564 4,5260 0,2619 0,0579
20 000 8,216 8,294 8,896 8,025 8,845 8,712 8,312 8,105 8,213 8,442 8,4060 0,2930 0,0349
700 000 1 000 000 363,589 537,789 362,025 539,159 364,986 539,896 364,356 539,458 364,896 538,158 363,586 540,865 366,068 540,023 365,369 538,256 364,963 539,045 365,642 538,511 364,5480 539,1160 1,1364 0,9164 0,0031 0,0017
n = 5 000, k = 3, volba kmax kmax 4 6 8 10 20 50 100 150 1. 4,425 6,256 8,698 10,459 18,898 48,861 84,054 141,226 2. 4,524 6,296 8,796 10,554 18,998 49,053 84,459 141,096 3. 4,552 6,792 8,858 10,796 19,296 48,925 85,168 141,663 4. 4,496 6,263 8,929 10,858 19,485 49,088 84,759 141,814 5. 4,405 6,389 8,832 10,963 19,352 48,960 85,687 141,153 6. 4,706 6,354 8,927 10,837 19,462 49,102 85,216 141,026 7. 4,383 5,986 8,845 10,965 19,396 49,028 84,829 141,537 8. 4,484 6,326 8,821 10,442 19,345 48,919 84,975 141,309 9. 4,629 6,335 8,816 10,758 19,502 48,825 84,892 141,493 10. 4,396 6,443 8,908 10,398 19,396 48,929 85,021 141,273 aritm. průměr 4,5000 6,3440 8,8430 10,7030 19,3130 48,9690 84,9060 141,3590 směr. odchylka 0,1009 0,1892 0,0659 0,2080 0,1938 0,0899 0,4179 0,2448 var. koeficient 0,0224 0,0298 0,0075 0,0194 0,0100 0,0018 0,0049 0,0017 n = 10 000, kmax=100, volba k k 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
4 209,785 209,824 209,903 210,063 210,048 209,895 210,128 209,981 210,106 210,117
6 205,046 205,628 205,196 205,854 205,703 205,145 205,287 205,308 205,214 205,369
10 207,512 207,423 208,263 207,893 207,949 208,206 208,068 208,143 207,864 207,899
15 209,025 209,496 209,306 210,164 210,096 210,256 209,975 210,107 210,061 209,794
20 207,086 207,486 208,265 209,263 207,362 207,845 208,941 207,785 207,851 207,496
25 202,563 204,574 204,036 206,957 204,965 205,658 204,039 204,869 203,514 202,105
209,9850
205,3750
207,9220 209,8280
207,9380
204,3280
0,1197
0,2515
0,2626
0,3937
0,6607
1,3538
0,0006
0,0012
0,0013
0,0019
0,0032
0,0066
162
k 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
kmax = 6, k
30 204,039 206,785 206,164 208,103 205,236 207,568 205,954 204,856 207,269 206,366
35 205,196 201,854 206,368 207,152 206,018 206,854 204,658 204,339 205,967 205,344
40 204,035 204,968 203,478 204,369 204,965 205,357 204,924 204,264 204,236 204,714
45 206,036 208,896 201,364 200,381 210,357 206,395 207,958 208,854 207,018 206,641
50 204,365 206,048 206,965 207,235 208,014 207,856 205,476 206,951 205,687 207,183
80 203,564 205,621 205,968 204,193 204,513 206,384 206,941 205,935 206,818 204,993
206,2340
205,3750
204,5310
206,3900
206,5780
205,4930
1,2025
1,4530
0,5281
3,0414
1,0940
1,0819
0,0058
0,0071
0,0026
0,0147
0,0053
0,0053
= 3, volba n – průměrné časy jednotlivých fází
počet objektů n čas první fáze [s] čas druhé fáze [s] celkový čas [s] 100 0,038 0,000 0,038 500 0,219 0,000 0,219 1 000 0,406 0,043 0,449 5 000 2,132 4,212 6,344 10 000 4,526 8,990 13,516 20 000 8,406 18,484 26,890 50 000 20,906 42,766 63,672 100 000 42,254 90,444 132,698 200 000 88,861 174,393 263,254 500 000 269,396 385,968 655,364 700 000 364,548 560,368 924,916 1 000 000 539,116 843,313 1 382,429
163
n = 5 000, k = 3, volba kmax – průměrné časy jednotlivých fází parametr kmax čas první fáze [s] čas druhé fáze [s] celkový čas [s] 4 1,457 3,043 4,500 6 2,132 4,212 6,344 8 4,484 4,359 8,843 10 6,328 4,375 10,703 20 15,938 3,375 19,313 50 43,547 5,422 48,969 100 80,343 4,563 84,906 150 138,265 3,094 141,359 180 176,563 4,297 180,860 190 192,031 4,438 196,469 200 223,875 5,891 229,766 210 230,281 4,453 234,734 250 277,984 3,203 281,187 300 346,625 3,031 349,656 400 766,750 3,687 770,437 500 1 488,900 4,300 1 493,200
164
Příloha 6: Sledování průměrného času zpracování, hodnot optimalizované funkce Q, počtu iteračních kroků v druhé části algoritmu a počtu shluků vytvořených v první části algoritmu BIRCH k-průměrů v závislosti na parametrech R = 1,9
počet objektů parametr L 100 000 300 000 500 000 750 000 1 000 000
50 000 150 000 100 000 250 000 750 000
čas první části [s] 104,797 708,031 1 994,200 3 607,900 5 793,300
čas čas celkový druhé nepovinné čas [s] části [s] části [s] 246,953 60 411,75 1 444,869 500 2 652,90 2 435,900 1 000 5 430,10 4 084,100 2900 10 592,00 5 121,700 7690 18 605,00
n = 100 000, R = 0,9
parametr L 10 500 1 000 2 000 3 000 5 000 10 000 15 000 20 000 30 000 40 000 50 000 60 000 70 000 80 000 90 000 99 000
čas první části [s]
čas druhé části [s]
celkový čas [s]
19 093 861,735 478,468 265,125 211,375 140,782 74,843 62,406 74,14 82,219 83,829 81,593 78,094 79,125 83,312 83,984 81,985
199 77,703 78,266 71,875 92,063 122,156 132,438 115,954 108,750 124,468 124,000 131,219 118,219 117,844 127,016 128,125 126,140
19 292 939,438 556,734 337,000 303,438 262,938 207,281 178,360 182,890 206,687 207,829 212,812 196,313 196,969 210,328 212,109 208,125
165
počet počet výsledná iteračních shluků hodnota kroků vytvořených optimalizované v druhé v první části funkce Q části 39 19 941 92 747 8 944 93 113 9 517 93 807 9 274 93 447 12 212 97 778 4 151 99 296 8 82 103 700 5 41 121 490 4 38 120 810 2 7 99 974 2 7 99 974 2 7 99 974 2 7 99 974 2 7 99 974 2 7 99 974 2 7 99 974 2 7 99 974
n = 100 000, L = 15 000
parametr R
čas první části [s]
čas druhé části [s]
počet počet výsledná iteračních shluků hodnota kroků vytvořených optimalizované v druhé v první části funkce Q části 24 1160 185 420 19 982 188 520 5 159 236 790 6 38 150 510 4 20 104 540 3 29 101 630 5 41 121 490 5 43 108 920 4 40 105 650 2 110 93 202 2 78 103 180 6 49 109 560 6 49 109 560 6 49 109 560 6 49 109 560
celkový čas [s]
0,09 1 722,400 70,900 1 793,300 0,10 1 489,300 69,400 1 558,700 0,30 421,406 74,563 495,969 0,60 142,406 153,453 295,859 0,70 106,297 83,406 189,703 0,80 69,172 129,140 198,312 0,90 62,406 115,954 178,360 1,00 64,422 81,359 145,781 1,10 61,125 91,203 152,328 1,20 106,453 65,015 171,468 1,50 92,266 96,516 188,782 2,00 76,734 119,485 196,219 2,50 76,781 119,937 196,718 3,00 77,438 121,406 198,844 5,00 78,078 126,797 204,875
Časy fází algoritmu BIRCH k -průměrů v závislosti počtu objektů Čas po 1. fázi počet objektů parametr L 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
100 000 50 000 115,863 116,086 117,261 116,296 116,084 117,165 117,085 116,932 116,028 116,440 116,5240 0,5062 0,0043
300 000 150 000 723,285 725,695 722,893 724,251 726,063 724,095 723,752 724,251 722,842 724,503 724,1630 1,0193 0,0014
500 000 100 000 2 058,765 2 059,413 2 059,169 2 057,265 2 061,298 2 059,478 2 059,954 2 061,672 2 060,395 2 057,987 2 059,5396 1,2994 0,0006
166
750 000 250 000 3 793,265 3 789,096 3 792,962 3 795,263 3 796,086 3 794,425 3 794,491 3 793,279 3 792,059 3 793,982 3 793,4908 1,8366 0,0005
1 000 000 750 000 5 916,976 5 923,028 5 927,168 5 925,563 5 925,196 5 919,943 5 923,595 5 924,016 5 921,128 5 928,726 5 923,5339 3,3049 0,0006
Čas po 3. fázi počet objektů parametr L 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
100 000 50 000 379,296 384,563 386,026 381,253 378,983 386,121 383,563 381,752 380,742 382,601 382,4900 2,4244 0,0063
300 000 150 000 2 278,753 2 280,274 2 269,965 2 274,758 2 270,759 2 274,961 2 271,058 2 273,575 2 272,628 2 275,965 2 274,2696 3,2263 0,0014
500 000 100 000 4 539,856 4 523,129 4 537,858 4 526,185 4 540,768 4 528,952 4 530,452 4 532,259 4 531,452 4 530,084 4 532,0995 5,4868 0,0012
750 000 250 000 7 822,468 7 819,962 7 840,563 7 835,524 7 838,065 7 831,365 7 835,149 7 834,856 7 832,965 7 831,513 7 832,2430 6,1429 0,0008
Čas po nepovinné fázi počet objektů 100 000 300 000 parametr L 50 000 150 000 430,456 2 685,269 1. 431,705 2 681,896 2. 435,026 2 689,627 3. 436,532 2 702,965 4. 434,123 2 698,854 5. 432,453 2 692,465 6. 432,827 2 691,954 7. 431,158 2 699,584 8. 430,903 2 690,783 9. 433,318 2 691,466 10. aritm. průměr 432,8501 2 692,4863 1,8435 6,1431 směr. odchylka 0,0043 0,0023 var. koeficient
500 000 100 000 5 496,854 5 510,356 5 497,462 5 508,534 5 502,026 5 504,459 5 500,208 5 501,758 5 508,596 5 491,025 5 502,1278 5,7680 0,0010
750 000 1 000 000 250 000 750 000 10 623,568 18 798,698 10 656,269 18 810,984 10 680,965 18 800,369 10 679,025 18 812,265 10 679,896 18 792,563 10 682,587 18 813,362 10 684,341 18 801,965 10 677,265 18 802,096 10 676,630 18 807,162 10 681,451 18 805,031 10 672,1997 18 804,4495 17,8540 6,2741 0,0017 0,0003
167
1 000 000 750 000 10 991,532 10 896,026 11 024,356 11 095,625 11 057,563 10 965,175 11 013,063 11 000,258 10 999,187 10 993,425 11 003,6210 50,2289 0,0046
Časy fází algoritmu BIRCH k -průměrů v závislosti parametru L Čas po 1.fázi parametr L 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
10 19 098,2540 19 090,3690 19 092,1540 19 093,9650 19 093,5480 19 094,2580 19 096,1540 19 091,0360 19 092,1540 19 088,1540 19 093,0046 00002,7579 0,0001
parametr L 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
5 000 140,0430 140,1520 140,7670 140,9350 141,0360 140,8450 140,4770 140,9990 141,0170 141,5490 140,7820 0,4265 0,0030
500 1 000 862,2450 476,8540 861,4780 477,0260 860,1500 479,2510 861,4860 480,4020 859,0360 478,3640 862,0360 479,0280 862,7590 478,4870 863,4530 477,5860 862,5640 479,4580 862,1430 478,2240 861,7350 478,46800 1,2300 1,0574 0,0014 0,0022
10 000 74,0250 74,9580 74,8960 75,0260 75,1430 74,9890 75,0450 74,6250 74,9020 74,8210 74,8430 0,3037 0,0041
15 000 60,7580 62,8570 62,6980 62,7960 62,9350 61,8540 63,1560 62,2140 62,5870 62,2050 62,4060 0,6644 0,0106
168
2 000 265,8960 265,0210 264,2540 265,8540 264,8630 265,7670 265,8090 264,5410 265,0110 264,2340 265,1250 0,6318 0,0024
20 000 74,7820 73,9670 74,4230 74,4510 73,8020 74,2010 73,4510 74,2570 73,7510 74,3150 74,1400 0,3751 0,0051
30 000 82,1050 80,8540 81,2540 82,7890 82,9050 83,1080 82,8140 82,0150 81,5210 82,8250 82,2190 0,7512 0,0091
3 000 211,0230 211,8940 210,4570 211,8630 210,8520 211,0040 211,4420 211,7810 211,8290 211,6050 211,3750 0,4810 0,0023 40 000 83,0250 83,5890 83,9680 83,8990 84,1270 83,9580 84,2250 83,7510 83,9760 83,7720 83,8290 0,3196 0,0038
parametr L 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
50 000 81,4120 81,9860 81,0360 81,1580 81,6980 81,7590 81,7580 81,6870 81,9050 81,5310 81,5930 0,2937 0,0036
60 000 77,8250 78,1540 78,3680 77,8470 78,2150 78,1420 78,2010 77,8590 78,1980 78,1310 78,0940 0,1755 0,0022
70 000 79,0230 78,8960 79,2490 79,3080 79,0890 79,3980 78,9250 79,0120 79,2080 79,1420 79,1250 0,1573 0,0020
80 000 83,4250 83,2360 83,3060 83,1480 83,3430 83,5010 83,2860 83,2930 83,3010 83,2810 83,3120 0,0918 0,0011
90 000 83,0250 83,9360 84,2540 84,1290 83,9970 84,0680 84,1890 84,1530 84,0950 83,9940 83,9840 0,3326 0,0040
99 000 81,5410 81,6980 82,1680 82,0950 82,1090 81,9940 82,0680 82,1540 81,8510 82,1720 81,9850 0,2071 0,0025
Výsledný čas
parametr L 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
10 19 291,3540 19 290,3590 19 291,2540 19 292,9750 19 292,8480 19 293,9580 19 295,6940 19 290,2460 19 292,2580 19 288,2540 19 291,9200 1,9982 0,0001
500 939,2250 939,2180 938,1540 939,2560 937,0240 940,1520 940,5260 940,6480 940,1520 940,0250 939,4380 1,0777 0,0011
169
1 000 554,9640 555,2460 557,3410 558,6820 556,6540 557,3780 556,6570 555,7860 557,9580 556,6740 556,7340 1,1108 0,0020
2 000 337,7960 337,0210 336,1540 337,6540 336,7630 337,5620 337,5420 336,3210 337,1510 336,0360 337,0000 0,6210 0,0018
3 000 303,1130 303,9640 302,5170 303,9130 302,9320 303,0940 303,4820 303,8310 303,8690 303,6650 303,4380 0,4716 0,0016
parametr L 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
5 000 262,2130 262,2420 262,8370 262,9870 263,4660 262,9550 262,6170 262,9540 263,3510 263,7580 262,9380 0,4741 0,0018
10 000 207,0250 207,1230 207,2160 207,3260 207,4330 207,1290 207,6130 207,0220 207,4020 207,5210 207,2810 0,1981 0,0010
15 000 176,6280 178,7870 178,5430 178,6560 178,8750 177,7940 179,0860 178,2940 178,6120 178,3250 178,3600 0,6697 0,0038
20 000 182,9720 182,9670 183,1030 182,8910 182,9020 182,7510 182,9010 182,7170 182,9810 182,7150 182,8900 0,1210 0,0007
30 000 206,5450 205,9840 205,7340 206,9090 207,9050 207,3180 206,2140 206,4150 206,9210 206,9250 206,6870 0,6134 0,0030
40 000 207,0250 207,5890 207,9680 207,8990 208,1270 207,9580 208,2250 207,7510 207,9760 207,7720 207,8290 0,3196 0,0015
parametr L 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
50 000 212,7020 212,9560 212,7160 212,5180 212,7280 212,9090 212,8580 212,9270 212,9750 212,8310 212,8120 0,1368 0,0006
60 000 195,9250 196,5340 196,6180 195,9270 196,4650 196,3920 196,4510 195,8790 196,4680 196,4710 196,3130 0,2697 0,0014
70 000 197,3530 196,8560 196,8290 196,9080 196,8760 197,3980 196,9250 196,7420 196,8410 196,9620 196,9690 0,2112 0,0011
80 000 210,4450 210,2460 210,3160 210,1680 210,3530 210,5510 210,2960 210,2930 210,3210 210,2910 210,3280 0,1001 0,0005
90 000 212,0250 211,4360 213,2540 212,1790 212,3970 212,0680 212,1890 212,1530 212,0950 211,2940 212,1090 0,5033 0,0024
99 000 208,4250 208,5480 209,1680 208,0450 208,1290 207,3440 208,0630 208,1050 207,3410 208,0820 208,1250 0,5093 0,0024
170
Čas algoritmu BIRCH k-průměrů v závislosti na počtu dimenzí počet dimenzí 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
2 382,7650 362,5780 374,0000 398,5940 383,2660 373,4580 375,8630 381,2590 389,5260 392,0250 381,3334 9,9128 0,0260
4 403,1400 404,3750 427,6880 404,1250 429,3120 409,4150 414,5260 414,1560 421,4520 422,5480 415,0737 9,3183 0,0224
6 1 085,3750 1 088,0310 1 077,2190 1 008,6250 1 085,9380 1 074,8560 1 062,1250 1 044,7450 1 052,2560 1 036,0280 1 061,5198 24,7139 0,0233
171
10 25 265,0710 25 156,4250 25 025,1520 25 186,4580 25 203,8590 25 215,9020 25 195,1570 25 189,9650 25 209,8560 25 254,0960 25 190,1941 62,7233 0,0025
Příloha 7: Sledování průměrného času zpracování algoritmu k-průměrů++ v závislosti na počtu objektů, dimenzí a počtu požadovaných shluků
Počet objektů 2 shluky počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
1 000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,016 0,000 0,0016 0,0048 3,0000
10 000 0,000 0,000 0,016 0,000 0,000 0,000 0,015 0,000 0,000 0,000 0,0031 0,0062 2,0013
20 000 0,016 0,000 0,000 0,015 0,000 0,000 0,000 0,016 0,000 0,000 0,0047 0,0072 1,5285
50 000 0,015 0,016 0,000 0,016 0,015 0,016 0,000 0,015 0,016 0,016 0,0125 0,0063 0,5012
80 000 0,031 0,016 0,015 0,031 0,016 0,016 0,031 0,016 0,015 0,031 0,0218 0,0075 0,3450
100 000 0,031 0,031 0,032 0,031 0,031 0,031 0,032 0,031 0,031 0,031 0,0312 0,0004 0,0128
počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
150 000 0,047 0,047 0,047 0,047 0,047 0,031 0,047 0,047 0,046 0,047 0,0453 0,0048 0,1054
200 000 0,063 0,062 0,047 0,062 0,063 0,062 0,063 0,047 0,062 0,063 0,0594 0,0062 0,1046
400 000 0,125 0,125 0,110 0,125 0,125 0,125 0,109 0,125 0,109 0,125 0,1203 0,0072 0,0597
600 000 0,188 0,172 0,187 0,172 0,197 0,250 0,172 0,171 0,172 0,172 0,1853 0,0233 0,1257
800 000 0,250 0,235 0,234 0,234 0,235 0,219 0,234 0,266 0,234 0,234 0,2375 0,0118 0,0495
1 000 000 0,312 0,297 0,281 0,297 0,282 0,296 0,297 0,297 0,297 0,281 0,2937 0,0092 0,0315
172
5 shluků počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
1 000 0,000 0,000 0,000 0,000 0,015 0,000 0,000 0,000 0,000 0,000 0,0015 0,0045 3,0000
10 000 0,016 0,015 0,016 0,000 0,016 0,015 0,016 0,000 0,000 0,000 0,0094 0,0077 0,8174
20 000 0,031 0,016 0,015 0,016 0,000 0,016 0,031 0,015 0,016 0,016 0,0172 0,0083 0,4842
50 000 0,062 0,047 0,063 0,047 0,046 0,063 0,047 0,047 0,047 0,062 0,0531 0,0077 0,1448
80 000 0,094 0,094 0,109 0,094 0,094 0,094 0,109 0,094 0,109 0,094 0,0985 0,0069 0,0698
100 000 0,157 0,140 0,141 0,141 0,140 0,141 0,140 0,141 0,141 0,140 0,1422 0,0050 0,0349
počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
150 000 0,203 0,219 0,219 0,203 0,203 0,203 0,219 0,203 0,203 0,219 0,2094 0,0078 0,0374
200 000 0,281 0,297 0,281 0,297 0,297 0,281 0,266 0,297 0,297 0,265 0,2859 0,0123 0,0431
400 000 0,547 0,563 0,547 0,562 0,563 0,531 0,562 0,641 0,562 0,547 0,5625 0,0281 0,0499
600 000 0,860 0,828 0,843 0,813 0,812 0,829 0,828 0,906 0,828 0,844 0,8391 0,0262 0,0312
800 000 1,125 1,125 1,110 1,093 1,110 1,156 1,219 1,094 1,078 1,187 1,1297 0,0425 0,0376
1 000 000 1,360 1,391 1,359 1,437 1,438 1,359 1,359 1,344 1,609 1,359 1,4015 0,0762 0,0543
173
10 shluků počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
1 000 0,016 0,000 0,000 0,000 0,000 0,000 0,016 0,000 0,000 0,000 0,0032 0,0064 2,0000
10 000 0,016 0,015 0,016 0,015 0,016 0,016 0,015 0,016 0,031 0,016 0,0172 0,0046 0,2687
20 000 0,047 0,031 0,031 0,047 0,031 0,031 0,047 0,032 0,031 0,031 0,0359 0,0073 0,2026
50 000 0,109 0,110 0,125 0,109 0,125 0,125 0,110 0,109 0,109 0,125 0,1156 0,0077 0,0665
80 000 0,219 0,234 0,234 0,235 0,218 0,235 0,234 0,235 0,234 0,219 0,2297 0,0072 0,0315
100 000 0,328 0,313 0,344 0,343 0,329 0,328 0,328 0,312 0,328 0,329 0,3282 0,0098 0,0299
počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
150 000 0,516 0,500 0,469 0,484 0,469 0,469 0,484 0,485 0,562 0,469 0,4907 0,0280 0,0570
200 000 0,641 0,640 0,641 0,703 0,672 0,641 0,640 0,657 0,718 0,625 0,6578 0,0290 0,0441
400 000 1,282 1,265 1,313 1,297 1,281 1,250 1,359 1,313 1,281 1,281 1,2922 0,0289 0,0224
600 000 1,937 1,969 1,938 1,906 1,985 1,922 1,890 1,938 1,906 1,953 1,9344 0,0281 0,0145
800 000 2,547 2,516 2,547 2,594 2,563 2,547 2,531 2,625 2,562 2,578 2,5610 0,0300 0,0117
1 000 000 3,235 3,187 3,172 3,156 3,328 3,172 3,156 3,235 3,218 3,188 3,2047 0,0497 0,0155
174
20 shluků počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
1 000 0,015 0,000 0,016 0,000 0,000 0,047 0,000 0,015 0,000 0,000 0,0093 0,0143 1,5396
10 000 0,031 0,047 0,031 0,031 0,032 0,031 0,031 0,031 0,032 0,031 0,0328 0,0047 0,1448
20 000 0,078 0,062 0,062 0,157 0,062 0,078 0,078 0,079 0,062 0,078 0,0796 0,0269 0,3380
50 000 0,235 0,250 0,234 0,250 0,250 0,250 0,250 0,234 0,250 0,250 0,2453 0,0072 0,0293
80 000 0,484 0,469 0,594 0,578 0,562 0,547 0,547 0,547 0,578 0,578 0,5484 0,0392 0,0714
100 000 0,718 0,782 0,718 0,672 0,703 0,719 0,688 0,703 0,734 0,688 0,7125 0,0290 0,0407
počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
150 000 0,922 0,906 0,984 0,922 0,922 1,000 1,031 1,078 1,063 1,062 0,9890 0,0640 0,0647
200 000 1,391 1,391 1,562 1,391 1,343 1,422 1,422 1,360 1,375 1,390 1,4047 0,0573 0,0408
400 000 2,750 2,703 2,844 2,719 2,750 2,797 2,734 2,797 2,750 2,797 2,7641 0,0411 0,0149
600 000 4,125 4,094 4,172 4,125 4,172 4,156 4,078 4,359 4,063 4,172 4,1516 0,0789 0,0190
800 000 5,579 5,609 5,484 5,422 5,516 5,469 5,562 5,453 5,500 5,485 5,5079 0,0560 0,0102
1 000 000 6,859 6,859 6,875 7,078 6,891 6,797 6,875 6,906 6,828 6,875 6,8843 0,0710 0,0103
175
Počet dimenzí 2 shluky počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
2 0,031 0,031 0,016 0,031 0,032 0,031 0,015 0,032 0,031 0,016 0,0266 0,0072 0,2696
4 0,063 0,047 0,047 0,046 0,063 0,047 0,062 0,047 0,047 0,063 0,0532 0,0078 0,1468
6 0,062 0,063 0,078 0,062 0,063 0,078 0,062 0,079 0,062 0,063 0,0672 0,0073 0,1087
10 0,110 0,109 0,109 0,110 0,109 0,110 0,109 0,094 0,094 0,109 0,1063 0,0062 0,0580
16 0,172 0,156 0,172 0,187 0,172 0,157 0,171 0,157 0,172 0,156 0,1672 0,0098 0,0585
počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
24 0,235 0,250 0,234 0,250 0,234 0,250 0,235 0,234 0,234 0,235 0,2391 0,0071 0,0299
32 0,328 0,312 0,328 0,313 0,328 0,328 0,313 0,328 0,312 0,313 0,3203 0,0077 0,0241
44 0,422 0,453 0,531 0,453 0,422 0,438 0,437 0,422 0,438 0,437 0,4453 0,0306 0,0686
64 0,625 0,656 0,625 0,641 0,625 0,609 0,641 0,703 0,625 0,625 0,6375 0,0250 0,0392
100 0,985 0,984 0,985 1,031 0,984 0,985 0,953 0,968 0,985 0,984 0,9844 0,0185 0,0188
176
5 shluků počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
2 0,125 0,125 0,125 0,125 0,125 0,109 0,125 0,125 0,109 0,125 0,1218 0,0064 0,0525
4 0,296 0,204 0,234 0,219 0,218 0,219 0,219 0,234 0,219 0,219 0,2281 0,0240 0,1054
6 0,281 0,297 0,282 0,296 0,297 0,375 0,297 0,297 0,297 0,297 0,3016 0,0252 0,0836
10 0,454 0,453 0,453 0,454 0,468 0,469 0,453 0,453 0,438 0,437 0,4532 0,0098 0,0217
16 0,750 0,719 0,687 0,672 0,672 0,703 0,703 0,672 0,687 0,672 0,6937 0,0244 0,0352
počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
24 1,062 1,000 1,063 0,984 1,000 1,078 0,969 1,000 1,063 1,187 1,0406 0,0613 0,0589
32 1,297 1,313 1,312 1,297 1,360 1,328 1,281 1,312 1,329 1,281 1,3110 0,0228 0,0174
44 1,781 1,750 1,735 1,829 1,765 1,766 1,781 1,813 1,750 1,875 1,7845 0,0407 0,0228
64 2,562 2,563 2,500 2,594 2,531 2,562 2,641 2,594 2,562 2,735 2,5844 0,0616 0,0239
100 3,953 4,016 3,969 4,000 3,890 3,907 3,984 3,953 4,000 3,969 3,9641 0,0384 0,0097
177
10 shluků počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
2 0,282 0,281 0,359 0,281 0,282 0,281 0,281 0,281 0,313 0,328 0,2969 0,0261 0,0878
4 0,515 0,500 0,500 0,500 0,500 0,500 0,485 0,485 0,500 0,515 0,5000 0,0095 0,0190
6 0,672 0,672 0,765 0,703 0,657 0,671 0,672 0,703 0,672 0,672 0,6859 0,0298 0,0434
10 1,063 1,094 1,031 1,062 1,016 1,000 1,062 1,032 1,015 1,032 1,041 0,027 0,026
16 1,860 1,531 1,562 1,516 1,563 1,531 1,531 1,609 1,547 1,532 1,5782 0,0972 0,0616
počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
24 2,281 2,235 2,203 2,312 2,250 2,235 2,250 2,234 2,297 2,234 2,2531 0,0318 0,0141
32 2,985 2,953 3,000 2,906 3,031 2,969 2,953 3,016 3,000 2,953 2,9766 0,0352 0,0118
44 3,500 4,000 3,937 4,094 3,968 3,953 4,047 3,985 4,000 4,015 3,9499 0,1561 0,0395
64 5,828 5,688 5,765 5,704 5,828 5,765 5,703 5,735 5,812 5,875 5,7703 0,0603 0,0104
100 9,000 8,969 8,906 8,969 8,828 9,000 9,047 9,140 8,938 8,968 8,9765 0,0784 0,0087
178
20 shluků počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
2 0,688 0,703 0,703 0,719 0,687 0,688 0,703 0,703 0,703 0,687 0,6984 0,0100 0,0144
4 1,079 1,031 1,125 1,078 1,094 1,062 1,078 1,063 1,078 1,062 1,0750 0,0231 0,0215
6 1,438 1,687 1,422 1,453 1,422 1,469 1,422 1,422 1,484 1,453 1,4672 0,0762 0,0519
10 2,250 2,171 2,188 2,172 2,140 2,297 2,141 2,172 2,172 2,234 2,194 0,048 0,022
16 3,296 3,360 3,265 3,250 3,313 3,250 3,359 3,297 3,281 3,282 3,2953 0,0374 0,0113
počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
24 4,766 4,781 4,781 4,813 4,781 4,813 4,797 4,968 4,735 4,812 4,8047 0,0591 0,0123
32 6,438 6,187 6,328 6,235 6,218 6,250 6,313 6,265 6,360 6,406 6,3000 0,0789 0,0125
44 8,391 8,562 8,516 8,516 8,500 8,515 8,578 8,532 8,531 8,484 8,5125 0,0482 0,0057
64 12,391 12,109 12,266 12,250 12,297 12,109 12,141 12,265 12,235 12,203 12,2266 0,0844 0,0069
100 18,985 18,547 18,718 18,516 18,578 18,875 18,625 18,641 18,797 18,672 18,6954 0,1426 0,0076
179
Čas algoritmu k -průměrů ++ v závislosti počtu shluků a počtu objektů 2 shluky n 1 000 10 000 20 000 50 000 80 000 100 000 150 000 200 000 400 000 600 000 800 000 1 000 000
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
0,000 0,000 0,016 0,015 0,031 0,031 0,047 0,063 0,125 0,188 0,250 0,312
0,000 0,000 0,000 0,016 0,016 0,031 0,047 0,062 0,125 0,172 0,235 0,297
0,000 0,016 0,000 0,000 0,015 0,032 0,047 0,047 0,110 0,187 0,234 0,281
0,000 0,000 0,015 0,016 0,031 0,031 0,047 0,062 0,125 0,172 0,234 0,297
0,000 0,000 0,000 0,015 0,016 0,031 0,047 0,063 0,125 0,197 0,235 0,282
0,000 0,000 0,000 0,016 0,016 0,031 0,031 0,062 0,125 0,250 0,219 0,296
0,000 0,015 0,000 0,000 0,031 0,032 0,047 0,063 0,109 0,172 0,234 0,297
0,000 0,000 0,016 0,015 0,016 0,031 0,047 0,047 0,125 0,171 0,266 0,297
0,016 0,000 0,000 0,016 0,015 0,031 0,046 0,062 0,109 0,172 0,234 0,297
0,000 0,000 0,000 0,016 0,031 0,031 0,047 0,063 0,125 0,172 0,234 0,281
počet objektů aritmetický průměr 0,0016 1 000 0,0031 10 000 0,0047 20 000 0,0125 50 000 0,0218 80 000 0,0312 100 000 0,0453 150 000 0,0594 200 000 0,1203 400 000 0,1853 600 000 0,2375 800 000 0,2937 1 000 000
směrodatná odchylka 0,0048 0,0062 0,0072 0,0063 0,0075 0,0004 0,0048 0,0062 0,0072 0,0233 0,0118 0,0092
180
variační koeficient 3,0000 2,0013 1,5285 0,5012 0,3450 0,0128 0,1054 0,1046 0,0597 0,1257 0,0495 0,0315
5 shluků n 1 000 10 000 20 000 50 000 80 000 100 000 150 000 200 000 400 000 600 000 800 000 1 000 000
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
0,000 0,016 0,031 0,062 0,094 0,157 0,203 0,281 0,547 0,860 1,125 1,360
0,000 0,015 0,016 0,047 0,094 0,140 0,219 0,297 0,563 0,828 1,125 1,391
0,000 0,016 0,015 0,063 0,109 0,141 0,219 0,281 0,547 0,843 1,110 1,359
0,000 0,000 0,016 0,047 0,094 0,141 0,203 0,297 0,562 0,813 1,093 1,437
0,015 0,016 0,000 0,046 0,094 0,140 0,203 0,297 0,563 0,812 1,110 1,438
0,000 0,015 0,016 0,063 0,094 0,141 0,203 0,281 0,531 0,829 1,156 1,359
0,000 0,016 0,031 0,047 0,109 0,140 0,219 0,266 0,562 0,828 1,219 1,359
0,000 0,000 0,015 0,047 0,094 0,141 0,203 0,297 0,641 0,906 1,094 1,344
0,000 0,000 0,016 0,047 0,109 0,141 0,203 0,297 0,562 0,828 1,078 1,609
0,000 0,000 0,016 0,062 0,094 0,140 0,219 0,265 0,547 0,844 1,187 1,359
počet objektů aritmetický průměr 0,0015 1 000 0,0094 10 000 0,0172 20 000 0,0531 50 000 0,0985 80 000 0,1422 100 000 0,2094 150 000 0,2859 200 000 0,5625 400 000 0,8391 600 000 1,1297 800 000 1,4015 1 000 000
směrodatná odchylka 0,0045 0,0077 0,0083 0,0077 0,0069 0,0050 0,0078 0,0123 0,0281 0,0262 0,0425 0,0762
181
variační koeficient 3,0000 0,8174 0,4842 0,1448 0,0698 0,0349 0,0374 0,0431 0,0499 0,0312 0,0376 0,0543
10 shluků n 1 000 10 000 20 000 50 000 80 000 100 000 150 000 200 000 400 000 600 000 800 000 1 000 000
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
0,016 0,016 0,047 0,109 0,219 0,328 0,516 0,641 1,282 1,937 2,547 3,235
0,000 0,015 0,031 0,110 0,234 0,313 0,500 0,640 1,265 1,969 2,516 3,187
0,000 0,016 0,031 0,125 0,234 0,344 0,469 0,641 1,313 1,938 2,547 3,172
0,000 0,015 0,047 0,109 0,235 0,343 0,484 0,703 1,297 1,906 2,594 3,156
0,000 0,016 0,031 0,125 0,218 0,329 0,469 0,672 1,281 1,985 2,563 3,328
0,000 0,016 0,031 0,125 0,235 0,328 0,469 0,641 1,250 1,922 2,547 3,172
0,016 0,015 0,047 0,110 0,234 0,328 0,484 0,640 1,359 1,890 2,531 3,156
0,000 0,016 0,032 0,109 0,235 0,312 0,485 0,657 1,313 1,938 2,625 3,235
0,000 0,031 0,031 0,109 0,234 0,328 0,562 0,718 1,281 1,906 2,562 3,218
0,000 0,016 0,031 0,125 0,219 0,329 0,469 0,625 1,281 1,953 2,578 3,188
počet objektů aritmetický průměr 0,0032 1 000 0,0172 10 000 0,0359 20 000 0,1156 50 000 0,2297 80 000 0,3282 100 000 0,4907 150 000 0,6578 200 000 1,2922 400 000 1,9344 600 000 2,5610 800 000 3,2047 1 000 000
směrodatná odchylka 0,0064 0,0046 0,0073 0,0077 0,0072 0,0098 0,0280 0,0290 0,0289 0,0281 0,0300 0,0497
182
variační koeficient 2,0000 0,2687 0,2026 0,0665 0,0315 0,0299 0,0570 0,0441 0,0224 0,0145 0,0117 0,0155
20 shluků n 1 000 10 000 20 000 50 000 80 000 100 000 150 000 200 000 400 000 600 000 800 000 1 000 000
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
0,015 0,031 0,078 0,235 0,484 0,718 0,922 1,391 2,750 4,125 5,579 6,859
0,000 0,047 0,062 0,250 0,469 0,782 0,906 1,391 2,703 4,094 5,609 6,859
0,016 0,031 0,062 0,234 0,594 0,718 0,984 1,562 2,844 4,172 5,484 6,875
0,000 0,031 0,157 0,250 0,578 0,672 0,922 1,391 2,719 4,125 5,422 7,078
0,000 0,032 0,062 0,250 0,562 0,703 0,922 1,343 2,750 4,172 5,516 6,891
0,047 0,031 0,078 0,250 0,547 0,719 1,000 1,422 2,797 4,156 5,469 6,797
0,000 0,031 0,078 0,250 0,547 0,688 1,031 1,422 2,734 4,078 5,562 6,875
0,015 0,031 0,079 0,234 0,547 0,703 1,078 1,360 2,797 4,359 5,453 6,906
0,000 0,032 0,062 0,250 0,578 0,734 1,063 1,375 2,750 4,063 5,500 6,828
0,000 0,031 0,078 0,250 0,578 0,688 1,062 1,390 2,797 4,172 5,485 6,875
počet objektů aritmetický průměr 0,0093 1 000 0,0328 10 000 0,0796 20 000 0,2453 50 000 0,5484 80 000 0,7125 100 000 0,9890 150 000 1,4047 200 000 2,7641 400 000 4,1516 600 000 5,5079 800 000 6,8843 1 000 000
směrodatná odchylka 0,0143 0,0047 0,0269 0,0072 0,0392 0,0290 0,0640 0,0573 0,0411 0,0789 0,0560 0,0710
183
variační koeficient 1,5396 0,1448 0,3380 0,0293 0,0714 0,0407 0,0647 0,0408 0,0149 0,0190 0,0102 0,0103
Čas algoritmu k -průměrů ++ v závislosti počtu shluků a počtu dimenzí 2 shluky d 2 4 6 10 16 24 32 44 64 100
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
0,031 0,063 0,062 0,110 0,172 0,235 0,328 0,422 0,625 0,985
0,031 0,047 0,063 0,109 0,156 0,250 0,312 0,453 0,656 0,984
0,016 0,047 0,078 0,109 0,172 0,234 0,328 0,531 0,625 0,985
0,031 0,046 0,062 0,110 0,187 0,250 0,313 0,453 0,641 1,031
0,032 0,063 0,063 0,109 0,172 0,234 0,328 0,422 0,625 0,984
0,031 0,047 0,078 0,110 0,157 0,250 0,328 0,438 0,609 0,985
0,015 0,062 0,062 0,109 0,171 0,235 0,313 0,437 0,641 0,953
0,032 0,047 0,079 0,094 0,157 0,234 0,328 0,422 0,703 0,968
0,031 0,047 0,062 0,094 0,172 0,234 0,312 0,438 0,625 0,985
0,016 0,063 0,063 0,109 0,156 0,235 0,313 0,437 0,625 0,984
počet dimenzí 2 4 6 10 16 24 32 44 64 100
aritmetický průměr 0,0266 0,0532 0,0672 0,1063 0,1672 0,2391 0,3203 0,4453 0,6375 0,9844
směrodatná odchylka 0,0072 0,0078 0,0073 0,0062 0,0098 0,0071 0,0077 0,0306 0,0250 0,0185
184
variační koeficient 0,2696 0,1468 0,1087 0,0580 0,0585 0,0299 0,0241 0,0686 0,0392 0,0188
5 shluků d 2 4 6 10 16 24 32 44 64 100
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
0,125 0,296 0,281 0,454 0,750 1,062 1,297 1,781 2,562 3,953
0,125 0,204 0,297 0,453 0,719 1,000 1,313 1,750 2,563 4,016
0,125 0,234 0,282 0,453 0,687 1,063 1,312 1,735 2,500 3,969
0,125 0,219 0,296 0,454 0,672 0,984 1,297 1,829 2,594 4,000
0,125 0,218 0,297 0,468 0,672 1,000 1,360 1,765 2,531 3,890
0,109 0,219 0,375 0,469 0,703 1,078 1,328 1,766 2,562 3,907
0,125 0,219 0,297 0,453 0,703 0,969 1,281 1,781 2,641 3,984
0,125 0,234 0,297 0,453 0,672 1,000 1,312 1,813 2,594 3,953
0,109 0,219 0,297 0,438 0,687 1,063 1,329 1,750 2,562 4,000
0,125 0,219 0,297 0,437 0,672 1,187 1,281 1,875 2,735 3,969
počet dimenzí 2 4 6 10 16 24 32 44 64 100
aritmetický průměr 0,1218 0,2281 0,3016 0,4532 0,6937 1,0406 1,3110 1,7845 2,5844 3,9641
směrodatná odchylka 0,0064 0,0240 0,0252 0,0098 0,0244 0,0613 0,0228 0,0407 0,0616 0,0384
185
variační koeficient 0,0525 0,1054 0,0836 0,0217 0,0352 0,0589 0,0174 0,0228 0,0239 0,0097
10 shluků d 2 4 6 10 16 24 32 44 64 100
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
0,282 0,515 0,672 1,063 1,860 2,281 2,985 3,500 5,828 9,000
0,281 0,500 0,672 1,094 1,531 2,235 2,953 4,000 5,688 8,969
0,359 0,500 0,765 1,031 1,562 2,203 3,000 3,937 5,765 8,906
0,281 0,500 0,703 1,062 1,516 2,312 2,906 4,094 5,704 8,969
0,282 0,500 0,657 1,016 1,563 2,250 3,031 3,968 5,828 8,828
0,281 0,500 0,671 1,000 1,531 2,235 2,969 3,953 5,765 9,000
0,281 0,485 0,672 1,062 1,531 2,250 2,953 4,047 5,703 9,047
0,281 0,485 0,703 1,032 1,609 2,234 3,016 3,985 5,735 9,140
0,313 0,500 0,672 1,015 1,547 2,297 3,000 4,000 5,812 8,938
0,328 0,515 0,672 1,032 1,532 2,234 2,953 4,015 5,875 8,968
počet dimenzí 2 4 6 10 16 24 32 44 64 100
aritmetický průměr 0,2969 0,5000 0,6859 1,0407 1,5782 2,2531 2,9766 3,9499 5,7703 8,9765
směrodatná odchylka 0,0261 0,0095 0,0298 0,0272 0,0972 0,0318 0,0352 0,1561 0,0603 0,0784
186
variační koeficient 0,0878 0,0190 0,0434 0,0262 0,0616 0,0141 0,0118 0,0395 0,0104 0,0087
20 shluků 1. d
2.
3.
4.
5.
6.
7.
8.
9.
10.
2 0,688 0,703 0,703 0,719 0,687 0,688 0,703 0,703 0,703 0,687 4 1,079 1,031 1,125 1,078 1,094 1,062 1,078 1,063 1,078 1,062 6 1,438 1,687 1,422 1,453 1,422 1,469 1,422 1,422 1,484 1,453 10 2,250 2,171 2,188 2,172 2,140 2,297 2,141 2,172 2,172 2,234 16 3,296 3,360 3,265 3,250 3,313 3,250 3,359 3,297 3,281 3,282 24 4,766 4,781 4,781 4,813 4,781 4,813 4,797 4,968 4,735 4,812 32 6,438 6,187 6,328 6,235 6,218 6,250 6,313 6,265 6,360 6,406 44 8,391 8,562 8,516 8,516 8,500 8,515 8,578 8,532 8,531 8,484 64 12,391 12,109 12,266 12,250 12,297 12,109 12,141 12,265 12,235 12,203 100 18,985 18,547 18,718 18,516 18,578 18,875 18,625 18,641 18,797 18,672 počet dimenzí 2 4 6 10 16 24 32 44 64 100
aritmetický průměr 0,6984 1,0750 1,4672 2,1937 3,2953 4,8047 6,3000 8,5125 12,2266 18,6954
směrodatná odchylka 0,0100 0,0231 0,0762 0,0480 0,0374 0,0591 0,0789 0,0482 0,0844 0,1426
187
variační koeficient 0,0144 0,0215 0,0519 0,0219 0,0113 0,0123 0,0125 0,0057 0,0069 0,0076
Příloha 8: Sledování časů zpracování filtrovacího a modifikovaného filtrovacího algoritmu
Filtrovací algoritmus - čas na vytvoření mrkd-stromu v závislosti na počtu dimenzí d počet dimenzí 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
2 37,721 37,419 37,531 37,500 37,609 37,682 37,844 37,350 37,581 37,703 37,5940 0,1420 0,0038
4 38,122 39,422 38,156 38,962 38,917 38,953 38,711 38,871 38,982 39,804 38,8900 0,4793 0,0123
6 40,012 40,125 41,013 40,438 40,106 41,021 40,293 40,172 39,255 40,375 40,2810 0,4805 0,0119
10 42,828 41,978 42,843 42,983 42,824 42,931 45,491 43,361 43,132 45,849 43,4220 1,1757 0,0271
počet dimenzí 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
24 53,823 52,784 52,651 52,541 52,953 53,843 53,278 53,062 53,596 54,589 53,3120 0,6130 0,0115
32 57,963 57,924 58,459 58,688 58,485 59,427 58,536 58,857 58,672 58,769 58,5780 0,4107 0,0070
44 66,235 71,406 65,541 69,093 68,396 69,259 71,617 67,597 69,762 68,594 68,7500 1,8649 0,0271
64 90,916 87,721 89,813 88,781 89,538 88,982 89,957 88,675 90,624 87,963 89,2970 1,0079 0,0113
188
16 47,675 47,269 46,376 47,012 48,060 47,343 48,116 47,159 47,659 48,171 47,4840 0,5378 0,0113 100 108,701 112,751 111,926 112,362 109,017 112,034 112,016 113,063 109,042 110,188 111,1100 1,6039 0,0144
MFA - čas na vytvoření mrkd-stromu v závislosti na počtu dimenzí d počet dimenzí 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
2 47,134 47,141 47,685 47,049 46,985 47,251 46,425 46,997 47,462 47,281 47,1410 0,3157 0,0067
4 49,531 48,511 47,986 48,606 47,894 47,826 47,945 48,614 48,531 48,616 48,4060 0,4906 0,0101
6 52,890 51,685 51,281 50,974 49,925 50,868 50,684 50,891 49,974 50,678 50,9850 0,8099 0,0159
10 56,263 55,047 57,042 54,165 54,251 55,154 55,263 54,529 54,109 54,647 55,0470 0,9076 0,0165
16 58,734 59,425 58,987 60,354 58,687 58,263 58,464 57,921 58,752 57,753 58,7340 0,7132 0,0121
počet dimenzí 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
24 63,501 65,218 64,476 64,127 63,395 62,096 63,764 61,321 63,194 64,218 63,5310 1,0815 0,0170
32 71,493 73,798 71,563 70,968 71,571 70,805 71,682 70,968 71,915 70,867 71,5630 0,8310 0,0116
44 83,325 81,647 83,458 82,396 84,094 82,459 83,296 81,163 82,874 82,158 82,6870 0,8490 0,0103
64 96,453 94,126 96,623 98,061 96,386 98,061 96,213 97,163 96,603 97,031 96,6720 1,0516 0,0109
100 113,041 110,821 114,121 116,456 114,522 112,026 113,364 111,943 116,162 112,854 113,5310 1,7224 0,0152
189
Srovnání první fáze filtrovacího a modifikovaného filtrovacího algoritmu počet dimenzí 2 4 6 10 16 24 32 44 64 100
čas tvorby stromu s dělením čas tvorby stromu s dělením na úrovni mediánu [s] na úrovni průměru [s] 37,594 47,141 38,890 48,406 40,281 50,985 43,422 55,047 47,454 58,734 53,312 63,531 58,578 71,563 68,750 82,687 89,297 96,672 111,1100 113,5310
Filtrovací algoritmus - čas vlastního shlukování v závislosti na počtu objektů n počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
100 0,672 0,531 0,562 0,532 0,531 0,547 0,547 0,516 0,516 0,515 0,5469 0,0442 0,0808
1 000 1,290 1,268 1,263 1,275 1,197 1,275 1,297 1,324 1,264 1,197 1,2650 0,0382 0,0302
100 000 250 000 500 000 1 000 000 15,557 25,031 35,344 61,145 16,072 24,513 35,531 61,037 16,015 25,093 35,162 61,319 16,141 25,016 35,375 61,108 16,125 24,734 35,532 61,216 16,184 24,922 35,375 61,315 16,119 24,891 35,625 61,053 16,132 24,875 35,428 60,832 16,134 25,063 35,344 61,123 16,141 24,922 35,344 61,102 16,0620 24,9060 35,4060 61,1250 0,1738 0,1652 0,1237 0,1349 0,0108 0,0066 0,0035 0,0022
Srovnání první fáze filtrovacího a modifikovaného filtrovacího algoritmu počet objektů 1 000 10 000 100 000 250 000 500 000 750 000 1 000 000
čas tvorby stromu s dělením čas tvorby stromu s dělením na úrovni mediánu [s] na úrovni průměru [s] 0,469 0,484 4,344 4,860 44,141 50,937 93,141 133,656 212,531 251,578 315,171 379,265 407,532 525,625
190
Filtrovací algoritmus - čas na vytvoření mrkd-stromu v závislosti na počtu objektů n počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
100 0,0385 0,0424 0,0495 0,0487 0,0479 0,0452 0,0486 0,0496 0,0460 0,0486 0,0465 0,0034 0,0736
1 000 0,4024 0,4461 0,4223 0,4264 0,4193 0,4321 0,4396 0,4184 0,4302 0,4582 0,4295 0,0149 0,0348
10 000 3,8524 4,0395 4,1340 4,1086 3,9250 4,0782 4,1531 3,9504 3,9561 4,0377 4,0235 0,0941 0,0234
100 000 40,4135 40,8963 40,4785 40,2375 40,7856 40,4589 40,4568 40,4853 40,7631 40,3395 40,5315 0,2011 0,0050
počet objektů 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
250 000 90,4586 91,7856 93,4861 94,5935 94,0597 93,9648 92,4581 93,8562 92,4751 93,2523 93,0390 1,1880 0,0128
500 000 200,2584 199,2581 198,2365 200,3521 201,5681 202,6934 199,2522 200,2542 200,0364 198,4010 200,0310 1,2937 0,006468
750 000 299,2540 300,3680 301,4520 300,4520 301,0250 299,4750 299,4560 300,0250 299,4570 300,2060 300,1170 0,6948 0,0023
1 000 000 418,0250 418,9870 417,7860 418,5860 418,7820 418,9620 417,9250 418,9240 418,5280 418,3450 418,4850 0,4250 0,0010
Filtrovací algoritmus počet objektů 100 1 000 100 000 250 000 500 000 1 000 000
čas pro čas vlastního celkový čas [s] vytvoření stromu [s] shlukování [s] 0,0465 0,547 0,2965 0,4295 1,265 1,6945 40,5315 16,062 56,5935 93,0390 24,906 117,945 200,0310 35,406 235,437 418,4850 61,125 479,61
191
MFA - čas na vytvoření mrkd-stromu v závislosti na počtu objektů n 1 000 10 000 100 000 n 1. 0,465 4,452 50,457 2. 0,412 4,932 50,925 3. 0,493 4,796 51,054 4. 0,501 4,892 50,994 5. 0,487 4,986 51,241 6. 0,493 4,905 50,897 7. 0,484 4,924 51,125 8. 0,489 4,917 50,572 9. 0,492 4,895 50,998 10. 0,524 4,901 51,107 aritm. průměr 0,4840 4,8600 50,9370 směr. odchylka 0,0277 0,1432 0,2330 var. koeficient 0,0573 0,0295 0,0046
250 000 133,015 133,286 133,961 133,493 133,852 133,483 133,895 133,899 133,783 133,893
500 000 250,458 251,485 251,028 252,128 251,156 251,864 251,925 252,263 251,984 251,489
750 000 1 000 000 377,589 520,758 379,486 525,945 378,896 527,025 380,027 526,457 381,253 527,029 379,924 525,752 379,046 525,962 378,457 526,892 379,193 525,425 378,779 525,005
133,6560 251,5780 379,2650 525,6250 0,3040
0,5376
0,9436
1,7485
0,0023
0,0021
0,0025
0,0033
Časy druhé fáze filtrovacího algoritmu v závislosti na struktuře souboru inicializační centra soubor 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. aritm. průměr směr. odchylka var. koeficient
pomocí k-průměrů++ usebe 1,203 1,094 1,094 1,093 1,094 1,094 1,172 1,094 1,093 1,094 1,1125 0,0381 0,0343
odsebe 0,469 0,406 0,484 0,438 0,422 0,406 0,422 0,406 0,406 0,407 0,4266 0,0271 0,0635
odsebeA 0,422 0,359 0,360 0,344 0,359 0,422 0,390 0,360 0,359 0,391 0,3766 0,0266 0,0705
192
prvních k objektů usebe 1,406 1,438 1,390 1,438 1,375 1,422 1,390 1,375 1,422 1,375 1,4031 0,0242 0,0173
odsebe 1,250 1,125 1,125 1,094 1,172 1,218 1,125 1,110 1,172 1,093 1,1484 0,0504 0,0439
odsebeA 0,782 0,765 0,813 0,750 0,734 0,750 0,766 0,734 0,735 0,734 0,7563 0,0246 0,0326
Příloha 9: Soubor IRIS – grafy „scatterplot“, odlehlé objekty (vytvořeno v STATISTICA 6.0)
Čísly jsou v jednotlivých grafech „scatterplot“ označeny objekty, jenž byly některým z použitých algoritmů identifikovány jako odlehlé. Objekty identifikované za odlehlé pomocí různých algoritmů algoritmus
identifikovaný odlehlý objekt
MFA
1, 5, 8, 10, 11
dvoufázový algoritmus
1, 3, 4, 6, 7, 8, 9, 12, 13
k-průměrů++, parametr k = 10, shluk obsahující 3 objekty k-průměrů++, parametr k = 15, shluky obsahující 1-2 objekty k-průměrů++, parametr k = 20, shluky obsahující 1 objekt k-průměrů++, parametr k = 20, shluky obsahující 1-2 objekty
4, 5, 8 2, 3, 4, 5, 6, 7, 8, 9 1, 2, 3, 4, 5, 6, 7, 8, 9 1, 3, 4
Scatterplot (iris_data-upravena 5v*151c) Var2 = 3,3886-0,0573*x 4,6 11
4,4 4,2 4,0
5
3,8
8
4
3,6 Var2
3,4 3,2 29
3,0
7
2,8 2,6 2,4
3
13
10
6
12
1
2,2 2,0 1,8 4,0
4,5
5,0
5,5
6,0
6,5 Var1
193
7,0
7,5
8,0
8,5
Scatterplot (iris_data-upravena 5v*151c) Var3 = -7,0954+1,8575*x 8 6 7 2 5
7 6
Var3
12
13
5
4
9
8
3
4 10
3 2
11
1 1 0 4,0
4,5
5,0
5,5
6,0
6,5
7,0
7,5
8,0
8,5
Var1
Scatterplot (iris_data-upravena 5v*151c) Var4 = -3,2063+0,7538*x 3,0 4
2,5
2 2,0
9 6 5 7
8
12
3 13
Var4
1,5 10 1,0
0,5
11
1
0,0
-0,5 4,0
4,5
5,0
5,5
6,0
6,5 Var1
194
7,0
7,5
8,0
8,5
Scatterplot (iris_data-upravena 5v*151c) Var1 = 6,4812-0,2089*x 8,5 8,0
6
7
8 5
9 2
7,5
4
Var1
7,0
12
6,5 13 6,0
11
5,5 10 3
5,0 1
4,5 4,0 1,8
2,0
2,2
2,4
2,6
2,8
3,0
3,2
3,4
3,6
3,8
4,0
4,2
4,4
4,6
Var2
Scatterplot (iris_data-upravena 5v*151c) Var3 = 8,9847-1,7112*x 8 6
7 12
6
Var3
5
7
2 9
4
5 8
13
3
4 10
3 2
11
1 1 0 1,8
2,0
2,2
2,4
2,6
2,8
3,0
3,2 Var2
195
3,4
3,6
3,8
4,0
4,2
4,4
4,6
Scatterplot (iris_data-upravena 5v*151c) Var4 = 3,1152-0,6275*x 4
2,6 2,4
6
9
2,2 7
2,0
5
2
8
12 3
1,8
Var4
1,6 13
1,4 1,2
10
1,0 0,8 0,6 0,4
11
1
0,2 0,0 1,8
2,0
2,2
2,4
2,6
2,8
3,0
3,2
3,4
3,6
3,8
4,0
4,2
4,4
4,6
Var2
Scatterplot (iris_data-upravena 5v*151c) 8,5 8
8,0 9
5 6 7 2
7,5 4 7,0
Var1
12 6,5 13 6,0 11 5,5 10 3
5,0 1
4,5 4,0 0
1
2
3
4 Var3
196
5
6
7
8
Scatterplot (iris_data-upravena 5v*151c) 4,6 11
4,4 4,2 4,0
8
3,8
5
4
3,6
Var2
3,4 3,2 9
3,0
2 7
2,8 2,6
10
2,4
13 12
3
6
1
2,2 2,0 1,8 0
1
2
3
4
5
6
7
8
Var3
Scatterplot (iris_data-upravena 5v*151c) 2,8 2,6
4
2,4
9
2,2 2,0 1,8
5 2 8 7
6
12
3
Var4
1,6 13
1,4 1,2
10
1,0 0,8 0,6 0,4
1
11
0,2 0,0 -0,2 0
1
2
3
4 Var3
197
5
6
7
8
Scatterplot (iris_data-upravena 5v*151c) 8,5 8 7
8,0
2
5
6 9
7,5 4 7,0
Var1
12 6,5 13 6,0 11 5,5 10 3
5,0 1
4,5 4,0 0,0
0,2
0,4
0,6
0,8
1,0
1,2
1,4
1,6
1,8
2,0
2,2
8
5
2,4
2,6
Var4
Scatterplot (iris_data-upravena 5v*151c) Var2 = 3,2968-0,2026*x 4,6 11
4,4 4,2 4,0 3,8
4
3,6 Var2
3,4 3,2 2
3,0
9
7
2,8 2,6
13
10
2,4
6
3 12
1
2,2 2,0 1,8 0,0
0,2
0,4
0,6
0,8
1,0
1,2
1,4
Var4
198
1,6
1,8
2,0
2,2
2,4
2,6
Scatterplot (iris_data-upravena 5v*151c) 8
7
7 8
6
5
6 9
12
13
5 Var3
2
4
3
4 10
3
2 1
11
1
0 0,0
0,2
0,4
0,6
0,8
1,0
1,2
1,4
Var4
199
1,6
1,8
2,0
2,2
2,4
2,6
Příloha 10: Soubor IRIS – grafy „scatterplot“, inicializační centra (vytvořeno v STATISTICA 6.0)
V grafech „scatterplot“ jsou písmenem A označena inicializační centra získaná výběrem prvních tří objektů, písmenem B inicializační centra získaná pomocí algoritmu k-průměrů++ a písmenem C inicializační centra získaná algoritmem BIRCH k-průměrů. Scatterplot (iris_data-upravena 5v*154c) Var2 = 3,4015-0,0593*x 4,4 4,2 4,0 3,8 3,6
BA
Var2
3,4 A
3,2 3,0
C A
B B
2,8 2,6
C
C
2,4 2,2 2,0 4,3
4,6
4,9
5,2
5,5
5,8
6,1
6,4
6,7
7,0
7,3
7,6
7,9
Var1 Scatterplot (iris_data-upravena 5v*154c) Var3 = -7,1379+1,8645*x
C 6,6 B
6,0 5,4
Var3
4,8
C
B
4,2 3,6 3,0
1,6
A
C A BA
1,0
4,3
4,6
4,9
5,2
5,5
5,8
6,1
6,4
Var1
200
6,7
7,0
7,3
7,6
7,9
Scatterplot (iris_data-upravena 5v*154c) Var4 = -3,2283+0,7576*x
2,5
C
2,2
B
1,9
C
Var4
1,6
B
1,3 1,0
0,4
A
0,1
4,3
4,6
A C
B A
4,9
5,2
5,5
5,8
6,1
6,4
6,7
7,0
7,3
7,6
7,9
Var1
Scatterplot (iris_data-upravena 5v*154c) Var1 = 6,5112-0,2179*x
7,9
C
7,6 7,3 B
7,0
Var1
6,7 6,4 6,1
B
5,8 5,5 5,2
C
4,9
BA
A C A
4,6 4,3 2,0
2,2
2,4
2,6
2,8
3,0
3,2 Var2
201
3,4
3,6
3,8
4,0
4,2
4,4
Scatterplot (iris_data-upravena 5v*154c) Var3 = 9,054-1,7325*x
C 6,6 B
6,0 5,4
Var3
4,8
C
B
4,2 3,6 3,0
A C A
1,6
BA
1,0
2,0
2,2
2,4
2,6
2,8
3,0
3,2
3,4
3,6
3,8
4,0
4,2
4,4
3,8
4,0
4,2
4,4
Var2
Scatterplot (iris_data-upravena 5v*154c) Var4 = 3,1443-0,6365*x 2,4
C
2,2
B
2,0 1,8
C
Var4
1,6
B
1,4 1,2 1,0
0,5 0,3
A
0,1 2,0
2,2
2,4
2,6
2,8
A
C
3,0
3,2 Var2
202
B A
3,4
3,6
Scatterplot (iris_data-upravena 5v*154c) Var1 = 4,3063+0,4092*x
7,9
C
7,6 7,3 B
7,0
Var1
6,7 6,4 6,1
B
5,8 5,5 AB AC A
5,2 4,9
C
4,6 4,3 1,0
1,6
3,0
3,6
4,2
4,8
5,4
6,0
6,6
Var3
Scatterplot (iris_data-upravena 5v*154c) 4,4 4,2 4,0 3,8 3,6
AB
Var2
3,4 A
3,2
C A
3,0
B
2,8
B
2,6
C
C
2,4 2,2 2,0 1,0
1,6
3,0
3,6
4,2 Var3
203
4,8
5,4
6,0
6,6
Scatterplot (iris_data-upravena 5v*154c)
2,5 C 2,2
B
2,0 1,8
C
Var4
1,6
B
1,4 1,2 1,0
0,6 B AA C
0,3 0,1
1,0
1,6
3,0
3,6
4,2
4,8
5,4
6,0
6,6
Var3
Scatterplot (iris_data-upravena 5v*154c)
7,9
C
7,6 7,3 B
7,0
Var1
6,7 6,4 6,1
B
5,8 5,5 5,2 4,9
AB C A A
C
4,6 4,3 0,1
0,3
0,5
1,0
1,2
1,4
Var4
204
1,6
1,8
2,0
2,2
2,4
Scatterplot (iris_data-upravena 5v*154c) 4,4 4,2 4,0 3,8 3,6
AB
Var2
3,4 3,2
C
3,0
A
B
A B
2,8 2,6
C
C
2,4 2,2 2,0 0,1
0,3
0,5
1,0
1,2
1,4
1,6
1,8
2,0
2,2
2,4
Var4
Scatterplot (iris_data-upravena 5v*154c)
C 6,6 6,0
B
5,4
Var3
4,8
C
B
4,2 3,6 3,0
1,6
C AB A
1,0
0,1
0,3
0,5
1,0
1,2
1,4
Var4
205
1,6
1,8
2,0
2,2
2,4
