STATISTICA Data Miner

STATISTICA Data Miner I Základní přehled vlastností systému STATISTICA Data Miner •

Obsahuje nejrozsáhlejší výběr analytických technik dostupný na trhu (zdaleka největší výběr algoritmů na shlukování, pro různé typy neuronových sítí, interaktivních regresních a klasifikačních stromů, vícerozměrného modelování /včetně např. MAR splinů/ a mnoho dalších; dle našich nejlepších znalostí také největší výběr grafických procedur v porovnání s libovolným produktem, který by měl sloužit podobným cílům).

•

Velký výběr připravených obsáhlých dataminingových projektů, které jsou kompletně přednastavené specialisty společnosti StatSoft a externími experty pro časté dataminingové problémy. Tyto projekty zahrnují i možnost porovnání několika alternativních modelů a výběr různých způsobů jejich použití (např. bagging, boosting, stacking, meta-learning apod.), výstup z těchto modelů je pomocí reportů v nejvyšší kvalitě.

•

Extrémně snadno ovladatelný grafický interface založený na metodě táhni a pusť (drag and drop), který je snadno použitelný i pro začínající uživatele, ale při tom umožňuje okamžitý přístup k používaným skriptům. Modely jsou tvořeny pomocí ikon a šipek. Ikony reprezentují analytické uzly (moduly). STATISTICA Data Miner umožňuje snadnou přípravu vlastních uzlů a jejich kompletní integraci do systému. Výsledkem je systém odpovídající specifickým požadavkům uživatele, kde není možné rozeznat, který z uzlů byl v systému původně, který byl připraven dle konkrétních požadavků uživatele společností StatSoft a který si připravil uživatel velmi jednoduše (např. jednoduše přetažením z Průzkumníka Windows do Prohlížeče uzlů) sám.

•

Velmi užitečné interaktivní nástroje pro průzkum dat (včetně metod jako drilling, slicing, dicing) a jejich vizualizaci.

•

Optimalizováno pro zpracování extrémně velkých dat i z více zdrojů simultánně.

•

Vysoce optimalizovaný přístup k databázím a datovým skladům včetně technologie IDP (In-Place Database Processing), která umožňuje číst data asynchronně přímo z databázového serveru (bez nutnosti importu dat a vytváření lokální kopie souboru). Takto je možné časově náročné dotazy přenést na stranu serveru.

•

Flexibilní možnosti deploymentu (použití dříve natrénovaných modelů na jiných datech či na vzorku dat) s možnostmi exportu modelů do PMML (Predictive Models 1 8.

NÁRODNÍ KONFERENCE

STATISTICKÉ DNY

V

BRNĚ, BRNO 27. - 28.

ČERVNA,

2006

Markup Language), C++, Java, Visual Basic. Možnost použití extrémně rychlého a efektivní deploymentu pomocí standardní syntaxe PMML, natrénované modely lze používat jak v desktop verzi, tak v client-server verzi (při použití systému WebSTATISTICA). •

Standardní vývojové prostředí, které umožňuje spravovat optimalizované analytické objekty (uzly) za použití skriptů ve standardním Visual Basicu.

•

Otevřená COM-architektura, neomezené možnosti automatizace a podpora vlastních rozšíření (pomocí Visual Basicu, Java, C++) – plně programovatelný a přizpůsobitelný systém.

•

Kompletní podpora práce přes internet či intranet pomocí systému WebSTATISTICA (prakticky naprosto stejné ovládání jako v desktop verzi, ale v internetovém prohlížeči!). Zároveň tato verze podporuje „true distributed processing“ za použití více procesorů anebo počítačů.

•

Všechny procedury programů řady programů STATISTICA jsou dostupné jako uzly v systému STATISTICA Data Miner. Prostředí STATISTICA Data Miner je plně integrované s prostředím STATISTICA.

•

Výsledky lze přehledně organizovat v protokolech, tabulkách, pracovních sešitech apod. Lze je také okamžitě publikovat na internetu.

•

Možnost automatické aktualizace analýz a výsledků, kdykoliv dojde ke změně dat.

Demonstrační video k systému STATISTICA Data Miner lze spustit přímo z internetu ze stránek www.StatSoft.com . II Pracovní prostředí systému STATISTICA Data Miner Systém STATISTICA Data Miner obsahuje grafické uživatelské prostředí, vysoce optimalizované pro práci na datamingových projektech, v kterém lze propojovat data, analýzy či výsledky jednoduše pomocí přetažení ikon a propojení pomocí šipek. V jeden okamžik lze otevřít libovolné množství pracovních prostředí a například jednoduše pomocí myši přetahovat jednotlivé uzly (či celé větve uzlů) mezi těmito prostředími. Zároveň je podporován vstup do jednoho uzlu z více míst – typicky z více datových souborů, stejně tak z jednoho datového souboru lze provádět více analýz. Pracovní prostředí je vždy otevřeno v okně přímo v prostředí STATISTICA, které samo o sobě je velice optimalizované a standardní („Microsoft-like“), čímž je dosaženo toho, že uživatel velmi rychle zvládne ovládání či přizpůsobení si tohoto prostředí (vlastní nabídky, panely nástrojů apod.). 2 8.


STATISTICKÉ DNY

V


ČERVNA,

2006

Uživatel má možnost si jednotlivé uzly upravit podle potřeb svého datamingového projektu jednak nastavením z mnoha parametrů analýzy (dostupných pouhým poklepáním myší), ale také má přístup přímo i ke skriptu ve Visual Basicu, který daný uzel spravuje (jedná se o interface k danému uzlu, samotná procedura je vždy napsána v C++ a vysoce optimalizována tak, aby mohla být použita i pro velmi velké objemy dat, které se obvykle při dataminingu používají). Další velmi důležitou vlastností je možnost plné integrace vlastních uzlů tím, že se buď napíší zcela od začátku, ale typicky spíše pomocí upravení některého již existujícího analytického uzlu. Takto přidaný uzel se chová naprosto stejně jako kterýkoliv uzel, který je v systému originálně. III Používání systému STATISTICA Data Miner s velkými soubory dat STATISTICA Data Miner samozřejmě umožňuje okamžitě pracovat s různými formáty dat jako je soubor Excelu (.xls), soubor dBase (.dbf), textový soubor (.txt, .csv), soubor html (.htm, .html) a mnoha dalšími, ovšem typický datamingový projekt bude spíše zahrnovat získávání dat z databáze nebo datového skladu. Proto je STATISTICA Data Miner optimalizován pro zpracování extrémně velkých dat s miliony případů i miliony proměnných. Porovnání ukázala, že tento systém je až 2x rychlejší než jiné (i výrazně méně pokročilé a obsáhlé) systémy nabízené pro podobné aplikace. Systém STATISTICA Data Miner může číst data z libovolné databáze, která podporuje OLE DB (což podporuje každá běžně používaná databáze). Součástí systému je i intuitivní grafické prostředí pro tvorbu dotazů do databází. Toto prostředí je velice snadno 3 8.


STATISTICKÉ DNY

V


ČERVNA,

2006

použitelné, ale zároveň poskytuje i přístup k textovému SQL dotazu pro případné nestandardní doplnění dotazu.

STATISTICA Data Miner obsahuje možnosti ke zpracování databází „na místě“ pomocí vysoce optimalizované technologie In-Place Databases Processing (IDP). Pomocí této technologie je možné rozdělit práci na lokální stanici s databázovým serverem a tak provádět dotaz do databáze a přitom simultánně může běžet výpočet na lokální stanici. Tímto způsobem lze zpracovávat i data takové velikosti, že by je jinak vůbec nebylo možno zpracovat na lokální stanici a zároveň výrazně zrychlit zpracování u „menších“ souborů dat.

IV Přehled částí (modulů – jednotlivý analytických uzlů) systému STATISTICA Data Miner Jednotlivé analytické moduly (a nyní ponecháme stranou nabídku stovek grafů) lze rozdělit do několika skupin na: • • • •

Základní statistické moduly Pokročilé lineární a nelineární modely Vícerozměrné průzkumné techniky Specializované dataminingové moduly

4 8.


STATISTICKÉ DNY

V


ČERVNA,

2006

Základní statistické moduly

Základní statistiky a tabulky poskytuje přístup ke všem základním statistikám – výpočet mnoha popisných statistik (průměr, rozptyl, apod. včetně např. libovolných kvantilů), korelací či kontingenčních tabulek ANOVA detailní zpracování metod analýzy rozptylu Vícerozměrná lineární regrese základní regresní model Neparametrická statistika obsahuje robustní statistické testy a postupy Prokládání rozdělení nabízí možnosti k testování spojitých a diskrétních rozdělení

Pokročilé lineární a nelineární modely

Obecné lineární modely kompletní zpracování obecného lineární modelu (zobecnění lineární regrese či ANOVA); obsahuje možnost zadávání spojitých i kategorických nezávislých proměnných, umožňuje vytvářet modely s interakcemi či hierarchické modely, modely mohou být tvořeny pomocí několika postupů (krokově dopředně i zpětně, jen přidáváním či jen ubíráním, metoda nejlepší podskupiny) Zobecněné lineární a nelineární modely kompletní zpracování zobecněného lineárního modelu (mj. obsahuje analýzy logit a probit, ale obsahuje i jiné podobné metody); podobně jako mnoho jiných modulů obsahuje možnosti pro zadávání spojitých, kategorických i ordinálních závislých či nezávislých proměnných, umožňuje vytvářet modely s interakcemi či hierarchické modely, modely mohou být tvořeny pomocí několika postupů (krokově dopředně i zpětně, jen přidáváním či jen ubíráním, metoda nejlepší podskupiny) Obecné regresní modely kompletní zpracování regresních modelů; na rozdíl od obecného lineárního modelu je pro odhadování parametrů modelů použita metoda nejmenších čtverců (v obecném lineárním modelu jde o metodu maximální věrohodnosti)

5 8.


STATISTICKÉ DNY

V


ČERVNA,

2006

Obecné modely s metodou parciálních nejmenších čtverců metoda nejmenších čtverců je zde použita pro libovolné schéma závislých a nezávislých proměnných Komponenty rozptylu obsáhlý výběr technik pro analýzu schématu, který může obsahovat náhodné i pevné efekty; může být použit taktéž pro analýzu interakcí schémat s velkým množstvím úrovní Analýza přežívání zpracování metod analýzy přežívání s cenzorovanými i necenzorovanými daty, umožňuje vytvářet různé tabulky života (typicky např. úmrtnostní tabulky), obsahuje zpracování Kaplan-Meierovy metody odhadu funkce přežívání, regresní (Coxovy) modely; jedná se o metody velmi často používané např. v životním pojištění Nelineární regrese jednoduchý modul pro rychlé zpracování nelineárních regresních modelů Log-lineární analýza kontingenčních tabulek obsahuje techniky pro detailnější analýzu (vícerozměrných) kontingenčních tabulek a výběr důležitých faktorů v těchto tabulkách Časové řady detailní zpracování problematiky časových řad zahrnuje metody ARIMA a přerušená ARIMA, exponenciální vyrovnávání, spektrální (Fourierova) analýzu jedné či dvou řad, sezónní dekompozice, metodu X11/Y2K Census II měsíčně a čtvrtletně, analýzu autokorelací a cross-korelací a vyhlazování; spolu s regresními modely představuje kompletní sadu technik pro analýzu časových řad a tvorbu předpovědí Modelování pomocí strukturálních rovnic velmi obecná analytická technika, která nachází aplikace např. jako kauzální modelování (analýza cesty), konfirmativní faktorová analýza, faktorová analýza druhého stupně, zobecnění regresní analýzy, modely struktury kovariancí a korelací

Vícerozměrné průzkumné techniky

Shluková analýza obsahuje obsáhlé zpracování klasických technik shlukové analýzy – spojování (tvorba dendrogramu), dvojrozměrné spojování a metoda k-means; k dispozici je velký výběr parametrů shlukování jako např. typ spojování či způsob 6 8.


STATISTICKÉ DNY

V


ČERVNA,

2006

určování vzdálenosti (euklidovská metrika, druhá mocnina této metriky, Čebyševova vzdálenost, apod.) Faktorová analýza účelem této již tradiční statistické metody je redukce počtu proměnných a detekce vztahů mezi proměnnými k umožnění jejich klasifikace; obsahuje analýzu hlavních komponent a analýzu hlavních faktorů pomocí různých metod (komunality, MINRES, maximálně věrohodné faktory a další) Kanonická analýza je doplňkem k jiným modulům, které obsahují míry korelace vyjadřující vztahy mezi proměnnými (např. Neparametrická statistika, Obecné lineární modely, Zobecněné lineární a nelineární modely, Základní statistiky a tabulky) umožňující zkoumání vztahů mezi dvěma sadami proměnných Klasifikační stromy jedná se o základní zpracování klasifikačních stromů (často jediné nabízené v ostatních produktech) – výpočty binárních stromů založených na jednorozměrném dělení s možností zadávání kategoriálních, ordinálních a spojitých nezávislých proměnných (obsáhlejší zpracování klasifikačních i regresních stromů viz níže) Korespondenční analýza poskytuje nástroje pro analýzu dvou- i vícerozměrných tabulek, které mohou obsahovat nějakou míru korespondence mezi řádky a sloupci Vícerozměrné škálování populární metoda redukce dimenzí k vysvětlení vzdáleností či naopak similarit mezi zkoumanými objekty Diskriminační analýza a Obecné modely diskriminační analýzy velmi důležitá analytická metoda, která se používá v případě, kdy je snaha najít vlastnosti, které rozdělují objekty do několika skupin; obecné modely aplikují metody obecného lineárního modelu a umožňují mít na vstupu jak kategoriální, tak spojité proměnné a jejich libovolné interakce

Specializované dataminingové moduly

Feature selection and variables screening Tento modul umožňuje automaticky vybrat podskupinu proměnných z extrémně velkého datového souboru nebo z databáze připojené pomocí inplace processing. Díky unikátnímu algoritmu může být na vstupu prakticky 7 8.


STATISTICKÉ DNY

V


ČERVNA,

2006

neomezený počet proměnných – více jako milion (!) proměnných může být zpracováno ve velmi krátkém čase a z nich mohou být vybrány nejpravděpodobnější důležité proměnné, které mají vliv na daný regresní nebo klasifikační problém. Tento modul je obzvláště užitečný s použitím in-place processing databází (bez nutnosti tvorby lokální verze dat), kdy se používá ke „skenování“ obrovského množství vstupních proměnných a vybrání kandidátůtěch proměnných, které mohou mít vliv na výsledek a jejich automatické propojení s dalšími analytickými uzly. Asociační pravidla Modul obsahuje kompletní implementaci apriorního algoritmu pro detekci asociačních pravidel (typický příklad je „zákazník, který si objednal produkt A, si často objedná i produkt B a C“). Algoritmus je optimalizován tak, aby umožňoval velmi rychlé zpracování obrovských dat. Stejně jako u všech ostatních modulů (uzlů) i zde má uživatel pod svoji kontrolou veškeré parametry metody – v tomto případě kompletní nastavení velikosti souvislostí, které jsou důležité v reálné aplikaci modelu. Nezanedbatelné je také použití asociačních pravidel při text-miningu. Interaktivní průzkumník s drill-down Prvním krokem ve většině dataminingových projektů je zkoumání dat interaktivně a snaha o získání prvního náhledu na data a jejich možné vztahy. Právě pro toto prvotní zkoumání byl tento modul navržen. Je kombinací grafických průzkumných analytických nástrojů spolu s nástroji pro tvorbu tabulek, díky nimž lze rychle získat přehled o proměnných v daném projektu a detekovat možné skupiny, do nichž se pozorování rozdělují. Co je drill-down? Jde o prozkoumání některých charakteristik pozorování pouze v některých vybraných skupinách ze všech dat – je možné se soustředit pouze na jednotlivé skupiny anebo porovnávat skupiny mezi sebou (například lze porovnávat rizikovost v pojištění denní dávky u osob rozděleně dle pohlaví). Modul umožňuje uživateli interaktivně se více a více „zavrtávat“ do dat výběrem dalších a dalších podmínek. Co je drill-up? Díky interaktivní podstatě modulu je možné nejen se stále více „zavrtávat“, ale také v kterémkoliv okamžiku již vyzkoušené rozdělení na podskupiny zrušit a získat tak náhled na data, která nejsou rozdělena dle dané proměnné. Interaktivní průzkumník s drill-down a OLAP (On-Line Analytic Processing) Nejjednodušší postupy, které umožňuje tento modul, jsou velmi obdobné funkcím, které nabízejí speciálně navržené nástroje pro OLAP. Nicméně zde je nutné zdůraznit, že Interaktivní průzkumník s drill-down je pouze jedním z velmi mnoha analytických nástrojů systému STATISTICA Data Miner, také 8 8.


STATISTICKÉ DNY

V


ČERVNA,

2006

drill-up není běžnou součástí nástrojů pro OLAP. Samozřejmě také přístup ke všem grafickým prostředkům systému STATISTICA Data Miner spolu s platformovou nezávislostí přináší uživateli daleko více možností než běžné nástroje pro OLAP. Zobecněná shluková analýza Tento modul pro shlukovou analýzu je zdaleka nejpokročilejším nástrojem, který lze v současné době pro shlukování nalézt v řešeních pro datamining. Obsahuje zobecněnou EM (expectation maximization) shlukovou analýzu a zobecněnou analýzu metodou k-means. Modul je extenzí modulu pro shlukovou analýzy (viz výše), speciálně navrženou pro práci s velkým množstvím dat a pro vstup jak spojitých, tak kategorických proměnných. Umožňuje kompletně „unsupervised learning“ pro hledání vzorů, včetně všech prostředků pro deployment v případě prediktivního shlukování (s použitím v jazyce C++, Java, Visual Basic či PMML). K dispozici jsou také prostředky pro křížové ověřování modelů a další algoritmy pro automatický výběr nejlepších možných řešení (včetně počtu shluků!). Zobecněné aditivní modely Modul obsahuje zpracování velmi moderní a populární metody rozšířené americko-kanadskou dvojicí Hastie a Tibshirani (1990). Jedná se o zobecnění lineárního modelu a stejně jako u jiných procedur systému STATISTICA Data Miner je implementace provedena tak, že je možné mít na vstupu kategorické i spojité proměnné včetně libovolných interakcí. K dispozici je velký výběr rozdělení závislé proměnné a linkujících funkcí (které „spojují“ nezávislé proměnné se závislými) jako např. logaritmická, inverzní (pro spojité nezávislé proměnné) nebo logitová funkce (pro kategorické nezávislé proměnné). V modulu jsou využity kubické spliny, kdy je počet stupňů volnosti plně pod kontrolou uživatele. Samozřejmostí je velké množství výsledných statistik a grafů (např. „lift-chart“) včetně historie tvorby modelu. Neuronové sítě Součástí systému STATISTICA Data Miner je také nejúplnější sada metod neuronových sítí, jaká je v současné době nabízena na trhu. Tato velmi užitečná komponenta nabízí nástroje, pomocí nichž je možno řešit vlastně jakýkoli problém související s vytěžováním dat (klasifikace, detekce skryté struktury, predikce, atd.). Jednou z unikátních vlastností tohoto modulu je i inteligentní výběr metod pro řešení problémů a automatičtí průvodci, kteří využívají technik umělé inteligence a kteří pomohou uživatelů s řešením nejnáročnějších problémů pokročilé analýzy pomocí neuronových sítí (např. volba nejlepší architektury sítě a nejlepší sady proměnných). Modul obsahuje opravdu špičkové procedury využívající neuronové sítě a optimalizované algoritmy - vícevrstvé perceptrony, samoorganizující se mapy funkcí, zpětné šíření (Back Propagation), metodu konjugovaných gradientů, převzorkování, křížové ověření, analýzu citlivosti, křivky ROC, soubory sítí a spoustu dalších. 9 8.


STATISTICKÉ DNY

V


ČERVNA,

2006

Obecné klasifikační a regresní stromy (GTrees) Tento modul je obsáhlou implementací metod pospaných v literatuře CART® od Breiman, Friedman, Olshen a Stone (1984). Modul GTrees ale navíc obsahuje různá rozšíření a možnosti, které se obvykle v jiných implementacích tohoto algoritmu nenacházejí a které jsou velice užitečné pro aplikace v dataminingu. Oproti standardním implementacím těchto metod umožňuje STATISTICA Data Miner vytvářet modely se spojitými nebo kategorickými nezávislými proměnnými i jejich interakcemi. Návrhy modelů jsou analogické návrhům a metodám v jiných modulech (například Obecné lineární modely, Obecná diskriminační analýza apod.). Modul poskytuje velký výběr možností pro ovládání procesu sestavování stromů, jejich prořezávání a pro volbu nejlepšího řešení. Pro spojité závislé kriteriální proměnné může být prořezávání založeno na rozptylu nebo se dá použít prořezávání metodou FACT. Pro kategorické závislé kriteriální proměnné se používá prořezávání podle počtu špatně klasifikovaných případů, podle rozptylu nebo prořezávání stylem FACT. Můžete si určit maximální počet uzlů stromu a minimální počet větví jednoho uzlu. Máte možnosti pro nalezení nejlepšího rozhodovacího stromu (např. pomocí křížového ověření nebo aplikací rozhodovacího stromu na nová pozorování ve vzorku dat). Pro kategorické kriteriální proměnné, např. pro klasifikační problémy, je možné zvolit různé míry, jimiž lze modifikovat algoritmus a ohodnotit kvalitu konečného rozhodovacího stromu. K dispozici je mj. i možnost určit apriorní pravděpodobnosti jednotlivých tříd klasifikace a penalizace za chybnou klasifikaci. Míry kvality rozhodovacího stromu obsahují Giniho míru, Chíkvadrát a G-kvadrát. Jednou z unikátních vlastností zpracování těchto stromů v systému STATISTICA Data Miner je možnost chybějící hodnoty dat v prediktorech zpracovat tak, že se umožní programu určit vhodná "místa" větvení pomocí náhradních proměnných, tj. podle proměnných, které jsou podobné příslušné proměnné použité pro určité větvení (uzel stromu). Možnost zobrazit si jednoduchý souhrnný graf stromu je doplněna ještě funkcí intuitivního interaktivního stromového prohlížeče, který vám umožní nechat zkolabovat nebo naopak expandovat libovolný uzel stromu a prohlédnout si k němu příslušné informace. Například můžete kliknutím označit určitý uzel v panelu prohlížeče a okamžitě uvidíte poměr dobře a špatně klasifikovaných případů pro daný uzel. Prohlížeč stromů poskytuje velice efektivní a intuitivní možnost pro kontrolu složitých stromových struktur pomocí metod, které jsou běžně používány v počítačových aplikacích. Několik oken prohlížeče stromových struktur může být otevřeno najednou, takže můžete zároveň sledovat celkový strom i několik jednotlivých podstromů, což vám umožní jejich snadné porovnání. Interaktivní prohlížeč stromů je důležitým nástrojem, který velice pomůže uživatelům při interpretaci složitých rozhodovacích stromů. 10 8.


STATISTICKÉ DNY

V


ČERVNA,

2006

Klasifikační a regresní modely CHAID Stejně jako implementace obecných klasifikačních a regresních stromů (viz výše) v systému STATISTICA, ani modul Obecné modely CHAID neposkytuje „jen“ obsáhlou implementaci původní techniky, ale její metody rozšiřuje na analýzu modelů se spojitými i kategorickými proměnnými, včetně interakcí u nezávislých proměnných. K dispozici je spousta možností, jak ovládat proces tvorby hierarchického stromu. Je zde např. možnost stanovit nejnižší počet větví v každém uzlu, maximální počet uzlů a pravděpodobnosti pro větvení a slučování kategorií. Uživatel také může provádět mohutná vyhledávání nejlepšího řešení (Exhaustive CHAID). Jako u jiných modulů i zde lze použít křížové ověření a ohodnotit stabilitu cílového řešení. Pro klasifikační problémy můžete určit i různé penalizace za chybnou klasifikaci. Pro implementaci modelů CHAID platí velmi mnoho z toho, co bylo uvedeno výše pro obecné klasifikační a regresní stromy. Asi jako nejdůležitější je nutno uvést, že i zde je k dispozici interaktivní prohlížeč stromů. Vícerozměrné adaptivní regresní spliny Jedná se o kompletní implementaci metody navržené Friedmanem (1991). Opět jako v jiných případech (např. u zobecněných aditivních modelů) je tato metoda rozšířena a zobecněna pro prakticky libovolný vstup a pro regresní i klasifikační problémy. Samozřejmě je také optimalizován pro zpracování velkých dat, což je velmi užitečné u rozsáhlých dataminingových projektů. Modul porovnání kvality proložení (goodness of fit) V dataminigovém projektu je typické použití více různých metod jak statistických, tak například metod umělé inteligence. Pro porovnání výsledků různých metod je nezbytné mít k dispozici nástroj, který by porovnal výsledky dosažené jednotlivými postupy a vybrat z nich ten nejlepší. Právě takovým nástrojem je tento modul. Je navržen jak pro kategorické, tak pro spojité nezávislé proměnné (pro klasifikační i regresní problémy). Může porovnávat výsledky libovolných metod obsažených v systému STATISTICA Data Miner (samozřejmě včetně těch, které si do tohoto systému dodá uživatel sám!). Pro porovnání výsledků je k dispozici větší množství statistik tak, aby se mohla použít vždy ta, která nejlépe odpovídá danému praktickému problému. Rapid deployment Modul rychlého použití prediktivních modelů umožňuje snadné nahrání jednoho nebo více standardních souborů PMML (Predictive Models Markup Language) s informacemi pro deployment modelů. Velice snadno lze tyto modely použít pro výpočet předpovědí (jedním průchodem daty) velkého počtu pozorování (platí i pro více alternativních modelů). Soubory PMML mohou být generovány v prakticky všech modulech pro prediktivní datamining.

11 8.


STATISTICKÉ DNY

V


ČERVNA,

2006

Potud jsme zde uvedli přehled analytických možností (a to bez bližšího popsání grafických možností systému, kde se jedná o stovky grafů, přičemž tato paleta je samozřejmě ještě rozšiřitelná o libovolný uživatelský graf, neboť každý jednotlivý aspekt grafu – každá jednotlivá čára apod. – je upravitelná pouhým poklepáním myši a tyto úpravy lze ukládat a opětovně používat). Nesmíme zapomenout, že velmi důležitou součástí libovolného dataminingového projektu je předzpracování dat, která později vstupují do analýz. Tato část projektu je samozřejmě systémem STATISTICA Data Miner velmi podporována a zahrnuje předpřipravené uzly pro filtrování dat, vzorkování (včetně stratifikovaného), nahrazování chybějících dat, transformaci dat (např. možnost využití libovolné matematické formule včetně statistických funkcí a rozdělení) a mnohé další. Právě zde se projeví jako naprosto zásadní také možnost definice libovolných vlastních uzlů, které mohou odpovídat konkrétním potřebám jednotlivých uživatelů a povaze daného dataminingového projektu. Reálný dataminigový projekt bude samozřejmě prakticky vždy obsahovat směs výše uvedených modulů (od vstupních dat pomocí tabulky nebo připojení k databázi, přes transformaci a přípravu proměnných, dále použití analytických a grafických metod až k výsledkům umístěným v pracovním sešitě či přímo v reportu).

V Client-server verze programu STATISTICA Data Miner a datamining pomocí systému WebSTATISTICA V desktop verzi programu STATISTICA Data Miner všechny výpočty probíhají na lokálním počítači a zdroje ostatních počítačů jsou použity pouze v případě, pokud je zadán interface do externí databáze pomocí In-Place Database Processing (IDP). IDP je technologie, která umožňuje asynchronní čtení dat přímo ze vzdáleného databázového serveru (za použití distribuovaného processingu, pokud jej podporuje server) a tím se obchází nutnost tvorby lokální kopie dat. Záznamy dat z databáze jsou posílány do počítače se systémem STATISTICA Data Miner asynchronně za použití CPU databázového serveru, přičemž STATISTICA Data Miner je simultánně zpracovává pomocí CPU lokálního počítače. Client-server architektura Při použití client-server verze systému STATISTICA Data Miner je lokální počítač použit pouze jako uživatelský interface k STATISTICA Data Miner a všechny výpočty probíhají na serveru. Client-server architektura využívá multithreadingu a technologie distribuovaného processingu (viz níže) a případně rozšíření na více serverů, které mohou pracovat paralelně. Tato architektura poskytuje zřejmé výhody v případě, že dataminingové projekty jsou velmi velké (např. výpočetně náročné či zahrnují zpracování extrémně velkých dat) – je možné je přemístit na stranu serveru a uvolnit tak lokální počítač na jinou práci.

Multithreading, distribuovaný processing Mnoho dalších výhod přináší konkrétní implementace client-server architektury v systému STATISTICA Data Miner, která je založena na použití systému WebSTATISTICA. Rozšíření na client-server verzi je velice snadné a například všechny vlastní analytické uzly lze 12 8.


STATISTICKÉ DNY

V


ČERVNA,

2006

používat i při přechodu na client-server verzi. WebSTATISTICA je založena na pokročilém (true) distribuovaném processingu a multithreadingu tak, aby podporovala optimální zpracování velkých výpočtů. Tato technologie umožňuje rychlé zpracování i velmi velkých a výpočetně náročných projektů, neboť plně využívá více CPU na serveru a dokonce i více serverů, které pracují společně. Na obrázku je vidět projekt, který běží na serveru se čtyřmi procesory spolu se zobrazením výkonu serveru a tak je vidět plné využití všech čtyř CPU.

Neomezená rozšiřitelnost (paralelní processing) Jednou z unikátních vlastností distribuovaného processingu tak, jak je zpracován v systému WebSTATISTICA, je flexibilita ve využití nejen všech CPU na daném serveru, ale také možnost rozšíření na více serverů. Tato unikátní vlastnost je důležitá, neboť přináší výrazný výpočetní zisk. Například, pokud jsou k dispozici tři servery každý se čtyřmi procesory, STATISTICA může jeden projekt spustit na všech 12 procesorech.

Uživatelské prostředí systému WebSTATISTICA Implementace systému WebSTATISTICA umožňuje uživateli navrhovat, upravovat a spravovat dataminingové projekty na klientském počítači v prostředí internetového prohlížeče (např. Internet Explorer, Netscape) prakticky stejně jako v případě desktop aplikace! Proto tedy klientská část aplikace může být spustitelná prakticky na libovolném počítači (např. notebook), pokud je připojen k internetu (příp. intranetu). Všechny výpočty a další operace probíhají na serveru s lepším procesorem a lepšími možnostmi ukládání dat (a tyto výpočty budou probíhat pomocí optimalizovaného multithreadingu a distribuovaného processingu a tak využívat maximum výkonu serveru).

13 8.


STATISTICKÉ DNY

V


ČERVNA,

2006

STATISTICA Data Miner

Recommend Documents