012345

}w !"#$%&'()+,-./012345
Masarykova univerzita Fakulta informatiky

Datov´ a federace za pouˇ zit´ı JBoss Teiid pro mal´ y podnik

´ pra ´ ce Diplomova

Petr Stˇ r´ıbn´ y

Brno, podzim 2014

Prohl´ aˇ sen´ı Prohlaˇsuji, ˇze tato diplomová práce je m´ ym p˚ uvodn´ım autorsk´ ym d´ılem, které jsem vypracoval samostatnˇe. Vˇsechny zdroje, prameny a literaturu, které jsem pˇri vypracov´ an´ı pouˇz´ıval nebo z nich ˇcerpal, v práci ˇrádnˇe cituji s uveden´ım u ´plného odkazu na pˇr´ısluˇsn´ y zdroj.

Petr Stˇr´ıbn´ y

Vedouc´ı pr´ ace: doc. RNDr. Tomáˇs Pitner, Ph.D. ii

Podˇ ekov´ an´ı Dˇekuji vedouc´ımu pr´ ace doc. RNDr. Tomáˇsi Pitnerovi, Ph.D. a konzultantovi pr´ ace RNDr. Filipu Nguyenovi za vˇecné rady a pˇripom´ınky a Ing. Tomáˇsi Knettigovi a Ing. Tom´ aˇsi Kiedroˇ novi z firmy K-net za spolupráci. Také dekuji mé rodinˇe za velkou podporu pˇri mém studiu.

iii

Shrnut´ı Smyslem této pr´ ace je pˇredstaven´ı nástroje JBoss Teiid pro federaci dat v prostˇred´ı malého podniku. Mˇela by ukázat, jak JBoss Teiid do takového podniku zavést a poskytnout návody pro ˇreˇsen´ı integraˇcn´ıch scénáˇr˚ u. Kromˇe toho by také mˇela poskytnout vod´ıtko, kdy a v jak´ ych pˇr´ıpadech je vhodné tento n´ astroj pouˇz´ıt.

iv

Abstract The purpose of this thesis is to introduce JBoss Teiid for data federation in a small company. It should present the way to deploy JBoss Teiid in such environment and provide tutorials of integration scenarios. It should also discuss cases where the use of this tool is suitable.

v

Kl´ıˇ cov´ a slova datov´ a virtualizace, integrace dat, Teiid, Teiid Designer, databáze, business intelligence

vi

Obsah 1

´ Uvod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

2

Pojmy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.1

Business intelligence . . . . . . . . . . . . . . . . . . . . . . .

5

2.2

Datov´ a integrace . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.3

Datov´ a virtualizace . . . . . . . . . . . . . . . . . . . . . . . .

6

2.4

Datov´ a federace . . . . . . . . . . . . . . . . . . . . . . . . . .

6

Integrace dat . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

3.1

Datov´ y sklad . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

3.2

Federovan´ y datab´ azov´ y systém . . . . . . . . . . . . . . . . .

11

Podnik K-net . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

4.1

Poˇzadavky na integraci dat . . . . . . . . . . . . . . . . . . .

16

4.1.1

Integrace CSV soubor˚ u . . . . . . . . . . . . . . . . .

17

4.1.2

Integrace dat z relaˇcn´ıch databáz´ı . . . . . . . . . . .

17

4.1.3

Integrace dat z pohledu business intelligence

. . . . .

18

N´ avrh datov´ e federace ve spoleˇ cnosti K-net . . . . . . . . . ´ 5.1 Uvod do JBoss Teiid . . . . . . . . . . . . . . . . . . . . . . .

19

3

4

5

5.1.1 5.2

5.3

5.4

5.5

19

Teiid Designer . . . . . . . . . . . . . . . . . . . . . .

21

Instalace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

5.2.1

Teiid . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

5.2.2

Teiid Designer . . . . . . . . . . . . . . . . . . . . . .

25

5.2.3

Zaloˇzen´ı nového projektu . . . . . . . . . . . . . . . .

26

5.2.4

Pˇrid´ an´ı Teiid serveru . . . . . . . . . . . . . . . . . . .

29

Reˇsen´ı integrace CSV soubor˚ u. . . . . . . . . . . . . . . . . .

31

5.3.1

Definov´ an´ı zdroj˚ u. . . . . . . . . . . . . . . . . . . . .

31

5.3.2

Spojen´ı dat . . . . . . . . . . . . . . . . . . . . . . . .

38

Reˇsen´ı integrace databáz´ı . . . . . . . . . . . . . . . . . . . .

44

5.4.1

Definov´ an´ı zdroj˚ u. . . . . . . . . . . . . . . . . . . . .

44

5.4.2

Spojen´ı dat . . . . . . . . . . . . . . . . . . . . . . . .

50

Vystaven´ı dat . . . . . . . . . . . . . . . . . . . . . . . . . . .

51

5.5.1

Vytvoˇren´ı virtuáln´ı databáze . . . . . . . . . . . . . .

52

5.5.2

Zobrazen´ı dat v programu Excel . . . . . . . . . . . .

56 1

5.6

Technické z´ azem´ı a provoz systému . . . . . . . . . . . . . . .

60

Z´ avˇ er . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

61

Pˇr´ılohy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

66

A Pouˇ zit´ e soubory . . . . . . . . . . . . . . . . . . . . . . . . . . .

67

6

2

´ 1 Uvod V posledn´ı dobˇe je mnohem snaˇzˇs´ı sb´ırat a uchovávat informace. To je dáno t´ım, ˇze vˇetˇsina informac´ı je dnes ve firmách uchovávána a zpracovávána elektronicky. A protoˇze podniky z legislativn´ıch, operativn´ıch nebo marketingov´ ych d˚ uvod˚ u data typicky nemaˇzou, jejich poˇcet dále roste. Zat´ımco uchov´ avat data nen´ı tˇeˇzké, z´ıskat z nich cenné u ´daje a vyuˇz´ıt je pro lepˇs´ı ˇr´ızen´ı spoleˇcnosti je pomˇernˇe obt´ıˇzn´ yu ´kol. Informace totiˇz pocház´ı z r˚ uzn´ ych zdroj˚ u a pˇrich´ az´ı v r˚ uzn´ ych podobách. Nˇekteré jsou strukturované, jiné ne. Soubory a datab´ aze se nacházej´ı na r˚ uzn´ ych m´ıstech a pˇr´ıstup k nim je odliˇsn´ y. Zat´ımco vˇetˇs´ı podniky mohou vyuˇz´ıt ˇsirokou nab´ıdku standardn´ıch business intelligence ˇreˇsen´ı od firem jako Oracle ˇci SAP, menˇs´ı firmy ˇcasto nemaj´ı na implementaci takov´ ych systém˚ u pen´ıze. Nav´ıc v´ yhody tˇechto systém˚ u ani nedok´ aˇz´ı vyuˇz´ıt, protoˇze dat maj´ı ˇrádovˇe ménˇe a staˇc´ı jim základn´ı funkce pro integraci dat. V posledn´ıch letech vˇsak na trhu vznikla celá ˇrada produkt˚ u, které pˇrin´ aˇs´ı nové postupy a nástroje a zamˇeˇruj´ı se nab´ıdkou i cenami na menˇs´ı firmy. Jedn´ım z trend˚ u pro business intelligence jsou napˇr´ıklad programy poskytované jako sluˇzba, oznaˇcované také jako Software as a Service [1]. V´ yhodou b´ yv´ au ´spora náklad˚ u, ale nev´ yhodou to, ˇze je potˇreba data svˇeˇrit tˇret´ı stranˇe. Podniky, a to zejména ty, které maj´ı jiˇz své IT oddˇelen´ı, si ale mohou vytvoˇrit takov´ y systém svépomoc´ı. K tomu je moˇzné vyuˇz´ıt i volnˇe dostupné programy, za které nen´ı nutné platit ˇzádné poplatky. Samozˇrejmˇe kaˇzdá integrace dat znamen´ a urˇcité náklady na vytvoˇren´ı a u ´drˇzbu systému, kter´ y data bude integrovat, ale u ´spora za nákup nebo pronájem software m˚ uˇze b´ yt obrovsk´ a. Podnˇet ke vzniku této práce dala firma K-net, která by ráda automatizovala vytv´ aˇren´ı nˇekter´ ych sv´ ych report˚ u. Tyto reporty se momentálnˇe mus´ı vytv´ aˇret ruˇcnˇe a ˇcasto se jedná o data pocházej´ıc´ı z r˚ uzn´ ych zdroj˚ u. Tato pr´ ace proto diskutuje r˚ uzné pˇr´ıstupy k tvorbˇe systém˚ u pro business intelligence a integraci dat a pˇredstavuje JBoss Teiid jako jeden z program˚ u, které mohou firmy pro tvorbu tˇechto systém˚ u pouˇz´ıt. Popsan´ y je princip, na jakém 3

´ 1. Uvod Teiid funguje a pˇredstaveny jsou i souvisej´ıc´ı nástroje, zejména nástroj pro datové modelov´ an´ı. Hlavn´ım smyslem pr´ ace je pak poskytnout firmˇe K-net návody pro ˇreˇsen´ı re´ aln´ ych integraˇcn´ıch scén´ aˇr˚ u právˇe pomoc´ı programu Teiid. Pro integraci a vystaven´ı dat byl pouˇzit n´ astroj pro vizuáln´ı modelován´ı a jednotlivé návody jsou ilustrov´ any pomoc´ı sn´ımk˚ u obrazovek. Kromˇe toho práce obsahuje i podrobn´ y postup instalace a diskutuje i provoz takového systému.

4

2 Pojmy 2.1

Business intelligence

Business intelligence (d´ ale také jako BI) je sada technik, postup˚ u, nástroj˚ u a aplikac´ı, které slouˇz´ı podnik˚ um k lepˇs´ımu pochopen´ı trh˚ u, konkurence a také podniku samotného [35]. Zab´ yvá se sbˇerem, anal´ yzou a poskytován´ım obchodn´ıch informac´ı v r˚ uzn´ ych podobách. Typick´ ymi uˇzivateli jsou ˇr´ıd´ıc´ı pracovn´ıci (management) a analytici. ˇ Casto se n´ astroje BI rozdˇeluj´ı na nástroje pro reportován´ı a nástroje pro analytiku [37]. Zat´ımco reportován´ı se zab´ yvá pˇreváˇznˇe kontrolou r˚ uzn´ ych metrik (napˇr. zda se naplnil finanˇcn´ı plán, kontrola docházky zamˇestnanc˚ u apod.), analytické n´ astroje se zamˇeˇruj´ı na sloˇzitˇejˇs´ı dotazy, predikce, ˇr´ızen´ı rizik a r˚ uzné dalˇs´ı odhady.

2.2

Datov´ a integrace

Integrace je proces kombinován´ı ˇcást´ı k vytvoˇren´ı nˇejakého nového celku1 . Datov´ a integrace je proces, ve kterém se vytváˇr´ı sjednocen´ y pohled na data, ˇ kter´ a existuj´ı v r˚ uzn´ ych podobách. Casto taková data pocház´ı z tzv. heterogenn´ıch zdroj˚ u, tedy zdroj˚ u pouˇz´ıvaj´ıc´ıch rozd´ılné zp˚ usoby ukládán´ı a pˇr´ıstupu k dat˚ um. M˚ uˇze se tedy jednat o soubor formátu CSV, XML soubor, ale také datab´ azov´ y server (SQL2 [36] i NOSQL3 ). Mezi ˇcinnosti datové integrace patˇr´ı: •

Spojov´ an´ı dat: slouˇcen´ı stejného typu dat z r˚ uzn´ ych databázov´ ych tabulek ˇci soubor˚ u nebo jejich propojen´ı na základˇe nˇejakého spoleˇcného kl´ıˇce (typicky kolekce atribut˚ u, které se mus´ı pro relevantn´ı z´ aznamy shodovat).

1. Term´ın integrace je odvozen z latinského slova integer (cel´ y, celek). 2. Structured Query Language je dotazovac´ı jazyk nejˇcastˇeji pouˇz´ıv´ an pro komunikaci s datab´ azov´ ym serverem. 3. Term´ın NOSQL (nˇekdy interpretov´ an jako Not SQL nebo Not only SQL oznaˇcuje postupy a technologie pro modelov´ an´ı a ukl´ ad´ an´ı dat jinak neˇz do relaˇcn´ıch tabulek. Mezi NOSQL datab´ aze patˇr´ı zejména dokumentové, grafové a tzv. key-value datab´ aze.

5

2. Pojmy •

Transformace dat: zahrnuje ˇcinnosti jako sjednocen´ı formátu napˇr´ıˇc v´ ysledn´ ymi daty, slouˇcen´ı ˇci rozdˇelen´ı sloupc˚ u v databázové tabulce apod. ˇ stˇ Ciˇ en´ı dat: opravován´ı chybnˇe zadan´ ych hodnot, odstraˇ nován´ı du-

•

plicitn´ıch z´ aznam˚ u, doplnˇen´ı chybˇej´ıc´ıch informac´ı. Datov´ a integrace obecnˇe nedefinuje, jak ke spojen´ı dat pˇresnˇe dojde.

2.3

Datov´ a virtualizace

V informatice se pojmem virtualizace rozum´ı takové principy a zp˚ usoby pˇr´ıstupu k fyzick´ ym zdroj˚ um, které je abstrahuj´ı do nˇejakého jiného, logického celku. Umoˇzn ˇuje ke zdroj˚ um pˇristupovat bez znalosti technick´ ych detail˚ u jejich rozhran´ı a nutnosti znát jejich fyzické um´ıstˇen´ı. Prvn´ı pˇr´ıkladem virtualizace ve svˇetˇe poˇc´ıtaˇc˚ u byl zp˚ usob logického rozdˇelen´ı zdroj˚ u pro r˚ uzné programy sálov´ ych poˇc´ıtaˇc˚ u (tzv. mainframe) v ˇsedes´ at´ ych letech dvac´ atého stolet´ı [32]. Dnes se virtualizuj´ı pamˇeti, souborové systémy, operaˇcn´ı systémy, poˇc´ıtaˇcové s´ıtˇe, ale i aplikace a data. Datov´ a virtualizace je druh virtualizace, která vytváˇr´ı mezivrstvu mezi koncovou aplikac´ı a datov´ ymi zdroji. Samotná aplikace nemus´ı vˇedˇet, na kter´ ych serverech jsou data um´ıstˇená, v jakém formátu jsou uloˇzena a jak´ ym API4 jsou ˇctena a upravov´ ana. Ke vˇsem dat˚ um se pˇristupuje, jako by byly souˇc´ ast´ı jedné datab´ aze. Datov´ a virtualizace m˚ uˇze, ale i nemus´ı zahrnovat abstrakci a integraci dat.

2.4

Datov´ a federace

Slovo federace poch´ az´ı z latinsk´ ych slov foedus a foederis, v´ yznamem bl´ıˇz´ıc´ı se k term´ın˚ um smlouva, kontrakt. Nejˇcastˇeji j´ım oznaˇcujeme pˇr´ıpad, kdy spolu spolupracuj´ı objekty, pracuj´ıc´ı nezávisle na sobˇe, které tvoˇr´ı urˇcit´ y celek. 4. Application programming interface (API) je specifikace, kter´ a urˇcuje, jak spolu jednotlivé programy nebo ˇca ´sti programu komunikuj´ı.

6

2. Pojmy Datov´ a federace je zapojen´ı autonomnˇe funguj´ıc´ıch heterogenn´ıch datov´ ych ˇci datab´ azov´ ych server˚ u a jin´ ych zdroj˚ u dat, která jsou integrována a koncovému uˇzivateli (programu) prezentována jako jeden datov´ y zdroj, priˇcemˇz k integraci dat docház´ı aˇz na poˇzádán´ı (tj. aˇz pˇri poslán´ı dotazu). Datov´ a federace implikuje zapojen´ı v´ıce neˇz jednoho datového zdroje. Federace dat m˚ uˇze b´ yt souˇcást´ı virtualizace dat, zároveˇ n vˇsak kaˇzdá datová federace implikuje existenci virtualizace dat.

7

3 Integrace dat 3.1

Datov´ y sklad

Datov´ y sklad, v angliˇctinˇe oznaˇcovan´ y jako data warehouse nebo enterprise data warehouse, je centráln´ı systém uloˇzen´ı firemn´ıch dat, kter´ y slouˇz´ı pˇredevˇs´ım pro reportov´ an´ı a anal´ yzu dat. D˚ uvody, proˇc pouˇz´ıt centráln´ı sklad pro generován´ı report˚ u a vytváˇren´ı anal´ yz: •

Produkˇcn´ı systémy vˇzdy neukládaj´ı historická data. Naproti tomu pˇri pouˇzit´ı prediktivn´ıch algoritm˚ u a vytváˇren´ı statistik jsou i tato data d˚ uleˇzit´ a.

•

Reporty jsou generovány z jednoho zdroje. To zajiˇstuje konzistenci a sniˇzuje riziko v´ ypadku.

•

Analytické dotazy neovlivˇ nuj´ı produkˇcn´ı prostˇred´ı (napˇr. zpomalen´ı vlivem sloˇzit´ ych dotaz˚ u), databáze pro produkci a reporting mohou m´ıt implementov´ any jiné indexy apod.

•

Extern´ı data (napˇr. meteorologická data pro zkoumán´ı vlivu poˇcas´ı na prodej) mohou b´ yt naˇctena pouze pro potˇreby anal´ yz, nen´ı potˇreba, aby byla souˇc´ ast´ı provozn´ıch systém˚ u. William H. Inmon ve své knize Building the Data Warehouse [34] po-

psal z´ akladn´ı kameny datového skladu a term´ın datov´ y sklad definoval: A ” data warehouse is a subject-oriented, integrated, time-variant, nonvolatile collection of data in support of management’s decision-making process“. Volnˇe pˇreloˇzeno: Datov´ y sklad je subjektovˇe orientovaná5 , integrovaná, stálá6 a ˇcasovˇe rozliˇsiteln´ a, trval´ a kolekce dat podporuj´ıc´ı manaˇzerské ˇr´ızen´ı. To znamen´ a, ˇze v datovém skladu jsou uchovávána vˇsechna data podniku, tˇr´ıdˇen´ a podle typu dat a obsahuj´ı jak aktuáln´ı, tak historické záznamy. 5. Data stejného typu jsou uloˇzena spoleˇcnˇe, napˇr. informace o lidech z r˚ uzn´ ych systém˚ u jsou spojeny do jedné tabulky. 6. Datov´ y sklad je aktualizov´ an periodicky, ne kontinu´ alnˇe. To znamen´ a, ˇze pokud si v´ıce lid´ı pˇred sch˚ uz´ı vygeneruj´ı stejn´ y report, budou v nˇem m´ıt stejn´ a data.

8

3. Integrace dat Podnikov´ a data se proto pˇred uloˇzen´ım do datového skladu mus´ı integrovat a pˇred-zpracovat a mus´ı se do nˇej nahrávat pravidelnˇe. Data v nˇem jsou pak uˇzivatelsky nemˇeniteln´ a, coˇz znamená, ˇze takov´ y sklad nen´ı pˇr´ım´ ym tv˚ urcem dat. Jeden z nejpouˇz´ıvanˇejˇs´ıch proces˚ u pˇr´ıpravy dat pro datov´ y sklad je ETL: extract, transform, load (extrahovat, transformovat, nahrát). Tento term´ın je zjednoduˇsuj´ıc´ı, protoˇze naznaˇcuje, ˇze proces obsahuje pouze tˇri fáze, popˇr. ˇze tyto f´ aze jsou od sebe striktnˇe oddˇelené. To vˇsak nen´ı pravda a v praxi tˇechto f´ az´ı m˚ uˇze b´ yt mnohem v´ıc a mohou se navzájem prol´ınat. F´ aze extrakce ETL procesu se zab´ yvá z´ıskáván´ım dat z r˚ uzn´ ych datov´ ych zdroj˚ u. Naˇcteno je typicky v´ıce dat neˇz je potˇreba, protoˇze v této fázi se nev´ı, jak´ a data budou ve v´ ysledku potˇreba. Frekvence extrakce se pak liˇs´ı napˇr´ıˇc r˚ uzn´ ymi zdroji, od dn˚ u/hodin aˇz po naˇc´ıtán´ı dat skoro v reálném ˇcase. Ke kaˇzdému oddˇelen´ı v podniku a jejich systém˚ um se tak pˇristupuje individu´ alnˇe, podle skuteˇcn´ ych potˇreb. Posléze doch´ az´ı k transformaci dat, mˇen´ı se schéma, data se ˇcist´ı a integruj´ı. To se m˚ uˇze d´ıt na cestˇe mezi r˚ uzn´ ymi u ´loˇziˇsti nebo pˇr´ımo v operativn´ım u ´loˇziˇsti dat (viz d´ ale). ETL se realizuje jako sada skript˚ u, které vyuˇz´ıvaj´ı specializované softwarové n´ astroje. Mezi souˇcasné nejznámˇejˇs´ı ETL produkty patˇr´ı napˇr. Informatica PowerCentre [10], SAS Data Management [23], IBM Infosphere Information Server [8] a Oracle Warehouse Builder [20]. Pˇri budov´ an´ı datového skladu se ˇcasto vyuˇz´ıvá nˇekolika dalˇs´ıch mezisklad˚ u. Data pak putuj´ı za pomoc´ı ETL z jednoho meziskladu do druhého, aˇz doraz´ı do fin´ aln´ıho datového skladu. Pˇr´ıklady takov´ ych mezisklad˚ u: •

Doˇ casn´ e u ziˇ stˇ e dat (data staging area) je m´ısto, kde jsou kop´ı´ loˇ rovan´ a vˇsechna produkˇcn´ı data pˇred t´ım, neˇz se zaˇcnou transformovat, ˇcistit a integrovat. Pokud se napˇr. poloˇzky v produkˇcn´ı databázi rychle mˇen´ı a k pˇresunu dat do datového skladu docház´ı jen jednou t´ ydnˇe, pom˚ uˇze doˇcasné u ´loˇziˇstˇe takové poloˇzky neztratit.

•

Operativn´ı u ziˇ stˇ e dat (operational data store) shromaˇzd’uje jiˇz ´ loˇ integrovan´ a a vyˇciˇstˇená data, která mohou b´ yt vyuˇzita i jin´ ymi sys9

3. Integrace dat témy v podniku. •

Datov´ e trˇ ziˇ stˇ e (data mart) stoj´ı mezi datov´ ym skladem a koncov´ ymi BI aplikacemi. Shromaˇzd’uje pouze nˇejakou logickou podmnoˇzinu dat z datového skladu, která je spoleˇcná specifick´ ym nástroj˚ um a aplikac´ım, které je pouˇz´ıvaj´ı. Data mohou b´ yt uloˇzena agregovanˇe a pˇr´ıstup k nim optimalizován pro konkrétn´ı konzumenty. Datové trˇziˇstˇe je uˇziteˇcné zejména ve chv´ıli, kdy datov´ y sklad je pˇr´ıliˇs velk´ y a z´ıskáv´ an´ı dat pomalé.

Pˇri budov´ an´ı BI ˇreˇsen´ı pomoc´ı ETL nemus´ı b´ yt vˇzdy pouˇzity vˇsechny typy datov´ ych uloˇziˇst’. Je moˇzné, ˇze organizace nevyuˇzije datov´ y sklad a pouˇzije jen datov´ a trˇziˇstˇe. Také lze chován´ı u ´loˇziˇst’ pˇrizp˚ usobit, napˇr. z doˇcasného u ´loˇziˇstˇe dat udˇelat trvalé. Oddˇelen´ı jednotliv´ ych datov´ ych sklad˚ u a pˇresun dat mezi nimi m˚ uˇze prob´ıhat i na jednom datab´ azovém serveru. Jedná se tedy o oddˇelen´ı logické, ne nutnˇe geografické. Jak takové u ´loˇziˇstˇe vypadá a kde se nacház´ı je pouze implementaˇcn´ı detail. Pouˇzit´ı ve velk´ ych a mal´ ych firmách se bude liˇsit. Stoj´ı také za zm´ınku, ˇze ETL nen´ı vˇzdy ideáln´ı zp˚ usob z´ıskáván´ı a transformace dat. Jednou z nev´ yhod je napˇr. to, ˇze po sobˇe jdouc´ı operace ˇcten´ı a tranformace dat z r˚ uzn´ ych zdroj˚ u mus´ı b´ yt ˇcasto naplánované a provedené v urˇcitém poˇrad´ı. Nˇekteré operace mohou selhat a cel´ y proces zablokovat a zdrˇzet. Alternativou tak m˚ uˇze b´ yt napˇr. ELT: extract, load, transform (extrahovat, nahr´ at, transformovat), coˇz je proces, pˇri kterém se ukládaj´ı data do c´ılového skladu v p˚ uvodn´ı podobˇe a transformace dat prob´ıhaj´ı aˇz pˇr´ımo v c´ılovém u ´loˇziˇsti. V´ yhodné je to zejména v pˇr´ıpadˇe, ˇze chceme pˇri transformac´ıch vyuˇz´ıt funkce databázového serveru v takovém skladu. Dalˇs´ı moˇznost´ı kop´ırov´ an´ı dat je pouˇzit´ı replikace. Zat´ımco ETL a ELT pˇresouvaj´ı data typicky po dávkách v urˇcit´ ych intervalech, pˇri replikaci doch´ az´ı k pˇresunu dat po ˇra´dku, ˇci po transakci a to hned, jakmile dojde k pˇr´ısluˇsné operaci (INSERT, UPDATE, DELETE). Vyuˇz´ıvá se zejména pˇri pˇresunu dat z produkˇcn´ıch systém˚ u do doˇcasného u ´loˇziˇstˇe dat. Zajist´ı tak, ˇze se informace o z´ aznamu neztrat´ı.

10

3. Integrace dat

Obr´ azek 3.1: Datov´ y sklad a ETL. Autorem pouˇzit´ ych ikon jsou servery Freepik [7] a Designmodo [4].

3.2

Federovan´ y datab´ azov´ y syst´ em

V pˇredchoz´ı kapitole bylo struˇcnˇe popsáno, jak vytvoˇrit systém pro reportov´ an´ı a anal´ yzy pomoc´ı datového skladu, pomocn´ ych u ´loˇziˇst’ a nástroj˚ u pro transformace dat. Takov´ y systém vˇsak nedisponuje pouze v´ yhodami, n´ ybrˇz disponuje také vlastnostmi, které nejsou vˇzdy ke prospˇechu vˇeci. Jednou z takov´ ych vlastnost´ı je, ˇze vytváˇr´ı duplicitn´ı data. Protoˇze jsou data nˇekolikr´ at kop´ırov´ ana a uloˇzena v r˚ uzném stavu transformace nebo integrace, v´ ysledkem je nevyhnutelnˇe nˇekolik kopi´ı dat, coˇz, v závislosti na velikosti dat p˚ uvodn´ıch, m˚ uˇze b´ yt celkem nezanedbateln´ y náklad na potˇrebn´ y hardware. Kop´ırov´ an´ı dat je také náchylné k chybám a potˇrebné informace se mohou ztratit. Doch´ az´ı také k ukládán´ı i extern´ıch a nestrukturovan´ ych dat. Pˇred generov´ an´ım report˚ u je nutné je m´ıt pˇripravené v nˇekterém u ´loˇziˇsti, aˇckoli tyto data jinak nen´ı potˇreba pˇr´ımo ukládat (jiˇz existuj´ı jinde). Tento systém vyˇzaduje zapojen´ı nˇekolika datov´ ych uloˇziˇst’ ˇci sklad˚ u, coˇz v pˇr´ıpadˇe pouˇzit´ı komerˇcn´ıch databázov´ ych server˚ u m˚ uˇze znamenat vyˇsˇs´ı cenu za licence. Tento bod nemus´ı platit v pˇr´ıpadˇe, ˇze tyto sklady jsou um´ıstˇené fyzicky na jednom serveru, popˇr. v situaci, kdy jsou pouˇzité databáze k 11

3. Integrace dat dispozici bezplatnˇe. Pˇr´ıstup k operaˇcn´ım dat˚ um je bud’ u ´plnˇe nemoˇzn´ y nebo hodnˇe opoˇzdˇen´ y. Jak uˇz bylo uvedeno, BI aplikace jsou od produkˇcn´ıch databáz´ı a jin´ ych operaˇcn´ıch dat typicky hodnˇe odst´ınˇené, data procház´ı nˇekolika transformacemi a dostupné jsou v ˇr´ ad˚ u dn˚ u nebo t´ ydn˚ u. Nˇekteré reporty vyˇzaduj´ı detailn´ı pˇr´ıstup k dat˚ um. V tˇechto systémech vˇsak b´ yvaj´ı data na konci ˇretˇezce natolik zmˇenˇena, ˇze je nen´ı moˇzné k takov´ ym u ´ˇcel˚ um pouˇz´ıt. Nav´ıc rychlost vytváˇren´ı nov´ ych report˚ u, pˇr´ıpadnˇe u ´prava tˇech st´ avaj´ıc´ıch, je nároˇcn´ y proces a vyˇzaduje zmˇenu ETL skript˚ u, pˇr´ıpravu potˇrebn´ ych u ´loˇziˇst’ apod. A pr´ avˇe pro ˇreˇsen´ı podobn´ ych problém˚ u je moˇzné do takového BI systému zapojit server pro virtualizaci dat (v angliˇctinˇe data virtualization server)7 . Systém, kter´ y takov´ y server pouˇz´ıvá, je nazván federovan´ y databázov´ y systém8 . Virtualizovan´ y server je vrstva mezi zdroji dat (zejména pˇr´ımo zdroji prim´ arn´ıch produkˇcn´ıch dat) a koncov´ ymi aplikacemi, která se pro tyto koncové aplikace tv´ aˇr´ı jako bˇeˇzn´ y databázov´ y server (obrázek 3.2). Virtualizované servery pracuj´ı pˇrev´ aˇznˇe s relaˇcn´ımi daty a proto reprezentace dat a zp˚ usob jak´ ym se s nimi pracuje je tomu uzp˚ usoben. Mapov´ an´ı vstupn´ıch a v´ ystupn´ıch dat je obvykle zajiˇstˇeno tzv. virtuáln´ımi tabulkami. Ve virtualizovan´ ych serverech se pouˇz´ıvaj´ı dva základn´ı typy virtu´ aln´ıch tabulek. Prvn´ı je tzv. obalovac´ı tabulka (v angliˇctinˇe wrapper table), tabulka, kter´ a pouze obaluje nˇekter´ y extern´ı zdroj dat (p˚ uvodn´ı tabulku v RDBMS9 , ale klidnˇe i nerelaˇcn´ı zdroj dat). Má tedy stejné schéma a udrˇzuje a poskytuje o tomto zdroji metainformace. Taková tabulka m˚ uˇze vˇedˇet, jak se k prim´ arn´ımu zdroji pˇripojit a pˇr´ıpadnˇe pˇri pˇr´ıstupu k dat˚ um prov´ adˇet nˇejaké malé transformace (konverze datov´ ych typ˚ u, aby jim virtualizaˇcn´ı server rozumˇel). Druh´ y typ tabulek slouˇz´ı k vytváˇren´ı nov´ ych pohled˚ u na data. Maj´ı typicky své vlastn´ı schéma, pˇriˇcemˇz jednotlivé atributy jsou namapované z 7. Nˇekdy bude v pr´ aci uveden jako server pro datovou virtualizaci nebo jen jako virtualizaˇcn´ı server. 8. Nejˇcastˇejˇs´ımi zdroji dat jsou datab´ azové systémy, pˇrestoˇze nejsou jedinné. 9. Relational database management system.

12

3. Integrace dat wrapped tabulek nebo z jin´ ych virtuáln´ıch tabulek. Pro konstrukci virtu´ aln´ıch tabulek se pouˇz´ıvaj´ı r˚ uzné jazyky, které um´ı dotazovat data: SQL, jazyky zaloˇzené na práci s toky (anglicky flow languages)10 , XSLT11 , XQuery12 a jiné postavené na XML, a také proceduráln´ı jazyky. Tyto jazyky mohou m´ıt speciáln´ı funkce, které p˚ uvodn´ı jazyk rozˇsiˇruj´ı. Napˇr. jazyk SQL se ˇcasto v tˇechto systémech doplˇ nuje o deduplikaˇcn´ı funkce13 , funkce pro spojov´ an´ı dat na základˇe podobné shody (tzv. fuzzy joins), funkce pro anal´ yzu sentimentu14 a tak dále. Federovan´ y datab´ azov´ y systém nab´ız´ı celou ˇradu v´ yhod. Jiˇz z principu disponuje pˇr´ıstupem k operaˇcn´ım dat˚ um v reálném ˇcase a um´ı tak nab´ıdnout vˇsechna data okamˇzitˇe k dispozici. D´ıky centráln´ımu prvku je moˇzné jednoduˇse sd´ılet meta-data o datov´ ych zdroj´ıch, datech samotn´ ych a jejich transformac´ıch. Nen´ı tak potˇreba definovat stejné vˇeci v´ıcekrát pro kaˇzdé u ´loˇziˇstˇe. V´ yhodou v tomto pˇr´ıpadˇe nen´ı jen jednoduˇsˇs´ı správa takov´ ych meta-dat, ale také jejich konzistence. A protoˇze jsou jednotlivé datové zdroje propojené na jednom m´ıstˇe, je moˇzné rychle a flexibilnˇe vytváˇret nové reporty, respektive pro nˇe pˇripravit data. Skryt´ı fyzického uloˇzen´ı dat je dalˇs´ı v´ıtanou vlastnosti federovan´ ych datab´ azov´ ych systém˚ u. BI aplikace nemus´ı vˇedˇet, ve kterém u ´loˇziˇsti ˇci skladu data najde, nemus´ı ani vˇedˇet, ˇze se dan´ y datov´ y zdroj pˇresunul ˇci ˇze se zmˇenil datab´ azov´ y systém (napˇr. instalace nové verze). Zdroje lze mˇenit, aniˇz by bylo potˇreba mˇenit reporty. Zapojen´ı serveru pro virtualizaci dat se obecnˇe ˇcasto zjednoduˇs´ı topologie datov´ ych u ´loˇziˇst’ pro BI. Poˇrád m˚ uˇze b´ yt na m´ıstˇe nˇekteré mezi-sklady zachovat, ale jejich poˇcet se v´ yraznˇe sn´ıˇz´ı. Bohuˇzel i servery pro virtualizaci dat maj´ı své nev´ yhody, které je potˇreba pˇri pˇr´ıpadném nasazen´ı zváˇzit. Pˇri kaˇzdém dotazu mus´ı data proj´ıt pˇres

10. Pˇr´ıkladem takového jazyka je napˇr´ıklad Pig Latin. 11. Extensible Stylesheet Language Transformations je jazyk pro definov´ an´ı transformace XML do jin´ ych form´ at˚ u. 12. XQuery je dotazovac´ı jazyk pro extrakci dat ze strukturovan´ ych i nestrukturovan´ ych dokument˚ u. 13. Deduplikaˇcn´ı funkce slouˇz´ı k omezen´ı poˇctu kopi´ı opakuj´ıc´ıch se dat. 14. Snaha o rozpozn´ an´ı postoje pisatele nebo ˇreˇcn´ıka na z´ akladˇe anal´ yzu textu.

13

3. Integrace dat jednu vrstvu nav´ıc, coˇz znamená urˇcité zpomalen´ı vykonáván´ı dotazu, nav´ıc vˇsechny operace prob´ıhaj´ı pokaˇzdé znovu pro vˇsechny dotazy. V pˇr´ıpadˇe, kdy se pouˇzité transformace mus´ı provést na nestrukturovan´ ych datech (tˇreba aˇz v BI programu), bude zpomalen´ı zanedbatelné (dojde k nˇemu tak, jako tak, akor´ at na jiné vrstvˇe). U strukturovan´ ych dat zase záleˇz´ı na pouˇzité datab´ azi a zpomalen´ı by opˇet mˇelo b´ yt minimáln´ı. Problémem tak m˚ uˇze b´ yt aˇz spojov´ an´ı dat na u ´rovni virtuáln´ıho serveru. Toto je problém, kter´ y se tyto servery snaˇz´ı ˇreˇsit a zapojuj´ı do procesu r˚ uzné optimalizace, ˇcasto zaloˇzené na poskytnut´ ych meta-datech. Pokud se tedy zdroje dat dobˇre pop´ıˇsou, bude spojov´ an´ı dat efektivnˇejˇs´ı. Pokud se dále ukáˇze, ˇze provádˇen´ı stejn´ ych dotaz˚ u st´ ale dokola nadmˇernˇe zatˇeˇzuje systém, je moˇzné zapojit vyrovnávac´ı pamˇet’ (cache). Je potˇreba se vˇsak dobˇre zamyslet nad t´ım, jak a kdy takovou pamˇet’ pouˇz´ıt, protoˇze jej´ım pouˇzit´ım lze ztratit hlavn´ı v´ yhody takového virtualizovaného ˇreˇsen´ı. Mezi dalˇs´ı problémy patˇr´ı správa, dohled a pˇr´ıpadná migrace na jin´ y virtualizaˇcn´ı server. V tomto ohledu se jedná o software jako kaˇzd´ y jin´ y. Je potˇreba vybrat vhodn´ y systém, kter´ y lze pohodlnˇe spravovat napˇr´ıklad pomoc´ı webové konzole ˇci ovládat z pˇr´ıkazové ˇrádky a kter´ y má dostupné n´ astroje pro modelov´ an´ı dat. Znalost tˇechto nov´ ych systém˚ u a jejich nástroj˚ u vˇsak nen´ı tak rozˇs´ıˇren´ a, proto m˚ uˇze b´ yt obt´ıˇzné naj´ıt odborn´ıky v této oblasti. A koneˇcnˇe migrace z jednoho virtualizovaného serveru na druh´ y m˚ uˇze b´ yt problematick´ a a n´ akladná, protoˇze systémy v této oblasti pouˇz´ıvaj´ı ˇcasto vlastn´ı, propriet´ arn´ı form´ aty a jazyky. Pˇrenést vymodelovan´ y systém dat na jin´ y server tak m˚ uˇze znamenat vytvoˇrit takov´ y model znova. Pouˇzit´ı systému federovan´ ych databázov´ ych systému lze naj´ıt v servisnˇe orientovan´ ych architektur´ ach (SOA), správˇe podnikov´ ych dat, business intelligence, internetov´ ych aplikac´ıch, v systémech za u ´ˇcelem vytváˇren´ı datov´ ych u ´loˇziˇst’ pracuj´ıc´ıch v reálném ˇcase a pro vytváˇren´ı datov´ ych firewall˚ u, které umoˇzn ˇuj´ı vystavit nˇekterá intern´ı data pomoc´ı webov´ ych sluˇzeb tˇret´ım stran´ am. Mezi servery pro virtualizaci dat m˚ uˇzeme ˇradit produkty jako JBoss Teiid (kter´ y je pouˇzit v této pr´ aci) [13], Cisco Data Virtualization Platform [3] ˇci IBM InfoSphere Platform [9].

14

3. Integrace dat

Obr´ azek 3.2: Federovan´ y databázov´ y systém. Autorem pouˇzit´ ych ikon jsou servery Freepik [7] a Designmodo [4].

15

4 Podnik K-net Firma K-net Technical International Group s.r.o. (dále K-net) byla zaloˇzená roku 1993 s c´ılem poskytovat sluˇzby v oblasti informaˇcn´ıch technologi´ı. Jedná se o ˇceskou firmu dod´ avaj´ıc´ı ˇreˇsen´ı jak veˇrejnému, tak privátn´ımu sektoru a to firm´ am vˇsech velikost´ı. Z´ akazn´ık˚ um nab´ız´ı pˇredevˇs´ım IT infrastrukturu v podobˇe s´ıt´ı, server˚ u a souvisej´ıc´ıho software. Zajiˇst’uje vzdálen´ y pˇr´ıstup k firemn´ım dat˚ um odkudkoli a poskytov´ an´ı cloudov´ ych sluˇzeb15 , mezi které patˇr´ı provoz virtuáln´ıch stroj˚ u, datov´ ych u ´loˇziˇst’ a s´ıt’ové infrastruktury (oznaˇcované také jako IaaS16 ), poskytov´ an´ı bˇehového prostˇred´ı a databáz´ı (PaaS17 ), ale také pˇr´ımo provoz samotn´ ych aplikac´ı, napˇr. r˚ uzn´ ych informaˇcn´ıch systém˚ u (SaaS18 ). K-net také realizuje kompletn´ı IT projekty na pˇrán´ı zákazn´ıka, implementuje VoIP19 a poskytuje dalˇs´ı IT sluˇzby a servis. K-net zamˇestn´ av´ a momentálnˇe 45 zamˇestnanc˚ u vˇsech vˇekov´ ych kategori´ı a m´ a poboˇcky v Praze, Brnˇe a Ostravˇe. Podle Evropské komise [33] spadá do kategorie mal´ ych podnik˚ u, protoˇze má do 50 zamˇestnanc˚ u a roˇcn´ı obrat do 10 mili´ on˚ u EUR.

4.1

Poˇ zadavky na integraci dat

ˇ Casto se st´ av´ a, ˇze pracovn´ıci firmy, zejména veden´ı spoleˇcnosti a analytici, potˇrebuj´ı sestavit urˇcit´ y v´ ystup, kter´ y dodávan´ y program neum´ı anebo je potˇreba propojit dva r˚ uzné programy dohromady. K tomuto u ´ˇcelu se v Knetu pouˇz´ıv´ a Microsoft Excel. K-net vyuˇz´ıv´ a nˇekolik informaˇcn´ıch systém˚ u, hlavnˇe u ´ˇcetn´ı software ERP Money S5 a software pro ˇr´ızen´ı vztahu se zákazn´ıky (CRM20 ) SugarCRM 15. Cloud computing je druh poˇc´ıtaˇcové architektury, kter´ y vyuˇz´ıv´ a v´ıce server˚ u navz´ ajem propojen´ ych s´ıt´ı, pˇriˇcemˇz koncov´ a aplikace nebo jin´ y klient se ke sluˇzb´ am na této architektuˇre provozovan´ ych pˇripojuje skrze Internet. 16. Infrastructure as a service 17. Platform as a service. 18. Software as a service 19. Technologie pro pˇrenos digitalizovaného hlasu. 20. Customer relationship management.

16

4. Podnik K-net [25]. ERP Money S5 je nejvyˇsˇs´ı edice z ˇrady program˚ u od ˇceské spoleˇcnosti C´ıgler software (d´ ale jsou nab´ızeny programy Money S3, Money S4) zamˇeˇrené na spr´ avu financ´ı. SugarCRM je nab´ızen jako cloudová aplikace a prodávan´ y jako sluˇzba, pˇriˇcemˇz z´ akazn´ıci si mohou vybrat kde pˇresnˇe aplikace pobˇeˇz´ı. Oba programy provozuje K-net v lokáln´ı instalaci a má tak pˇr´ım´ y pˇr´ıstup k jejich datab´ az´ım. Hlavn´ım c´ılem je zjednoduˇsen´ı práce tak, aby se urˇcité reporty nemuseli ˇ pokaˇzdé vytv´ aˇret ruˇcnˇe v tabulkovém procesoru. Casto m˚ uˇze b´ yt ˇzádouc´ı, aby v´ ysledn´ y report byl d´ ale editovateln´ y a dal se zpracovávat, ale vytvoˇren´ı kaˇzdého takového reportu vyˇzaduje rutinn´ı u ´lohy, které by se dali automatizovat.

4.1.1 Integrace CSV soubor˚ u Prvn´ım z´ akladn´ım scén´ aˇrem, kter´ y firma K-net potˇrebuje ˇreˇsit, je obecné propojen´ı dvou soubor˚ u formát˚ u CSV na základˇe párovac´ıch znak˚ u. Tyto soubory b´ yvaj´ı typicky nˇejaké v´ ystupn´ı exporty z jednoho nebo dvou r˚ uzn´ ych informaˇcn´ıch systém˚ u. Po integraci tˇechto dat je ˇzádouc´ı nadále data analyzovat, napˇr. je d´ ale zpracovávat tabulkov´ ym procesorem (napˇr. programem Excel). Jako uk´ azku takov´ ych dat poskytla firma K-net dva soubory UcetniZapis.csv a Zakazka.csv z u ´ˇcetn´ıho programu, které jsou propojitelné poloˇzkami Zak´ azka a K´ od a které jsou d˚ uleˇzité pro vyhodnocen´ı zakázky. Tyto soubory jsou v k´ odov´ an´ı Windows-1250, pouˇzit´ y oddˇelovaˇc je stˇredn´ık a prvn´ı ˇrádek souboru obsahuje n´ azvy atribut˚ u.

4.1.2 Integrace dat z relaˇ cn´ıch datab´ az´ı Dalˇs´ı integraˇcn´ı problém je spojen´ı dat z tabulek, která jsou v r˚ uzn´ ych datab´ azov´ ych serverech, zejména uloˇzená v databázovém serveru Microsoft SQL Server, kter´ y K-net ˇcasto pouˇz´ıvá. Po integraci tˇechto dat je ˇzádouc´ı nad´ ale data analyzovat podobnˇe jako v pˇr´ıpadˇe integrace CSV soubor˚ u. 17

4. Podnik K-net 4.1.3 Integrace dat z pohledu business intelligence Tato sekce prezentuje konkrétnˇejˇs´ı scénáˇre, které by firma K-net chtˇela implementovat. Vˇsechny tyto scénáˇre vycházej´ı z pˇredchoz´ıch dvou obecn´ ych scén´ aˇr˚ u: propojov´ an´ı CSV soubor˚ u a databáz´ı. Dále vˇsak kladou poˇzadavky na filtrov´ an´ı a dalˇs´ı zpracován´ı dat. Pro vytvoˇren´ı podrobn´ ych návod˚ u pro tyto scén´ aˇre nebyl v pr´ aci prostor, ale jsou zde uvedeny pro ilustraci toho, k ˇcemu takov´ a integrace dat slouˇz´ı. Veden´ı spoleˇcnosti chce kontrolovat pauˇsáln´ı smlouvy. Potˇrebuje vˇedˇet, zda vˇsechny smlouvy byly v daném mˇes´ıci vyfakturovány, jak´ y tyto smlouvy tvoˇrili obrat a n´ aklady v daném mˇes´ıci a jak´ y byl v daném mˇes´ıci na smlouv´ ach hospod´ aˇrsk´ y v´ ysledek. Momentálnˇe je tabulka v´ ynos˚ u a náklad˚ u na pauˇs´ aln´ı smlouvy udrˇzov´ ana ruˇcnˇe v tabulce programu Excel, kam se kaˇzd´ y mˇes´ıc ruˇcnˇe kop´ıruj´ı nov´ a data. Proto, aby se mohli vyhodnotit zakázky a spravedlivˇe ohodnotit zásluhy jednotliv´ ych lid´ı, chce K-net provázat data ohlednˇe obchodn´ıho pˇr´ıpadu evidovan´ a v CRM s finanˇcn´ı realitou konkrétn´ıho obchodn´ıho pˇr´ıpadu evidovanou v u ´ˇcetnictv´ı Money S5. Systém by mˇel umˇet naˇc´ıst data z CRM (oˇcek´ avané obraty, zisky, apod.), na základˇe kódu zakázky s nimi agregovat definovan´ a data z Money S5 a provést definované v´ ypoˇcty, které by zobrazili finanˇcn´ı bilanci zak´ azky. Finanˇcn´ı vedouc´ı potˇrebuje stanovit zisk a body z prodeje zboˇz´ı a sluˇzeb a to na vybrané zak´ azky podle v´ ybˇeru. V´ ybˇer zakázek by mˇel umoˇznit vybrat konkrétn´ı zak´ azku nebo vybrat mnoˇzinu zakázek podle urˇcit´ ych kritéri´ı (p´ısmenného k´ odu zak´ azky, numerického kódu zakázky, vybraného stavu zak´ azky), popˇr. vybrat zak´ azky vˇsechny. K dispozici by mˇel b´ yt jeˇstˇe dalˇs´ı filtr, kter´ y by d´ ale poloˇzky vyb´ıral na základˇe obdob´ı u ´ˇcetn´ıho den´ıku, ˇc´ısla u ´ˇct˚ u, oznaˇcen´ı firmy, jména zákazn´ıka, popisu zakázky, akc´ı/etap zakázky a stˇrediska (divize). Zdrojem dat je u ´ˇcetn´ı den´ık a evidence zakázek.

18

5 N´ avrh datov´ e federace ve spoleˇ cnosti K-net 5.1

´ Uvod do JBoss Teiid

JBoss Teiid [13] je sada n´ astroj˚ u pro virtualizaci a federaci dat. Jedná se p˚ uvodnˇe o produkt firmy MetaMatrix (zal. roku 1998), která byla koupena firmou Red Hat v roce 2007 [14]. Touto akvizic´ı se zmˇenil v´ yvojov´ y model, kdy se z komerˇcn´ıho produktu s uzavˇren´ ym zdrojov´ ym kódem stal komunitnˇe vyv´ıjen´ y open-source projekt JBoss Teiid. S touto zmˇenou se také zmˇenil samotn´ y produkt. Nˇekteré jeho ˇcásti se zmˇenili, jiné vypustili. Kromˇe komunitn´ı verze firma Red Hat nab´ız´ı také certifikovanoou komerˇcn´ı variantu pod n´ azvem Red Hat JBoss Data Virtualization [21]. Teiid je naps´ an pro bˇeh na aplikaˇcn´ım serveru JBoss Application Server (zkr´ acenˇe JBoss AS). Tento aplikaˇcn´ı server existuje v nˇekolika variantách. Komunitn´ı verze byla pˇrejmenována [30] a je novˇe vydávána pod názvem Wildfly [31]. JBoss AS je také moˇzné poˇr´ıdit jako komerˇcn´ı certifikovan´ y produkt Red Hat JBoss Enterprise Application Platform [22]. JBoss Teiid je moˇzné provozovat bezplatnˇe a v pˇr´ıpadˇe potˇreby pˇrej´ıt na komerˇcn´ı, podporovan´ y, produkt. Vzhledem k tomu, ˇze se jedná o opensource projekt, je moˇzné se jednoduˇse dostat k seznamu nahláˇsen´ ych problém˚ u, kontaktovat v´ yvoj´ aˇre, pod´ıvat se na zdrojov´ y kód a pˇr´ıpadnˇe se i zapojit do samotného v´ yvoje. J´ adrem Teiidu je bˇehové prostˇred´ı napsané pro aplikaˇcn´ı server JBoss AS, které je optimalizované pro fault-tolerance21 a nab´ız´ı bezpeˇcnostn´ı a administraˇcn´ı funkce. Je navrˇzeno pro enterprise pouˇzit´ı - pro snadné ˇskálován´ı a spr´ avu. Dalˇs´ı d˚ uleˇzitou komponentou je dotazovac´ı stroj. Ten zpracovává relaˇcn´ı, XML, XQuery dotazy a proceduráln´ı dotazy z federovan´ ych datov´ ych zdroj˚ u. Podporuje homogenn´ı i heterogenn´ı schémata, transakce i uˇzivatelsky definované funkce. Teiid m´ a ˇsirokou podporu r˚ uzn´ ych zdroj˚ u dat [12]. Kromˇe celé ˇrady relaˇcn´ıch datab´ azov´ ych server˚ u jako MySQL, PostgreSQL a Microsoft SQL 21. Jedn´ a se o vlastnost, kter´ a umoˇzn ˇuje systému, aby nad´ ale pracoval spr´ avnˇe i v pˇr´ıpadˇe selh´ an´ı nˇekteré jeho souˇca ´sti.

19

´ vrh datove ´ federace ve spolec ˇnosti K-net 5. Na Server podporuje i ostatn´ı typy databáz´ı oznaˇcovan´ ych jako NoSQL, jmenovitˇe napˇr´ıklad Amazon SimpleDB, Mongo DB ˇci Apache Cassandra. Dostupné jsou konektory i pro systémy jako SalesForce, webové sluˇzby zaloˇzené na SOAP22 a REST23 architekturách a dostupná je i podpora protokolu OData24 [19]. Vzhledem k tomu, ˇze je moˇzné vyvinout i vlastn´ı podporu pro libovoln´ y dalˇs´ı systém ˇci technologii, mˇela by tato nab´ıdka staˇcit pro naprostou vˇetˇsinu integraˇcn´ıch scénáˇr˚ u. Teiid pracuje s tzv. virtuáln´ı databáz´ı. Virtuáln´ı databáze (oznaˇcovaná také zkratkou VDB) [15] je kolekce metadat ve formˇe model˚ u, která popisuje virtu´ aln´ı a fyzické tabulky, jejich zdroje a pˇr´ıpadnˇe definici webov´ ych sluˇzeb. Obsahuje informace o tom, jak se k tˇemto zdroj˚ um pˇripojit, popisuje form´ at uloˇzen´ ych dat (napˇr. datové typy, oddˇelovaˇce v CSV souborech, atd.) a transformace dat, které je nad nˇema potˇreba vykonat. Ve chv´ıli, kdy je tato datab´ aze nahr´ ana na server, se klienti (aplikace) mohou k této virtuáln´ı datab´ azi pˇripojit skrze Teiid, kter´ y veˇskeré dotazy vykoná na samotn´ ych zdrojech dat a v´ ysledn´ a data vrát´ı v poˇzadovaném formátu. S Teiid serverem mohou aplikace komunikovat napˇr´ıklad rozhran´ım JDBC25 a protokoly SOAP a OData. Existuj´ı dva typy VDB. Tzv. dynamické VDB je XML soubor, kter´ y popisuje integrované zdroje a umoˇzn ˇuje pˇripojit se k nim pˇres rozhran´ı JDBC. Dynamické VDB nepodporuje ˇzádné dalˇs´ı abstraktn´ı vrstvy a slouˇz´ı pouze pro z´ akladn´ı integraci dat. Druh´ y, standardn´ı typ VDB, je ve formˇe JAR26 bal´ıˇcku (typicky s pˇr´ıponou .vdb) a umoˇzn ˇuje definovat jak zdrojové modely, 22. Simple Object Access protocol je protokol postaven´ y na jazyku XML pro v´ ymˇenu strukturovan´ ych dat mezi webov´ ymi sluˇzbami. 23. Representational State Transfer je typ architektury webov´ ych sluˇzeb zaloˇzen´ y na jednoduch´ ych HTTP vol´ an´ı. Je orientov´ an datovˇe, kde kaˇzd´ y zdroj m´ a svoje URI a REST definuje ˇctyˇri z´ akladn´ı metody pro pˇr´ıstup k nim. 24. Open Data Protocol vyuˇz´ıv´ a koncept REST architektury pro vytvoˇren´ı protokolu urˇceného k vytv´ aˇren´ı a konzumaci webov´ ych API. 25. Java Database Connectivity je standardn´ı rozhran´ı pˇr´ıstupu k relaˇcn´ım datab´ az´ım v jazyce Java. Pro pˇripojen´ı ke konkrétn´ı datab´ azi je pak potˇreba ovladaˇc, kter´ y typicky poskytuj´ı pˇr´ımo v´ yrobci dan´ ych datab´ azov´ ych server˚ u. V tomto pˇr´ıpadˇe poskytuje JDBC ovladaˇc pˇr´ımo Teiid, se kter´ ym program komunikuje. 26. JAR je souborov´ y form´ at pouˇz´ıvan´ y k distribuci program˚ u a knihoven napsan´ ych pro bˇehové prostˇred´ı Java Virtual Machine.

20

´ vrh datove ´ federace ve spolec ˇnosti K-net 5. Na tak abstraktn´ı pohledové relaˇcn´ı a XML modely a vytváˇret tak jejich hierarchii. Pro vytv´ aˇren´ı tˇechto virtuáln´ıch databáz´ı je potˇreba pouˇz´ıt modelovac´ı n´ astroj Teiid Designer (viz dále). Tato práce se bude vˇenovat jen druhému typu VDB. K dispozici jsou také nástroje pro modelován´ı, administraci a správu, které pom´ ah´ aj´ı s implementac´ı a provozem Teiidu. Teiid Designer je modelovac´ı n´ astroj a je pops´ an podrobnˇeji v samostatné ˇcásti. Mezi dalˇs´ı programy patˇr´ı Web console a Admin Shell. Web console je administraˇcn´ı rozhran´ı pro Teiid server. Jedn´ a se o plugin do JBoss AS, kter´ y um´ı vytváˇret datové zdroje, nahr´ avat VDB, mˇenit konfiguraci, spouˇstˇet a vyp´ınat bˇeˇz´ıc´ı sluˇzby a monitorovat stav serveru. Admin Shell slouˇz´ı pro automatizován´ı administrativn´ıch ˇcinnost´ı. Jedn´ a se o nástroj postaven´ y na jazyku Groovy, kter´ y dok´ aˇze zpˇr´ıstupnit Admin API z pˇr´ıkazové ˇrádky a t´ım umoˇzn ˇuje psát i skripty. Pomoc´ı Admin Shellu lze napˇr. nahrát VDB, sledovat vykonávané dotazy a podobnˇe. 5.1.1 Teiid Designer Teiid Designer je vizu´ aln´ı nástroj pro modelován´ı, anal´ yzu a testován´ı datov´ ych zdroj˚ u, jejich integraci a vytvoˇren´ı v´ ystupn´ı podoby dat v nich obsaˇzen´ ych. Jin´ ymi slovy pomáhá definovat metadata pro pˇr´ıstup k datov´ ym zdroj˚ um, modelovat virtu´ aln´ı databáze a popsat v´ ystupn´ı formát dat bez znalosti programov´ an´ı. Jedná se o neocenitelného pomocn´ıka, kter´ y umoˇzn ˇuje pohodlnˇe a vizu´ alnˇe vytvoˇrit virtuáln´ı databázi, která je pozdˇeji konzumov´ ana Teiidem samotn´ ym. Teiid Designer nen´ı distribuován jako samostatn´ y program, ale jedná se o z´ asuvn´ y modul do Eclipse. Eclipse je integrované v´ yvojové prostˇred´ı, které m´ a d´ıky rozs´ ahlé nab´ıdce zásuvn´ ych modul˚ u ˇsiroké pouˇzit´ı. Teiid Designer rozˇsiˇruje jeho moˇznosti pˇridán´ım relevantn´ıch nástroj˚ u a nab´ıdek, pˇriˇcemˇz vˇsak maxim´ alnˇe vyuˇz´ıv´ a jiˇz existuj´ıc´ı prostˇred´ı. Lidé, kteˇr´ı jiˇz s Eclipse pracuj´ı, jsou proto schopni se v Teiid Designeru rychle zorientovat. Pro definici v´ ysledné virtuáln´ı databáze se pracuje s tzv. modely. Model sdruˇzuje vˇsechna metadata o nˇejaké kolekci dat. Existuj´ı dva základn´ı modely a to zdrojov´ y model (source model) a pohledov´ y model (view model). 21

´ vrh datove ´ federace ve spolec ˇnosti K-net 5. Na Zdrojové modely popisuj´ı data, která jsou nˇekde fyzicky um´ıstˇená, pohledové modely se pouˇz´ıvaj´ı pro popis logick´ ych struktur dat, napˇr. virtuáln´ıch tabulek a XML v´ ystup˚ u. Zdrojov´ y model proto obsahuje informace o tom, kde jsou data um´ıstˇená a jak´ ym zp˚ usobem je pˇreˇc´ıst. To zahrnuje popis struktury dat v závislosti na typu datového zdroje (relaˇcn´ı tabulky, atributy, oddˇelovaˇce v CSV souborech, atp.), cestu k souboru ˇci databázi, pouˇzit´ y protokol a pˇr´ıpadnˇe pˇrihlaˇsovac´ı u ´daje, pokud dan´ y datov´ y zdroj vyˇzaduje autentizaci. Zároveˇ n mus´ı obsahovat mapov´ an´ı pouˇzit´ ych datov´ ych typ˚ u, protoˇze mnoˇzina podporovan´ ych datov´ ych typ˚ u [29] se pravdˇepodobnˇe liˇs´ı. Pohledové modely slouˇz´ı, jednoduˇse ˇreˇceno, k transformaci dat. Pohledov´ y model vˇzdy ˇcerp´ a data ze zdrojov´ ych model˚ u nebo jin´ ych pohledov´ ych model˚ u a definuje pro nˇe novou reprezentaci a potˇrebné transformace. Teiid Designer um´ı pracovat s nˇekolika typy pohledov´ ycho model˚ u, napˇr. s modelem relaˇcn´ıch tabulek, XML modelem, s modelem webové sluˇzby apod. Mezi z´ akladn´ı postupy pro vytvoˇren´ı modelu patˇr´ı importován´ı metadat z datového zdroje, transformac´ı ˇci kop´ırován´ım jiného modelu, nebo definov´ an´ım nového modelu. Ke vˇsem tˇemto postup˚ um nab´ız´ı Teiid Designer odpov´ıdaj´ıc´ı dialogy a pr˚ uvodce. Poté, co je model vytvoˇren, je moˇzné jej d´ ale upravovat. K tomu slouˇz´ı zejména tzv. diagram bal´ıku (Package Diagram), transformaˇcn´ı diagram (Transformation Diagram) a paleta vlastnost´ı (Properties). Diagram bal´ıku je vlastnˇe diagram daného modelu. Nab´ız´ı pˇrehled toho, co cel´ y model obsahuje. Pomoc´ı kontextové nab´ıdky je moˇzné s obsahem modelu manipulovat (napˇr. pˇridat novou tabulku). Transformaˇcn´ı diagram se t´ yk´ a definice tabulek. Umoˇzn ˇuje uˇzivateli vizuálnˇe pˇridávat a odeb´ırat zdroje dané tabulky, pˇrid´ avat a odeb´ırat atributy a pˇredevˇs´ım definovat samotnou transformaci, coˇz je ve v´ ysledku SQL dotaz. Paleta vlastnost´ı funguje napˇr´ıˇc cel´ ym programem a slouˇz´ı k u ´pravˇe velké mnoˇziny metadat jednotliv´ ych objekt˚ u (tabulek, atribut˚ u apod.). Teiid Designer integruje také práci s Teiid serverem. Pˇridat instanci JBoss AS je moˇzné pˇres standardn´ı nástroje pro práci se servery v prostˇred´ı Eclipse a v pˇr´ıpadˇe, ˇze je na této instanci nainstalován Teiid, dokáˇze s n´ım Teiid De-

22

´ vrh datove ´ federace ve spolec ˇnosti K-net 5. Na signer rovnou komunikovat (nahrávat virtuáln´ı databáze a dotazovat data). Poté, co jsou zdrojové a pohledové modely pˇripraveny a Teiid Designer má k dispozici aplikaˇcn´ı server s Teiidem, umoˇzn´ı uˇzivateli data z jednotliv´ ych model˚ u prohl´ıˇzet pˇr´ımo v prostˇred´ı programu. Ve chv´ıli, kdy jsou jednotlivé modely definovány a pˇripraveny k pouˇzit´ı, je potˇreba vymodelovat v´ yslednou virtuáln´ı databázi. To lze také udˇelat vizu´ alnˇe a Teiid Designer nav´ıc zajist´ı, ˇze se do VDB dostanou vˇsechny potˇrebné modely. V´ ysledn´ y soubor se pak m˚ uˇze nahrát na server pˇr´ımo z Teiid Designeru.

23

´ vrh datove ´ federace ve spolec ˇnosti K-net 5. Na

5.2

Instalace

5.2.1 Teiid Jak jiˇz bylo ˇreˇceno, Teiid vyˇzaduje pro sv˚ uj bˇeh aplikaˇcn´ı server JBoss AS. V této pr´ aci bude pouˇzit ve verzi oznaˇcované jako Enterprise Application Platform 6.1.0 Alpha (d´ ale jen EAP), která lze stáhnout jako arch´ıv ve form´ atu ZIP z ofici´ aln´ıch stránek

27 .

Instalace tohoto serveru se provád´ı

rozbalen´ım daného arch´ıvu do libovolné sloˇzky, kde jsou dostateˇcná práva pro z´ apis a spouˇstˇen´ı soubor˚ u. Vˇsechny verze Teiidu jsou ke staˇzen´ı na internetov´ ych stránkách Sourceforge

28 .

Posledn´ı stabiln´ı verze je 8.9.0.Final, ale protoˇze pro modelován´ı

bude pouˇzit Teiid Designer, je tˇreba nainstalovat verzi 8.7.0.Final, která je ofici´ alnˇe kompatibiln´ı s vybranou verzi Teiid Designeru (viz dále). Na zm´ınˇen´ ych str´ ank´ ach je k dispozici ke staˇzen´ı nˇekolik arch´ıv˚ u, pˇriˇcemˇz pro potˇreby této pr´ ace jsou relevantn´ı tyto: •

teiid-8.7.0.Final-jboss-dist.zip Standardn´ı distribuce Teiidu.

•

teiid-8.7.0.Final-jdbc.jar Ovladaˇc JDBC pro pˇripojen´ı k virtuáln´ım datab´ az´ım z extern´ıch aplikac´ı. Instalace Teiidu prob´ıh´ a rozbalen´ım staˇzeného arch´ıvu teiid-8.7.0.Final-

jboss-dist.zip do adres´ aˇrové struktury JBoss AS (struktura Teiid arch´ıvu kop´ıruje strukturu serveru JBoss AS a pouze doplˇ nuje jeho moduly a konfiguraˇcn´ı soubory). Teiid bude t´ımto nainstalován v tzv. standalone módu. V tomto m´ odu mohou bˇeˇzet aplikace, pokud nepotˇrebujeme centráln´ı správu v´ıce instanc´ı aplikaˇcn´ıho serveru. Kdyby v d˚ usledku stávaj´ıc´ı infrastruktury nebo jiného d˚ uvodu bylo potˇreba provést instalaci v módu domain, lze návod naj´ıt v dokumentaci

29 .

Ve vybraném aplikaˇcn´ım serveru se mus´ı jeˇstˇe vymˇenit modul Resteasy JAX-RS, protoˇze distribuovaná verze tohoto modulu nen´ı kompatibiln´ı s 27. http://jbossas.jboss.org/downloads.html 28. http://sourceforge.net/projects/teiid/files/teiid/8.7/Final/ 29. https://docs.jboss.org/author/display/teiid87final/ Installation+Guide

24

´ vrh datove ´ federace ve spolec ˇnosti K-net 5. Na Teiid 8.7. Kompatibiln´ı verzi Resteasy JAX-RS (2.3.6, moˇzno stáhnout i novˇejˇs´ı) je nutné st´ ahnout, napˇr. ze stránek Sourceforge 30 . V tomto arch´ıvu se nach´ azej´ı soubory async-http-servlet-3.0-2.3.6.Final.jar a resteasy-jaxrs2.3.6.Final.jar, které je potˇreba um´ıstit m´ısto staré verze31 . Nakonec se v souboru module.xml zmˇen´ı názvy soubor˚ u na nové. EAP 6.1.0 Alpha je multiplatformn´ı a lze jej provozovat jak na linuxovém operaˇcn´ım systému, tak na Mac OS a Windows. Vyˇzaduje pro sv˚ uj bˇeh JDK32 6 nebo 7, s verz´ı 8 nen´ı kompatibiln´ı. Aplikaˇcn´ı server se spouˇst´ı skriptem standalone.sh, popˇr. standalone.bat (na systémech Windows) ze sloˇzky bin. Pro spuˇstˇen´ı bˇehového prostˇred´ı Teiid je nutné uveden´ y skript pouˇstˇet s konfigurac´ı uloˇzenou v souboru standalone-teiid.xml, kter´ y najdeme ve sloˇzce standalone/configuration. Cel´ y pˇr´ıkaz na linuxov´ ych systémech bude proto vypadat takto: ./standalone.sh -c standalone-teiid.xml. 5.2.2 Teiid Designer Protoˇze je Teiid Designer z´ asuvn´ y modul do Eclipse, je nutné vybrat takovou verzi Teiid Designeru, kter´ a funguje jak s pouˇz´ıvanou verz´ı Teiid serveru, tak s konkrétn´ı verz´ı Eclipse. V této práci se pouˇz´ıvá Teiid Designer ve verzi 8.6.0 Final z 22. z´ aˇr´ı 2014. Tato verze je urˇcena pro pouˇzit´ı s Teiid 8.7 a Eclipse 4.3, oznaˇcovan´ y také jako Kepler. Eclipse je moˇzné st´ ahnout v r˚ uzn´ ych distribuc´ıch, které se liˇs´ı pˇredinstalovan´ ymi z´ asuvn´ ymi moduly. K instalaci Teiid Designeru je potˇreba st´ ahnout Eclipse IDE for Java EE Developers a m´ıt nainstalované bˇehové prostˇred´ı Java 6 nebo novˇejˇs´ı. Na stránkách Eclipse [6] je poté moˇzné vybrat bal´ıˇcek pro konkrétn´ı platformu, tj. 32-bitovou nebo 64-bitovou edici pro dan´ y operaˇcn´ı systém (Mac OS X, Linux, nebo Windows). Pro spuˇstˇen´ı programu staˇc´ı staˇzen´ y bal´ıˇcek rozbalit do sloˇzky s dostateˇcn´ ymi právy a spustit soubor eclipse, popˇr. eclipse.exe (na systémech Windows). 30. http://sourceforge.net/projects/resteasy/files/Resteasy% 20JAX-RS/2.3.6.Final/resteasy-jaxrs-2.3.6.Final-all.zip/download 31. Ve sloˇzce modules/system/layers/base/org/jboss/resteasy/resteasy-jaxrs/main aplikaˇcn´ıho serveru. 32. Java Development Kit obsahuje bˇehové prostˇred´ı Java Virtual Machine a sadu dalˇs´ıch n´ astroj˚ u pro v´ yvoj a provoz program˚ u pro toto prostˇred´ı.

25

´ vrh datove ´ federace ve spolec ˇnosti K-net 5. Na Po spuˇstˇen´ı je uˇzivatel vyzván, aby vybral tzv. workspace. Jedná se o sloˇzku, kam bude Eclipse ukládat vytváˇrené projekty a jejich soubory, ukl´ adat logy apod. N´ aslednˇe lze doinstalovat potˇrebné zásuvné moduly. To se provád´ı z tzv. update sites. V menu Help - Install new software - Add je potˇreba pˇridat URL http://download.jboss.org/jbosstools/updates/ release/kepler/integration-stack/ (napˇr. s názvem JBoss Integration Stack), vybrat bal´ıˇcky Teiid DataTools Connectivity, Teiid Designer, Teiid Designer Runtime, Teiid Runtime Clients ze sekce Jboss Data Virtualization Development a dokonˇcit instalaci pomoc´ı tlaˇc´ıtek Next a Finish. T´ımto procesem se ovˇsem nainstaluje Teiid Designer ve verzi 8.3.4.Final. Je tedy nutné pˇridat jeˇstˇe jednu update site s URL http://download.jboss.org/jbosstools/updates/release/ kepler/integration-stack/teiiddesigner/8.6.0.Final/ (napˇr. s n´ azvem Teiid Designer 8.6.0) a vybrat celou skupinu Data Virtualization, kter´ a obsahuje v´ yˇse uvedené 4 bal´ıˇcky, avˇsak ve verzi 8.6.0.Final. Po dokonˇcen´ı instalace je potˇreba jeˇstˇe Eclipse restartovat. Poté bude Teiid Designer dostupn´ y. D˚ uvod, proˇc je potˇreba provádˇet instalaci dvakrát je z toho d˚ uvodu, ˇze update site s aktuáln´ı verz´ı Designeru neobsahuje dalˇs´ı potˇrebné z´ avislosti. Alternativnˇe lze Teiid Designer z´ıskat také jako souˇcást sady rozˇs´ıˇren´ı JBoss Tools [5]. 5.2.3 Zaloˇ zen´ı nov´ eho projektu Kaˇzd´ a pr´ ace na datové federaci v programu Teiid designer se sdruˇzuje do tzv. projekt˚ u. Vytvoˇren´ı nového projektu se provád´ı vyvolán´ım dialogu z nab´ıdky File - New - Project - Teiid Designer - Teiid Model Project. Potvrzen´ım volby tlaˇc´ıtkem Next je moˇzné zadat název projektu (poloˇzka Project name) a vybrat um´ıstˇen´ı projektu (nechán´ım volby Use default location se projekt vytvoˇr´ı v aktu´ aln´ım workspace). Pracovn´ı sety (Working sets) slouˇz´ı k seskupen´ı nˇekolika relevantn´ıch projekt˚ u dohromady, aby se s nˇema dalo sn´ aze pracovat v prostˇred´ı Eclipse. Pro potˇreby této práce nejsou potˇreba. V dalˇs´ım oknˇe je moˇzné pˇridat referenci na jin´ y projekt, coˇz opˇet nen´ı potˇreba. 26

´ vrh datove ´ federace ve spolec ˇnosti K-net 5. Na V posledn´ı ˇc´ asti dialogu je moˇzné si nechat hromadnˇe vytvoˇrit sloˇzky, do kter´ ych se pozdˇeji ukl´ adaj´ı jednotlivé modely. Vytvoˇren´ı projektu se provede po potvrzen´ı dialogu stisknut´ım tlaˇc´ıtka Finish. Na obrázku 5.1 je vidˇet novˇe zaloˇzen´ y projekt pojmenovan´ y IntegraceCSV a dvˇe vytvoˇrené sloˇzky sources a views. Pokud uˇzivatel nen´ı odborn´ıkem na Teiid Designer a potˇrebuje pˇri modelov´ an´ı a vystavov´ an´ı dat pomoci, je moˇzné vyuˇz´ıt pˇredpˇripravené pr˚ uvodce. Panel s nab´ıdkou pr˚ uvodc˚ u je dostupn´ y z nab´ıdky Window - Show view Other... pod volbou Teiid Designer - Guides. Zobrazen´ y panel lze vidˇet na obr´ azku 5.1. K dispozici je nˇekolik tzv. seznam˚ u akc´ı (Action sets), které sdruˇzuj´ı akce podle kontextu. Akce je pak nˇejak´ yu ´kon, napˇr. definice modelu, vytvoˇren´ı pˇripojen´ı, apod. Pokud dává smysl jednotlivé akce provádˇet v urˇcitém poˇrad´ı, jsou seˇrazené tak, ˇze prvn´ı poloˇzky bude uˇzivatel typicky prov´ adˇet jako prvn´ı. Momentálnˇe jsou k dispozici tyto seznamy: •

Consume SOAP service pro pˇripojen´ı k webové sluˇzbˇe protokolem SOAP a vygenerov´ an´ı relaˇcn´ıch model˚ u na základˇe popisu WSDL33 .

•

Create a REST war pro vytvoˇren´ı webové sluˇzby zaloˇzené na protokolu REST.

•

Model flat file source pro definici model˚ u z textov´ ych soubor˚ u.

•

Model JDBC source pro definici model˚ u z relaˇcn´ıch databáz´ı pˇripojen´ ych pomoc´ı JDBC.

•

Model local XML file source pro definici model˚ u z lokáln´ıch XML soubor˚ u.

•

Model remote XML file source pro definici model˚ u z XML soubor˚ u dostupn´ ych skrz poˇc´ıtaˇcovou s´ıt’.

•

Model Teiid data source pro vyuˇzit´ı Teiidu jako zdroje dat na aplikaˇcn´ım serveru.

•

Teiid pro pr´ aci s Teiid serverem.

33. Web Services Description Language slouˇz´ı k popisu veˇrejného rozhran´ı webové sluˇzby.

27


Obr´ azek 5.1: Novˇe zaloˇzen´ y projekt IntegraceCSV se zobrazen´ ym panelem pr˚ uvodc˚ u.

28

´ vrh datove ´ federace ve spolec ˇnosti K-net 5. Na 5.2.4 Pˇ rid´ an´ı Teiid serveru Spr´ avn´ a komunikace Teiid Designeru s Teiid serverem umoˇzn´ı uˇzivateli prov´ adˇet v prostˇred´ı Eclipse dalˇs´ı u ´kony, napˇr´ıklad moˇznost náhledu dat z pohledov´ ych model˚ u pˇr´ımo v Teiid Designeru nebo nahráván´ı virtuáln´ıch datab´ az´ı na Teiid server. Je-li Teiid Designer i Teiid správnˇe nainstalován, m˚ uˇze uˇzivatel pˇristoupit k vytvoˇren´ı serverové instance. Pomoc´ı menu Windows Show view - Other a volby Servers ze sloˇzky Server uˇzivatel vybere panel pro pr´ aci se servery. Potvrzen´ım volby tlaˇc´ıtkem OK se panel zobraz´ı. Kliknut´ım prav´ ym tlaˇc´ıtkem myˇsi na tomto panelu uˇzivatel vyvolá kontextové menu a otevˇre dialog New Server (nov´ y server) vybrán´ım volby New - Server. Jako typ serveru (poloˇzka Select the server type) uˇzivatel zvol´ı JBoss Enterprise Application Platform 6.1+. Dále je potˇreba nastavit, odkud a jak se bude server spouˇstˇet. K tomu slouˇz´ı volba Server runtime environment. Kliknut´ım na Add se otevˇre dialog pro definici bˇehového prostˇred´ı serveru (obr´ azek 5.2). Tady je potˇreba nastavit cestu k nainstalovanému serveru EAP 6.1.0 Alpha (poloˇzka Home Directory), bˇehové prostˇred´ı (verze JRE 34 ) a konfiguraˇcn´ı soubor pouˇzit´ y pˇri spuˇstˇen´ı (Configuration file). Uˇzivatel vybere bˇehové prostˇred´ı JRE 6 nebo 7, zadá cestu k nainstalovanému aplikaˇcn´ımu serveru a jako konfiguraˇcn´ı soubor zvol´ı standalone-teiid.xml. Vytvoˇren´ı potvrd´ı kliknut´ım na Finish. Nyn´ı je moˇzné jeˇstˇe modifikovat jméno serveru a hostname35 (poloˇzky Server’s hostname a Server name). Uˇzivatel dokonˇc´ı definici dového serveru kliknut´ım na Finish. V panelu Servers se objev´ı novˇe definovan´ y server, v tomto pˇr´ıpadˇe pojmenovan´ y JBoss EAP 6.1 Server. Kliknut´ım prav´ ym tlaˇc´ıtkem myˇsi na n´ azev serveru lze vyvolat kontextovou nab´ıdku, ve které lze server ovládat. Vybr´ an´ım poloˇzky Start se server spust´ı a v serverovém panelu je moˇzné proch´ azet instanci Teiid serveru pod sloˇzkou Teiid Instance Configuration (obr´ azek 5.3).

34. Java Runtime Environment 35. Oznaˇcen´ı serveru nebo jiného zaˇr´ızen´ı v poˇc´ıtaˇcové s´ıti.

29


Obr´ azek 5.2: Definice bˇehového prostˇred´ı pro JBoss EAP.

Obr´ azek 5.3: Zapnut´ y JBoss EAP server zobrazen´ y na panelu server˚ u. 30


5.3

Reˇ sen´ı integrace CSV soubor˚ u

Integrace CSV soubor˚ u vyˇzaduje následuj´ıc´ı kroky: 1.

Definovat pˇripojen´ı k textov´ ym soubor˚ um

2.

Vytvoˇrit zdrojov´ y model pro oba CSV soubory

3.

Vytvoˇrit pohledov´ y model s tabulkou, která bude zkonstruována pomoc´ı operace JOIN z tˇechto dvou zdrojov´ ych model˚ u

4.

Definovat a vystavit VDB S daty lze poté pracovat pˇr´ımo v Designeru pomoc´ı funkce náhledu, vy-

stavit v´ yslednou tabulku pomoc´ı protokolu OData a konzumovat ji pˇr´ımo programem Excel, popˇr. naprogramovat jednoduchou aplikaci, která se k Teiidu pˇripoj´ı pˇres rozhran´ı JDBC a nab´ıdne ke staˇzen´ı v´ ysledn´ y soubor CSV, kter´ y lze d´ ale zpracovat v libovolném tabulkovém procesoru. Pˇri ˇreˇsen´ı tohoto scén´ aˇre se ukázalo, ˇze Teiid Designer umist’uje uvozovky kolem atribut˚ u v dotazech jen v pˇr´ıpadˇe, ˇze jsou atributy v´ıceslovné. Soubory UcetniZapis.csv a Zakazka.csv maj´ı atributy uvedené vˇcetnˇe diakritiky, je proto nutné nejprve n´ azvy atribut˚ u pˇrepsat do podoby bez háˇck˚ u a ˇcárek, nebo atributy definovat v pr˚ uvodci ruˇcnˇe. Dalˇs´ı problém je bug v pouˇzité verzi Designeru, kter´ y ˇspatnˇe generuje zdrojov´ y model pro ˇcten´ı textov´ ych soubor˚ u, pokud jsou v kódován´ı Windows1250. Neˇz bude tato chyba opravena, je potˇreba pracovat se soubory v k´ odov´ an´ı UTF-8. 5.3.1 Definov´ an´ı zdroj˚ u Pˇri ˇreˇsen´ı integrace CSV soubor˚ u lze postupovat pomoc´ı dostupného pr˚ uvodce Model flat file source. N´ asleduj´ıc´ı kroky pˇredpokládaj´ı novˇe vytvoˇren´ y projekt ”IntegraceCSV”. Dvojklikem na Create Teiid flat file connection (vytvoˇrit pˇripojen´ı k souboru) se otevˇre pr˚ uvodce pro vytvoˇren´ı pˇripojen´ı. Term´ın flat file zde oznaˇcuje soubor bez vnitˇrn´ı hierarchie. V novˇe otevˇreném dialogu uˇzivatel vybere Flat file datasource, zadá název (napˇr. ”CSV soubory”) a potvrd´ı 31

´ vrh datove ´ federace ve spolec ˇnosti K-net 5. Na volby tlaˇc´ıtkem Next. Na dalˇs´ı obrazovce se vol´ı um´ıstˇen´ı, kódován´ı a formát soubor˚ u. Um´ıstˇen´ı se definuje jako URI (volba Enter File URI ), nebo jako cesta ke sloˇzce se soubory (Select home folder). Kódován´ı (Select charset) a form´ at (Select flatfile style) by mˇely b´ yt nastavené na poˇzadované hodnoty, pˇr´ıpadnˇe je lze zmˇenit zvolen´ım jiné poloˇzky ze seznamu. Tlaˇc´ıtko Finish ukonˇc´ı pr˚ uvodce. Volba Create source model from local flat file source z pr˚ uvodce otevˇre dialog pro definici zdrojového modelu. Na prvn´ı obrazovce uˇzivatel potvrd´ı volbu local files a posune se dál tlaˇc´ıtkem Next. V nab´ıdce Data file source (obr´ azek 5.4) uˇzivatel vybere právˇe vytvoˇrené pˇripojen´ı. V nab´ıdce se objev´ı soubor na zvoleném URI, popˇr. soubory ze zvolené sloˇzky. Tady uˇzivatel vybere konkrétn´ı soubor, v tomto pˇr´ıpadˇe UcetniZapis.csv. V sekci Source Model Definition je potˇreba zvolit sloˇzku, do které se model uloˇz´ı a pod jak´ ym jménem. Pro vˇetˇs´ı pˇrehlednost je lepˇs´ı um´ıstit zdrojov´ y model do spoleˇcné sloˇzky zdrojov´ ych model˚ u a pouˇz´ıt nˇejakou jmennou konvenci, která umoˇzn´ı jednoduˇse rozeznat zdrojové a jiné modely. Doporuˇcen´ı je tedy pojmenovat model napˇr. ”UcetniZapisSourceModel”a um´ıstit jej do sloˇzky ”sources”. Kliknut´ım na Next se v dialogu zobraz´ı náhled dat (obrázek 5.5). Pokraˇcov´ an´ı pr˚ uvodce n´ asleduje po opˇetovném kliknut´ı na Next. Zde je moˇznost nastavit, ˇze jména atribut˚ u se vytvoˇr´ı automaticky z prvn´ıho ˇrádku CSV souboru (volba Column names in header) a zvolit oddˇelovaˇc (obrázek 5.6). Ten je potˇreba zmˇenit volbou Edit Delimeter Character, kde uˇzivatel zadá stˇredn´ık. V sekci Column information se nacház´ı jednoduch´ y editor atribut˚ u, kde lze atributy pˇrejmenovat a zvolit jin´ y datov´ y typ (standardnˇe jsou vˇsechny atributy typu string, tedy prost´ y text). V pˇr´ıpadˇe souboru UcetniZapis.csv je tedy ˇz´ adouc´ı zmˇenit datov´ y typ atribut˚ u MD, Dal, Cislo radku na ”biginteger”, tj. na celoˇc´ıseln´ y typ, Datum na ”date”a atribut Castka na ”bigdecimal”, pro reprezentaci ˇcasu respektive penˇeˇzn´ı ˇcástky.

32


Obr´ azek 5.4: V´ ybˇer souboru UcetniZapis.csv.

33


Obr´ azek 5.5: Náhled souboru UcetniZapis.csv.

34


Obr´ azek 5.6: Nastaven´ı parsován´ı.

35

´ vrh datove ´ federace ve spolec ˇnosti K-net 5. Na Pro definov´ an´ı pohledového modelu se uˇzivatel pˇresune na posledn´ı ˇcást dialogu tlaˇc´ıtkem Next. Zadá název modelu (poloˇzka Name), napˇr. ”UcetniZapisViewModel”, um´ıstˇen´ı (poloˇzka Location) a název vzniklé relaˇcn´ı tabulky (poloˇzka New view table name), napˇr. ”ucetni zapis”a dokonˇc´ı dialog kliknut´ım na Finish. V projektu se objev´ı nové .xmi soubory s definic´ı právˇe vytvoˇren´ ych model˚ u UcetniZapisSourceModel.xmi a UcetniZapisViewModel.xmi. V hlavn´ım oknˇe se objev´ı pohledov´ y model s vytvoˇrenou tabulkou ucetni zapis, spolu s pˇrehledem atribut˚ u a jejich datov´ ych typ˚ u (obrázek 5.7). Na ˇzlut´ y obdéln´ık oznaˇcuj´ıc´ı tabulku a na jednotlivé atributy lze kliknout. T´ım dojde k jejich oznaˇcen´ı, panel Properties (vlastnosti, na obrázku vlevo dole) ukáˇze jejich aktu´ alnˇe definované vlastnosti a umoˇzn´ı je editovat. Dvojklik na tabulku otevˇre transformaˇcn´ı diagram (obrázek 5.8). Tady je graficky naznaˇcen´ a transformace dat z textového souboru pomoc´ı procedury GetTextFiles, kter´ a je volaná na daném zdrojovém modelu UcetniZapisSourceModel. V doln´ı ˇcásti obrazovky je zobrazen SQL dotaz, kter´ y Teiid pouˇzije pro naplnˇen´ı virtuáln´ı tabulky ucetni zapis. Zde je moˇzné si vˇsimnout, ˇze kromˇe procedury GetTextFiles pro naˇcten´ı souboru je volána jeˇstˇe funkce TEXTTABLE, která vstup parsuje dle definovan´ ych atribut˚ ua zadaného oddˇelovaˇce. Jednotlivé prvky diagramu lze opˇet oznaˇcit a editovat a je moˇzné i pˇrepsat vygenerovan´ y SQL dotaz. Protoˇze pouˇzit´ y form´ at atribut˚ u Datum a Castka v p˚ uvodn´ım CSV souboru nen´ı v jednom ze standardnˇe podporovan´ ych formát˚ u Teiidu, je nutné vygenerovan´ y SQL dotaz upravit. To sestává ze dvou krok˚ u, kdy uˇzivatel nejprve zmˇen´ı datov´ y typ u dan´ ych atribut˚ u ve funkci TEXTTABLE na ”string”, ˇc´ımˇz se doc´ıl´ı toho, ˇze nebude pouˇzit´ y v´ ychoz´ı parser, a poté uprav´ı v´ ybˇer pˇr´ıkazu SELECT tak, ˇze nad vybran´ ym atributem zavolá potˇrebné funkce, které naˇcten´ y ˇretˇezec zmˇen´ı do poˇzadované podoby. Na atribut Datum se pouˇzije funkce parseDate, které se pouze pˇredá pouˇzit´ y form´ at, v tomto pˇr´ıpadˇe ˇceské formátován´ı datumu reprezentované ˇretˇezcem ”dd.MM.yyyy”(dd oznaˇcuje dvoucifern´ y zápis dnu, MM dvoucifern´ y z´ apis mˇes´ıce a yyyy ˇctyˇrcifern´ y zápis roku). Reprezentace penˇeˇzn´ı ˇca´stky se v Teiidu provád´ı ˇc´ıslem bez mezer, kde

36

´ vrh datove ´ federace ve spolec ˇnosti K-net 5. Na teˇcka je pouˇzita jako ˇcesk´ a desetinná ˇcárka. Aby bylo moˇzné naˇc´ıst ˇcástky uvedené v UcetniZapis.csv, je potˇreba nahradit ˇcárku za teˇcku a odstranit vˇsechny mezery. V´ ysledkem je kombinace volán´ı funkc´ı PARSEBIGDECIMAL a REPLACE. Po editaci dotazu se mus´ı zmˇeny jeˇstˇe uloˇzit a to bud’ z menu File - Save nebo kl´ avesovou zkratkou CTRL+S. V´ ysledn´ y SQL dotaz po proveden´ ych zmˇen´ ach je uveden ve v´ ypisu 5.1. Nyn´ı je potˇreba tento postup zopakovat pro soubor Zakazka.csv a vytvoˇrit tak ZakazkaSourceModel.xmi a ZakazkaViewModel.xmi. Analogicky je potˇreba zmˇenit datov´ y typ u atribut˚ u Datum predani a Datum zahajeni a stejnˇe tak upravit v´ ysledn´ y dotaz. Jeho podobu lze vidˇet ve v´ ypisu 5.2. V´ ypis 5.1: Upraven´ y dotaz pro naˇcten´ı souboru UcetniZapis.csv. SELECT A."Cislo radku", parseDate(A.Datum, ’dd.MM.yyyy’ ,→ ) AS Datum, A.MD, A.Dal, A.Zakazka, A."Parovaci ,→ symbol", PARSEBIGDECIMAL(REPLACE(REPLACE(A.Castka ,→ , ’ ’, ’’), ’,’, ’.’), ’#,##0.0#’) AS Castka, A." ,→ Cislo dokladu", A.Stredisko, A."Popis pripadu", A ,→ .cinnost, A."Druh dokladu" FROM (EXEC ,→ UcetniZapisSourceModel.getTextFiles(’UcetniZapis. ,→ csv’)) AS f, TEXTTABLE(f.file COLUMNS "Cislo ,→ radku" biginteger, Datum string, MD biginteger, ,→ Dal biginteger, Zakazka string, "Parovaci symbol" ,→

string, Castka string, "Cislo dokladu" string,

,→ Stredisko string, "Popis pripadu" string, cinnost ,→

string, "Druh dokladu" string DELIMITER ’;’

,→ HEADER) AS A

37

´ vrh datove ´ federace ve spolec ˇnosti K-net 5. Na V´ ypis 5.2: Upraven´ y dotaz pro naˇcten´ı souboru Zakazka.csv. SELECT A.Kod, parseDate(A."Datum predani", ’dd.MM.yyyy ,→ ’) AS "Datum predani", A.Nazev, parseDate(A." ,→ Datum zahajeni", ’dd.MM.yyyy’) AS "Datum zahajeni ,→ ", A."Nazev stavu", A."Nazev druhu zakazky", A." ,→ Jmeno zodpovedneho pracovnika" FROM (EXEC ,→ ZakazkaSourceModel.getTextFiles(’Zakazka.csv’)) ,→ AS f, TEXTTABLE(f.file COLUMNS Kod string, "Datum ,→

predani" string, Nazev string, "Datum zahajeni"

,→ string, "Nazev stavu" string, "Nazev druhu ,→ zakazky" string, "Jmeno zodpovedneho pracovnika" ,→ string DELIMITER ’;’ HEADER) AS A

5.3.2 Spojen´ı dat Nyn´ı lze pˇristoupit ke spojen´ı tabulek ucetni zapis a zakazky. Po kliknut´ı prav´ ym tlaˇc´ıtkem na n´ azev projektu v pr˚ uzkumn´ıku Model Explorer je moˇzné pomoc´ı volby New - Teiid Metadata Model vyvolat dialog pro vytvoˇren´ı nového modelu. Uˇzivatel zde vybere um´ıstˇen´ı modelu (Location), zad´ a n´ azev nového modelu (Model Name), a typ (Model Type). Jako název zad´ a ”UcetniZapisZakazkaViewModel”, vybere typ ”View model”pro vytvoˇren´ı pohledového modelu a jako um´ıstˇen´ı opˇet zvol´ı sloˇzku views. Kliknut´ım na Finish dojde k vytvoˇren´ı prázdného modelu UcetniZapisZakazkaViewModel.xmi. Po otevˇren´ı modelu se zobraz´ı tzv. Package diagram. Kliknut´ım na zelenou plochu prav´ ym tlaˇc´ıtkem lze vyvolat nab´ıdku pro práci s diagramem. Volba New child - Table slouˇz´ı k definici nov´ ych tabulek. Po otevˇren´ı dialogu uˇzivatel vypln´ı n´ azev, napˇr. ”ucetni zapis zakazky”a stiskut´ım tlaˇc´ıtka OK potvrd´ı vytvoˇren´ı pr´ azdné tabulky. V´ ysledek lze vidˇet na obrázku 5.9. Dvojklikem na ˇctverec reprezentuj´ıc´ı novˇe vytvoˇrenou tabulku se uˇzivatel pˇresune na jej´ı transformaˇcn´ı diagram. Na levé stranˇe transformaˇcn´ıho diagramu je série tlaˇc´ıtek, která umoˇzn ˇuje pˇridat a odeb´ırat zdroje pro danou tabulku. Pokud nyn´ı v oknˇe Model explorer uˇzivatel vybere nˇejakou 38

´ vrh datove ´ federace ve spolec ˇnosti K-net 5. Na jinou tabulku, zpˇr´ıstupn´ı se na panelu transformaˇcn´ıho diagramu volba Add Transformation Source(s) (Pˇridat transformaˇcn´ı zdroje). Uˇzivatel postupnˇe vybere tabulky ucetni zapis a zakazka a na panelu pro kaˇzdou z nich klikne na tlaˇc´ıtko Add Transformation Source(s). Poté se na digramu objev´ı dané tabulky na pravé stranˇe jako zdrojové tabulky a jejich atributy se automaticky pˇridaj´ı do tabulky zdrojovy zapis zakazka. Nyn´ı lze opˇet digram dále upravovat. Napˇr. po kliknut´ı na libovoln´ y atribut se zv´ yrazn´ı dan´ y atribut v c´ılové i zdrojové tabulce. Popsanou situaci ilustruje obrázek 5.10. Pˇri pohledu na SQL dotaz vygenerovan´ y po pˇridán´ı zdrojov´ ych tabulek lze vidˇet, ˇze tabulky nejsou jeˇstˇe správnˇe propojeny pomoc´ı atribut˚ u Kod a Zakazka. Uˇzivatel nyn´ı vybere právˇe tyto dva atributy a to postupn´ ym kliknut´ım na kaˇzd´ y z nich pˇri souˇcasném stisku klávesy CTRL. Pˇres pravé tlaˇc´ıtko myˇsi vyvol´ a nab´ıdku, ve které vybere Create INNER Join (vytvoˇrit vnitˇrn´ı spojen´ı). Transformaˇcn´ı dotaz se vzápˇet´ı zmˇen´ı na INNER join na v´ yˇse uveden´ ych atributech. Vytvoˇren´ı virtu´ aln´ı databáze a vystaven´ı dat je diskutováno spoleˇcnˇe pro oba scén´ aˇre v sekci Vystaven´ı dat.

39


Obr´ azek 5.7: Vytvoˇren´ y pohledov´ y a zdrojov´ y model souboru UcetniZapis.csv.

40


Obr´ azek 5.8: Transformaˇcn´ı diagram tabulky ucetni zapis.

41


Obr´ azek 5.9: Diagram modelu s prázdnou tabulkou ucetni zapis zakazky.

42


Obr´ azek 5.10: Pˇridané transformaˇcn´ı zdroje v transformaˇcn´ım diagramu modelu UcetniZapisZakazkaViewModel.

43


5.4

Reˇ sen´ı integrace datab´ az´ı

Integrace dvou r˚ uzn´ ych databáz´ı vyˇzaduje následuj´ıc´ı kroky: 1.

Definovat pˇripojen´ı k obˇema databáz´ım

2.

Vytvoˇrit zdrojov´ y model pro obˇe databáze

3.

Vytvoˇrit pohledov´ y model s tabulkou, která bude zkonstruována pomoc´ı operace JOIN z tˇechto dvou zdrojov´ ych model˚ u

4.

Definovat a vystavit VDB Stejnˇe jako pˇri integraci CSV soubor˚ u, lze s daty poté pracovat pˇr´ımo v

Designeru pomoc´ı funkce n´ ahledu, vystavit v´ yslednou tabulku pomoc´ı protokolu OData a konzumovat ji pˇr´ımo programem Excel, popˇr. naprogramovat jednoduchou aplikaci, která se k Teiidu pˇripoj´ı pˇres rozhran´ı JDBC a nab´ıdne ke staˇzen´ı v´ ysledn´ y soubor CSV, kter´ y lze dále zpracovat v libovolném tabulkovém procesoru. Protoˇze poˇzadavkem je integrovat databáze MS SQL Serveru, je potˇreba nejprve tento server nakonfigurovat, aby umoˇznil vzdálené pˇripojen´ı pˇres rozhran´ı JDBC. To zahrnuje povolen´ı pˇr´ıstupu pˇres TCP/IP36 a nastaven´ı portu na 1433 (coˇz je obvykle pouˇz´ıvan´ y port pro MS SQL Server) [16]. Pokud nebude pouˇzita integrovan´ a autentizace ve Windows, je také potˇreba povolit kombinovanou formu pˇrihlaˇsován´ı a nastavit uˇzivatelské jméno a heslo. Pro tento tutori´ al byly vytvoˇreny dvˇe databáze (k-net a k-net2) tak, ˇze se az´ı v databázi k-net a tabulka zakazky v databázi tabulka ucetni zapis nach´ k-net2. Jednotlivé tabulky byly importovány z dodan´ ych CSV soubor˚ u pomoc´ı operace BULK INSERT [17]. 5.4.1 Definov´ an´ı zdroj˚ u Pˇri ˇreˇsen´ı integrace datab´ az´ı lze postupovat pomoc´ı dostupného pr˚ uvodce Model JDBC Datasource. Následuj´ıc´ı kroky pˇredpokládaj´ı vytvoˇren´ y nov´ y projekt ”IntegraceDatabaze”. 36. Komunikaˇcn´ı model a rodina protokol˚ u pouˇz´ıvan´ ych v s´ıti Internet.

44

´ vrh datove ´ federace ve spolec ˇnosti K-net 5. Na V pr˚ uvodci uˇzivatel spust´ı akci Create JDBC Connection (vytvoˇrit JDBC pˇripojen´ı). V novˇe otevˇreném oknˇe New Connection profile (nov´ y profil pˇripojen´ı) vybere typ SQL Server a zadá název profilu, napˇr. “K-net 1”. Kliknut´ım na Next se otevˇre dialog pro specifikaci pˇripojen´ı. Protoˇze zat´ım nen´ı definovan´ y ovladaˇc pˇripojen´ı k SQL Serveru, je potˇreba jej pˇridat kliknut´ım na New driver definition (definice nového ovladaˇce). Obrazovka pro pˇridán´ı nového ovladaˇce je na obr´ azku 5.11. Jako ˇsablonu ovladaˇce vybere uˇzivatel Microsoft SQL Server 2008 JDBC Driver, zadá libovoln´ y název (poloˇzka Driver name) a v z´ aloˇzce JAR list pomoc´ı tlaˇc´ıtka Add JAR/Zip vybere cestu k ovladaˇci datab´ azového serveru. Ten lze stáhnout ze stránek SQL Server Developer Center [24]. K dispozici je ovladaˇc ve dvou verz´ıch: sqljdbc.jar a sqljdbc4.jar. V´ ybˇer spr´ avné verze záleˇz´ı na verzi JDBC a na verzi JRE [18]. Kliknut´ım na OK bude ovladaˇc pˇridán. Po n´ avratu na p˚ uvodn´ı dialog uˇzivatel vypln´ı poloˇzky název databáze (Database), host (Host), port (Port number), uˇzivatelské jméno (Username) a heslo (Password). V pˇripadˇe pouˇzit´ı integrované Windows autentizace se jméno a heslo neuv´ ad´ı. Takto definované pˇripojen´ı je moˇzné otestovat pomoc´ı tlaˇc´ıtka Test Connection. Uˇzivatel dokonˇc´ı tvorbu pˇripojen´ı tlaˇc´ıtkem Finish. Z pr˚ uvodce pˇres akci Create source model for JDBC data source (vytvoˇrit zdrojov´ y model pro datov´ y zdroj JDBC) uˇzivatel otevˇre dialog pro vytvoˇren´ı zdrojového modelu. Vybere právˇe definovan´ y profil pˇripojen´ı, jako JDBC Metadata Processor nech´ a SQL Server a potvrd´ı volbu tlaˇc´ıtkem Next. V dalˇs´ım oknˇe je moˇzné nastavit, které databázové metadata (ciz´ı kl´ıˇce, indexy, procedury) a které tabulky (standardn´ı, systémové, pohledové) se budou importovat. Uˇzivatel zde v tomto pˇr´ıpadˇe m˚ uˇze ponechat v´ ychoz´ı hodnoty a pˇresunout se d´ al kliknut´ım na Next. Na obrazovce Select database objects (v´ ybˇer databázov´ ych objekt˚ u) uˇzivatel zvol´ı, které tabulky budou importovány do zdrojového modelu. Jak ilustruje obr´ azek 5.12, v´ ybˇerem schéma dbo (v´ ychoz´ı schéma pro tabulky v prostˇred´ı MS SQL Serveru) v databázi k-net se zobraz´ı seznam tabulek, kde je pr´ avˇe tabulka dbo.ucetni zapis. Po v´ ybˇeru této tabulky lze jeˇstˇe prohl´ıˇzet jej´ı vlastnosti v pravé ˇc´ asti okna. Tlaˇc´ıtkem Next se zobraz´ı volby pro zdrojov´ y model (obrázek 5.13).

45

´ vrh datove ´ federace ve spolec ˇnosti K-net 5. Na Uˇzivatel zad´ a n´ azev modelu (Model name) ”UcetniZapisSourceModel”a vybere um´ıstˇen´ı ve sloˇzce sources. Tlaˇc´ıtkem Finish dojde k vytvoˇren´ı zdrojového modelu UcetniZapisSourceModel.xmi. Stejn´ ym postupem je potˇreba vytvoˇrit profil pˇripojen´ı k databázi k-net2 a zdrojov´ y model ZakazkaSourceModel.xmi pro tabulku zakazky.

46


Obr´ azek 5.11: Definice nového JDBC ovladaˇce.

47


Obr´ azek 5.12: V´ ybˇer databázov´ ych objekt˚ u, které budou souˇcást´ı vytv´ aˇreného modelu.

48


Obr´ azek 5.13: Parametry vytváˇreného zdrojového modelu.

49

´ vrh datove ´ federace ve spolec ˇnosti K-net 5. Na 5.4.2 Spojen´ı dat Spojen´ı pr´ avˇe definovan´ ych zdroj˚ u lze provést stejn´ ym zp˚ usobem jako pˇri integraci CSV soubor˚ u. Uˇzivatel vytvoˇr´ı spoleˇcn´ y model UcetniZapisZakazka.xmi ve sloˇzce views. Poté v nˇem vytvoˇr´ı tabulku ucetni zapis zakazky a pˇresune se do transformaˇcn´ıho diagramu. Pˇridán´ı zdroj˚ u bude prob´ıhat stejnˇe, s t´ım rozd´ılem, ˇze se pouˇzij´ı tabulky ze zdrojov´ ych, nikoli pohledov´ ych, model˚ u (pˇri vytv´ aˇren´ı zdrojov´ ych model˚ u zaloˇzen´ ych na JDBC jiˇz nedoch´ az´ı k automatickému vytváˇren´ı pohledov´ ych model˚ u). Uˇzivatel tedy pˇrid´ a tabulky ucetni zapis a zakazky z model˚ u UcetniZapisSourceModel respektive ZakazkaSourceModel a propoj´ı je opˇet operac´ı INNER JOIN. Ve v´ ypisu 5.3 je k vidˇen´ı v´ ysledn´ y transformaˇcn´ı dotaz. Vytvoˇren´ı virtu´ aln´ı databáze a vystaven´ı dat je diskutováno spoleˇcnˇe pro oba scén´ aˇre v sekci Vystaven´ı dat. V´ ypis 5.3: Transformaˇcn´ı dotaz tabulky ucetni zapis zakazky. SELECT * FROM ZakazkaSourceModel.zakazky INNER JOIN ,→ UcetniZapisSourceModel.ucetni_zapis ON ,→ ZakazkaSourceModel.zakazky.Kod = ,→ UcetniZapisSourceModel.ucetni_zapis.Zakazka

50


5.5

Vystaven´ı dat

Data lze prohl´ıˇzet i pˇr´ımo v prostˇred´ı Teiid Designeru. Záznamy z kterékoli tabulky lze zobrazit vyvol´ an´ım kontextové nab´ıdky (kliknut´ım prav´ ym tlaˇc´ıtkem myˇsi na tabulku v diagramu nebo na kterémkoli panelu) a vybrán´ım volby Modeling - Preview Data. Nen´ı pˇritom potˇreba, aby byla dopˇredu vytvoˇrena virtu´ aln´ı datab´ aze. Jedinn´ ym poˇzadavkem je správnˇe nakonfigurovan´ y a spuˇst’en´ y Teiid na aplikaˇcn´ı serveru, kter´ y je evidován na serverovém panelu programu Eclipse. V tomto náhledu dat Teiid Designer standardnˇe zobraz´ı maxim´ alnˇe 500 z´ aznam˚ u. Pokud jich chce uˇzivatel zobrazit v´ıce nebo je naopak omezit, mus´ı upravit volby Max row count a Max display row count v menu Window - Preferences - Data Management - SQL Development - SQL Results View Options. Uk´ azku n´ ahledu dat z tabulky ucetni zapis ilustruje obrázek 5.14. V levé ˇc´ asti panelu lze proch´ azet dˇr´ıve vyvolané ˇzádosti o náhled dat, v pravé ˇcásti vid´ıme samotné poloˇzky. Tento panel lze kdykoli zobrazit vyvolán´ım nab´ıdky Windows - Show view - Data Management - SQL Results.

Obr´ azek 5.14: Náhled dat v prostˇred´ı Teiid Designer.

51

´ vrh datove ´ federace ve spolec ˇnosti K-net 5. Na 5.5.1 Vytvoˇ ren´ı virtu´ aln´ı datab´ aze Pro vystaven´ı dat je potˇreba vytvoˇrit virtuáln´ı databázi. Nejprve vˇsak uˇzivatel vytvoˇr´ı dalˇs´ı sloˇzku v projektu pro ukládán´ı virtuáln´ıch databáz´ı. V pr˚ uzkumn´ıku projektu se nová sloˇzka vytváˇr´ı kliknut´ım prav´ ym tlaˇc´ıtkem myˇsi na n´ azev projektu a vybrán´ım volby New - Folder. Poté staˇc´ı zadat nov´ y n´ azev, napˇr. ”vdb”, a potvrdit vytvoˇren´ı tlaˇc´ıtkem Finish. K vytvoˇren´ı VDB uˇzivatel pouˇzije akci Define VDB (definovat VDB) z palety Guides, nebo menu File - New - Teiid VDB. V novˇe otevˇreném dialogu vybere volbu New (nová). Zde (obrázek 5.15) zadá, kam chce soubor s definic´ı VDB um´ıstit (poloˇzka In folder...), jméno virtuáln´ı databáze (VDB name) a volitelnˇe také popis (Description). Um´ıstˇen´ı VDB bude v nové sloˇzce vdb a jméno uˇzivatel zvol´ı ”Ucetnictvi”. Tlaˇc´ıtkem Add (pˇridat) se vyb´ıraj´ı modely, které budou souˇcást´ı této virtuáln´ı databáze. Protoˇze je ˇz´ adouc´ı vystavit jiˇz integrovaná data, pˇridán bude model UcetniZapisZakazka.xmi (ostatn´ı modely, na kter´ ych tento model závis´ı, budou pˇridány automaticky). Poté je moˇzné dialog potvrdit tlaˇc´ıtkem Finish a posléze i prvn´ı dialog tlaˇc´ıtkem OK. T´ım dojde k vytvoˇren´ı souboru Ucetnictvi.vdb a jeho otevˇren´ı v prostˇred´ı Teiid Designeru. Virtu´ aln´ı datab´ azi lze nyn´ı pouˇz´ıt nˇekolika zp˚ usoby. Volbou Modeling Execute VDB z kontextového menu na souboru Ucetnictvi.vdb se otevˇre tzv. SQL Scrapbook. Jedn´ a se v podstatˇe o textov´ y editor SQL, kter´ y je propojen s VDB. Slovo scrapbook oznaˇcuje v angliˇctinˇe seˇsit na vlepován´ı v´ ystˇriˇzk˚ u a tento SQL Scrapbook funguje podobnˇe. Uˇzivatel si do nˇej zapisuje r˚ uzné SQL dotazy, které posléze m˚ uˇze pustit nad virtuáln´ı databáz´ı, aniˇz by musel pro kaˇzd´ y dotaz vytv´ aˇret speciáln´ı virtuáln´ı tabulku. Jedná se tedy o nástroj, kter´ y lze vyuˇz´ıt k rychlému prototypován´ı nebo dotazován´ı dat. Jakmile do nˇej uˇzivatel zad´ a dotaz, m˚ uˇze jej spustit pˇres volbu Execute all (spustit vˇse) z kontextového menu. Ale aby bylo moˇzné m´ıt v jednom otevˇreném editoru v´ıce zapsan´ ych dotaz˚ u a libovolnˇe je spouˇstˇet, existuje jeˇstˇe volba Execute selected text (spustit oznaˇcen´ y text), která je dostupná po oznaˇcen´ı dotazu. Pouˇzit´ı n´ astroje SQL Scrapbook ilustruje obrázek 5.16. Dalˇs´ı moˇznost´ı je nahr´ an´ı VDB souboru na Teiid server a jeho zpˇr´ıstupnˇen´ı pˇres rozhran´ı JDBC a OData. Virtuáln´ı databáze se na server nahrává 52

´ vrh datove ´ federace ve spolec ˇnosti K-net 5. Na pˇr´ıkazem Modeling - Deploy, kter´ y lze opˇet vyvolat z kontextového menu. Poté, co dojde k nahr´ an´ı vybraného VDB souboru na server, jsou data k dispozici pˇres JDBC i OData automaticky. Pokud chce uˇzivatel vyuˇz´ıt rozhran´ı JDBC, bude potˇrebovat ve svém programu pouˇz´ıt Teiid JDBC Driver [26], kter´ y je distribuov´ an spolu s Teiid serverem.

53


Obr´ azek 5.15: Vytváˇren´ı VDB.

54


Obr´ azek 5.16: Tzv. SQL Scrapbook.

55

´ vrh datove ´ federace ve spolec ˇnosti K-net 5. Na 5.5.2 Zobrazen´ı dat v programu Excel Pˇripojen´ı programu Microsoft Excel k Teiid serveru je moˇzné protokolem OData. Vystaven´ı dat pˇres OData vyˇzaduje, aby schéma tabulky obsahovalo prim´ arn´ı kl´ıˇc nebo atribut s omezen´ım typu UNIQUE, tedy aby alespoˇ n jeden atribut zajiˇst’oval unikátnost záznamu. Protoˇze v pˇr´ıkladu virtuáln´ı datab´ aze Ucetnictvi.vdb jsou integrovaná data uloˇzena v tabulce ucetni zapis zakazky, je do n´ı potˇreba zanést informaci o unikátnosti atributu Cislo radku. Na diagramu modelu UcetniZapisZakazka vyvolá uˇzivatel kontextové menu na v´ yˇse zm´ınˇené tabulce a zvol´ı volbu New child - Primary key (pˇridat prim´ arn´ı kl´ıˇc jako potomka). Jako název zvol´ı ”Id”. Následnˇe po vybr´ an´ı atributu Id je moˇzné zmˇenit jeho vlastnosti v panelu Properties (vlastnosti). Uˇzivatel vybere zmˇenu sloupc˚ u, na které se primárn´ı kl´ıˇc vztahuje (poloˇzka Columns). To vyvolá dialog pro v´ ybˇer sloupc˚ u (obrázek 5.17). Sloupec Cislo radku je potˇreba pˇresunout do seznamu na pravé stranˇe a potvrdit tlaˇc´ıtkem OK. Po nahr´ an´ı aktu´ aln´ı virtuáln´ı databáze s definovan´ ym primárn´ım kl´ıˇcem je moˇzné pˇristoupit ke konzumaci dat. K tomu slouˇz´ı správn´ y tvar URL [27], kter´ y definuje, ke které virtuáln´ı databázi, kterému modelu a ke které tabulce m´ a b´ yt pˇristoupeno. D´ ale lze jeˇstˇe specifikovat formát a dalˇs´ı parametry, jsou-li potˇreba. Dotaz pro zobrazen´ı záznam˚ u z tabulky ucetni zapis zakazky je uveden ve v´ ypisu 5.4. V´ ypis 5.4: URL pro pˇripojen´ı pˇres protokol OData. http://localhost:8080/odata/Ucetnictvi.1/ ,→ UcetniZapisZakazka.ucetni_zapis_zakazky V programu Excel je potˇreba vytvoˇrit prázdn´ y dokument a na záloˇzce Data vybrat From other sources - From OData Data Feed. T´ım se otevˇre dialog pro pˇripojen´ı k datovému zdroji (obrázek 5.18). Tady uˇzivatel vypln´ı URL uvedenou ve v´ ypisu 5.4 (poloˇzka Location of the data feed). Dále zadá jméno a heslo, protoˇze ve v´ ychoz´ım nastaven´ı je autentizace k serveru Teiid ˇreˇsena z´ akladn´ı HTTP autentizac´ı (oznaˇcovanou jako Basic access authentication). Pokud nebylo jméno a heslo zmˇenˇeno, je moˇzné pouˇz´ıt uˇzivatele ”user”s heslem ”user”. Po kliknut´ı na Next je uˇzivateli nab´ıdnut v´ ybˇer tabu56


Obr´ azek 5.17: V´ ybˇer sloupc˚ u pro primárn´ı kl´ıˇc. lek (obr´ azek 5.19). Zadané URL jiˇz obsahuje informaci o dotazované tabulce, uˇzivatel proto m˚ uˇze dokonˇcit pr˚ uvodce kliknut´ım na Finish a dále s daty pracovat v prostˇred´ı tohoto programu.

57


Obr´ azek 5.18: Pˇripojen´ı k datovému zdroji v programu Microsoft Excel.

58


Obr´ azek 5.19: V´ ybˇer tabulek v Microsoft Excel.

59


5.6

Technick´ e z´ azem´ı a provoz syst´ emu

Po konzultaci s firmou K-net byl pro potˇreby testován´ı vytvoˇren virtuáln´ı stroj s 1 CPU s 64-bitovou architekturou a 640MB pamˇeti RAM. Jako operaˇcn´ı systém byl vybr´ an CentOS [2] ve verzi 5.7 a to ze dvou d˚ uvod˚ u. Knet m´ a jiˇz zkuˇsenosti s provozem virtuáln´ıch server˚ u postaven´ ych na tomto operaˇcn´ım systému a CentOS je derivát Red Hat Enterprise Linuxu, coˇz je systém, pro kter´ y se Teiid ve své komerˇcn´ı podobˇe primárnˇe vyv´ıj´ı a na kter´ y se certifikuje. Poskytnut´ y virtu´ aln´ı stroj disponuje pˇr´ıstupem do vnitˇrn´ı s´ıtˇe a dokáˇze se tak pˇripojit k intern´ım databázov´ ym server˚ um. Taktéˇz je k dispozici pˇr´ıstup k internetu, d´ıky ˇcemuˇz lze tento stroj obsluhovat vzdálenˇe a nav´ıc i instalovat potˇrebn´ y software pˇr´ımo z primárn´ıch internetov´ ych zdroj˚ u. JBoss Teiid byl na tento stroj u ´spˇeˇsnˇe nainstalován pomoc´ı pˇr´ıkazové ˇr´ adky pˇripojené protokolem SSH [11]. Jedin´ ym problémem byla velikost pamˇeti RAM, protoˇze JBoss AS vyˇzaduje ve standardn´ı konfiguraci 1303MB. ˇ sen´ım je bud’ pamˇet’ na serveru nav´ Reˇ yˇsit, nebo upravit konfiguraci v souboru bin/standalone.conf. Jednou z vˇec´ı, kterou je potˇreba po instalaci vyˇreˇsit, je zabezpeˇcen´ı serveru. V´ ychoz´ı nastaven´ı nen´ı bezpeˇcné. Autentizace je provádˇena oproti neˇsifrovanému textovému souboru, kde je uveden uˇzivatel user s heslem user. Informace o tom, jak zabezpeˇcen´ı serveru provést, jsou uvedeny v dokumentaci [28]. Pro pˇripojen´ı klient˚ u pˇres JDBC je také moˇzné pouˇz´ıt SSL37 .

37. Secure Sockets Layer je kryptografick´ y protokol pro zabezpeˇcenou komunikaci.

60

6 Z´ avˇ er Poˇc´ ateˇcn´ım impulsem k napsán´ı této práce byla potˇreba firmy K-net vytváˇret reporty, které nebyly dostupné v dosud pouˇz´ıvan´ ych nástroj´ıch, a snaha vytv´ aˇret i reporty, které ˇcerpaj´ı data z v´ıce r˚ uzn´ ych zdroj˚ u dat najednou, napˇr. propojit data z u ´ˇcetn´ıho software a z programu pro ˇr´ızen´ı vztah˚ u se z´ akazn´ıky. Sezn´ amil jsem se proto s nástrojem JBoss Teiid, kter´ y jsem firmˇe K-net prezentoval. V pr˚ ubˇehu práce jsme spoleˇcnˇe hledali moˇznosti jeho nasazen´ı a pouˇzit´ı. Diplomov´ a pr´ ace zaˇc´ın´ a definic´ı pojm˚ u business intelligence, datová integrace, datov´ a virtualizace a datová federace. Vˇsechno jsou to pojmy, které se d´ ale v pr´ aci pouˇz´ıvaj´ı a umoˇzn´ı ˇctenáˇri pˇresnˇeji vymezit jejich obsah a lépe se v dané problematice orientovat. Dalˇs´ı ˇcást teoretické práce diskutuje r˚ uzné pˇr´ıstupy k integraci dat a vytváˇren´ı systém˚ u pro business intelligence. Tyto pˇr´ıstupy jsem rozdˇelil do dvou hlavn´ıch oblast´ı: na systémy, které pouˇz´ıvaj´ı datov´ y sklad a na systémy vyuˇz´ıvaj´ıc´ı centráln´ı server pro virtualizaci dat. Popsal jsem, jak pˇristupuj´ı k datov´ ym zdroj˚ um, jak je integruj´ı do sebe, a uvedl jejich silné a slabé stránky. D´ ale popisuji firmu K-net a jej´ı zamˇeˇren´ı. Uvád´ım zde informaˇcn´ı systémy, které jsou ve firmˇe pouˇz´ıv´ any a z toho plynouc´ı poˇzadavky na integraci dat a vytv´ aˇren´ı nov´ ych report˚ u. Také jsou zde popsány dodané soubory, na kter´ ych je pozdˇeji pr´ ace s Teiidem ilustrována. JBoss Teiid je pops´ an v samostatné ˇcásti. Ta zmiˇ nuje nˇekteré jeho základn´ı komponenty a vysvˇetluje, na jakém principu tento nástroj funguje. Popsán je model virtu´ aln´ı datab´ aze v kontextu Teiidu a jeho hlavn´ı souˇcásti. Dále uv´ ad´ım podporu protokol˚ u a rozhran´ı, jak pro integraci, tak pro následné vystaven´ı dat. Pˇredstaven je také program Teiid Designer, kter´ y slouˇz´ı pro vizu´ aln´ı modelov´ an´ı zm´ınˇen´ ych virtuáln´ıch databáz´ı. V textu uvád´ım nejˇcastˇejˇs´ı nab´ıdky a n´ astroje, které se v nˇem pouˇz´ıvaj´ı, zejména ty, se kter´ ymi se v této pr´ aci pracuje. Praktick´ a ˇc´ ast obsahuje návody pro instalaci, provoz a pouˇz´ıván´ı Teiidu i programu Teiid Designer. Vytvoˇril jsem scénáˇre pro integraci CSV soubor˚ ua relaˇcn´ıch datab´ az´ı na z´ akladˇe dodan´ ych dat a popsal postupy, jak s daty dále 61

´ ve ˇr 6. Za pracovat a vystavit je pro konzumaci jin´ ymi programy, zejména programem Excel pomoc´ı protokolu OData. Vˇsechny návody jsou ilustrovány pomoc´ı sn´ımk˚ u obrazovky, aby se ˇctenáˇr v návodech lépe orientoval. Ve firmˇe K-net existuje celá ˇrada potenciáln´ıch integraˇcn´ıch scénáˇr˚ u, pro které lze n´ astroj JBoss Teiid pouˇz´ıt. Bohuˇzel tyto scénáˇre jsou nároˇcné nejen na znalosti integrace dat obecnˇe, ale také na znalosti pˇr´ımo integrovan´ ych systém˚ u a dat. Pˇrestoˇze nebylo moˇzné tyto pokroˇcilé scénáˇre v této práci vyˇreˇsit, postup jejich ˇreˇsen´ı je obdobn´ y tomu ze scénáˇr˚ u v této práci popsan´ ych. K Teiidu a jeho pouˇzit´ı s Teiid Designerem na pˇr´ıkladu reáln´ ych dat moment´ alnˇe neexistuj´ı ˇz´ adné podobné zdroje a proto se jedná o pomˇernˇe unik´ atn´ı text, kter´ y m˚ uˇze pomoci nejen firmˇe K-net, ale i jin´ ym firmám, které by r´ ady ˇreˇsili integraci dat pomoc´ı tohoto open-source nástroje.

62

Literatura [1] About.com [online]. [cit. 2014-09-16]. What Is ’SaaS’ (Software as a Service)? Dostupné z WWW: . [2] CentOS [online]. [cit. 2014-09-16]. CentOS project. Dostupné z WWW: . [3] Cisco [online]. [cit. 2014-09-16]. Cisco Data Virtualization Platform.

Dostupné z WWW:
products-services/data-virtualization-platform/>. [4] Designmodo [online]. [cit. 2014-09-16]. Dostupné z WWW: . [5] Eclipse Marketplace [online]. [cit. 2014-09-16]. Jboss Tools. Dostupné z

WWW:

jboss-tools-kepler>. [6] Eclipse [online]. [cit. 2014-09-16]. Eclipse kepler packages. Dostupné z WWW: . [7] Freepik [online]. [cit. 2014-09-16].

Dostupné z WWW:
freepik.com>. [8] IBM

[online]. [cit. 2014-09-16]. InfoSphere Information Server.

Dostupné

z

WWW:

products/en/infosphere-information-server>. [9] IBM [online]. [cit. 2014-09-16]. InfoSphere Platform. z

WWW:

Dostupné

infosphere/>. [10] Informatica [online]. [cit. 2014-09-16]. Informatica powercentre. Dostupné z WWW: . 63

´ ve ˇr 6. Za [11] Internet Engineering Task Force [online]. [cit. 2014-09-16]. RFC 4252 The Secure Shell (SSH) Authentication Protocol. Dostupné z WWW: . [12] JBoss Teiid documentation [online]. [cit. 2014-09-16]. Data Sources.

Dostupné z WWW:
display/teiid89final/Data+Sources>. [13] JBoss Teiid [online]. [cit. 2014-09-16]. Dostupné z WWW: . [14] JBoss Teiid [online]. [cit. 2014-09-16]. History: Teiid and MetaMatrix.

Dostupné z WWW:
history/>. [15] JBoss Teiid [online]. [cit. 2014-09-16]. Virtual Databases. stupné

z

WWW:

Do-

virtualdatabases/>. [16] Krovi SQL

Sarma Server

[online]. Express

[cit.

2014-09-16].

through

JDBC.

Connecting Dostupné

to z

WWW:

connecting-to-sql-server-express.html>. [17] Microsoft Developer Network [online]. [cit. 2014-09-16]. BULK INSERT (Transact-SQL). Dostupné z WWW: . [18] Microsoft Developer Network [online]. [cit. 2014-09-16]. Using the JDBC Driver.

Dostupné z WWW:
com/en-us/library/ms378526.aspx>. [19] OData [online]. [cit. 2014-09-16].

Dostupné z WWW:
odata.org>. [20] Oracle [online]. [cit. 2014-09-16]. Oracle Warehouse Builder. stupné z

WWW:

Do-

´ ve ˇr 6. Za developer-tools/warehouse/overview/introduction/ index.html>. [21] Red Hat [online]. [cit. 2014-09-16]. Red Hat Jboss Data Virtualization.

Dostupné z WWW:
technologies/jboss-middleware/data-virtualization>. [22] Red prise

Hat

[online].

Application

[cit.

2014-09-16].

Platform.

Red

Dostupné

Hat z

Jboss

WWW:

Enter
//www.redhat.com/en/technologies/jboss-middleware/ application-platform>. [23] SAS [online]. [cit. 2014-09-16]. SAS Data Management. stupné z

WWW:

Do-

data-management/sas-data-management.html>. [24] SQL Server Developer Center [online]. [cit. 2014-09-16]. Microsoft JDBC Driver for SQL Server. Dostupné z WWW: . [25] SugarCRM [online]. [cit. 2014-09-16]. CugarCRM homepage. Dostupné z WWW: . [26] Teiid documentation [online]. [cit. 2014-09-16]. Connecting to a Teiid Server. Dostupné z WWW: . [27] Teiid documentation [online]. [cit. 2014-09-16]. OData Support. Dostupné

z

WWW:

display/TEIID/OData+Support>. [28] Teiid documentation Dostupné

z

[online]. [cit. 2014-09-16]. Security guide.

WWW:

display/teiid89final/Security+Guide>. [29] Teiid documentation

[online]. [cit. 2014-09-16]. Supported Ty-

pes. Dostupné z WWW: . 65

´ ve ˇr 6. Za [30] The

Register

[online].

[cit.

2014-09-16].

JBoss application server as WildFly.

Red

Hat

renames

Dostupné z WWW:

. [31] Wildfly [online]. [cit. 2014-09-16]. Wildfly homepage.

Dostupné z

WWW: . [32] DAVID GRAZIANO, Charles. A performance analysis of Xen and KVM hypervisors for hosting the Xen Worlds Project. Master’s thesis, Iowa State University, Iowa, USA, 2011. [33] Evropsk´ a Komise, Generáln´ı ˇreditelstv´ı pro podniky a pr˚ umysl. Nov´ a definice malých a stˇredn´ıch podnik˚ u: Uˇzivatelsk´ a pˇr´ıruˇcka a vzor prohl´ aˇsen´ı. 2006. [s.l.] : 50 s. ISBN 92-894-7917-5. [34] H. INMON, William. Building the Data Warehouse. : QED Technical Publishing Group, 1992. [s.l.] : 272 s. ISBN 9780894354045. ´ ZOV ˇ ´ Petra. Uplatnˇen´ı princip˚ [35] HY A, u Business Intelligence v praxi. : ´ Masarykova univerzita, Filozofická fakulta, Ustav ˇceské literatury a knihovnictv´ı, Kabinet knihovnictv´ı, 2006. Brno : 106 s. [36] ROCKOFF, Larry. The Language of SQL: How to Access Data in Relational Databases. : Cengage Learning PTR, 2014. [s.l.] : 256 s. ISBN 978-1-4354-5751-5. [37] VAN DER LANS, Rick. Data Virtualization for Business Intelligence Systems: Revolutionizing Data Integration for Data Warehouses. : Morgan Kaufmann, 2014. [s.l.] : 296 s. ISBN 978-0-12-394425-2.

66

A Pouˇ zit´ e soubory Soubory UcetniZapis.csv a Zakazka.csv jsou uvedeny v elektronickém arch´ıvu pr´ ace.

67

012345

Recommend Documents