Data Integrátorok a gyakorlatban Oracle DI vs. Pentaho DI Fekszi Csaba Ügyvezető Vinnai Péter Adattárház fejlesztő február 20

Data Integrátorok a gyakorlatban – Oracle DI vs. Pentaho DI Fekszi Csaba – Ügyvezető Vinnai Péter – Adattárház fejlesztő

2013. február 20.

1

Pentaho eszköztára – Data Integrator

2

Spoon felület

3

Spoon program elemek

4

Hagyományos ETL - alap komponensekből

5

ODI Architektúrája és működési elve

6

Oracle Data Integrator ETL vs ELT

7

ODI tervezési szemlélete

8

Knowledge modulok - Adatfolyamok

A Pentaho eszköztára        

ETL Pixelhelyes riportok Önkiszolgáló riportolás Analízis Műszerfalak Adatbányászat Big Data … Funkció

Tervező eszköz

Megjelenítő eszköz

OLAP elemzések

Schema Workbench

Analysis View, Saiku, OpenI

Ad-hoc riportok

Metadata Editor

Ad-hoc Reporting, Saiku

Pixelhelyes riportok Report Designer

Riportok

ETL

Kitchen, Pan, Carte

Spoon

Pentaho Data Integrator bemutatása  Legfontosabb előnyök:  könnyű telepíthetőség  platform függetlenség (100 % Java – Windows, Linux,…)  egyszerű használhatóság (grafikus felület, specifikus ismereteket nem igényel)  integrálhatóság  nagyfokú teljesítmény és skálázhatóság  PDI komponensei:  Spoon:  Kitchen:  Pan:  Carte:

 Repository:  File alapú  Adatbázisban

grafikus felületű transzformáció és job készítés parancssori job futtatás parancssori transzformáció futtatás egyszerű web szerver transzformációk távoli futtatása céljából

Spoon felület    

Menü Perspektívák Paletta Grafikus munkaterület  Eszköztár  Futási naplók  Step metrika

Spoon program elemek - Transzformáció  Transzformáció (Kettle Transformation - kiterjesztés: ktr):  Transzformációs lépés/elem (Step)  „Adatfolyam”(Hop)

Spoon program elemek - Job  Munkafolyamat (Kettle Job - kiterjesztés: kjb):  Elem (Job entry)  „Adatfolyam” (Job hop)

Alapvető transzformációs komponensek        

Input, Output elemek (file, tábla, Excel, OLAP, LDAP, SAP) Adatok (sorok) generálása (Generate rows): Számítás (Calculator) Szűrés (Filter rows) Csoport művelet (Group by / Memory Group by) Sorba rendezés (Sort rows) Naplózás (Write to log) …

Alapvető job komponensek     

Folyamatvezérlési elemek (Start, Success, Abort, Job) Transzformációk hívása (Transformation) Feltételek (Conditions) (pl file exist, folder empty, check DB connection) File műveletek …

ODI - Architektúra

ODI – Működési elve Master, Work repository SQL utasítások Repository Source

Source

Adat

Target

Agents

Adatmozgatás, transzformációk koordinálása, Frissíti a futások eredményei alapján

Kapcsolódás a repository-hoz

ODI Studio

SQL utasítások

Oracle Data Integrátor: ETL vs E-LT Hagyományos ETL Architektúra

 Transzformáció külön ETL szerveren  Gyenge teljesítmény  Magas költségek

 Transzformáció meglévő RDBMS-n:  Erőforrás jobb kihasználása  Hatékonyság  Nagy teljesítmény

Extract

Transform

Load

E-LT Architektúra

“E-LT” Transform

Transform Extract

Load

Tervezési szemlélet Hagyományos ETL tervezés

 ETL Dataflow lépéseinek meghatározása:  minden egyes lépésénél a komplex ETL folyamat logikájának ismerete szükséges  speciális ETL ismeret  karbantartási nehézség

 Deklaratív alapú tervezés:  Egyszerűbb és kevesebb lépésszám  Automatikus Data Flow generálás, függetlenül a források és a cél platformtól  Rövidebb végrehajtási idő  Jelentősen csökkenti a tanulási időt

ODI deklaratív tervezés 1 Mit

szeretnék csinálni

2 Automatikusan legenerálódik a Dataflow

Hogyan: Knowledge Module

KM’s Meta Code

Knowledge Modulok (KM)  A forrás és cél közötti elemi lépéseket tartalmazza  Testreszabható template-k  Több mint 120 előre definiált KM

Executed Code - SQL

KM Interpreter

Metadata

Knowledge Modules Architecture Reverse Engineer Metadata

Journalize Read from CDC Source

Load From Sources to Staging

Check Constraints before Load

Integrate Transform and Move to Targets

Service Expose Data and Transformation Services

Reverse W W S S

W S

Staging Tables

Load

Integrate

CDC

Target Tables

Check

Journalize

Services

Sources Error Tables

Néhány példa a Knowledge Modules-ra SAP/R3 Siebel

Log Miner

SQL Server Triggers

DB2 Journals

Oracle DBLink

DB2 Exp/Imp

JMS Queues

Oracle SQL*Loader

Check MS Excel

Check Sybase

TPump/ Multiload

Type II SCD

Oracle Merge

Siebel EIM Schema

Oracle Web Services

DB2 Web Services

ODI – Mapping – Mit?

ODI deklaratív tervezés 1 Mit

szeretnék csinálni

2 Automatikusan legenerálódik a Dataflow

Hogyan: Knowledge Module

ODI – Dataflow – Hogyan?

ODI deklaratív tervezés 1 Mit

szeretnék csinálni

2 Automatikusan legenerálódik a Dataflow

Hogyan: Knowledge Module

Kérdések/válaszok

Köszönöm a figyelmet!

Fekszi Csaba

Omnit Solutions Kft. 1134, Budapest Rózsafa utca 13-17. www.omnit.hu Tel.: 30/914-9208 [email protected]