BD referencia architektúra. Gollnhofer Gábor Meta Consulting Kft

Data Vault 2.0 és az Oracle DW/BD referencia architektúra Gollnhofer Gábor – Meta Consulting Kft.

Az Oracle referencia architektúrák Rövid bevezető Az „IT Strategies from Oracle” (ITSO) része Átgondolt, bevált, részletes „módszertanok” Tervezési „template”-ek 20-200 oldalas dokumentumok Koncepcionális leírások „Szabványok” Termék megfeleltetések Data Vault 2.0 és Oracle Referencia Architektúrák HOUG Szakmai nap – 2016.10.11.

2

Oracle ITSO

Data Vault 2.0 és Oracle Referencia Architektúrák HOUG Szakmai nap – 2016.10.11.

3

Oracle Information Management & Big Data Reference Architecture

Data Vault 2.0 és Oracle Referencia Architektúrák HOUG Szakmai nap – 2016.10.11.

4

Knowledge Discovery

Data Vault 2.0 és Oracle Referencia Architektúrák HOUG Szakmai nap – 2016.10.11.

5

Relációs és nem-relációs „homokozók”

Data Vault 2.0 és Oracle Referencia Architektúrák HOUG Szakmai nap – 2016.10.11.

6

Valósidejű eseményekkel bővítve

Data Vault 2.0 és Oracle Referencia Architektúrák HOUG Szakmai nap – 2016.10.11.

7

A Data Vault helye az Oracle referencia architektúrában

Forrás: Oracle Information Management & Big Data Reference Architecture Data Vault 2.0 és Oracle Referencia Architektúrák HOUG Szakmai nap – 2016.10.11.

8

Data Vault 2.0 architektúra

© Dan Linstedt, 2015-2016 all rights reserved Forrás: Dan Linstedt Data Vault 2.0 és Oracle Referencia Architektúrák HOUG Szakmai nap – 2016.10.11.

9

Mi a Data Vault? Módszertan

Adatmodell  Részletes adatok

 A DW/BI legjobb gyakorlat (best-practice) alapján

 Történetiség kezelés (mindig, mindenhol)  Egy vagy több üzleti területet támogat  Normalizált táblák egyértelműen összekötött halmaza

 Ismételhető, konzisztens, optimalizált  Projekttervezés, kockázatkezelés, verziókezelés, stb.

„The Data Vault is the optimal choice for modeling the EDW in the DW 2.0 framework.” Bill Inmon Data Vault 2.0 és Oracle Referencia Architektúrák HOUG Szakmai nap – 2016.10.11.

10

Data Vault 2.0 változások Architektúra

Adatmodell  Hash-ek (ID-k helyett)  Töltési template-ek

 Information Mart (Business Vault, Data Mart)

 „Insert-only” DW

 Virtualizáció

 NoSQL modellezés

 NoSQL támogatás

Módszertan  Agile, CMMI és Six Sigma alapokon

Data Vault 2.0 és Oracle Referencia Architektúrák HOUG Szakmai nap – 2016.10.11.

11

A Data Vault adatmodellezés Adatmodellezési módszer, mint a 3NF vagy dimenziós  3. normál forma (3NF) – operatív rendszerek

 Dimenziós – data mart / OLAP / elemzések  Data Vault – vállalati adattárház 3NF

Data Vault

Adatpiac 1

Értékesítés

Pénzügy

Dimenziós

Vállalati adattárház

Gyártás

Adatpiac 2 Adatpiac 3

Adatpiac 4 Data Vault 2.0 és Oracle Referencia Architektúrák HOUG Szakmai nap – 2016.10.11.

12

A Data Vault modell alapelemei HUB Primary Key (HASH) Business Key Load Date & Time Record Source

LINK Primary Key (HASH) HUB_1 Key HUB_n Key Load Date & Time Record Source

SAT Primary Key (HASH) HUB/LINK Key Load Date & Time Load End Date & Time Record Source

Hub  Az üzleti kulcsok (Business Key) egyedi listája

Link  A Hub-ok közötti kapcsolatok (mindig N:M) egyedi listája

Satellite  A leíró adatok, teljes történetiség kezeléssel  A Sat-nak egy és csak egy szülő táblája van (Hub vagy Link) Data Vault 2.0 és Oracle Referencia Architektúrák HOUG Szakmai nap – 2016.10.11.

13

A Data Vault „színei” Hub, Link, Sat

Data Vault 2.0 és Oracle Referencia Architektúrák HOUG Szakmai nap – 2016.10.11.

14

A Data Vault modellezés előnyei Teljes körű  „All the data all the time”  Auditálható, „compliance”

Rugalmas  Gyorsan kialakítható, módosítható  Rugalmas, egyszerű struktúrák  Egyszerűen tölthető (generálható ETL eljárások) Stage töltések

 Segíti az agilis IT-t

Adatforrások

Stage

Data Vault töltések

HUB-ok

HUB SAT-ok

Adatpiacok betöltései

LINK SAT-ok

Dimenziók

Tények

Teljesítmény  Gyors, parallel töltések

LINK-ek

 Könnyen bővíthető, jól skálázható

Fontos szinkronizációs pontok

Data Vault 2.0 és Oracle Referencia Architektúrák HOUG Szakmai nap – 2016.10.11.

15

Mi a NoSQL modellezés célja?

Forrás: Insights into Modeling NoSQL A DATAVERSITY 2015 Report Data Vault 2.0 és Oracle Referencia Architektúrák HOUG Szakmai nap – 2016.10.11.

16

Több vagy kevesebb modellezés?

Forrás: Insights into Modeling NoSQL A DATAVERSITY 2015 Report Data Vault 2.0 és Oracle Referencia Architektúrák HOUG Szakmai nap – 2016.10.11.

17

Összefoglaló Oracle Reference Architecture  Részletes, jól átgondolt, használható

 Termék megfeleltetésekkel is  „Nem kell újra feltalálni a melegvizet” 

Data Vault 2.0  „All the data, all the time”

 Funkcionális egységek elkülönítése  Gyors, rugalmas, integrált – relációs és big data környezetben Data Vault 2.0 és Oracle Referencia Architektúrák HOUG Szakmai nap – 2016.10.11.

18

Kérdések & válaszok

[email protected] Data Vault 2.0 és Oracle Referencia Architektúrák HOUG Szakmai nap – 2016.10.11.

19