Az adatvagyon kezelés és a metaadatok. Gollnhofer Gábor DMS Consulting

Az adatvagyon kezelés és a metaadatok Gollnhofer Gábor DMS Consulting

HOUG Szakmai nap 2015

1

Nagyon rövid bevezetés az adatvagyon kezelésbe Big Data és elemzések, adattárház és önkiszolgáló BI napjaink sláger témái. Ugyanakkor ahhoz, hogy hatékonyan tudjuk kezelni és elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül. Többek között ennek megválaszolását segíti az adatvagyon kezelés (data governance).


2

Az adatok értéke - Miért adat „vagyon”? Hasonló az egyéb vagyonelemekhez

Költség:

Haszon:

 Beszerzési érték, beszerzés költsége  Használattal kapcsolatos költségek  Kicserélés, javítás, pótlás költsége  „Karbantartás” költsége

 Használati érték (idő, produktivitás, jó vezetői döntések)  Kockázat csökkentés (bank/biztosító/retail/eü szabályozás, pl. kötelező tartalékképzés)  „Monetizing” (ha lehetséges/szabad)


3

Mi az adatvagyon kezelés (data governance)? Az adatvagyon kezelésnek foglalkoznia kell a „kezelt” adatok: • elérhetőségével, • felhasználhatóságával, • integritásával (és minőségével), • biztonságával.

Ezek nem csak technológiai kérdések! Hanem üzleti és jogi is (pl. személyes adatok védelme; „Right to be forgotten”) HOUG Szakmai nap 2015

4

Az adatvagyon kezelés elemei

Emberek (People)

Folyamatok (Process)

IT (Technology)


5

Az adatvagyon adatelemei

Metaadatok

Operatív adatok

Törzsadatok


6

Eszközei „Soft” eszközök  Üzleti fogalomtár(ak), definíciók és ontológiák  Folyamat leírások, szabályzatok (üzleti és IT), dokumentációk  Oktatás

„Hard” eszközök  Törzsadatkezelés (Master Data Management – MDM és/vagy Customer Data Integration – CDI; Product Data Mgmt - PDM)  Metaadat kezelés (üzleti és technológiai)  Hozzáférés kezelés (jogosultságok és naplózás)  Archiválási eszközök és eljárások (pl. anonimizálás)  Katalógusok (pl. rendszertérkép)  Adatminőség biztosítás (Data Quality Management)


7

A metaadat definíciója A metaadat „adat az adatokról“ Komplett információcsomag, amely pontosan definiálja a szervezet működéséhez szükséges adatokat A szervezeten, vállalaton belül  közös nyelvet határoz meg,  a munkatársak és rendszerek könnyen kommunikálhatnak

A metaadat beazonosítja a rendszerekben levő adatokat és menedzselésük/irányításuk módját  Üzleti kontextusban mutatja be az adatokat  Specifikálja a rendszer(ek)en belüli helyét  Adatkinyeréseket, betöltéseket, frissítéseket indíthat el HOUG Szakmai nap 2015

8

A metaadatok feladatai Feladat #1: Adatdefiníció  Hány ügyfelünk van? A „Vevő” az „A” rendszerben ugyanaz, mint az „Ügyfél” a „B” rendszerben?  Mit jelent az UGYFEL_ERT? „Ügyfél értéke” vagy „Ügyfél értesítés dátuma”? Kitől kell megkérdezni?

 Ezen a riporton a „Bevétel” a termékeket és szolgáltatásokat is tartalmazza vagy csak a termékeket?  A cél: hogy almát almához hasonlítsunk


9

A metaadatok feladatai Feladat #2:  az adatok forrásának, transzformációinak leírása

Hogy tudjuk, honnan jön az adat és hová megy:  Mely számokat kombinálják a havi adat előállításához?  Ha ezt megváltoztatom, mire lesz hatással?  Ez az adat rossznak tűnik, honnan jött?  Milyen gyakran frissítik a jelentéseket?  Ez vajon hogyan jött ki?  Kitől kell ezeket megkérdeznem? HOUG Szakmai nap 2015

10

Metaadatok értéke Az üzleti és technikai felhasználók különböző kérdéseire adott válaszokban rejlik

Forrás: Oracle – Big Data Governance


11

Hol a helye az architektúrában?

Forrás: Oracle Information Management & Big Data Reference Architecture HOUG Szakmai nap 2015

12

Kapcsolódó Oracle eszközök

Metadata Management

Business Glossary

Data Privacy

Oracle Enterprise Metadata Management (OEMM)

Data Governance

Data Archiving

Data Profiling

Data Cleansing

Oracle Enterprise Data Quality HOUG Szakmai nap 2015

13

Oracle Enterprise Metadata Management (OEMM)

Metaadat kezelés

Tulajdonságok

 Vízszintes és szemantikai függőség (lineage) kezelés

Üzleti fogalomtár  Az üzleti fogalmak együttműködő és egyszerű definiálása és kapcsolataik nyilvántartása

 Üzleti adat/fogalom katalógus  Riport  Forrás (Lineage)  Hatáselemzés (Impact)

 Auditálás, verziókezelés  Kollaboráció lehetőségek  Annotációk, tag-ek

 Nyílt, más gyártók eszközeit is ismeri HOUG Szakmai nap 2015

14

Oracle Enterprise Metadata Management A metaadat kezelés két „nézete”


15

Oracle Enterprise Metadata Management Bevezetés, történet Vállalati metaadat kezelő megoldás  ISO/IEC 11179 szabvány kompatibilis „Information Technology -- Metadata registries (MDR)”

Eredeti gyártó:  Meta Integration Technology, Inc. (MITI)  1997 óta „csak” metaadat kezeléssel foglalkoznak  többen is OEM-ben beépítették („MITI bridge”)

Oracle verzió  Oracle (OEM) branding és módosított webes felület (Oracle Enterprise Metadata Management 12cR1 (12.1.3.0.2))  A legújabb 8.0-ás verzió alapján HOUG Szakmai nap 2015

16

Oracle Enterprise Metadata Management Fontosabb funkciói Glossary (fogalomtár) Metaadatok importálása és indexelése  Kézzel és ütemezetten is indítható

Keresés és metaadatok böngészése  Szöveges leírások  Diagramok (adatmodell, ETL folyamat, stb.)

Függőség és hatáselemzés (impact & lineage)  Szöveges formában  Grafikus ábrázolás

Verziókezelés HOUG Szakmai nap 2015

17

Oracle Enterprise Metadata Management Felépítése, elemei Felhasználói felület  Böngésző alapú (Chrome, Explorer, Firefox, Safari)  Metadata Manager és Metadata Explorer „alkalmazás”

Web alkalmazás server  Tomcat vagy Oracle Weblogic (esetleg Websphere)

Repository  Relációs adatbázisban (pl. Oracle 12c, MSSQL, stb.)

Meta modell „bridge”-ek  A különböző metaadat források kezeléséhez (import)  Kézi és ütemezett „begyűjtés” („harvesting”) HOUG Szakmai nap 2015

18

Kapcsolódási lehetőségek, támogatott eszközök Kb. „a világ összes komolyabb eszközét ismeri” Adaptive Altova Apache Hcatalog Apache Hive/HQL Borland CA ERwin Cloudera Impala COBOL Copybook DataStax Embarcadero EMC ProActivity GentleWare Google BigQuery Grandite Hadapt Hive Hortonworks Hive IBM Cognos IBM DB2 IBM DataStage IBM Discovery

IBM Federation Server IBM Lotus Notes IBM Netezza IBM Rational Rose IBM Rational Architect Informatica Metadata Mgr. Informatica PowerCenter CoSORT ISO SQL Standard (DDL) MapR Hadoop Hive MicroFocus Microsoft Access Microsoft Office Excel Microsoft Visio Microsoft SQL Server Microsoft SSIS Microsoft Visual Studio Microstrategy Magic Draw OMG CWM Standard

OMG UML Standard Oracle BI Answers Oracle BI Enterprise Edition Oracle BI Server Oracle DAC Oracle Data Integrator Oracle Data Modeler Oracle Database Oracle Designer Oracle Hyperion Applications Oracle Hyperion Essbase Oracle Warehouse Builder Pivotal Greenplum PostgreSQL QlikView SAP BO Crystal Reports SAP BO Designer SAP BO Desktop Intelligence SAP BO Repository SAP BO Data Integrator


SAP BO Data Steward SAP Master Data Management SAP Sybase PowerDesigner SAP Sybase ASE Database SAS Data Integration Studio SAS BI Server SAS Information Map SAS Metadata Management SAS OLAP Server Select Sparx Architect Syncsort Tableau Talend Teradata Tigris Visible W3C DTD & XSD Schema

19

Oracle Enterprise Metadata Management Demo Képernyők  Fogalomtár (Glossary)  Metaadat importálás (Excel, SDDM, PDM)  Metaadat keresés, böngészés  Hatás és előzmény elemzés (Impact & lineage analysis)  Adatfolyam diagram


20

Demo Fogalomtár - Glossary


21

Demo Adatmodell importálás – Eredeti modell (részlet)


22

Demo Adatmodell importálás – OEMM modell (részlet)


23

Demo Metaadat keresés, böngészés


24



25



26

Demo Hatás- és előzmény elemzés (Impact & lineage)


27

Demo Adatfolyam (Data Flow Overview)


28

Oracle Enterprise Metadata Management Előnyök Végre van ilyen a termékpalettán  Nyitottság  Támogatott eszközök, platformok széles köre  Elterjedt (más gyártók eszköziben is beépítve)  Kiegészíthető, bővíthető

Funkcionalitás  Böngésző alapú felhasználói felület  Jó keresési lehetőségek  Impact és Lineage elemzés támogatás  Ütemezett frissítés támogatása HOUG Szakmai nap 2015

29

Oracle Enterprise Metadata Management Hátrányok „Enterprise kategóriájú” árazás Angol nyelvű felület (üzleti felhasználóknak?) Viszonylag kevés tapasztalat


30

Összefoglaló #1 Adatvagyon kezelés Az adatvagyon kezelés „feljövőben levő” terület, mert:  Sokkal nagyobb mennyiségű és sokrétűbb adatokat kezelünk  Több és összetettebb rendszer (sokszor inkonzisztens)  Bonyolultabb folyamatok mentén

Az adatvagyon kezelés:  Abban segít, hogy „uraljuk a káoszt”   Azt, úgy és addig kezeljük, amennyire szükség van rá (üzleti, technológiai és jogi kérdés is lehet)

 Emberek, folyamatok és technológiai megoldások


31

Összefoglaló #2 Metaadat kezelés A metaadat kezelés:  Az adatvagyon kezelés kritikus eleme  Business glossary és impact&lineage analysis  Önkiszolgáló BI („Mit, hol találok?”)

Mindenkinek foglalkoznia kell vele!  Főleg, aki elosztott rendszerkörnyezetben dolgozik  Inkább előbb, mint utóbb 

Az Oracle-nek (is) van jó megoldása  Oracle Enterprise Metadata Management  Ami heterogén környezetben is jól működik HOUG Szakmai nap 2015

32

Kérdések & válaszok

[email protected]


33

Az adatvagyon kezelés és a metaadatok. Gollnhofer Gábor DMS Consulting

Recommend Documents