Metadata
MI-DSP – 2013/14 RNDr. Ondřej Zýka,
[email protected]
Co to jsou metadata
Chybějící metadata
Doplněná metadata
Co o metadatech říkají autority
Řízení metadata je nepochybně nejdůležitější z dvanácti schopností, které musí mít BI aplikace
Metadata o Metadata jsou data popisující data. Mohou být reprezentovány jednoduchým popisem, ale také složitou strukturou. o Metadata jsou strukturované informace, které nám umožňují najít informace o datech, spravovat je, kontrolovat je a porozumět jim. o Příklady – Informace o datových entitách v databázi – Informace o jednotlivých záznamech • Dokumenty – autor, abstrakt, obsah, klíčová slova, dostupnost, platnost, … • Fotografie – místo pořízení, velikost, formát uložení, … – Informace o datových fragmentech • Tagy v XML
Business metadata o Jednotný slovník organizace o Komunikace – Mezi odděleními – Mezi Byznysem a IT – Řešení výjimek
o Požadavky – Schvalovací proces – Diskuse – Více druhů slovníků
Technická metadata o Popisy datových modelů – Logická úroveň – jednotný model organizace – Fyzická úroveň – modely jednotlivých databází
o Popisy reportů – – – –
Jaká data se používají SQL dotazy Kdo a kdy je používá Popis na byznys úrovni
o Popisy transformací – Zdroje a cíle – Transformační pravidla
Zdroje technických metadat o Modelovací nástroje – Logické modely – Fyzické modely – Mapování a transformace
o Databáze – Fyzické modely – Skripty s transformacemi
o ETL nástroje – Transformace
o Reportingové nástroje – Zdroje dat – Univerzum – Transformace a výpočty
Sběr a údržba Metadat FAKT: Cíl:
Údržba je náročná Sběr a integrace metadat provádět maximálně automaticky
o U ruční údržby podpora workflow o Používat nástroje, které nabízejí – Dostatečnou svobodu
– Dostatečnou funkcionalitu – Dostatečnou uživatelskou přítulnost
Integrace metadat FAKT:
V podniku jsou pouze jedna metadata.
Cíl: Provázat metadata od definice na business úrovni až k technickým detailům, od zdrojů dat k reportům. o Často existují lokální ostrůvky kompetence – Lokální slovníky – Lokální popisy vazeb, struktur, závislostí – Často špatně technologicky podporováno – Integrace na základě emailů, excelů a množství jednání
Prezentace metadat FAKT:
Matadata musí být maximálně veřejná
Cíl: Všichni uživatelé musí mít jednoduchý přístup k metadatům. o Rychlá integrace nových pracovníků. o Dokumentační řízení – Automatické generování seznamu použitých termínů a zkratek. – Speciální pluginy do wordu, excelu. – Rozšíření webových prohlížečů.
Analýza metadat FAKT: Cíl:
Každá nepřesnost výrazně snižuje kvalitu dopadových analýz. Dopadová analýza jako na obrázku:
Metadata - analýza o Historie – Kdo a kdy naposledy upravil proceduru procedure_name tak, že nepoužívá tabulku table_name?
o Data Lineage – Upstream Které aplikace používají centrálních číselník měn? – Downstream Která všechna data se podílejí na ohodnocení spolehlivosti dodavatele?
o Inpact analysis – Které všechny tabulky a aplikace se budou muset upravit, když přejdeme z kódování ISO88592 na kódování UTF8? – Pokud místo Y/N začneme používat A/N, co všechno musíme zkontrolovat?
Metadata - analýza o Lineage analýza
o Katalóg
Where – used analýza
Cíle správy metadata ? 1. Jak je pojem definován? 2. Odkud se vzala data?
3. Jak jsou data aktuální?
Controllers
Auditors
Managers
?
Analysts
1. Co vše musím upravit při změně zdrojového systému? Architects
Developers
2. Které všechny reporty musím opravit, když změním definici sloupce? 3. Co se stane, když havaruje toto ETL?
Řízení metadat •Byznys slovník •Datové modely •Procesní modely •Organizační struktura
•SAP •Oracle •Databáze •Teradata
Definice
Aplikace
Transfor Reporting mace •Cognos •SaS •Busines Objects •Oracle BI
•ETL •Skripty •SOA •File transfer
Nástroje o Byznys slovník – Semanta – Collibra – Informatica Metadata Manager
o o o o o o o o
Informatica Metadata Manager Oracle Metadata Directory IBM InfoSphere Metadata Workbench Adaptive Metadata Manager™ InfoLibrarian™ Meta Integration ASG Rochade SP PowerDesigner
Co si zapamatovat o o o o o o o
Co to jsou metadata Co to jsou byznys metadata Jak se liší byznys metadata od technických metadat Co jsou zdroje technických metadat Co to jsou operační metadata Které čtyři činnosti jsou nutné pro správu metadat Jaké typy analýz metadat se používají
www.profinit.eu
Diskuse
