INFORMATIKAI PROJEKTELLENŐR
30 MB Dr. Horváth Gábor
KLASSZIKUS ADATTÁRHÁZAK
2016. 12. 31.
MMK- Informatikai projektellenőr képzés
Tartalom • Elemző Adatbázisok • Az adattárházak komponensei • • • • • • • • •
Adatmodell Adatbázis-kezelő ETL Front-end : BI eszköz Operatív döntéstámogatás: kimenő interfészek Adatbányász eszköz Meta-adat kezelés és „data governance” Jogosultság-kezelés, adat biztonság Egy kis kitekintés: Klasszikus adattárházak és Big Data Architektúrák
• Az adattárház projekt főbb elemei • Agilis módszerek alkalmazása az adattárház projektekben • Az adattárház projektek sikerességének alapjai 2016. 12. 31.
MMK-Informatikai projekt ellenőr képzés
2
Informatika
Elemző adatbázisok
OLTP vs Elemző adatbázisok
2016. 12. 31.
• A tranzakciós rendszerek működésének „melléktermékei” az adatok. Ez a vállalat „az adatvagyona”. Az tranzakciós adatok felhasználása : VIR, MI és egyéb elemzések • Más funkció • Más típusú adatbáziskezelés • Más adatmodell • Más hardver környezet
MMK-Informatikai projekt ellenőr képzés
3
A vállalati adatvagyon részei
Exabytes
Petabytes
Terabytes
User Generated Content
Social Network
User Click Stream
Mobile Web
Sentiment
Web Logs
Dynamic Pricing
Offer History
A/B Testing
Offer Details Segmentation
Gigabytes
Purchase Detail Purchase Record
ERP Payment Record
WEB
BIG DATA External Demographics Business Data Feeds
Affiliate Networks
HD Video
Search Marketing
Speech to Text
Customer Touches
Behavioral Targeting
Product/ Service Logs
Support Contacts
Dynamic Funnels
SMS/MMS
CRM
INCREASING Data Variety and Complexity DECREASING Value Density in the Data 2016. 12. 31.
MMK-Informatikai projekt ellenőr képzés
4
Az adattárházak komponensei
2016. 12. 31.
MMK-Informatikai projekt ellenőr képzés
5
Informatika
Adatpiac és adattárház: Adatarchitektúrák
2016. 12. 31.
MMK-Informatikai projekt ellenőr képzés
6
Informatika
Adatpiac és adattárház: Adatarchitektúrák
2016. 12. 31.
MMK-Informatikai projekt ellenőr képzés
7
Informatika
Adatpiac és adattárház : adatarchitektúrák – tervezési szempontok
• • • • • •
2016. 12. 31.
Elemzési célok sokrétűsége Az elemzési adatbázis szerepe a vállalati architektúrában A felhasználók széleskörűsége, típusai, száma Az elemzendő adatok (forrásrendszerek ) száma Adatbázis méret, history ..stb
MMK-Informatikai projekt ellenőr képzés
8
Az adattárházak komponensei: adatmodell
• • • • •
2016. 12. 31.
Relációs vs. dimenzionális „Kész adatmodellek” vs. „custom developed” Az adatmodell karbantartása„házon belülre” vs. szállítónál Adatmodellező team : rend vs. szűk keresztmetszet CASE eszköz használata – metaadat kezelés
MMK-Informatikai projekt ellenőr képzés
9
Az adattárházak komponensei: adatbázis kezelés Egyszeri bulk insert No update Select Időkezelés Particionálás Párhuzamos felhasználás Real-time igény Index kezelés Index vs full table scan Jogosultság kezelés Tuningolás, adminisztráció Shared everything vs shared nothing vs in memory Appliance megközelítés 2016. 12. 31.
MMK-Informatikai projekt ellenőr képzés
10
Az adattárházak komponensei: ETL ETL eszközök vs „kézzel írt kódok” - ODI - Informatica - IBM DataStage - SAS - Talend…stb - „Custom developed” Tervezési szempontok – meta-adat kezelés CASE eszközök használata: Enterprise Architect, Powerdesigner Ütemező modul ETL eszköz kiválasztás szempontjai: - funkcionalitás - ár - szakemberek elérhetősége
2016. 12. 31.
MMK-Informatikai projekt ellenőr képzés
11
Az adattárházak komponensei: Operatív döntéstámogatás – kimenő interfészek i)
Bejövő interfészek : file, „db-link”, „connectors”, SOA megközelítés szerepe. Szabványok kialakítása
ii)
Kimenő interfészek : illeszkedés a SOA architektúrába
Adattárház funkciók vs. Core rendszer funkciók: • „A DWH túlnő az „eredeti” terjedelmén • Rugalmasabban lehet fejleszteni mint a Core rendszereket • Integrált adatok szükségesek • Historikus adatok szükségeke • Integrált és historikus adatok szükségesek • Vállalati szintű „adat architektúra” • Rövid távú határidők vs. „rend”
2016. 12. 31.
MMK-Informatikai projekt ellenőr képzés
12
Az adattárházak komponensei: BI eszköz
2016. 12. 31.
MMK-Informatikai projekt ellenőr képzés
13
Az adattárházak komponensei: adatbányászat
2016. 12. 31.
MMK-Informatikai projekt ellenőr képzés
14
Az adattárházak komponensei: metaadat kezelés, adatminőség, data governance i) Átláthatóság – üzleti meta-adatok ii) Értékkészletek és hierarchiák karbantartása iii) Auditálhatóság – technikai meta-adatok iv) Adatminőség – automatikus ellenőrzések / hibák javítása v) Meta-adat kezelési architektúra -- rajz vi) Data governance – az adattárházakat menedzselő szervezet és folyamatok szerepe
2016. 12. 31.
MMK-Informatikai projekt ellenőr képzés
15
Mapping szabályok Üzleti definíciók Target Adatmodell Ütemezési meta-adatok Forrás adatmodell
Meta-adat repository
Adatminőségi szabályok Ütemező eszköz
Info portál
ETL eszköz
ETL program
Adatminőség ellenőrzés
2016. 12. 31.
MMK-Informatikai projekt ellenőr képzés
16
Sal esLT .Di m Customer
Geography_Key = Geography_Key
Customer_Key CustomerID Geography_Key NameStyl e T i tl e Fi rstName Mi ddl eName LastName Suffi x CompanyName Sal esPerson Emai l Address Phone PasswordHash PasswordSal t AddressLi ne1 AddressLi ne2 meta_Val i dFrom_Date meta_Val i dT o_Date meta_Status_Fl ag ...
numeri c(10) i nt numeri c(10) bi t nvarchar(8) nvarchar(50) nvarchar(50) nvarchar(50) nvarchar(10) nvarchar(128) nvarchar(256) nvarchar(50) nvarchar(25) varchar(128) varchar(10) nvarchar(60) nvarchar(60) dateti me dateti me ti nyi nt
Sal esLT .Fact ProductModel Descri pti on ProductDescri pti on Key Product Key Cul ture Descri pti on ...
Geography_Key Ci ty StateProvi nce CountryRegi on Postal Code meta_Val i dFrom_Date meta_Val i dT o_Date meta_Status_Fl ag ...
numeri c(10) nvarchar(30) nvarchar(50) nvarchar(50) nvarchar(15) dateti me dateti me ti nyi nt
Sal esLT .Di m Product
Sal esLT .Fact Sal esOrder Geography_Key = Shi pT o_Address_Key
Geography_Key = Bi l l T o_Address_Key
Sal esLT .Di m_Date DateKey Ful l DateAl ternateKey DayNumberOfWeek Engl i shDayNameOfWeek Hungari anDayNameOfWeek DayNumberOfMonth DayNumberOfYear WeekNumberOfYear Engl i shMonthName Hungari anMonthName MonthNumberOfYear Cal endarQuarter Cal endarYear Cal endarSemester Fi scal Quarter Fi scal Year Fi scal Semester meta_Val i dFrom_Date meta_Val i dT o_Date meta_Status_Fl ag ...
numeri c(8) date ti nyi nt nvarchar(10) nvarchar(10) ti nyi nt smal l i nt ti nyi nt nvarchar(10) nvarchar(10) ti nyi nt ti nyi nt smal l i nt ti nyi nt ti nyi nt smal l i nt ti nyi nt dateti me dateti me ti nyi nt
2016. 12. 31.
DateKey = OrderDate_Key
DateKey = DueDate_Key
DateKey = Shi pDate_Key
Sal esOrder_Key Sal esOrderID Sal esOrderDetai l ID Product Key Customer_Key Shi pT o_Address_Key Bi l l T o_Address_Key OrderDate_Key DueDate_Key Shi pDate_Key OrderQty Uni tPri ce Uni tPri ceDi scount Li neT otal Revi si onNumber Status Onl i neOrderFl ag Sal esOrderNumber PurchaseOrderNumber AccountNumber Shi pMethod Credi tCardApproval Code SubT otal T axAmt Frei ght T otal Due Comment meta_LastModi fi cati on_Date meta_Status_Fl ag ...
numeri c(10) i nt i nt numeri c(10) numeri c(10) numeri c(10) numeri c(10) numeri c(8) numeri c(8) numeri c(8) smal l i nt money money money ti nyi nt ti nyi nt bi t nvarchar(25) nvarchar(25) nvarchar(15) nvarchar(50) varchar(15) money money money money nvarchar(max) dateti me ti nyi nt
Product Key = Product Key
Customer_Key = Customer_Key
Sal esLT .Di m_Geography
numeri c(10) numeri c(10) nchar(6) nvarchar(400)
Product Key = Product Key
Product Key ProductID Name ProductNumber Col or StandardCost Li stPri ce Si ze Wei ght ProductSubCategory_Key Sel l StartDate Sel l EndDate Di sconti nuedDate T humbNai l Photo T humbnai l PhotoFi l eName Product Model Name Catal ogDescri pti on meta_Val i dFrom_Date meta_Val i dT o_Date meta_Status_Fl ag ...
numeri c(10) i nt nvarchar(50) nvarchar(25) nvarchar(15) money money nvarchar(5) deci mal (8, 2) numeri c(10) dateti me dateti me dateti me varbi nary(max) nvarchar(50) nvarchar(50) XML dateti me dateti me ti nyi nt
ProductSubCategory_Key = ProductSubCategory_Key
Sal esLT .Di m ProductCategory ProductSubCategory_Key ProductSubCategoryID ProductSubCategory_Name ProductCategory_Name meta_Val i dFrom_Date meta_Val i dT o_Date meta_Status_Fl ag ...
numeri c(10) i nt nvarchar(50) nvarchar(50) dateti me dateti me ti nyi nt
MMK-Informatikai projekt ellenőr képzés
17
Adatminőség biztosítás egy lehetséges módja Adatminőségi riportok
Stage
- Hibás adatok kezelése - Hogyan töltsük? - Mit ne töltsünk? - Speciális esetek pl: - Banki környezetben kötelező jelentések
DWH
Javítások a DWH-ban (adattárház hibák)
Adattisztító alkalmazás
Adatminőségi riportok
Javítások a forrásrendszerekben 2016. 12. 31.
MMK-Informatikai projekt ellenőr képzés
18
Az adattárházak komponensei: jogosultság kezelés és adatbiztonság i) Jogosultsági szintek ii) Érzékeny adatok iii) Üzemeltetés – fejlesztés – környezetek
2016. 12. 31.
MMK-Informatikai projekt ellenőr képzés
19
Az adattárházak komponensei: Klasszikus adattárház és Big Data
2016. 12. 31.
MMK-Informatikai projekt ellenőr képzés
20
Az adattárházak komponensei: Klasszikus adattárház és Big Data
2016. 12. 31.
MMK-Informatikai projekt ellenőr képzés
21
Az adattárház projektek főbb elemei • • • • • • • • • • • • • • • •
Üzleti követelmény felmérés IT követelmény felmérés Jogosultság kezelés Tesztelés tervezés Meta-adat tervezés Adatmodellezés ETL tervezés Logikai mapping - BA Fizikai mapping - fejlesztés Adatbázis fizikai terv Üzemeltetés tervezés Tesztelés Adatpiac tervezés (adatmodellezés, riport tervezés, logikai, fizikai map, riport fejlesztés tesztelés) Szervezet kiépítés Oktatás
2016. 12. 31.
MMK-Informatikai projekt ellenőr képzés
22
Agilitás az adattárház építésben
Back-end: töltési megközelítés: „vigyünk mindent”, modellezzük ami kell Front-end : klasszikus agilis módszerek: SCRUM, „prototípus” - Megfelelő BI eszközök – Klasszikus Bi eszközök vs „önkiszolgáló BI” - „Sand-box” az éles környezetben
2016. 12. 31.
MMK-Informatikai projekt ellenőr képzés
23
Mitől sikeres egy adattárház projekt - Terjedelem : ne lőjünk nagyra de legyen hosszú távú víziónk – rugalmasság, időtállóság a legfőbb tervezési szempont - Megfelelő szervezet / data governance - Az üzlet és az IT szoros együttműködése : „nem kínai fal”, üzleti célok vs IT költségek - Agilitás - Szponzor - Több beszállító vs. Egységes adattárház építési módszertan (monopólium vs verseny) - Ügyfél – beszállítók partnersége (Saját szervezet vs beszállítók) - Kulcs ügyfél oldali pozíciók: - PM - Adatmodellező - „Data steward” - BI helpdesk - Üzemeltetés - Adatminőség biztosítása - Tesztelés tervezése időben 2016. 12. 31.
MMK-Informatikai projekt ellenőr képzés
24
Köszönöm a figyelmet!
2016. 12. 31.
MMK-Informatikai projekt ellenőr képzés
25
