VvAaLlÓóSs IiıDdEeJjȷŰű OoDdSs goldengate alapokon a magyar telekomban Pusztai Péter IT fejlesztési senior menedzser – Magyar Telekom
Medveczki György szenior IT architekt – T-Systems Magyarország 2014. március 26.
AaMmIiıRrŐőLl SsZzÓó LlEeSsZz…
Siebel Replika – ODS rendszer születésének körülményei a Magyar Telekomban Replikáció GoldenGate-tel Valós idejű adattörténet építés mikéntje és gyakorlati haszna Kihívások az implementáció során A rendszer felhasználási céljai, lehetőségei GoldenGate működése, tapasztalatok Technológiai jógyakorlatok
2
Aa SsZzÜüLlEeTtÉéSs KkĸÖöRrÜüLlMmÉéNnYyEeIiı
MmIiıLlYyEeNn IiıGgÉéNnYyEeKkĸ HhÍíVvTtÁáKkĸ ÉéLlEeTtRrEe Aa SsIiıEeBbEeLl RrEePpLlIiıKkĸÁáTt
1
2
3
Adattárház táplálása
Valós időben épülő adattörténet
Érzékeny adatok és Siebel audit logok kezelése
Siebel audit logok biztonságos és elkülönített gyűjtése Meghatározott tulajdonságok alapján történő adatirányítás Érzékeny adatokhoz történő hozzáférés korlátozása
Éles Siebel tehermentesítése
Nagy számításigényű feladatok elvégzése Nagy adattömegű, batch adatszolgáltatások
Aa SsZzÜüLlEeTtÉéSsTt KkĸÖöVvEeTtŐőEeNn ÚúJjȷAaBbBb IiıGgÉéNnYyEeKkĸ JjȷEeLlEeNnTtEeKkĸ MmEeGg: Több forrásból származó, integrált adatokra épített adatszolgáltatások Rugalmasan építhető riporting keretrendszer kialakítása
3
GgOoLlDdEeNnGgAaTtEe RrEePpLlIiıKkĸÁáCcIiıÓó RrEePpLlIiıKkĸÁáCcIiıÓóSs SsZzÁáLlAaKkĸ
GoldenGate szálak
NG Siebel
AIA
SIBREP – DML/DDL AUDREP – DML/DDL, insert all HSTREP – csak DML
Siebel Replika
SOAREP – DML/DDL
4
AaDdAaTtTtÖöRrTtÉéNnEeTt ÉéPpÍíTtÉéSs ÉéSs AaZz AaDdAaTtTtÖöRrTtÉéNnEeTt GgYyAaKkĸOoRrLlAaTtIiı HhAaSsZzNnAa
Rugalmasan konfigurálható keretrendszer • History record előállítása 3 lépésben • Metaadatbázis használata (tábla / mező szintű konfiguráció, fázisok definiálása, triggerek felépítése)
Adattörténet felhasználási lehetőségei: • adattárház számára előkészített érvényességkezelt idősor • nyomozás (hibák, incidensek, performancia) • folyamattámogató üzleti funkciók • riportolás
5
KkĸIiıHhÍíVvÁáSsOoKkĸ Forrás adatbázisok struktúrájának változása Megoldás
DDL replikáció DDL replikáció monitorozása
Adattörténet folytonosságának fenntartása Megoldás
Adattörténet javító eszköz
Programok fejlesztése, tesztelése Megoldás
Adatmodell feltérképezése Tesztadatok előállítása a replika adatbázisban
6
AaRrCcHhIiıTtEeKkĸTtÚúRrAa ÁáTtTtEeKkĸIiıNnTtÉéSsEe FfOoRrRrÁáSs- ÉéSs CcÉéLlRrEeNnDdSsZzEeRrEeKkĸ, MmOoDdUuLlOoKkĸ
– Streng vertraulich, Vertraulich, Intern –
Autor / Thema der Präsentation
26.03.2014
7
FfEeLlHhAaSsZzNnÁáLlÁáSsIiı CcÉéLlOoKkĸ, FfUuNnKkĸCcIiıÓóKkĸ Számos felhasználási lehetőség: • valósidejűség kihasználása: audit logok szolgáltatása a logelemző rendszernek akár perces gyakorisággal • kérés – válasz alapú interfész: dolgozói kedvezmény osztás • visszairányú interfészek: a forrás rendszer egyben a replikában feldolgozott adatok fogadó rendszere • Siebel terméktörzs adatok szolgáltatása • teljes adattörténetre épülő adatszolgáltatások: hatósági adatszolgáltatás, ahol minden változás átadása szükséges • operatív riportok: pl. vizsgálatra váró invalid címek
8
Aa VvAaLlÓóSs IiıDdEeJjȷŰű IiıNnFfOoRrMmÁáCcIiıÓó VvOoNnZzEeRrEeJjȷEe
9
MmIiı AaZz OoDdSs ÉéSs MmIiıÉéRrTt JjȷÓó?
• • •
• • •
Az Operational Data Store fogalma (Inmon) Összeköti a nagyvállalat rendszereit, adatszolgáltatás buszként működhet Gyorsabban és alacsonyabb költségekkel épülhet, mint egy adattárház Valós idejű adatigények is kielégíthetők (online interface-ek, realtime riportok) Tehermentesíti a produktív rendszereket Az adattárház előszobája
10
EeGgYy RrEePpLlIiıKkĸÁáCcIiıÓóSs AaDdAaTtBbÁáZzIiıSs EeLlŐőNnYyEeIiı
• • • • • •
•
Siebel Replika – A dobozos CRM rendszer lehetőségeit kiterjeszti egy valós idejű másolaton A replikált adatbázison közvetlenül lehet fejleszteni Átmeneti WA megoldások gyorsan fejleszthetők – manuális munka helyett Ütemezett batch feldolgozások Kimball és a kések a vendéglő konyhájában vs. ügyfél igények Többlet jogosultság lehetőségek (db szintű hozzáférés, Database Vault) Licensz optimalizálás: pl. egy DB Vault alacsonyabb core számon
11
GgOoLlDdEeNnGgAaTtEe RrEePpLlIiıKkĸÁáCcIiıÓó BbEeMmUuTtAaTtÁáSsAa
12
GgOoLlDdEeNnGgAaTtEe KkĸÉéPpEeSsSsÉéGgEeKkĸ •
• •
•
• •
ETL képességek - defgen, filter, meta adatok (pl. commit timestamp), transzformációk Több utas replikáció Heterogén platformok: Oracle Database, MySQL, IBM DB2, Microsoft SQL Server, Teradata, Sybase, SQL/MX (Nonstop SQL) – amit mi is használunk, stb. Logikai standby DB Oda-vissza irányú szinkronizáció GoldanGate 12c
13
TtEeCcHhNnOoLlÓóGgIiıAaIiı JjȷÓóGgYyAaKkĸOoRrLlAaTtOoKkĸ •
• •
• • •
•
Historizációs eljárások (pl. SCD2), megőrizhető tranzakciós logok Valós idejű adattörténet építő megoldás – minden változás megőrizhető! GoldenGate funkciók: metaadatok, replikációs metódusok Konfigurációs lehetőségek: SCD1, SCD2 Külön initial load támogatás historyhoz Adattörténet javító alkalmazás, ha hiányzó változást kell pótolnunk Hibrid terhelés, egyszerre van OLTP és OLAP -szerű DB használat
14
ÖöSsSsZzEeGgZzÉéSs •
• • • •
•
ODS rendszer előnyei egy nagyvállalati infrastruktúrában Operatív rendszer terhelésének csökkentése Az operatív rendszerbe új funkció fejlesztése kockázatos, időigényes költséges Adatelérés lehetősége szélesebb felhasználói körnek ODS adattörténetre van szükség Valós idejű kiaknázás, adatigények
15
?
KkĸÖöSsZzÖöNnJjȷÜüKkĸ a figyelmet!
GgOoLlDdEeNnGgAaTtEe TtEeLlJjȷEeSsÍíTtMmÉéNnYy HhAaNnGgOoLlÁáSs
18
