Segítség, összementem!

Segítség, összementem!

Előadók: Kránicz László Irimi János

Budapest, 2013. április 10.

ITFI - Adatintegrációs Kompetencia Központ

Tartalomjegyzék • Az Adattárház story a bankban – Tárház nézetek – Adattárház komplexum számokban

•

A diagnózis

• Pár gondolat a költözésről • Az architektúra váltás tapasztalatai és eredményeinek értékelése • Hogyan tovább dilemmák? ITFI - Adatintegrációs Kompetencia Központ

2

Adattárház Story a bankban

3

A történet üzleti nézetben •

2001. december –

•

2002. április –

•

A több éves adatvagyon növekedés, az üzleti funkciók gyarapodásnak eredményeképpen, a Tárház folyamatos 100% körüli leterhelése egyre nagyobb mértékben érezhető korlátot szab az üzleti igények megfelelő válaszidőkkel történő teljesülését illetően.

2006. október – 2007 február –

•

Elindul a Tárház az operatív adatpiacával együtt,az öt legnagyobb forrásrendszerrel, klasszikus adattárházi funkciókkal , adatbányaszati megoldásokkal,

2006. tavasza –

•

A Tárház fejlesztéseit megvalósító projekt ténylegesen elindul

2002. december –

•

Az Oracle készítheti az OTP Bank Tranzakciós Adattárházát egy meghívásos tender győzteseként

Az Adattárház architektúrájának platform váltása, az adatbázis kezelő upgrade-jével

2007. februártól a költözésig (2012. október) – – – – –

Adatvagyon növelése új külső forrásokkal Forrásrendszerek populáció növekedése Historikus adatok keletkezése Új adatpiacok kialakítása, meglévő adatpiacok idősorainak bővítése 2011 végén már jelentkeznek az architektúra túlhajtás tünetei


Adattárház Story a bankban Üzleti funkciója, felhasználási köre, jelentősége Adattárházi Adatgyűjtés, konszolidáció,integráció, adatszolgáltatás,

Értékesítés támogatás Célzott kampányok és értékesítés, termékfejlesztés támogatása

Kockázatkezelés Hitel-és kockázat monitoring, BASEL számítások

Ügyfél és CRM menedzsment Szegmentációra épülő kiemelt ügyfélkezelés , kiszolgálás

Ösztönzés és érdekeltség A banki stratégiát támogató, minőségalapú ösztönzés

CECIL = (Ce)ntral (C)ustomer (I)nformation (L)ine


4

Adattárház Story a bankban

5

A történet technológia nézetben •

2002. április –

•

2002. december –

•

Oracle9i-re upgrade

2006. október – 2007. február –

•

Elindul a Tárház az operatív adatpiacával együtt

2004. február –

•

A Tárház környezet 32 bites technológiával Windows alapokon Oracle8i adatbázis kezelővel

Az Adattárház architektúrájának platform váltása, 64 bites Unix alapú architektúra Oracle 10gR2 adatbázis kezelőre

2007. februártól a költözésig (2012. október) –

adatbázisok 11.2.0.3 verzióra történő frissítése több lépcsőben

•

2012. augusztusától kezdődött a migráció előkészítse

•

Használt eszközpark : Warehouse Builder, Oracle BI Discoverer, Siebel , F, IAS, Weblogic , ADF, adatbányászat: Clementine, Oracle Data Mining


Adattárház számai a költözés előtt • • • • •

6

Az adatbázisai kb. nettó 47,7 Tbyte-t tesznek ki adatpiacok: 26, táblák: 3588, nézetek: 877 rendelkezésre álló jelentések száma: 9000 csillagsémák: 200, dimenziók: 400,adatpontok: 3000 havi riport lekérdezések utolsó 10 havi átlaga : 232.920

• Mit jelentenek ezek a számok: közel öt millió ügyfél, havi százmilliónyi tranzakcióját , pár tízmilliós szerződésállományát , és ezeknek gyakorlatilag minden részlete idősorosan, napi töltési technikával

ITFI Adatintegrációs Kompetencia Központ

Adattárház komplexum mérete 2002-tól napjainkig


7

A diagnózis

• Az OTP Tranzakciós és Operatív Adattárháza beépült a banki kiszolgáló folyamatokba

• És öt évente kinövi a rendelkezésre álló hardware architektúrát • Két évente majdnem megduplázza a nettó tárolt adat mennyiségét


8

Pár gondolat a költözésről Alapvetések

• Miért ide? – Adatbetöltés és lekérdezés többszörös gyorsítása a T4 processzorok, az Exadata tárolón működő speciális szoftver és InfiniBand architektúra következtében. – Kiemelkedő skálázódás magonként 8 párhuzamos szál futtatásával, azaz SPARC T4-2 szerverenként 128 hardware thread (strand) támogatása – Tároló terület igény harmadrészre csökkentése a hibrid oszlop alapú tömörítés (Exadata Hybrid Columnar Compression) alkalmazásával


9

Hová? Oracle Engineered Systems

Adatközpont Menedzsment Osztály

10

Honnan ? Sun/Solaris & EMC/HDS Platform


11

12

Migráció és Konszolidáció II.

Migráció és Konszolidáció I. www.houg.hu/pls/apex/houg.download_my_file?p_file=4451530807197302


Pár gondolat a költözésről Alapvetések és technikai megfontolások

• Alkalmazható a jelenlegi architektúra és annak tudásbázisa, további változások vagy új szaktudás nélkül. • 100% bináris kompatibilitás a jelenlegi Solaris, SPARC gépekkel • Az üzleti fontosság miatt nem lehet jelentősebb üzemszünetet tartani • A költözés több lépcsőben, a legnagyobb adatbázis folyamatos tömörítése biztosítja a szükséges tárterületet • Oracle Data Guard technológiával stand-by adatbázis kialakítása az új környezetekben • Alkalmazás környezetek container másolása (klónozás) ITFI - Adatintegrációs Kompetencia Központ

13

Az architektúra váltás tapasztalatai • az átállások után komolyabb üzemzavarok is voltak, 34 SR-t jelentettünk a support felé •

az SR-k egy része kritikus 7x24 eszkalációban került megoldásra

• Kötelező quartely patch telepítések • Storage hely hiány probléma

• A tervezettnél jóval jelentősebb embernap felhasználással történt meg az átállás


14

Az architektúra váltás eredményei • Tárhely – Átlagos tömörítési arány a korábban alkalmazott BASIC tömörítéshez képest • archive high 3,2 • query low 2,2

• Processzor használat/feldolgozások – a CPU maximum és átlag terhelése még az ETL folyamatok és a nappali üzem torlódása esetén sem okoz jelentős terhelést – A több szálas napi átlag futási idő 118 óráról 62,5 órára csökkent a migráció után ITFI - Adatintegrációs Kompetencia Központ

15

Hogyan tovább dilemmák? A Tárház jelenlegi felhasználásával kapcsolatos tapasztalatok

• • • •

Sosem futatott riportok Kiaknázatlan adatpiacok Nem használt adatpiaci idősorok Elfelejtett historikus adatok Mondjuk ki az összegzést! Releváns, üzletileg értékes-e még az összes adatom ?

• vagy marad a növekedés és haladunk a BIG DATA felé? ITFI - Adatintegrációs Kompetencia Központ

16

17

Köszönöm a figyelmet!

Kérdések És Válaszok !

Segítség, összementem!

Recommend Documents