Mire jó az adatpumpa? Oracle Data Pump megoldás

Mire jó az adatpumpa? Oracle Data Pump megoldás az – nál

Andódy Csaba Apáti Péter KONZORCIA

2016. Október 11.

Napirend 1. Erste Bank mentési nehézségek, felmerülő igények 2. Data Pump Archiver bemutatása 3. Erste Bank tapasztalatok

KONZORCIA

A DPA előtti állapot  Alapvető fontosságú az üzleti adatok hosszú távú offline megőrzése (hó eleji export)  Alapvetően csak az volt a fontos, hogy megtörténjen a mentés, a hogyan már kevésbé  Oracle EXP utility használata  Ez volt a kézenfekvő megoldás. Az elkészült fájlokról (dump és logfájlok) szalagos mentés készült.

 A mentéseket snapshot adatbázisokon készítettük, készítjük

KONZORCIA

A DPA előtti állapot  Problémák az EXP programmal  Kézzel „faragott” szkriptek futottak; nem volt feltétlenül hatékony a végrehajtás 

Hosszú volt a futásidő (Volt, hogy mire elkészültünk mindennel már jött a következő hózárás)



Kezelhetetlenül nagy méretű dump fájlok keletkeztek (>500 GB)

 Az akkor futó összes verzió esetében (9i, 10g, 11g) EXP-et használtunk. Ez 11g alatt már ebben a klasszikus értelemben nem támogatott.  Az EXP & DEFERRED_SEGMENT_CREATION (11g) együttesen rossz export állományokat eredményezett.

KONZORCIA

A DPA előtti állapot  Nagyon nagy probléma volt, hogy nem volt mentési katalógusunk: 

Minden ősfeltöltéssel járó feladat nehézkes és lassú, nekünk már az „fejfájást” okozott, hogy meghatározzuk a visszatölteni kívánt időszakot tartalmazó dump fájlokat. 

Ezt azóta korrigáltuk és a pre DPA időszakra is építettünk katalógust az export logfájlok feldolgozásával.

 Gyors megoldásként átírtuk a scripteket expdp-re  Ezzel egy időben elkezdtünk gondolkodni egy új datapump alapú keretrendszeren….

KONZORCIA

Mit kellett a DPA-nak tudnia..  EXPDP feature-ok kihasználása 

Párhuzamos végrehajtás 



Hatékony, gyors végrehajtás

Tömörítés (10g esetében gzip)

 Több adatbázis párhuzamos exportálása  Szabályozható fájlméret

 Export katalógus létrehozása  Automatikus szalagra írás

KONZORCIA

Mit kellett a DPA-nak tudnia..  Újraindíthatóság  Import támogatása  GUI 

Jogosultság kezelés



Folyamatok monitorozása, részletes & Dash board szerű, futó folyamatok esetében beavatkozási lehetőség



Összetett keresés



Sablonok használata



Távoli telepítés támogatása

KONZORCIA

Data Pump Archiver (DPA)  Oracle Data Pump eszköze köré fejlesztett egyedi alkalmazás

 A DPA jó megoldást jelenthet olyankor, amikor több adatbázisból rendszeresen vagy alkalomszerűen kell export vagy import műveletet központilag kezdeményezni.  A műveleteket paraméterezhetjük és a kívánt időpontra időzíthetjük, párhuzamosíthatjuk

 A DPA nagyvállalati környezetben történő használatra is felkészített: 

segítségével egy teljes adatbázis export séma, tábla illetve partíció szintű exportok sorozatára bontható, amelyek indítása automatikusan, szekvenciálisan történhet.

KONZORCIA

Jellemzők  Saját nyilvántartás (repository)  APEX felület és teljes értékű API  Belső folyamatvezérlés (időzített feladatok)  PL/SQL modul a központi és a forrás adatbázisokban

 Heterogén Oracle DB verziók kezelése (10.1.0-től)  Logikai darabolás exportnál  Újrafelhasználható export és import sablonok

 Felfüggeszthető és újraindítható folyamatok  Auditált felhasználói műveletek  Központi eseménynapló a forrás műveletekre is

 Tivoli TSM és Netbackup integráció KONZORCIA

Export  Full, séma és tábla (partíció) szint  Darabolható exportok sorozatára  Sablonok, alapértelmezett paraméterek

 Séma és tábla lista egyszerű bevitele  10g esetén külső tömörítés használata

KONZORCIA

Export

KONZORCIA

Export

KONZORCIA

Import  Import definíció összeállítása varázslóval, sablonnal  Választható külső vagy DPA-val készített DMP állomány forrásként

 Belső forrás esetén az export tartalom kereshető és választható  Lehetőség a séma és táblatér átnevezésekre

KONZORCIA

Import

KONZORCIA

Import

KONZORCIA

Import

KONZORCIA

Import

KONZORCIA

Folyamatok monitorozása  Eseménynapló - történések lekérdezése

 Munkamenetek szerinti ellenőrzés: 

Export



Import

 Rendszermonitor: 

dashboard, ahol az összes export és import nyomon követhető

 Folyamatfelügyelet: 

folyamatosan frissülő, lefúrást lehetővé tevő felület

 Data Pump és Tivoli logok megjelenítése  Beavatkozások: 

megszakítás, újrakezdés

KONZORCIA

Folyamatok monitorozása

KONZORCIA

Adminisztráció  Esemény feldolgozó (export, import, housekeeper service indítás, leállítás)  Regisztrált adatbázisok (DB link, export vagy import kizárása)  Verzió ellenőrzés (adatbázis és DPA szoftver)  Jogosultság kezelés (LDAP támogatott): superuser, admin, operator, viewer  Szervertisztítás (beszakadt munkamenetek, DPA naplók)

KONZORCIA

Adminisztráció  Esemény feldolgozó

 Adatbázis regisztráció

KONZORCIA

Adminisztráció  Verzió ellenőrzés

KONZORCIA

Lekérdezések  DPA-val készített exportok tartalmát tároljuk 

Tábla/partíció neve, táblatér, sorok száma, dmp állományok, azok mérete, archiválás adatok (időpont, címke)

 Általános, Táblanév, Munkamenet, Archivált állomány szerint  Összetett keresés, Kívánságlista

KONZORCIA

Mióta élesben használjuk a DPA-t  A legnagyobb DB esetében 

7-8 napról 3-5 napra csökkent a futási idő



50%-al kisebb dump fájlok keletkeztek

 Az összes DB elkészült kb 1 hét alatt  Könnyen monitorozható  Nem szükséges bejelentkezni a db hostra. (A konkrét export, illetve TSM logfájlt is meg tudjuk nézni a felületről.)

 Minden mentésünkről pontos nyilvántartásunk van.

KONZORCIA

Köszönjük a figyelmet!

További információ: [email protected]

KONZORCIA