Mire jó az adatpumpa? Oracle Data Pump megoldás az – nál
Andódy Csaba Apáti Péter KONZORCIA
2016. Október 11.
Napirend 1. Erste Bank mentési nehézségek, felmerülő igények 2. Data Pump Archiver bemutatása 3. Erste Bank tapasztalatok
KONZORCIA
A DPA előtti állapot Alapvető fontosságú az üzleti adatok hosszú távú offline megőrzése (hó eleji export) Alapvetően csak az volt a fontos, hogy megtörténjen a mentés, a hogyan már kevésbé Oracle EXP utility használata Ez volt a kézenfekvő megoldás. Az elkészült fájlokról (dump és logfájlok) szalagos mentés készült.
A mentéseket snapshot adatbázisokon készítettük, készítjük
KONZORCIA
A DPA előtti állapot Problémák az EXP programmal Kézzel „faragott” szkriptek futottak; nem volt feltétlenül hatékony a végrehajtás
Hosszú volt a futásidő (Volt, hogy mire elkészültünk mindennel már jött a következő hózárás)
Kezelhetetlenül nagy méretű dump fájlok keletkeztek (>500 GB)
Az akkor futó összes verzió esetében (9i, 10g, 11g) EXP-et használtunk. Ez 11g alatt már ebben a klasszikus értelemben nem támogatott. Az EXP & DEFERRED_SEGMENT_CREATION (11g) együttesen rossz export állományokat eredményezett.
KONZORCIA
A DPA előtti állapot Nagyon nagy probléma volt, hogy nem volt mentési katalógusunk:
Minden ősfeltöltéssel járó feladat nehézkes és lassú, nekünk már az „fejfájást” okozott, hogy meghatározzuk a visszatölteni kívánt időszakot tartalmazó dump fájlokat.
Ezt azóta korrigáltuk és a pre DPA időszakra is építettünk katalógust az export logfájlok feldolgozásával.
Gyors megoldásként átírtuk a scripteket expdp-re Ezzel egy időben elkezdtünk gondolkodni egy új datapump alapú keretrendszeren….
KONZORCIA
Mit kellett a DPA-nak tudnia.. EXPDP feature-ok kihasználása
Párhuzamos végrehajtás
Hatékony, gyors végrehajtás
Tömörítés (10g esetében gzip)
Több adatbázis párhuzamos exportálása Szabályozható fájlméret
Export katalógus létrehozása Automatikus szalagra írás
KONZORCIA
Mit kellett a DPA-nak tudnia.. Újraindíthatóság Import támogatása GUI
Jogosultság kezelés
Folyamatok monitorozása, részletes & Dash board szerű, futó folyamatok esetében beavatkozási lehetőség
Összetett keresés
Sablonok használata
Távoli telepítés támogatása
KONZORCIA
Data Pump Archiver (DPA) Oracle Data Pump eszköze köré fejlesztett egyedi alkalmazás
A DPA jó megoldást jelenthet olyankor, amikor több adatbázisból rendszeresen vagy alkalomszerűen kell export vagy import műveletet központilag kezdeményezni. A műveleteket paraméterezhetjük és a kívánt időpontra időzíthetjük, párhuzamosíthatjuk
A DPA nagyvállalati környezetben történő használatra is felkészített:
segítségével egy teljes adatbázis export séma, tábla illetve partíció szintű exportok sorozatára bontható, amelyek indítása automatikusan, szekvenciálisan történhet.
KONZORCIA
Jellemzők Saját nyilvántartás (repository) APEX felület és teljes értékű API Belső folyamatvezérlés (időzített feladatok) PL/SQL modul a központi és a forrás adatbázisokban
Heterogén Oracle DB verziók kezelése (10.1.0-től) Logikai darabolás exportnál Újrafelhasználható export és import sablonok
Felfüggeszthető és újraindítható folyamatok Auditált felhasználói műveletek Központi eseménynapló a forrás műveletekre is
Tivoli TSM és Netbackup integráció KONZORCIA
Export Full, séma és tábla (partíció) szint Darabolható exportok sorozatára Sablonok, alapértelmezett paraméterek
Séma és tábla lista egyszerű bevitele 10g esetén külső tömörítés használata
KONZORCIA
Export
KONZORCIA
Export
KONZORCIA
Import Import definíció összeállítása varázslóval, sablonnal Választható külső vagy DPA-val készített DMP állomány forrásként
Belső forrás esetén az export tartalom kereshető és választható Lehetőség a séma és táblatér átnevezésekre
KONZORCIA
Import
KONZORCIA
Import
KONZORCIA
Import
KONZORCIA
Import
KONZORCIA
Folyamatok monitorozása Eseménynapló - történések lekérdezése
Munkamenetek szerinti ellenőrzés:
Export
Import
Rendszermonitor:
dashboard, ahol az összes export és import nyomon követhető
Folyamatfelügyelet:
folyamatosan frissülő, lefúrást lehetővé tevő felület
Data Pump és Tivoli logok megjelenítése Beavatkozások:
megszakítás, újrakezdés
KONZORCIA
Folyamatok monitorozása
KONZORCIA
Adminisztráció Esemény feldolgozó (export, import, housekeeper service indítás, leállítás) Regisztrált adatbázisok (DB link, export vagy import kizárása) Verzió ellenőrzés (adatbázis és DPA szoftver) Jogosultság kezelés (LDAP támogatott): superuser, admin, operator, viewer Szervertisztítás (beszakadt munkamenetek, DPA naplók)
KONZORCIA
Adminisztráció Esemény feldolgozó
Adatbázis regisztráció
KONZORCIA
Adminisztráció Verzió ellenőrzés
KONZORCIA
Lekérdezések DPA-val készített exportok tartalmát tároljuk
Tábla/partíció neve, táblatér, sorok száma, dmp állományok, azok mérete, archiválás adatok (időpont, címke)
Általános, Táblanév, Munkamenet, Archivált állomány szerint Összetett keresés, Kívánságlista
KONZORCIA
Mióta élesben használjuk a DPA-t A legnagyobb DB esetében
7-8 napról 3-5 napra csökkent a futási idő
50%-al kisebb dump fájlok keletkeztek
Az összes DB elkészült kb 1 hét alatt Könnyen monitorozható Nem szükséges bejelentkezni a db hostra. (A konkrét export, illetve TSM logfájlt is meg tudjuk nézni a felületről.)
Minden mentésünkről pontos nyilvántartásunk van.
KONZORCIA
Köszönjük a figyelmet!
További információ:
[email protected]
KONZORCIA