Tárolóhely csökkentés és folyamatoptimalizáció archiválással

Tárolóhely csökkentés és folyamatoptimalizáció archiválással

SERVICE PROVIDER FOR

Csókás Péter Mentsl Attila

Tartalom • Célok-eredmények • Probléma felvetés • •

Kiinduló állapot Megvalósítási koncepció

• Tervezett eredmények • Projekt szervezete • Megvalósítás • • •

Adattárolás átszervezése Tesztkörnyezetek klónozása Új, rugalmasabb mentési policy kialakítása

 2 2013-04-09 


• Elért eredmények • További fejlesztési ötletek

Célok-eredmények Célok

Eredmények

Tárhely csökkentése (30TB)

• Éles környezet: 7 TB • Tesztkörnyezetek: 17,4 TB

• Új mentési policy: 6 TB • Összesen: 30,4 TB Gyorsabb mentés/visszaállítási és release-elési folyamatok (visszatöltés -10,5 óra)

• 20%-kal gyorsabb eljárás teljes mentés esetén • 60%-kal gyorsabb eljárás read only táblaterek esetén • 5%-kal gyorsabb release-elési eljárás táblamódosításkor

Gyakoribb mentések lehetősége

Heti 1 helyett 3 mentés

Gyorsabb katasztrófa visszaállás

30-50%-kal gyorsabb visszaállítás

 3 2013-04-09 


Mentési média csökkentése (5,4TB) 13,6 TB (20%)

Probléma felvetés kiinduló állapot

• • •

Linux, Red Hat 5 Oracle Database 11.2.0.2 Enterprise Edition, Partitioning és OLAP opciók Oracle Designer, Oracle Warehouse Builder és Workflow

 4 2013-04-09 


• Éles környezet 3-szorosan tükrözve (1 flash copy) • Teljes méretű elfogadói, integrációs és performancia tesztkörnyezetek • User táblaterek és kapcsolódó rendszerek másolásra kerülnek minden környezetre • Nagy mennyiség és ehhez kapcsolódó hosszú mentési /visszatöltési idő miatt heti mentések • Üzleti hiba felmerülése esetén nem reális visszaállni a mentésre, és 1-2 nap újrafuttatásával javítani • Használt technológiák:

Probléma felvetés

• Fontos napi adatok: 3-szor tükrözve, minden mentésben mentve (dimenzió táblák, legfrissebb, bővülő tényadatok) • Felhasználói adatok: kétszeresen tükrözve, minden mentésben mentve (felhasználók táblái, kapcsolódó rendszerek táblái, stage táblák) • Már nem változó, de friss adatok: read only táblaterekben kétszeresen tükrözve, mentve csak read only-ba kerüléskor illetve teljes mentéskor (ténytáblák 6 hónapnál régebbi, de aktuális éven belüli adatai) • Régi illetve kevésbé fontos adatok: read only táblaterekben, egyetlen diszken, mentve csak read only-ba kerüléskor illetve teljes mentéskor (ténytáblák egy évnél régebbi adatai)

 5 2013-04-09 


megvalósítási koncepció (tárolási kategóriák)

Probléma felvetés

megvalósítási koncepció (folyamatok 1) • Klónozás •

•

meghatározott adatok kerüljenek a tesztkörnyezetekre (környezetenként eltérhet) konzisztens adatbázis üzletileg indokolt időszakra visszamenőlegesen

• Read only táblaterek •

időre particionált táblák read only táblaterekben való elhelyezés (adatkörönként, de akár táblánként)

• Mentés •

Read only adatok mentése ritkábban, pl. havonta változó adatok esetén napi mentés

 6 2013-04-09 


•

Probléma felvetés

megvalósítási koncepció (folyamatok 2) • Patch-elés • •

Release-ek esetén minden módosítás megengedett heti kis release-ek érdemi megtartása

• Archiválás •

Időre particionált táblák esetén elöregítési periódus: mentés és végleges törlés

• Visszatöltés Archiválás megfelelő dokumentáltsága, hogy üzleti igény esetén rugalmasan visszatölthetők legyenek az adatok

 7 2013-04-09 


•

Tervezett eredmények • Kiinduló kb. 75 TB-ról 30 TB-tal csökkenteni a tárterületet • Puffer területet fenntartása a visszatöltések támogatására • Gyorsabb mentés-visszatöltési eljárás a csökkenő online tárolt adat miatt • Akár napi mentés az eddigi heti mentés helyett

140 120 100 80 60 40 20 0 pénzügyi egyenleg %

kiinduló állapot / befektetés átszervezés után / megtakarítás



8

2013-04-09 


tárterület TB

Projekt szervezete • Erőforrások felhasználása 1/3-os arányokban • Oracle Consulting:

31% 34%

• •

Koncepció Tanácsadás

• IT fejlesztés: 35%

• • •

Koncepció Adatszervezés, diskgroupok Mentési policy alapjai

• IT üzemeltetés • •



9

2013-04-09 

Adatszervezés megvalósítása Mentési policy kialakítása SERVICE PROVIDER FOR

IT fejlsztés IT üzemeltetés Oracle Consulting

Megvalósítás

Adattárolás átszervezése 1 • Kialakított diskgroup-ok:

•

•

•

 10

RW_DG: felhasználói táblák, egyéb nem klónozandó adatok (éles környezet*3, performancia teszt) RW_TI_DG: tesztkörnyezetekre klónozandó (éles környezet*3, performancia, elfogadói és integrációs teszt) RO_T_DG: elfogadói tesztkörnyezetre klónozandó, read only (éles környezet*2, performancia és elfogadói teszt) RO_DG: nem klónozandó, de még nem is archivált read only (éles környezet*2, performancia teszt)

2013-04-09 

Célok

Eredmények

Tárhely csökkentése (30TB)

• • • •

Mentési média csökkentése (5,4TB)

13,6 TB (20%)

Gyorsabb mentés és release (visszatöltés -10,5 óra)

• 20%-kal gyorsabb teljes mentés • 60%-kal gyorsabb read only mentés • 5%-kal gyorsabb release

Gyakoribb mentések


Gyorsabb visszaállás


Éles környezet: 7 TB Tesztkörnyezetek: 17,4 TB Új mentési policy: 6 TB Összesen: 30,4 TB


•

Megvalósítás

Adattárolás átszervezése 2 • Üzleti támogatással kialakított kategóriák az alábbiak tekintetében: • •

RW_INTERVAL: milyen időszak után kerül read only-ba az adatkör TDW_CLONING_INTERVAL: milyen időszakot másolunk TDW-re NO_ARCHIVE_INTERVAL: milyen időszak után kerül az adatkör archiválásra RW_INTERVAL 1M 6M 6M 0Y NONE ALL

 11 2013-04-09 

TDW_CLONING_INTERVAL 1Y 1Y 1Y 1Y NONE ALL

NO_ARCHIVE_INTERVAL 1Y 2Y ALL 2Y ALL ALL SERVICE PROVIDER FOR

•

Megvalósítás

Tesztkörnyezetek klónozása

 12 2013-04-09 

Célok Célok

Eredmények Eredmények

TárhelyTárhely csökkentése csökkentése (30TB)

• • • •

Mentési Mentési média csökkentése média csökkentése (5,4TB)

13,6 13,6TB TB(20%, (20%)6,2 m HUF)

Gyorsabb Gyorsabb mentés mentés és release és release (visszatöltés -10,5 óra)

• 20%-kal • 20%-kalgyorsabb gyorsabbteljes teljesmentés mentés • 60%-kal • 60%-kalgyorsabb gyorsabbread readonly onlymentés mentés • 5%-kal • 5%-kalgyorsabb gyorsabbrelease release

Gyakoribb Gyakoribb mentések mentések

Heti Heti1 1helyett helyett3 3mentés mentés

Gyorsabb Gyorsabb visszaállás visszaállás

30-50%-kal 30-50%-kalgyorsabb gyorsabbvisszaállítás visszaállítás

• Éles Éleskörnyezet: környezet:7 7TB TB • Tesztkörnyezetek: Tesztkörnyezetek:17,4 17,4TB TB • ÚjÚjmentési mentésipolicy: policy:6 6TB TB • Összesen: Összesen:30,4 30,4TB TB(16,5 m HUF)


• Minden tesztkörnyezetre csak a meghatározott diskgroup-okat klónozzuk, így a folyamat gyorsabb és csak a szükséges tárterületet foglalják. • Data dictionary tisztítása – fizikailag nem létező adatfájlok • Szükségtelen táblaterek eldobása • Rendberakás: indexek újraépítése

Megvalósítás Új, rugalmasabb mentési policy kialakítása • A projekt során heti háromszori RW mentés mellett döntöttünk •

kedd, csütörtök és szombat esti ütemezéssel, hétfő, szerda és péntek üzleti napok után

• Ez megfelelően támogatja az esetleges szükséges visszaállást • RO táblatereket havonta nyitjuk fel és mentjük • •

a 3 havi release-ek esetén valamint a köztes hónapok utolsó hétfőjén

•

•

•

Partíciók kiforgatása egyedi táblákba archív séma alá Indexek újraépítése Szalagra írás az archív sémából

 13 2013-04-09 

Célok Célok

Eredmények Eredmények

TárhelyTárhely csökkentése csökkentése (30TB)

• • • •


13,6 13,6TB TB(20%, (20%)6,2 m HUF)

Gyorsabb Gyorsabb mentés mentés és release és release (visszatöltés -10,5 óra)

• 20%-kal • 20%-kalgyorsabb gyorsabbteljes teljesmentés mentés • 60%-kal • 60%-kalgyorsabb gyorsabbread readonly onlymentés mentés • 5%-kal • 5%-kalgyorsabb gyorsabbrelease release


Heti Heti1 1helyett helyett3 3mentés mentés


30-50%-kal 30-50%-kalgyorsabb gyorsabbvisszaállítás visszaállítás

• Éles Éleskörnyezet: környezet:7 7TB TB • Tesztkörnyezetek: Tesztkörnyezetek:17,4 17,4TB TB • ÚjÚjmentési mentésipolicy: policy:6 6TB TB • Összesen: Összesen:30,4 30,4TB TB(16,5 m HUF)


• Archiválást évente egyszer végzünk, az üzleti év lezárása után, május végén az alábbiak szerint

Megvalósítás Mentés és visszaállás gyorsulása • Kiinduló állapot: •

24 órás szalagra mentés 26 órás visszatöltés

Mentés

• Arányok • •

RW: ~ 40% RO: ~ 60%

Utána Előtte

Visszaállás

0

 14 2013-04-09 

10

20

30

Célok Célok

Eredmények

•Tárhely•Tárhely csökkentése csökkentése (30TB)

• • • •


13,6 TB (20%) (20%, 6,2 m HUF)

Gyorsabb Gyorsabb mentés mentés és release /release (visszatöltés -10,5 óra)

• 20%-kal gyorsabb teljes mentés • 60%-kal gyorsabb read only mentés • 5%-kal gyorsabb release





Éles környezet: 7 TB Tesztkörnyezetek: 17,4 TB Új mentési policy: 6 TB Összesen: 30,4 TB (16,5 m HUF)


•

Megvalósítás

Nehézségek

• A projekt megvalósítása közben az egész Adattárházat át kellett költöztetni egy új infrastruktúrára a CEDC-be •

•

Ez megnehezítette az ütemezés tervezését a függőség miatt Nehezítette a tesztelést, mivel egy változó környezetben kellett ezt megtenni A projekt ideje alatt további nehézség volt a release-elés és tesztkörnyezetek klónozása, egyrészt az eltérő infrastruktúra, másrészt a különböző környezetek eltérő időpontban történő költöztetése miatt

 15 2013-04-09 


•

Elért eredmények 180

• Összesen: 30,4 TB

160

•

140

•

120

•

80 60 40 20 0 tárterület TB

pénzügyi egyenleg %

kiinduló állapot / ráfordítás átszervezés után (terv) / megtakarítás (terv) átszervezés után (tény) / megtakarítás (tény)

16

2013-04-09 

• 5%-kal gyorsabb release-elési eljárás táblamódosításkor • Heti 1 helyett 3 mentés


• 13,6 TB (20%) • 20%-kal gyorsabb eljárás teljes mentés esetén • 60%-kal gyorsabb eljárás read only táblaterek esetén

100



Éles környezet: 7 TB Tesztkörnyezetek: 17,4 TB Új mentési policy: 6 TB

• 30-50%-kal gyorsabb visszaállítás

További fejlesztési ötletek

Mentés/visszaállás és tesztkörnyezetek • RW mentések (és akár RO_T_DG diskgroup) a havi RO mentések közti időszakban nem szalagra, hanem diszkre kerülnének mentésre • •

sokkal gyorsabb mentés és visszatöltés rugalmasabb visszaállás, valóban napi mentés

• Elfogadói tesztkörnyezetről szükség esetén a tesztidőszakban, nagyobb mennyiségű fejlesztések telepítése után mentést készítenénk • •

hiba esetén visszaállási lehetőség végső esetben se kelljen esetleg újra klónozni jobban tervezhető tesztelési ütemezés

 17 2013-04-09 


•

További fejlesztési ötletek

Tömörítés

• Projekt során egyszeri mozgatás 1 TB megtakarítást eredményezett •

Rendszeres mozgatás miatt ilyen mértékű javulás a jövőben nem lesz

• Táblák 38%-a tömörített, tömörítés mértéke kb. 4-szeres •

Partíciónkénti tömörítés lehetősége Exadata bevezetése esetén további nagy javulás lenne elérhető

Tömörítési mód

Tip. arány

Elérhetőség

BASIC

2-4X

Database EE; ingyen

Advanced (OLTP) tranzakciós adatokhoz

2-4X

Database EE; opció

Hybrid Columnar Compr. QUERY HIGH/LOW

- 10 X

Exadata, SuperCluster, ZFS SA, Pillar Axiom; ingyen

Hybrid Columnar Compr. ARCHIVE HIGH/LOW

- 50 X

Exadata, SuperCluster, ZFS SA, Pillar Axiom; ingyen

 18 2013-04-09 


•


 19 2013-04-09  SERVICE PROVIDER FOR

Tárolóhely csökkentés és folyamatoptimalizáció archiválással

Recommend Documents