6/7/2016
Exadata X5-2 Architectuur / DR / Snapshots
Overview
The Situation
Benefits
Oracle11g stretched RAC
Informix
Experience
Oracle12c RAC+Exadata
17-11-2011
Exadata X5-2 Architectuur / DR / Snapshots Even voorstellen: Overview
The Situation
Benefits
Experience
Rob Lasonder • •
werkzaam bij Atos Global Exa Competence Center laatste 6 jaar projecten met Oracle Appliances (Exadata, Exalogic, Exalytics, ZFS Storage Appliance, OPCA)
• •
OCP : 8.0 t/m 12c OCE : RAC11g, Exadata X2, X3 Administration, Big Data Implementation
Email:
[email protected]
17-11-2011
1
6/7/2016
Exadata X5-2 Architectuur / DR / Snapshots Laatste Exadata (X5-2) project, afgelopen 10 maanden in Duitsland. Overview
The Situation
Benefits
Experience
Project ESPE: Einführung Starter Paket Exadata/Exalogic Nieuwe Infra (on premise): 3 x Exadata X5-2 + 3 x Exalogic X5-2 Software: • Informix DB => Oracle (20 TB, verwachte groei 90 TB) • o.a. Oracle ODI (opvolger Warehouse Builder)
“Machbarkeits Studie” 17-11-2011
vooraf: Enkele Duitse weetjes Als je “s avonds naar huis gaat: Overview
The Situation
Ich mache jetzt Feierabend Benefits
Experience
Elkaar ‘s middags begroeten:
Mahlzeit !
Als je een presentatie goed vindt:
Keihard op de tafel roffelen
Bij de lunch een bonnetje vragen:
Haben Sie den Beleg für mich
Een wit biertje graag
Ein Weissen bitte
Aparte uitspraak : ProCdur, Archieeeeven, Oraaaakel Verder voor ieder computer woord een Duits equivalent: Speichern, Festplatte, Rechner, der Spiegel, Datenbank, Sicherung, neustarten, Verzeichnis, Kenntnis, Verknüpfung, hochladen, herunterladen, Order, Benutzer, die Bandsicherung, hochfahren, herunterfahren, . . . . 17-11-2011
2
6/7/2016
Exadata X5-2 DWH Migratie Project 1 Exadata Architectuur Overview
The Situation
Benefits
Experience
2 Exadata Snapshots Informix 3 12c NF Refresh from Service 4 Exadata Migratie
17-11-2011
I Exadata Architectuur . . . Exadata Refresher Exadata eerste Oracle Appliance. Een toepassing geoptimaliseerd voor The Situation Benefits Experience databases. Informix
Componenten: • Compute Nodes (database instances) • Storage Nodes (database storage) • Zeer snel Infiniband Netwerk • Exadata Software optimalisaties (SQL Offloading, EHCC compressie, etc.)
Voor de Oracle DBA: Oracle RAC, Oracle +ASM Storage
17-11-2011
3
6/7/2016
I Exadata Architectuur . . . Exadata Refresher
The Situation
Benefits
Experience
Benefits
Experience
Informix
17-11-2011
I Exadata architectuur . . . Exadata Refresher
Overview
The Situation
DR coy
17-11-2011
Nieuwste versie: X6
4
6/7/2016
I Exadata architectuur Kenmerken architectuur Overview
The Situation
Benefits
Experience
Intern high speed, low latency Infiband network HA via clustering • Applicaties: vServers • Databases: RAC Disaster Recovery via replicatie • Applicaties: storage replicatie DR • Databases: dataguard • type DR: Active / Passive coy • type DR: vaak geen zero data loss.
17-11-2011
I Exadata architectuur Overview
The Situation
Benefits
Experience
ZFS replicatie
dataguard
DB L0/L1 backup
17-11-2011
DR coy
replication
5
6/7/2016
I Exadata architectuur Pluspunten Exa architectuur: The Situation Benefits Experience • Overview “proven” architectuur, zeer breed ingezet • low latency, high speed infiniband netwerk • zeer snelle time to market (appliances, standaard componenten) • Oracle Services (Platinum Support, monitoring, patching, etc.) • multifunctioneel • active dataguard, offloading reports naar standby • standby databases inzetten voor andere doeleinden (snapshots) • dataguard: automatische block recovery corrupt blocks Aandachtspunten Exa architectuur: • complexiteit. van DBA naar Full Stack DBMA, RAC • DR: Active-Passive • DR: vaak geen zero data loss • Dataguard DR vereist FORCE LOGGING. 17-11-2011
I Exadata architectuur DR: Active / Passive Overview The Situation is er downtijd. Benefits Experience Bij een failover/switchover • bij activeren standby DB rollback van niet gecommitte transacties • Mogelijk transactie verlies (indien geen zero data loss configuratie) • alle applicatieservers vereisen herstart (voormalige passieve kant) • alle sessies moeten opnieuw opgebouwd worden. • applicatie moet overweg kunnen met herstart en deels doorgevoerde transacties. ZERO Data Loss: geen enkele gecommitte transactie gaat verloren. • vereist: dataguard maximum availability mode. • Een transactie is pas gereed nadat deze zowel op de primary als de standby als de primary database is gecommit. (2 phase commit) • toegenomen latency • toegenomen afhankelijkheid Database Force Logging Alle transacties worden weggeschreven in de online redo log file, geen nologging 17-11-2011 operaties toegestaan. (in DWH omgevingen vaak nologging operaties tijdens laadacties).
6
6/7/2016
I Exadata architectuur Dataguard Far Sync Instance voor zero data loss Overview
The Situation
Benefits
Experience
Dataguard 17-11-2011 Far Sync Instance (12c New Feature) bevat alleen de online redo log files, geen datafiles
I Exadata architectuur Oplossingen voor nologging operaties: Overview
• •
The Situation
Benefits
Experience
isoleer nologging operaties in bepaalde tablespaces en sluit deze uit (testen!) refresh standby database na afloop van nologging operaties in de Primary
17-11-2011
7
6/7/2016
II Project Bron Architectuur : Stretched RAC
Overview DC 1
The Situation
Benefits
Experience DC 2
network heartbeat Node 1
Node2
disk heartbeat (voting disks)
local RAC componenten • compute nodes • shared storage • netwerk 17-11-2011
II Project Bron Architectuur : Stretched RAC
Overview DC 1
The Situation
Node 1
Benefits
Experience DC 2
Node2
stretched RAC componenten • compute nodes • shared storage • netwerk • 2e datacenter 17-11-2011
Storage Replicatie: via ASM Failure groups
8
6/7/2016
II Project Bron Architectuur : Stretched RAC Pluspunten Stretched RAC architectuur: Situation Benefits Experience • Overview DR is Active The / Active • Geen Dataguard configuratie nodig (minder administratieve overhead) • Dus: databases kunnen ook in NOLOGGING modus draaien. • Zero Data Loss configuratie Aandachtspunten Stretched RAC architectuur: • hogere complexiteit dan local RAC, met name de netwerk laag. • Hoge eisen aan netwerk, dedicated high bandwidth redundant netwerk • Latency (maximum “comfortabele” rijkweidte 20 km) • gevaar van split brain • Oracle ziet een stretched RAC nog steeds als HA, en NIET als DR oplossing. • Toegenomen netwerk complexiteit kan ook tot uitval leiden. Hoe verhoudt zich dat tot de kans op een rekencentrum uitval. 11g new Features interessant voor stretched RAC: • preferred mirror read (aangeven per instance) • 17-11-2011 fast disk resync (synchroniseren failed disk)
II Project Bron Architectuur : Stretched RAC . . . Latency
Overview
The Situation
Benefits
Experience
RAC interconnect data + storage (mirrors) Maximale “acceptabele” afstand 20 km, afhankelijk van type netwerk. bron: Oracle White Paper: Oracle Real Application Clusters on Extended Distance Clusters. 17-11-2011
9
6/7/2016
II Project Bron Architectuur : Stretched RAC . . . Voting Disks
Overview DC 1
Node 1
voting 1
The Situation
Experience DC 2
Benefits
X
Node2
DC 3
voting 2
voting 3 split brain: geen communicatie meer tussen de clusternodes en elke clusternode gedraagt zich onafhankelijk van de andere 17-11-2011
Oracle MAA: 3e voting disk in 3e datacenter.
II Project Bron Architectuur : Stretched RAC create diskgroup data normal redundancy Overview Situation Benefits failgroup fg1 The disk 'ORCL:ASMDISK1' failgroup fg2 disk 'ORCL:ASMDISK2' quorum failgroup fg3 disk 'ORCL:ASMDISK3' attribute 'compatible.asm' = '11.2.0.0.0';
Experience
17-11-2011
10
6/7/2016
II Project Bron Architectuur : Stretched RAC . . . Stretched RAC = HA en geen DR
Overview
The Situation
Benefits
+ + + +
Experience
Human error (flashback standby) Rolling Upgrade Support offload reporting (active DG) Exadata snapshots
17-11-2011
II Project Bron Architectuur : Stretched RAC
Overview
The Situation
DC 1
Benefits
Experience
DC 2
Global Load Balancer
local FMW app server
local FMW app server
DB Instance 1
DB Instance 2 wekelijks L0 Tape Backup
stretched RAC ingezet als DR oplossing: Active / Active DWH databases in NOLOGGING tijdens batches 17-11-2011 zero data loss (niet tijdens NOLOGGING laadacties)
Dagelijks +ASM incrementally updated copy, 3 dagen delay
DG: +DATA1, +DATA2, + RECO +DATA1 en +DATA2 identiek i.v.m. switch to copy
11
6/7/2016
II Project Doel Architectuur : “De ExaStack” . . . Database Layer Overview
Kenmerken Benefits Experience DR met dataguard. Max performance modus • DG Far Sync Instance in studie • Failover tijd in studie
The Situation
Nologging laadacties => 12c Refresh from service Extra mogelijkheden: Exadata snapshots.
OLTP
OLTP
X5-2 nodes: 768 GB memory 2 x 18 core dual threaded CPU (CPU_COUNT = 72) 1 x ½ rack 1 x ¼ rack (met 3 compute nodes) 1 x 1/8 rack
17-11-2011
II Project Doel Architectuur : “De ExaStack” . . . Application Layer Overview
The Situation
Benefits
OLTP
Experience
X5-2 Compute Nodes Zs3-2 Storage Cluster Configuraties: 1 physical (1/4 rack) 1 virtual (1/4 rack) 1 hybrid (1/2 rack)
OLTP
OLTP
OLTP
OLTP
17-11-2011
12
6/7/2016
II Exadata Snapshots
Overview
The Situation
PROD
Benefits
Experience
DR
DB in Force Logging Tijdens laadacties in Nologging
SNAP1
SNAP2 Een snapshot is een virtuele R/W kopie van de (standby) database. Aanvankelijk 0 bytes groot. • De snapshot datafiles zijn pointers naar de master datafiles 17-11-2011 • Alleen de mutaties worden weggeschreven in de +SPARSE diskgroup.
II Exadata Snapshots Randvoorwaarden The Situation • Overview Exadata Storage Software version 12.1.2.1.0 Benefits • Oracle RDBMS Software version 12.1.0.2 BP5 ++ • Sparse Grid Disks & ASM Disk group
Experience
Referentie: Oracle Exadata Storage Server Software User's Guide Hoofdstuk 12 Setting up Oracle Exadata Storage Snapshots https://docs.oracle.com/cd/E50790_01/doc/doc.121/e50471/snapshot.htm#CIHDFIFE
17-11-2011
13
6/7/2016
II Exadata Snapshots : algemeen Wat is het “probleem” ? • Overview Vaak hebbenThe productie databases veel kopieen (klonen) voor diverse Situation Benefits Experience doeleinden. • Dit kan veel (dure) Exadata Storage kosten. • Opbouwen van de clones kost relatief veel tijd & administratieve overhead
P 15 TB
Totaal 14 clones = 14 x 15 TB = 210 TB
Q1
Q2
Dev 1
...
Dev 12
17-11-2011
II Exadata Snapshots : algemeen Mogelijke oplossingen: • Overview Aanpassen ontwikkelingsprocessen en procedures The Situation Benefits Experience • Flashback Technologie (Flashback Query), edition-based redefinition. • Active Dataguard (open read only voor rapporten) • Subsetting (+ datamasking) • Storage Tiering (Development Clones op goedkopere Storage) • Snapshot Clones Een Snapshot Clone is een virtuele Clone van de Database (Master) P 15 TB • Voor Read Operaties wordt de MASTER geraadpleegd. • Write Operaties worden in de Snapshot Clone weggeschreven. • De virtuele kloon is dus aanvankelijk 0 bytes en groeit naarmate het aantal wijzigingen toeneemt. • De Master is READ ONLY geopend Snapshot Clones zijn al langer mogelijk op ZFS Storage en in ACFS. Sinds kort ook in Exadata +ASM Diskgroups. 17-11-2011 Grote voordeel: Exadata Features zoals SQL*Offloading en IORM zijn ook op de snapshot clones van toepassing.
14
6/7/2016
II Exadata Snapshots : algemeen
Overview
The Situation
Benefits
Experience
Snapshot Datafile pointers naar data blokken • •
originele blokken: Data Diskgroup gewijzigde blokken: Sparse Diskgroup
Sparse Diskgroup: Grid Disks met fysieke en virtuele grootte. (max 100 TB virtual size per disk)
17-11-2011
A sparse file contains only changes made to blocks from the parent file (the parent file remains unchanged) and maintains a pointer to the parent file for access to unchanged data.
II Exadata snapshots : +SPARSE diskgroups Snapshot Clones op Exadata : griddisks vereist van type +SPARSE, met een physieke een virtuele grootte. Overview The Situation Benefits Experience Exadata ¼ Rack
P 15 TB
12 cell disken per cell server (8 TB)
17-11-2011
15
6/7/2016
II Exadata snapshots : +SPARSE diskgroups ASM: +DBFS Overview
+DATA
+RECO
The Situation
Benefits
Experience
P 15 TB
Intern backup: RECO = 60%, DATA = 40 % Extern backup: RECO = 20%, DATA = 80 % Aanpassing voor project vereist: GRID Disks van type +SPARSE 2 Geen onderlinge uitwisselbaarheid tussen +DATA en +RECO
1 Geen 17-11-2011
II Exadata snapshots : +SPARSE diskgroups ASM: +DBFS Overview
+DATA
+SPARSE
The Situation
+RECO Benefits
Experience
P 15 TB
Voordeel 1: SPARSE Disks aangemaakt met fysieke en virtuele grootte Voordeel 2: onderlinge uitwisselbaarheid grid disks
17-11-2011 Werkinstructie opgesteld en doorgevoerd
16
6/7/2016
II Exadata snapshots : +SPARSE diskgroups Stap 1: ASM Diskgroups verwijderen Overview
The Situation
Benefits
Experience
SQL> drop diskgroup DATAC1; SQL> drop diskgroup RECOC1; Stap 2: Grid Disks verwijderen cellcli> drop griddisk DATAC1_CD_01_EXA01_CELL01 P 15 TB Stap 3: Grid Disks opnieuw aanmaken cellcli> create griddisk ora001_CD_00_EXA01_CELL01 CELLDISK=CD_00_EXA01_CELL01, SIZE=461,4374G cellcli> create griddisk ora004_CD_00_EXA01_CELL01 CELLDISK=CD_00_EXA01_CELL01, SIZE=461,4374G, virtualsize=20000G 17-11-2011
II Exadata snapshots : +SPARSE diskgroups
Overview
The Situation
_EXA01_CEL01 detail Benefits EXA01_CEL01
Experience
EXA01_CEL01
P 15 TB
17-11-2011
17
6/7/2016
II Exadata snapshots : +SPARSE diskgroups Stap 4: ASM Diskgroups opnieuw aanmaken Overview
The Situation
Benefits
Experience
SQL> create diskgroup exa01_sparse normal redundancy disk 'o/*/ORA004_CD_0[0-3]_exa01_CELL01', 'o/*/ORA004_CD_0[0-3]_exa01_CELL02', 'o/*/ORA004_CD_0[0-3]_exa01_CELL03' ATTRIBUTE 'au_size'='4M', 'compatible.asm'='12.1.0.2.0', P 15 TB 'compatible.rdbms'='12.1.0.2.0', 'cell.smart_scan_capable'='TRUE', 'content.type'='data', 'cell.sparse_dg'='allsparse';
17-11-2011
II Exadata snapshots : +SPARSE diskgroups
Overview
The Situation
Benefits
Experience
P 15 TB
17-11-2011
18
6/7/2016
II Exadata snapshots : create snapshot Basis: READ-ONLY geopende database (MASTER) The Situation . .Overview . in geval dataguard => log apply moet uitstaan
Experience
Multitenant Configuratie: SQL> create pluggable database PROD_SNAP from PROD create_file_dest='+EXA01_SPARSE' snapshot copy; “Klassieke” P 15 TB Configuratie: Oracle Exadata Storage Server Software User's Guide, hoofdstuk 12, setting up Oracle Exadata Storage Snapshots Projekt : werkinstructie Clone DB
17-11-2011
II Exadata snapshots : create snapshot
Overview
The Situation
Experience
P 15 TB
17-11-2011
19
6/7/2016
II Exadata snapshots : create snapshot cyclus
Overview
The Situation
Experience
P 15 TB
NOLOGGING Batch operations primary + Refresh Standby 17-11-2011
III 12c Dataguard: Recover from Service Probleem: tijdens maandelijkse laadjobs database in NOLOGGING . .Overview . niet compatible dataguard configuratie Themet Situation
Experience
P 15 TB
17-11-2011
20
6/7/2016
III 12c Dataguard: Recover from Service Oplossing: Overview
The Situation
Experience
Voorafgaand aan maandelijkse batchjob : • dataguard log shipping & log apply uitzetten • force logging primary database uitschakelen Maandelijkse batchjob draaien P 15 TB van de maandelijkse batchjob: Na afloop • Primary database: force logging weer inschakelen • Standby database weer bijwerken m.b.v. 12c Recover from service • dataguard log shipping & log apply weer aanzetten • Na afloop van maandelijkse batchjob dataguard log shipping & log apply weer activeren m.b.v. 12c New Feature “Refresh from Service”
17-11-2011
III 12c Dataguard: Recover from Service
1 Primary Overview
2PPrimary 15 TB
The Situation
Experience
Standby
Standby
3 snap clone 17-11-2011
Primary
4
Standby
snap clone snap clone
21
6/7/2016
III 12c Dataguard: Recover from Service Dataguard Log shipping & Log Apply uitzetten Overview
The Situation
Experience
DGMGRL> edit database PROD set property logshipping=OFF; Property "logshipping" updated DGMGRL> edit database PROD set state=APPLY-OFF; Succeeded P 15 TB Database Force Logging uitzetten SQL> alter database no force logging;
17-11-2011
III 12c Dataguard: Recover from Service Recover Database from Service Experience • Overview Uitvoeren opThe deSituation Standby database • Maakt een incrementele backup van alle wijzigingen in de primary database t.o.v. de SCN van de standby data file header • Verplaatst de backup over het netwerk (SQL*Net) naar de standby DB • Speelt de incrementele backup in de standby database. P 15 TB
17-11-2011
22
6/7/2016
III 12c Dataguard: Recover from Service
Overview
The Situation
Experience
P 15 TB
17-11-2011
III 12c Dataguard: Recover from Service Controlfile Standby DB bevat nog oude SCN waardes en moet ook ververst worden. Overview The Situation Experience
P 15 TB
procedure 17-11-2011 voor hernoemen datafiles in controlfile => werkinstructie
23
6/7/2016
IV Exadata Migration Diverse Migratie Methoden Exadata: • Dataguard Overview The Situation • Golden Gate • Datapump • (Incrementally Updated) Transportable Tablespaces • Proprietary tooling
Experience
Keuze van migratie methode afhankelijk van diverse methodes: 15 TB • P beschikbare downtime • beschikbare licenties • beschikbare storage • beschikbare migratie infrastructuur • etc.
17-11-2011
IV Exadata Migration . . . Proprietary Tool: HIPAS Randvoorwaarden bij dit project: • Veel NOLOGGING operaties tijdens laadacties Overview The Situation Experience • VLDB (kan groeien tot 90 TB, nu nog Informix) • Veel objecten zonder PMK/UK • Direkt EHCC compressie nodig, anders past het niet (DG, TTS kan dus niet) • Database bevat veel BLOBS => gaan heel langzaam in DWH • Al veel ervaring in organisatie met proprietary tool “Hipas”. Kenmerken P 15 TB HiPas • offline variant en minimal downtime variant • geschreven in SQL & PL/SQL • Schema based migratie over database links (INSERT /*+APPEND */) • Vanaf doel data halen van de bron (pull gaat sneller dan push)
17-11-2011
24
6/7/2016
IV Exadata Migration . . . Proprietary Tool: HIPAS • • • • • •
USER HIPAS installeren in beide DB's. Overview Situation Experience Data worden viaThe database link overgehaald, PULL source DB vanaf target DB Gepartitioneerde objecten per (sub)partitie Overige objecten in gelijke chunks versie & platform onafhankelijk Allerlei aanpassingen in target DB mogelijk tijdens migratie (remap table/schema, character set aanpassing, selecties van tabellen en data, EHCC, etc.) P 15 TB Snelheid (dedicated 10 Gb lijn) : 700 MB / seconde
17-11-2011
25
