Consolidatie m.b.v. Oracle Appliances

Consolidatie m.b.v. Oracle Appliances Even voorstellen: Overview

Rob Lasonder

The Situation

Benefits

• •

werkzaam bij Atos Global Exa Competence Center laatste 5 jaar projecten met Oracle Appliances (Exadata, Exalogic, Exalytics, ZFS, OVCA)

• •

OCP : 8.0 t/m 12c OCE : RAC11g, Exadata X2, X3 Administration

Email: [email protected] Wiki: www.rob.lasonder.org

17-11-2011

Experience

Consolidatie m.b.v. Oracle Appliances The Fact Point Overview TheGroup Situation : Cost Comparison for Business Benefits Experience Decisionmakers: Oracle Exadata Database Machine vs. IBM Power Systems Oracle: 30 % lower TCO International Technology Group: Comparing IBM Power Systems to Oracle Exadata Database Machine IBM: 30 % lower TCO

17-11-2011

Consolidatie m.b.v. Oracle Appliances SALES verkoopt het : 4 business drivers Overview

• • • •

The Situation

Benefits

Cost Reduction Increased Agility Higher Service Levels Reduced Complexity

DBMA moet het waarmaken: 4 uitdagingen • • • •

Availability Security Capacity Maintenance

DBMA uitgangspunten • 17-11-2011 Standaardisatie gebaseerd op Oracle Best Practises • One Way of Working conform beschreven procedures

Experience

Consolidatie m.b.v. Oracle Appliances Consolidatie: Agility versus Utilization Overview

The Situation

Benefits

Experience

Utilization: bezettingsgraad van de systemen Agility: flexibiliteit van de systemen, opvangen van (piek) belastingen

17-11-2011

Agenda

Overview

The Situation

Benefits

Experience

Consolidatie m.b.v. Oracle appliances Oracle Appliances introductie Stappenplan Consolidatie Impact Organisatie Consolidatie Beheeraspecten

Consolidatie compliancy 17-11-2011

Oracle12c & Exadata X5-2 NF

A Oracle Appliances Introductie . . . evolutie Oracle Appliances 2008 lancering Exadata Overview The SituationV1 2015 lancering Exadata X5, 6e generatie

17-11-2011

Bron: Oracle Exadata Statement of Direction

X5-2: 2 x 18 core CPU max 768 GBExperience memory per node Benefits X4-8: 8 x 15 core CPU max 6 TB memory per node

A Oracle Appliances Introductie . . . evolutie Oracle appliances

Overview

17-11-2011

The Situation

Benefits

Experience

A Oracle Appliances Introductie . . . consolidatie varianten SCALE UP Overview

• •

X5-2: 2 x 18 core + (max) 768 GB X4-8: 8 x 15 core + (max) 6 TB The Situation

APP

EXALOGIC physical/virtual

Benefits

Experience

SPARC SUPER CLUSTER

OVCA virtual

OVCA virtual

Storage

DB

Database

EXADATA

X5 6e generatie

17-11-2011

SCALE OUT

OVCA

Datahotel

Storage Appliance Zs3-2 / ZS3-4

A Oracle Appliances Introductie . . . SCALE OUT EXADATA

Overview

17-11-2011

bron: Oracle PTS

The Situation

Benefits

Experience

A Oracle Appliances Introductie: . . . hosting varianten

Overview

The Situation

Infrastructure on Premise Benefits Experience • Lease Oracle Exadata Hardware • Maandelijks betalen voor hardware & Exadata software. Inclusief support • geldt niet voor database software • 20% bandbreedte mogelijk per maand

Cloud Computing 17-11-2011 Hosting in eigen datacenter

A Oracle Appliances Introductie:

. . . hosting varianten: cloud.oracle.com/database

Overview

17-11-2011

The Situation

Benefits

Experience

A Oracle Appliances Introductie

. . . DBAAS : Oracle Exadata in the Cloud

Overview

Bron : 17-11-2011 Oracle PTS

The Situation

Benefits

Experience

A Oracle Appliances Introductie

. . . DBAAS : Oracle Database in the Cloud

Overview 1 bij Public The Situation Benefits Probleem Cloud Computing: HEEL DURE oplossing. Experience * zeker bij grote aantallen databases

Probleem 2 bij Public Cloud Computing: vaak geïsoleerde oplossing • Alleen voor Oracle databases • Het gaat juist om de applicaties • Database heeft vaak interfaces en koppelingen met randsystemen • Klant heeft vaak niet Oracle producten Traditionele oplossing: zelf (of via solution provider) aanschaffen en hosten. private cloud oplossing. Begin eventueel een pilot met PDB in the public cloud. 17-11-2011

A Oracle Appliances Introductie . . . DBAAS / PAAS : ATOS VOC Hotel

Overview

The Situation

Benefits

PAAS : oplevering Linux vServer of Windows vServer 17-11-2011 DBAAS : klant moet zelf licenties afstemmen met Oracle

Experience

Agenda

Overview

The Situation

Benefits

Experience




B

Oracle Consolidatie Stappenplan Stap 1 : High Level Design Overview

The Situation

Stap 2 : Bestelfase Stap 3 : Installatie ACS Stap 4 : Low Level Design Stap 5 : Onboarding + TOP Stap 6 : Migrate fase + Nieuwbouw Stap 7 : Beheerfase 17-11-2011

Benefits

Experience

B

Oracle Consolidatie Stappenplan

. . . Stap 1 High Level Design Overview

17-11-2011

The Situation

Benefits

Experience

B


. . . Stap 1 High Level Design: WAT Hoe ziet het toekomstige database en applicatie landschap er uit ? • Overview Aantallen databases en vServers, indeling (gold/silver/ bronse) The Situation Benefits Experience • vereisten backup & recovery, RPO/RTO • HA & DR aspecten. (b.v. granulariteit van uitwijk) Wat zijn de vereisten op het gebied van security en beschikbaarheid ? • vb 1: online patching => High Redundancy ASM diskgroups • vb 2: toepassing SELinux => hogere beheerkosten Hoe wordt virtualisatie ingezet ? • Binnen Exalogic / OVCA of ook Exadata (vanaf X5) • criteria voor virtualisatie (b.v. O-T-A-PP-DR), # VLANS Welke licenties & opties heb ik nodig ? • RDBMS: EE, RAC, Active Dataguard, 12c Multitenant, Partitioning, Advanced Security, Advanced Compression, Datamasking, Audit Vault, Database Vault . . • OEM12c: Diagnostics & Tuning, Cloud Management Pack, Database Lifecycle Management Packs voor SOA, WCP, IAM, . . . 17-11-2011 • FMW: SOA Suite, Weblogic Suite, Webcenter Suite, Identity & Access Management Suite, BPM Suite, . . .

B

Oracle Consolidatie Stappenplan . . . Stap 1 High Level Design : HOEVEEL ?

KPI 1: CPU Overview Experience • Meet CPU verbruik huidige applicaties en databases • Gebruik SPECint (Standard Performance Evaluation Corporation, www.spec.org) om te vertalen naar X5-2 CPU • RAC: 10 % cluster overhead KPI 2: Memory Databases : SGA + PGA Applicaties : OS native tools => linux vmstat, Windows: Performance Monitor KPI 3: I/O Databases: AWR informatie: physical read/write total I/O requests

KPI 4: Storage Bepaal aantal Exadata cellen en ZFS disk shelves. High Capacity / Extreme Flash

+ Oracle 17-11-2011SCALE UP is heel eenvoudig - Oracle SCALE DOWN is minder eenvoudig

B

Oracle Consolidatie Stappenplan . . . Stap 1 High Level Design : HOEVEEL ?

Storage Hoevelheid maar ook IOPS van belang, praktijk voorbeeld: Overview Experience Migratie(onderzoek) van X2 naar X5 X2: 23 cellen (HP disks 600 GB) : 23 x 12 (disks) x 600 GB = 165.600 GB X5: 4 cellen (HC disks 4 TB) : 4 x 12 (disks) x 4000 = 192.000 GB Exadata Software licenties: 10.000 $ per disk Oud: 276 disken = 2.760.000 $ nieuw: 48 disken = 480.000 $ Jaarlijks onderhoud: 24% X2 23 cellen IOPS: 23 x 12 x 300 IOPS (per X2 HP disk) = 82.800 IOPS X5 4 cellen IOPS: 4 x 12 x 194 IOPS (per X5 HC disk) = 9.312 IOPS

flash: X2: 17-11-2011 23 (cellen) x 4 (flash kaarten) x 96 GB (per kaart) = 8832 GB flash X5: 4 (cellen) x 4 (flash kaarten) x 1,6 TB (per kaart) = 25.600 GB flash

B

Oracle Consolidatie Stappenplan . . . Stap 1 High Level Design : voorbeeld 1 Overview

Experience HA: VM Server Pool

DR: ZFS replicatie

HA:RAC

DR: DataGuard HA: Clustering

DR: ZFS replicatie

17-11-2011

B

Oracle Consolidatie Stappenplan . . . Stap 1 High Level Design : voorbeeld 2 Overview

17-11-2011

Experience

Multitenant: • Dedicated vServers • Dedicated VLAN • Dedicated Storage

B

Oracle Consolidatie Stappenplan . . . Stap 2 Bestelfase

Oracle heeft hier een bestel proces voor Overview • o.a. Solution Development Survey invullen

Experience

Afspraken omtrent levering met Oracle • ACS Installatie Services • Re-racking Services • Oracle Customer & Device Data Retention (DDR), sinds kort DDR limited use bundle (5 disks) • Platinum Support Services ... Totale proces : +/- 6 weken

17-11-2011

B

Oracle Consolidatie Stappenplan . . . Stap 3 Installatie ACS

HARDWARE INSTALLATIE : Oracle Field Engineer Overview

Experience

Site Visit Oracle : Datacenter readiness (checklist: cooling, power, access, cables, re-racking required, etc.)

SOFTWARE INSTALLATIE : Oracle ACS Voorafgaand controle via Deployment Assistant zijn alle randvoorwaarden ingevuld: • Network services bereikbaar (DNS en NTP) • noodzakelijke ip adressen voor diverse nodes & networks

17-11-2011

B

Oracle Consolidatie Stappenplan . . . Stap 3 Installatie ACS : Exadata Deployment Assistent Overview

17-11-2011

Experience

B

Oracle Consolidatie Stappenplan . . . Stap 3 Installatie ACS

Oracle ACS installeert de appliances met eenOverview standaard configuratie op basis van scripting. • • •

Exadata wordt opgeleverd met draaiende database (dbm) ZFS Storage appliance wordt opgeleverd met default storage pool Exalogic wordt opgeleverd met geconfigureerde Exalogic Control

Na afloop levert ACS een installatie rapport op: per appliance. (ZFS, Exalogic/Exadata)

17-11-2011

Experience

B

Oracle Consolidatie Stappenplan . . . Stap 4 Low Level Designs (LLD)

In de Low Level Designs wordt in detail per component aangegeven wat wordt Overview Experience geconfigureerd en hoe: • • • • • • •

setup Exadata / Exalogic / OVCA / ZFS setup Oracle Databases en Oracle vServers backup & recovery (Appliances en componenten (databases, vServers) HA en DR Monitoring Security Configuratie management & Capacity Management

Zorg dat de LLD klaar zijn voordat er daadwerkelijk gebruik wordt gemaakt van de Appliances, voordat databases en vServers worden aangemaakt.

17-11-2011

B

Oracle Consolidatie Stappenplan . . . Stap 4 Low Level Designs (LLD): Databases

Database Omgevingen plan • Overview hoeveel omgevingen van elke database: O+T+A+DR+PreProd+Prod Experience • Database types: Gold / Silver / Bronze / Metal • Capaciteits management: cpu/memory/IORM Database Configuratie • Non Default parameters • Database services & connectivity Database Security • User Management (global user / local users) • 12c Security Policies • Security Checklist (Oracle Best Practises) Database Backup & Recovery • Backup naar ZFS Storage Appliance, direct NFS • Backup conventies, long-term versus short-term backup

Database Disaster Recovery • 17-11-2011 [Active] Dataguard, Dataguard Broker. Database Monitoring: OEM12c Cloud Control / ASR / Platinum Support

B

Oracle Consolidatie Stappenplan . . . Stap 4 Low Level Designs vServers

vServer Omgevingen plan • Overview O+T+A+DR+PreProd+Prod : vServers • # vNets & IB partities & full & limited membership • vServer types: Gold / Silver / Bronze • Capaciteits management: cpu/memory/IORM

Experience

vServer Configuratie, Security, Backup & Recovery, DR , monitoring afstemming DBMA & Application Engineer

Bovenop deze infra bouwt de Application Engineer de FMW infrastack • FMW componenten: WCP, OSB, SOA/BPM • OTAP indeling FMW componenten & IP netwerk addressen • interne communicatie FMW componenten, via OTD • applicatie connectivity: interne applicaties en externe applicaties 17-11-2011 • koppeling vNets aan private IB netwerken (partities) • applicatie connectivity, HA en DR aspecten

B

Oracle Consolidatie Stappenplan . . . Stap 4 Low Level Designs (LLD): ZFS Storage

Type Storage Pool(s): Mirrored & RAID Overview

Experience

Indeling Pools in storage projecten en shares, compression, cache usage User management & Share management (applicatie shares, backup shares) Snapshot backups, retentie & replication [inzet SMU utility voor Copy on Write Snapshots]

HA Storage Appliance, Online Maintenance & patching

17-11-2011

B

Oracle Consolidatie Stappenplan . . . Stap 5 Onboarding + TOP Onboarding: Overview Controle oplevering Oracle + vastleggen initiële configuratie TOP (turnover to production): Implementeren LLD (vastleggen in werkinstructies) • Aanmaken vServers • Aanmaken databases • Configureren backup, monitoring, HA, DR

17-11-2011

Experience

B

Oracle Consolidatie Stappenplan . . . Stap 5 Onboarding ZFS Storage appliance Overview

17-11-2011

Experience

B

Oracle Consolidatie Stappenplan . . . Stap 5 TOP (voorbeeld Exadata) Overview

17-11-2011

Experience

B

Oracle Consolidatie Stappenplan . . . Stap 6 Migratie en Nieuwbouw

Nieuwbouw: ontwikkel en deploy applicaties/database in landschap Overview Experience • standaarden en richtlijnen beschikbaar voor developers, architecten en testers voor nieuwe omgeving. De Exadata & Exalogic “bijsluiter” • Tijdens implementatie fase ondersteuning vanuit DBMA team voor applicatie en database ontwikkelaars. • Bewustwording voor de ontwikkel teams dat ze werken op een shared platform Migraties van oude applicaties/databases naar nieuwe landschap • Opzetten van een migratie architectuur. Hoe kom ik van A naar B ? • Vaak voldoen oude architecturen niet (geheel) aan nieuwe architecturen. • applicaties & database draaien op zelfde platform & wisselen info uit • rechten en rollen niet secure. (b.v. zwaar gebruik DB OS authentication) • applicaties & database vaak niet HA compliant • Gedurende langere tijd hybride situatie: deel van applicaties & databases al gemigreerd, een deel niet. 17-11-2011

B

Oracle Consolidatie Stappenplan . . . Stap 6 Voorbeeld migratie architectuur

Stap 1: aanleggen van de migratie infrastructuur Overview

Experience

Stap 2: bepalen van de migratie methode expdp/impdb, [transient logical standby] dataguard, [incremental] TTS, golden 17-11-2011 gate, maatwerk scripting, etc. Stap 3: uittesten + doorlooptijden vastleggen.

B

Oracle Consolidatie Stappenplan . . . Stap 6 Voorbeeld migratie project Overview

17-11-2011

Experience


B

. . Exadata / Exalogic / OVCA omgeving klaar voor inzet Overview

• •

Databases (database as a service) vServers (platform as a service 17-11-2011

Experience

B

Oracle Consolidatie Stappenplan . . Stap 7 Beheerfase Transitie van project beheer naar beheer in de lijn Overview

Experience

Duidelijke afspraken maken : wie doet wat (organisatie) Incorporeren platform in bestaande processen (CMDB management, incident management, change management, problem management, etc. Uitvoeren beheer: • monitoring • deployment • backup & recovery • DR • rapportages: capacity, availability, etc. • online maintenance & patching (eventueel m.b.v. Platinum Support) Eventuele aanpassing van afgesproken standaarden (voortschrijdend inzicht) 17-11-2011

B

Oracle Consolidatie Stappenplan . . Alignment Architectuur & Standaarden & Afspraken Overview

• • • •

Architecturen

Standaarden

Experience Afspraken

High Level • DC, Netwerk Detail • Backup/Recover • HA + DR • Security • Monitoringuren

development & deployment consolidatie & resource mgmt. reporting & capacity mgmt. inrichting Exadata, OVCA,ZS3e inrichting DB, vServer, etc.

SLA, reporting RPO, RTO, Uitwijk Maintenance Windows Doorlooptijden SSR DBMA (wie doet wat) etc.

transparant persoonsonafhankelijk consistent voorspelbaar 17-11-2011

Werkinstructies

Beheer procedures

create DB, vServer backup DB, vServer inregelen HA + DR etc.

Regulier beheer Patching Reporting & Capacity etc.

B

Oracle Consolidatie Stappenplan . . Alignment Architectuur & Standaarden & Afspraken

Voorbeelden van mogelijke non-matching afspraken: Overview Experience 1. inregelen backup & recovery maar nooit testen 2. inregelen DR maar niet testen (DB+applicatie+koppelingen + granulariteit) 3. Security standaarden worden niet afgedwongen t.g.v. legacy software 4. Backup: RPO+RTO niet realistisch Backup eisen: we willen tot 7 jaar terug in de tijd met jaar en maand backups we willen terug naar een willekeurig punt in de tijd. Onderscheid tussen long-term en short term backup doeleinden short-term: de database is down en moet z.s.m. worden hersteld om de functionaliteit weer beschikbaar te stellen. => inline restore m.b.v. rman long-term (t.g.v. auditing of anderzijds): we willen de data van 2 jaar terug bekijken en bepaalde zaken vergelijken met nu. Out of line restore  17-11-2011 m.b.v. datapump maandelijks dumps maken  m.b.v. 12c IDA (in database archiving) of Oracle Total Recall (rman backups na 2 jaar t..g.v. upgrades en patches niet direct bruikbaar.)

B

Oracle Consolidatie Stappenplan . . . Stappenplan implementatie: “Lessons Learned” Overview

17-11-2011

Experience

B

Oracle Consolidatie Stappenplan . . . Implementatie “Lessons Learned”

1 Consolidatie is een programma, geen project. • Overview langlopende trajecten (1 tot 2 jaar) • programma management, prioriteiten 2 • • • • 3 • • •

Experience

Consolidatie heeft een grote impact op de organisatie stackbeheerders (DBA “2.0”) of DBMA architecten, projectleiders, developers, testers, application engineers gebruikers (delen van resources), IT platform is leidend management: aansturing & controle Maak afspraken met de business, vastleggen & communiceren Onderhoudswindows, beschikbare resources, aansluitvoorwaarden Exa stack Vastleggen in Exadata / Exalogic / OVCA bijsluiter mandaat voor afdwingen afspraken

4 De nieuwste “hypes” geen haarlemmer olie • SCRUM / wekelijkse sprints => korte termijn. Houd lange termijn voor ogen • 17-11-2011 Continuous deployment => geen excuus voor “alle rechten”

B

Oracle Consolidatie Stappenplan . . . Implementatie “Lessons Learned”

5 Vastleggen en onderhouden van designs, standaarden en werkinstructies • Overview transparant, persoonsonafhankelijk, consistent. (one way ofExperience working) 6 • • •

Afdwingen en handhaven van compliancy Compiancy standaarden en richtlijnen Compliancy SLA Compiancy security (interne en externe audits)

7 Capaciteitsmanagement van belang. Vaak te optimistisch ingeschat 1/8 rack => ¼ rack => memory expanion kit => extra storage cellen Wees zuinig met het uitdelen van je resources !! 8 • • • • • •

Migraties: complexiteit vaak niet de database maar de applicatie niet RAC aware database applicatie accounts: OPS$ & remote_OS_authentication applicatie koppelingen (file shares) en database links aangepaste functionaliteit Oracle11g/12c performance: meestal beter maar niet altijd (11g/12c optimizer changes) 17-11-2011 Oracle12c CDB/PDB : grote verandering in opzet (global c## users, local users, interschema connectivity, etc.)

B

Oracle Consolidatie Stappenplan . . . Voorbeelden migratie “issues”

ORA-24247: network access denied by access control list (ACL) Vanaf Overview 11g gebruik van network packages als UTL_MAIL, UTL_HTTP via ACLExperience WM_CONCAT functie in 11g gewijzigd en in 12c niet meer beschikbaar MOS Note 1336219.1: “WMSYS.WM_CONCAT Should Not Be Used For Customer Applications” ORA-02153: invalid VALUES password string Note 1905221.1: “ORA-02153: Invalid VALUES Password String When Creating a Database Link..” ORA-01017: invalid username/password Passwords zijn default) case sensitive in Oracle11g/12c Gebruikte functionaliteit in relatie tot RAC • cached sequences => levert geen ordered set meer op bij meerdere instances • functie dbms_pipe niet bruikbaar bij meerdere instances • zie Oracle RAC Database aware Applications – A Developer’s Checklist

17-11-2011

MOS Note 429825.1: “Complete Checklist for Manual Upgrades to 11gR1”

B

Oracle Consolidatie Stappenplan . . . Lessons Learned : Documentatie Services Overview

Experience

Exadata, Exalogic, Exalytics, ZFS, OVCA, OVM, RDBMS, EBS, Siebel, FMW . . . 17-11-2011

B

Oracle Consolidatie Stappenplan . . . Lessons Learned : Documentatie VCA Overview

17-11-2011

Experience

B

Oracle Consolidatie Stappenplan . . . Lessons Learned : VCA Werkinstructies Overview

17-11-2011

Experience

B

Oracle Consolidatie Stappenplan . . . Lessons Learned : Documentatie Overview

17-11-2011

Experience

Agenda

Overview

The Situation

Benefits

Experience




C Oracle Consolidatie : Impact Organisatie . . . primaire beheerrollen

17-11-2011

The Situation

PAAS

SAAS

applicatie beheerder

DBAAS

DBMA

APPLICATION ENGINEER

Overview


Benefits

Experience


C Oracle Consolidatie : Impact Organisatie . . . primaire beheerrollen: voorbeeld

DBMA verantwoordelijk voor: • Database as a Service: Overview The Situation Benefits Experience • DBMA levert een draaiende database, backup, dataguard, etc • Wat er in de database zit (tabellen e.d.) : valt buiten DB Service, voor rekening van applicatie DBA. (12c: Container DBA, PDB DBA) • Platform As a Service: • DBMA levert een draaiende vServer, conform richtlijnen. • Uitbesteding OS beheer binnen vServers aan windows & unix groepen. DBMA blijft verantwoordelijk en single point of contact. • Applicatie DBA bouwt daar bovenop structuren (B.v. FMW stack). Application Engineer verantwoordelijk voor: • Configuratie en beheer van de FMW stack die binnen de vServer infrastructuur wordt gehost. • Afstemming tussen DBMA en Application Engineer noodzakelijk Applicatie beheerder kent alle in’s en out’s van zijn applicatie en database componenten. Contacten en afstemming met leverancier, gebruikers, DBMA, 17-11-2011 Application Engineer.

C Oracle Consolidatie : Impact Organisatie . . . DBA traditioneel beheer: organisatie centraal

Overview

The Situation

database beheer

Benefits

Experience eigen standaarden, procedures & leveranciersbeheer

systeembeheer

eigen standaarden, procedures & leveranciersbeheer

netwerk beheer


storage (SAN) beheer


backup beheer


17-11-2011

C Oracle Consolidatie : Impact Organisatie

. . . DBMA Oracle Stack Beheer: oplossing centraal

Overview

The Situation

Benefits

Experience

1 werkwijze 1 leverancier (Oracle) database beheer DBMA, DBA 2.0 (http://prutser.wordpress.com

prutser.wordpress.com

Klant

DBMA

Skills ++ Oracle RDBMS: Dataguard, RAC, +ASM, O12c NF, Exadata Features Skills ++ Systeembeheer (linux), ++ Virtualisatie (OVM) ++ Storage (ZS3 Storage Appliance) 17-11-2011 ++ Netwerken en netwerk virtualisatie

C Oracle Consolidatie : Impact Organisatie . . . training DBMA & Application Engineer Exadata Owners Guide: download as Patch 10386736 Exadata Patching Note: 888828.1 Overview The Situation Benefits Experience Exadata Best Practises: MOS Note 757552.1 Oracle University Exadata Learning Tracks • Exadata Database Administration => OCP12c,OCE X4 administration, OCE RAC • Exadata Linux/Solaris System Administration => Certified administrator • Exadata Storage Administration => OCE ZFS implementation specialist • Exadata Network Administration => Certified (Solaris) Network Admin Oracle by Example, hands-on instructions http://www.oracle.com/technetwork/topics/index-101867.html Oracle learning library: https://apexapps.oracle.com/pls/apex/f?p=44785:1:123802428289593 Pre-built Oracle Virtual Box images B.v. 11g/12c migration lab, 12c developer lab, ZFS Storage appliance, OVM Mgr http://www.oracle.com/technetwork/community/developer-vm/index.html YouTube: Oracle Exadata channel 17-11-2011 Exadata boeken: Oracle Expert Exadata (apress) Soortgelijke resources voor application engineer

C Oracle Consolidatie : Impact Organisatie Impact testers, developers, projectleiders Overview voor architecten, The Situation Benefits Experience • Bekend zijn met Oracle stack architectuur • Migratie / Consolidatie programma vaak complex en langlopend. • Bekend zijn met applicatie & database consolidatie standaarden en richtlijnen • hoe maak ik een schaalbare, RAC compliant applicatie & database • hoe maak ik mijn applicatie & database HA en DR aware • consolidatie aspecten als resource management, compliancy Impact voor gebruikers Applicaties en databases draaien op geconsolideerd platform. Platform is leading v.w.b. maintenance windows, aansluitingsvoorwaarden, etc.

17-11-2011

C Oracle Consolidatie : Impact Organisatie . . . proces integratie (ITIL) Oracle Stack

Opnemen landschap in bestaande processen: Overview The Situation Benefits Experience • opname in CMDB • opname in SSR (standaard service request) & Change Management • opname in Incident & Problem Management • Intergratie monitoring (OEM12c Cloud Control) in ticketing systeem • Availability & Capacity Management rapportages

17-11-2011

C Oracle Consolidatie : Impact Organisatie . . . proces integratie: CMDB

Overview

The Situation

17-11-2011

Vastleggen van alle relevante informatie

Benefits

availability incidents backup results

Experience

C Oracle Consolidatie : Impact Organisatie . . . proces integratie (ITIL) : Availability

Overview

17-11-2011

The Situation

Benefits

Experience

C Oracle Consolidatie : Impact Organisatie . . . proces integratie (ITIL) : Incidents

Overview

17-11-2011

The Situation

Benefits

Experience

C Oracle Consolidatie : Impact Organisatie . . . proces integratie (ITIL) : Backup Informatie

Overview

17-11-2011

The Situation

Benefits

Experience

C Oracle Consolidatie : Impact Organisatie . . . proces integratie (ITIL) : SSR Create DB

Change Request: Verzoek aanmaken DB Overview The Situation

(Standard) Change aanmaken in ticketing system Benefits

Experience

Aanvraag formulier + “Bijsluiter Exadata”

Aanvraagformulier: zie volgende sheet Bijsluiter Exadata: • ontwikkelstandaarden • aansluitingsvoorwaarden.

Aanmaken database + opname in CMDB

• •

Conform SLA binnen afgesproken tijd Werkinstructie Create Database

TOP DB CMDB status Production

• • •

SBAP: Standaard Beheer Acceptatie protocol Monitoring geactiveerd Reguliere rapporages: capacity management, backup

Beheerfase Database 17-11-2011

• • •

Beheer & monitoring conform afspraken Regulier patching Reporting (en eventuele doorbelasting)

C Oracle Consolidatie : Impact Organisatie . . . SSR Create DB aanvraagformulier

Overview

17-11-2011

The Situation

Benefits

Experience

C Oracle Consolidatie : Impact Organisatie

. . . SSR Create DB SBAP (Turn Over to Production)

Overview

17-11-2011

The Situation

Benefits

Experience

Agenda

Overview

The Situation

Benefits

Experience




D Oracle Consolidatie : Beheeraspecten •

Resource Management & Capacity Management The Situation Benefits • hoe verdeel ik de beschikbare resources • hoe bewaak ik de beschikbare resources

Overview

•

Beheersen storage footprint • hoe houd ik de beschikbare storage binnen de perken?

•

Virtualisatie

•

Database Security

15 TB

Experience

DR copy

17-11-2011

D Oracle Consolidatie : Resource Management . . . Inrichten resource management

Welke resources moeten we delen op Exadata? Overview cpu, IO, The Situation memory, Exadata/ZFS storage, netwerk • • • • •

Benefits

Experience

Memory X5-2: 256 GB/512 GB/768 GB per node CPU X5-2: 2 x 18 core dual-threaded CPU (CPU_COUNT=72) per node Exadata database I/O & flash storage Exadata (database) storage: afhankelijk van configuratie en redundancy ZFS (backup) storage: afhankelijk van #shelves, disk types & backup retentie

Welke resources moeten we delen op Exalogic / OVCA ? memory, CPU, (IO, ZFS storage), netwerk 15 TB DR Stappen voor Resource Management & Capacity Management copy 1. Initiële inrichting (standaarden (!) database / vServer) 2. Meten en eventueel aanpassen. 3. Resource gebruik vastleggen + historie opbouwen 4. Zodra grenswaarden bereikt worden: acteren 17-11-2011 • bijschalen resources • afschalen componenten

D Oracle Consolidatie : Resource Management . . . Inrichten resource management uitgangspunten

Zie Oracle White Papers: • •

Overview Best Practices

TheDatabase Situation Experience for Consolidation On ExadataBenefits Database Machine (Oct 2013) Consolidating Oracle Applications on Exalogic (March 2012)

Oracle Consolidation Guidelines voor Exadata: Memory 80 % of memory can be used for databases If you want to leave room for failover => reserve more memory CPU: Average CPU usage <= 25 % 15 TBdivide 75% CPU to databases DR Production: partitioning method: OTA: oversubscription: 300 % CPU to databases

copy

# instances on 1 X3-2/X4-2 compute node: <= 128

Inter database management: afstemmen resources tussen databases => DBMA 17-11-2011

Intra database management: afstemmen resources in 1 databases => PDBA

D Oracle Consolidatie : Resource Management

. . . Inrichten Exadata DB resource management stappen

The Situation & database services & CDB/PDB Benefits Experience StapOverview 1: instance mapping mapping (optioneel)

Stap 2: memory gebruik m.b.v. database parameters (memory_target) Stap 3: CPU gebruik m.b.v. parameters (cpu_count) Stap 4: I/O gebruik m.b.v. parameters (db_performance_profile, resource_manager_plan) + plannen aanmaken op celniveau (cellcli) Stap 5: resources toekennen aan PDB binnen CDB (shares) 15 TB DR copy

17-11-2011

D Oracle Consolidatie : Resource Management . . . Stap 1 Inrichten database & instance mapping

Overview

The Situation

15 TB

Benefits

Experience

DR copy

17-11-2011

Bepaal # database, # instances + SGA_TARGET/PGA_AGGREGATE_TARGET optioneel: open/close individuele PDB databases per instance

D Oracle Consolidatie : Resource Management . . . Stap 1 CDB / PDB Setup

optioneel: Met Oracle12c Multitenant optie: Overview The Situation Benefits open/close individuele PDB databases per instance

• • • •

Experience

elke PDB heeft een eigen service geen verkeer mogelijk PDB’s op applicatie 15 tussen TB DR niveau: via db link (applicatie isolatie) Of onderlangs als Container DBA (=: copy

17-11-2011

D Oracle Consolidatie : Resource Management . . . Stap 2 Inrichten database & instance mapping

Overview

The Situation

15 TB

Benefits

Experience

DR copy

Instance mapping document voor complete database landschap (Ook in OEM Cloud Management Pack: Capacity Planner) 17-11-2011

Denk aan consolidatie richtlijnen m.b.t. memory & CPU

D Oracle Consolidatie : Resource Management . . . Stap 2 Verdelen Memory via parameters

Overview

• • • •

The Situation

Benefits

Experience

SGA_TARGET (linux Huge Pages niet compatible met MEMORY_TARGET) PGA_AGGREGATE_TARGET + PGA_AGGREGATE_LIMIT (12c) 15 TB DR Tijdens implementatie project inregelen !! copy • v$sga_target_advice • v$pga_target_advice Inregelen opnemen in Exadata “Bijsluiter” 17-11-2011

D Oracle Consolidatie : Resource Management . . . Stap 3 Verdelen CPU via instance caging

Overview

The Situation

15 TB

Benefits

Experience

DR copy

17-11-2011

via database parameters cpu_count & resource_manager_plan monitor cpu throttling “resmgr:cpu quantum” wait event

D Oracle Consolidatie : Resource Management . . . Stap 3 CPU Instance Caging: throttling

SQL> col db_total format a10 SQL> select * fromThe( Situation Benefits Experience select to_char(begin_time, 'HH:MI') time, (select value from v$osstat where stat_name = 'NUM_CPUS') total, (select value from v$parameter where name = 'cpu_count') db_total, sum(cpu_consumed_time) / 1000 consumed, sum(cpu_wait_time) / 1000 throttled, round(sum(cpu_wait_time)/sum(cpu_consumed_time)*100) "throttling_pct" from gv$rsrcmgrmetric group by begin_time order by begin_time ) where rownum < 2;

15 TB

DR copy

17-11-2011

D Oracle Consolidatie : Resource Management . . . Stap 4 Verdelen IO via IORM (alleen op Exadata)

IORM: per DB, resource group, performance profile (nieuw in 12c) SQL> alter system set db_performance_profile=gold scope=spfile; Overview The Situation Benefits Experience In de cellen: CELLCLI> alter IORMPLAN DBPLAN=((name=gold , share=10, limit=20, type=profile), (name=silver, share=5 , limit=20, flashcachemin=10, flashlog=OFF, type=profile), (name=db_prod1, share=1, flashcache=OFF, role=STANDBY), (name=default, share=1, limit=5, flashcache=OFF )) -- How to check Small IO Waits per database. per min. CellCLI> LIST METRICCURRENT where name=DB_IO_WT_SM 15 TB ms DR DB_IO_WT_SM EDW 35,576,746 DB_IO_WT_SM ODS 5,686,954 ms DB_IO_WT_SM EDWSTG 7,236,957 ms

-- How to check Large IO Waits per database. per min. CellCLI> LIST METRICCURRENT where name=DB_IO_WT_LG 17-11-2011 DB_IO_WT_LG EDW 2,284,982,657 ms DB_IO_WT_LG ODS 384,891,454 ms DB_IO_WT_LG EDWSTG 394,093,606 ms

copy

D Oracle Consolidatie : Resource Management . . . Stap 5 Verdelen resources binnen CDB

Overview

limit 50%

The Situation

limit 50%

Benefits

limit 50%

Experience

limit 80%

Share: Gegarandeerde CPU PDB1,PDB2, PDB3 : 20% PDB 4 : 40% Utilization Limit: limieten aan CPU, Exadata I/O & Parallel Server gebruik BEGIN 15 TB DR DBMS_RESOURCE_MANAGER.CREATE_PLAN_DIRECTIVE ( plan => 'daytime_plan', pluggable_database => 'pdb4', shares => 2, utilization_limit => 80, parallel_server_limit => 50); 17-11-2011 END;

copy

D Oracle Consolidatie : Beheeraspecten

. . . Beheer(s) totale Storage Footprint DB landschap

Overview

17-11-2011

The Situation

Benefits

Experience



7 (storage servers) x 12 (disken) x 4 TB = 336 TBBenefits Overview The Situation 168 TB

Redundancy 50 %

10 TB

- 1 complete cell failure

Redundancy 50 %

32 TB

8 TB

Redundancy 50 %

- FRA/DATA (20/80) %

26 TB

32 TB

8 TB

Redundancy 50 %

- Alert threshold (80%)

26 TB

32 TB

8 TB

Redundancy 50 %

- Real TB and not Exa TB

128 TB

92 TB

- Redundancy (NORMAL)

8 TB

160 TB

102 TB

listprice 10.000 $ per disk of Experience 15.000 $ extreme flash (X5)

(required_mirror_free_mb)

1 Exadata 17-11-2011"TB" = 1000 x 1000 x 1000 x 1000 = 1.000.000.000.000 bytes 1 TB = 1024 x 1024 x 1024 x 1024 = 1.099.511.627.776 bytes verschil per TB storage: 92 GB



Overview

The Situation

Benefits

15 TB

dataguard

L0/L1 backup RPO/RTO !!

17-11-2011

replication

Experience

DR copy diverse instanties: O,T,A1..A4



Maatregel 1: Meer storage voor hetzelfde geld • • • • •

gebruik HIGH CAPACITY disks i.p.v. HIGH PERFORMANCE (per X5 cel: 48 TB i.p.v. 12 TB) The Situation Benefits Experience gebruik +ASM NORMAL i.p.v. HIGH redundancy (=> storage cellen niet online patchen) gebruik storage tiering: database op Exadata of op ZFS storage, vanaf 12c ZFS OISP pas op met (X5) virtualisatie op Exadata: “snijverlies” bij virtualisatie gebruik ZFS of (12c) PDB copy on write snapshots (zowel ACFS als +ASM)

Overview

Maatregel 2: Kijk kritisch naar RPO/RTO tijden • •

short-term backup: hoe lang moet ik terug in de tijd replicatie: welke data moet ik echt repliceren

Maatregel 3: Hoeveel omgevingen heb ik echt nodig? • • • •

aanpassen processen om met minder omgevingen uit te kunnen hergebruik omgeving: flashback 15 TB query, Active Dataguard, DR edition-based redefinition decomissioning belangrijk !! eventueel intern doorbelasten op storage (OEM12c metering & chargeback) copy

Maatregel 4: Verklein de database !! • • • •

OLTP en EHCC compressie. (eerder project DB1 12 TB => 1 TB, DB2 16 TB => 4 TB) reguliere housekeeping (index rebuilds nog steeds noodzakelijk, bv 1,5 TB storage reductie) implementeer 12c database ILM => zie demo 17-11-2011 database subsetting (mogelijk in combinatie met datamasking en anonymization)

D Oracle Consolidatie : Beheeraspecten . . . storage footprint: demo 12c ILM

Stap 1: Aanzetten Heatmap Overview

The Situation

Benefits

SQL> alter system set heat_map = on scope = both;

Experience

Vanaf nu worden queries en DML bijgehouden in de heat map SQL> select count(*) from scott.emp; SQL> select object_name, track_time, segment_write, segment_read, full_scan, lookup_scan from v$heat_map_segment where object_name = 'EMP'; 15 TB DR OBJECT_NAME TRACK_TIM SEG SEG FUL LOO ------------------------------ --------- --- --- --- --- copy EMP 22-APR-15 NO NO YES NO data in SGA wordt gepersisteerd in dba_heat_map_segment in SYSAUX tbs 17-11-2011


Stap 2: Definiëren ILM Policy Overview

The Situation

Benefits

Experience

REM Eerst huidige compressie status van tabel EMP bekijken: SQL> select table_name, compression, compress_for from dba_tables where table_name = 'EMP' and owner = 'SCOTT'; TABLE_NAME COMPRESS COMPRESS_FOR -------------------- -------- -----------------------------EMP DISABLED 15 TB REM Add an ILM policy

DR

copy SQL> ALTER TABLE scott.emp ILM ADD POLICY ROW STORE COMPRESS ADVANCED SEGMENT AFTER 30 DAYS OF NO MODIFICATION; 17-11-2011


Bekijk ILM policies Overviewuitstaande The Situation

Benefits

Experience

SQL> select policy_name, action_type, scope, compression_level, condition_type, condition_days from dba_ilmdatamovementpolicies;

15 TB

DR copy

17-11-2011


Stap 3: ILM policy job starten • ILM jobs worden automatisch gescheduled en uitgevoerd (maintenance Overview The Situation Benefits Experience window) • Online verplaatsten datafiles mogelijk in 12c ! Voor de demo database time travel om de ILM policy te laten afgaan: SQL> alter system set fixed_date='01-JUN-15';

ILM policy job handmatig starten: SQL> declare v_executionid number; 15 TB DR begin dbms_ilm.execute_ILM (ILM_SCOPE => dbms_ilm.SCOPE_SCHEMA, copy execution_mode => dbms_ilm.ilm_execution_offline, task_id => v_executionid); end; / 17-11-2011


Stap 4: Resultaat bekijken Overview

The Situation

Benefits

Experience

SQL> select task_id, start_time as start_time from dba_ilmtasks; TASK_ID START_TIME ---------- ------------------------------1 22-APR-15 12.52.16.848491 PM

SQL> select compression, compress_for from dba_tables where table_name = 'EMP' and owner = 'SCOTT'; 15 TB DR TABLE_NAME COMPRESS COMPRESS_FOR copy -------------------- -------- -----------------------------EMP ENABLED ADVANCED 17-11-2011

D Oracle Consolidatie : Beheeraspecten . . . Database Virtualisatie

Overview

The Situation

15 TB

Benefits

Experience

DR copy

Overhead Virtualisatie: 17-11-2011 • performance: hypervisor software op OS, elke VM heeft zijn eigen OS • beheer: OS software, grid & database software per OVM • resources: elk OVM cluster heeft zijn eigen grid disks

F

Oracle Consolidatie : Beheeraspecten . . . Database virtualisatie op Exadata Overview

The Situation

• • • • • • • •

Benefits

Experience

proven Oracle VM en Xen technologie direct IB I/O connectivity SR-IOV vanaf versie X2 mogelijk max 63 VM per compute node vCPU pinning & live migration not supported Images draaien op local disks VM trusted partitions mogelijk i.v.m. licensing. database licenties op basis van vCPU. 2 vCPU = 1 core = ½ CPU licentie

Per Virtuele omgeving een cluster. Op storage niveau heeft elk virtueel cluster zijn eigen grid disken. 17-11-2011

F

Oracle Consolidatie : Beheeraspecten . . . Database virtualisatie op Exadata Overview

The Situation

Grid disken: per cel: 12 x 4 TB = 48 TB RAW 17-11-2011

Benefits

Experience

F

Oracle Consolidatie : Beheeraspecten . . . Database virtualisatie op Exadata +RECO

+DATA

The Situation

Benefits

ASM

+DBFS

CELL SERVER

17-11-2011

non virtualized disk layout

F

Oracle Consolidatie : Beheeraspecten . . . Database virtualisatie op Exadata +RECO_O +RECO_T The Situation +RECO_A

+DATA_O

+DATA_T Benefits

+DATA_A

ASM

+DBFS

CELL SERVER

17-11-2011

virtualized disk layout

F

Oracle Consolidatie : Beheeraspecten . . . Database virtualisatie op Exadata +RECO_O The Situation

+DATA_T Benefits

17-11-2011

via granules van gelijke grootte storage flexibiliteit houden

F

Oracle Consolidatie : Compliancy . . . Exadata Database virtualisatie : Pro’s & Con’s

PRO + complete scheiding omgevingen Overview The Situation + gescheiden netwerken + geen extra kosten OVM virtualisatie + vCPU & trusted partitions (1 core = 2 vCPU) + Time to market (deployment, templates)

Benefits

Experience

CON - management overhead OS, DB, Cell & Grid Level - minder flexibiliteit resources - performance overhead (in vergelijking met bare metal installaties) - X5 OVM virtualisatie nog niet “af”. Geen Live Migration, images op local disk Toepassing algemeen: virtualisatie voor beperkt aantal Exadata omgevingen Toepassing 1: database licenties besparen. Toepassing 2: opsplitsen EXA in gescheiden omgevingen: O+T/A/DR Met17-11-2011 toenemende computing power (X5-2 node : 72 vCPU + 768 GM memory) en doorontwikkeling OVM op termijn waarschijnlijk goed inzetbaar

D Oracle Consolidatie : Beheeraspecten . . . Database Security

First line of defense: fysieke isolatie Overview

The Situation

Benefits

Experience

Exadata

Exadata 1/8 rack X5-2 O+T

Exadata 1/8 rack X5-2 A + DR

Exadata 1/4 rack X5-2 P

OVCA Data Hotel 15 TB OVM Servers 1 + 2 OVM Servers 3 + 4 DR ZFS diskshelves 1 + 2 ZFS diskshelves 3 + 4 O+T A + DR

17-11-2011

OVM Servers 5 + 6 ZFS diskshelves 5 + 6 copy P


Second line of defense: isolatie door virtualisatie Overview

The Situation

Benefits

Experience

management network

netwerk scheiding via VLAN

17-11-2011

15 TB

DR physical nodes + vServers copy


Second line of defense: netwerk isolatie en bescherming

management network

Overview

17-11-2011

The Situation

Benefits

Experience

15 TB copy


Third line of defense: database isolatie Overview

The Situation

Benefits

Experience

POSIX isolatie: • complex qua beheer en configuratie (KISS) • gaat in tegen flexibiliteitsprincipe stack beheer. Gerelateerd: Job Role Separation: SYSASM (11g), SYSBACKUP, SYSDG, SYSKM (12c). • Alleen relevant bij hele grote consolidatie landschappen • gaat in tegen flexibiliteitsprincipe stack beheer. 15 TB DR Oracle Schema isolatie (<12c): per applicatie apart schema copy Oracle12c Multitenant: 1 CDB met meerdere PDB. Scheiding CDBA en PDBA

17-11-2011


Overview

The Situation

15 TB

Benefits

Experience

DR copy

17-11-2011

maximalisatie Oracle Security (& Oracle Options & Packs)


Fundamentele consolidatie richtlijnen: Overview toegangThe Situation Benefits Experience • Alleen tot database compute nodes voor DBMA via OS PUID • (Alleen root rechten voor vServer applicatie compute nodes voor DBMA) • Alleen DBA en SYSDBA rechten in de database voor DBMA via DB PUID • Geen remote OS authentication toegestaan • 12c NF threaded_execution: niet compatible met OS authentication Opzetten rollen & rechten & profielen voor gebruikersgroepen • reguliere gebruikers, developers, testers, architecten • mogelijk verschillende conventies voor O/T/A/P/DR • 12c Multitenant biedt meer opties: Container DBA & Pluggable DBA TB DR • afspraken maken over15 deployment process Oracle Exadata Security Best Practises

copy

Oracle Database Security Best Practices 17-11-2011

Security uitgangspunten : opnemen in Security Baseline & monitoring

D Oracle Consolidatie : Beheeraspecten . . . Database Security : O12c Unified Auditing

Overview

The Situation

15 TB

Benefits

Experience

DR copy

Situatie voor 12c Unified Auditing: • Veel verschillende logfiles • Niet alle acties in logfiles (b.v. datapump, rman)

17-11-2011


Overview

The Situation

15 TB

Benefits

Experience

DR copy

12c Unified Auditing: 17-11-2011 • Sterk vereenvoudigde logstructuur • Alle acties gelogd • Verbeterde performance logging mechanisme


Activeren van Unified Overview The Situation Auditing:

Benefits

Experience

$ cd $ORACLE_HOME/rdbms/lib $ make -f ins_rdbms.mk uniaud_on ioracle SQL> select value from v$option where parameter ='Unified Auditing';

VALUE ----------------------------------TRUE 15 TB

DR copy

17-11-2011

D Oracle Consolidatie : Beheeraspecten . . . Database Security : O12c Audit policies

SQL> select * from sys.audit_unified_enabled_policies; Overview

The Situation

USER_NAME -------------------ALL USERS ALL USERS ALL USERS ALL USERS ALL USERS

Benefits

POLICY_NAME -----------------------------ORA_SECURECONFIG ORA_LOGON_FAILURES ORA_DATABASE_PARAMETER ORA_ACCOUNT_MGMT ATOS_POL_DATAPUMP

ENABLED_ -------BY BY BY BY BY

Experience

SUC --YES NO YES YES YES

FAI --YES YES YES YES YES

SQL> select policy_name, audit_option from audit_unified_policies where policy_name = 'ORA_SECURECONFIG' order by 2;

15 TB

POLICY_NAME -----------------------------ORA_SECURECONFIG ORA_SECURECONFIG ORA_SECURECONFIG ORA_SECURECONFIG 17-11-2011 ORA_SECURECONFIG ORA_SECURECONFIG ORA_SECURECONFIG ORA_SECURECONFIG ORA_SECURECONFIG ..

DR

AUDIT_OPTION -----------------------------ADMINISTER KEY MANAGEMENT ALTER ANY PROCEDURE ALTER ANY SQL TRANSLATION PROFILE ALTER ANY TABLE ALTER DATABASE ALTER DATABASE LINK ALTER PLUGGABLE DATABASE ALTER PROFILE ALTER ROLE

copy


. . . Security Management: O12c Audit policies

SQL> alter system set cpu_count=4; Overview

The Situation

Benefits

Experience

SQL> select dbusername, unified_audit_policies,event_timestamp, sql_text from unified_audit_trail where sql_text like '%alter system set cpu_count%'; DBUSERNAME UNIFIED_AUDIT_POLICI EVENT_TIMESTAMP ---------- ---------------------------------SYS ORA_DATABASE_PARAMETER 26-MAY-15…

15 TB

SQL_TEXT --------------------------alter system set cpu_count=4

DR copy

17-11-2011

Agenda

Overview

The Situation

Benefits

Experience




E Oracle Consolidatie : Compliancy • •

SLA compliancy The Situation Licenties compliancy

Overview

17-11-2011

Benefits

Experience

E Oracle Consolidatie : Compliancy . . . SLA compliancy

Backup / DR / Security / Availability / Applied Standards Overview

• •

The Situation

Benefits

Vastgelegd in contract (abstract / high level) Gespecificeerd in architectuur, standaarden en richtlijnen

3 aspecten: 1 Vastleggen (CMDB)

2 Controleren / Meten 3 Rapporteren

17-11-2011

Experience

E Oracle Consolidatie : Compliancy

. . . SLA compliancy : vastleggen en eerste controle (TOP)

•

Bij inbeheername (TOP) moet duidelijk worden aan welk service level het nieuwe moet voldoen. Overview component The Situation Benefits Experience (componenten als CDB, PDB, vServer, FMW component, . . .)

•

Bij inbeheername (TOP/SBAP) : controle of voldaan wordt aan het service level Soorten controles: • CMDB controle (alle gegevens geregistreerd ?) • Connectivity • Monitoring • Backup & Recovery controle • DR controle • Component configuratie (conform standaard ?) • Performance • Security & User Management • . . . etc. 17-11-2011


. . . SLA compliancy : Stap 1 vastleggen TOP (SBAP)

Overview

17-11-2011

The Situation

Benefits

Experience


. . . SLA compliancy : 1 Vastleggen (CMDB)

Overview

17-11-2011

The Situation

Benefits

Experience


. . . SLA compliancy : 2 Meten: periodieke controles

Overview The Situation Benefits Periodieke geautomatiseerde controles • Exadata / Exalogic : Exacheck (MOS note ID 1506224.1) • OVCA : ORAchk (MOS note ID 1268927.2) • proprietary compliancy monitoring checks

Periodieke handmatige controles • vServer / DB recovery, HA & DR drills • (eventueel te combineren met maintenance als patching) • interne & externe audits

17-11-2011

Experience

E Oracle Consolidatie : Compliancy . . . SLA compliancy : 2 Meten: Exacheck

Overview

The Situation

Benefits

• • •

17-11-2011

Experience

Configureer voor specifieke omgeving via exceptions/exclusions System Health Score 100% Schedule via Corn of OEM12c Plugin

E Oracle Consolidatie : Compliancy . . . SLA compliancy : 3 rapportages

Spreek af met de The klant wat gemeten wordt Overview Situation • Availability • Backup • Storage growth trend • . . etc. Spreek af met de klant hoe gemeten wordt • rapportages • self-service reporting portal • . . etc. Spreek af aan wie gerapporteerd wordt

17-11-2011

Benefits

Experience


. . . SLA compliancy : rapportage database size

Overview

17-11-2011

The Situation

Benefits

Experience

Drill down en zoom out functionaliteit van PDB naar CDB naar +ASM diskgroup


. . . SLA compliancy : rapportage availability

Overview

The Situation

Benefits

Experience

Let17-11-2011 bij de beschikbaarheid op maintenance windows. Deze vallen buiten de (ongeplande) beschikbaarheid.


. . . SLA compliancy : rapportage backup

Overview

17-11-2011

The Situation

Benefits

Experience


. . . SLA compliancy : rapportage OVCA vServer Pool

Overview

17-11-2011

The Situation

Benefits

Experience


. . . SLA compliancy : rapportage OVCA vServer Pool

Overview

17-11-2011

The Situation

Benefits

Experience

E Oracle Consolidatie : Compliancy . . . Licenties

Exadata licenties: Overview The Situation Benefits Experience • Hardware & Exadata software bij aanschaf van de Exadata • Additioneel database licenties (Enterprise Edition, RAC, Partitioning, etc.) • Hardware CSI (gekoppeld aan Exadata machine) & Software CSI

Exalogic licenties: • Hardware & Exalogic Elastic Cloud software bij aanschaf van de Exalogic • Additioneel FMW licenties (Weblogic, OSB, WCP, SOA/BPM, etc.) • Hardware CSI (gekoppeld aan Exadata machine) & Software CSI

17-11-2011

E Oracle Consolidatie : Compliancy . . . Database Licenties

1. Gekochte licenties/opties worden niet gebruikt. B.v.: Advanced Security, Overview Gate, Datamasking The Situation Benefits Experience Golden & Subsetting, RAT 2. Niet gekochte licenties/ opties (abusievelijk) gebruikt. SQL> alter table test compress for oltp; => Advanced Compression SQL> select * from v$active_sesion_history; => Diagnostics pack SQL> create pluggable database PDB2 . . . Hoe te voorkomen? 1. Awareness (+ registreren opties bij SBAP/TOP) 2. Protection 3. 17-11-2011 Periodieke controle

=> Multitenant optie

E Oracle Consolidatie : Compliancy . . . Licenties : Oracle12c Multitenant

Bij Oracle12c Multitenant worden alle opties geinstalleerd in de container database. (Oracle Oracle OLAP, Spatial, Apex, Datavault, Experience Label Security) Overview TheText, Situation Benefits (tenzij ze fysiek verwijderd zijn van het systeem) OOK als je aangeeft dat bepaalde opties niet moeten worden geinstalleerd. (gebruik wordt bepaald op PDB niveau) Zie MOS Note : Is it possible to remove database components in Oracle 12c using DBCA (Doc ID 1915780.1)

17-11-2011


. . . Licenties : bescherming ongeoorloofd gebruik

The good news: Oracle chopt utility: Overview

The Situation

Benefits

Experience

$ chopt disable partitioning SQL> create table not_allowed (kol1 number(5), kol2 varchar2(100)) partition by hash(kol1); * ERROR at line 1: ORA-00439: feature not enabled: Partitioning The bad news: Oracle chopt werkt alleen bij een paar database opties: $ chopt -h

dm olap 17-11-2011 partitioning rat

= = = =

Oracle Oracle Oracle Oracle

Data Mining RDBMS Files OLAP Partitioning Real Application Testing


. . . Licenties : bescherming ongeoorloofd gebruik

Aanvullende maatregelen voor andere opties: Overview

17-11-2011

The Situation

Benefits

Experience

E Oracle Consolidatie : Compliancy . . . Licenties : controle gebruik licenties

MOS Note: How To Verify Which Database Features are Used (Doc ID 459837.1) DBA_FEATURE_USAGE_STATISTICS Overview The Situation Benefits Experience

1. Features output match niet 1:1 licentie opties 17-11-2011

2. Bij nieuwe versies soms onjuistheden (11g Advanced Security optie => in 12c overgeheveld naar EE Edition. Query rapporteert nog steeds gebruik Advanced Security 3. Periodiek draaien in elke database en output in repository opslaan

Agenda

Overview

The Situation

Benefits

Experience




F

Oracle Consolidatie : Compliancy . . . Overzicht X5 New Features (highlights) Hardware The Situation Benefits Experience • Overview Hardware X5-2 compute node: 2 x 18 core CPU + 256 – 768 GB memory • Hardware X5-2 storage cell: 4 x 1,6 TB flash per storage cell • Extreme Flash Configuration: 8 x 1,6 TB flash disks, no spinning disks Software • OVM Support • Exafusion Direct to Wire OLTP protocol (bypass OS network stack) • Dual Columnar Flash Cache (analoog aan In Memory Database) • DBMCLI interface (analoog aan CELLCLI) • Specifieke AWR (reports) & OVM enhancements • Sparse Disks voor copy on write snapshots

Overig • Nieuwe licentie modellen: • capacity on demand (CoD) software licensing (minimaal 40% afname) • Infrastructure on Premise (IAAS), 20 % bandbreedte, pay per month 17-11-2011 • VM Trusted Partitions • flexible Exalastic Configurations options (geen fixed rack configuraties meer)

F

Oracle Consolidatie : Compliancy . . . X5 New Features : Dual Columnar Flash Cache Overview

The Situation

•

•

17-11-2011

Benefits

Experience

Tijdens scanns van EHCC data wordt de data (automatisch en transparant) geladen als puur columnar data in de flash cache. Voordeel: queries op EHCC data verlopen sneller. (“up to factor 5”)

F

Oracle12c New Features Overzicht

Oracle grid 12c heeft veel nieuwe features, Oracle database 12c heeft The Situation Benefits Experience bijnaOverview 500 new features. .. Highlights: • Flex ASM • 12c Multitenant Databases (CDB/PDB) • Oracle Automatic Database Optimization (ADO) • Oracle in Memory Database

17-11-2011

F

Oracle12c New Features Flex ASM Overview

The Situation

Benefits

Experience

•

Elke compute node heeft een +ASM instance De ASM instance mount de DB Storage en verschaft ASM meta data info aan de DB instances IO gaat direct van de DB instance naar de DB Storage

• •

Consequentie: ASM instance is een SPOF op compute node niveau 17-11-2011 Consequentie: elke ASM instance kost resources

• •

F

Oracle12c New Features Flex ASM Overview

The Situation

Benefits

Experience

Flex ASM: max 3 +ASM instances per cluster • Geen 1:1 relatie tussen ASM en DB, ook compute nodes zonder ASM • +ASM fault-tolerant • Minder resource gebruik bij grote clusters Aandachtspunten: • 3 virtual ip addresses nodig voor setup (conform SCAN) • 17-11-2011 apart ASM network. (kan gedeeld worden met private network) • aparte ASM listeners

F

Oracle12c New Features 12c Multitenant Overview

17-11-2011

The Situation

Benefits

Experience

F

Oracle12c New Features 12c Multitenant Overview

The Situation

Benefits

Experience

shared resources (CDB level): background processes, redo log files, memory, control files, Oracle metadata, common temporary tablespace, UNDO tablespace, common users and roles, CDB resource manager plan Dedicated resources (PDB level): application data, indexes and metadata, local temporary tablespace, local users and roles, PDB resource manager plan 17-11-2011

F

Oracle12c New Features 12c Multitenant

Voordelen • Efficiënt gebruik resources. Databases delenBenefits zelfde achtergrond Overview Thevan Situation Experience processen en datadictionary. • Efficiënte configuratie RAC, HA, Dataguard, monitoring, backup: eenmalig opzetten op CDB niveau, alle PDB kunnen meeliften op deze infrastructuur. • Efficiënt onderhoud : upgrading, patching, monitoring • Separation of duties: CDBA/PDBA’s • Application consolidatie in 1 database (namespace separation & isolation) • Snelle provisioning, cloning & copy on write snapshots Additioneel m.b.t. Pluggable Databases: • > 1 PDB: optional Multitenant database optie for Enterprise Edition (list price 17.500 $ per cpu. (to compare list price RAC option is 23.500 $ per cpu) • extra dimensie in resource management PDB / CDB • effidatabase consolidatie. Delen van van veel for consolidation of many 17-11-2011 small databases. Different database performance characteristics (peaks) spread the load within the CDB.

F

Oracle12c New Features 12c Multitenant Demo : clone PDB

CDB$ROOT@ORCL> alter pluggable database pdb1 close immediate; Overview

The Situation

Benefits

Experience

CDB$ROOT@ORCL> alter pluggable database pdb1 open read only; CDB$ROOT@ORCL> create pluggable database pdb2 from pdb1; CDB$ROOT@ORCL> alter pluggable database pdb2 open; CDB$ROOT@ORCL> select con_id, name, open_mode from v$containers; CON_ID NAME OPEN_MODE ---------- ------------------------------ ---------1 CDB$ROOT READ WRITE 2 PDB$SEED READ ONLY 3 PDB1 READ ONLY 4 PDB2 READ WRITE 17-11-2011

Ook mogelijk: Snapshot Clone via Copy on Write mechanisme. Ondersteunde storage: o.a. ZFS, ACFS en +ASM (sparse disks)

F

Oracle12c New Features 12c Multitenant Demo : virtual clone PDB Exadata

Stap 1: aanmaken sparse disk op Exdata cel niveau: Overview

The Situation

Benefits

Experience

Cellcli> create griddisk all harddisk prefix=SPARSE size=200G, virtualsize=100TB Stap 2: aanmaken sparse ASM diskgroup SQL> create diskgroup SPARSEDG normal redundancy disk ‘o/*/SPARSE_*‘ attribute 'compatible.asm' = '12.1.0.2', 'compatible.rdbms' = '12.1.0.2', 'cell.smart_scan_capable' = 'true', 'cell.sparse_dg' = 'allsparse', 'au_size' = '4M'; Stap 3: aanmaken clone in Container Database SQL> alter pluggable database PDB_Master open read only; SQL> create pluggable database PDB_Clone1 From PDB_Master create_file_dest='+SPARSEDG' snapshot copy; 17-11-2011 SQL> create pluggable database PDB_Clone2 From PDB_Master create_file_dest='+SPARSEDG' snapshot copy;

F

Oracle12c New Features 12c Automatic Data Optimization (ADO)

Automatic Data Optimization (ADO) : • Overview Define policies data compression and data Benefits migration (toExperience low cost storage) Thefor Situation •

Policies are scheduled and executed automatically in the database maintenance window. Datafiles are moved online

17-11-2011

! Especially usefull in combination with Partitioning. ! Advanced Compression option required.

F

Oracle12c New Features 12c in Memory Database Option Overview

17-11-2011

The Situation

Benefits

Experience

F

Oracle12c New Features 12c in Memory Database Option .. achtergrond

Overview The Situation Benefits Experience Databases with mixed workloads run both OLTP and DWH workloads. • OLTP : single rows with many columns • DSS: many rows with few columns

The problem is that data can only be stored in one way: • either in row format suitable for OLTP workloads 17-11-2011 • or in column format suitable for DWH workloads.

F

Oracle12c New Features 12c in Memory Database Option .. achtergrond

Traditionele oplossingen voor dit probleem: Overview The Situation

Benefits

Experience

1 Extra indexen op DSS kolommen en materialized views Nadelen: • performance nog steeds suboptimaal • vaak veel indexen nodig per tabel. Deze kosten storage en vertragen DML 2 • • •

Apart data warehouse voor DSS en rapporten. Nadelen: complexe ETL procedures nodig extra database leidt tot toegenomen operationele in infrastructuur kosten. data in datawarehouse is niet up to date

3 Offload reports naar standby database (Active Dataguard / Logical Standby) • pro: productie heeft geen last van de rapportages • con: nog steeds extra indexen nodig. 4 Hybride vorm van row/column storage (Exadata, EHCC compression). 17-11-2011 • con: EHCC niet geschikt voor DML (mogelijk ondervangen met Partitioning)

F • •

Oracle12c New Features 12c in Memory Database Option data is row based opgeslagen op disk (as always) data wordt column based extra geladen in COLUMN Store Overview The Situation Benefits

Experience

Karakteristieken: • 100% compatible met bestaande functionaliteit en opties. • Geen database en/of applicatie aanpassingen nodig. • in-memory fault tolerance. • Eenvoudig te implementeren op tabel of partitie niveau. 17-11-2011

F

Oracle12c New Features 12c in Memory Database Benefits, Oracle Benchmark Overview

The Situation

Benefits

Experience

N.B. in Memory Database option voor optimaliseren DWH queries Oracle Times Ten in Memory database voor optimaliseren OLTP (microsecond 17-11-2011 response).

F


17-11-2011

The Situation

Benefits

Experience

F


17-11-2011

The Situation

Benefits

Experience

Consolidatie m.b.v. Oracle Appliances

Recommend Documents