ExaData : Beyond the myth What does it take to implement exadata, and should i buy it ? Robert de Laat
Ciber Knowledge Carrousel 2013 Introduction • Robert de Laat • Oracle DBA / DMA • Unix / infrastructure / storage / clustering. • High availability. • Exadata.
11/25/2013
| 2 | ©2013 CIBER, Inc.
Agenda • Business case • Oplossing / wensen. • Implementatie van Oracle database machine. • Tips / wetenswaardigheden.
• Vragen / discussie.
11/25/2013
| 3 | ©2013 CIBER, Inc.
Het team. Partners in crime.
Gys Nijeholt Oracle DBA / DMA
Robert de Laat Oracle DBA / DMA
11/25/2013
Marcel Houkes System administrator
| 4 | ©2013 CIBER, Inc.
Thomas de Groen Project leader
Vooraf... Weet iedereen wat een exadata is? • Feitelijk : Oracle Database Machine. • Het is een appliance. • Eigen storage. – – – –
Geen externe storage. Hierop draait software : exadata. High Performance. High Capacity.
• Datacenter in a box. • Te koop in full, half, quarter rack • Nieuw : Eighth rack. – Quarter rack, met wat disken en cpu “offline”. 11/25/2013
| 5 | ©2013 CIBER, Inc.
Vooraf... Weet iedereen wat een exadata is? • • • •
Uitsluitend verschillend op database node. x3-2 heeft geen KVM (cabinet vol). X3-8 heeft 2 database nodes. (dus uitsluitend fullrack). X3-2 heeft 2,4 of 8 nodes.
11/25/2013
| 6 | ©2013 CIBER, Inc.
Vooraf... Weet iedereen wat een exadata is?
11/25/2013
| 7 | ©2013 CIBER, Inc.
Business case. Waar komen we vandaan?
11/25/2013
| 8 | ©2013 CIBER, Inc.
Business case. Waar komen we vandaan? • Applicatie : – – – – – – –
BI Datawarehouse. 15 TB storage footprint. Oracle warehouse builder. Oracle Apex. 2,3m regels code in pl/sql. Database version 10.2 Full OTAP environment.
11/25/2013
| 9 | ©2013 CIBER, Inc.
Business case. Waarom doen we het? • Redenen. – ETL en batch window erg lang, geen tijd voor herstart bij fouten. – Storage kosten lopen enorm op. – Hardware = end of life.
• Wensen. – Reduceer ETL / batch window met 50%. – Reduceer de storage kosten met minimaal 50%. – Geen software aanpassingen. (2,3M regels code in pl/sql).
• Oplossing. Implementeren van 2 exadata X2-2 database machines.
11/25/2013
| 10 | ©2013 CIBER, Inc.
Business case. Waar komen we vandaan? • Platform : – – – – – – – –
Sun Fire X4600 M2. 8 Quad core CPU AMD. (32 cores). Cpu GHz : 2.293 64 Gb ram. Redhat enterprise linux R4. 15 Tb Tier 1 storage on EMC VMAX. Oracle ASM 10.2. Database 10.2
11/25/2013
| 11 | ©2013 CIBER, Inc.
Business case. Waar gaan we naar toe? • 2 Exadata X2-2 Quarter racks : Per machine : – 2 compute nodes . – 3 storage cells. – 36 Hard drives (108TB raw space). – Ethernet, infini band, ILOM, power, etc.
• Datacenter in a box. – Power, network, cooling : start !
• 1 Machine voor P, 1 voor OTA
11/25/2013
| 12 | ©2013 CIBER, Inc.
Business case. Waar gaan we naar toe? • Exadata X2-2 compute node: – – – – –
Sun Fire X4170 M2. 2 hexa core CPU XEON.(24 cores). CPU GHz : 3.070 96 GB Ram. Oracle Linux R6.
• Dat is dus 8 cores minder. • En maar 0,8 GHz sterker.
11/25/2013
| 13 | ©2013 CIBER, Inc.
Business case. Waar gaan we naar toe? • Exadata X2-2 storage cell : – – – – – – –
Sun Fire X4270 M2. 2 hexa core CPU XEON.(24 cores). CPU GHz : 3.06 24 GB Ram. 384GB smart flash cache. 12 disks (3TB SAS). Oracle Linux R6.
11/25/2013
| 14 | ©2013 CIBER, Inc.
Business case. Wensen / voorwaarden. • Geen uitbreiding licentie kosten. – Dus GEEN rac licenties aanschaffen.
• Outsource contract blijft intact. – Outsourced : • Housing, hosting, connectivity, O.S. administration, storage provisioning, backup scheduling.
– Internal : • Database administration, ASM configuration, backup configuration.
11/25/2013
| 15 | ©2013 CIBER, Inc.
Project plan. Stapje voor stapje. •
Diverse upgrades (separaat platform): – – – –
•
Upgrade ASM naar 11.2 Restore database van reguliere backup Upgrade database naar 11.2 Upgrade OWB naar 11.2
Parallel : Installatie & Configuratie van de exadata machines. – Housing, hosting, network, backups, clusterware, storage. – Monitoring, OEM (cloud control 12c), scripting, etc.
•
Overstap naar de exadata machines. – Freeze periode afgesproken. – RMAN backup & restore. – Dus : zonder enige code aanpassing voor exadata.
•
Op termijn : Doorvoeren exadata functionaliteit. – Compression., flash storage, etc. 11/25/2013
| 16 | ©2013 CIBER, Inc.
Exadata : Voorbereiding.
11/25/2013
| 17 | ©2013 CIBER, Inc.
Exadata : Voorbereiding. Oracle intake. • Indienen van je configuratie : – – – –
Machine benamingen, O.S. keuze. Gedetailleerd netwerk plan. Storage layout, ASM settings, redundancy. Backup settings.
• Input naar Oracle. – Deze dient als config file tijdens installatie.
11/25/2013
| 18 | ©2013 CIBER, Inc.
Exadata : Voorbereiding. Oracle intake. • Oude stijl : PDF invullen.
11/25/2013
| 19 | ©2013 CIBER, Inc.
Exadata : Voorbereiding. Oracle intake. • Nieuwe stijl : Applicatie.
11/25/2013
| 20 | ©2013 CIBER, Inc.
Exadata : Voorbereiding. De eerste “hick ups”. • Wie gaat er nu over storage configuratie? – System administrator. – Database administrator.
• Wie brengt de ip adressen nu actief? ( client verbindingen) – System administrator. – Database administrator.
• Wie is er nu verantwoordelijk voor het starten van services? – System administrator. – Database administrator.
11/25/2013
| 21 | ©2013 CIBER, Inc.
Exadata : Voorbereiding.
Outsourced
Internal I.T.
De eerste “hick ups”.
11/25/2013
| 22 | ©2013 CIBER, Inc.
Exadata : Voorbereiding.
Int
Outsourced
Internal I.T.
De eerste “hick ups”.
11/25/2013
| 23 | ©2013 CIBER, Inc.
Exadata : Voorbereiding.
Outsourced
Internal I.T.
Oracle Enterprise Manager
De eerste “hick ups”.
11/25/2013
| 24 | ©2013 CIBER, Inc.
Exadata : Voorbereiding. Hick up : Storage configuratie. • Storage Configuratie. • Conventioneel : Je koopt n LUNS bij de outsource partner. – Slice uit een raid (10, 5, 11, etc.) set. – Hot spare disken. – Cache, virtualisatie, fast provisioning, automatic tiering, etc.
• EXAdata : Je koopt n storage cells met ieder 12 disken. – Geen raid set. – Geen hot spare disken.
• De DBA dient hier zelf een model voor te verzinnen. 11/25/2013
| 25 | ©2013 CIBER, Inc.
Exadata : Voorbereiding. Hick up : IO resource management. • Vanuit Enterprise manager (de DBA kan het). • IO “klasse” per service / database. – Rechtstreeks van invloed op de storage cells.
11/25/2013
| 26 | ©2013 CIBER, Inc.
Exadata : Voorbereiding. De eerste “hick ups”
Database Administrator
System Administrator 11/25/2013
| 27 | ©2013 CIBER, Inc.
Exadata : De DMA. Een nieuwe job. • System & Database Administrator groeien naar elkaar toe. – Techniek dwingt tot kennis verbreding. – Techniek krijgt op een appliance meer invloed op elkaar.
• Geboorte van de Database Machine Administrator. – Technische, infrastructuur job. – Sterk in configuratie, high availability, connectivity, backups & restores.
http://arup.blogspot.nl/2011/07/who-manages-exadata-machine.html
11/25/2013
| 28 | ©2013 CIBER, Inc.
Exadata : Installatie. Let’s go !
11/25/2013
| 29 | ©2013 CIBER, Inc.
Exadata : Installatie. Wie ? • Oracle database machine installatie: – Uitgevoerd door Oracle – De 2e keer ging dat goed.
• Compleet werkend systeem, inclusief 1 POC database. – Clusterware, listeners, vip netwerk adressen, demo database.
• select * from dual; – Antwoord = installatie gereed.
11/25/2013
| 30 | ©2013 CIBER, Inc.
Exadata : Installatie. Nog meer “hick ups” : External tables / ETL. • Veel ETL gedaan d.m.v. external tables. – De ouderwetse csv files. – Ca 100GB in gebruik.
• Veel rapportage is output van pl/sql. – Weggeschreven als external table, pdf, etc.
• Benaderbaar vanuit database. • Benaderbaar door gebruikers. • Op oude (conventioneel) platform : – Koppel 3 extra luns, maak daar een filesysteem op. – Exporteer met SAMBA en stel dit beschikbaar aan de gebruikers. 11/25/2013
| 31 | ©2013 CIBER, Inc.
Exadata : Installatie. Nog meer “hick ups” : External tables / ETL. • HET IS EEN APPLIANCE. – Daar gelden andere regels / voorwaarden.
• Dus : geen storage koppelen van extra storage. – Intern niet genoeg diskruimte om dit te hosten.
• Dus : geen samba installeren. – En geen apache, dns, timeserver, printerserver, etc, etc.
11/25/2013
| 32 | ©2013 CIBER, Inc.
Exadata : Installatie. Nog meer “hick ups” : External tables / ETL. • Oplossing : Database File System (DBFS). – Filesystem in een database opslaan.
• Op elke computenode een dedicated DBFS database. – Dedicated ingericht om DBFS te hosten.
• Additionele servers als DBFS client. – Verzorgt de toegang naar de DBFS data en presenteert dat als een filesysteem.
• Hierop weer een SAMBA server. – Aanbieden aan de gebruikers.
11/25/2013
| 33 | ©2013 CIBER, Inc.
Exadata : Installatie. Nog meer “hick ups” : External tables / ETL.
11/25/2013
| 34 | ©2013 CIBER, Inc.
Exadata : Installatie. Nog meer “hick ups” : External tables / ETL. • Tips : • DBFS schema : Geen “unlimited tablespace” maar quota. – Op windows “rechtermuisknop / eigenschappen” = leuk .
• Gebruik “FUSE” om er een filesysteem van te maken. • Breng het onder in clusterware. – Custom script aanbieden als nodeapp.
• Het is rap, echt rap. – Upload (op server, zonder netwerk) : 625MB/sec. 11/25/2013
| 35 | ©2013 CIBER, Inc.
Exadata : Installatie. Weekendje werken… • •
Migratie weekend ! Backup van de productie database. – Doorlooptijd van 28 uur.
• • •
Restore naar migratie platform. Upgrade db naar 11.2. Backup de 11.2 database.
•
Restore naar exadata. – Doorlooptijd van 16 uur.
•
OWB, Samba, etc starten. – Nabewerkingen Maandag & Dinsdag.
•
Schaduw draaien. – Dubbel ETL, Dubbel batch (oude en nieuwe systeem).
11/25/2013
| 36 | ©2013 CIBER, Inc.
Resultaten :
11/25/2013
| 37 | ©2013 CIBER, Inc.
Resultaten : Doorloop tijden. • Doorlooptijd conventioneel : – Start ETL / batches om 17:30 (overlap met kantoortijden). – Einde ETL / batches 6:30 (just in time, weinig herhaling mogelijk).
• Doorlooptijd Exadata : – Start batches om 18:30. – Einde batches 00:30.
• Ruimte voor de toekomst: – Zelfs overdag word ETL gedraaid, bij eventuele fout in de nacht. – Meer ruimte voor nieuwe functionaliteit. 11/25/2013
| 38 | ©2013 CIBER, Inc.
Resultaten : Beschikbare resources. • Tijdens ETL / Batch window. – Gemiddelde CPU load : 30 % – CPU piek : 80 % – RAM belasting : 50 %
11/25/2013
| 39 | ©2013 CIBER, Inc.
Resultaten : Doorloop tijden. • Backups. – Complete full backup (15TB) = 5.5 uur. (ipv 28.) – Throughput : 652MB/sec.
• Restore. – 1TB = 55 Min (inclusief recovery en cloning).
11/25/2013
| 40 | ©2013 CIBER, Inc.
Resultaten : Feest ! Doelstellingen gehaald, ruimte over op de machines, iedereen blij
11/25/2013
| 41 | ©2013 CIBER, Inc.
Resultaten : Hoe kan dat nou ?.
• Waarom heb ik hier geen uren tuning en tweaken aan de systemen hoeven doen ? • Waarom is dit nou zo vlug? • Heb ik binnenkort nog wel werk ?
11/25/2013
| 42 | ©2013 CIBER, Inc.
Exadata: Voordeel van een “appliance”.
• Hardware totaal op elkaar afgestemd. • Max IOPS van de disken = max throughput van infiniband.
• Max bandwith van inifiniband = max throughput netwerk. • Storage cells doen veel bewerkingen op de data.
• Ofwel : Het is een appliance.
11/25/2013
| 43 | ©2013 CIBER, Inc.
Exadata: “User experience” CPU
Motherboard NIC
RAM
Driver Fiberoptic cable
Driver Fibercard
Fiberoptic cable
Driver SAN Switch CPU
Fibercard
11/25/2013
| 44 | ©2013 CIBER, Inc.
Storage array
Exadata: Voordeel van een “appliance”. CPU
CPU
RAM
RAM
Motherboard
Motherboard
NIC
NIC
NIC
Driver
Driver
Fibercard
Infiniband
Driver
Driver iDB
Fiberoptic cable
Fiberoptic cable
SAN Switch
Infiband Switch
Fiberoptic cable
Storage Grid
Fibercard
Fibercard
Driver
Driver
CPU
CPU
Storage array
Gaat ie weer ! 11/25/2013
Disk count. | 45 | ©2013 CIBER, Inc.
Techniek : Een query : Conventioneel. Client
Select name from emp where salary < 200 order by name;
Database server Explain plan
Don’t understand
Storage tier
Send me all Collect all data where salary < 200; 200,Jan 185, Kees 205, Dirk
205,Paul 210, Jasper 220, Jose
205, Suze 170, Jasper 195, Job
11/25/2013
Jasper Job Kees
| 46 | ©2013 CIBER, Inc.
Techniek : Een query : Smart Scan. Select name from emp where salary < 200 order by name;
Client
Database server Explain plan
Storage tier
Collect all data where salary < 200 order by name; 200,Jan 185, Kees 205, Dirk
205,Paul 210, Jasper 220, Jose
Jasper Job Kees
205, Suze 170, Jasper 195, Job
11/25/2013
| 47 | ©2013 CIBER, Inc.
Resultaten : Hoe kan dat nou ?. Storage cells
11/25/2013
| 48 | ©2013 CIBER, Inc.
Tips / wetenswaardigheden :
11/25/2013
| 49 | ©2013 CIBER, Inc.
Ciber Knowledge Carrousel 2013 Takeaway points • Introduceer vroeg de rol van DMA. – Zorgt voor pragmatisme bij DBA en SysAdmin. – Werk nauw samen, het is een appliance.
• Stap over op exadata, implementeer gaandeweg meer functionaliteit. • Gun de DMA opleidingen / trainingen. – Je applicatie gaat er beter door draaien. – SysAdmin : Clusterware / ASM cursus. – DBA : Volg Linux Admin 1 cursus. 11/25/2013
| 50 | ©2013 CIBER, Inc.
Ciber Knowledge Carrousel 2013 Takeaway points • Pas op! DBA werk blijft. – SQL tuning, ASM beheer, storage monitoring, incident opvolging, blijft gewoon bestaan.
• EXADATA foutloos? – Vergeet het maar. – Bugs, issues.
• HCC Compression werkt feilloos? – Tot je DML gaat doen.
11/25/2013
| 51 | ©2013 CIBER, Inc.
Vragen…
11/25/2013
| 52 | ©2013 CIBER, Inc.
Questions Vraag uzelf eens af : • Hoeveel uur hebben de database & system administrator samen besteed aan het optimaal configureren van uw huidige systeem ? – En de netwerk engineer, storage beheerder, etc, etc.
• Wat is de besparing als een gekochte appliance “het gewoon doet”, en rap?
11/25/2013
| 53 | ©2013 CIBER, Inc.
Thank You! R. de Laat
[email protected]
