Solaris 10 rendszerek konszolidációja SPARC T5 szerverre (esettanulmány) HOUG, Siófok, 2015.03.25 Timár Károly Presales főmérnök
EON ZEUS SCADA Energiaipari adatgyűjtő és távfelügyeleti rendszer
– strictly confidential, confidential, internal, public –
3/30/2015
2
Agenda 1. 2. 3. 4. 5. 6. 7.
Előzmények, problémakör Alternatív megoldási lehetőségek Alkalmazott technológia Megoldás áttekintése Eredmények Továbbfejlesztési lehetőségek Bonus track: Branded Zone példa
– confidential –
3/30/2015
3
– strictly confidential, confidential, internal, public –
3/30/2015
4
EON ZEUS SCADA rendszer infrastruktúra
Éles („MAIN”) és DR („BACKUP”) környezet hasonló szerverekkel MAIN: 13 x Sun Fire V245 Active/passive szerver párok 1 x Sun SPARC Enterprise M3000 UltraSPARC IIIi és SPARC64 VI CPU Solaris 10 operációs rendszer
3/30/2015
5
Megoldandó probléma
A Solaris 10-en futó ZEUS SCADA rendszer gyorsítása Kiöregedő szerverek (6 évesek) Teljesítőképességük határán üzemelnek Az intenzív használatot gátolta Hosszú válaszidők, lassú heti adatbázis frissítés (2 nap / cég, hétvégi munkák)
SCADA = Supervisory Control And Data Acquisition
Cél: Gyors, megbízható, üzembiztos rendszer környezet kialakítása A hálózati adatok importálása gyorsuljon Az irányítás biztonsága növekedjen 3/30/2015
6
Megoldási alternatívák 1. 2.
3.
ZEUS SCADA átfejlesztése más operációs rendszerre Hátrány: Rendkívül költséges. Kritikus elemekre (db) SPARC szerverek beszerzése (M3000). EOL. Refurbished? Előny: Kockázatmentes, natívan futtatja a Solaris 10 környezetet. Szoftver szállító által „bevizsgált”. Hátrány: Szervizelés. Eltolja a problémát (N-3 generációt N-2-re frissítenek). T-Systems javaslata: SPARC-T virtualizáció Előny: Költséghatékony. Szerver konszolidáció is egyben. Hátrány: Kockázatos. Alkalmazás szállító által nem „bevizsgált” (nincs rajta a támogatott szerverek listáján).
3/30/2015
7
SPARC platform virtualizációs megoldásai 1/5 Hard Partitions M-Series
Dynamic Domains Complete Isolation: Resources Security Faults Service
SPARC Hypervisors T-Series
Oracle VM SPARC (Logical Domains) Granular Dynamic Low-overhead
All Sun Systems
Solaris Containers (Zones + SRM) Solaris Trusted Extensions Solaris 8 and 9 Containers
Single OS
Multiple OSes
Included at No Cost!
Solaris Containers
Included at No Cost!
Included at No Cost!
SPARC platform virtualizációs megoldásai 2/5 Oracle VM Server for SPARC (LDOMs) App
OLTP DB
Domain B
App
App
Domain B
DW DB
M-series
App
Domain C
Web Web
DB App Web
Oracle Solaris T-Series
Oracle Solaris
Solaris Container
OLTP DB
Web Solaris 8 Container
Domain A
Solaris Container
Domain A
Domain A
Oracle Solaris Containers Solaris 9 Container
Dynamic Domains
SPARC platform virtualizációs megoldásai 3/5 Domain átméretezés Daytime Configuration Domain A Online workload 15 Processors Domain B
M6-32
Batch workload 5 Processors
Night time Configuration Domain A Online workload 7 Processors Domain B Batch workload 13 Processors
M6-32
Siebel
Adjust your systems to your business requirements on demand Dynamically: CPU & Virtual IO Improve utilization by balancing resources between domains Virtual network/switch support together with dedicated hardware mapping
Siebel
PM/Night/Weekend
Oracle DB
AM/Day/Week
Oracle DB
SPARC platform virtualizációs megoldásai 4/5 LDOM átméretezés
SPARC platform virtualizációs megoldásai 5/5 keverhetőség Domains and Containers
LDOMs and Containers Oracle VM A
Domain A OLTP DB
App
OLTP DB
Oracle VM B
App
App
App
Oracle VM C
Domain B
DW DB
M6-32
Web Web Web
T5
Alkalmazott technológiák 1/2: Oracle SPARC T5 processzor
16 S3 cores @ 3.6GHz 128 threads per CPU (8 threads / core) 8MB shared L3 Cache 8-way 1-hop glueless scalability
Integrated 2x8 PCIe Gen 3 Cryptographic Accelerators in each core 3/30/2015
13
Alkalmazott technológiák 2/2: SPARC T5 Servers
Processor Max Processor Chips Max Cores/Threads DIMM Slots Max Memory Drive Bays I/O Slots Form Factor/RU Max Power Consumption
SPARC T5-1B
SPARC T5-2
SPARC T5-4
SPARC T5-8
SPARC T5 3.6GHz
SPARC T5 3.6GHz
SPARC T5 3.6GHz
SPARC T5 3.6GHz
1
2
4
8
16, 128
32, 256
64, 512
128, 1024
16
32
64
128
128GB, 256GB, 512GB
256GB, 512GB, 1TB
1TB or 2TB
2TB or 4TB
2
6
8
8
2 x PCIe 2.0 EM, 2 NEM,1 FEM slots
8 LP x8 PCIe 3.0, 4 x 10GbE ports
16 LP x8 PCIe 3.0, 4 x 10GbE ports
16 LP x8 PCIe 3.0, 4 x 10GbE ports
Blade 689W
Rack 3RU 1927W
Rack 5RU 2410W
Rack 8RU 4850W
Kockázatok csökkentése: pilot projet (POC, Proof of Concept)
T-Systems javaslata: SPARC-T virtualizáció Előny: Költséghatékony. Szerver konszolidáció is egyben. Hátrány: Kockázatos. Alkalmazás gyártója közvetlenül nem támogatja. DE: Sikeres pilot projekt (POC) zárult Oracle SPARC T4-1 szerveren SCADA szoftver kernel paraméterezést alkalmaz (zónák használata problémásnak ígérkezett) LDOM technológia működőképes volt, problémamentesen üzemelt • P2V migráció • Control Domain: Solaris 11.1, Solaris 10 u11 LDOM 3/30/2015
15
LDOM alapú virtualizáció előnyei
Lightweight hypervisor (system firmware rétegben) Hypervisor az erőforrások elosztása után a schedulálásban nem vesz részt Dedikált CPU erőforrás (thread, vcpu) ldm set-vcpu 8 ldomxyz ldm set-memory 8g ldomxyz Dedikált memória ldm add-vcpu 4 ldomxyz ldm add-memory 4g ldomxyz Dinamikus vcpu és memória gazdálkodás ldm remove-vcpu 2 ldomxyz ldm remove-memory 2g ldomxyz Kernel szintű szeparáció: Önálló Solaris image települ Egy dobozon belül futtathatók eltérő Solaris 10 update verziók Egy dobozon belül futtatható Solaris 10 és Solaris 11 Live Migration
3/30/2015
16
Javasolt szerver: Oracle SPARC T5-2
2 SPARC T5 processzor 32 core / 256 threads (vcpu) Max 1TB memória 4x alaplapi 10 GbE port 8x low-profile PCIe x8 slot USB portok 6 disk slot (SAS) Redundáns tápegység ILOM 3/30/2015
17
T-Systems által javasolt konszolidált megoldás áttekintése
Éles környezet 2 x Oracle SPARC T5-2 egyenként: 2db T5 CPU / 512GB Dedikált tároló:NetApp E2700 FC Teszt környezet 1 x Oracle SPARC T5-2 szerver 2db T5 CPU / 256GB Belső diszkek
Installált verziók: OVM 3.1.1.1.7 Control domain: Solaris 11.2 Guest LDOMs: Solaris 10 u11
3/30/2015
18
Megvalósítás menete: P2V migráció 1. 2.
3. 4. 5.
6.
Forrás rendszer: „ldmp2v collect” script futtatása (manifest file készült, manuális mód: file rendszerek bővültek és a diszkek is át lettek szervezve) Forrás rendszer: ufsdump mentés Cél rendszer: diszkek és file rendszer kialakítása Cél rendszer: ufsrestore a control domainben Cél rendszer: „ldmp2v prepare” LDOM létrehozása az alábbi paraméterekkel: • manifest file, • vcpu, memória adatok • visszaállított eredeti root struktúra Cél rendszer: „ldmp2v convert” fázis: sun4u sun4v upgrade install iso file alapján (architektúra váltás) reboot és kész 3/30/2015
19
LDOM erőforrás kiosztás NAME primary all1m ifs2m im2m rt2m sndem
STATE active active active active active active
FLAGS -n-cv-n----n----n----n----n----
CONS UART 5002 5003 5005 5004 5001
VCPU 16 8 4 8 8 4
MEMORY 16G 16G 16G 16G 16G 16G
UTIL 3.90% 11.00% 1.60% 5.30% 4.90% 0.30%
NORM 3.60% 11.00% 1.60% 5.30% 4.90% 0.30%
42d 32d 25d 26d 27d 32d
UPTIME 18h 19h 22h 18h 19h 20h
26m 54m 16m 2m 13m 14m
NAME primary all2m dms1m ifs1m im1m rt1m
STATE active active active active active active
FLAGS -n-cv-n----n----n----n----n----
CONS UART 5001 5002 5003 5004 5005
VCPU 16 8 4 4 8 8
MEMORY 16G 16G 16G 16G 16G 16G
UTIL 1.30% 3.90% 0.50% 3.60% 1.30% 6.50%
NORM 1.20% 3.90% 0.50% 3.60% 1.30% 6.50%
42d 18d 34d 27d 31d 28d
UPTIME 23h 12h 22h 22h 20h 22h
0m 46m 36m 9m 25m 10m
NAME primary dts1m naesm st-mgmt xt1m
STATE active active active active active
FLAGS -n-cv-n----n----n----n----
CONS UART 5003 5002 5000 5001
VCPU 16 4 4 2 4
MEMORY 16G 16G 16G 4G 16G
UTIL 0.50% 2.10% 7.20% 0.40% 29.00%
NORM 0.50% 2.10% 7.20% 0.40% 29.00%
44d 35d 35d 38d 38d
UPTIME 22h 18h 22h 18h 18h
42m 28m 43m 25m 43m
3/30/2015
20
Eredmények
Megmaradt az üzembiztos hot/standby rendszer a két fizikai gép között LDOM párok szeparált szervereken Nagyobb teljesítmény a virtualizált környezetben A hálózaton lévő eszközök GPS koordináta szerinti heti adatbázis import (2-3x sebességnövekedés, 2 nap helyett 1 nap cégenként) CPU intenzív (többszálasság?) Diszpécseri munka során kb. 1 perc volt egy ideiglenes elem elhelyezése, most 10s Energiamegtakarítás (50%) Régi környezet: 14 szerver kb. 5000W Új környezet: 3 szerver: 2200W Rack hely megtakarítás (28 RU helyett 9RU) 3/30/2015 Kisebb terhelés a HVAC rendszeren
21
Továbbfejlesztési lehetőségek
Szűk keresztmetszetek meghatározása a jelenlegi környezetben (majd a kiosztott erőforrások hangolása) Diszk IO!! Ideiglenes erőforrás allokáció az adatbázis import idejére További SPARC szerverek bevonása a virtualizált környezetbe „Backup oldal” (DR) virtualizációja Munkaállomások virtualizációja (MMI) Diszpécseri és mérnöki munkahelyek 44 Ultra45 (4db 1920x1200 monitor) Többképernyős kliens oldali megjelenítés kihívás lehet 3/30/2015
22
Branded zónák megvalósítása
Branded Zones 1/3
Megvalósult projekt: Fizikai SPARC Solaris 8/9 szerverek virtualizációja SPARC T5 platform képes az alábbiak futtatására: S11 gdom S11 zone inside S11 gdom S10 gdom S10 zone inside S10 gdom S10 branded zone inside S11 gdom S9 branded zone inside S10 gdom S8 branded zone inside S10 gdom 3/30/2015
24
Branded Zones 2/3 Megvalósítás
3/30/2015
25
Megoldandás érdekessége
Redundáns virtuális IO alrendszer megvalósítása Lokális és DR redundancia biztosítása Dual VIOS kiépítés Két IO domain (control domain és IO domain) A szerver IO (portok, PCI slotok) kétfelé osztása a két IO domain számára Guest LDOM-ok redundanciája Redundáns vswitch Redundáns diszk csatlakozás 3/30/2015
26
Branded Zones 3/3
3/30/2015
27
Köszönöm a figyelmet!!! KÉRDÉSEK!!!! HOUG, 2015.03 Timár.Ká
[email protected]
