„HP-C” avagy nagyteljesítményű számítástechnikai megoldások A Hewlett-Packardtól a hazai informatikában
Bihary Sándor Varsányi András HP Magyarország 2013.március 22.
© Copyright © Copyright 2012 2012 Hewlett-Packard Hewlett-Packard Development Development Company, Company, L.P. The L.P.information The information contained contained hereinherein is subject is subject to change to change without without notice.notice. 1
Köszönetnyilvánítás NIIFI dr. Gál Zoltán
Máray Tamás dr. Haraszti Attila
2
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
A legfontosabb, a HP-t is érintő trendek a HPC világában A gyártóspecifikus RISC/EPIC/UNIX rendszerek hanyatlása, az „iparági szabványokra” épülő (tipikusan x86/Linux) megoldások előretörése
A „GPU computing” és a „co-processor computing” nagykorúvá válása A teljesítmény maximalizálása mellett egyre inkább szempont az energiahatékonyság is
3
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
23 évnyi innováció az iparági szabvány szerverek területén ProLiant Szerverek 1989 1st
1990s
2000s
1st
x86 server remote mgmt (SystemPro) 1st rack mount 1st multi-processor 1st AMD servers x86 server 1st Integrated x86 server management
Virtual Connect 2007
2008
1st Virtual Connect Module
1st Scalable VC Management
2012
2009-11
1st
1st
Blade server Energy Star server 1st Sea of Sensors 1st Terabyte Blade 1st Dynamic Power 1st 10 Gb FlexFabric Capping Embedded 1st Embedded Management (iLO)
2009
1st
Active Health 1st Sea of Sensors 3D 1st Smart Memory 1st Location Discovery Services
2012
2010
1st Flex-10 Module
1st FlexFabric Module
1st flat SAN architecture
HP Storage 1989
1990s
2004
1st RAID cache 1st Dual parity 1st RAID st st 1 Large scale RAID with 1 Fiber direct connect RAID 6/ADG Channel 4
2005 1st SAS storage
2007-8
2009-2011
1st Storage blade 1st Flash Back 1st Tape blade Write Cache 1st Blade DAS 1st Integrated blade solution SAN Solution
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
2012 1st
Smart Storage 1st Advanced data mirroring
HP BladeSystem
A Hewlett-Packard HPC stratégiája Skálázható teljesítmény a Konvergens Infrastruktúra előnyeinek maximális kihasználása mellett Maximális hatékonyság adott „lábnyomra” vetítve Könnyedén üzembe helyezhető és üzemeltethető, a változásokra/változtatásokra valós időben reagáló, az szolgáltatás minőségét jelentősen javító rendszerek
5
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
A KONVERGENCIA EREJE
TÁROLÓK
SZERVEREK
ENERGIA ÉS HŰTÉS
HÁLÓZAT
FELÜGYELETI SZOFTVER „INFRASTRUKTÚRA OPERÁCIÓS KÖRNYEZET”
HP KONVERGENS INFRASTRUKTÚRA 6
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
A HP küldetése: a szerverpiac átalakítása
7
Project Moonshot
Project Odyssey
Project Voyager
A jövő extrém alacsony fogyasztású szerverei
Az üzletkritikus számítástechnika újradefiniálása
Teljes körű automatizálás az IT-ban és a szerver teljes életciklusában
2011. nov. 1
2011. nov. 22
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
2012. márc. 13.
HP Proliant Gen8 – a legfontosabb innovációk ProLiant rendszerarchitektúra
iLO Management Engine
Insight Online
Virtual Connect
8
HP Smart Storage
HP FlexNet Adapterek Sea of Sensors 3D Service Pack for ProLiant
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Datacenter Smart Grid
HP Data Center Smart Grid Thermal Discovery
Sea of Sensors Everywhere
Power Discovery iPDU ICpower
Location Discovery
1-wire 9
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
•3D datacenter vizualizáció •Teljes körű power capping •Hőleadás- és energia érzékeny alkalmazás elhelyezés •Automatizált problémamegoldás
HP ProLiant Portfolio
10
ML
DL
SL
BL
„Nonkonformistáknak”
„US Steel”
„Sűrűség – újraértelmezve”
„Dobozolt infrastruktúra”
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
HP ProLiant SL230s Gen8 1U half width tray Rear Kit Options • 2 – 3.5 HDDS • 4 – 2.5 HDDs • 4 – SSD’s • 1- GPU
Air Flow Exhaust Chassis Interface Port 8 Nodes per 4U chassis 16 CPUs per 4U chassis 8 GPUs per 4U chassis
2 Socket-R CPUs PCIe G3 x16 LP Slot Or Hot-Plug HDD Or Fusion-i/o Accelerator
16 DIMM Slots FlexLom Slot Or Hot-Plug HDD
Management Port – iLO4
1- Serial Port 2- 1GbE Ports
11
System ID Tab
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
SUV Port – Serial/USB/Video
HP ProLiant SL250s Gen8 2U Half Width Tray Chassis Interface Port
Air Flow Exhaust
Rear GPU
2 GPU Tray Or 4 SFF HDD Tray
4 Nodes per 4U chassis 8 CPUs per 4U chassis 12 GPUs per 4U chassis
Optional 4-SFF Kit
2 Socket-R CPUs (Below GPU Tray) 16 DIMM Slots (Below GPU Tray)
4-Hot-Plug HDD FlexLom Slot PCIe G3 x8 LP Slot SUV Port – Serial/USB/Video
Management Port – iLO4 2- 1GbE Ports System ID Tab 12
1- Serial Port
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Gorgon - Multi-GPU Carrier Board All product views are illustrations and might not represent actual product screens.
HP Multi GPU Carrier (codename Gorgon2 / GG2) 13
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Gorgon - Multi-GPU Carrier Board All product views are illustrations and might not represent actual product screens.
HP Multi GPU Carrier (codename Gorgon 2 / GG2) 14
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
•HPC Szeged •
•
HP HPC Szeged, Budapest áttekintés
HP Blade rendszer • Magszám: 48*48= 2304 darab • Memória: 128*48= 6144 GB HP Ibrix X9000 Storage • 360 TB Bruttó kapacitás • 192 GB cache memória
•HPC Budapest •
•
•
15
HP SL rendszer • Magszám: 32x24= 768 darab • Memória: 64*32= 2048 GB HP Ibrix X9000 Storage • 96 TB bruttó kapacitás • 96 GB cache memória HP MCS folyadékhűtéses rendszer © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
HP HPC Szeged hardver jellemzői • 8 Rack, 6 darab C7000 blade, 2 darab Ibrix • Blade technológia: – Közös HW management az Onboard Administrator segítségével, – Energiahatékonyság, • Közös elemek: Tápegység, hűtés.
16
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
HP HPC Szeged hardver jellemzői • 8 Rack, 6 darab C7000 blade, 2 darab Ibrix • Blade technológia előnyei: – Közös HW management az Onboard Administrator segítségével, – Energiahatékonyság, • Közös elemek: Tápegység, hűtés.
17
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
HP HPC Szeged hardver jellemzői • A blade szerver felépítése: • • • •
18
4*Opteron 6174 12-core 2.2 GHz CPU 16*8 GB memória Integrált dual Gbe port QDR dual-port IB Mezzanine
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
HP HPC Szeged hardver jellemzői
Mesh Topológia – redundáns mesh egyik hálózata 2*DL385 Head/Login node
36-port QDR IB switch panel C7000 sasszéban 8* BL685c
2*DL380 Ibrix Storage Couplet node
19
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
36-port QDR IB switch panel C7000 sasszéban 8* BL685c
2*DL380 Ibrix Storage Couplet node
HP HPC Szeged hardver jellemzői • Storage X9000 Ibrix – 4 azonos node alkotja az Ibrix Clustert, • Ibrix node felépítése: CPU: Intel(R) Xeon(R) CPU E5520 Memória: 48 GB Fiberchannel 8Gb/s interface Diszk alrendszer: EVA P6500, • 400 darab 900GB 10k diszk, • FC 8Gb/s portok.
20
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
HP HPC Szeged hardver jellemzői Tradicionális tárolók
HP EVA P6500 tárolók
Dedikált tartalék (spare) és „snap” lemezek kellenek Minden RAID tömbnek dedikált lemezek szükségesek Különböző méretű lemezek is szeparált csoportokban Egy LUN teljesítménye erősen korlátozott
• • • •
12
12
7
8
8
4
7
7
0
1
2
3
4
5
6
R1
R1
R5
R6
R6
R1
R5
• • • Egy LUN maximális teljesítmény potenciálja
Elosztott tartalék- és egyéb terület képzés Különféle RAID fajták lehetnek egyazon lemezen Vegyes méretű lemezek is lehetnek egy csoportban 40
40
40
40
40
40
40
40
7
0
1
2
3
4
5
6
7
R5
R1
R1
R5
R6
R6
R1
R5
R5
Tradicionális kontrollerek RAID1
RAID5 Set
LUN 5
LUN 7
RAID1 Set LUN 1
21
LUN 4 LUN 3
Fizikai lemezek
RAID5 Set LUN 2
Spare
LUN 0
RAID6 Set Spare
LUN 6
HP EVA P6500 kontrollerek
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
HP HPC Budapest hardver jellemzői • 2 Rack, 16 darab SL6500 keret, 32 darab SL165, 1 darab Ibrix • SL technológia előnyei: – Extrém magas teljesítmény sűrűség, – Energiahatékonyság, • Közös elemek: Tápegység, hűtés.
22
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
HP HPC Budapest hardver jellemzői • Keretenként 2 darab SL típusú szerver • • • •
23
2*Opteron 6174 12-core 2.2 GHz CPU 8*8 GB memória Integrált dual Gbe port QDR dual-port IB PCI card
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
HP HPC Budapest hardver jellemzői • Infiniband Hálózat 16 darab SL6500 keret 1
2*QDR IB switch -36 port
2*QDR IB
2* QDR IB
16 Ibrix Storage Couplet
24
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Headnode, Loginnode
HP HPC Budapest hardver jellemzői • Storage X9000 Ibrix – 2 azonos node alkotja az Ibrix Clustert, • Ibrix node felépítése: CPU: Intel(R) Xeon(R) CPU E5520 Memória: 48 GB SAS 6Gb/s interface Diszk alrendszer: MSA 2312sa • 48 darab 2TB MDL diszk • SAS 6Gb/s portok
25
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
HP HPC Budapest hardver jellemzői • HP MCS Modular Cooling System • SL szerver magas teljesítmény sűrűsége miatt speciális hűtésre van szükség • 1 Rackben – Több, mint 11kW felvett teljesítmény – Több, mint 40.000 BTU HR
26
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
A rendszer felépítése I.
27
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
HP HPC szoftver jellemzői • X9000 Ibrix – Fájlrendszer : IBRIX distributed filesystem – Fájlrendszer mérete: Szeged: 230 TB Budapest: 60 TB Maximum méret: 1,6 PB
• A fájlrendszer szegmensekből épül fel • A szegmensek az ibrix node között egyenletesen oszlanak el 28
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
HP HPC szoftver jellemzői • Operációs rendszer: Red Hat Enterprise Linux • HP CMU (Cluster Management Utility) • Management • Boot folyamat • Indítás, leállítás • Monitoring
29
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Köszönjük a figyelmet!
[email protected]
[email protected]
30
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
