Konvergované prostřředí datových center Petr Hon 2.2.2011
Agenda • • • •
2
Obchodní pohled FCoE technologie Přepínače řady Nexus Závěr
© 2011 IBM Corporation
Proč? Tlak na Snižžování ů nákladů
Tlak konkurence
Mě ěnící se ekonomika © 2011 IBM Corporation
3 © 2010 Cisco Systems, Inc. All rights reserved.
Cisco Confidential
3
Spolupráce
Užživatelské nároky
SLA
Dostupnost
Legislativní omezení
Bezp. hrozby
Bus. Continuance
Nové obchodní požadavky
Provozní limity Napájení a chlazení
Využžití zdrojů ů
© 2011 IBM Corporation
4 Presentation_ID
Provisioning
© 2007 Cisco Systems, Inc. All rights reserved.
Cisco Confidential
4
Obchodní pohled • Úspora nákladů, nízké TCO x zvýšení efektivity, konkurenční výhoda • Současný stav: – 80 procent nákladů je spotřebováno na udržování mnohdy zastaralé infrastruktury – Dlouhá doba zavedení aplikace – Nepružná infrastruktura – Nedostatečné využití IT zdrojů – … • Řešení: Transformace datových center • Základní směry transformace existujících Datových Center – Konvergence zdrojů, FCoE – Virtualizace, cloud computing – Automatizace provisioningu – Sofistikovaný management 5
© 2011 IBM Corporation
Obchodní pohled • Potřeby výpočetního výkonu stále rostou a není zrovna pravděpodobné, že by se měly zastavit. • Neexistuje jedno univerzální správné řešení. • Konkrétní technologie je odpovědí na konkrétní potřebu. • Ne všechny technologie jsou úspěšné. • Svět se dynamicky mění, inovace jsou odpovědí na nové výzvy. • Jednou z inovací, které mají velkou šanci stát se úspěšnými je FCoE.
6
© 2011 IBM Corporation
Charakteristika Ethernetu • • •
Flow control je destination based V případě zahlcení switch frame zahodí Integrován na motherboardu, intergován s OS
• • • • •
Široká škála dodavatelů Velmi rozšířená technologie Velmi dobře dokumentovaná a s velkou základnou kvalifikovaných odborníků Značně interoperabilní Ekonomicky dostupná technologie
Levnější technologie než FC
7
© 2011 IBM Corporation
Charakteristika Fibre Channel • •
Deterministický – flow control je source based (B2B) Zaručuje doručení ve správném pořadí
• • • • •
Specializované drivery pro zařízení Několik málo dodavatelů Specializovaná technologie Výrazně méně odborníků než u Ethernetu Interoperabilita – nutno otestovat
Dražší technologie než Ethernet
8
© 2011 IBM Corporation
Myšlenka • Použijme levný Ethernet místo drahého Fibre Channelu k tranportu LAN i SAN. Konsolidujme I/O nad levnější technologií.
9
© 2011 IBM Corporation
Konsolidace I/O • Několik pokusů konsolidovat I/O již proběhlo: – Internet Fibre Channel Protocol (iFCP) – Fibre Channel over IP (FCIP) – iSCSI – FCoE
10
© 2011 IBM Corporation
Fibre Channel je k FCoE… Jako je
11
k
© 2011 IBM Corporation
FCoE je evolucí SCSI Osmdesátá léta Devadesátá léta Nyní
SCSI Bus
• omezená délka • Průmyslový standard • Standardizované periferní zařízení napříč platformami 12
Fibre Channel • Přizpůsobení SCSI na síťovému model • Ochrana investic do SCSI driverů • Sdílení periferií, větší periferie a jejich konsolidace
FCoE • Přizpůsobení SCSI a FC Ethernetu • Ochrana investic do existující FC a SAN • Zajišťuje stejný provozní model jako FC • Konsoliduje LAN a SAN • Dává ekonomický smysl © 2011 IBM Corporation
13
© 2011 IBM Corporation
FCoE versus iSCSI • •
FCoE nebyla navržena aby nahradila iSCSI Výhody FCoE – – – – –
•
Jedna kabeláž Méně adaptérů Interoperabilita s existující SAN Bez bran, stateless Enterprise datová centra
Výhody iSCSI a užití – Jedna kabeláž – Méně adaptérů – Široká podpora výrobců a OS, nativní iSCSI
•
14
Technologie iSCSI je spíše určena pro menší prostředí, je vhodná pro desktopy. FCoE je technologie datových center. © 2011 IBM Corporation
Fiber Channel over Ethernet FC-BB-5 Protocol
FCoE
Založen na FC modelu
Mapování FC Frames na Ethernet
Shodné chování host-toswitch and switch-to-switch jako FC
Ethernet Fibre Channel Traffic
WWNs, FC-IDs, hard/soft zoning, DNS, RSCN
FCoE je Fibre Channel
15
FCS
CRC
FC Payload
EOF
FC Header
Byte 2229 FCoE Header
Ethernet Header
Byte 0
Cisco
Dell
EMC2
EMULEX
HP
IBM
Microsoft
NetApp
Intel
QLOGIC
Corporation VMWARE Redhat© 2011 IBM
Fiber Channel over Ethernet Mapování protokolu
• Z pohledu FC FC konektivita na novém typu kabelu zvaného Ethernet
• Z pohledu Ethernetu Další Protokol vyšší vrstvy k transportu. FC-4 ULP Mapping FC-4 ULP Mapping FC-3 Generic Services FC-2 Framing & Flow Control FC-1 Encoding FC-0 Physical Interface 16
FC-3 Generic Services FC-2 Framing & Flow Control FCoE Logical End Point Ethernet Media Access Control Ethernet Physical Layer © 2011 IBM Corporation
Standardy pro I/O Konsolidaci Vyvinut IEEE 802.1 Data Center Bridging Task Group (DCB)
Vlastnost
Status Standardu
IEEE 802.1Qbb Priority-based Flow Control (PFC)
Hotovo
IEEE 802.3bd Frame Format for PFC
Hotovo
IEEE 802.1Qaz Enhanced Transmission Selection (ETS) and Data Center Bridging eXchange (DCBX)
Hotovo
IEEE 802.1Qau Congestion Notification
Hotovo
IEEE 802.1Qbh Port Extender 17
© 2011 IBM Corporation
18
© 2011 IBM Corporation
PAUSE Může být Ethernet bezeztrátový? • Ano, pomocí PAUSE Frames Ethernet link
STOP
PAUSE
Queue Full!
Switch A Definováno v IEEE 802.3 – Annex 31B
Switch B
The PAUSE se používá k zastavení vysílání frames na specifikovanou dobu Ethernet PAUSE Tranformuje ztrátový Ethernet na bezeztrátový 19
© 2011 IBM Corporation
Priority Flow Control FCoE Flow Control Mechanismus Ethernet používá PAUSE na základě COS definované v 802.1p Když dojde k zahlcení, CoS označen jako “no-drop” je zaslán PAUSE Ostatní provoz, pokračuje normálně a spoléhá se na protokoly vyšších vrstev Nejen pro FCoE provoz
Transmit Queues
Fibre Channel
Ethernet Link
One
One
Two Three R_RDY
Packet
B2B Credits 20
Receive Buffers
Two STOP
PAUSE
Three
Four
Four
Five
Five
Six
Six
Seven
Seven
Eight
Eight © 2011 IBM Corporation
CNA
21
© 2011 IBM Corporation
CNA • Converged Network Adapter – druhá generace. • Vyrábí je významnější vendoři: – Emulex – QLogic – Intel – Cisco – Broadcom …..
• Emulex oznámil 1 mil IOPS na port. 22
© 2011 IBM Corporation
Nexus – Optimalizováno pro Datová Centra
DC Virtual Access
23
© 2011 IBM Corporation
Cisco Nexus 7000 Series Data Center Class Switches Zero Service Disruption design Graceful systems operations Integrated lights-out management
Operational Continuity
Lossless fabric architecture Dense 40GbE/100GbE ready Unified fabric
Transport Flexibility
24
Infrastructure Scalability
Virtualized control and data plane 15Tb+ switching capacity Efficient physical and power design
© 2011 IBM Corporation
Hardware Overview 7010 Chassis • 8 I/O slots, 2 supervisor slots (5, 6) • Front-to-back air flow utilizing 2 system fan trays and 2 fabric fan trays • 21 RU (2 per 42 RU rack) • Up to three power supplies 6kW AC, 7.5kW AC and 6kW DC PS
• 5 fabric module slots 46 Gbps per I/O module slot fabric module is unique to chassis type
• All components support Online Insertion and Removal (OIR) • Optional air filter satisfies NEBS requirements 25
Front View
Rear View
© 2011 IBM Corporation
Nexus 7000 F-Series SFP+ Module 10GbE supporting Multiprotocol Storage
Multiprotocol Storage Connectivity FCoE, iSCSI, NAS Standards Compliant T11 FCoE, DCBX, IEEE PFC, ETS Scalable 512 Ports Per System, 230Gbps Per Slot Low Latency Sub 5µs Port to Port Feature Rich Enables Cisco FabricPath Layer 2 Multipathing Cost Effective Lowest Price 10GbE Nexus 7000 Port
FCoE License Orderable Q1CY11
26
32-port 1/10 GbE for Server Access and Aggregation
© 2011 IBM Corporation
Cisco Nexus 5000 Series
56-Port L2 Switch • 40 Ports 10GE/FCoE/DCE, fixed • 2 Expansion module slots
Fibre Channel • 8 Ports 1/2/4G FC
OS 27 Mgmt
FC + Ethernet • 4 Ports 10GE/FCoE/DCE • 4 Ports 1/2/4G FC
Ethernet • 6 Ports 10GE/FCoE/DCE
Cisco DC-OS Cisco DC-OS © 2011 IBM Corporation Cisco Fabric Manager and Cisco Data Center Manager
Nexus 5500 Series – Q1CY11 2nd Generation Nexus 5000 with FabricPath & Layer 3 N5196P: 96x SFP+ (w/ 3x Modules) in 2RU
5596: 96 Ports capable of 10GE/1GE/FCoE/FC and Unified Port
5548: 48 Ports capable of 10GE/1GE/FCoE/FC Flexible port configurations Unified Ports (Q1CY11)
48 N5K Port Channels + 384 N2K port channels + 768 vPC port channels
10GE/FCoE/DCB, 2/4/8 G FC, 1GE
Unicast latency: < 2μs
Support on all ports of 5596 and expansion module for 5548
FabricPath - Layer 2 Multi-Pathing Support
Layer 2 / Layer 3 support
IETF TRILL & Cisco L2MP
Increased number of FEX per N5500
Standards-based T11 FCoE
4K VLANs & 32K Station Table
Hardware support for IEEE 1588 (Precision Time Protocol – µs accuracy & © 2011 IBM Corporation timestamp)
28 40G Uplinks (future)
SFP+ Transmission Media
•Low power consumption •Low cable cost •Low transceivers latency •Low error rate (10 exp-17)
Technology
Cable
Distance
Power (each side)
SFP+ CU Copper
Twinax
10m
~0.1W
~0.25 µs
SFP+ USR
MM OM2 MM OM3
10m 100m
1W
~0.1 µs
MM OM2 MM OM3
82m 300m
1W
~0.1 µs
Cat6 Cat6a/7 Cat6a/7
55m 100m 30m
~8W ~8W ~4W
2.5µ µs 2.5µ µs 1.5µ µs
ultra short reach
SFP+ SR short reach
10GBASE-T 29
Transceiver Latency (link)
© 2011 IBM Corporation
Porovnání vlastností jednotlivých platforem Nexus 5k
Nexus 7k
MDS
FEX-2232 Support
Supported since DeeWhy
Supported in Delhi (Eth Only)
Not Supported
Nexus 4k Support
Supported since Cronulla and MAC binding
Not Supported
Not Supported
vPC with FCoE for Host Connections
Supported to N5k and 2232
Radar
Not Supported
30
© 2011 IBM Corporation
Porovnání vlastností jednotlivých platforem
31
Nexus 5k
Nexus 7k
MDS
FCoE Target Support
Supported since Bondi
Supported in Delhi
Supported in Delhi (FCoE traffic only)
VDCs
Not Supported
4 total VDCs, only 1 Storage VDC
Not Supported
VE_Ports
Supported in EH+
Supported in Delhi (dedicated link)
Supported in Delhi (dedicated link)
FCoE VLANs
32 VLAN/VSANs supported (counts as 64 VLAN HW resources)
256 total FCoE VLAN/VSANs
256 total FCoE VLAN/VSANs
© 2011 IBM Corporation
Single Hop Design Konsolidovaný přístup na přístupové vrstvě
FC
První fáze evoluce Unified Fabric Unified LAN a SAN přístup použitím FCoE
LAN Fabric
Fabric B
Fabric A
Konsolidované adaptéry, kabely a přepínače na prvním hopu FCoE FC
Nexus 5000 FCF-A
Nexus 5000 FCF-B
LAN Access/SAN Edge
The Unified Edge 32
© 2011 IBM Corporation
Multi - Hop Design FCoE Multi-hop LAN Fabric
Fabric A
Fabric B
Co musíme vzít v úvahu? High Availability pro LAN i SAN Oversubscription pro SAN and LAN Ethernet Layer 2 a STP design Budoucnost i když blízká
FCF FCF
DCB DCB ++ FIP FIP Snooping Snooping Bridge Bridge
33
© 2011 IBM Corporation
Konsolidace Datových Center – produkty Unified Fabric Networking
Ethernet Networking
Nexus Family
Catalyst® 6500 Series
-Nexus 7000
Catalyst 4900M Top-of-Rack
-Nexus 5000 -Nexus 1000V
Application Network Services
Data Center Security
Storage Networking
ACE Application Delivery – Module and Appliance
Firewall Services Module
MDS 9500 Storage Directors
Wide-Area Application Services (WAAS)
SSM MDS 9100 and 9200 Series Fabric Switches
Infiniband Clustering
SFS 7000 Infiniband Switch SFS 3000 Infiniband Gateway
BladeCenter Ethernet Switching
SFS 7000 Infiniband Switch
Catalyst Switch Modules for Blade Center
Catalyst Switch Modules for Blade Center
FC Blade Switches
•IBM ICS SPL • ICS • ICS on SPLeach• of S&P SPL product • ICS Brands thatSPL are Prime these families : SPL • STG 34
Linux Cluster 1350 iDataPlex
• STG
• STG
© 2011 IBM Corporation
Administrace FCoE
Zkušenosti z provozu
Výzva
Je
třeba mírně změnit způsob administrace.
Všechny nástroje pro Fibre Channel zůstávají.
LAN Administration
35
Je nezbytné nalézt někoho, kdo bude integraci řídít.
SAN Administration
© 2011 IBM Corporation
Virtual Device Contexts
• Konsoliduje a podporuje jednotlivé oblasti obchodu, oddělení a sítě Web, App, Database Production, OOB mgmt, Development, Test Customer A, Customer B, Customer C
VDC2 BU1 / App 1
VDC2 Prod
VDC3 BU2 / App 2
VDC3 Dev
VDC4 Test
• Zajištuje oddělení sítě s ohledem na požadavky v obalsti bezpečnosti Internet, Extranet, DMZ, Intranet Non-Secured, Secured, PCI
• Umožňuje implementaci n-tier modelu Core, Aggregation, Access
36
VDCs zajišťťuje logickou separaci control-plane, data-plane, management, zdroje a systémove procesy v rámci jednoho přřepínač č
VDC2 Secure
VDC3 NonSecure
VDC2 Core VDC3 Agg VDC4 © 2011 IBM Corporation Access
Závěr • FCoE je nadějnou technologií mající mnoho předpokladů pro úspěch. Je to technologie, které směřuje k potřebné transformací Datových Center. • Přepínače Cisco Nexus společně se servery IBM jsou platformou pro realizaci této tranformace. • IBM je seriozním partner pro tuto transformaci jak z hlediska dodávky serverů, tak z hlediska samotné realizace.
37
© 2011 IBM Corporation
