Virtualisatie in Unified Fabric

VIRTUALISATIE DOOR BRAM DONS

Cisco en Emulex pionieren met oplossingen

Virtualisatie in Unified Fabric

34 STORAGE MAGAZINE · 4 · DECEMBER 2008

Datacenters vragen om steeds meer netwerkcapaciteit. Hoewel virtualisatie de kosten van de groei van datacenters in de hand kan houden, levert deze technologie wel meer netwerkbelasting op. Een mogelijke oplossing voor dit probleem is, aldus Bram Dons, een toepassing van VMware VirtualCentre 2.5 in een Unified Fabric op basis van de Nexus 5020 switch van Cisco en de Emulex LightPulse LP21000 CNA. Tegenwoordig groeien datacenters met een ongekende snelheid. Grootzakelijke applicaties vragen om steeds meer computerkracht, webservers zijn de centrale interface naar de gebruikers geworden en de hoeveelheid data, waaronder e-mail, documenten en multimedia, vereist een continue aanpassing en uitbreiding van de IT-infrastructuur. Al deze zaken maken het beheer van datacenters steeds complexer en duurder. Daarbij komt dat datacenters meestal over meerdere aparte fysieke netwerken beschikken, waaronder een Ethernetnetwerk voor client-naar-server, servernaar-server en een Fibre Channel (FC) of iSCSI Storage Area Network (SAN) voor storage en soms nog InfiniBand voor High Performance Clustering (HPC). Voor de ondersteuning van deze verschillende soorten netwerken zijn voor elk type netwerk aparte, vaak nog redundant uitgevoerde, Interface Modules nodig. Dat betekent, een of meer Ethernet Network Interface Cards (NICs) en Fibre

Channel Interfaces op de servers en redundante switch-paren op elke laag binnen de netwerkarchitectuur. In deze architectuur heeft ieder type netwerk zijn eigen toegewijde stel switches, interfaces, transceivers en bekabeling. Naast de hoge initiële aanschafkosten van deze netwerkarchitectuur, vormen ook de lopende uitgaven aan beheer, stroom en koeling een steeds terugkerende hoge kostenpost op de IT-begroting. Om genoeg expansieslotcapaciteit te hebben om al deze interfaces te kunnen ondersteunen, zijn IT-afdelingen dikwijls genoodzaakt, alleen voor een grotere I/Ocapaciteit, systemen met meer capaciteit aan te schaffen. Bovendien verhoogt de toenemende toepassing van parallelle infrastructuren niet alleen de aanschafkosten, maar maakt het beheer van datacenters lastiger en beperkt de flexibiliteit van de infrastructuur. Een ander probleem dat zich steeds vaker voordoet, is de netwerkbelasting die de implementatie van virtualisatietechnolo-

gie binnen de verschillende lagen van de IT-architectuur veroorzaakt. Gemiddelde servers binnen datacenters vragen al tussen de 6 en 10 Gbps voor een LAN-verbinding en zijn meestal met een FC SAN verbonden. Virtualisatie vraagt aanzienlijk meer netwerkbandbreedte om de servers, die voorheen uitsluitend met een SAN waren verbonden, nu ook met Ethernet te verbinden. Deze trend wordt door virtualisatie, in combinatie met de toepassing van door hardware ondersteunde virtualisatie via Intel IVT en AMD Virtualization cpu’s, verder versneld. Deze laatste technologie reduceert de door virtualisatie veroorzaakte overhead. Het resultaat hiervan is dat er voor applicaties een hoger percentage computer cycles beschikbaar komt, waarmee de netwerkbelasting weer verder toeneemt. In antwoord op deze nieuwe uitdagingen hebben de storage- en netwerkleveranciers Emulex, Qlogic en Cisco in nauwe samenwerking als eersten een UniFied Fabric-oplossing ontwikkeld, waarbij zowel het LAN-, SAN- als clusternetwerkverkeer over een enkel fysiek 10 Gigabit Ethernet (10 GbE)-netwerk verloopt. Cisco heeft hiervoor de nieuwe Nexus 5000 switch-familie, Qlogic de QLE8042 CNA en de firma Emulex de LightPulse LP21000-familie van Converged Network Adapters (CNAs) ontwikkeld.

Cisco Nexus 5000 De Cisco Nexus 5000 Series switches bestaan uit een familie lossless 10 GbE en FCoE switches. De Nexus 5000 series is in zowel een 28-poort 1U als

56-poort 2U form factor leverbaar. De switch moet in staat zijn voor de nieuwe multi-core, multi-socket servers bij een hoog utilisatieniveau de capaciteit te kunnen leveren die voor virtulisatie-software als de VMware Virtual Infrastructure is vereist. De Nexus 5000 voorziet in de benodigde bandbreedte en beheersystemen om alle I/O op de access layer in een enkele fysieke netwerkverbinding te bundelen. iSCSI- en NFS-netwerkverkeer kunnen met Priority Flow Control (PFC) van dedicated classes gebruikmaken. Ondernemingen met traditionele FC SANs kunnen Fibre Channel over Ethernet (FCoE) gaan gebruiken, waarmee zowel SAN- als IP-verkeer via hetzelfde netwerk kan worden getransporteerd (Voor een uitvoerige beschrijving van FCoE zie Storage Magazine 3-2008, pag. 48-53). Bestaande investeringen in FC-SANs gaan dan niet verloren, zodat datacenters zich op de toekomstige directe verbinding met native FCoE-gebaseerde storagesystemen kunnen voorbereiden.

beveiliging, QoS en optimale prestaties biedt (Voor een beschrijving van N-Port Virtualisatie technologie zie Storage Magazine 1-2007, pag. 8-11). Zowel de Nexus 5000 als ook de LP21000 van de firma Emulex zijn ontworpen met een ‘zero service-loss’ architectuur, zodat firmware upgrades zonder downtime van de switch en CNA kunnen worden uitgevoerd. Daarbij is de oplossing, als een van de weinige storageleveranciers, Fibre Channel Security Protocol (FC-SP) compliant, zodat IT-afdelingen hun SANinfrastructuur tegen ongewilde toegang kunnen beschermen. De Nexus 5000 is ontworpen voor toepassing in een Top-of-Rack (ToR)-configuratie, de 2U-uitvoering bevat veertig vaste 10 GbE-poorten via Small Form-Factor Pluggable Plus (SFP+) connectoren en maximaal twaalf extra 10 GbE-poorten via twee 6-poorts expansiemodules of zestien extra 4Gbps FC-poorten via twee 8-poorts expansiemodules. Dit brengt het totaal op 52 tot 56 low latency-poorten

NETWERKBELASTING IN DATACENTERS NEEMT TOE

De op open standaarden gebaseerde acces-layer switch ondersteunt I/O-consolidatie, zodat de noodzaak van extra switches, bekabeling, interfaces en transceivers voor storage, clustering en netwerkverkeer komt te vervallen. De met de Nexus geboden vereenvoudigde I/O-architectuur vraagt minder I/O-interfaces, twee versus de normale vijf tot zeven, waardoor aanzienlijk op de aanschafkosten en TCO-kosten kan worden bespaard. De switch biedt voor Virtual Machines (VMs) geoptimaliseerde diensten als Port Virtualization (NPV) en N-Port ID Virtualization (NPIV) dat in samenwerking met de Emulex LP21000 CNA een consistente

die via een cut-through switching-architectuur, met slechts 3.2 microseconde latency, met elkaar zijn verbonden en hebben een totale netwerkbandbreedte van 1.04 Tbps. Afhankelijk van het type netwerk interface card (NIC) garandeert de switch een 10 microseconde applicatienaar-applicatie latency. Voor de fysieke netwerkverbinding wordt een nieuwe low-latency, low-cost, bekabeling, op basis van een paar low-power transceivers die zijn geïntegreerd met Twinax-koperkabel, gebruikt. De SFP+ direct verbonden koperoplossing gebruikt slechts 0.1 W bij 0.1 microseconde latency. Voor langere lengten zijn multimode short-reach SFP+

optische transceivers beschikbaar. Ten slotte, de Cisco Nexus familie gebruikt hetzelfde basis operating system, NX-OS, als de Cisco MDS 9000-familie.

Configuratie De Nexus 5020 switch ondersteunt I/Oconsolidatie, waarmee FC- en Ethernetverkeer over dezelfde fysieke Ethernetverbinding tussen de switch en de servers kan worden getransporteerd. De switch is gebaseerd op het concept van virtuele interfaces om logische verbindingen over dezelfde fysieke Ethernet-verbinding te emuleren. De Nexus 5020 ondersteunt zowel virtuele Ethernet als virtuele FC interfaces. Een virtuele Ethernet of FCinterface is als een Layer 2 subinterface op de fysieke Ethernet interface geïmplementeerd. De op Ethernet interfaces geconfigureerde logische voorzieningen, zoals VLAN en ACL, kunnen op individuele virtuele Ethernet interfaces worden geconfigureerd. Naast de ondersteuning van FCoE, kunnen de Ethernet-poorten op de switch ook nog als standaard Ethernet interfaces met een server of een LAN worden geconfigureerd. Elke fysieke FC interface op de Nexus switch kan in Expansion (E), Trunking E port (TE), Fabric port (F) en SPAN destination port (SD) mode worden geconfigureerd. In NPV mode kunnen de FC interfaces in F of SD mode werken, maar virtuele FC interfaces alleen in F mode. Bij E port mode werkt de interface als fabric extension port voor de creatie van een Inter Swich Link (ISL) tussen twee switches, de TE-poort voor verbinding met een andere TE-poort in een extended ISL (EISL) configuratie. SD wordt voor switch port-analyse gebruikt. NP is een poort in NPV mode die wordt verbonden met een core NPIV switch via een F-poort en werkt net als een N-poort die als proxy fungeert voor meerdere fysieke N-poorten. Bij de Nexus 5000 switches kan met een daartoe

STORAGE MAGAZINE · 4 · DECEMBER 2008

Figuur 1: De Cisco Nexus 5000.

35

36 STORAGE MAGAZINE · 4 · DECEMBER 2008

geschikte FCoE fysieke interface het transport van netwerkverkeer over een logische klassieke Ethernet (CE) interface als een logische FC interface worden ondersteund. Een virtuele FC wordt als een subinterface van een Virtual Interface Group (VIG) geconfigureerd. Deze ondersteunt alleen F mode en een subset van de voorzieningen van de fysieke FC interfaces. Virtuele FC interfaces ondersteunen geen SAN port channels, VSAN trunking, SPAN, buffer-to-buffer credits, ELP en FSPF protocol, configuratie van fysieke attributen, zoals snelheid, mode en MTU size, en port tracking. In de Nexus wordt het buffer creditmechanisme alleen door de FC interfaces gebruikt, de virtuele FC interfaces gebruiken flow control van de onderliggende fysieke Ethernet interface. De Nexus 5000 ondersteunt de geavanceerde zoningvoorzieningen, zoals die zijn vastgelegd in de FC-GS-4 en FC-SW-3 standaarden. De basis zone-voorzieningen staan standaard aan. Eventueel kunnen features als propagatie van volledige zone sets naar switches op een per VSAN basis en interoperabiliteit met andere leveranciers door een VSAN in ‘interop mode’ te plaatsen, worden gebruikt. Via de Fabric Manager en Device manager zijn de configuratie-instellingen en status van de fysieke Ethernet interfaces zichtbaar te maken. Device Manager voorziet in een grafische presentatie van een switch chassis, geïnstalleerde expansiemodules, de status van elke poort, power supplies en fans. Met Fabric Manager zijn alle gegevens van een of meer switches zichtbaar te maken, met Device Manager slechts van een enkele switch. De switch kan worden geconfigureerd via zowel de Device als Fabric Manager, maar voor de liefhebbers van Linux/UNIX kan dat nog altijd via de traditionele Command Line Interpreter (CLI).

Host/Server Host Networking Drivers

Existing Fibre Chanel Host Drivers (SLI) PCLe

PCLe

Ethernet NIC No Yes

Etype = FCoE?

FCoE Encapsulation

Existing HBA Architecture (firmware, hardware) FC-3/FC-4

Lossless Ethernet MAC

Emulex CNA

2 x 10 Gbps EE Figuur 2: De LightPulse CNA-architectuur van Emulex.

Cisco Nexus 5000 Consolidated I/O Vmware ESX Server-omgeving

StorageTek Storage Array Flexline 280

2 Gbps Fibre Channel

Brocade SilkWorm 200E

2 Gbps Fibre Channel

Cisco nexus 5000 switch 10 GbE iSCSI FcoE

Windows Storage Server Intel board S3200 Quad-core 4GB RAM

CAN Emulex LP21000-M

VSANs Een hogere beveiliging en stabiliteit in FC fabrics is mogelijk via virtuele SANs (VSANs). Deze bieden een betere onderlinge afscheiding tussen devices die met dezelfde fabric zijn verbonden. Met VSANs zijn meerdere logische SANs over een gemeenschappelijke infrastructuur te creëren, waarbij elke VSAN maximaal 239 switches kan bevatten. Een VSAN heeft een onafhankelijke adresruimte, zodat dezelfde FC IDs gelijktijdig in verschillende SANs kunnen bestaan. Op elke VSAN kunnen alle gewenste protocollen draaien, zoals FSPF, domainmanager en zoning. De fabric-gerelateerde configura-

VMware ESX Server 3.51

VMware ESX Server 3.51

Figuur 3: De testconfiguratie van de ESX-omgeving.

tie in een VSAN en ‘events’ die het VSANverkeer in een ander VSAN kunnen verstoren, hebben dan geen invloed meer op elkaar. De Nexus 5000 ondersteunt ook VSAN Trunking waarmee met elkaar verbonden poorten in meer dan één VSAN over dezelfde fysieke link FC frames kunnen verzenden en ontvangen. Trunking is alleen mogelijk via E-poorten en gebruikt het enhanced ISL frame format.

SAN Port Channels Met SAN Port Channels kunnen meerdere fysieke interfaces tot een logische interface voor een hogere samengestelde bandbreedte, load balancing en linkredundantie worden gebundeld. Ten slotte, met N-port Virtualization (NPV) zijn het aantal FC domain IDs in een SAN fabric te verminderen, aangezien Edge switches die in NPV mode draaien, geen

Emulex LightPulse LP21000 De Emulex LightPulse LP21000-familie van CNAs zijn intelligente multi-protocol adapters die tegelijkertijd zowel host LAN- als FC-connectiviteit bieden over 10 GbE via FCoE en Enhanced Ethernetfunctionaliteit. De LP21000 CNAs ondersteunen NPIV en Enhanced Ethernetvoorzieningen met onder andere lossless Ethernet MAC Priority Flow Control. Zo kan onder meer in een VMware-omgeving, vanaf VMware Infrastructure 3 (VI3) ESX Server 3.5, elke VM aan een uniek World Wide Port Name (WWPN) worden gekoppeld. Hiermee kan de WWPN van de host als een uniek FC endpoint op het SAN worden toegepast en de traditionele methoden van FC zoning en lun masking binnen een virtuele serveromgeving gebruiken. Met NPIV kunnen storagebeheerders de verbindingen binnen een virtueel systeem op dezelfde manier beheren als in een traditionele op hardware gebaseerde serveromgeving. Immers, de host server ‘ziet’ de LP21000 als twee aparte PCI devices, een 10GbE NIC en een FC HBA. Het inkomende Ethernet-netwerkverkeer wordt door de lossless MAC verwerkt en vervolgens op basis van het FCoE ethertype gefilterd. Niet-FCoE netwerkverkeer wordt direct bij de Ethernet NIC afgeleverd, het FCoE-verkeer wordt door de FCoE engine ontkoppeld en verder doorgestuurd naar de FC HBA, om uiteindelijk het data block bij de betreffende host device driver af te leveren.

Testopstelling Om te zien hoe de Nexus 5000 switch van Cisco en Emulex LightPulse CNA binnen

Figuur 4: De op iSCSI en FC-gebaseerde beschikbare LUNs.

een VMware VirtualCenter-omgeving functioneren, wordt er een testconfiguratie ingericht. De configuratie bestaat uit twee fysieke op Intel Hyper-V gebaseerde servers die worden uitgerust met een Emulex LP21000-M, single-channel, optical SPF+, CNA op de PCI-E bus. Op de CNAs moeten de transceivers worden vervangen door speciale transceivers van Cisco, aangezien Cisco alleen eigen transceiver IDs er- of herkend. Beide ESX 3.51 Servers worden op de op Intel Hyper-V gebaseerde servers geïnstalleerd. De CNAs worden via de speciale, door Cisco meegeleverde, Twinax-koperkabels verbonden met twee Ethernet-poorten op de Nexus 5020. Voor de CNA levert Emulex een aparte driver, die eenvoudig via een CDROM op de ESX Server kan worden geïnstalleerd. De 1/2/4 Gbps FC-verbinding van de Nexus 5020 in NPV mode met de

Flexline 280 Storage Array loopt via een Brocade SilkWorm 200E. Een absolute voorwaarde voor toepassing van NPIV is dat de eerstvolgende switch dit ondersteunt, een voorwaarde waaraan de SilkWorm 200E, mits voorzien van een bepaald firmware-niveau, aan voldoet. Voor de NPIV-ondersteuning moet op de Nexus 5020 NPV zijn ‘enabled’. Naast het FCoE-protocol is het ook de bedoeling om gelijktijdig iSCSI-verkeer via het TPC/IP-protocol over dezelfde fysieke Ethernet-verbinding te gaan testen. Hiervoor wordt via een 10GbE NIC op de iSCSI Windows Storage Server een server met de Nexus 5020 via glasvezel verbonden. 1GbE wordt in een volgende softwarerelease op de eerste 16 poorten door de Nexus ondersteund. Na de fysieke installatie volgt de configuratie van de beide FCoE- en Ethernet-

(Advertentie)

STORAGE MAGAZINE · 4 · DECEMBER 2008

deel uitmaken van een fabric als switch, waarbij het FC-verkeer tussen de NPV core switch en de eindapparatuur plaatsvindt en er geen uniek domain ID op elke edges witch nodig is. Grootschalige FCnetwerken gebruiken tot dusver meestal een core-edge-model met een groot aantal FC switches die met core devices zijn verbonden. Een moderne FC-architectuur voor datacenters is in toenemende mate op toepassing van FC directors en backbones gebaseerd. Hiermee kan het meerlagenmodel door een meer ‘plat’ netwerkmodel worden vervangen. Naarmate het aantal poorten in een fabric toeneemt, neemt, vooral bij toepassing van blade switches, ook het aantal switches en het aantal IDs toe. NPV lost dit ‘ID-probleem’ op door het domain ID van de NPV core switch te delen met meerdere NPV switches.

37

Figuur 5: De Map VirtualCentre-omgeving.

38 STORAGE MAGAZINE · 4 · DECEMBER 2008

poorten op de Nexus 5020, het aanmaken van de LUNs op de storage array en de instelling van de betreffende FC-zones op de SilkWorm 200E. Vervolgens worden beide ESX Servers opgestart om te zien of de beide Emulex CNA’s door ESX Server worden herkend. Beide ESX Servers worden in een VMware-cluster opgenomen en, zoals gebruikelijk, via een aparte host met VirtualCentre beheerd. Om het overzichtelijk te houden is deze niet op figuur 3 afgebeeld.

Werking Na het opstarten van beide ESX Servers wordt de CNA in het Network Adapter menu als’82598EB 10 Gigabit AF Network Connection’ zichtbaar en in het Storage Adapter menu als ‘Emulex LP21000 GE FCoE Fibre Channel Adapter’. Nadat de(i)SCSI Targets door de respectievelijke iSCSI- en FCoE-adapter zijn herkend, volgt op de gebruikelijke wijze, via de ‘Add Storage Wizard’ binnen VMware VirtualCentre het aanmaken van een LUN en het formatteren met het VMware file system VMFS. Vervolgens kan met de creatie van VMs en de installatie van de diverse Windows 2003 operating Systems worden begonnen. Voordat VMotion kan worden geïnstalleerd, is het noodzakelijk dat beide ESX Servers de shared iSCSI en FC storage via de Nexus 5020 switch kunnen ‘zien’. Eigenlijk verloopt daarna de installatie van VMotion exact gelijk aan een standaardinstallatie met een shared iSCSI en FC storage device. Na de installatie van de operating systems ziet de ‘map’ van de VirtualCentre-omgeving eruit als in figuur 5. De implementatie van de Nexus 5020 valt niet meer in de configuratie terug te vinden, want voor de VirtualCentre-omgeving is de switch volkomen transparant.

Figuur 6: VMotion met op iSCSI en op FC gebaseerde VMs.

Het is interessant om te zien hoe VMotion, server en storage, zich in deze virtuele setup gedraagt. Daartoe wordt gelijktijdig een migratie van zowel een 32-bit als 64-bit Windows 2003 operating system geïnitieerd. Op beide systemen worden zowel een Intel Iometer benchmark gedraaid, als een Quest Benchmarkfactory TCP-C benchmark op basis van SQL Server 2005 waarin tot 1.000 gebruikers worden gesimuleerd. De ene VM is op een FC-volume geïnstalleerd, de andere op een iSCSI-volume. Het verplaatsen en weer terugzetten van beide VMs waarop de twee, voor disks hoogbelastende, applicaties draaien, verloopt snel en zonder problemen.

PLAT NETWERK VERVANGT STEEDS HET MEERLAGENMODEL

Conclusies De 5020 switch van Cisco is de eerste switch op de markt die het FCoE-protocol ondersteunt. Een van de meest aansprekende noviteiten bij deze switch is de mogelijkheid om zowel FC en Ethernet vanuit dezelfde interface te beheren. De implementatie van deze op FCoE gebaseerde switch biedt de mogelijkheid om een Unified Fabric te configureren. De 5020 is, net zoals de MDS 9000 serie, gebaseerd op hetzelfde NX-OS operating system en biedt talrijke mogelijkheden om de interfaces en features te configureren. Cisco heeft voor de implementatie van I/O-consolidatie in 2006 de firma Nuova overgenomen om deze technologie te implementeren in het NX-OS operating system. De switch

kan worden geconfigureerd via de traditionele CLI, of meer comfortabel met behulp van de gebruikersvriendelijke Device en Fabric Manager. Er valt nog geen vergelijking te maken met andere switches, omdat de Nexus 5000 tot nu toe het enige product op de markt is. Concurrent Brocade denkt eind van dit jaar een op FCoE gebaseerde switch op de markt te kunnen brengen. Bestaande FC-gebaseerde omgevingen kunnen nu kiezen om hun bestaande FCarchitectuur af te bouwen en geleidelijk naar een Unified Fabric te migreren. Door de toepassing van iSCSI kan het uniforme op FC gebaseerde storagemodel worden uitgebreid naar een meerlaags storagemodel. Voor een compleet nieuw op te zetten IT-architecturen lijkt de keuze voor FCoE meer vanzelfsprekend. Leveranciers van FCoE-producten beloven in hun brochures met berekeningen dat de aanschaf- en TCO-kosten van een Unified Fabric op basis van Ethernet een aantal malen lager zullen zijn, dan die van op FC gebaseerde netwerken. De praktijk moet echter nog bewijzen in hoeverre deze beloftes in meer of mindere mate kunnen worden waargemaakt. Feit blijft wel, dat de FCoE-technologie talrijke voordelen heeft boven de traditionele op FC gebaseerde netwerken. De vraag is dan ook of FCoE in 2009 al voet aan de grond zal krijgen in datacenters. De concurrentie wijst op het feit dat de standaarden van het FCoE-protocol nog niet allemaal klaar en geratificeerd zijn. Zij verwachten dat de FCoE-technologie in datacenters pas tegen 2010 enige vorm van betekenis zal krijgen. I

BRAM DONS IS ONAFHANKELIJK IT-ANALIST; [email protected]