Op weg naar een Converged Network Infrastructure

Op weg naar een Converged Network Infrastructure Nadelen traditionele data center netwerk architectuur De traditionele data center netwerkontwerpen worden voor verschillende type data gebruikt. De meeste data centers ondersteunen block storage, management, en data communicatie met drie of meer verschillende type netwerken. Als gevolg daarvan brengt de uitbreiding of wijziging van een netwerk extra complexiteit, hardware/software, en management kosten met zich mee. De vraag naar meer bandbreedte en een adaptieve netwerkinfrastructuur, in combinatie met een toenemende ‘network sprawl’, stelt de meerderheid van data center managers voor een uitdaging. De pijnpunten in de hedendaagse data centers zijn: de aanwezigheid van meerdere netwerk fabrics, een groot aantal adapters en switchpoorten, een gecompliceerde netwerkinfrastructuur en een complex beheer van switches en adapters. Bovendien vraagt het beheer van de talrijke service contracten van de verschillende deelnemende leveranciers de nodige administratieve inspanning. Voorwaarden volgende generatie data center netwerk Data center managers zijn op zoek naar oplossingen die de overgang naar, of de vervanging van, het bestaande netwerk door een dynamisch netwerk mogelijk maken. De vraag is naar een netwerkomgeving die meer rekening houdt met de kwaliteit en de servicebehoeften van zakelijk kritische applicaties. Bij een dergelijke data center netwerkarchitectuur, ‘Converged Enhanced Etherned’ genaamd, spelen een drietal factoren een belangrijke rol: consolidatie, convergentie en virtualisatie. Bij consolidatie moeten we denken aan de vervanging van meerdere 1GbE links door een hoge bandbreedte 10GbE of 40GbE (en in de nabije toekomst 100GbE) netwerkinfrastructuur. Consolidatie verlaagd de hardwarekosten doordat er minder adapters, kabels en switches nodig zijn. Het vraagt bovendien minder onderhoud en verlaagd het stroomverbruik. Bij convergentie moeten we denken aan de bundeling van het message, inter-process, en storage data netwerk tot een enkel hogesnelheidsnetwerk. De convergentie maakt het netwerkbeheer eenvoudiger en biedt meer garantie dat gedefinieerde QoSs kan worden nagekomen. Tenslotte, de virtualisatie van de onderliggende fysieke netwerkinfrastructuur biedt een gegarandeerd serviceniveau voor elke type netwerkverkeer. De ontwikkeling van DCB De afgelopen tien jaar zijn er al veel pogingen ondernomen om tot een converged network te komen. Zo was het al lange tijd mogelijk om met het lichtgewicht Fibre Channel Protocol (iFCP) Fibre Channel frames via een IP-netwerk te versturen. Echter, de destijds hoge kosten van FC en de acceptatie van Ethernet als dé standaard voor LAN communicatie verhinderde het grootschalig gebruik van FC. Een uitzondering daarop vormde de data center SANs. Een andere netwerktechnologie in opkomst is InfiniBand (IB). Het bood een converged network voor de transport van Inter-Processor Communication (IPC), LAN en storage protocollen. De meest gebruikelijke storage protocollen voor IB zijn SCSI Remote Direct Memory Access Protocol (SRP) en iSCSI Extensions for RDMA (iSER); dit zijn de RDMA protocollen voor IB. De hoge kosten van IB maakte destijds de grootschalige toepassing niet mogelijk. De laatste tijd zijn © Copyright 2012 Bram Dons IT-TrendWatch

echter de prijzen aanzienlijk gedaald en komen in de buurt van een FC-netwerk. InfiniBand wordt nu steeds vaker toegepast als backbone in storage en clustersystemen, waar een hoge doorvoersnelheid en zeer lage netwerk latency is vereist. Een andere belemmering van IB is dat met complexe gateways en routers de genoemde IBprotocollen en netwerken naar native FC storage devices moeten worden vertaald. Vanwege zijn extreem hoge snelheid en netwerk latency werd IB hoofzakelijk in de High Performance Computing (HPC) omgeving toegepast. Zoals gezegd, tegenwoordig zien we steeds meer dat IB als backplane interconnect systeem voor grote storage en cluster systemen wordt toegepast. De koppeling van iSCSI met FC Internet SCSI (iSCSI) voorziet in een directe SCSI koppeling naar de TCP/IP protocol/laag. Voor gebruikers die zich de kostbare FC-infrastructbuur niet konden veroorloven, bracht een block-gebaseerde SAN over het al bestaande Ethernet LAN infrastrucuur een goedkoper alternatief. Het bood de virtuele omgeving voor het eerst de mogelijkheid om op basis van een iSCSI shared storage systeem via het LAN een VM en storage dynamisch te verplaatsen. Vanwege de mindere prestaties en betrouwbaarheid (in vergelijking met FC) heeft de toepassing van iSCSI in de enterprise data center nooit zo’n grote vlucht genomen. Ook de complexe en dure iSCSI naar FC gateways waren de oorzaak dat de koppeling van iSCSI met een bestaande FC-infrastructuur nauwelijk worden toegepast. Tot op heden zien we dat iSCSI voornamelijk op de lagere tier storage of op afdelingsniveau wordt toegepast. De andere, hiervoor genoemde, convergentie methoden die nauwelijks werden toegepast zijn FC over IP (FCIP) en het Internet FC protocol (iFCP). Beide protocollen mappen het Fibre Channel Protocol naar LANs, MANs en WANs (zie figuur 1). FCIP dient als protocol om SANs over grotere afstanden te koppelen. Het is niet geschikt voor hostserver of verbinding met een target-storage. Het iFCP protocol verbindt Ethernetgebaseerde hosts aan FC-SANs via een iFCP-to-FC SAN gateway.

Figuur 1: Multiple protocol stacks (bron HP)

Network convergence met FCoE © Copyright 2012 Bram Dons IT-TrendWatch

Tot voor de komst van 10GbE technologie vormde, vanwege de beperkte bandbreedte, het 1 Gigabit Ethernet netwerk het voornaamste obstakel voor de praktische toepassing van een converged network binnen data centers. Het 10GbE netwerk maakt nu het gecombineerd gebruik van zowel data als storage verkeer over over dezelfde fysieke verbinding mogelijk. 10GbE biedt kritische applicaties de vereiste bandbreedte. We zien dan ook dat het 10GbE netwerk steeds vaker wordt toegepast in de data center. Het biedt ook mogelijkheden voor de toepassing van het nieuwe Fibre Channel over Ethernet (FCoE) protocol (zie kader). Naar een Converged Enhanced Ethernet Een van de nadelige eigenschappen van legacy Ethernet netwerken is dat bij ‘packet collision’, of situaties waar netwerkcongestie optreed, er bij het transport data packets verloren kunnen gaan. Ethernet vertrouwt op het TCP-protocol om bij verlies van een packet deze opnieuw te versturen. Het opnieuw versturen betekent wel vertraging in het data transport. Dat is onacceptabel voor high performance transacties en kritische applicaties in een data center omgeving (een van de redenen waarom iSCSI in de data center als primair storage system nooit een sukses is geworden). Om tot een converged network te komen moet een 10GbE netwerk de Ethernet netwerktechnologie ‘no-drop’ of ‘lossless’ eigenschappen bezitten. De recente innovaties (zie kader ‘Data Center Bridging’) maken nu een lossless 10GbE netwerk mogelijk. Het lossless netwerk bezit daartoe de volgende eigenschappen: door middel van Per-Priority PAUSE (PFC) de isolatie en prioriteit van verschillend type netwerkverkeer; gegarandeerde bandbreedte voor verschillende type netwerkverkeer; uitwisseling van eigenschappen van end-points en switches via een geavanceerd management protocol. Met de komst van lossless 10GbE zal op basis van de nieuwe netwerkstandaarden, zoals FCoE, Ethernet steeds meer als medium voor een converged network worden toegepast. FCoE-enabled Enterprise Network Convergence Het FCoE protocol maakt het mogelijk om FC-protocollen en frames over een zogenoemd Converged Enhanced Ethernet (CEE) of lossless Ethernet netwerk te transporteren. FCoE is echter geen vervanging van het conventionele Fibre Channel netwerk maar een uitbreiding van FC, maar dan over een andere link layer. Het maakt een lossless Ethernet infrastructuur mogelijk om zowel FC storage data als elk ander type data via het hetzelfde medium te transporteren. FCoE binnen een DCB omgeving (zie kader) bootst de lichtgewicht eigenschappen van native FC protocollen en media na. Daarom werkt FCoE alleen op een DCB-enabled Ethernet waarbij het van lossless klasse dataverkeer gebruik maakt. Hiermee wordt het verlies van Ethernet frames en verstopping van het netwerk voorkomen. Het maakt geen gebruik van de TCP of zelfs IP protocollen. Het betekent wel dat FCoE een layer 2 (non-routable) protocol is, net zoals FC, waardoor FCoE alleen geschikt is voor korte afstonden binnen de data center. De primaire doelstellingen van FCoE zijn: kostenbesparing via I/O consolidatie, het in tact houden van de hoogpresterende, lage latency, en robuuste veiligheid van FC, bescherming van de gedane investeringen in FC, tools en training.

© Copyright 2012 Bram Dons IT-TrendWatch

Om een tweetal redenen ontstond bij gebruikers de wens om Ethernet netwerken als transportsysteem voor FC te gebruiken. Ten eerste, vereenvoudiging van het protocol stack op de host. Ten tweede, de consolidatie van netwerk interfaces in data center omgevingen. In de praktijk betekent het de vervanging van een FC en NIC interface door een enkele zogenoemde Converged Network Adapter (CNA). Het voordeel is dat er nog maar een Ethernet kabel tussen de systemen nodig is (zie figuur 2). De CNA wordt door het operating system zowel als een Ethernet NIC als ook een Fibre Channel Host Bus Adapter (HBA) gezien. Een voordeel voor de netwerkbeheerder is dat de netwerkconfiguratie en beheer daarvan niet wezenlijk verandert. De CNA ondersteunt de CEE features die nodig zijn voor een lossless netwerkverbinding en QoS voor de verschillende typen netwerkverkeer. De op FC-standaarden gebaseerde shared storage SANs hebben hun betrouwbaarheid en prestaties het afgelopen decennium bewezen. Het is dan ook niet onlogisch om van deze FC-protocollen gebruik te blijven maken en deze over een betrouwbaar Ethernet gebaseerd CEE netwerk te transporten. De CNA herkent alle aanwezige storage systemen op het FC SAN en presenteert de daarop aanwezige LUNs aan het OS op dezelfde manier als dat bij een Fibre Channel HBA het geval is. Dezelfde multi-pathing software, die nodig is voor een high availability configuratie in een traditionele SAN, kan ook in een converged network worden gebruikt.

Figuur 2: Converged Network Adapter (bron HP)

Lossless 10 Gigabit Ethernet Switch Lossless 10GbE Ethernet switches (of DCB switches) vormen de sleutel voor de toepassing van een converged netwerk binnen de data center. Naast iSCSI ondersteunen de DCB switches de basisfuncties die nodig zijn voor een lossless Ethernet implementatie en het FCoE protocol (zie figuur 3). Omdat de met FCoE uitgeruste FC-switches alle services ondersteunen die een standaard FC-switch ook biedt, kunnen ze direct op een FC storage array of een andere switch/director worden aangesloten. DCB switches ondersteunen ook Enhanced Transmission Selection (zie kader ‘Data Center Bridging’). Hiermee kunnen beheerders de bandbreedte op basis van het type netwerkverkeer (TCP/IP, iSCSI of FCoE) aan priority groups toewijzen. FCoE consolidatie zal in eerste © Copyright 2012 Bram Dons IT-TrendWatch

instantie op de ‘edges’ van het netwerk worden toegepast. Op die plaatsen kunnen converged network adapters en DCB switches met FCoE ondersteuning al profiteren van de lossless eigenschappen (zie figuur 3). De meeste recente core en edge switches krijgen de komende tijd de mogelijkheid om via een firmware upgrade de switches voor FCoE aan te kunnen passen.

Figuur 3: DCB Edge Switches (bron Emulex)

Transitie naar een converged fabric De meeste ondernemingen zullen waarschijnlijk van een praktische benadering uitgaan bij de implementatie van DCB/FCoE technologie. Een eerste stap kan worden gezet door al zoveel mogelijk de bestaande HBAs en NICs te vervangen door CNAs. Daarmee kan elke server zowel FC als het traditionele LAN-gebaseerde communicatieverkeer afhandelen. Zoals hiervoor is beschreven, het reduceert het aantal NICs, HBAs en vereenvoudigt de netwerkkabelinfrastructuur. De CNAs worden verbonden met een DCB switch die het Ethernet en FC verkeer opsplitst (zie figuur 3). In een volgende fase kan FCoE dan verder in het netwerk worden geïntegreerd op basis van FCoE gebaseerde storage devices (wanneer deze de komende jaren beschikbaar komen). Converged Infrastructure vs. Best-of-Breed oplossing Een paar belangrijke leveranciers leveren al een converged netwerk, de zogenaamde ‘one-stop-shopping’ oplossingen op basis van FCoE en 10 GbE. Het zijn geïntegreerde oplossingen van de volgende gevestigde leveranciers: HP VC FlexFabric, Brocade Unified DCB/FCoE en Cisco UCS. Cisco heeft geen eigen storage oplossingen maar werkt samen met EMC en VMware bij de ontwikkeling van Vblock en met NetApp en VMware bij het product FlexPod. VMware is van plan om de netwerkvirtualisatie ‘startup’ firma Nicira op te kopen. De Nicira technologie is vergelijkbaar met VMware’s VXLAN. De laatste is proprietary en werkt alleen met VMware’s eigen cloud platform. Met beide technologieën is VMware biedt virtuele netwerkdiensten voor haar eigen en niet-VMware netwerkomgevingen.


Oracle is een andere concurrent met een unieke strategie. Want het combineert zijn krachtige software stack met de server en storage technologie (van het overgenomen SUN, inclusief het voormalige StorageTek). Tot voor kort ontbrak het Oracle echter aan een eigen virtuele netwerktechnologie. Onlangs heeft het daartoe de firma Xsigo opgekocht. Xsigo is een top-of-the-rack oplossing die de verbindingen tussen server en de switch virtualiseert op basis van 10GbE of IB. Toekomstige nieuwe spelers op de converged network markt zijn Dell, Intel en de HuaWei Symantec joint venture. De sleutel voor het bouwen van een converged network is een snelle en betaalbare 10/40/100 GbE Ethernet switch backbone. Dell heeft met de overname van Force10 en Intel met Fulcrum Microsystems de daarvoor benodigde netwerktechnologie in huis gehaald. De converged infrastructure biedt een aantal voordelen boven de zogenoemde ‘best-of-breed’ oplossing. Belangrijkste voordeel van de geïntegreerde oplossing is de levering door een enkele leverancier met een enkel aanspreekpunt voor de klant met betrekking tot onderhoud en storing. Het alternatief, de Best-of-Breed oplossing, biedt gebruiker de mogelijkheid om een converged network samen te stellen uit producten van meerdere leveranciers op basis van de door leverancier(s) gespecificeerde template(s). Het voorkomt daarmee de bekende vendor lock-in. Het kan ook belangrijk zijn in omgevingen waarbij al grote investeringen in server, storage of netwerken zijn gedaan. Epiloog De converged data center is een veelbelovende nieuwe netwerkarchitectuur. Om een aantal redenen is er bij data center managers nog wel enig voorbehoud om deze architectuur te gaan toepassen. Ten eerste, de meeste enterprise data centers hebben nog aparte afdelingen die belast zijn met storage en messaging netwerken. Daarnaast is het nog onduidelijk hoeveel de ROI van een converged data center bedraagt. Bovendien is er nog geen de facto standaard voor de converged data center, de architectuur is complex en er is voorlopig nog een gebrek IT skills. Managers zien zich bovendien de komende jaren nog voor de lastige keuze gesteld: implementatie van een converged data center op basis van ‘best-of-breed’ of ‘one-stop-shopping’? Naar het zich laat aanzien zal de architectuur in de data center de komende jaren gebaseerd blijven op verschillende type netwerken en protocollen. Daarbij is een ding zeker: Fibre Channel zal nog lange tijd als primair opslagnetwerk worden toegepast (de laatste verkoopcijfers tonen laten zelfs een groei zien in het aantal op FC-gebaseerde producten). Wat betekent het dan voor data-center managers die vastbesloten zijn om de voordelen van server en I/O consolidatie, eenvoudig beheer en stroombesparing via innovaties als server virtualisatie te realiseren? De voordelen zijn zeker er, maar die zijn niet op korte termijn te bereiken door simpelweg DCB of een andere converged fabric te implementeren. Daarbij komt, alle in de afgelopen decennia beproefde protocollen die in de data center worden gebruikt, kunnen ook niet zo maar overboord worden gezet. FCoE


FCoE voorziet in een methode om het FC-verkeer over een fysieke CEE verbinding te transporteren. FCoE frames maken van een uniek EtherType gebruik waarmee zowel FCoE als standaard Ethernet netwerkverkeer over dezelfde CEE Ethernet verbinding kan worden getransporteerd. EtherType is een twee-octet grootte veld in een Ethernet frame en wordt gebruikt om aan te geven welk protocol in de Payload van een Ethernet Frame wordt ingekapseld. FC frames kunnen van een ‘FCoE-aware’ device via Ethernet naar een ander FCoE-aware device worden verstuurd (zie figuur 4). Dat kunnen FCoE end nodes (ENodes) zijn, zoals servers, storage arrays of tape drives aan de ene kant zijn en FCoE Forwarders (FCFs) aan de andere kant; FCFs zijn switches die fabric services en FCoE-to-FC bridging ondersteunen.

Figuur 4: FCoE frame

Data Center Bridging Een informeel consortium dat bestond uit netwerkleveranciers, heeft destijds een aantal Ethernet uitbreidingen voorgesteld. Deze moeten een beter netwerkbeheer en een lossless verbinding mogelijk te maken. De voorstellen hebben geleid tot een standaard van de Data Center Bridging (DCB) task group (een group binnen de IEEE 802.1 Work Group). DCB bestaat uit vier verschillende technologien: Per-Priority PAUSE (PFC), Enhanced Transmission Selection (ETS); Congestion Notification en DCB Exchange (CM). Alle vier de enhanced Ethernet features werken onafhankelijk van elkaar. Gezamelijk moeten ze bij netwerkoverbelasting het verlies van een netwerk packet voorkomen. Per-Priority PAUSE voegt velden toe aan het standaard PAUSE frame. Het staat een device toe om op basis van een bepaalde prioriteit de verzending van frames tegen te gaan, dit in contrast tot het stoppen van alle frames. Enhanced Transmission Selection (ETS) biedt netwerkbeheerders de mogelijkheid om voor een verbinding de bandbreedte een bepaalde prioriteit te geven; gespecificeerd als percentage van de totaal beschikbare netwerkbandbreedte (zie figuur 5). Congestion Notification voorziet in een end-to-end mechanisme voor het versturen van congestion informatie per traffic flow. Via het DCB Exchange Protocol (DCBx) wordt informatie tussen peers uitgewisseld over de andere drie DCB features. Parallel met DCB heeft de acceptatie van de FCoE standaard de adoptie van netwerkconvergentie versneld. de FCoE en DCB protocollen worden door drie verschillende industriele standaardlichamen ontwikkeld: INCITS Technical Committee T11: FCoE; IEEE: DCB en IETF: TRILL.


Figuur 5: Opsplitsing van netwerkbandbreedte op basis van netwerkprioriteit


Op weg naar een Converged Network Infrastructure

Recommend Documents