Virtuele I/O in het datacenter Binnen de datacenters bestaat de I/O server infrastructuur uit steeds meer verschillende onderdelen. De beheerskosten kunnen hierdoor stevig oplopen. Virtualisatie kan helpen deze kosten in te perken. Volgens Bram Dons is de VP780 director van de firma Xsigo hiervoor een handige oplossing.
Xsigo VP780 I/O director De hedendaagse verouderde I/O-servertechnologie is binnen datacenters steeds vaker een van de grootste kostenposten. De beheerkosten, de uitgaven aan infrastructurele hardware en het vermogen voor het snel doorvoeren van aanpassingen zijn allemaal van invloed op de uiteindelijke Total Cost of Ownership (TCO)-kosten van de bestaande I/O-serverarchitectuur. In grote datacenters veroorzaakt deze I/O-serverarchitectuur ook nog een ander probleem, aangezien de toenemende complexe netwerkomgevingen, in combinatie met een groeiende vraag naar meer netwerkcapaciteit en een inflexibel beheermodel, talrijke beheersproblemen creëren. Deze problemen ontstaan doordat de afgelopen twintig jaar de wijze waarop servers met netwerken en storage zijn verbonden nauwelijks is veranderd. Het IT-infrastructuur binnen datacenters is hierdoor uitgegroeid tot een fijnmazig netwerk dat bestaat uit talrijke netwerkkabels, I/O-kaarten, switches en routers. In de loop van de jaren zijn er netwerkomgevingen gecreëerd die nu dagen en weken van planning vereisen om uitbreidingen of wijzigingen te kunnen doorvoeren. Deze inflexibele I/O-infrastructuur drijft de onderhoudskosten op en maakt het bijna onmogelijk om snel te kunnen reageren op noodzakelijke wijzigingen in de bestaande netwerkinfrastructuur. Met de komst van virtuele IT-omgevingen kunnen de I/O-infrastructuren ook niet snel op wijzigingen in de netwerk- en storage-infrastructuur inspelen of reageren op sterk wisselende server- en netwerkbelastingen. De hoge I/Oinfrastructurele kosten van de bestaande I/O -architecturen kunnen zelfs de kosten van de servers overstijgen. Bovendien is de bezettingsgraad laag, analisten schatten dat slechts 10 procent van de server- en I/O-bronnen productief wordt gebruikt. Meerdere onderhoudteams, zoals aparte voor het netwerk, de beveiliging en de storage, zijn nodig om zelfs de kleinste wijzigingen te kunnen doorvoeren. I/O en virtualisatie De hedendaagse I/O-infrastructuur is niet ontworpen om meerdere applicaties op een enkele server te kunnen laten draaien of om applicaties realtime te migreren. De toepassing van processorvirtualisatie heeft een nieuw I/Oflessenhalsprobleem binnen datacenterinfrastructuren gecreëerd. Want in dit model wordt niet alleen de processor-, maar ook de I/O-capaciteit gedeeld. Het ontwerp van de bestaande I/O-infrastructuren berust op een traditioneel gebruik van een enkele server en kan geen rekeninghouden met de opdeling van I/O-capaciteit over meerdere virtuele cpu’s. Hierdoor ontstaat er een
I/O-capaciteitsprobleem. Een hogere netverkeerbelasting, in combinatie met onvoorspelbare verkeerspatronen, kunnen dan tot vertragingen binnen applicaties leiden. Oplossingen Een mogelijke oplossing voor dit flessenhalsprobleem is het, via meer fysieke Ethernet- en Fibre Channel (FC)-verbindingen, toevoegen van meer I/O-capaciteit. In een omgeving met 1U hoge bladeservers kan dit slechts beperkt worden toegepast, omdat daar vaak maar een of twee vrije PCIExpress card slots beschikbaar zijn. Het aantal I/O-poorten wordt hierdoor effectief tot vier Ethernet-interfaces en twee FC-interfaces beperkt. Alhoewel dit in een traditionele omgeving nog voldoende was, zal op een fysieke server, waarop vier tot twintig VMs draaien, het I/O-gedeelte een flessenhals gaan vormen. In 3U rackservers is meestal wel plaats voor meer dan twee I/O-kaarten, maar een belangrijk nadeel bij de toepassing van een oplossing met meerdere I/O-kaarten is de noodzaak om ook meerdere fysieke kabelverbindingen tussen elke I/O-poort op de interfacekaart en een poort op een FC of Ethernet switch te moeten aanleggen. Nog afgezien van de hardwarekosten die deze oplossing met zich meebrengt, maakt dit de netwerkarchitectuur onnodig complex en lastig te configureren bij wijzigingen en uitbreidingen. Er is daarom een nieuwe I/O-architectuur nodig. Een mogelijke oplossing is een virtuele I/O switch. Toepassing van I/O-virtualisatie via een speciale hardware appliance, maakt het dan mogelijk om alle fysieke FC- en Ethernetverbindingen door virtuele verbindingen te vervangen. Een dergelijke omgeving maakt I/O-bronnen eenvoudig overdraagbaar en kan veel eenvoudiger worden beheerd. Beheerders kunnen I/O-bronnen on-the-fly toewijzen, zonder de netwerk- en storageconfiguraties te hoeven aanpassen en eveneens zonder het datacenter fysiek te moeten betreden om de patchkabels om te zetten. Het resultaat van deze oplossing is een I/O-architectuur die eenvoudiger kan worden beheerd, kosteneffectief en volledige open is. Volgens schattingen kunnen grote datacenters door het toepassen van virtuele I/O 80 procent op hun servergerelateerde operationele kosten, 50 procent op de hardwarekosten en eveneens 80 procent op bekabeling besparen. Xsigo De I/O Director van de firma Xsigo gebruikt een virtuele I/O switch om op flexibele wijze servers aan netwerken en opslagsystemen te verbinden. Deze virtuele I/O-oplossing vervangt op elke server alle fysieke storage- en netwerkkaarten, de NICs en HBAs, door een enkele InfiniBand Host Channel Adapter (HCA). Op basis hiervan worden vervolgens virtuele NICs en HBAs gecreëerd die on-the-fly kunnen worden gebruikt. Voor applicaties en operatingsystemen maakt het niets uit, want deze zien geen verschil tussen de virtuele NICs en HBAs en hun fysieke NIC- en HBA-tegenhangers. Met virtuele I/O kunnen, op het moment dat dit nodig is en met gegarandeerde IO-prestaties en een geïsoleerde beveiliging, zelfs wanneer er op dezelfde fysieke server meerdere applicaties staan, applicaties van de juiste verbindingscapaciteit worden voorzien. Verder kunnen QoSvoorzieningen voor bepaalde kritische applicaties een zekere netwerkbandbreedte garanderen. Met QoS kan onder andere in een virtuele serveromgeving een specifieke VM worden geconfigureerd, waarmee elke VM zijn eigen dedicated virtuele I/O-bronnen ter beschikking krijgt. In tegenstelling tot proprietary-oplossingen, werkt de Xsigo I/O Director met de meeste gewone x86-servers en bladeservers. Er zijn bovendien geen proprietary software- en/of agents of applicaties op de server nodig, want de Xsigo I/O Director werkt transparant. De Director maakt consolidatie mogelijk door alle op de server aanwezige Ethernet en FC interfaces door een enkele hoge snelheid, een low latency, 10-20 Gbps-verbinding op basis van een InfiniBand HCA, te vervangen. Hierbij communiceren meerdere virtuele Ethernet interfaces, de vNICs, en virtuele FC interfaces, vHBAs, over een enkelvoudige fysieke verbinding
(zie figuur 1). De virtuele interface komt tot stand via de virtualisatiehardware en de hostdrivers van Xsigo. Het Xsigo I/Ovirtualisatieconcept is op de open standaarden van FC, Ethernet en InfiniBand gebaseerd.
Figuur 1. De virtuele I/O-architectuur van Xsigo Xsigo I/O director Het basisproduct van Xsigo bestaat uit de VP780 I/O director, een aantal plug-in modules en de bijbehorende managementsoftware. Het is een 4U hoog device met standaard 24 non-blocking 10 Gbps-poorten voor server- of expansion switchverbindingen. Daarnaast biedt de director plaats aan vijftien hot-swappable plug-in modules voor verbindingen naar netwerken en opslagsystemen. Er zijn modules voor Ethernet, zowel 1GbE als 10GbE, FC en InfiniBand beschikbaar. Een enkele HCA op een server kan tot 32 virtuele HBAs en 64 NICs ondersteunen. Tevens is er een 4 x 1GbE Ethernet module beschikbaar die 64 vNICs ondersteunt, een 1 x 10GbE met maximaal 128 vNICs, een 2 x 4 GB FC-module met 64 vHBAs en een InfiniBand module met een 10 Gbps Cx4 koperverbinding. De Xsigo biedt verder een 10-20 Gbps-verbinding naar elke server. Behalve de standaard driver hoeven er geen agents of managementsoftware op de server te worden geïnstalleerd. Er zijn nu alleen nog drivers beschikbaar voor Linux en Windows op x64/86-platforms, maar in de toekomst wordt dit uitgebreid. Verder is er nog een expansie-switch leverbaar, de Xsigo IS24 Expansion Switch, die uitbreiding tot 24 poorten biedt voor extra serverconnectiviteit. Combinaties van meerdere expansieswitches kunnen geconsolideerde I/O voor honderden servers bieden. Een minimale configuratie begint bij een instapprijs van 30,000 dollar. Xsigo Management System Het Xsigo Management System (XMS) is een multi-chassis managementsysteem voor het beheer van de VP780 I/O Directors en Xsigo virtual I/O. XMS is een server-client model dat virtuele bronnen kan beheren op chassis-, moduleen objectniveau. XMS is een browsergebaseerd beheersysteem dat op een remote server draait. De remote XMS-server vertaalt de configuratie en beheertaken van de XMS webinterface en stuurt deze informatie door naar de VP780s. XMS kan op twee manieren worden toegepast, als standalone of plugin, maar voor wat betreft de configuratie en beheertaken maakt dit geen
verschil. Het XMS-systeem gebruikt een aantal additionele services, zoals PostgreSQL, Apache webserver, Aikido packages, Tomcat webserver en Xsigo proprietary-processen. XMS kan ook als een plug-in voor VMware VirtualCenter Manager worden geïnstalleerd. Omdat de XMS webinterface als een plug-in via VMware Virtual Infrastructure Client wordt ondersteund, loopt de toegang tot Xsigo virtuele I/O via de beschikbare tools in de VMware’s VC-client gebruikersinterface. De fysieke server met daarop de XMS server is op Red Hat Enterprise Linux 4 gebaseerd, de client is op basis van een Mozilla Firefox of Microsoft Internet Explorer 7.0 browser gebaseerd. Virtual I/O en VMware Xsigo’s virtuele I/O-technologie biedt de mogelijkheid om flessenhalzen te elimineren en de kosten te beperken door alle fysieke NICs en HBAs op een fysiek server door een enkele fysieke HCA adapter te vervangen. De toepassing van een HCA op een VMware ESX-server biedt de mogelijkheid om de genoemde fysieke interfaces door virtuele bronnen te vervangen, die op de VMware ESX-server er precies hetzelfde uitzien als hun fysieke vervangers. Vanuit het gezichtspunt van de hypervisor gedraagt virtuele I/O zich exact als de conventionele NICs en HBAs en kunnen dus rechtstreeks aan de virtuele switches worden gekoppeld, net zoals dat met de traditionele I/O setup het geval was. Het voordeel van virtuele I/O is dat verbindingen meteen kunnen worden aangebracht, van de ene server naar de andere server kunnen worden gemigreerd en dat de bandbreedte met behulp van beheertools nauwkeurig kan worden ingesteld. Virtuele I/O biedt 20 Gbps aan bandbreedte per server die dynamisch tussen alle VMs die op de fysieke server wordt gedeeld. Verbindingen kunnen per specifieke VM worden toegewezen en op specifieke externe poorten op de Xsigo I/O Director getermineerd. Dit staat gelijk aan een dedicated link, waarbij de noodzaak vervalt om dedicated bekabeling te moeten gebruiken. QoS zorgt voor een gegarandeerde bandbreedte die voor zowel de specifieke virtuele NICs, als voor de HBAs kan worden ingesteld. Virtuele I/O maakt het verhuizen van een server of specifieke VM van het ene fysieke netwerk naar een ander eenvoudig, zonder de kabelaansluitingen te moeten veranderen. Netwerkisolatie wordt automatisch bereikt, zonder op VLANs te hoeven vertrouwen. De werking van VMotion wordt versneld door een dedicated hogesnelheid verbinding te gebruiken, want de low-latency switched InfiniBand fabric biedt een snelle server-naar-server communicatie. Binnen de fabric kan op eenvoudige manier een geïsoleerd VMotion-netwerk worden geconfigureerd, die volkomen van het productienetwerk is geïsoleerd. Door informatie van de ene vNIC naar de andere te versturen, kunnen alle servers bijna op een snelheid van 10 Gbps werken, met een latency die minder is dan 30 microseconde bij toepassing van standaard TCP/IP-protocollen. Elke hypervisor kan tot maximaal 32 vNICs en 12 vHBAs worden geconfigureerd. Configuratie vNICs en vHBAs Virtual NICs kunnen als deel van een paar vNICs in een high availability (HA) groep worden geconfigureerd, waarbij één vNIC actief is en de andere online standby. HA vNICS ondersteunen QoS Policies, waarbij op elke vNIC de Committed Information Rate (CIR), PIR (Peak), CBS (Comitted) en PBS (Peak Bearst) kan worden ingesteld. Netwerk QoS is voor ingress- of egressnetwerkverkeer of beide in te stellen. Ingress-netwerkverkeer heeft betrekking op het bij de vNIC inkomende netwerkverkeer, egress op uitgaande vNICS, die op de VP780 met Quad GbE, 10GbE en 10-poort GbE module kunnen worden ondersteund. Voor een virtuele I/O-verbinding moet aan tenminste één vNIC aan iedere server profile worden toegekend, waarna meer vNICs met de Profile-wizard kunnen worden toegevoegd. Naast HA, kan een vNIC in een VLAN, DHCP of statisch IP-adres worden geconfigureerd. In Trunk Mode kunnen vNICs als trunks voor VLANs worden geconfigureerd. Een vNIC kan met de
Migrate Virtual I/O Services naar een ander server profile of VM worden gemigreerd. Wel moet daarvoor eerst de vNIC worden afgeschakeld, waarna het migratieproces de vNIC van de fysieke Ethernet-poort ontkoppeld. Virtuele HBAs ondersteunen logische verbindingen met FC storage devices en communicatiepaden voor het lezen en schrijven van data. Een virtuele HBA kan als persistent mapping, LUN mask of SAN Boot worden geconfigureerd. Een persistent mapping is een ‘non-volatile’ bundeling van een target en een getal, de laatste geeft de volgorde aan waarmee de target aan de VP780 wordt gepresenteerd, nadat het is ontdekt. Omdat de binding non-volatile is, blijft deze na stroomverlies intact, waardoor men verzekerd is dat storage targets altijd dezelfde FC-poort en HBA gebruiken. LUN masking biedt afscherming van bepaalde LUNs of storage targets van servers of initiators. Een LUN Mask kan via het menu Virtual Resource -> LUN Mask profiles worden aangemaakt. Voor virtuele I/O-connectiviteit moet tenminste één vHBA aan elke server profile worden gekoppeld. SAN Boot ondersteunt het booten van een server vanaf een SAN disk via een vHBA. Om vanaf een remote device te booten, moet het storagedevice lokaal kunnen worden benaderd. Hiervoor heeft Xsigo ROM BIOS-uitbreidingen op de HCA-kaarten aangebracht. Net zoals vNICs, kunnen ze ook naar een ander server profile of VM worden gemigreerd. Server Profiler, QoS en ACL Een server profiler is een softwareconstructie die alle virtuele I/Obronnen, zoals een vNIC en vHBA, bevat die voor een end-to-end-verbinding nodig zijn. Bij de creatie is het een leeg object dat geen enkele virtuele bron bevat. vNICs en vHBAs op de hostserver kunnen aan een profile worden toegevoegd, waarna ze verplaatst, veranderd, geactiveerd of verwijderd kunnen worden. Via QoS is de beschikbare bandbreedte voor een vNIC in te stellen Dit kan een default QoS of een door de gebruikers gedefinieerde QoS zijn. Het Xsigo default QoS-model bevat een aantal instellingen voor QoS van waaruit gebruikers kunnen kiezen (zie figuur 2). Naast de naam van de Policer Profile bevat het de CIR-, PIR-, CBS-, PBS-instellingen en het aantal betrokken vNICs. Voor een vHBA is ook een QoS policy in te stellen, met dezelfde bandbreedteparameters als die van de vNICs. Een QoS policy geldt alleen voor een vHBA. Ten slotte kan nog een Acces Control List (ACL) voor het toegestane netwerkverkeer worden geconfigureerd. Een ACL-instelling wordt per vNIC geconfigureerd en alleen op 10GbE NICs ondersteund. Er kunnen een aantal ‘matching’conditions’, zoals poortadressen, TCP of UDP en VLAN Ids, en te nemen acties, zoals allow, apply QoS policy en packet priority marking, worden ingesteld. Daarmee kan onder meer het uitgaande netwerkverkeer van prioriteiten worden voorzien of een packet drop forceren bij detectie van een Denial of Service (DoS)-aanval, zodat al het verkeer met een specifiek IP- of MAC-adres kan worden geblokkeerd.
Figuur 2. Een QoS-profiel voor virtuele NICs Testopstelling Xsigo met VMware Interessant is om te weten hoe virtuele I/O in de VirtualCenter-omgeving van VMware wordt toegepast. Daartoe wordt een VMotion-omgeving op basis van een FC shared storage gecreëerd. De daartoe gebruikte StorageTek Flexline 280 disk array wordt, via een Brocade SilkWorm 200E, aan een Xsigo FCmodule gekoppeld. Voor de toepassing van Xsigo I/O-virtualisatie moet de gebruikte FC-switch N_Port ID Virtualization (NPIV) ondersteunen. NPIV is een uitbreiding van de FC-standaard en wordt ondermeer door de SAN switches en directors van Brocade ondersteund. NPIV voorziet VMs van een uniek FC World Wide Name (WWN) waardoor meerdere VMs dezelfde fysieke FC HBA en switch port kunnen gebruiken. Voordeel van NPIV is dat er minder fysieke componenten nodig zijn en de toepassing van FC zoning op VM-niveau (voor een uitvoerige beschrijving zie <curs>Storage Magazine 1-2007, pag. 811). Op beide VMware ESX-servers 3.51 wordt de Xsigo HCA in een vrij PCIExpress slot op de server geïnstalleerd. De HCA’s zijn standaard InfiniBand-adapters. Met de door Xsigo meegeleverde software kan de firmware van een standaard HCA worden aangepast. De verbinding tussen de HCAs naar de Xsigo InfiniBand-poorten verloopt via koperen CX4-kabels die in lengten tot 11 meter kunnen worden verkregen. De server met daarop VMware VirtualCentre wordt via een 1GbE-verbinding aan een Nortel 24 x 1GbE switch verbonden en vervolgens via een 10GbE-verbinding met een Xsigo 10GbE-module (zie figuur 3).
Figuur 3. Een testconfiguratie van Xsigo in een VMware-omgeving Binnen VirtualCenter van VMware wordt XMS als een plug-in geïnstalleerd en draait als een single-chassis standalone mode of een multi-chassis XMSserveromgeving. In een single-chassis, standalone mode, de hier beschreven opstelling, communiceert de XMS Plug-in direct met de VP780 binnen de VMware Virtual Infrastructure Client (VI Client). De testopstelling is als standalone geconfigureerd, waarbij de configuratie geen XMS-server heeft en alle XMS-functies door de XMS Plug-in, de VI Client, en de XMS Web Access component worden ondersteund. Na installatie van de XMS Plug-in, wordt de Xsigo Virtual I/O knop binnen het VMware Infrastructure Client menu aangeklikt. De Control Panel is de XMS webinterface die alle basisbeheerfuncties bevat. Op een lager niveau bevindt zich een hiërarchie van de te beheren objecten als vNICs, vHBAs, server profiles, ACLs en QoS en op het allerlaagste niveau objecten, zoals I/O poorten. Door het aanklikken van de ‘Inventories’ lijst ‘Physical Servers’ kan worden gezien welke fysieke servers via de InfiniBand HCAs met de VP780 zijn verbonden. Na installatie van de ESX-servers op de locale disk, moeten de Xsigo HCAdrivers handmatig via de CLI op de servers worden geïnstalleerd. Vervolgens worden de Server Profiles en de vNICs en vHBAs aangemaakt die voor een VMware VMotion-configuratie nodig zijn. Voor beide ESX-servers worden vNICs gecreëerd voor de serviceconsole en de VMkernel voor VMotion. Vervolgens worden enkele VMs op de shared storage geconfigureerd en daarop wordt een SQL Server 2005 geïnstalleerd. Vervolgens wordt daar met succes een VMotion operatie en enkele benchmarktesten uitgevoerd. Het zal duidelijk zijn dat met slechts enkele ESX-servers en VMs er nog, in vergelijking met een ESX-configuratie zonder Xsigo, niet zoveel snelheidswinst valt te behalen. Als laatste wordt er een QoS voor een vHBA, met onder meer een PIR-piekbandbreedte van 48.000 Kbps, geconfigureerd. In
de statistieken van de betreffende vHBA is een beperking in de bandbreedte na de QoS-activatie zichtbaar (zie figuur 4).
Figuur 4. De vHBA statistiek. Conclusies In navolging van storage en servers is I/O-virtualisatie de volgende te virtualiseren component in datacenters. Een van de voordelen van I/Ovirtualisatie is de besparing op de hardware van de netwerkinfrastructuur, de vloerruimte, de stroom en de beheerkosten die deze technologie met zich meebrengt. I/O-virtualisatie maakt een flexibele netwerkconfiguratie mogelijk zonder de noodzaak om handmatig netwerkpatchkabels te moeten wijzigen. I/O-virtualisatie kan ook het flessenhalsprobleem oplossen die het gevolg kan zijn van de implementatie van servervirtualisatie. De VP780 director van Xsigo biedt een oplossing voor I/O-virtualisatie waarmee de fysieke netwerkinfrastructuur kan worden vereenvoudigd. Het product combineert een director-class hardwareplatform met speciale software waarmee een volledig gevirtualiseerde I/O-omgeving kan worden geïmplementeerd. Elke server krijgt hierbij de beschikking over een 10/20 Gbps-verbinding waarbij de director, voor de verbinding van honderden servers met het LAN en SAN, in totaal 150 Gbps aan bandbreedte ondersteunt. Door alle NICs en HBAs op een bladeserver chassis te vervangen door een enkele HCA, is de director prima geschikt voor toepassing in een bladeserver-omgevingen. Om te zien welke kostenbesparing met I/Ovirtualisatie kan worden bereikt, biedt Xsigo een TCO-tool waarmee de voorgenomen besparing kan worden berekend.. De tool is beschikbaar op de website van de leverancier, http://www.xsigo.com/tco/. Onlangs heeft Xsigo een nieuwe versie uitgebracht, de VP780 x2 I/O Director genaamd, die tweemaal zoveel bandbreedte biedt (20Gbps).Ook nieuw in de VP780 X 2 is de verbeterded SAN en iSCSI boot mogelijkheden waarmee gebruikers vanaf elke FC of iSCSI LUN kunnen booten.
Bram Dons is onafhankelijk IT-analist;
[email protected]
