Ethernet SAN De toenemende vraag naar shared storage Niets nieuws is dat de hoeveelheid data in een versneld tempo toeneemt. Een van de gevolgen is dat dat de storage kosten een steeds groter deel van het IT budget in beslag nemen. Vooral de opkomende server virtualisatie en storage consolidatie zijn twee technologieën die de vraag naar vooral shared storage hebben doen toenemen. Ondernemingen van allerlei grootte zijn daarom overgestapt op shared block-level gebaseerde iSCSCI of FC storage architectuur. Het voornaamste doel was om niet alleen de aanwas van data maar ook de toenemende complexiteit van de IT-infrastructuur het hoofd te kunnen bieden. Bij de keuze voor een SAN infrastructuur spelen, naast de kosten, ook zaken als prestaties, eenvoudig gebruik en beheer een belangrijke rol. De vraag is of een iSCSI of FC-gebaseerde storage architectuur voor veel ondernemingen op basis van genoemde criteria altijd de beste keus is. De firma Coraid denkt dat dit niet het geval is en is de mening toegedaan dat een Ethernet-gebaseerde oplossing een betere keus is. Keuze voor Fibre Channel of iSCSI Ondernemingen kunnen voor block level storage uit een aantal opties kiezen, waaronder: Fibre Channel (FC), Fibre Channel over Ethernet (FCoE) en iSCSI. Op basis van de door applicaties gestelde eisen moeten ondernemingen een afweging maken tussen prijs/prestatie en complexiteit. Sommige storage leveranciers promoten hun, naar wat nu heet, een ‘unified’ of ‘hybrid’ SAN. Voor block-gebaseerde SANs was tot dusver de keus: FC of iSCSI. Fibre Channel is relatief duur maar biedt betere prestaties en is meer betrouwbaar dan iSCSI. iSCSI is weer eenvoudiger in het gebruik en vraagt minder investering in de IT-infrastructuur. Het laatste is de reden waarom iSCSI-gebaseerde SANs bij veel kleine ondernemingen populair zijn. Een ander voordeel is dat het IT-beheer meestal al bekend is met een IP-netwerk. Vanwege de voor- en nadelen van beide SAN-technologieën claimen sommige leveranciers van storage systemen dat het beste is om dan maar beide te gebruiken! Een dergelijke oplossing bestaat uit de combinatie van FC en iSCSI in een gelaagde (tiered) storage architectuur: FC SANs voor applicaties die hoge prestaties eisen, iSCSI voor de applicaties die minder I/O capaciteit vragen. Nadeel van de tiered oplossing is dan het weer meer complexiteit en kosten met zich meebrengt. Er is echter een alternatieve storage networking technologie die beide bestaande netwerktechnologieën kan vervangen. Dat heet Ethernet SAN. Bij de keuze voor Ethernet SANs hoeft men dan niet te kiezen voor het dure compromis van storage tiers. Het biedt gelijke of betere prestaties dan FC en iSCSI tegen 20% lagere implementatie en operationele kosten.
Figuur 1: Evolutie storage architectuur (bron Coraid)
ATA over Ethernet protocol Ethernet SANs maken van het low overhead ATA over Ethernet (AoE) protocol gebruik. Het AoE protocol is door Brantley Coile (CTO van storage leverancier CORAID) ontwikkeld en daarna in 2003 voor de open source community vrijgegeven. Het protocol was ontwikkeld met als doel een efficiënt en kosteneffectief alternatief voor de Fibre Channel en iSCSI block storage protocollen. Het maakt gebruik van ATA technologie, de standaard disk interface waarmee een computer communiceert met een disk drive. Het AoE protocol verpakt de ATA block-level disk-commando´s in een Ethernet frame en verstuurt deze via een network layer 2. Het protocol werkt analoog aan iSCSI dat SCSI-commando´s in TCP packets verpakt. In tegenstelling tot iSCSI maakt AoE echter géén gebruik van de TCP- en IP protocollen op de hoger gelegen netwerklagen. De overhead en latency die de SCSI-commando verwerking met zich meebrengt, is bij het AoE protocol afwezig. Wanneer storage packets slechts van een server naar een storage systemen in het zelfde rack hoeft te worden getransporteerd dan is het ´zware´ TCP/IP protocol een overkill. Door van layer 2 Ethernet gebruik te maken, hoeft Ethernet SAN ook geen rekening te houden met de talrijke management taken die FC en iSCSI kent. Bijvoorbeeld, gebruikers hoeven geen multi-path, switch logins, of target naar port mapping te configureren. Ethernet SANs sturen data gelijktijdig over alle beschikbare data paths. FC en iSCSI danken hun complexiteit aan de oorspronkelijke connection-gebaseerde protocollen voor storage systemen uit het FICON en ESCON mainframe tijdperk. Voor de toepassing van FC of iSCSI moet voor iedere verbinding tussen een fysieke of virtuele server aan een storage systeem worden gekoppeld en geconfigureerd. Ethernet SAN echter is een connectionless protocol dat servers en storage systemen direct via de layer 2 Ethernet met elkaar verbind. Er is wel een nadeel. Doordat Ethernet SAN van layer 2 gebruik maakt, is SAN routing niet mogelijk (dit werkt immers alleen via layer 3 en daarboven). Met Ethernet SAN is ook voor elke verbinding geen configuratie tussen servers en storage meer nodig. In tegenstelling tot FC en iSCSI is Ethernet SAN binnen enkele minuten met een paar muisklikken te configureren. AoE wordt als sinds 2005 in de Linux kernel ondersteund en servers met standaard NICs kunnen van de AoE driver software gebruik maken. Load balancing van de server I/O vindt automatisch over alle beschikbare poorten plaats. SAN-connectiviteit is lineair schaalbaar door toevoeging van 1GbE of 10GbE NICs.
AoE en routing AoE maakt van Ethernet broadcasts gebruik voor het vinden van storage op het netwerk. Dergelijke broadcasts worden bij de router afgekapt omdat routers ze niet kunnen doorsturen naar het volgende netwerksegment. Dit beperkt natuurlijk het bereik van AoE tot het lokale Ethernet segment. Doordat AoE op layer 2 werkt, is het niet routable. Dit beperkt ook de schaalbaarheid in een gedistribueerd netwerk. Sommige gebruikers zien dit echter niet als nadeel omdat het protocol inherent meer veiligheid biedt omdat er van buitenaf geen toegang tot het LAN segment mogelijk is. In clustersystemen biedt de non-routing eigenschap ook het voordeel van beveiliging omdat extern geen toegang tot het storage systeem mogelijk is. Een router biedt weliswaar externe toegang maar zonder beveiliging kan het de storage omgeving in gevaar brengen. AoE heeft alleen het MAC-adres voor vergrendeling ter beschikking. Maar dit is toch voldoende om AoE-packets via een private VLAN in de cloud te versturen of met behulp van MPLS VPN path in een service provider network. Op de Dublin University College heeft men aangetoond dat met AoE over MPLS een routable protocol oplossing mogelijk is, zonder gebruik van een tunnel te hoeven maken. Daarvoor hoeft slechts de AoE format header te worden vergroot. Een bijkomend voordeel is dat het AoE protocol niet beperkt is tot Ethernet omdat MPLS ook over ATM, SDH, Metro Ethernet, en zo voort, werkt. De prestaties van deze manier van AoE routing is iets minder met de nietrouting methode; proeven laten wel een kleine 12% prestatie vermindering zien, maar dat is nog altijd beter dan iSCSI. Ethernet of iSCSI SAN Ethernet SAN en iSCSI SAN, beide draaien op Ethernet maar daar houdt de vergelijking met AoE wel op (zie figuur 2). iSCSI kapselt SCSI storage commando´s in een TCP-IP wrapper en verstuurt deze via Ethernet. Omdat TCP/IP ontworpen is om Internet verkeer te routeren tussen meerdere routers voegt dit extra overhead toe die niet nodig is voor het transport tussen servers en storage. iSCSI is in geen netwerk maar een groep die bestaat uit point-topoint verbindingen. Het protocol ondersteunt van huis uit geen multi-path drivers (MPIO). Ook de toevoeging van dit soort drivers verhoogt de complexiteit bij de installatie en het beheer van iSCSI SANs. Omdat de meeste multi-path drivers active-passive zijn, worden ze doorgaans alleen voor redundantie gebruikt. Automatisch wordt geen load balancing ondersteund om de prestaties te verbeteren. Ethernet SAN is een connectionless protocol dat servers en storage direct via layer 2 Ethernet met elkaar verbindt. Bij het versturen van Ethernet SAN packets worden ze automatisch over elke beschikbaar netwerk path verstuurd. Daarvoor hoeft de gebruiker niets te configureren. Elk verzonden packet wordt gecontroleerd op bit errors en alle packets worden acknowledged. Vanwege de low latency van SAN Ethernet kunnen dropped packets gelijk opnieuw worden verstuurd waardoor een hoge doorvoer en betrouwbaarheid is gewaarborgd. Omdat Ethernet SAN niet van TCP/IP gebruik maakt, kent het minder overhead, heeft een lagere latency en maakt automatisch van alle beschikbare network paths gebruik. Door middel van een eenvoudige driver laat Ethernet SAN storage zich eenvoudig integreren met het server operating system. Daarmee zijn Ethernet SAN storage arrays direct aan het OS te mounten,
alsof het direct-attached disks (DAS) zijn. Zelfs het beheer van Ethernet SANs is direct binnen de hypervisor layer mogelijk.
Figuur 2: Storage Protocol Stacks (bron Coraid)
Ethernet of Fibre Channel SAN De architectuur van een Fibre Channel SAN is gebaseerd op een arbitrated loop of een switched fabric. In die zin is het eigenlijk geen storage netwerk. Het daarvoor gebruikte FCprotocol bestaat uit meerdere complexe software layers. Deze layers dwingen de gebruiker voor elk network path op alle storage LUNs bepaalde SAN configuratie procedures door te voeren. Een Ethernet SAN is in enkele minuten te configureren, een FC SAN kan dit wel uren in beslag nemen. Vandaag de dag werken FC SANs meestal op basis van 2 tot 8Gbps, 16Gbps nog mondjesmaat. Coraid SAN Storage De firma Coraid biedt Ethernet gebaseerde storage systemen. Het is tot dusver de enige leverancier die op hardware-gebaseerde AoE storage systemen ontwikkelt, de EtherDrive SRX en ZX-Series. De Etherdrive SRX familie zijn hoogpresterende, scale-out storage systemen. Er zijn een viertal modellen leverbaar: SRX2800 (3U), x3200 (4U), x3500(2U) en x4200 (4U) met respectievelijk opslagcapaciteiten van 48TB, 72TB, 14.4TB en 108TB. De x3500 maakt van 600GB hard disks gebruik, de overige van 3TB. In een chassis kan 108TB aan storage systemen worden ondergebracht. Elk individueel storage systeem biedt 1,800 MBps doorvoer en ondersteunt SAS, SSD of SATA hot swap drives. Coraid ondersteunt de volgende gecertificeerde drives: SSD 100, 200 en 400 MLC, 100GB SLC, SAS 300, 600 en 900GB, SATA 500, 1, 2 en 3TB. Een storage system ondersteunt JBOD en RAID 0, 1, 5, 6 en 10 met meerdere automatische global hot spares. Een SRX is leverbaar met een dubbele 10GbE of zes 1GbE Ethernet poorten. Op elk storage system draait het gedistribueerde CorOS storage operating system op basis waarvan individuele systemen samen in een enkel cluster platform kunnen worden opgenomen. De cluster is toegankelijk via de EtherCloud Storage Manager.
Figuur 3: VSX Storage Virtualization Appliance (bron Coraid)
De ZX-Series combineert de Ethernet SAN technologie met een NFS en CIFS file protocol. Op het systeem draait het Oracle Zettabyte File System (ZFS) operating system (128-BIT). Het is een NAS-gebaseerde appliance op basis van SRX-gebaseerde storage systemen. De ZX300 kan worden uitgebreid tot meerdere PetaBytes. Het systeem ondersteunt Hybrid Storage Pools die tot 1200GB read-optimized cache kan worden geconfigureerd voor het bieden van hoge applicatie prestaties. Een storage hiërarchie kan uit DRAM, flash cache en HDDs bestaan. Naast de diverse RAID opties behoren thin provisioning, data compressie, snapshots en in-line deduplication tot de kern features. Optioneel wordt clustered NAS frond-end ondersteund. De ZX3000 is leverbaar in drie modellen met 4x 1GbE, 2x 10GbE SFP+ en 4x 10GbE RJ45 interfaces. Prestaties en kosten Coraid geeft aan dat Ethernet SANs via een 1Gbps en 10Gbps ‘near-line’ presteren en tot 30% sneller dan Fibre Channel is. ESG Labs heeft de Coraid SRX3200 SAN met 24 disk drives getest waarbij snelheden tot 1200 MBps doorvoer werden bereikt. Een lineair schaalbare Microsoft Exchange omgeving met 24 SAS drives ondersteunde 9,000 gebruikers. Een Ethernet SAN kost doorgaans een vijfde minder in vergelijking tot een FC SAN infrastructuur.
Figuur 4: EtherDrive SRX Storage Array (bron Coraid)
SAN Storage Virtualization
De SRX appliance werkt in combinatie met de Etherdrive VSX storage virtualization appliance. VSX voorziet in Logical Volume Management (LVM) en features als snapshots, clones en remote replicatie. Voor applicaties die een hoge beschikbaarheid vereisen, kunnen LUNs tussen storage appliances synchroon door de VSX worden gespiegeld (zie figuur 3). Voor lange afstand is asynchrone replicatie beschikbaar. Coraid storage arrays exporteren fysieke volumes als fixed size LUNs. LVM groepeert de fysieke volumes in een storage pool, van waaruit een of meer Logical Volumes (LV) worden gecreëerd. VSX pools zijn in 4MB storage extents opgedeeld. Vanuit deze pools worden extents gealloceerd voor de creatie van LVs die vervolgens naar het SAN als VSX virtual LUNs wordt geëxporteerd. Met LVM zijn virtuele LUNs dynamisch uit te breiden tot 500TB LUNs. Pools kunnen eenvoudig worden uitgebreid door meer fysieke LUNs aan de pool vanuit elk beschikbare storage appliance op het Ethernet SAN toe te voegen. Een unieke feature van VSX is dat het niet volledig ‘in-band’ of inline is, maar een hybride virtualisatie oplossing (zie figuur 4 en 5). Voor een optimale disk I/O prestaties worden de read en write acknowledgements requests direct tussen de initiator en disk uitgewisseld. VSX is een semi in-band appliance die als een storage router fungeert door de metadata, bestaande uit logische naar fysieke mappings, op te slaan. Alle storage processing wordt lokaal gedaan maar de data transfers gaan direct van de SRX naar de server.
Figuur 5: Ethernet SAN met virtualized LUNs (bron Coraid)
WinTarget software AoE Target oplossing Naast de Coraid hardware is er ook een software-gebaseerde Ethernet SAN oplossing beschikbaar. WinTarget AoE Server is een geavanceerde AoE Target software oplossing waarmee elke x86, x64 Windows systeem te transformeren is naar een AoE Target. Daarmee zijn bestaande storage systemen, zoals disk images, fysieke disken, partities of elke disk file brander naar client systemen te exporteren. WinTarget ondersteunt remote AoE devices om systemen te booten of geïnstalleerde OSes met gPXE of PXE. De server ondersteunt 10/100/100 MB en 10GbE Ethernet. Er is een WinTarget AoE Server x64/x86 trial versie, thirdparty AoE initiator voor Windows AoE en StarWind en Linux native 2.6.11+ te downloaden. Ethernet SANs de toekomst?
Vergelijken we de FC-snelheden met de huidige 10Gbps port snelheid van standaard Ethernet (en binnenkort met 40Gbit en 100Gbit) dan zien we het verschil in snelheid tussen beide netwerken snel toenemen. De prijs van 10Gbit daalt continue en binnen niet al te lange tijd zal 40 en 100Gbit de message backbone gaan vormen van het enterprise netwerk. Sommige experts denken dat in de toekomst alles binnen de data center via Ethernet gekoppeld gaat worden, zowel storage als messaging netwerken. De FC-leveranciers van switches propageren nu Fibre Channel over Ethernet (FCoE) als een manier om de bestaande in investeringen in FC veilig te stellen. Het lijkt erop dat het een tussenliggende stap is, op weg naar een unified data center op basis van Ethernet. Voordeel is dat FCoE wel op de nieuwe Ethernet switches draaien. Nadeel van FCoE is dat het weer de algehele complexiteit van de infrastructuur verhoogd en de kosten en het onderhoud van legacy FC systemen niet verminderd. In theorie lijkt Ethernet storage dé oplossing voor een toekomstig unified data center maar in de praktijk blijkt dat de IT-wereld nog nauwelijks geïnteresseerd is. Dat blijkt onder meer uit het feit dat op AoE-gebaseerde hardware producten nog slechts door één leverancier op de markt wordt gebracht (de firma Coraid). Andere storage leveranciers zijn nog niet met AoE producten gekomen en zullen dat waarschijnlijk ook niet gaan doen. ESG geeft in haar marktrapport ‘The Future of Storage in a Virtualized Data Center’ dat ‘Ethernet SANs are the future. Protocols are secondary’. Dat een Ethernet SAN de basis zal vormen van een toekomstig Data Center dat lijkt aannemelijk maar of dat op basis van AoE zal zijn, dat lijkt toch wel heel onwaarschijnlijk. www.wintarget.net www.coraid.com
