Bankovní institut vysoká škola Praha
Datová centra Bakalářská práce
Michal Šebek
Březen, 2012
Bankovní institut vysoká škola Praha Katedra matematiky, statistiky a informačních technologií
Datová centra Bakalářská práce
Autor:
Michal Šebek Informační technologie
Vedoucí práce:
Praha
Ing. Michal Valenta, Ph.D.
Březen, 2012
Prohlášení: Prohlašuji, ţe jsem semestrální práci zpracoval samostatně a v seznamu uvedl/a veškerou pouţitou literaturu. Svým podpisem stvrzuji, ţe odevzdaná elektronická podoba práce je identická s její tištěnou verzí, a jsem seznámen se skutečností, ţe se práce bude archivovat v knihovně BIVŠ a dále bude zpřístupněna třetím osobám prostřednictvím interní databáze elektronických vysokoškolských prací.
V Praze, dne: 10. 3. 2012
Michal Šebek
Poděkování Tímto děkuji panu Ing. Michalu Valentovi, Ph.D. za odborné vedení, cenné připomínky a hodnotné náměty při vedení této bakalářské práce.
Anotace Tato bakalářská práce se zabývá provozem datových center. V první části práce je podrobně popsána infrastruktura datového centra a její správná volba. Je zde uvedena obecná charakteristika všech hlavních komponent. Další část se zabývá dostupností provozovaných systémů a jejich zařazení ve vazbě na zvolenou infrastrukturu. Předposlední část je zaměřena na samotný provoz datových center včetně ekonomického pohledu. V poslední části, která je povaţována za vlastní přínos autora, jsou nastíněny obecné zásady při návrhu a implementaci datových center. Na závěr práce je uvedeno krátké shrnutí pohledu autora na současný stav a očekávaný vývoj v oblasti datových center.
Klíčová slova: datová centra, infrastruktura, dostupnost, provoz, implementace
Annotation This bachelor thesis deals with the operation of data centers. In the first part a data center infrastructure is described in detail and how to choose the right one. The general characteristics of all major components are listed there. The following section discusses the availability of operating systems and their classification in relation to the selected infrastructure. The penultimate section focuses on data center operation itself, including the economic perspective. In the last part, which is considered the author's own contribution, the general principles in the design and implementation of data centers are outlined. The last part contains a brief summary of the author's perspective on the current status and expected developments in data centers.
Keywords: data center, infrastructure, availability, operation, implement
Obsah ÚVOD ..................................................................................................................................................... 7 PROČ DATOVÁ CENTRA VZNIKAJÍ ........................................................................................................ 7 VÝVOJ DATOVÝCH CENTER ................................................................................................................. 8 ROZDĚLENÍ A TYPY DATOVÝCH CENTER ............................................................................................. 9 1.
INFRASTRUKTURA DATOVÝCH CENTER ........................................................................10 1.1. ENERGOCENTRUM ..................................................................................................................11 1.1.1. Dieselagregáty ................................................................................................................11 1.1.2. Zdroje UPS .....................................................................................................................12 1.1.3. Rozvaděče a další podruţné systémy .............................................................................13 1.2. KLIMATIZACE, CHLAZENÍ .......................................................................................................13 1.2.1. Moţnosti chlazení ..........................................................................................................14 1.2.1.1. Chlazení pomocí „nafukované“ dvojité podlahy ........................................................14 1.2.1.2. Free cooling ................................................................................................................15 1.2.1.3. Rekuperace .................................................................................................................15 1.2.1.4. Nasávání studeného vzduchu z venkovního prostředí................................................15 1.2.2. Základní systémy chlazení .............................................................................................16 1.2.2.1. Přímé chlazení ............................................................................................................16 1.2.2.2. Nepřímé chlazení........................................................................................................16 1.2.2.3. Přídavné chlazení .......................................................................................................17 1.3. SÍŤOVÁ INFRASTRUKTURA .....................................................................................................20 1.3.1. Vedení kabelů pod dvojitou podlahou............................................................................21 1.3.2. Stropní rastr (rošty pod stropem)....................................................................................21 1.3.3. Umístění aktivních prvků ...............................................................................................22 1.3.4. Propojení do stojanů s IT technologií.............................................................................22 1.4. FYZICKÁ INFRASTRUKTURA ...................................................................................................23 1.4.1. Konstrukční stavební prvky ...........................................................................................23 1.4.2. Zdvojená podlaha ...........................................................................................................23 1.4.3. Stropní podhled ..............................................................................................................24 1.4.4. Rackové stojany .............................................................................................................25 1.4.5. Stavební dispozice ..........................................................................................................26 1.4.6. Fyzická bezpečnost ........................................................................................................26 1.4.7. Poţární bezpečnost .........................................................................................................27
2.
DOSTUPNOST APLIKACÍ A KLASIFIKACE DATOVÝCH CENTER .............................28 2.1. DOSTUPNOST A JEJÍ MĚŘENÍ ...................................................................................................28 2.2. UPTIME INSTITUT....................................................................................................................29 2.3. KLASIFIKACE TIER ................................................................................................................30 2.3.1. TIER I (základní) ...........................................................................................................31 2.3.2. TIER II (redundantní prvky) ..........................................................................................32 2.3.3. TIER III (za provozu servisovatelné) .............................................................................33 2.3.4. TIER IV (odolné vůči poruše) ........................................................................................34 2.4. NORMY TIA ............................................................................................................................35 2.4.1. Prostorové uspořádání ....................................................................................................35 2.4.2. Infrastruktura kabeláţe ...................................................................................................38 5
2.4.3. 3.
Stupně spolehlivosti .......................................................................................................39
PROVOZ DATOVÝCH CENTER .............................................................................................40 3.1. MONITORING, SERVIS A CFM .................................................................................................40 3.1.1. Monitoring......................................................................................................................40 3.1.2. Servisní smlouva ............................................................................................................42 3.1.3. Kritický facility management .........................................................................................42 3.2. PROVOZNÍ NÁKLADY ..............................................................................................................43 3.3. EFEKTIVITA A MĚŘENÍ EFEKTIVITY ........................................................................................46 3.4. HROZBA DATOVÝCH CENTER .................................................................................................48 3.5. VÝPADKY ...............................................................................................................................51
4.
NÁVRH A IMPLEMENTACE DATOVÝCH CENTER .........................................................53 4.1. NÁVRH ŘEŠENÍ .......................................................................................................................53 4.2. ANALÝZA ZÁTĚŢE ..................................................................................................................54 4.3. ANALÝZA RIZIK ......................................................................................................................55 4.4. POSOUZENÍ LOKALITY ............................................................................................................57 4.5. PROJEKTOVÁNÍ .......................................................................................................................58 4.6. REALIZACE .............................................................................................................................60 4.7. OPTIMÁLNÍ PROVOZNÍ NÁKLADY ...........................................................................................61 4.7.1. Audit ...............................................................................................................................61 4.7.2. Virtualizace ....................................................................................................................61 4.7.3. Modularita infrastruktury ...............................................................................................62 4.7.4. Zónový přístup ...............................................................................................................63 4.7.5. Free Cooling a rekuperace ..............................................................................................63 4.8. SDÍLENÁ NEBO VLASTNÍ DATOVÁ CENTRA.............................................................................64
ZÁVĚR ..................................................................................................................................................65 SEZNAM POUŢITÉ LITERATURY ................................................................................................66
6
Úvod Proč datová centra vznikají Nacházíme se v době, kdy nás ať chceme nebo nechceme, obklopují nové moderní technologie všeho druhu. Za posledních deset či patnáct let se situace v oblasti výpočetní techniky velmi zásadně změnila. Je kladen důraz na velký výkon, vysokou spolehlivost a zařízení se díky technologickému pokroku stále zmenšují a zmenšují. Ať uţ si tuto skutečnost uvědomujeme či nikoliv, to ţe pouţíváme stále větší mnoţství elektroniky v našem ţivotě si připustit musíme. A není to jen spotřební elektronika a IT technika. Masivně jsou vyuţívány především sluţby zaloţené na sítovém protokolu. Internet uţ většina z nás chápe jako kaţdodenní součást svého ţivota. Pouţívá ho v práci, doma, na cestách, při jednáních atd. Za tím vším je skryto velké mnoţství počítačů, síťových prvků, datových uloţišť a různých hardwarových doplňků. Dále také aplikací, databází a počítačových sítí. To vše a mnohem více najdeme v dnešních datacentrech. Jednodušeji řečeno: datové centrum (serverovna) je moţné charakterizovat jako místnost obsahující a provozující právě IT technologie s cílem poskytnout své sluţby zákazníkům. Datová centra jsou také místnosti se zvláštním reţimem a prostředím, která nabízejí profesionální zabezpečení dat před ztrátou nebo poškozením. V datových centrech jsou uchovávány informace, které dnes patří k nejcennějšímu majetku společností.
Obr.č.1: Funkční plochy datového centra, zdroj: www.apc.com 7
Vývoj datových center Historie prvních serveroven se datuje zhruba od roku 1993-95, tehdy začaly postupně vytlačovat sálové počítače ve výpočetních střediscích a postupně se budovaly jednoduché serverovny o rozloze desítek metrů čtverečních, s nástěnnými klimatizacemi a elektrickými rozvody na stěnách. Nebyl kladen tak velký důraz na redundanci jednotlivých systémů. IT odborníci si serverovny „stavěli“ dle svých představ a poţadavků, neexistovala ţádná standardizace nebo kategorizace. V roce 1993 vznikla americká společnost „The Uptime Institute“ s cílem vytvořit komunitu zabývající se zlepšením spolehlivosti a dostupnosti v provozování IT technologií. Tato společnost začala kaţdoročně pořádat semináře, sympozia a následně vytvořila klasifikaci datových center. V posledních letech dochází za pouţití nových technologií k rapidnímu zvyšování výkonu hardwaru. Moderní technologie dovolují neustálé zmenšování elektronických součástek a to vede k výrobě výkonných elektronických systémů, které dnes mají třeba pětinovou velikost oproti jejich předchůdcům. Dříve IT správci provozovali některé servery i v kancelářích. Dnes jsou jiţ serverové technologie vyráběny dle standardizovaných rozměrů a jsou uţ z výroby určeny přímo do rackových stojanů. Pro vysoké tepelné ztráty serverů a jejich hluk uţ není moţné tuto technologii provozovat v provizorních místnostech či dokonce v kancelářích. Je nutné jim zajistit potřebnou infrastrukturu a technologii umístit do místností přímo k tomu určených. Za posledních cca. 8let jsou datová centra jednou z nejdiskutovanějších a nejdůleţitější součásti informačních systémů. Přední světoví výrobci z IT i non-IT se zaměřují na tuto oblast a vyvíjí nové, popřípadě zdokonalují stávající prvky datových center. Problematice datových center je nyní věnována velká pozornost. Vznikají nové společnosti, probíhají konference a výstavy věnované speciálně datovým centrům. Společnosti se zaměřují na výstavbu serveroven a kaţdá nabízí své konkrétní řešení, ať uţ se jedná o řešení typické nebo postavené klientovi přímo na klíč.
8
Rozdělení a typy datových center Jako budoucí majitelé nebo provozovatelé serverovny si můţeme takovou místnost navrhnout a také provozovat dle našich představ. Moţností je mnoho a vše bude záleţet na zvoleném typu infrastruktury, typu nemovitosti a v neposlední řadě na finančních prostředcích. Datová centra je moţné rozdělit podle velikosti na: Malé (lokální) serverové místnosti Pobočkové serverovny v rámci jedné společnosti Velké datové sály a datová centra Dále je můţeme rozdělit dle způsobu vyuţití nabízených sluţeb: Pro interní potřeby společnosti Pro aplikace vlastních zákazníků Datová centra nabízející hosting pouze vlastních zákazníků Veřejná datová centra nabízející hosting virtuálních, dedikovaných serverů, storage a celých rackových stojanů
9
1. Infrastruktura datových center Datové
centrum
je
průmyslový
komplex
určený
k provozování
informačních
a
telekomunikačních technologií za zvláštních podmínek. Kvalita, umístění a zabezpečení datových center hrají důleţitou roli pro provozovatele nebo poskytovatele těchto sluţeb. Od kvality zpracování datového centra se následně odvíjí řada parametrů celého informačního systému, zejména dostupnost/spolehlivost IT zařízení, ţivotnost jednotlivých komponent a v neposlední řadě také cena [5]. Abychom mohli provozovat profesionální datové centrum, je nutné se zabývat ještě před projektovou fází několika zásadními otázkami: Kde bude datové centrum umístěno? Jak bude zabezpečeno? Dokáţeme ho provozovat sami? Kdo se bude v serverovně pohybovat? Na kolik let nám vystačí jeho kapacita? Jak budeme datové centrum financovat? Bude vybaveno technologií v plném rozsahu nebo postupně? Budeme mít pod kontrolou umístění kaţdé nové technologie? Bude datové centrum slouţit pouze pro interní potřebu nebo jej budeme nabízet klientům? Odpovědi na výše uvedené otázky (a mnoho dalších) nám pomohou vydefinovat jakousi „kostru“, která bude reflektovat náš záměr. Postupným skládáním mozaiky našich potřeb začínáme definovat základní kameny infrastruktury datového centra. Je důleţité také zmínit, ţe infrastruktura datových center se můţe u kaţdého projektu lišit. Kaţdý projekt je originální svým rozsahem a zadáním. V konkurenčním prostředí asi nenalezneme dva stejné projekty. Informační technologie ke svému provozu potřebují energii, chlazení s patřičnou vlhkostí vzduchu, odvod odpadního tepla, zajištění bezprašného prostředí, zařízení pro zakončení 10
datové kabeláţe, servisního zázemí pro instalace, eventuelně zajištění skladových prostor. Podle povahy provozované technologie bývá zvykem vybavit serverovny také účinným hasicím zařízením a v neposlední řadě nesmíme opomenout ani zajištění technologických prostor z pohledu fyzické bezpečnosti.
1.1. Energocentrum Energocentrum je bezesporu tou nejzásadnější oblastí. Jeho úkolem je zajistit nepřerušované napájení všech systému, ostatních segmentů datového centra a především samotné IT technologie. Rozsah energocentra začíná u přívodu elektrické energie do budovy, čili u VN transformátoru a zakončíme jej napájecí lištou v rakovém stojanu technologie. Kaţdé energocentrum by se mělo skládat z těchto komponent: 1.1.1. Dieselagregáty neboli motorgenerátory se pouţívají při výpadku elektrické energie a při jejich spuštění dokáţou zálohovat (napájet) datové centrum několik desítek hodin. V praxi se setkáme s výkony od jednotek kVA aţ do tisíců kVA. Dieselagregáty se zapojují do sestav z důvodu zvýšení jejich výkonu nebo z důvodu redundance. Vyrábí se v kapotovaném provedení nebo jsou umístěny v prostorách budovy. Součástí dieselagregátu je také naftové hospodářství – to zajišťuje provoz systému na 24 a více hodin. Jejich funkcionalita musí být stoprocentně zajištěna, a proto jsou neustále předehřívány. Po výpadku elektrické energie dokáţí zálohovat datové centrum do 10s.
Obr.č. 2: Dieselagregát 900kVA v suterénu budovy, zdroj: fotoarchiv autora
11
1.1.2. Zdroje UPS zdroje UPS (Uninterruptible Power Supply ) jsou zdroje nepřerušeného napájení a slouţí k okamţitému zálohování IT technologie, tedy v době výpadku elektrické energie z distribuční sítě. Zařízení UPS začne při výpadku elektrické energie odebírat energii z připojených stejnosměrných baterií a převede ji na střídavé třífázové (nebo jednofázové) napětí – to vše proběhne v řádech několika milisekund (podle topologie UPS), takţe IT technologie nepozná, zda je napájena z distribuční sítě nebo z jednotky UPS. Zdroje UPS jsou dodávány v různých výkonových řadách – od jednotek kVA aţ po stovky kVA. Stejně jako dieselagregáty mohou být řazeny v kombinaci různých sestav. UPS také slouţí jako přepěťová ochrana a vysokofrekvenční filtr, střídavé napětí z distribuční sítě usměrní (rozloţí), odfiltrují a následně zpět převedou na střídavé. A to vše v reálném čase. Napájená IT technologie je tak plně chráněna proti vnějším negativním vlivům z distribuční sítě. Zdroj UPS pouţívá zhruba 10% svého jmenovitého výkonu k nabíjení stejnosměrných baterií. Doba zálohy, resp. provozu z baterií je odvozena podle počtu baterií nebo bateriových větví. Standardně se doba zálohy pohybuje od 4min. do několika hodin.
Obr.č.3: Jednotka UPS od výrobce APC 400kVA, zdroj: www.apc.com
12
1.1.3. Rozvaděče a další podruţné systémy Do této skupiny je moţné zařadit různé distribuční rozvaděče, které nalezneme v celém řetězci energocentra – počínaje motorgenerátorem a konče rozvaděčem pro napájení samotné IT technologie. Četnost hlavních napájecích rozvaděčů je ovlivněna především typem, resp. třídou datového centra (viz kapitola 2.3.).
1.2.
Klimatizace, chlazení
Klimatizace neboli chlazení v prostoru datových center je dalším velmi důleţitým segmentem, zajišťující bezproblémový provoz IT technologie. Odborník na tuto oblast by moţná řekl: tím nejdůleţitějším v infrastruktuře. Při návrhu datového centra je potřeba vymyslet a realizovat takový systém, který uchladí technologické prostory a přitom spotřebuje minimum elektrické energie. Zní to moţná jednoduše, ale pohybujeme se v jakémsi uzavřeném kruhu. Technologii musíme napájet elektřinou, ale ta se z velké míry přemění v teplo, které je nutné z technologické místnosti odvádět. Zjednodušeně tedy můţeme říci, ţe k energii na napájení technologie je nutné přidat téměř polovinu výkonu určené k napájení na odvod vyzářeného tepla. Za posledních 15 let se situace dost zásadně změnila. Změnily se systémy chlazení, ale především samotná IT technologie. Tepelné ztráty a hustota serverů nebyla tak vysoká. Hodnoty se pohybovaly okolo 2-3kW na jeden rack (stojan) a k uchlazení takového prostoru se vyuţívala dvojitá podlaha nafukovaná chladným vzduchem. Dnes je situace o dost komplikovanější, hustota serverů na jeden stojan se zněkolikanásobila, a tudíţ vysoce vzrostly tepelné ztráty serverů. Nastávají případy, kdy je potřeba chladit rack o výkonu 12-15kW! Chlazení datového centra proto musí být navrţené velmi precizně – jak z pohledu provozního, tak i z pohledu ekonomického.
13
1.2.1. Moţnosti chlazení 1.2.1.1. Chlazení pomocí „nafukované“ dvojité podlahy Jak je uvedeno výše, pro přívod chladného vzduchu do datového centra se pouţívá dvojitá podlaha. Tento systém se pouţívá minimálně deset let. Je sice trochu zastaralý a méně ekonomický, ale při pouţití nových moderních chladících jednotek, můţeme eliminovat větší ztráty elektrické energie. Teplo, které technologie vyprodukuje, je nutné odvézt mimo místnost, vzduch ochladit a zase přivádět zpět do serverovny. K základní hodnotě příkonu elektrické energie technologie se ještě navíc přičte aţ polovina stejného hodnoty na příkon klimatizačních jednotek. Dvojitá podlaha se pouţívá nejčastěji o výškách od 30 do 50cm. Podlaha je sloţena z jednotlivých desek/čtverců o rozměrech 60x60cm. K prostupu vzduchu z podlahy do prostoru serverovny je uřčena speciální deska stejných rozměrů s potřebným mnoţstvím otvorů a také konstrukční výztuhou pro zachování stejné nosnosti. Pokud prostor pod dvojitou podlahou niţší neţ 20cm, je potřeba zvolit jiný systém distribuce vzduchu.
Obr.č.4: Chlazení prostoru pomocí nafukované zdvojené podlahy, zdroj: www.apc.com
14
1.2.1.2. Free cooling Jedná se o systém chlazení, který vyuţívá potřebu provozovat technologie celý rok a tudíţ i v zimním období. Pouţití chladících jednotek, které dokáţí toto období vyuţit je energeticky velmi výhodné. Venkovní chladící jednotky dokáţí omezit svůj energetický příkon a začnou ochlazovat své výměníky z nízké venkovní teploty. Ochlazené médium je k dispozici téměř ihned. Právě na vypnutých kompresorech chladících jednotek je generována velká úspora elektrické energie. 1.2.1.3. Rekuperace Rekuperaci si můţeme vyloţit jako zpětné vyuţití jakékoliv získané energie. Čili v našem případě se jedná o teplo odčerpané klimatizačními jednotkami ze serverovny. Při pouţití tepelného výměníku nemusíme teplo ze serverovny vyfukovat do venkovního prostředí, ale ohřejeme tím sekundární okruh, který nám můţe poslouţit např. k ohřevu ústředního vytápění, ohřevu vzduchu v systému vzduchotechniky nebo k ohřevu teplé vody v budově, kde je provozováno datové centrum. Tímto způsobem je moţné ušetřit nemalé provozní prostředky zvláště v zimním období. 1.2.1.4. Nasávání studeného vzduchu z venkovního prostředí Jedná se o další způsob úspory finančních prostředků v zimním období. Za předpokladu, ţe je dostatečně nízká venkovní teplota, můţeme tento chladný vzduch nasávat z venkovního prostředí a pouţít pro chlazení prostoru serverovny. Výsledný efekt je opět vypnutí chladících kompresorů a úspora finančního prostředků.
Kombinací a automatizací výše uvedených variant můţeme dosáhnout buď částečného, nebo úplného vypnutí systému klimatizace v zimním období. Úplně pak postačí regulovat systém nasávání a vyfukování vzduchu ze serverovny. V provozu tak zůstává jen zařízení na regulaci vlhkosti nasávaného vzduchu (venkovní vzduch je v zimním období velmi vlhký a chladný, při rychlé změně teplot by mohlo dojít ke kondenzaci vody na IT zařízení).
15
1.2.2. Základní systémy chlazení Pro chlazení serveroven můţeme vycházet ze dvou základních koncepcí chlazení. 1.2.2.1. Přímé chlazení Jedná se o systém přímé vypařování chladiva, kde jako chladící médium je pouţito R134a nebo R407, čili systém vnitřní chladící a venkovní kondenzační jednotky. 1.2.2.2. Nepřímé chlazení Zde je jako chladící médium pouţita ochlazovaná voda z centrálního zdroje chladu budovy. Všechny vnitřní chladící jednotky jsou napojeny na rozvody ochlazované vody. Podle provozních parametrů serverovny a dispozičního řešení budovy se pouţívá buďto menší počet výkonných chladících jednotek, nebo větší počet méně výkonných chladících jednotek (tato varianta je vhodnější z pohledu redundance). V současné době čím dál častěji vzniká potřeba chladit rackové stojany o výkonech 10-15kW, proto je vhodné uţ ve fázi projektu efektivně navrhnout rozmístění budoucí technologie a pouţít topologii „teplé a studené uličky“. Tento systém se jiţ začal pouţívat před několika lety. Je moţné jej aplikovat v takových případech, kde technologie nasává studený vzduch v přední části stojanu a teplý vzduch je ventilátory vyfukován v zadní části. Racky/stojany s technologií vyfukující teplý vzduch v zadní části postavíme zády k sobě, čímţ je zajištěno vyfukování teplého vzduchu do stejného prostoru a nasávání studeného vzduchu z prostoru opačného, viz obrázek níţe. Tak je zajištěna větší efektivita a distribuce studeného vzduchu. Takovýto způsob rozmístění rackových stojanů v serverovně je dnes základ pro chlazení technologie vyzařující větší tepelné ztráty. Popsaný systém dokáţe uchladit stojan o tepelném výkonu do 5kW.
Obr.č.5: Zobrazení systému teplé a studené uličky, zdroj: www.altron.cz 16
1.2.2.3. Přídavné chlazení V případě, ţe je potřeba do „teplé a studené“ uličky umístit technologii, která má větší tepelné ztráty neţ cca. 5kW, musíme aplikovat tzv. „přídavné chlazení“. Jedná se o doplňkový způsob chlazení jednotlivých rackových stojanů. Variant se liší podle hustoty vyzařovaného tepla. Vertikální Do prostoru studené uličky, nad horní hranu stojanu je umístěna přídavná klimatizační jednotka, studený vzduch je tak distribuován přímo do vstupních dveří racku.
Obr.č.6: Rozmístění vertikálního přídavného chlazení, zdroj: www.apc.com Chladící dveře Na zadní část stojanu jsou nainstalovány doplňkové chladící dveře, které buďto jen odsávají teplý vzduch z prostoru kabelového managementu, nebo přímo ochlazují teplý vzduch za pomoci tepelných výměníků.
Obr.č.7: Chladící dveře, zdroj: www.apc.com 17
Vertikální dlaţdice Tento způsob je spíše doplňkový. Ventilátor nasává ochlazený vzduch z prostoru dvojité podlahy a fouká jej před přední dveře stojanu do prostoru studené uličky.
Obr.č.8: Umístění vertikální dlaţdice před stojanem, zdroj: www.altron.cz
Ventilátor v racku I zde se jedná o spíše doplňkový způsob odvodu teplého vzduchu z vnitřního prostoru rackového stojanu. Ventilátor vysává teplý vzduch z horní části stojanu do prostoru teplé uličky (často se s takovým to způsobem chlazení setkáme u pouţití technologie GSM).
Obr.č.9: Vertikální umístění odsávacího ventilátoru ve stojanu, zdroj: www.altron.cz
18
Uzavřený prostor Pro chlazení těch nejvíce energeticky náročných rackových stojanů je také moţné pouţít uzavření prostoru studené uličky. Zde je myšlenkou fyzicky oddělit míchání chladného a teplého vzduchu v serverovně a zvýšit tak účinnost chladicího systému. Ze společného prostoru okolo rackových stojanů je potom zajištěn odtah teplého vzduchu přímo do sálových chladících jednotek. Uzavřený prostor můţe být pouţit jak pro teplou, tak i pro studenou uličku.
Obr.č.10: Uzavřený prostor mezi stojany, zdroj: www.apc.com
19
1.3.
Síťová infrastruktura
Kaţdý hardwarový prvek umístěný v datovém centru potřebuje komunikovat, ať uţ se servery ostatními ve stejné místnosti nebo s jinými prvky třeba stovky kilometrů daleko. Síťová infrastruktura neboli strukturovaná kabeláţ v datovém centru mohou být desítky kilometrů metalických nebo optických kabelů, které je potřeba také někam a nějak uloţit. Datové centrum by mělo svými kapacitami vystačit min. na 3-5let svého provozu bez větších úprav své infrastruktury. Proto i strukturovaná kabeláţ musí být správně navrţena a svou modularitou poskytovat připojení serverů s výhledem alespoň na 3 roky. Začněme v jiné části budovy a v jiné místnosti, někde vedle serverovny. V místnosti k tomu určené (a se speciálním bezpečnostním reţimem) je zakončena hlavní datová konektivita do budovy datového centra. Nazvěme ji třeba „místnost cizích operátorů“, tady je zakončen optický kabel poskytovatele internetu. Podle kapacit datového centra je zde v optické vaně zakončen určitý počet optických vláken. Datová konektivita se do místnosti cizích operátorů z důvodu redundance (záloţní linky) instaluje dvakrát a pokaţdé od jiného poskytovatele. Teprve odsud jsou páteřní rozvody strukturované kabeláţe vedeny do datových sálů. Pouţity mohou být jak metalické, tak optické kabely.
20
Rozvody strukturované kabeláţe mohou být realizovány: 1.3.1. Vedení kabelů pod dvojitou podlahou Kabelové vedení strukturované kabeláţe můţe být uloţeno v kabelových roštech pod dvojitou podlahou, viz obrázek níţe. Tento způsob se vyuţívá tam, kde je prostor pod podlahou vyšší neţ 30cm. Kabeláţ můţe být vedena i v několika úrovních nad sebou nebo vedle sebe. Je také potřeba vyvarovat se souběhu s vedením silnoproudu z důvodu rušení. Pokud takový případ nastane, pouţívá se odstínění mezi kabelovými trasami.
Obr.č.11: Vedení strukturované kabeláţe pod dvojitou podlahou, zdroj: fotoarchiv autora 1.3.2. Stropní rastr (rošty pod stropem) U tohoto řešení jsou kabely strukturované kabeláţe uloţeny pod stropem místnosti v kabelových roštech, viz obr. č.12. Kabeláţ se následně spouští do horní části rackového stojanu. Zvláštní pozornost je potřeba věnovat optickým kabelům, které se mohou u ostrých hran roštů říznout nebo zlomit.
Obr.č.12: Vedení strukturované kabeláţe na drátěných roštech, zdroj: fotoarchiv autora 21
1.3.3. Umístění aktivních prvků Kam ale umístit aktivní prvky (switche a routery)? – způsobů řešení můţe být několik, a to podle dispozičního uspořádání serverovny a také podle potřeb klienta. Poměrně často se síťové aktivní prvky umísťují přímo do datového sálu. Jsou pro ně připravený stojany o speciálních rozměrech 80x80x2000mm a dost často stojí vedle sebe (v nulté řadě). Je to z důvodu vzájemného propojování (tzv. patchování) mezi aktivními prvky a distribučními panely (tzv. patch panely). Páteřní rozvody vedoucí z místnosti cizích operátorů jsou v serverovně ve výše uvedených stojanech ukončeny v optických „vanách“ a následně připojeny na aktivní prvky. Nultá řada stojanů je tedy alokována pouze síťovou technologii (metalické kabely, optické kabely, optické vany a aktivní prvky – (switche a routery)). 1.3.4. Propojení do stojanů s IT technologií Následující řady stojanů jsou jiţ určeny k provozu IT technologie. Jak bylo zmíněno v kapitole 1.3.1. a 1.3.2., strukturovaná kabeláţ je k dalším řadám stojanů vedena buď pod podlahou, nebo pod stropem. Zakončení je pak realizováno nad kaţdou řadou rackových stojanů v tzv. patch boxu (jedná se o malou rackovou skříň) ve výšce několik desítek cm nad stojany. Patch box můţe být jeden nebo dva na celou řadu stojanů s IT technologií, záleţí na poţadovaném počtu metalických a optických zakončení. Propojování do serverů se provádí z konkrétního patch boxu po roštech přímo do cíleného rackového stojanu.
Obr.č.13: Horizontální vedení strukturované kabeláţe nad stojany, zdroj: fotoarchiv autora
22
1.4.
Fyzická infrastruktura
Fyzická infrastruktura, to jsou základní stavební bloky serverových sálů a podpůrných systémů. 1.4.1. Konstrukční stavební prvky V této oblasti můţeme nalézt typický konstrukční stavební materiál, jako jsou např. betonové konstrukce, SDK konstrukce, dveřní systémy atd. 1.4.2. Zdvojená podlaha Pokud je to konstrukčně moţné, pouţívá se v serverovnách systém zdvojené podlahy. Jedná se o podlahové čtverce o rozměrech 60*60cm (nejběţnější výrobci: Mero, Lindner). Horní vrstva desky je pokryta např. PVC, spodní vrstva desky bývá nejčastěji antistatická a nehořlavá. Podlahové čtverce jsou usazeny na „rastr“ (šachovnici) kovových lepených sloupků. Typická výška podlahy bývá 50-80cm. Prostor pod podlahou je následně vyuţíván pro distribuci chlazeného vzduchu směrem k rackovým stojanům (viz kapitola 1.2.1.1). Vyuţit můţe být i pro rozvody silnoproudu (napájení technologie), systému EPS (elektronická poţární signalizace), systém SHZ (stabilní hasicí zařízení) a např. monitorovací systémy (viz kapitola 3.1.1.).
Obr.č.14 a 15: Systém zdvojené podlahy MERO, zdroj: www.mero-schmidlin.com
23
V některých případech je moţné vyuţít prostor zdvojené podlahy pro rozvody strukturované kabeláţe (datové metalické a optické kabely), ovšem pouze za podmínek, ţe nedochází ke kříţení strukturované kabeláţe s kabeláţí silovou). U dvojité podlahy nesmí být ve fázi projektování serverovny opomenuta statika podlahy, čili zatíţení podlahových čtverců na 1m2. V serverovnách se běţně setkáme s nosností podlahy 750 - 1000kg/m2. V případě většího zatíţení podlahy (např. instalace diskového pole), je nutné těţkou technologii plošně roznést. Pouţít můţeme roznášecí rošty (plechy) nebo lokální vyztuţení podlahy větším počtem distančních sloupků.
1.4.3. Stropní podhled Stropní podhled je konstrukční prvek, skládající se dvou hlavních částí. Tou první je rastr (kovová konstrukce z T profilů) následně stropní desky, viz obrázek níţe. Podhled umoţňuje esteticky ukončit stropní prostor místnosti a do něj instalovat (schovat) další provozní systémy datového centra, např. silnoproudé vedení osvětlení, kabeláţ k systému EPS, rozvody SHZ, rozvody vzduchotechniky, systém CCTV, EZS atd.. Prostor nad stropním podhledem bývá vysoký několik desítek cm nebo i jednotek metrů. Můţeme ho také vyuţít pro odtah teplého vzduchu z IT technologie a zajistit tak lepší distribuci teplého vzduchu k nasávání klimatizačních jednotek. Podhled pak funguje jako izolační stěna mezi chladným vzduchem na sále s technologií a teplým vzduchem, který nasávají klimatizační jednotky. Konstrukce (rastr) stropního podhledu je vyplněna SDK deskami o rozměrech 60x60mm. Je to podobná „šachovnice“ jako desky dvojité podlahy. Na místo některých desek můţeme umístit vnitřní osvětlení místnosti. Do desek lze také zakomponovat čidla systému EPS, sprinklerové hlavice, poţární rozhlas nebo lamelové anemostaty (vyústění systému vzduchotechniky).
Obr.č.16: Stropní minerální podhled, zdroj: fotoarchiv autora 24
1.4.4. Rackové stojany Pro umístění IT technologie do prostoru serverovny se dnes uţ pouţívají standardizované rackové stojany o šířce 19“ a výšce nejčastěji 42U. Ovšem ne tak tomu bylo v minulosti, kaţdá technologie byla instalována ve stojanu výrobce o různých plošných rozměrech a jiné výšce. Rozmístění stojanů pak bylo komplikované a mnohdy neefektivní. V případě upgradu hardwaru se musel vyměnit i rackový stojan a to generovalo problém s místem. Buďto bylo místa málo nebo naopak vznikaly prostorové rezervy a celá řada stojanů se musela posouvat. Dnešní stojany jsou standardizovaných rozměrů a jejich hloubka dosahuje max. 120cm. Přední dveře stojanu bývají celá perforovaná pro lepší průchodnost a nasávání studeného vzduchu přímo k čelní straně serveru. Zadní dveře jsou také celé perforované a to pro odvod teplého vzduchu ze zdrojů technologie, dveře bývají většinou půlené. Stojany se umísťují do ucelených souvislých řad a většinou systémem „teplá a studená ulička“ (viz kapitola 1.2.2.2). Po otevření zadních dveří stojanu pak po obou stranách nalezneme napájecí PDU (Power distribution unit) lišty, ty mohou být umístěny jak vertikálně, tak i horizontálně. PDU lišty jsou vybaveny vlastním managementem, který umoţňuje napájecí lištu adresovat pomocí IP, a tak získávat dokonalý přehled o jejím zatíţení. Případně je moţné jednotlivé zásuvkové moduly softwarově ovládat.
Obr.č.17: Standardní rackový stojan 19“ široký a 42U vysoký, zdroj: www.apc.com 25
1.4.5. Stavební dispozice Dispoziční řešení budovy, typy budovy – suterén, střecha, patra – administrativní budova nebo technologická. Dispoziční řešení samotných místností sálů a příslušenství, poţární úseky, rozdělení příslušenství na clustery vs bezpečnost. 1.4.6. Fyzická bezpečnost V datových centrech se můţeme setkat s kombinací různých bezpečnostních systémů, které by měly zajistit max. úroveň zabezpečení zpracovávaných dat. Mechanické prostředky - podle dispozičního umístění datového centra a charakteru provozovaných aplikací, můţeme stupňovat úrovně bezpečnostní kategorie. Setkáme se např. s bezpečnostními dveřmi nebo zámky, mříţe, turnikety a branky, bezpečnostními technologickými skříněmi, dále trezorovými skříněmi na datová média, bezpečnostní folie na okna, atd. EZS – elektronická zabezpečovací signalizace. Jedná se o elektronické zabezpečení technologických prostor. Patří sem pohybové detektory, magnetické dveřní kontakty, detektory tříštění skla, vibrační otřesové detektory a tísňové hlásiče. Podle definované třídy bezpečnosti můţe být datové centrum napojeno tísňový systém. Vyuţit můţe být také vzdálený přenos dat nebo integrace do dalších systémů. ACS - přístupový systém budovy. Zjišťuje pomocí přístupových karet pouze oprávněný přístup zaměstnanců do konkrétních místností. Setkat se můţeme zejména s čtečkami (zaměstnaneckých) ID karet v kombinaci s numerickou klávesnicí. Při vyuţití moderních technologií mohou být vyuţity i čtečky na otisky prstů nebo čtečky biometrie očního pozadí. Podle zvolené bezpečnostní třídy datového centra se výše uvedená zařízení pouţívají nejen při vstupu do serverovny, ale také při odchodu z místnosti. CCTV -
kamerový systém se vyuţívá ke sledování prostoru v reálném čase.
Architektura bývá sestavena na základě šíření analogového, digitálního nebo IP signálu. Pouţívá se také kombinace se záznamovým zařízením a s různými typy záznamových medií. Prvky jsou ovládány operátorem v dohledovém středisku nebo klientem pomocí vzdáleného přístupu.
26
1.4.7. Poţární bezpečnost Aby mohl mít provozovaný hardware v datovém centru tu nejvyšší úroveň bezpečnosti, je zapotřebí věnovat zvláštní pozornost také oblasti poţární bezpečnosti. Zde nestačí vybavit místnosti hasicími přístroji, tak jak to známe z jiných technických nebo administrativních budov. Uţ ve fázi projektování datového centra je potřeba si uvědomit jak vysoké riziko vzniká při tak velké hustotě hardwaru na plochu serverovny. Oblast poţární bezpečnosti můţeme rozdělit na několik částí: Stavební část – v této oblasti se jiţ při projektování datového centra zohledňuje poţární odolnost stavebních prvků, např. podlaha, stropy, stěny a dveře. Budova se rozděluje na patřičné poţární úseky. Definují se únikové cesty a východy. Při kabelových prostupech ve stěnách jsou nařízeny protipoţární ucpávky a na systému vzduchotechniky musí být pouţity poţární klapky. EPS - elektrická poţární signalizace, systém monitorující jednotlivé místnosti. Jádro tvoří centrální řídící jednotka (ústředna), na kterou jsou napojeny okruhy adresných detektorů, ručních, plamenných, laserových nebo lineárních hlásičů poţáru. SHZ – stabilní hasicí zařízení, se stává z části detekční (EPS) a z části aktivní (vypuštění hasiva). Jedná se o plně automatizovaný systém, který zajišťuje v prvé řadě indikaci poţáru a následně zničení ohniska poţáru, a to vše bez jakékoliv újmy či odstavení technologie z provozu. SHZ pouţívá jako hasicí medium buďto vodní mlhu (prakticky se nepouţívá), inertní plyny (CO2, Argonit a Inergern) nebo chemické plyny (FM 200, Novec1230 a FE36). U plynového systému je hasicí medium uskladněno v tlakových láhvích přímo v serverovně nebo ve vedlejší místnosti. Při vyhlášení poplachu (to zajišťuje systém EPS, který je součástí kompletu SHZ) ústředna SHZ odjistí tlakové ventily a k vypuštění hasiva dochází během 30s. Tlakové láhve mají pouze jednostupňové vypuštění hasiva, pro následné uvedení do provozu se musí opět naplnit.
27
2. Dostupnost aplikací a klasifikace datových center 2.1. Dostupnost a její měření V datovém centru můţeme provozovat různé typy softwarových aplikací, databází, informačních systémů, webových sluţeb, interních firemních aplikací a celou řadu dalších. Největším nepřítelem a noční můrou pro výše uvedené je výpadek napájení, výpadek datové konektivity, porucha hardwaru nebo třeba výpadek chlazení HW. Nefunkčností serverů nebo kritickou chybou můţe dojít ke ztrátě dat. Ano, data lze samozřejmě obnovit ze záloh, ale to je poměrně zdlouhavý proces. To můţe mít za následek ovlivnění chodu nějakého oddělení, zastavení výroby nebo dokonce celého podniku. Abychom mohli tyto kritické nebo havarijní situace eliminovat, je potřeba dozvědět podrobnější informace a nároky, které si kladou provozovatelé jednotlivých aplikací. Teprve potom můţeme přizpůsobit infrastrukturu datového centra k zajištění bezproblémového chodu hardwarových prostředků. To jak dlouho bude aplikace online (čili k dispozici uţivatelům) nazýváme dostupnost (někdy i pravděpodobnost). Obvykle se udává v procentech, např. 99,55% . Dostupnost specifikuje čas, po který lze systém vyuţívat podle předem zadaných podmínek. Číslo označuje spolehlivost a také to, ţe zařízení bude pracovat nepřetrţitě a bez závad. Přestoţe se snaţíme udrţovat servery v chodu nonstop a zajišťovat 100% dostupnost (např. 365dní v roce), tak z výše uvedených důvodu, není moţné uvádět fiktivně číslo 100%. Dostupnost se obvykle vypočítává z údajů o spolehlivosti. Obvykle pouţívanou mírou spolehlivosti je veličina označovaná jako střední doba mezi poruchami, MTBF (Mean Time Between Failures). Hodnota se získává obvykle dosti sloţitým výpočtem ze středních dob mezi poruchami jednotlivých komponent systému nebo měřením. Dalším důleţitým parametrem je střední doba opravy, MTTR (Mean Time To Repair). Označuje čas, který uplyne od okamţiku vzniku poruchy do uvedení systému do souladu se specifikací, tedy do obnovení zadané funkčnosti. Obvykle zahrnuje dobu potřebnou k detekci závady, její diagnostice a opravě. Na základě středních dob je pak dostupnost definována jako poměr mezi střední
dobou
mezi
poruchami
DOSTUPNOST=MTBF/(MTBF+MTTR).
a
celkovou
Prodluţováním
MTBF,
dobou například
vyuţívání: pouţitím
kvalitnějších komponent či zdvojením (redundancí) důleţitých prvků, a zkracováním MTTR se dostupnost zvyšuje [9]. 28
Dostupnost si pak provozovatel sluţeb můţe rozdělit do několika základních skupin, charakterizující provozní podmínky hardwaru, tzv. nepřerušitelný provoz, např.: 1. 5*8 – běţná pracovní doba, dostupnost 99,671% 2. 7*24 – trvale, s moţností odstávky, dostupnost 99,749% 3. 7*24*365 – trvale, nikdy se nesmí vypnout, dostupnost 99,995% Správce aplikace následně uzavře SLA smlouvu (Service Level Agreement) s provozovatelem datového centra. Ten musí přizpůsobit infrastrukturu serverovny tak, aby bylo moţné poţadovanou dostupnost garantovat. Dosáhnout dostupnosti v řádech několika devítek za desetinou čárkou a zaručit ji, je značně obtíţná věc.
2.2. Uptime institut Uptime Institute, je nezávislá divize skupiny „451 Group“ (451 Group je přední technologicko-analytická společnost, zaměřující se na podnikání v oblasti IT inovací. Společnost poskytuje aktuální přehled o trhu s konkurenční dynamikou v rozvíjejících se technologických segmentech.) poskytující vzdělání, publikace, poradenství, certifikace, konference a semináře, nezávislý výzkum, myšlenky a vedení pro odborníky a obchodní společnosti zabývajícími se podnikovými datovými centry [14]. Společnost byla zaloţena v roce 1993. Institut propagoval vytvoření znalosti a podpory koncových uţivatelů za účelem zlepšení spolehlivosti a dostupnosti provozovaných datových center. Dnes tvoří více jak 100 členů na stránkách The Uptime Institutu globální síť velkých podniků s datovými centry o rozloze průměrně 52 000m2 počítačových místností, vyţadujících příkon více jak 6MWattů elektrické energie. Členové si přes pořádané konference a srovnávací programy sdílí osvědčené postupy, mimořádné události a metriky. Institut se zaměřuje na výzkum řízení datových center a IT zařízení, jak s pohledu vlivu na cenu, tak i s pohledu spolehlivosti a spotřeby energie. Z prací odborníků provozující skutečná datová centra, vzniká srovnání provozních nákladů, statistiky dostupnosti, poradenská činnost a průzkumy. Ústav tyto informace (zpracované na vysoké úrovni) poskytuje svým členům ve formě výzkumných prací, webových seminářů a sympozií. Ústav je průkopníkem v řadě inovací, které se později staly průmyslovými standardy, např.“teplá a studená ulička a duální napájení“. V neposlední řadě můţeme jmenovat normy klasifikace datových center TIER [14]. 29
2.3. Klasifikace TIER Infrastruktura datových center musí být navrţena tak, aby zajišťovala bezproblémový chod hardwarových prostředků, tak jak je definováno nebo smluvně potvrzeno správcem či majitelem aplikačního softwaru (viz kapitola 2.1). Toho můţe být dosaţeno díky vhodně zvolené topologii infrastruktury a dále také moţnosti opravy a údrţby její částí. Navrţením té správné topologie jednotlivých segmentů infrastruktury datových center se začala od roku 1993 zabývat americká organizace „The Uptime Institute“ (viz kapitola 2.2). Po několikaletém působení organizace vytvořila normy (standardy) rozdělující topologii infrastruktury na čtyři úrovně, nazývající se: TIER 1-4 (přičemţ označení TIER 4 je nejvyšší stupeň dostupnosti). Normy stanovují čtyři charakteristické definice datových center a jejich infrastruktury. TIER klasifikace popisuje místa a úrovně infrastruktury, potřebné k zajištění provozu, nikoliv vlastnosti jednotlivých systémů a subsystémů. Normy jsou zaloţeny na skutečnosti, ţe datová centra jsou závislá na úspěšné integraci a provozu několika samotných subsystémů infrastruktury (např. energie, chlazení, záloţní zdroje, atd.). Kaţdý subsystém a systém integrovaný do infrastruktury musí být důsledně vyuţit na svém místě s cílem uspokojit poţadovaný stupeň dostupnosti. Účelem této normy je poskytnout profesionálním projektantům datových center potřebné objektivní a efektivní prostředky pro identifikaci předpokládaného výkonu různých datových infrastruktur a návrhů topologie [13].
30
2.3.1. TIER I (základní) Tato infrastruktura má pouze jednu cestu pro napájení technologie a pro rozvod chladu, nemá ţádné redundantní prvky. Infrastruktura je náchylná k přerušení napájení vlivem plánovaných i neplánovaných událostí, provozních chyb a při spontánním selhání infrastruktury nastává přerušení činnosti datového centra, dostupnost je 99,671% [16].
Obr.č.18: Schéma topologie TIER I, zdroj: www.uptimeinstitute.com
31
2.3.2. TIER II (redundantní prvky) I tato infrastruktura má jednu cestu pro napájení technologie a pro rozvod chladu. Topologie uţ obsahuje některé redundantní prvky, je méně náchylná k přerušení napájení vlivem plánovaných i neplánovaných aktivit neţ kategorie TIER I. Údrţba kritické napájecí cesty a dalších částí infrastruktury vyţaduje přerušení činnosti datového centra, dostupnost je 99,741%.
Obr.č.19: Schéma topologie TIER II, zdroj: www.uptimeinstitute.com
32
2.3.3. TIER III (za provozu servisovatelné) Tato topologie má vícenásobné cesty pro napájení technologie a pro rozvod chladu, ale pouze jedna cesta je aktivní. Topologie obsahuje redundantní prvky. Údrţbu lze provádět za provozu. Je také umoţněn provoz datového centra bez přerušení napájení při plánovaných aktivitách na infrastruktuře. Při neplánovaných akcích mohou chyby nebo spontánní selhání prvku infrastruktury stále způsobit přerušení provozu datového centra. Zpravidla je tato topologie navrhována tak, aby byl moţný upgrade na kategorii TIER 4, dostupnost je 99,982%.
Obr.č.20: Schéma topologie TIER III, zdroj: www.uptimeinstitute.com
33
2.3.4. TIER IV (odolné vůči poruše) Poslední a nejvyšší úroveň má vícenásobné aktivní cesty pro napájení a pro rozvod chladu, obsahuje redundantní prvky, všechna zařízení IT musí mít dva zdroje (Dual Power Input), jakákoliv plánovaná činnost je moţná bez přerušení provozu datového centra, odolnost vůči poruše v tomto konceptu zajišťuje, ţe infrastruktura snese alespoň jeden nejhorší případ neplánované chyby nebo události bez vlivu na kritickou zátěţ, vyţaduje současné aktivní distribuční cesty, typicky v konfiguraci Systém+Systém, v napájení elektrickou energií to znamená dva separátní systémy zdrojů UPS a kaţdý má redundanci N+1, stále zůstává ohroţení vlivem poţárního poplachu a/nebo iniciace EPO (Emergency Power Off), dostupnost je 99,995% za předpokladu, ţe se EPO nepouţije častěji neţ jednou za 5 let.
Obr.č.21: Schéma topologie TIER IV, zdroj: www.uptimeinstitute.com Od počátku roku 2008 bylo Uptime Institutem certifikováno více neţ 100 datových center po celém světě. 34
2.4. Normy TIA Zkratka TIA (Telecommunications Industry Association) představuje přední obchodní asociace zastupující průmysl globálních a informační technologií (ICT) prostřednictvím vývoje norem, obchodních příleţitostí, průzkumem trhu a následnou certifikací. Společnost s podporou více jak 600 členů zlepšuje podnikatelské prostředí pro společnosti působící na trhu telekomunikací, mobilních a bezdrátových sítí, informačních technologií, nouzových komunikací, společnosti provozující datové a kabelové (nebo satelitní) sítě a společností provozující technologie šetrnější k ţivotnímu prostředí. Asociace TIA je akreditována ANSI (Americký národní institut standardů) pro rozvoj dobrovolných průmyslových standardů v širokém spektru telekomunikační oblasti [12]. V posledních dvaceti letech jsou standardy v oblasti kabeláţe základním kamenem k zajištění správného návrhu, instalace a výkonu sítě. Asociace TIA způsobila malou revoluci, kdyţ vydala první standardy TIA-568 zapojení kabeláţe pro komerční telekomunikační budovy, které popisují návrh, instalaci a výkon pro telekomunikační kabeláţe. Standardy umoţnily rychlejší vývoj průmyslu a jejich podpory. Datová centra byla bohuţel historicky designována bez podpory zavedených norem. V dubnu 2005 asociace TIA odpověděla s mornou TIA-942 popisující standardy infrastruktury datových center. Byly určeny pro projektanty (nebo architekty) datových center ve fázi vývoje stavebního procesu. TIA-942 popisují prostorové uspořádání, infrastrukturu kabeláţe, stupně spolehlivosti a provozní podmínky [11]. 2.4.1. Prostorové uspořádání Správná alokace je pro datové centrum velmi důleţitá a začíná zjištěním, zda prostor můţe být jednoduše relokován na změnu prostředí díky kapacitnímu nárůstu. Projektanti či konstruktéři musí najít přijatelnou rovnováhu mezi prvními akceptovatelnými náklady a předpokládaným prostorem, který je v budoucnu poţadován. Datové centrum by mělo být navrţeno s nadbytkem volného místa, které můţe být vyuţito pro další rackové stojany. Prostor okolo datového centra musí být také velmi vhodně zvolen, právě z důvodu budoucího růstu a moţnosti připojení dalších podpůrných systémů. Velká část normy TIA-942 se zabývá specifikací v oblasti facility, čili doporučuje standardní funkční plochy, které pomáhají definovat umístění zařízení v hvězdicové topologii. Návrh datových center s těmito funkčními oblastmi předpokládá nárůst kapacit a pomáhá vytvářet 35
prostředí, kde mohou být rozšiřovány aplikace a servery s minimem výpadků a poruch. Podle normy TIA-942 by datové centrum mělo obsahovat níţe uvedené klíčové oblasti.
Obr.č.22: TIA topologie datového centra, zdroj: www.tiaonline.org
TR (jeden nebo více přípojných bodů) – jedná se o místnost „cizích operátorů“ (hlavní konektivita do datového centra), která bývá umístěna samostatně nebo přímo v serverovně. Norma doporučuje umístění této místnosti mimo serverovnu z důvodu větší bezpečnosti. Pokud se nachází v serverovně, měla by být sloučena s MDA (distribuční částí strukturované kabeláţe). MDA (místo hlavního připojení) – jedná se o místo v serverovně, určené pro připojení hlavní konektivity za pouţití routerů, switchů, (resp. aktivních prvků). Norma vyţaduje alespoň jedno MDA v serverovně. HDA (jedna nebo více distribučních oblastí) - podobně jako u místnosti cizích operátorů slouţí HDA pro distribuce horizontální kabeláţe a připojení aktivních prvků do 36
distribučních panelů. Norma specifikuje instalaci UTP, koaxiální kabeláţe pro samostatné rackové stojany. Doporučuje také pouţití lokálních switchů a patch panelů pro minimalizace délky patch cord kabelů a kabelového managementu. HDA je omezen na 2000 spojů a počet HDA oblastí je odvozen na mnoţství kabeláţe a velikostí serverovny. EDA (distribuční místo u zařízení) – jedná se místo přímého ukončení strukturované kabeláţe přímo v rackovém stojanu. Norma také specifikuje instalaci rackových stojanů v topologii „teplá a studená ulička“ v konfiguraci, která účinně odvádí teplo z napájecích zdrojů IT technologie. ZDA (zóna distribuční oblasti) – zóna distribuční oblasti je volitelný propojovací bod mezi HDA a EDA. Můţe fungovat jako bod pro rekonfiguraci volně stojícího zařízení, jako jsou sálové počítače a servery, které neakceptují patch panely. V rámci horizontální kabeláţe je povoleno pouze jedno ZDA, s max. počtem 288 spojů. ZDA nemůţe obsahovat aktivní zařízení. Páteřní a horizontální kabeláž – páteřní kabeláţ poskytuje uvnitř serverovny propojení mezi MDA a HDA a také s místností hlavní konektivity (místnost cizích operátorů). Zatímco horizontální kabeláţ poskytuje propojení mezi HDA, ZDA a EDA. Mezi oblastmi HDA můţe být instalována volitelná páteřní kabeláţ pro zajištění redundance.
37
2.4.2. Infrastruktura kabeláţe V návaznosti na stávající standardy TIA-568 a 569, TIA-942 specifikují systém obecné telekomunikační kabeláţe a poskytují specifikace uznávaných kabelových medií. Jedná se např. o: standardní vlákna singlemode a multinode, optická vlákna, koaxiální kabely a UTP kabeláţ. TIA-942 také doporučuje pouţívání optických multimodových vláken pro páteřní kabeláţe, pro jejich lepší schopnost přenosové rychlosti na delší vzdálenost. Pro horizontální vedení TIA-942 doporučuje instalovat větší kapacitu kabeláţe a vyvarovat se doplňování v budoucnosti. V oblasti UTP kabeláţe norma také doporučuje pouţití kabelů kategorie 6A. Standardy dále doporučují maximální vzdálenosti páteřních horizontálních rozvodů. Páteřní optická kabeláţ je omezena na max. vzdálenost 300m, zatímco horizontální UTP kabeláţ na max. 100m délky. Normy obsahují několik poţadavků a doporučení pro kabelový management. Pokud jsou v datových centrech pouţita různá datová média, musí být jejich vedení navrţeno odděleně. Např. napájecí vedení musí být vedeno v samostatném ţlabu popř. ve společném ţlabu, ale fyzicky odděleno. Patřičnou prioritou by měl být také kabelový management v rackových stojanech, např. poloměr kabelů při vedení ze stojanu do dvojité podlahy. Stojany by měly být liniově vyrovnány tak, aby byla zajištěna demontáţ desek dvojité podlahy. TIA-942 také rozšiřuje standardy TIA-606-A (standardy správy pro datová centra) a specifikuje systém označování rackových stojanů, patch panelů, patch cordů a kabeláţe.
38
Obr.č.23: TIA topologie kabelových systémů, zdroj: www.tiaonline.org
2.4.3. Stupně spolehlivosti Stupně spolehlivosti popisují způsoby jak zajistit potřeby datových center. Standardy TIA942 ve svých přílohách popisují rozdělení datových center do čtyř úrovní nazvaných TIER, podle organizace The Uptime Institut. Přílohy popisují jednotlivé úrovně infrastruktury datového centra, viz kapitola 2.3.
39
3. Provoz datových center 3.1. Monitoring, servis a CFM V kaţdém (i v tom nejmenším) datovém centru bychom se dnes měli setkat se systémem monitoringu, či alespoň náznakem takového systému, pomocí kterého je provozovatel upozorněn minimálně na poruchu nějakého zařízení, zajišťující podpůrné sluţby. 3.1.1. Monitoring Na monitorování datových center je dnes kladen velký důraz. IT manaţeři chtějí sledovat např. časový průběh efektivity, chtějí odhalovat další moţnosti maximalizace IT systémů. Mohou tak zjistit, jak sníţit ztráty a zvýšit účinnost podpůrných systémů.
Důsledné
monitorování jednotlivých systémů datového centra umoţňuje také v mnoha případech předcházet selhání funkce provozního zařízení a vzniku bezpečnostního incidentu. Pokud uţ k selhání dojde, systém monitoringu umoţní rychlejší a efektivnější analýzu situace a výrazně tak zkrátí dobu opravy technologie. Jako další přidaná hodnota monitorování provozu je povaţována moţnost provádět analýzy provozu ve vztahu k provozním nákladům, servisu, opravám a efektivitě provozu.
Obr.č.24: Příklad monitorovacího softwaru, zdroj: www.altron.cz 40
Monitoring můţeme rozdělit na dvě základní oblasti. Tou první je monitorování samotných technologií obr.č.24 (Systémy napájení – motorgenerátory, UPS, DC napájení, rozvaděče, Systémy chlazení – sálové jednotky přesné klimatizace, vnější jednotky, chillery, SHZ, EZS, EPS, ACS, atd.). Zde se systém monitoringu zaměřuje na sledování a logování (ukládání informací do historie) provozních veličin jednotlivých technologií, provozních a poruchových stavů a jejich vyhodnocování v kontextu ostatních technologií nebo jejich částí. Druhou oblastí je monitoring prostředí datového centra. Zde se v souladu s instalovanými technologiemi sledují parametry technologií tak, jak působí na instalovaný HW. Výčet parametrů můţe být velmi dlouhý, tak zde uvedu pouze základní sledované veličiny, např.: teplota, vlhkost a prašnost vzduchu datového sálu v řadě umístění, parametry elektrické energie napájející IT, zaplavení technologických prostor, tlaková diference sálů atd. Tato oblast je velice důleţitou části monitorovacího systému, neboť sleduje dopady instalovaných systémů na samotný HW. Praxe nás však stále přesvědčuje, ţe ne vţdy jsou podmínky uvaţované při návrhu datového centra stejné s reálně pouţitým řešením v oblasti IT. Jednoduchý příklad za všechny: datový sál, postavený před 3mi lety, je navrţen na max. výkon 5kW/rack, coţ odpovídá hustotě výkonu HW v tomto období. Dnes se však instalují servery a ostatní aktivní prvky, které vyţadují hustotu 8 kW/rack a více. Důsledkem toho dochází lokálně nebo globálně k nesprávné cirkulaci chladného vzduchu na datovém sále a k přehřívání HW zařízení v horních částech rackových stojanů. Vzniká tak bezpečnostní incident. Při správně provedeném monitoringu prostředí je moţno s předstihem tuto špatnou cirkulaci odhalit pomocí měření teploty ve správném místě datového sálu. Avšak ani ten nejlepší monitorovací systém sám nezajistí zvýšení dostupnosti a tím sníţení bezpečnostních hrozeb nebo zvýšení efektivity vyplývající z nesprávné funkce infrastruktury datového centra. Monitorovací systém poskytuje velké mnoţství dat, které je třeba více či méně interpretovat a hlavně na ně odpovídajícím způsobem reagovat. K tomu je zapotřebí personálního obsazení dohledového pracoviště, kde je monitorovací systém prezentován.
41
3.1.2. Servisní smlouva V případě nastalého nebo blíţícího se bezpečnostního incidentu je monitorovací systém pouze tou indikativní částí. Mějme na zřeteli, ţe pro provozovatele datového centra je hlavním cílem udrţet všechny systémy v provozu. Proto je nutné s dodavateli provozních technologií zajistit patřičné servisní programy a smlouvy. V rámci takového programu pak provozovatel můţe dle pravidelných intervalů očekávat návštěvu specialisty, který na základě výrobcem doporučených postupů, provede např. výměnu vzduchových filtrů klimatizace, výměnu vadných baterií v UPS, doplnění provozních kapalin v sestavě motorgenerátorů nebo provádění výkonových zkoušek. Při takové návštěvě mohou specialisté i zaznamenat potřebu dodatečné úpravy provozního systému nebo mohou upozornit na potřebu následného kapacitního rozšíření. Servisní smlouva by měla také obsahovat reakční dobu servisní organizace při vyhlášení bezpečnostního incidentu. Úroveň těchto hodnot a povinností by měla být součástí servisního programu, např. Silver, Gold nebo Platinum, který zavazuje servisní organizaci k patřičnému odstranění poruchy nebo dodání náhradního dílu na infrastruktuře datového centra. Podle smluvních podmínek můţe být servisní organizací poskytována i telefonická, on-line podpora nebo vzdálený dohled na provozované zařízení. 3.1.3. Kritický facility management Pokud jako provozovatelé datového centra víme, ţe naše provozní potřeby nebudou jen pravidelné revize a několik vizuálních kontrol za rok, zvolíme si kombinaci servisních programů a sluţeb, které zastřešuje jedna smlouva s dodavatelem. Má-li být naše infrastruktura v nejlepší kondici, musíme uvaţovat koncepčně. To znamená nezajišťovat pouze potřebné servisní prohlídky (vyplívající z provozních příruček daného výrobce a dle příslušných norem), ale také vyhodnocovat naměřené veličiny v systému monitoringu ze všech podpůrných systémů infrastruktury. Patřičně je analyzovat a hledat vzájemné vazby mezi sebou. Této oblasti se říká „Kritický facility management“ (CFM – Critical Facility Management) a patří sem vlastní výkon činností v souladu s příslušnými provozními předpisy a pracovními postupy. Management datového centra se skládá z několika dílčích oblastí: řízení činností (Operation Management), řízení kontroly (Test Management), řízení hlášení (Report Management), řízení poruch (Incident Management), řízení dokumentace (Document 42
Management), řízení smluvních vztahů (Service Level Management), řízení dostupnosti (Availability Management), řízení změn (Change Management), řízení kapacit (Capacity Management) a řízení problémů (Problem Management). Způsob poskytování těchto sluţeb můţe být rozdělen do několika úrovní (viz. úroveň servisního programu Silver, Gold nebo Platinum). Pro kaţdou z uvedených oblastí by měla být zpracována přesná metodika a zakomponována do servisní smlouvy se servisní organizací. Dle uváţení provozovatele datového centra, můţe některé oblasti provozovat sám nebo mohou být všechny zajištěny servisní smlouvou a provozuje je vybraný dodavatel. Majitel datového centra se tak v klidu můţe věnovat předmětu svého hlavního podnikání a nabídkou sluţeb.
3.2. Provozní náklady Pod pojmem provozní náklady si představme ekonomický pohled na naše provozované (nebo plánované) datové centrum. Ekonomikou provozu bychom se měli zabývat minimálně z pohledu porovnání ziskovosti provozovaných sluţeb (ověření obchodního záměru – business case). Další důvod můţe být volba správné metodiky investic do infrastruktury nebo do samotné technologie (etapizace investic), dále stanovení absolutní hodnoty nákladů a s tím spojená potřebná alokace finančních prostředků. Do oblasti provozních nákladů spadají všechny investice (CAPEX - Capital Expenditure), ale také náklady spojené s provozem (OPEX - Operational Expenditures) systémů a zařízení. Pokud tyto dvě hodnoty sečteme, získáme výslednou hodnotu TCO (Total Cost of Ownership - celkové náklady na vlastnictví). Ta je zajímavá jak z pohledu ekonomického zhodnocení investice, ale také pro investory, kteří kladou důraz na investiční prostředky. Pod pojmem CAPEX (kapitálové investiční náklady) si můţeme představit: -
náklady na hmotný majetek
-
výstavba, investice do infrastruktury
-
obměna technologie 2% za rok
-
náklady na související sluţby
43
Pod pojmem OPEX (provozní náklady) jsou potom: -
náklady na energie
-
konektivita, profylaxie, opravy, údrţba, ostraha
-
náklady ostatní (nájem, personál, provozní sluţby)
Na základě uvedených hodnot si můţeme zpracovat např. indikativní ekonomické zhodnocení provozu na období kupříkladu deseti let od vybudování datového centra. Abychom si mohli takové zhodnocení zpracovat, musíme zvolit patřičné parametry výpočtu, např. časové období, odpisovou metodu, výchozí ceny energií, průměrný předpokládaný nárůst ceny energií, průměrný roční výnos investovaných prostředků, předpokládanou míru inflace a ostatní náklady na provoz. Pokud všechny vstupní hodnoty vloţíme do tabulky a rozpočítáme na období např. výše uvedených deseti let, získáme pak poměr CAPEXu a OPEXu na konci desetiletého období, obr.č.25.
CAPEX/OPEX 10let
CAPEX -21%
OPEX -79%
Obr.č.25: Poměr CAPEX/OPEX datového centra v průběhu 10let, zdroj: www.altron.cz
44
Z toho vyplívá, ţe v průběhu zmíněného období se poměr OPEXu (provozních nákladů) oproti hodnotě prvotních investic (CAPEX) téměř ztrojnásobí.
Opex 10let OPEX - správa, administrace -8%
-4%
-11%
OPEX - spotřeba el. energie
-15%
OPEX - CFM pro nonIT
-62%
OPEX - bezpečnostní služba (secirity) OPEX - Profylaxe, opravy a údržba
Obr.č.26: Rozdělení OPEXu v období 10let, zdroj: www.altron.cz Nutno ještě podotknout, ţe z provozních nákladů uvedeného příkladu (tedy na deset let provozu), tvoří aţ 48% náklady na elektrickou energii, obr.č.27. Tato skutečnost je jeden z hlavních důvodů, proč se dnes, při stále rostoucích cenách energie, provozovatele datových center snaţí zajistit maximální efektivitu provozovaných systémů a zařízení.
Obr.č.27: Zobrazení spotřeby el. Energie v průběhu 10let, zdroj: www.altron.cz 45
3.3. Efektivita a měření efektivity Abychom mohli efektivitu měřit, musíme si nejprve vysvětlit, co vůbec efektivita datového centra znamená. Asi nejjednodušší bude začít u sdruţení „The Green Grid“. Jedná se o sdruţení IT profesionálů, které se snaţí výrazně zvýšit účinnost datových center prostřednictvím krátkodobých nebo dlouhodobých návrhů [7]. V roce 2007 vydalo toto sdruţení dokument, kde popisuje vyuţití energie, účinnost datového centra a metriky, které umoţňují provozovatelům datových center porovnat své výsledky s jinými, případně zlepšit svou energetickou účinnost. Poprvé tak byly stanoveny metriky pro jednoduchý odhad nebo chceme-li výpočet efektivity. Efektivitou tedy rozumějme optimální vyuţití zdrojů v datovém centru. Od té doby byl průmyslem přijat termín PUE - efektivita vyuţití příkonu (Power Usage Efectiveness) a také DCiE – účinnost datového centra (Data Center Efficiency). PUE – představuje poměr celkového příkonu datového centra vůči celkovému příkonu IT zařízení. Je indikátorem toho, kolik z celkově spotřebované energie celého centra je vyuţito IT vybavením a kolik připadne na podpůrné systémy. Za ideální hodnotu PUE povaţujeme číslo 1,6. Jakékoliv dobře navrţené a dobře provozované datové centrum můţe reálně dosáhnout hodnoty niţší neţ 2 a přitom splňovat podnikové cíle. DCiE – je obrácená hodnota (inverzní) vůči PUE, tedy 1/PUE*100. Hodnota DCiE se udává v jednotkách %. Pro ilustraci můţeme pouţít názorný příklad: Pro výpočet efektivity zohledníme všechny oblasti elektrického příkonu a rozdělíme je do několika segmentů, jako jsou: IT zařízení, osvětlení, výroba chladu, spotřeba zvlhčovačů, energie pro dopravu vzduchu, vlastní spotřeba motorgenerátorů, ostatní spotřeba budovy, UPS ztráty a ještě ztráty distribuce elektrické energie. Z výpočtu uvedených hodnot pak dostaneme hodnotu PUE=2,64 a DCiE=38%. Teď uţ zbývá jen odpovědět na tu nejtěţší otázku – kde můţeme ušetřit? Na tuto otázku ovšem nelze jednoduše a také plošně odpovědět. Ke zvýšení efektivity datového centra dnes mohou jednoznačně přispět nové technologie a jejich správné vyuţití.
46
Do technologií vedoucí ke zvýšení efektivity v non-IT části patří: Pouţití modulárních technologií Správný návrh výkonové bilance Výměna stávajících systémů chlazení za nové s vyšší účinností Výměna stávajících systémů UPS za nové s vyšší účinností Dlouhodobé sledování spotřeby elektrické energie a její vyhodnocování Pouţití systému teplá a studená ulička Pouţití nízko ztrátových VN transformátorů
Do technologií vedoucí ke zvýšení efektivity v ICT části patří: Konsolidace ICT Nový ICT HW a SW Vizualizace Cloud computing
Při optimální kombinaci uvedených technologií je moţné u našeho vzorového příkladu získat např. hodnoty PUE=1,55 a DCiE=64%. Spotřeba elektrické energie tak klesla z původních 660kW na 388kW. Za posledních cca. 5 let se spotřeba elektrické energie v oblasti ICT zdvojnásobila a právě největší podíl na spotřebě v oblasti non-IT má provoz chladicích systémů. Z těchto důvodu je potřeba zvolit uváţenou volbu IT hardwaru, napájecí infrastruktury a chladicích systémů. U středně velkého datového centra je pak moţno ušetřit i desítky milionů korun a přitom ještě sníţit emise skleníkových plynů.
47
3.4. Hrozba datových center Nefunkčnost nebo nesprávná funkčnost IT zařízení můţe mít v dnešním světě podnikání velký dopad na spokojenost zákazníků, ekonomiku podnikání, dobré jméno společnosti, právní zodpovědnost a mnoho dalšího. Zajištění provozu IT zařízení můţeme vnímat jako splnění určité míry bezpečnosti či neohroţenosti chodu technologií. Chodem rozumějme dostupnost IT zařízení a aplikací. Pokud začneme zkoumat různé bezpečnostní hrozby, které tento chod ovlivňují, dojdeme k závěru, ţe je můţeme rozdělit na tři hlavní oblasti: Datová a softwarová – je bezesporu první oblast, která je vnímána jako jeden z hlavních zdrojů hrozeb IT. Můţeme sem zařadit takové části jako je např. SPAM, počítačové viry, softwarové chyby, chyby LAN a WAN, a v neposlední řadě také vnější nepovolené útoky a zneuţití dat. Fyzická bezpečnost HW prostředků. Tato oblast není jiţ obvykle vnímána jako hlavní zdroj hrozeb, ovšem průzkumy ukazují, ţe se také výrazným způsobem podílí na bezpečnostních incidentech IT. Do této oblasti patří poruchy HW, chyba obsluhy, krádeţ zařízení nebo dat, vnitřní nepovolený přístup, zneuţití zařízení, přírodní katastrofa, poţár a další. V podstatě jde o narušení HW prostředků v místě jejich instalace, tj. obvykle v datovém centru nebo serverovně. Technologie zajišťující bezproblémový chod HW prostředků IT. Tyto technologie mají zcela zásadní vliv na dostupnost aplikací a dat, neboť tvoří základní podmínky pro chod samotné výkonné části IT. Pro tyto prostředky se pouţívá souhrnné označení NCPI ( Network Critical Physical Infrastructure ), podrobněji viz kapitola 1. Pojďme se podrobněji podívat na oblast NCPI, která je z pohledu provozu datových center vnímána jako nejzásadnější. Asi není potřeba jakkoliv zdůrazňovat vztah mezi fungováním hardwaru (zajišťující provoz aplikací) a jeho napájením elektrickou energií. Tento faktor je velmi často vnímán jako bezpečnostní hrozba pro IT aplikace. Systém napájení IT technologie se skládá z jednoho nebo více přívodů napájení z rozvodné soustavy, soustavy rozvaděčů, náhradních zdrojů elektrické energie, záloţních systémů střídavých (AC) a stejnosměrných (DC) a kabelových propojení. Nedílnou součástí je také řídicí systém, který zajišťuje správnou distribuci elektrické energie. Denní praxe ovšem ukazuje, ţe velice důleţitou součástí návrhu systému napájení jsou nejenom správně pouţité komponenty a jejich vhodné kombinace, ale také topologie celého systému. Díky vhodně zvolené topologii zajistíme 48
nejenom vysokou dostupnost napájení, ale také moţnost opravy a údrţby těchto částí za provozu, coţ vzhledem k stále větší nutnosti provozovat IT v reţimu 7x24x365 nabírá na významu.
Obr.č.28: Graf chlazení IT/kritická infrastruktura, zdroj: www.altron.net
Systém napájení není však zdaleka jedinou technologií NCPI v datových centrech. Druhým systémem, který zásadně ovlivňuje dostupnost, a tudíţ se stává hrozbou v případě poruchy nebo selhání, je systém chlazení. V minulých letech se tento systém nepovaţoval za přímou hrozbu, neboť jeho dopad na funkci v případě selhání nebyl okamţitý. Se zmenšováním hardwaru se však zvyšuje výkonová hustota v datových stojanech/racích, která se obvykle vyjadřuje v kW/rack nebo v kW/m2. Z výše uvedeného obrázku č.28 vyplývá, ţe reálně osazené racky technologií 2RU a větší mohou dnes dosahovat výkonové hustoty 6 – 10 kW/rack, technologie 1RU aţ 12 – 15 kW/rack a Blade Centra dokonce 15 – 22 kW /rack. Při těchto výkonových hustotách se při ztrátě funkce chladícího výkonu dosahuje přehřátí tohoto HW v řádu i jednotek minut. V takto krátkém čase není moţno na situaci dostatečně rychle reagovat a důsledek můţe být stejný jako při výpadku napájení. V lepším případě dojde 49
k regulérnímu odstavení serveru (shutdown), v tom horším případě k odpojení zdroje z důvodu vnitřního přehřátí. Je totiţ třeba si uvědomit, ţe prakticky veškerá energie, dodaná elektrickým obvodem (systémem napájení), je vyzařována v podobě tepla a to nucenou výměnou vzduchu. Při takto vysokých výkonech uţ nepomáhá ani tepelná setrvačnost kovových částí hardwaru. I zde je důleţité nejenom pouţití vhodných komponentů chlazení a jejich správná kombinace, ale také přizpůsobení topologie chladicího systému k systému napájení. Systém chlazení se tak z pohledu NCPI integrátora stává stejně důleţitou – kritickou – částí z hlediska dostupnosti sluţeb IT jako systém napájení. Dalšími systémy, které se zahrnují do NCPI jsou systém Stabilního Hasicího Zařízení (SHZ), přístupové systémy – Access System (ACS), Elektronický Zabezpečovací Systém (EZS), Elektrická Poţární Signalizace (EPS) včetně detekce poţáru, datová kabeláţ, systémy fyzické infrastruktury (rackové stojany, zdvojená podlaha) a další podruţné systémy. Prakticky u všech těchto systémů můţeme nalézt vazbu mezi jejich funkcí a funkcí IT a jsou tedy také potenciální hrozbou pro IT provoz. Například při planém spuštění hasícího systému SHZ dochází zpravidla také vypnutí všech systémů napájených elektrickou energií (převaţující většina poţárního nebezpečí datového centra vyplývá ze systému napájení nebo systémů distribuce). Dochází tedy k přímému ohroţení funkce IT v souvislosti s SHZ a to nejen přímým ohroţením poţárem nebo jeho zplodinami, ale také v důsledku funkce systémů chránících lidské ţivoty a zdraví nebo majetek. Zde je zcela klíčové provést správný návrh těchto technologií také s ohledem na vliv na samotný provoz IT v přímém kontextu s provozními a bezpečnostními opatřeními resp. analýzou rizik v dané lokalitě. Dalším příkladem můţe být např. nesprávně navrţená fyzická infrastruktura s ohledem na hmotnost instalovaných technologií. Důsledkem miniaturizace a zahušťování v hardwarových prostředcích je stále zvyšující se hmotnost rackových stojanů v serverovně a další aktivní IT technikou, např. diskové pole v řádech desítek Terabytů (v minulosti se jednalo o cca 500 kg/m2, dnes se běţně setkáme i s hodnotou 1000kg/m2). Zde hrozí riziko zhroucení této fyzické infrastruktury a poškození nebo zničení instalované techniky IT. V neposlední řadě NCPI zahrnuje systémy monitoringu výše uvedených technologií (viz kapitola 3.1.). Je zcela pochopitelné, ţe pokud povaţujeme výše uvedené technologie za kritické pro provoz datového centra a při nesprávné funkci jsou hrozbou pro samotný provoz, klademe také velký důraz na monitorování stavu těchto technologií. Důsledné monitorování umoţňuje v mnoha případech předcházet selhání funkce a vzniku bezpečnostního incidentu. 50
Pokud jiţ k selhání dojde, systém monitoringu umoţní rychlejší a efektivnější analýzu situace a výrazně tak zkrátí dobu opravy technologie. Jako další přidaná hodnota monitorování provozu je povaţována moţnost provádět analýzy provozu ve vztahu k provozním nákladům, servisu, opravám a efektivitě provozu. Lze tedy konstatovat, ţe bezpečnost IT chápaná ve výše zmíněném kontextu je obor mnoha tváří. Rychlý rozvoj IT technologií sebou však přináší nové hrozby, které vyplývají z rostoucích nároků těchto technologií na vytvářené podmínky provozu. Vzhledem ke koncentraci těchto IT zařízení v datových centrech, které ve většině případů vytvářejí tyto podmínky, je nezbytné dokonale zvládnout návrh a provoz těchto center a v maximální míře tak eliminovat tyto nově vznikající hrozby.
3.5. Výpadky Lidská chyba stojí podle organizace „Uptime Institute“ za přibliţně 70 % výpadků datových center. Na vině jsou nesprávné šetření, špatné školení či neautorizovaný zásah některých zaměstnanců [8]. Došlo k rapidnímu zvýšení teploty v datovém sále a servery se začaly sami nekorektně vypínat, protoţe se ucpalo jediné filtrační síto na okruhu chladícího média. Špatně zaškolená ostraha objektu omylem spustila poţární poplach a odpojila tím úseky napájení datových sálů. Přehřáté systémy se neplánovaně vypnuly poté, co pracovník provozu budovy změnil v nastavení termostatu datového centra jednotky teploty ze stupňů Fahrenheita na stupně Celsia. Facility managementem budovy najatá uklízecí sluţba pravidelně kaţdý týden v konkrétní den v šest hodin večer nevědomky vypínala jeden z mnoha důleţitých serverů, protoţe zaměstnankyně potřebovala volnou zásuvku pro vysavač. To je jen několik případů, kdy selhání lidského nebo mechanického faktoru vedlo k fatálnímu neplánovanému výpadku některých serverů nebo dokonce celého datového centra. Podle společnosti Uptime Institute, (která se zabývá výzkumem a konzultačními sluţbami se zaměřením na provoz datových center) způsobují lidské chyby téměř 70 procent problémů, které v současné době postihují datová centra. Sdruţení doposud analyzovalo 4 500 incidentů v datových centrech včetně 400 případů úplných výpadků [8]. Ať uţ se jedná o špatné zaškolení obsluhy, nedbalost zaměstnanců, škrty v plánovaném rozpočtu nebo o pohyb nesprávných osob, lidské chyby jsou prostě nevyhnutelné. V dnešní 51
době se díky neustále zvyšující sloţitosti IT systému stává, ţe zbytečně dochází k chybám, kterým by se dalo za normálních okolností předejít. Pokud dojde k případu vysoké úrovni sloţitosti a přepracování, následky bývají ošklivé a někdy dosti nákladné. Pomineme-li fakt, ţe společnosti stále více závisejí na pouţívání IT technologií při plánování nebo dodrţování firemní globální strategie a stanovených cílů. Jaký je ale recept na eliminaci uvedených nedostatků? Je to jen neznalost zaměstnanců vůči prostředí ve kterém se nacházejí? Nebo IT manaţeři pochybili a nevěnovali pozornost patřičné informovanosti a nutným školením IT specialistů? Školící programy jsou často omezené a nedávají věci do vzájemných souvislostí. Zaměstnanci si pak dostatečně neuvědomují jejich vazbu na sloţitě propojené systémy datového centra. V červenci roku 2011 vydal Uptime Institut novou sadu specifikací navrţených ke zlepšení doby provozuschopnosti datových center, a to popsáním provozních problémů včetně lidského faktoru. Dokument nese označení „Data Center Site Tier Standard: Operational Sustainability“ a obsahuje různé instrukce a témata, mj. jak zvyklosti týmu správy datového centra a rizika s nimi spojená mohou ovlivnit dlouhodobý provoz. Při nedostatečné správě mohou i nejpokročilejší datová centra zaznamenat výpadky provozu. Management by měl věnovat pozornost tomu, aby datové centrum dosáhlo nejvyšší moţné doby provozuschopnosti. Společnost by měla dostatečně pečovat o personál, nejen dostatečným počtem pracovníků, ale také dostatečnou kvalifikací osob umoţňující dosaţení provozních cílů datového centra. Například v pokročilých datových centrech (Tier 4) doporučuje Uptime Institute nepřetrţitou (24 x 7) přítomnost minimálně dvou zaměstnanců, kteří se budou provozu datového centra naplno věnovat [15].
52
4. Návrh a implementace datových center Problematika budování datového centra představuje sérii kompromisů mezi technologickými, ekonomickými a dnes také ekologickými/energetickými poţadavky.
4.1. Návrh řešení Na úplném začátku je potřebné si sestavit (na straně klienta) pracovní tým, který bude definovat podmínky a parametry zadání datového centra. V případě potřeby si tým můţe přizvat ke spolupráci odbornou firmu. To zajistí zvýšení efektivity a jednání budou podloţena získanými zkušenostmi a věcnými argumenty [10]. Pracovní tým se musí vyřešit základní otázky a stavební bloky datového centra: Jaký typ datového centra poţadujeme a k čemu bude slouţit – bude pouze firemní nebo bude nabízet nějaké sluţby?, kdo bude rozhodovat o umístění a instalaci technologie? atd. Jakou úroveň IT zabezpečení poţadujeme a proč – jak bude zajištěno fyzické zabezpečení HW?, jak bude datové centrum zajištěno proti přírodní katastrofě nebo poţáru? Kde bude datové centrum umístěno – bude postavena samostatná budova? nebo se pro datové centrum vyčlení jedno podlaţí v administrativní budově?, zde je potřeba si uvědomit patřičná bezpečnostní rizika při strategickém rozhodování a v neposlední řadě nezapomenout na výsledky objemové studie (ta se zabývá počtem datových sálů, počtem IT stojanů, počtem a velikostí místností pro podpůrné systémy) Studie proveditelnosti – pokud jiţ máme odpovědi na výše uvedené otázky, je nutné zpracovat studii proveditelnosti (Feasibility Study) nebo projekt pro stavební povolení. Oba dokumenty nám prozradí, jak bude vypadat finální dispoziční řešení datového centra Výše uvedené stavební bloky je nutné vyřešit, abychom se mohli pustit do dalších fází rozhodování.
53
4.2. Analýza zátěţe V této části se v pozici pracovního týmu budeme zabývat sestavováním co nejpřesnější energetické bilance. V prvopočátku si ovšem musíme definovat dva vstupní parametry. První z nich je příkon koncových IT zařízení (současně také jejich poţadavky na chlazení). Druhý je potom informace o moţnosti odběru patřičného výkonu z distribuční sítě nebo z nejbliţšího VN transformátoru. Následně si můţeme ještě sumarizovat několik dalších atributů k přesnější definici datového centra: maximální plošná a bodová únosnost dvojité podlahy v datovém sále, jeho půdorys a světlá výška, nosnost střechy, venkovní prostor pro umístění dieselgenerátoru a venkovních chladících jednotek. Do půdorysu datového sálu si také můţeme zakreslit budoucí rozmístění IT technologie/stojanů [10]. Energetická bilance elektrické části - nyní, kdyţ známe výkon IT zařízení, zapíšeme si průměrnou výkonovou hodnotu na jeden stojan. Ta se můţe pohybovat od 5kW/rack aţ po 10kW/rack. Zde je nutné si uvědomit, ţe je ještě nutné podle počtu kW/rack přičíst také potřebný příkon na chlazení takového racku. Hodnota odebraného elektrického příkonu se nám totiţ celá přemění na vyzářené teplo a to je potřeba z datového sálu odvézt pryč. U příkonu 5kW/rack počítáme cca. 35% příkonu na jeho chlazení a na příkon 10kW/rack počítáme cca. 65% příkonu na chlazení racku. V dalším kroku musíme spočítat elektrické příkony všech podruţných systémů zajišťujících provoz datového centra (osvětlení, výtahy, tel. ústředna, hasicí zařízení, kancelářská technika, atd.). Po sečtení všech uvedených systémů dostáváme hodnotu příkonu
a
tu
budeme
porovnávat
s dostupným
výkonem
vysokonapěťového
transformátoru, dieselgenerátoru nebo záloţního zdroje UPS. Všechny získané hodnoty o příkonech provozních systémů si dále rozdělíme do několika skupin, podle typu energetické náročnosti. Např. systémy napájené z UPS, nebo systémy napájené z dieselagregátu a nakonec spotřeba z nezálohovaných systémů. Jedná se velmi zdlouhavou a někdy mravenčí práci, neţli se nám podaří všechny potřebné hodnoty sumarizovat do uceleného přehledu. Takto si postupně vytváříme představu o našich potřebách při zprovoznění a následného provozu datového centra. Je nutné si také zvolit patřičnou strategii ohledně očekávaných kapacit na počátku a ve finálním stavu datového
54
centra. Defacto si klademe otázku, jak celý projekt etatizovat a rozloţit tak investiční náklady na výstavbu datového centra v delším horizontu. Energetická bilance tepelné zátěţe – v této části se budeme zabývat analýzou tepelné zátěţe a to u všech zařízeních produkující teplo, resp. jejich elektrický výkon/neboj jeho část se přeměňuje na teplo. Jedná se hlavně o IT zařízení (servery, switche, routery, disková pole, atd.) a také o podpůrné systémy, jako např. o zdroje UPS. Stejně jako v předchozí kapitole si i zde sepíšeme všechna zařízení a podle priorit přerozdělíme poţadavky na jejich chlazení. Provozní reţim datového centra – v rámci energetické bilance bychom neměli zapomenout na stanovení poţadavku na dostupnost (viz kapitola 3.1). V období kdy kalkulujeme energetickou bilanci bychom si alespoň rámcově měli udělat představu o tom, jaké budeme mít ztráty při výpadku či odstávce datového centra a stanovit si tak provozní reţim. Ten můţe být např. 8x5, 24x7 nebo 24x7x365 (viz kapitola 3.1). Provozní reţim datového centra je nedílnou součástí studie proveditelnosti a výrazně ovlivňuje objem potřebných investic. Také má vliv na objemovou studii, která kalkuluje s potřebnými prostory pro IT i non-IT technologie. Více o stanovené dostupnosti vs. bezpečnost technologické infrastruktury si povíme v další kapitole.
4.3. Analýza rizik V této části se budeme zabývat analýzou provozních rizik a také moţnými limity existující či připravované části budovy a dále také fyzickou bezpečnostní konkrétních místností (jak datových sálů, tak i místností podpůrných systémů). Analýza rizik můţe na někoho působit jako tajemné spojení a hned se mu nemusí vybavit, co se za tím skrývá. Jako IT specialisté však velmi rychle začneme při provozu datového centra naráţet na některá omezení či dokonce nebudeme schopni rozhodovat a reagovat na vzniklé situace. Např. budeme muset rozhodovat kam umístit nový HW, nebo jak jej energeticky připojit, nebo dokáţeme vůbec zajistit dostatečnou datovou konektivitu pro nový HW? Co se stane, kdyţ přestane fungovat chlazení v serverovně, nebo kolik minut musí UPS napájet technologii z připojených baterií? Takovéto a na mnoho dalších situací si musíme uvědomovat a zpracovat je právě při analýze rizik [10].
55
Analýzu je moţné si rozdělit na tři oblasti: Technologie zajišťující bezproblémový chod IT zařízení – do této oblasti můţeme zařadit např. nepřerušované napájení HW z UPS nebo zajištění provozu chlazení a s tím související udrţování dostatečné vlhkosti. Systémy, které zajišťují základní provozní prostředí pro HW nazýváme „síťová kritická fyzická infrastruktura“ – NPCI. Fyzická bezpečnost hardwarových prostředků – jedná se o narušení HW prostředků v místěn jejich instalace. Nalezneme zde např. chyby obsluhy, krádeţe dat, poškození HW, nepovolený přístup, katastrofa nebo poţár. Softwarová bezpečnost – tato část je všemi zřejmě dobře známá. Patří sem SW nepovolený přístup, SPAM, počítačové viry a zneuţití dat. Po stanovení všech výše uvedených rizik bychom se měli snaţit je patřičně ošetřit. Stanovit platné normy a standardy (které se zabývají výstavbou datových center), a vytvořit třeba i své vlastní interní směrnice společnosti. V analýze rizik je nutné si také uvědomit, jaké další prioritní systémy nám mohou způsobit výpadek nebo také sníţení provozní dostupnosti IT zařízení. Hlavní součástí provozu IT zařízení je nepřerušované napájení elektrické energie. Toto je hlavní atribut, který přímo ovlivňuje dostupnost provozovaných zařízení. Ovšem v posledních několika letech se zvyšující se spotřebou výkonu HW a jeho neustále zmenšování, vnímáme zásadní změnu ve zvyšující se výkonové hustotě na jeden rack/stojan s IT zařízením. S tím je ovšem velmi silně spjat i další rizikový faktor, a to je chlazení. V minulosti tomu tak nebylo a výpadek chlazení nebyl povaţován za primární riziko či hrozbu a jeho výpadek ne neprojevil okamţitě. Dnes můţe mít právě výpadek chlazení nebo napájení fatální důsledky v provozu celého datového centra (viz kapitola 3.4.). S uvedenými riziky tak dokáţeme vnímat potřebu na zajištění optimální volby infrastruktury v datovém centru. Pouze správný návrh topologie a správné dimenzování jednotlivých prvků dokáţe eliminovat výskyt hrozeb a bezpečnostních incidentů. Analýzou rizik také dokáţeme ošetřit provozně organizační aspekty, které mají vliv na dostupnost kritických aplikací a fyzickou bezpečnost.
56
4.4. Posouzení lokality V předchozích kapitolách jsme si představili jak zpracovat energetickou bilanci také analýzu rizik včetně bezpečnosti. Právě tyto oblasti bychom měli vyhodnocovat uţ s vazbou na zvolenou lokalitu a umístění datového centra. Podobně jako v minulých kapitolách, bychom se i nyní měli zabývat otázkami jak přistoupit k problematice umístění datového centra. Výběr vhodné lokality - při výběru vhodné lokality bychom stále měli mít na paměti naše vstupní parametry, čili sumarizované parametry zadání a mít seznam dokumentace, které máme v současnosti k dispozici. Dále mít všechny dokumenty ke konkrétní posuzované lokalitě a určit si referenční bod, vůči kterému vztahujeme dostupnost všech inţenýrských sítí.
Z provedených analýz jiţ máme přehled o energetické náročnosti
datového centra a můţeme tak oslovi majitele nemovitosti s poţadavkem ověření potřebných kapacit. Datové centrum musí být schopno adaptovat se ve vztahu ke stoupajícím potřebám na energetiku a úprav v infrastruktuře. Proto bychom měli u jednatele posuzované lokality také ověřovat moţnost dodatečných dispozičních úprav, moţnosti navýšení příkonu, zajištění napojení na inţenýrské sítě z více bodů a v neposlední řadě si také ověřujeme moţnosti smluvních vztahů s budoucím majitelem nemovitosti. Posouzení objektu – cílem tohoto zhodnocení je zajistit optimální podmínky pro předání stavby do běţného provozu. Měli bychom zhodnotit mechanickou pevnost jednotlivých prostor, protoţe uţ v prvních fázích zahájení stavby bude nutné někam umísit zdroje UPS a k nim externí stojany s bateriemi, které kladou velkou náročnost na statiku budovy. Dále budeme zhodnocovat poţární odolnost budovy a jednotlivých sekcí. Zde se zaměříme na propustnost oken, dveří (s patřičnou poţární odolností) a prostupů, které budeme muset v rámci stavby realizovat. Další oblastí bude zhodnocení kapacity tras. Naše datové centrum bude v době svého plného provozu doslova „protkáno“ kabelovými trasami strukturované kabeláţe, různými komunikačními systémy, silnoproudou kabeláţí, ale také systémy potrubí pro klimatizaci a chlazení. A právě na kapacitu těchto systému musíme patřičně navrhnout poţadavky na kabelové lávky a ţlaby, které budou vedeny pod stropem nebo pod dvojitou podlahou.
57
4.5. Projektování Z předchozích kapitol jsme se dozvěděli jak si zpracovat analýzu zátěţe a analýzu bezpečnostních rizik. Také jsme si popsali jak sestavit tepelnou a elektrickou bilanci a také jsme se zabývali poţadavky na posouzení budov. Z velkého mnoţství těchto a jiných materiálů je nyní potřeba zpracovat dokumenty, které budou srozumitelné pro všechny odborné profese a pro ty, kteří se budou podílet na projektování nebo i samotné stavbě datového centra. Společnou řečí pro všechny tyto odborníky je projektová dokumentace obsahující technické zprávy, katalogové listy a výkresy. Ke zpracování takové dokumentace bychom měli s jistotou vyhledat odbornou firmu, která se právě o takovou oblast zajímá. Ze své historie či svých referencí tak můţe doloţit realizaci datových center v podobném rozsahu. Odborné firmě bychom také mohli/měli svěřit koordinaci celého projektu a zvláště pak kontrolu vazeb mezi jednotlivými profesemi. Společnost by nás ze svých zkušeností měla provázet celým procesem projektování a měla by také zajistit zpracování dodatečných změn [10]. V optimálním případě si můţeme zvolit takového partnera, který nás provede všemi stupni projektové dokumentace a pomůţe nám zajistit veškerou agendu se státními institucemi. Stupně projektové dokumentace jsou: Dokumentace pro územní rozhodnutí (DUR) Dokumentace pro stavební povolení (DSP) Dokumentace pro provádění stavby (DPS) Projektová dokumentace stavby Dokumentace skutečného provedení (DSPS) Z uvedených stupňů jednotlivých dokumentů je patrné, ţe není moţné jednotlivé části zpracovávat paralelně, ale postupně a musí na sebe logicky navazovat. Nelze zde také opomenout časové milníky pro jednání s patřičnými úřady.
58
Při zpracovávání jednotlivých stupňů dokumentací bychom měli vycházet z blokového schématu infrastruktury datového centra, viz obr. č. 29.
Obr. č. 29: blokové rozdělení infrastruktury datového centra, zdroj: www.altron.net
Při výstavbě datového centra se neobejdeme bez kvalitní projektové dokumentace, která by měla být svým rozsahem adekvátní velikosti realizovaného projektu. Měli bychom si také uvědomit, ţe kaţdá změna v projektové dokumentaci generuje další náklady.
59
4.6. Realizace Po dokončení všech stupňů projektové dokumentace, vyřízení veškeré legislativy včetně stavebního povolení můţeme konečně přistoupit k té moţná nejzajímavější fázi a tou je realizace. Pokud budeme realizovat jen rozšíření stávající infrastruktury nebo pouze jednu projektovou fázi, postačí nám pouhá objednávka. Jestliţe je ovšem před námi rozsáhlý projekt budování nového datového centra, je v takové situaci takřka nutností vypsat výběrové řízení na generálního dodavatele stavby. V lepším případě toto výběrové řízení v druhém kole ještě zakončit elektronickou aukcí. Při budování nového datového centra bychom měli věnovat pozornost výběru toho správného generálního dodavatele a to včetně jeho seznamu subdodavatelů. Realizace datového centra se od jejího začátku aţ do konce chová jako projekt. Dodavatel by proto měl postupovat dle projektové metodiky a zajistit tak nejen plnění konkrétních dílčích cílů, ale také komplexní součinnost všech technologických celků. Realizační fáze je spuštěna v okamţiku vystavení objednávek u generálního dodavatele a také podpisem smluv o dílo. Pro přehlednost při realizaci datového centra jako projektu je důleţité pouţívat závazný harmonogram, slouţící jako kontrolní mechanizmus projektového manaţera. Podle plánovaných termínů realizaci v harmonogramu a stanovení milníků pak můţeme stanovit kontrolní dny. Na závěr kaţdé etapy realizace je nutné provézt funkční zkoušku. Ta by měla být dle smluvních podmínek akceptována ze strany uţivatele/objednatele a podloţena předávacími protokoly obou stran. Po ukončení realizace poslední etapy výstavby musí generální dodavatel provézt soubor funkčních zkoušek jako celku. Po předání díla uţivateli následuje období pilotního provozu včetně testování jednotlivých systémů a simulace havarijních situací. Samotná realizace výstavby datového centra je nejnáročnější částí z celého procesu jeho vzniku. Čím lépe a detailněji jsou jednotlivé stupně projektové dokumentace zpracovány, tím rychleji a bez komplikací můţeme postupovat v samotné realizaci.
60
4.7. Optimální provozní náklady Pokud bychom se zde měli zabývat optimalizací provozních nákladů datových center do větší míry detailu, bylo by potřeba zásadně zvětšit rozsah této publikace. Pro lepší představu si uveďme, ţe provozní výdaje výrazně převyšují investiční náklady v desetiletém období provozu a obvykle tvoří 75-80% všech nákladů finančních prostředků a největší poloţku tvoří právě cena za spotřebovanou energii. Optimalizovat provozní náklady je velmi tvrdý oříšek i pro profesionální projektanty, analytiky a IT manaţery. Pojďme se alespoň velmi stručně podívat, jaké jsou moţnosti úspor a efektivity provozních nákladů. 4.7.1. Audit Abychom mohli jakkoliv vyhodnotit provozní podmínky datového centra, povaţuji za naprostou samozřejmost zpracovat audit technologické části. Cílem je posoudit stávající řešení systémů (např. chlazení a napájení) Dozvíme se tak jak efektivní je naše datové centrum nebo jeho části. V některých případech můţe být součástí auditu také studie proveditelnosti, ta na audit plynule navazuje. Jedná se totiţ o další etapu potřebnou k optimalizaci provozu. Zde je cílem vyhodnotit provozní systémy a pokusit se navrhnout jejich zkvalitnění. 4.7.2. Virtualizace Virtualizace serverů je jedna z moţných řešení jak sníţit náklady za provoz. Je to způsob, jak dosáhnout s méně prostředky většího efektu a výkonu [3]. Výhody virtualizace jsou v dnešní době dostatečně ověřené a vyzkoušené. Současné studie stále ukazují na velké rezervy při vyuţívání kapacity serverů, tj. pokud je na serveru provozována pouze základní aplikace. Zhruba třetina aţ polovina serverů je vyuţívána jen minimálně, čili výkon serveru není dostatečně vyuţit [6]. Obvyklé vytíţení fyzického serveru bez nasazení virtualizace je kolem 15-20%. Pokud nasadíme vizualizaci a konsolidaci serverů, můţeme tím docílit výrazných úspor a vytíţení fyzických serverů se následně pohybuje kolem 70-80% . Virtualizace serverů nám můţe přinést tyto výhody: Dynamický přesun zatíţení ve vizualizovaném prostředí mezi jednotlivými servery a moţnost jejich vypínání a zapínání podle zatíţení aplikacemi 61
Správa vazby virtuálních strojů na fyzické stroje Nasazením nových aplikací je realizováno pouhým vytvořením dalšího virtuálního stroje na jiţ stávajícím fyzickém prostředí Zajištění vysoké dostupnosti provozu aplikací a také obnovení v případě nehody Z výše uvedeného je patrné, ţe bychom se vizualizaci neměli vyhýbat a snaţit se tento přístup zakomponovat uţ do fáze plánování datového centra. 4.7.3. Modularita infrastruktury Velký potenciál úspory provozních nákladů nalezneme i v samotné infrastruktuře. Uţ ve fázi projektování datového centra bychom se měli věnovat tématu „obsazení
serverovny
technologií“, neboli jak budeme realizovat obsazení volného místa samotnou IT technologií a v jakém časovém horizontu. Uveďme si dva modelové příklady, oba počítají s obsazeností kapacity prostoru IT technologií v horizontu 2 let. 1) Segment napájení IT technologie je provozován pouze ze dvou výkonný UPS jednotek, segment chlazení IT technologie je provozován pouze ze dvou výkonných chladicích jednotek 2) Segment napájení IT technologie je provozován ze systému modulárních UPS jednotek, které umoţňují postupné přidávání modulů a navýšení pouze potřebného výkonu, segment chlazení IT technologie je provozován s větším počtem menších chladicích jednotek, které je moţno postupně regulovat Uţ na první pohled je zřejmé, ţe provozovat velké výkonné jednotky se zátěţí pouhých několika málo procent od spuštění provozu datového centra je velmi neekonomické. Systémy nejsou vyuţity na své jmenovité výkony a jejich účinnost je nízká, nehledě na fakt vysokých investičních nákladů provozovatele v počátečním období, kdy je obsazenost datového centra např. jen 20%. Trend dnešní doby je modularita. A to nejen v oblasti serverových „farem“, ale také systémů infrastruktury. Modulární systémy je moţné vyuţít jak v oblasti napájení IT technologie, tak i chlazení. Pokud jsou jiţ modulární systémy zohledněny v projektové dokumentaci, není nic 62
jednoduššího, neţli postupným přidáváním jednotlivých modulů reagovat na potřeby provozu datového centra. Jednotlivé segmenty infrastruktury poskytují právě takový výkon, který technologie potřebuje. Jedná se o energeticky velmi účinné řešení, které velmi rychle dokáţeme zhodnotit v porovnání s variantou č. 1. Nezanedbatelná je samozřejmě i velká úspora v nákladech investičních. Ty pak můţeme rozloţit na období postupného zaplnění kapacity serverovny. Další „obrovskou“ nevýhodou varianty č. 1 (kterou si uţ dnes nemůţeme dovolit) je 50% ztráta výkonu systému při poruše jedné ze dvou jednotek. Modulární systémy nám také umoţňují do budoucna pouţití nových technologií s vyšším procentem účinnosti a moţností dalšího sníţení provozních nákladů. 4.7.4. Zónový přístup Pokud se rozhodneme v našem datovém centru provozovat technologii s vysokou hustotou tepelné zátěţe (např. zaplnění rackového stojanu servery typu „Blade“), je velmi efektivní uţ ve fázi rozmístění technologie v serverovně počítat se systémem „teplá a studená ulička“, viz kapitola 1.2. Pouţitím této filosofie vzniknou zóny, které sdruţují hustěji osazené racky. Vzniknou tak určité zóny, kde je potřeba se zaměřit na větší chladící výkon. Oproti tomu mohou být ostatní části serverovny chlazeny minimálně nebo v období mimo špičku třeba vůbec. Odpadá tak nutnost neefektivního chlazení celého prostoru serverovny na konstantní provozní teplotu. Systém „teplé a studené uličky“ ovšem vyţaduje jakousi variabilitu při rozmístění rackových stojanu v serverovně, čili měli bychom mít moţnost vybudovat lokální zóny v jakékoliv části. 4.7.5. Free Cooling a rekuperace Free Cooling, tedy vyuţití okolního studeného vzduchu k chlazení datového centra v zimním období se stává v dnešní době stále populárnější. Úspora za energii při provozu chladicích systémů se v takových to případech pohybuje kolem 50%. Opět je nutné zde zdůraznit, ţe s pouţitím tohoto systému musíme počítat uţ při úvodních studií a následně v projektové dokumentaci. Jestliţe provozujeme naše datové centrum např. v administrativní budově, je velmi výhodné zaměřit se na moţnost vyuţití rekuperace. Jinými slovy maximálně vyuţít tepelný ztrátový výkon získaný z IT technologie a vyuţít ho pro vytápění administrativní části budovy. 63
4.8. Sdílená nebo vlastní datová centra V dnešním světě datových center není moţné si nevšimnout trendu velkého tlaku na sniţování energií a ekonomicky co nejméně náročný provoz. Dost často se můţeme setkat s pojmem „Zelená datová centra“. Provozovatelé jsou nuceni co nejvíce omezovat provozní náklady a být tak stále konkurence schopní v oblasti svého podnikání. Oproti období před deseti aţ patnácti lety, kdy velké firmy budovaly vlastní datová centra, se dnes velmi opatrně rozhoduje kaţdý zákazník kde a za jakých podmínek bude provozovat své systémy. Při výběru umístění provozu vlastní informační technologie se musíme správně rozhodnout. Tedy zváţit jak, kde a jakých podmínek naši technologie provozovat. Vše se odvíjí od velikosti našeho projektu. U velkého projektu se zabýváme moţností výstavby vlastního datového centra s moţností vyuţití stávající administrativní budovy nebo moţnosti pronájmu nemovitosti ve sdílené lokalitě. Takto postupují velké podniky, které poskytují svým zákazníkům široké portfolio sluţeb, ale také sami provozují široké spektrum lokálních sítí a interních systémů. Řádově můţeme hovořit o stovkách serverů. Jedná se např. o banky, národní korporace a telekomunikační společnosti. Střední projekty zahrnující desítky serverů se s jistotou vyplatí umístit do sdíleného datového centra. Tam si můţeme pronajmout buď část prostoru nebo konkrétní rackový stojan. S provozovatelem datového centra si následně stanovíme technické a obchodní podmínky provozu. U malých projektů, pokud naše technologie obsadí alespoň jeden rackový stojan můţeme opět vyuţít sdíleného datového centra. V případě menšího počtu hardwaru a neobsazení celého stojanu se vyplatí vyhledat společnost, která svým klientům nabízí serverhosting, tzn., ţe umísťuje servery svých zákazníků do jednoho rackového stojanu. Cena za provoz se pak náleţitě dělí mezi zákazníky v rámci jednoho stojanu. Je tak pouze na našem rozhodnutí jaké datové centrum si pro provoz našich IT systémů vybereme.
64
Závěr Datová centra jsou ve světě IT technologií velmi specifickou oblastí. Velké procento lidí vůbec netuší, ţe existuje nějaké takové místo, kde se soustředí ta nejdraţší a nejnovější technologie jen proto, aby si mohli pustit televizi a sledovat svůj oblíbený pořad nebo pomocí internetu „chatovat“ se svými kamarády na sociálních sítích. Ačkoliv si lidé neuvědomují (a moţná ani nechtějí) jaká sloţitost systémů je schována za jejich kaţdodenní činností, všichni očekávají stoprocentní dostupnost svých sluţeb a nechtějí si ani připustit jakýkoliv výpadek. A právě stoprocentní dostupnost poskytovaných sluţeb je pro provozovatele datových center největší oříšek. Kaţdé posunutí dostupnosti systémů k číslu sto je technicky a ekonomicky velmi náročné, zvláště pak zasahujeme-li do ostrého provozu. Snaţíme se neustále zdokonalovat části infrastruktury, hledat nejslabší články provozních systémů a stále se poučovat z chyb, které se staly selháním lidského faktoru nebo neodborností řídících pracovníků. Čím lépe jsou naše činnosti a záměry zdokumentovány, tím lépe nalezneme optimální a vyváţené řešení. Zvláště pak v oblasti provozních nákladů [10]. Trendy v posledních letech ukazují, ţe doby nesystematického nakupování hardwaru a jeho provozování bez ohledu na efektivitu, jsou nenávratně pryč. Většina dnešních datových center investuje nemalé finanční prostředky na sníţení účtů za elektřinu a za správnou volbu způsobu managementu, napájecí infrastruktury, klimatizace a serverů s vyšší účinností [6]. A co lze očekávat v budoucnosti datových center? Podle jiţ zmíněných trendů můţeme předpokládat, ţe architekti a provozních specialisté budou klást maximální důraz na efektivní provoz a sniţování provozních nákladů. Stejně tak se IT manaţeři budou snaţit investovat do serverových farem s vyšší účinností a moţností maximální virtualizace hardwaru. Uţ během tohoto období můţeme pociťovat tlak na flexibilitu změny výpočetních zdrojů. S vysokou pravděpodobností můţeme také očekávat ještě větší potřebu zhušťování rackových stojanů a nárůst tepelného výkonu.
65
Seznam pouţité literatury Články v tištěných seriálech: 1. HLAVÁČEK, Tomáš. Základní atributy datacentra. IT Systems. 2010, 12(3), 2. DOI: 1802-002X. 2. KOLÍN, Marek. FCoE - jednotná infrastruktura pro datová centra. Computerworld. 2011, 22(7), 1. DOI: 1210-9924. 3. LUGSCH, Zbyszek. Nová architektura pro datová centra a cesta ke cloud computingu. IT Systems. 2010, 12(3), 2. DOI: 1802-002X. 4. MITCHELL, Robert L. Servery a datová centra v roce 2010. Computerworld. 2010, 21(3), 4. DOI: 1210-9924. 5. MOLÍK, Václav, Hynek VÁCHA a Richard NOVÁK. Datová centra realisticky: budování datového centra v praxi. IT Systems. 2010, 12(12), 3. DOI: 1802-002X. 6. VENEZIA, Paul. Blade servery svádějí bitvu o virtuální datová centra. Computerworld. 2010, 21(8), 5. DOI: 1210-9924.
Články v elektronické podobě na WWW: 7. About The Green Grid. THE GREEN GRID [online]. 2011-12-28 [cit. 2012-01-26]. Dostupné z: www.thegreengrid.org 8. GARRETSONOVÁ, Cara. Hloupé chyby v datových centrech. ComputerWorld [online]. 2011-02-09 [cit. 2011-11-05]. Dostupné z: www.computerworld.cz/technologie/hloupe-chyby-v-datovych-centrech-8435 9. JEGER, Dag. Dostupnost = bezpečnost?. Netguru [online]. 2010-06-12 [cit. 2011-1021]. Dostupné z: www.netguru.cz/odborne-clanky/dostupnost-a-nedostupnost.html 10. KROUPA, Tomáš. Datová centra v kostce. Altron [online]. 2008-08-31 [cit. 2012-0116]. Dostupné z: www.altrongb.co.uk/cs/site/spolecnost/tiskove_centrum/tc_napsali_jsme/dat_centra_v_kostce.htm 11. TIA-942 Data Center Standards Overview. In: TIA-942 Data Center Standards Overview [online]. 2006 [cit. 2011-12-21]. DOI: 102264AE. Dostupné z: www.adc.com/Attachment/1270711929361/102264AE.pdf 12. About TIA. TIA MANUFACTURERS & SUPPLIERS OF GLOBAL NETWORKS [online]. 2011-11-08 [cit. 2012-02-04]. Dostupné z: www.tiaonline.org/about/ 66
13. Institute Publications. UPTIME INSTITUTE [online]. 2010-08-27 [cit. 2011-10-27]. Dostupné z: www.uptimeinstitute.com/publications 14. Learn about Uptime Institute leadership or our Professional Services consultants. UPTIME INSTITUTE [online]. 2011-10-27 [cit. 2011-10-27]. Dostupné z: www.uptimeinstitute.com/about-us 15. Uptime Institute Releases New Data Center Operational Sustainability Standard. WEB HOST INDUSTRY REVIEW [online]. 2010-07-05 [cit. 2011-10-11]. Dostupné z: www.thewhir.com/web-hosting-news/uptime-institute-releases-new-data-centeroperational-sustainability-standard 16. Tier Standard: Operational Sustainability. UPTIME INSTITUTE [online]. 2010-06-30 [cit. 2011-10-27]. Dostupné z: www.uptimeinstitute.com/component/docman/doc_download/8-data-center-siteinfrastructure-tier-standard-operational-sustainability
67
