Hűtési felülvizsgálat adatközpontokban fellépő potenciális hűtési problémák felderítéséhez Írta Kevin Dunlap
40. tanulmány
1. javított kiadás
Összefoglaló Az
informatikai
berendezések
méretének
csökkenése
és
a
processzorok
energiafogyasztásának egyidejű növekedése kihívásokat jelent az adatközponti vezetők számára, hogy biztosítsák a hideg levegő megfelelő eloszlását, a meleg levegő eltávolítását és az elegendő hűtési teljesítményt. Ez a tanulmány egy ellenőrző listát bocsát rendelkezésre azon
potenciális
problémák
kiértékeléséhez,
amelyek
károsan
befolyásolhatják
a hűtésirnyezetet egy adatközponton belül.
©2009. American Power Conversion. Minden jog fenntartva. A kiadványnak egyetlen része sem használható, sokszorosítható, fénymásolható, továbbítható vagy tárolható semmiféle adatnyilvántartó rendszerben a szerzői jog tulajdonosának írásbeli engedélye nélkül. www.apc.com Rev 2004-1
2
Bevezetés A műszaki berendezések méretének csökkenése és a processzorok teljesítményének egyidejű növekedése jelentős előnyökkel jár. Ezek a folyamatok azonban problémákat is okoznak a nagy rendelkezésre állású rendszerek üzemeltetéséért és karbantartásáért felelősök számára. Míg egy adatközpontba tervezett összteljesítmény és hűtési teljesítmény megfelelő lehet, elképzelhető, hogy a hideg levegő elosztása a megfelelő területekre nem az. Azzal, hogy manapság több berendezést lehet egy rackszekrényben elhelyezni, valamint sok adatközpont menedzser kezdi megfontolni az ultrakompakt blade szerverek üzembe állítását, egyszerre akár több rack-ben is, a megnövekedett teljesítmény igénnyel és a hőterheléssel foglalkozni kell. A blade szerverek, mint amilyenek az 1. ábrán láthatók sokkal kevesebb helyet foglalnak el, mint a hagyományos szerverek, sokszor nagyobb számítási teljesítményt nyújtanak, és kevesebb energiát is igényelnek, de drámaian növelik az egységnyi területre jutó hőterhelést. Több nagysűrűségű rack elhelyezése olyan problémákat eredményezhet, amelyek az váratlan szoftver hibáktól, az azonnali meghibásodásokon át berendezések lecsökkent élettartamáig terjednek.
1. ábra – Példák kompakt eszközökre
Egy adatközpont hűtőrendszerének tervezésekor a cél az, hogy akadálytalan útvonalat biztosítsanak a hűtött levegő forrásától a szerverek beszívó nyílásáig. Hasonlóképpen, tiszta útvonalat kell biztosítani a szerverek hátsó kiömlő nyílásától a légkondicionáló berendezésig. Ugyanakkor számos tényező van, amely károsan befolyásolhatja az eredményt. Ahhoz, hogy ki lehessen deríteni, van-e létező vagy potenciális probléma egy adatközpont hűtési infrastruktúrájával, bizonyos vizsgálatokat és méréseket kell elvégezni. Egy ilyen vizsgálat meghatározza az adatközpont állapotát, hogy el lehessen kerülni az elektronikus berendezések túlmelegedéssel kapcsolatos meghibásodásait, illetve felmérhető, hogy mekkora hűtési teljesítmény áll rendelkezésre a jövőben. Az említett felméréseket a Függelékben rendelkezésre bocsátott minta használatával kell elvégezni és elemezni. Ki kell értékelni az aktuális állapotot és rögzíteni kell kiindulási állapotot, hogy a rákövetkező korrekciós intézkedések során bekövetkező javulást detektálni és mérni tudjuk. Ez a dokumentum megmutatja, hogyan lehet azonosítani azokat a potenciális hűtési problémákat, amelyek hátrányosan befolyásolják a hűtési kapacitást, az elérhető teljesítménysűrűséget, és az adatközpont hatékonyságát. Ezeknek a problémáknak a megoldásai a “A nagy sűrűségű szerverkiépítés okozta hűtési problémák megoldásának tíz lépése” című APC White Paper No. 42 tanulmányban kerültek leírásra. ©2009. American Power Conversion. Minden jog fenntartva. A kiadványnak egyetlen része sem használható, sokszorosítható, fénymásolható, továbbítható vagy tárolható semmiféle adatnyilvántartó rendszerben a szerzői jog tulajdonosának írásbeli engedélye nélkül. www.apc.com Rev 2004-1
3
1. Kapacitás felmérése Emlékezvén rá, hogy minden wattnyi IT eszköz által felvett energia 1 watt hűtést igényel, az első lépés a megfelelő hűtés biztosításához annak ellenőrzése, hogy a hűtési rendszer teljesítménye megfelel-e az aktuális és a tervezett teljesítményigénynek. Egy tipikus hűtési rendszer tartalmaz egy géptermi légkondicionáló egységet a levegő lehűtéséhez a teremben, és egy kültéri egységet az eltávolított hőnek a légtérbe juttatásához. A légkondicionálók működésére és a különböző típusokra vonatkozó további információkért kérjük, forduljon a “Informatikai területen használt légkondicionálók alapelvei” című APC White Paper No. 57 és “A légkondicionáló berendezések különböző típusai IT környezetekhez” című APC White Paper No. 59 kiadványokhoz. Új típusú hűtő egységek tűnnek fel a piacon, amelyeket nagyon nagy sűrűségű környezetekben a szerverrack-ek mellé kell telepíteni vagy ilyen rack-be van integrálva. Némely esetben elképzelhető, hogy a hűtési rendszer túlméretezett, hogy alkalmazkodhasson a várható jövőbeni hőterheléshez. A hűtési rendszer túlméretezése olyan nemkívánatos energiafogyasztáshoz vezet, amely elkerülhető lenne. A túlméretezés miatt jelentkező problémákkal kapcsolatos további információkért forduljon az “Összes hűtési igény kiszámítása adatközpontokban" című APC White Paper No. 25 kiadványhoz. A hűtő egység teljesítménye ellenőrizhető a berendezés gyártói adatlapján vagy a berendezésre, esetleg a belsejében elhelyezett adattáblán A klíma berendezések gyártói a rendszer teljesítményét az EAT (belépő levegő hőmérséklete) és a páratartalom szabályozási szintje alapján adják meg a kapacitást. Az egyes berendezések vezérlő egysége általában ki tudja jelezni az EAT és a relatív páratartalom értékét. A műszaki adatok ismeretében jegyezze fel az egyes klíma beltéri egységek érzékelhető hűtési teljesítményét. Hasonlóképpen, a klímaberendezésekhez tartozó kültéri egység teljesítményének egyenlő vagy nagyobb teljesítményűnek kell lennie, mint a hozzá tartozó beltéri egységek összteljesítménye. Kisebb rendszerekben a kül- és beltéri egységeket gyakran egyszerre szerzik be ugyanattól a gyártótól. Nagyobb rendszerekben elképzelhető, hogy más gyártótól származó kültéri egységet (pl. vízhűtőt) választanak. A méretezés mindkét esetben legnagyobb valószínűséggel megfelelő, ugyanakkor egy külső vállalkozónak képesnek kell lennie ezt ellenőrizni. Ha a klíma beltéri egységek és a kültéri berendezés teljesítménye különböző, akkor a felméréshez a kisebb teljesítményszintet vegye alapul. (Ha a felmérések során kétségei vannak, kérjük, lépjen kapcsolatba a gyártóval vagy a szállítóval.)
©2009. American Power Conversion. Minden jog fenntartva. A kiadványnak egyetlen része sem használható, sokszorosítható, fénymásolható, továbbítható vagy tárolható semmiféle adatnyilvántartó rendszerben a szerzői jog tulajdonosának írásbeli engedélye nélkül. www.apc.com Rev 2004-1
4
Ez megadja Önnek az adatközpont elméleti maximális hűtési teljesítményét. Később látszik majd ebben a tanulmányban, hogy számos olyan tényező van, amely jelentősen csökkentheti ezt a maximum értéket. A számított maximális teljesítményt ezután össze kell hasonlítani az adatközpont hőterhelésével. Az 1. táblázat bemutat egy munkalapot, amely lehetővé teszi a hőterhelés gyors kiszámítását. A munkalap használatával gyorsan és megbízhatóan lehet meghatározni egy adatközpont összes hőterhelését. A munkalap használatának leírása az 1. táblázat alatt található. További információkért forduljon az “Adatközpontok teljes hűtési igényének kiszámítása” című APC White Paper No. 25 tanulmányhoz. A következő számítás során kapott hőterhelési követelménynek mindig az elméleti maximális hűtési teljesítmény alatt kell lenniüe. Ha nem ez az eset, akkor a “ A nagy sűrűségű szerverkiépítés okozta hűtési problémák megoldásának tíz lépése” című APC White Paper No. 42 kiadvány nyújt néhány megoldást.
1. Táblázat – Adatközpont vagy hálózati helyiség hőterhelésének számítási munkalapja Tétel IT berendezés Szünetmentes tápegység (UPS) akkumulátorral Teljesítményelosztás Világítás Emberek Összes
Szükséges adatok
Hőkimenet kiszámítása
Összes IT teljesítményfelvétel Wattban UPS rendszer névleges teljesítménye Wattban
= Összes IT teljesítményfelvétel Wattban (0.04 x UPS névleges teljesítménye) + (0.06 x Összes IT teljesítményfelvétel) (0,02 x UPS rendszer névleges teljesítménye) + (0,02 x Összes IT teljesítményfelvétel) 21,53 x padlóterület (négyzetméter) 100 x Személyzet max. száma
UPS rendszer névleges teljesítménye Wattban Padlóterület négyzetméterben Személyzet max. száma az adatközpontban Részösszegek a fentiből
Hőkimenet részösszeg _____________ Watt
_____________ Watt
_____________ Watt _____________ Watt _____________ Watt
Hőterhelés részösszegek összege _____________ Watt
Eljárás Meg kell szerezni a “Szükséges adatok” oszlopban igényelt adatokat. Kérdések esetén az alábbi definíciók nyújtanak segítséget. Hajtsa végre a hőterhelési számításokat, és az eredményeket tegye a részösszeg oszlopba. Adja össze a részösszegeket, hogy megkapja az összes hőterhelést.
Definíciók Összes IT teljesítményfelvétel Wattban - Az összes IT berendezés által felvett energia összege. UPS névleges teljesítménye - A szünetmentes tápegység (UPS) névleges teljesítménye. Redundáns rendszer használata esetén nem kell belevenni a redundanciát biztosító egység teljesítményét.
©2009. American Power Conversion. Minden jog fenntartva. A kiadványnak egyetlen része sem használható, sokszorosítható, fénymásolható, továbbítható vagy tárolható semmiféle adatnyilvántartó rendszerben a szerzői jog tulajdonosának írásbeli engedélye nélkül. www.apc.com Rev 2004-1
5
2. A klíma beltéri egységek vizsgálata Ha egy számítógépterem légkondicionáló egységeit nem koordináltan, közös vezérléssel üzemeltetik, akkor valószínűleg nem sikerül kihasználni a maximális hűtő teljesítményüket, ráadásul a működési költségek is magasabbak lesznek. A CRAC egységek általában négy módban tudnak működni: Hűtés, fűtés, párásítás és páracsökkentés. Míg ezen körülmények közül kettő ugyanakkor fordulhat elő (azaz a hűtés és a páracsökkentés), egy definiált területen belül minden rendszernek (4-5 egymás melletti egységnek) mindig ugyanabban a módban kell működnie. Az ellentétes (azaz páracsökkentés és párásítás) módban működő nem koordinált beltéri egységek, amit angolul “demand fighting”-nak neveznek, elpazarolt működési költségekhez és a hűtési teljesítmény csökkenéséhez vezet. A klímaberendezéseket le kell tesztelni, hogy a mért hőmérsékletek (kifújt és visszatérő) és a páratartalom leolvasott értékei konzisztensek legyenek a tervezett értékekkel. Az egymás ellen dolgozó berendezések drasztikus hatásokat gyakorolhatnak a hűtő rendszer hatásfokára. Ha nem foglalkoznak vele, ez a probléma 20-30% hatásfok-csökkenést is eredményezhet, ami legjobb esetben csak elpazarolt működési költségeket, legrosszabb esetben pedig akár kieső időt is eredményezhet a nem elegendő hűtési teljesítmény következtében. A hatásfok és a költségek megtakarítása miatt meg kell fontolni, hogy a rendszert az ajánlott relatív páratartalom tartomány alsó értékeihez közel üzemeltessék. A beállított érték enyhe megváltoztatása a tartomány alsó vége felé drámai hatással lehet a hűtési teljesítményre és a párásító működési idejének csökkentésére. Ahogyan a 2. Táblázat ban látható, a relatív páratartalom beállított értékének megváltoztatása 50-ről 45-re jelentős működési költségmegtakarításokat eredményez.
2. Táblázat – Párásítási költségmegtakarítások példája alacsonyabb beállított értéknél Hőmérséklet 72°F (22,2°C) Relatív páratartalom beállított értéke
50%
45%
48.6 (166,000) 45.3 (155,000)
49.9 (170,000) 49.9 (170,000)
3.3 (11,000) 10.24 100.0% 3.2
0.0 (0,000) 0 0.0% 0
$2,242.56
$0.00
Hűtési teljesítmények – kW (Btu/hr) Összes hűtési teljesítmény Összes érzékelhető (hőmérsékletváltozási) teljesítmény
Párásítási követelmény Összes látens (eltávolított nedvesség) teljesítmény Font / óra szükséges párásítás – Btu/1074 (kW / 0.3148) Párásító működési ideje Párásításhoz szükséges kW Párásítás éves költsége (Költség / kW x 8760 x szükséges kW)
Megjegyzés: A feltételezések és specifikációk a fenti példához a függelékben találhatók.
©2009. American Power Conversion. Minden jog fenntartva. A kiadványnak egyetlen része sem használható, sokszorosítható, fénymásolható, továbbítható vagy tárolható semmiféle adatnyilvántartó rendszerben a szerzői jog tulajdonosának írásbeli engedélye nélkül. www.apc.com Rev 2004-1
6
Beállított értékek vizsgálata A hőmérséklet és páratartalom beállított értékeinek az adatközpontban levő mindegyik beltéri egységen konzisztensnek kell lennie. A nem egyforma beállítások a teremben fluktuációkhoz vagy ahhoz vezetnek, hogy a berendezések egymás ellen dolgoznak. A hőterhelés és a nedvességtartalom viszonylag állandó egy adott területen, és a klíma berendezések csoportjaiban a működését úgy kell beállítani, hogy ne dolgozhassanak egymás ellen. Ehhez a kommunikációt biztosíthatja akár az épületfeügyeleti rendszerrel (BMS), akár a csoportban levő berendezések közötti kommunikációs kábel. Semelyik két egység nem dolgozhat egymás ellen a regisztrált időszak során, hacsak nem külön csoport részei. Ha csoportos vezérléssel működnek, akkor egy adott csoportban levő berendezések egy meghatározott területet hűtenek együtt. A beállított paramétereknek a következő tartományokon belül kell lenniük:
•
Hőmérséklet – 20-25°C (68-77°F)
•
Páratartalom – 40-55% R.H.
A rendszer teljesítményének vizsgálatához a visszatérő és a kifújt léghőmérsékleteket egyaránt mérni kell. Három mérési pontot kell használni a légkifúvásnál és a visszatérésen a geometriai középvonalban a 2. ábrán bemutatottak szerint.
2. ábra – Kifújt és visszatérő hőmérséklet mérési pontjai
tok sipon ) é r é o M zatér (Viss
ntok s i po é r é M vás) (Kifú
nto si p o Méré úvás) (Kif
k
ntok si po Méré zatéro) (Viss
©2009. American Power Conversion. Minden jog fenntartva. A kiadványnak egyetlen része sem használható, sokszorosítható, fénymásolható, továbbítható vagy tárolható semmiféle adatnyilvántartó rendszerben a szerzői jog tulajdonosának írásbeli engedélye nélkül. www.apc.com Rev 2004-1
7
Ideális körülmények esetén a kifúvott levegő hőmérsékletét a szerver beömlőnyílásánál megkövetelt hőmérsékletre kell beállítani. Ez később ellenőrzésre kerül a szerverek beömlőnyílásainál hőmérséklet mérésekkel. A visszatérő levegő mért hőmérsékletének nagyobbnak vagy egyenlőnek kell lennie a 4. lépésben mért hőmérséklet értékekkel. A 4. lépés hőmérsékleténél alacsonyabb visszatérő levegő hőmérséklet azt jelzi, hogy a kifújt hideg levegő rövid úton, az informatikai készülékek elkerülésével visszatér a berendezésbe, és csökkenti a hatásfokot. Az “Elkerülhető hibák, amelyek veszélyeztetik a hűtési teljesítményt adatközpontokban és hálózati termekben” című APC White Paper No. 49 tanulmány segíti a hasonló problémák kiküszöbölését. A túlmelegedés leggyakoribb oka az IT berendezéseket elkerülő hideg levegő, amelyet számos tényező okozhat. Ennek a tanulmánynak a 6-10 szakaszai írják le ezeket a körülményeket. Azt is ellenőrizze, hogy a berendezések szűrői tiszták-e. Az eltömődött szűrők miatt lecsökkenő légáramlás riasztást válthat ki, ami a berendezés lekapcsolásával is járhat. Karbantartási eljárás keretében a szűrőket negyedévente cserélni kell.
3. Fő hűtőkörök ellenőrzése és tesztelése Ez a szakasz az légkondicionáló berendezések alapszintű ismeretét igényli. Az erre vonatkozó további információkért olvassa el "A légkondicionáló berendezések különböző típusai IT környezetekbe” című APC White Paper No. 59 tanulmányt. A berendezések karbantartóival vagy egy független gépész szaktanácsadóval ellenőriztesse a vízhűtők (ahol van) állapotát, a szivattyúrendszereket és a primer hűtőköröket. Bizonyosodjon meg róla, hogy minden szelep megfelelően működik.
Hűtött víz hűtőkör A beltéri egységeket tápláló hidegvizes hűtőkör közvetlen hatása van arra, hogy a beltéri egység megfelelően kondícionált levegőt tud-e befújni a terembe vagy az álpadló alá. A bemenő vízhőmérséklet ellenőrzéséhez lépjen kapcsolatba a karbantartást végző céggel vagy egy független gépész szaktanácsadóval. Gyors ellenőrzésként a berendezéshez menő csővezeték hőmérséklete használható. Lézeres hőmérőt használva mérje meg a cső felületének hőmérsékletét. Némely esetben mérőműszereket lehet felszerelni a csővezetékekre a vízhőmérséklet ellenőrzéséhez. A hűtőcsöveket el kell szigetelni a légáramtól, hogy megakadályozandó a kondenzációt a cső felületén. A legpontosabb méréshez vissza kell bontani a szigetelés egy részét, és a mérést közvetlenül a cső felületén kell elvégezni. Ha ez nem lehetséges, akkor a klímaberendezés hőcserélőjének betáplálásánál nagy valószínűséggel talál szabadon lévő csőszakaszt.
©2009. American Power Conversion. Minden jog fenntartva. A kiadványnak egyetlen része sem használható, sokszorosítható, fénymásolható, továbbítható vagy tárolható semmiféle adatnyilvántartó rendszerben a szerzői jog tulajdonosának írásbeli engedélye nélkül. www.apc.com Rev 2004-1
8
Kondenzátor-vízkör (víz- és glycol hűtéses rendszerek) A víz- és glycol hűtéses rendszerek kondenzátort használnak a beltéri egységben a hő átadásához a klímagépből a vízkörhöz. A kondenzátor vízcsövezése valószínűleg nem szigetelt, mivel itt a víz melegebb. Mérje meg a cső felületének hőmérsékletét a klímaberendezésbe történő belépés pontjánál. A direkt expanziós (DX) rendszereket ellenőrizni kell, hogy teljesen fel legyenek töltve a megfelelő mennyiségű hűtőközeggel.
Direkt expanziós rendszerek csővezetéke Ahogyan a vízhűtéses berendezéseknél is, a hűtőközeg töltöttségi szintjét is ellenőrizni kell. A hűtőköri csővezeték, a kültéri berendezések és a hűtőközeg ellenőrzéséhez lépjen kapcsolatba a karbantartást végző céggel vagy egy független gépész szaktanácsadóval. Hasonlítsa össze a hőmérsékleteket a 3. Táblázat ban levőkkel. Az ajánlott értéken kívül eső hőmérsékletek a hűtőkör problémáját jelezhetik.
3. Táblázat – A hűtőkör hőmérsékleti tűrései Langyos víz
Kondenzátor víz (vízhűtéses)
Kondenzátor víz (glikolhűtéses)
45°F (+/- 2-3°F) 7,2°C (+/- 1,1-1,7°C)
Max. 90°F Max. 32,2°C
Max. 110°F Max. 43,3°C
4. Rack-sori-hőmérsékletek felmérése A racksorok hőmérsékletének különböző pontokon történő mérésével létrehozhatunk egy hőmérsékleti profilt, amely segít a potenciális hűtési problémák felderítésében, és a kritikus területek hűtőlevegő ellátásának biztosításában. Ha a racksorokat nem megfelelően pozícionálták, forró pontok alakulhatnak ki különböző helyeken, és több berendezés meghibásodását okozhatják. Alább a 9. szakasz írja le és illusztrálja a legjobb rack elrendezési megoldást. A teremhőmérsékleteket az adatközpont folyosóin belül stratégiai helyeken kell venni 1 . Ezeket a méréseket általában a racksorok közötti folyosó közepén, és megközelítőleg minden negyedik rackszekrénynél kell elvégezni a 3. ábrán bemutatottak szerint.
1
Az ASHRAE TC9.9 ajánlás további részleteket ad az érzékelők optimális elhelyezésével kapcsolatban a vizsgálathoz és a javasolt hőmérsékleteket illetően. ASHRAE (Fűtési, Hűtési és Légkondicionálási Mérnökök Amerikai Társasága www.ashrae.org)
©2009. American Power Conversion. Minden jog fenntartva. A kiadványnak egyetlen része sem használható, sokszorosítható, fénymásolható, továbbítható vagy tárolható semmiféle adatnyilvántartó rendszerben a szerzői jog tulajdonosának írásbeli engedélye nélkül. www.apc.com Rev 2004-1
9
3. ábra – ASHRAE TC9.9 forró folyosó / hideg folyosó mérési pontok
Utánnyomva az ASHRAE 2004 engedélyével. (c) American Society of Heating, Refrigerating and Air-Conditioning Engineers, Inc., www.ashrae.org.
A folyosókban a hőmérséklet mérést a padló fölött 1,5 méterrel kell elvégezni. Ha a folyosó-hőmérsékletek méréséhez nem áll rendelkezésre kifinomultabb megoldás, akkor ezt a minimális mérést használjuk fel. Ezeket a hőmérsékleteket fel kell jegyezni és össze kell hasonlítani az IT berendezések gyártói által javasolt hőmérsékletekkel. Ha az IT berendezések javasolt hőmérséklet értékei nem állnak rendelkezésre, akkor 20-25°C (68-75°F) értéket kell használni az ASHRAE ajánlásnak megfelelően. Az ezen a tűrésen kívüli hőmérsékletek a rendszer teljesítményének csökkenéséhez, a berendezések csökkent élettartamához és váratlan leállásokhoz vezethetnek. Megjegyzés: A fenti összes ellenőrzést és tesztet negyedévenként kell elvégezni. A hőmérséklet ellenőrzéseket mindegyik teszt során egy 48 órás időszakon keresztül kell végezni, hogy regisztrálni lehessen a maximális és minimális szinteket.
5. Rack hőmérsékletek regisztrálása A rossz levegő elosztás és levegő szállítás a rackszekrények elejéhez azt okozhatja, hogy a berendezésekből kilépő forró levegő visszakering a beömlőnyílásokhoz. Ez némelyik, tipikusan a rackszekrény teteje felé szerelt berendezés túlmelegedését és leállását vagy meghibásodását okozhatja. Ez a lépés annak ellenőrzésére szolgál, hogy a hőmérsékleti viszonyok megfelelőek-e a rackszekrénybe telepített berendezések számára. A hőmérsékleteket a rackszekrény elejének geometriai középpontjánál alul, középen és felül kell mérni és regisztrálni a 4. ábrán illusztráltak szerint. Amikor a rackszekrény nincs teljesen tele berendezésekkel, a levegőhőmérséklet mérést a berendezések minden egyes darabjának geometriai középpontjánál kell mérni. Az elfogadható hőmérséklet értékeket a 2. sz. lépés irányelvei adják meg. Az irányelveken kívül eső hőmérsékletek az adott mérési pontnak a hűtési problémáját jelentik. A mérési pontoknak 50 mm-re kell lenniük a rackszekrény berendezések homlokától. A mérést egy adatgyűjtő készülékhez csatlakozó termoelemekkel hajtható végre. Egy gyors ellenőrzéshez a mérés lézeres hőmérő használatával is elvégezhető. ©2009. American Power Conversion. Minden jog fenntartva. A kiadványnak egyetlen része sem használható, sokszorosítható, fénymásolható, továbbítható vagy tárolható semmiféle adatnyilvántartó rendszerben a szerzői jog tulajdonosának írásbeli engedélye nélkül. www.apc.com Rev 2004-1
10
4. Ábra – Berendezések belépő levegőhőmérsékletének ASHRAE mérési pontjai
Felügyeleti pontok
Utánnyomva az ASHRAE 2004 engedélyével. (c) American Society of Heating, Refrigerating and Air-Conditioning Engineers, Inc., www.ashrae.org.
6. Padlórácsokból jövő levegő sebességének ellenőrzése Fontos megérteni, hogy egy rack hűtési kapacitása a CFM-ben (köbláb / perc) megadott légszállítási mennyiségének a függvénye. Az IT berendezéseket úgy tervezik, hogy a beszívott levegő hőmérsékletét 11-17°C-kal (20-30°F) emelik meg. A hőeltávolítás egyenletének használatával egy adott hőmérsékletemelkedésnél a szükséges légáramlási mennyiség gyorsan kiszámítható. CFM vagy m3/s = az IT berendezés által generált hő eltávolításához szükséges légáramlási mennyiség Q = az eltávolítandó hőmennyiség kilowattban (kW) kifejezve Δ°F vagy Δ°C = a berendezés kilépő levegőjének hőmérséklete mínusz a beszívott levegő hőmérséklete
CFM =
3,412 × Q 1.085 × Δ°F
m3 / s =
Q 1.21 × Δ°C
Annak kiszámítása, hogy hány m3/s szükséges egy 1kW-os szerver hűtéséhez 11°C hőmérsékletemelkedés esetén:
CFM =
3,412 ×1kW =157,23 1.085 × 20°F
m 3 /s =
1kW = 0,0742 1.21 × 11°C
©2009. American Power Conversion. Minden jog fenntartva. A kiadványnak egyetlen része sem használható, sokszorosítható, fénymásolható, továbbítható vagy tárolható semmiféle adatnyilvántartó rendszerben a szerzői jog tulajdonosának írásbeli engedélye nélkül. www.apc.com Rev 2004-1
11
Ezért minden 1kW-nyi hő eltávolításhoz 11°C-os ∆T (IT berendezés miatti hőmérsékletemelkedés) esetén megközelítőleg 75,5 l/s kondicionált levegőnek kell áthaladnia a berendezésen. Amikor a rackszekrényenkénti légáramlási követelményt számítják, ez használható közelítő tervezési értékként. Ugyanakkor pontosan követni kell a gyártói előírásokat.
CFM / kW =157,23
(m 3 / s ) / kW = 0,074
( L / s ) / kW = 74,2
Az alábbi 5. ábrán bemutatott tervezési érték és a tipikus padlólap légáramlási kapacitás alkalmazása esetén a rackszekrényenkénti maximális teljesítménysűrűségnek 1,25 – 2,5 kW-nak kell lennie rackenként. Ez olyan telepítésekre vonatkozik, amelyeknél rackenként egy padlólapot biztosítja a hideg levegőt. Azokban az esetekben, ahol a rack - padlólap arány egynél nagyobb, a rendelkezésre álló hűtési teljesítményt el kell osztani a sorban levő rackszekrények között.
Perforált padlólap légáramlásának tesztelése Egy adott padlólapon rendelkezésre álló hűtési teljesítmény mennyiségének mérése egy kis darab papír ráfektetésével egyszerűen elvégezhető. Ha a papír beszívódik a padlólapba, az azt jelenti, hogy a levegőt visszaszívja az álpadló, ami a rackszekrény és a klímaberendezés elhelyezésének vagy az álpadló valamilyen problémáját jelzi. Ha a papírral nem történik semmi, akkor lehet, hogy ahhoz a padlólaphoz nem jut levegő. Ha a papír felemelkedik a padlólapról, ez azt jelzi, hogy ebből a padlólapból szétoszlik a levegő. Ugyanakkor a hűtendő berendezés teljesítménysűrűségétől függően elképzelhető, hogy a padlólapból jövő levegő mennyisége nem elegendő. Ebben az esetben nagyobb légáteresztést biztosító rácsra vagy aktív levegőelosztó berendezésre lehet szükség, hogy több levegőt lehessen áramoltatni a rackszekrények elejéhez.
5. ábra – Rackszekrényhez rendelkezésre álló hűtési teljesítmény a padlólaponkénti légáram függvényében. Hűtési teljesítmény laponként (kW)
7
Tipikus kapacitás
Erőfeszítéssel
Szélsőséges
Nem praktikus
6 5 4 3 2 1 0 0
47
94
142
189
236
283
330
378
425
472
Lap légárama (CFM) ©2009. American Power Conversion. Minden jog fenntartva. A kiadványnak egyetlen része sem használható, sokszorosítható, fénymásolható, továbbítható vagy tárolható semmiféle adatnyilvántartó rendszerben a szerzői jog tulajdonosának írásbeli engedélye nélkül. www.apc.com Rev 2004-1
12
7. Rackszekrények vizuális ellenőrzése A rackszekrényeken belüli nem használt U pozíciók helyén kialakult függőleges tér azt okozza, hogy a berendezésekből kilépő forró levegő rövid úton visszatér a berendezések beömlőnyílásához. Ha ezt nem akadályozzuk meg, akkor a forró levegő visszakeringése a berendezés szükségtelen felmelegedését okozza, ami a berendezés károsodásához vagy leállásához vezethet. Ennek a hatásnak a kiküszöböléséhez lezáró paneleket kell alkalmazni, amelyről részletesebben a “Rack hűtési teljesítményének javítása lezáró panelek alkalmazásával” című APC White Paper No. 44 tanulmánya írja le. Minden egyes rackszekrényt vizuálisan ellenőrizni kell. Vannak-e rések az U pozíciókban? Használnak-e CRT monitorokat? Alkalmaznake lezáró paneleket ezekben a rackszekrényekben? Vannak-e légáramlást gátló kábelezési problémák? Ha vannak látható rések az U helyeken, nincsenek felszerelve lezáró panelek, vagy kábelezési problémák fedezhetők fel rackszekrények hátulján, akkor az alábbi 6. ábrán bemutatott légáramlási problémákra lehet számítani az érintett rackszekrényekben.
6. ábra – Lezáró vakpanelek hatását bemutató rack légáramlási diagramok 6A: Lezáró panelek nélkül
Oldal
6B: Lezáró panelekkel
Oldal Lezáró panel
©2009. American Power Conversion. Minden jog fenntartva. A kiadványnak egyetlen része sem használható, sokszorosítható, fénymásolható, továbbítható vagy tárolható semmiféle adatnyilvántartó rendszerben a szerzői jog tulajdonosának írásbeli engedélye nélkül. www.apc.com Rev 2004-1
13
8. Levegő álpadló alatti útvonalának ellenőrzése Ellenőrizze a padló alatti tisztaságot és a légáramlást akadályozó tényezőket. Az álpadló alatti bármilyen szennyeződés vagy por a padlórácsokon áthaladva bejut az IT berendezésekbe. A padló alatti akadályok, mint például a hálózati és tápkábelek akadályozzák a légáramlást és negatív hatást gyakorolnak a rackszekrények hűtésére. Újabb rackszekrények és szerverek telepítése mégtöbb táp- és hálózati kábel beépítését fogja eredményezni. Gyakran, amikor a szervereket és a rackszekrényeket elmozgatják vagy kicserélik, a már nem használt kábelezést a padló alatt hagyják. Ha az álpadló szolgál a hideg levegő elosztására, akkor a padlófelület vizuális ellenőrzését is el kell végezni. A hézagok, rések illetve hiányzó padlólapok csökkentik a klímaberendezés álal létrehozott statikus nyomást, rontják a hútés hatásfokát. Ezek a tömítetlenségek megakadályozzák, hogy kihasználjuk az álpadlólapok névleges légáramlási kapacitását. A hiányzó padlólapokat pótolni kell. A padlónak tömör vagy perforált padlólapokat kell tartalmaznia. Az álpadlólapokban levő, a kábelezéshez való hozzáférésre használt kivágásokat tömíteni kell kefés, vagy más erre a célra gyártott lezáró megoldással. Felmérések azt mutatják, hogy a rendelkezésre álló hideg levegő 50-80%-a szokott elszökni tömítetlen kábelkivágásokon keresztül.
9. Racksor és perforált padlólap elrendezésének ellenőrzése Néhány kivételtől eltekintve a rackszekrénybe tervezett szerverek konstrukciója olyan, hogy elöl szívja be a levegőt és hátul fújja azt ki. A minden sorban ugyanabba az irányba néző rackszekrények esetén az egyik sorból kilépő forró levegő a folyosóra távozik, ahol keveredik az álpadlóból kilépő hideg levegővel vagy a terem levegőjével, azután belép a másik sorban levő rackszekrényekbe. A 7. ábra ezt az elrendezést mutatja be. Ahogy a levegő keresztülhalad az egymás után következő sorokon, az informatikai eszközök egyre melegebb levegőt kapnak. Ha minden sorban olyan a rackszekrények elrendezése, hogy a szerverek beömlőnyílásai ugyanabba az irányba néznek, berendezések üzemzavara várható.
7. ábra – Rackszekrény-elrendezés meleg és hideg folyosók elkülönítése nélkül
©2009. American Power Conversion. Minden jog fenntartva. A kiadványnak egyetlen része sem használható, sokszorosítható, fénymásolható, továbbítható vagy tárolható semmiféle adatnyilvántartó rendszerben a szerzői jog tulajdonosának írásbeli engedélye nélkül. www.apc.com Rev 2004-1
14
A rackszekrények hideg folyosó / meleg folyosó elrendezésben történő telepítése elválasztja a kilépő levegőt a szerverek beömlőnyílásaitól. Ez az alábbi 8. ábrán illusztráltak szerint kevesebb keveredéssel teszi lehetővé a padlólapokból érkező hideg hűtőlevegő belépését a rackszekrényekbe. Az adatközpontban levő levegőelosztási architektúrákra vonatkozó további információkért olvassa el a “Levegőelosztás kialakítása kiemelt létesítményekben” című APC White Paper No. 55 tanulmányt.
8. ábra – Hideg-meleg folyosós rackszekrény elrendezés
A perforált álpadlólapok helytelen elhelyezése miatt a hűtőlevegő még azelőtt összekeveredhet a berendezésekből kilépő meleg levegővel, mielőtt elérne hűtendő berendezést, ezáltal a korábban leírt teljesítménycsökkenési problémákat és megnövekedett működési költségeket eredméynezhet. Helytelenül elhelyezett padlólapok vagy álmennyezeti szellőzőnyílások nagyon gyakoriak, és a hideg-meleg folyosó elrendezés csaknem minden előnyét megszüntetik.
10. Klímaberendezések elhelyezésének ellenőrzése A klímaberendezések racksorokhoz viszonyított helyzete fontos a levegőeloszlás szempontjából. A levegőelosztási megoldástól függően a klímabeltéri egységeket a hideg- vagy melegfolyosókra merőlegesen kell elhelyezni a 9. ábrán bemutatottak szerint. Álpadlós hűtés esetén a beltéri egységeket a meleg folyosók végénél kell elhelyezni. Így az informatikai berendezésekből kilépő meleg levegő a meleg soroban közvetlenül tér vissza a klímaberendezésekbe anélkül, hogy keveredne a hideg folyosó levegőjével. A meleg levegő kisebb mértékű keveredésével nő a visszatérő levegő hőmérséklete, ami a klímaberendezések teljesítményének növekedését eredményezi. Ezáltal akár kevesebb hőtőegység is elegendő lehet a terem hűtésére.
©2009. American Power Conversion. Minden jog fenntartva. A kiadványnak egyetlen része sem használható, sokszorosítható, fénymásolható, továbbítható vagy tárolható semmiféle adatnyilvántartó rendszerben a szerzői jog tulajdonosának írásbeli engedélye nélkül. www.apc.com Rev 2004-1
15
9. ábra – Klímaberendezések meleg folyosós elhelyezése
CRAC
COLD AISLE Hideg folyosó
Meleg HOTfolyosó AISLE
CRAC
COLD AISLE Hideg folyosó
Meleg HOTfolyosó AISLE
Hideg folyosó COLD AISLE
CRAC
CRAC
Ha nem használnak álpadlót a hűtésre, a klímaberendezéseket a hideg folyosó végénél kell elhelyezni. Ez a hideg levegőt a hideg sorba fogja teríteni a rackszekrények elé. Mivel a levegő keveredése nem kerülhető el teljesen ezzel az elrendezéssel, csak akkor szabad alkalmazni, amikor a rackszekrényenkénti teljesítménysűrűség kisebb.
Következtetés Az adatközponti hűtési rendszerek rutinellenőrzése idejekorán felderítheti a potenciális hűtési problémákat, s így elkerülhetők nem-tervezett leállások. Az áramfelvétel változásai, az informatikai eszközök frissítése és bővítése megváltoztathatja az adatközpontban termelődött hő mennyiségét. A rendszeres ellenőrzések nagy valószínűséggel még azelőtt felismerhetővé teszik ezek káros hatását, mielőtt kritikus problémákká válnának. Egy adott teljesítménysűrűséghez a megfelelő környezet úgy biztosítható, ha foglalkoznak az ebben a tanulmányban ismertetett és a felmérések során felderített problémákkal. Nagyobb teljesítménysűrűségű rendszerek hűtési megoldásairól a “A nagy sűrűségű szerverkiépítés okozta hűtési problémák megoldásának tíz lépése ” című APC White Paper No. 42 tanulmány szolgál bővebb információkkal.
A szerzőről: Kevin Dunlap az American Power Conversion (APC) hűtési megoldásokért felelős marketing termékmenedzsere. Kevin 1994 óta van az iparágban, először energiaellátási rendzserekhez nyújtott hardver és szoftver megoldásokat, később pedig az APC termékmenedzsereként. Kevin több ipari bizottságban, konzorciumban és ASHRAE bizottságban vett részt, ahol az energiaellátás hatékonyságával és hűtési rendszerek felügyeletével foglalkozott.
©2009. American Power Conversion. Minden jog fenntartva. A kiadványnak egyetlen része sem használható, sokszorosítható, fénymásolható, továbbítható vagy tárolható semmiféle adatnyilvántartó rendszerben a szerzői jog tulajdonosának írásbeli engedélye nélkül. www.apc.com Rev 2004-1
16
Függelék Feltételezések és specifikációk a 2. táblázathoz A 2. táblázatban bemutatott párásításon jelentkező költségmegtakarítás mindkét példája a következő feltételezéseken alapul: •
50kW elektromos IT fogyasztás, amely megközelítőleg 50kW hőterhelést eredményez
•
A klímaberendezésbe visszatérő levegő hőmérséklete 22,2°C (72°F)
•
1 éves üzemelés (7x24) alapján, amely 8760 órával egyenlő
•
A klímaberendezés légszállítási kapacitása 4245 l/s (9000 CFM)
•
Friss levegő ellátás általában szükséges, de egyszerűsítésként feltételeztük, hogy az adatközpont teljesen zárt - nincs átszellőztetés, levegőszivárgás.
•
A kW / óra költségét $0,08 (U.S.) értéknek tételeztük fel
•
A klímaberendezés műszaki adatai az APC FM50 berendezésen alapulnak: - Standard lefelé fújó berendezés - Glikolhűtéses egység (nincs multi-cool vagy szabad hűtés) - Elektromos gőzpárásító (műanyag dobozos kivitel a víz vezetőképességén alapuló automatikus vízszintbeállítással) - A párásító teljesítménye 4,5 kg/óra - A párásító elektromos fogyasztása 3,2 kW - A feszültség 208 V (USA kivitel)
©2009. American Power Conversion. Minden jog fenntartva. A kiadványnak egyetlen része sem használható, sokszorosítható, fénymásolható, továbbítható vagy tárolható semmiféle adatnyilvántartó rendszerben a szerzői jog tulajdonosának írásbeli engedélye nélkül. www.apc.com Rev 2004-1
17
Hűtési vizsgálat ellenőrző lista Teljesítményvizsgálat Számítógépterem légkondícionálás (CRAC)
Modell
Összteljesítmény
Érzékelhető teljesítmény
Mennyiség
1. egység 2. egység 3. egység 4. egység 5. egység 6. egység 7. egység 8. egység 9. egység 10. egység Összes használható teljesítmény = SUM (Érzékelhető teljesítmény x Mennyiség)
Hőterhelési követelmény Összes IT terhelési teljesítmény watt-ban
Ugyanaz, mint az összes IT teljesítmény
Táprendszer névleges teljesítménye watt-ban
(0.04 x Táprendszer névleges teljesítménye) + (0.06 x Összes IT terhelési teljesítmény)
Teljesítményeloszlás
Táprendszer névleges teljesítménye watt-ban
(0.02 x Táprendszer névleges teljesítménye) + (0.02 x Összes IT terhelési teljesítmény)
Világítás Emberek Összes
Padlóterület négyzetlábban vagy padlóterület 2.0 x padlóterület (négyzetláb), vagy négyzetméterben 21.53 x padlóterület (négyzetméter) Személyzet max. száma az adatközpontban 100 x Személyzet max. száma Részösszegek a fentiből Hőkimeneti részösszegek összege Egyenlő vagy nagyobb a teljesítmény, mint a hőkimenet?
IT berendezések Szünetmentes tápegység (UPS) akkumulátorral
Igen
Nem
CRAC megfigyelési pontok Betáplálás (mindegyikre átlagosan három megfigyelési pont) CRAC 1 ________ CRAC 6 ________ CRAC 2 ________ CRAC 7 ________ CRAC 8 ________ CRAC 3 ________ CRAC 9 ________ CRAC 4 ________ CRAC 10________ CRAC 5 ________ Visszatérés (mindegyikre átlagosan három megfigyelési pont) CRAC 1 ________ CRAC 6 ________ CRAC 2 ________ CRAC 7 ________ CRAC 8 ________ CRAC 3 ________ CRAC 9 ________ CRAC 4 ________ CRAC 10________ CRAC 5 ________
Megfelel a tűréshatárnak Elfogadható átlagok: (egyet jelöljön be) Hőm. 68-75°F Minden a tartományon belül van (20-25°C), 1-2 a tartományon kívül esik páratartalom >2 a tartományon kívül esik 40-55% rel. Megfelel a tűréshatárnak Elfogadható átlagok: (egyet jelöljön be) Hőm. 58-65°F Minden a tartományon belül van (14-18°C) 1-2 a tartományon kívül esik >2 a tartományon kívül esik
Hűtőkörök Langyos víz Kondenzátor-hűtővíz - vízhűtéses Kondenzátor-hűtővíz - glikolhűtéses Léghűtéses
45°F (+/- 2-3°F), 7,2°C (+/- 1,1-1,7°C) Igen Megfelel a Igen tűréshatárnak (egyet Max. 90°F (32,2°C) jelöljön be) Igen Max. 110°F (43,3°C) Szakképzett fűtési-szellőztetési-légkondícionálási (HVAC) vállalkozónak kell ellenőriznie
Folyósó-hőmérsékletek Mérési pontok 5 láb (1,5 méter) magasan a padló felett minden 4. rackszekrénynél (folyosóra átlagolva) 1. folyosó ________ 6. folyosó ________ Megfelel a tűréshatárnak (egyet jelöljön be) 2. folyosó ________ 7. folyosó ________ Elfogadható átlagok: 3. folyosó ________ 8. folyosó ________ Minden a tartományon belül van Hőm. 68-75°F (20-25°C) 9. folyosó ________ 1-2 a tartományon kívül esik 4. folyosó ________ 10. folyosó ________ >2 a tartományon kívül esik 5. folyosó ________
©2009. American Power Conversion. Minden jog fenntartva. A kiadványnak egyetlen része sem használható, sokszorosítható, fénymásolható, továbbítható vagy tárolható semmiféle adatnyilvántartó rendszerben a szerzői jog tulajdonosának írásbeli engedélye nélkül. www.apc.com Rev 2004-1
18
Nem Nem Nem
Rackszekrény hőmérsékletek Mérési pontok 5 láb (1,5 méter) magasan a padló felett minden 4. rackszekrénynél (folyosóra átlagolva) R1 ____ R2 ____ R3 ____ R46 ____ R47____ R48 ____ R4 ____ R5 ____ R6 ____ R49 ____ R50____ R51 ____ R7 ____ R8 ____ R9 ____ R52 ____ R53____ R54 ____ Elfogadható R10 ____ R11____ R12 ____ R55 ____ R56____ R57 ____ átlagok: R13 ____ R14____ R15 ____ R58 ____ R59____ R60 ____ Hőm. 68-75°F R16 ____ R17____ R18 ____ R61 ____ R62____ R63 ____ (20-25°C), Az egyes R19 ____ R20____ R21 ____ R64 ____ R65____ R66 ____ rack-ekben a felső R22 ____ R23____ R24 ____ R67 ____ R68____ R69 ____ és alsó R25 ____ R26____ R27 ____ R70 ____ R71____ R72 ____ hőmérsékletek 5°FR28 ____ R29____ R30 ____ R73 ____ R74____ R75 ____ nál nem R31 ____ R32____ R33 ____ R76 ____ R77____ R78 ____ különbözhetnek R34 ____ R35____ R36 ____ R79 ____ R80____ R81 ____ jobban R37 ____ R38____ R39 ____ R82 ____ R83____ R84 ____ R40 ____ R41____ R42 ____ R85 ____ R86____ R87 ____ R43 ____ R44____ R45 ____ R88 ____ R89____ R90 ____
Megfelel a tűréshatárnak (egyet jelöljön be) Minden a tartományon belül van 1-2 a tartományon kívül esik
>2 a tartományon kívül esik
Légsebesség Ellenőrizze az összes perforált padlólapot (ahol van), hasonlítsa össze a tűréshatárokkal
Perforált padlólapok
Légáramlásmérés (pozitív légáramlási vizsgálat), a térfogatvizsgálatokat szakképzett fűtésiszellőztetési-légkondícionálási vállalkozónak kell végrehajtania
Elfogadható átlagok: => 160 cfm/kW
Megfelel a tűréshatárnak (egyet jelöljön be) Minden a tartományon belül van 1-2 a tartományon kívül esik >2 a tartományon kívül esik
A rackszekrény felülvizsgálata Lezárópanelek
Felszereltek lezárópaneleket az összes olyan rackszekrény helyre, ahol nincsenek telepítve IT berendezések?
Megfelel a tűréshatárnak (egyet jelöljön be)
Igen
Nem
Igen
Nem
Igen
Nem
Igen
Nem
Igen
Nem
Igen
Nem
Padló alatti levegő útvonal (ahol van) Látható akadályok Hiányzó padlólapok, rések és hézagok
Felszereltek lezárópaneleket az összes olyan rackszekrény helyre, ahol nincsenek telepítve IT berendezések? Minden padlólap a helyén van? Megfelelően tömített mindegyik kábelhozzáférési nyílás?
Megfelel a tűréshatárnak (egyet jelöljön be)
Folyosó és padlólap elrendezés Perforált padlólapok helyei CRAC elhelyezése Forró folyosó, hideg folyosó alaprajz
Felszereltek lezárópaneleket az összes olyan rackszekrény helyre, ahol A CRAC-ok egy vonalba esnek a forró folyosókkal? Van elkülönítés a forró és a hideg folyosók között (a rack-ek nem ugyanabba az irányba néznek)?
Megfelel a tűréshatárnak (egyet jelöljön be)
©2009. American Power Conversion. Minden jog fenntartva. A kiadványnak egyetlen része sem használható, sokszorosítható, fénymásolható, továbbítható vagy tárolható semmiféle adatnyilvántartó rendszerben a szerzői jog tulajdonosának írásbeli engedélye nélkül. www.apc.com Rev 2004-1
19