Spolehlivost – nedílná a často opomíjená součást bezpečnosti 2. díl:
MCN – Mission Critical Network – aktivní prvky
10/2016; Autor: Ing. Vilém Jordán, PCD, certifikovaný designer dle ČSN ISO /IEC 27001:2014
Na rozdíl od kabeláže pro MCN, kde člověk s dostatečnou dávkou znalostí a zkušeností pozná, které komponenty požadavky MCN splní a které ne, je situace u aktivních prvků výrazně odlišná. V jejich případě můžeme modifikovat staré arabské přísloví na variantu „do ženy a do melounu nevidíš“ i na aktivní prvky. Dokázat rozpoznat aktivní prvky pro sítě MCN není v dnešní době vůbec snadné a často s tím má velký problém i odborník. Mnoho firmem vyrábějící aktivní prvky zvětřilo příležitost rozšíření odbytu a začalo vyrábět průmyslové řady svých aktivních prvků. Slovy mého kamaráda: „prekabátili komeční řešení do průmyslového futrálu“. Převlékání kabátů známe dobře z veřejného života i politiky, a to už od roku 1989. Všichni víme, jaký to má efekt. U aktivních prvků platí totéž. Jak tedy vybírat, abychom si nenaběhli na vidle (v tom lepším případě). Ideální variantou je možnost konzultace s někým, kdo se v této problematice dokonale orientuje. Takových lidí je ovšem ještě méně než šafránu a tomto státě mi pro jejich spočítání stačí opravdu prsty rukou. Najít aktivní prvek, který opravdu splňuje kritéria MCN, je totéž, jako hledat originál v hromadě padělků. Vzpomenu nádherný starý film s Janem Werichem – Císařův pekař a Pekařův císař. Která ta Mona Lisa byla pravá ??? Nejsnadnější cestou je samozřejmě konzultace s příslušnými specialisty v rámci KYBEZ.
Pokusme se tedy popsat alespoň prvotní indicie, dle kterých se můžeme částečně orientovat při identifikaci prvků pro MCN. V MCN se používají Multiple-ring struktury sítě s aplikací protokolů řízení redundancí v síti, které dosahují velmi krátkých časů na rekonfiguraci sítě na záložní trasu. Nejde tedy o použití protokolu RSTP nebo jeho modifikací. Mnoho výrobců těch tzv. průmyslových prvků lehce modifikuje RSTP protokol, nazve tuto modifikaci „nějaký-ring“ a vydává je za průmyslové řešení pro MCN. Dokonce udávají i skvělé časy rekonfigurace (např. 15ms), ale zapomenou doplnit, pro kolik prvků v kruhu tento čas platí. Dalším bádáním zjistíte, že to platí pro 5 prvků. Za tento čas to zvládne i RSTP. A samozřejmě jako obrovskou výhodu zdůrazňují kompatibilitu s RSTP. Už to je prvním podezřelým příznakem. Ten, kdo akceptuje platnost fyzikálních zákonů a ještě k tomu používá rozum přímo vlastní, snadno pochopí, že protokoly pro řízení redundance v sítích MCN a RSTP být kompatibilní nemohou především z důvodů rozdílného časování, které RSTP nestíhá. Kompatibilita s RSTP byla zachována (a pouze částečně) jen u prvního a současně nejpomalejšího protokolu pro řízení kruhových struktur sítí MCN. U dalších to již se zkracováním časů rekonfigurace sítě nebylo možné. Proto je kompatibilita protokolu pro řízení redundance s RSTP první indicií něčeho nezdravého. To ovšem neznamená, že by prvky pro MCN neměly umět RSTP. Pracují buď s RSTP nebo s jiným rychlejším protokolem pro řízení kruhu, ale nikdy ne s oběma současně. Seznámení s protokoly pro řízení redundance kruhových sítí MCN bude provedeno v dalších dílech této série článků. Kruhové struktury MCN zvládají v jednom kruhu rovněž daleko větší počty prvků (řádově desítky až stovky) a na velké vzdálenosti. Uvedení max. počtu prvků v kruhové síti tito výrobci takticky vynechají. Jejich obchodník Vám bude navíc ještě drze tvrdit, že počet prvků v kruhu není omezen (zřejmě upadl v mládí na hlavičku). Právě ve vztahu k časování celého řízení sítě je tento počet vždy nějak limitován. Při jeho překročení by již řízení redundancí nemuselo probíhat korektně.
Další indicií může být systém napájení. Pokud máme prvek s montáží na DIN lištu a ten má přímo v sobě napájecí zdroj, je rovněž někde něco špatně. Každý prvek v sítích MCN musí mít možnost napájení z minimálně dvou nezávislých zdrojů. Žádný zdroj nemůže být umístěn přímo v prvku, protože by jej ohříval. Prvky pro montáž na DIN lištu jsou obvykle napájeny stejnosměrným napětím v rozsahu 12 až 60V, často tyto zdroje mohou mít rozdílné napětí. Prvky pro montáž do 19“ rozvaděčů mívají možnost napájení i z více zdrojů než jsou dva a rovněž je tu možná častá kombinace 230V střídavých se stejnosměrným 24V nebo 48V (pro možnost napájení z baterií). Následující indicii, kterou můžete použít bez hlubokých znalostí prvků pro MCN je otázka managementu (MNG) prvku. Prvek bez MNG nemá v síti MCN co pohledávat. Pokud má prvek MNG, musí být ve dvojím provedení. Pro běžnou správu a méně zdatné se používá pomocí SNMP WEB rozhraní prvku. Profesionálové mají k dispozici pro funkce, které WEB rozhraní neobsahuje, k dispozici CLI (Command Line Interface). Žádný prvek pro MCN nebude mít ve svém WEB rozhraní možnost nastavení úplně všech parametru. Některé parametry jsou záměrně ponechány s možností nastavení pouze přes CLI. Dále je důležité, aby prvek pro MCN podporoval protokol LLDP. Tento protokol, SNMP a další (většinou proprietární) protokoly jsou nezbytné pro operační diagnostiku MCN sítě. Pokud výrobce prvků nenabízí i software pro operační diagnostiku sítě, mají jeho výrobky společného s MCN asi tolik, jako já s polárním potápěčem (jsem přiměřeně teplomilný tvor vyznávající jediný způsob chlazení – orosené pivo ze sedmého schodu podávané při vnější teplotě 25 až 30°C). Pokud má prvek splňovat kritéria pro MCN, musí mít také prostředky pro synchronizaci a práci v reálném čase. Pro synchronizaci se v současnosti používá PTPv2 (Precision Time Protocol v.2) - definován v IEEE1588. Pro to, aby to mohlo fungovat, musí mít systém v přenosu časové značky. Ty jsou vkládány mezi fyzickou a linkovou vrstvou v rozhraní zvaném Media Independent Interface (MII), definovaném ve standardu IEEE 802.3 jako součást Ethernetu. Vkládání značek v tomto místě sice vyžaduje hardwarovou podporu v síťovém rozhraní, ale zato umožňuje dosáhnout velké přesnosti synchronizace, protože zamezuje vzniku odchylek způsobených průchodem zpráv vrstvami protokolu. Pokud zkoumané prvky nemají takový hardware, vracíme se k polárnímu potápění. Aby na základě synchronizace pomocí PTPv2 mohl prvek pracovat v reálném čase (RT), musí umět Ethernet/IP (Ethernet Industrial Protocol) nebo Profinet IO (MCN prvky umí většinou oba), případně jim ekvivalentní protokolové řešení pro RT. Pokud to neumí, opět ponoření do ledové vody a polární potápění. Další indicií je stupeň průmyslové ochrany a rozsah pracovních teplot. U výrobců prvků MCN naleznete vždy i řešení v provedení IP67 nebo IP68 s konektory M12 – hyperboloidní kontakty. Mnohé z prvků i s konektory RJ45 mají v Ruggedized řadách pro ochranu elektroniky aplikován Conformal Coating – ochrana máčením ve speciálním laku. To jsou skutečnosti snadno rozpoznatelné. Horší je to s parametrem rozsah pracovních teplot. Komerční prvky tento rozsah mají většinou 0-40°C. Rádo-by výrobci prvků pro MCN udají rozsah větší, ale nemáme možnost jej ověřit (a papír snese všechno). Navíc tím potichoučku označují rozsah teplot uvnitř prvku. Pro MCN je nutné vycházet a také se musí udávat rozsah teplot vnějšího prostředí kolem prvku. Standartní rozsahy teplot jsou 0 – 60°C, rozšířené jsou od -40°C do 70°C, u některých prvků do 80°C nebo 85°C teploty vnějšího prostředí. Tuto skutečnost není možné ověřit jinak, než v testovací zátěžové komoře. A takovou možnost má málo kdo. Nezbývá tedy, než se obrátit na těch několik málo lidiček, kteří potřebné informace mají k dispozici, např. spolupráce s KYBEZ.
Neméně důležitou indicií je způsob chlazení. Všechny DIN-RAIL i 19“ prvky pro MCN jsou vyráběny v provedení bez ventilátoru. Ten je první v řadě z hlediska možnosti poruchy. Výjimkou jsou pouze CORE-Switche umístěné v serverovnách. Ani v jejich případě nejsou ventilátory pevně zabudovány, jako u komerčních řešení, ale jsou součástí výsuvného ventilátorového bloku ve Switchi. Výměna je tudíž možná za provozu během několika sekund. Poslední indicie se vztahuje k problematice konfigurace prvku a k jeho Firmware. U prvků pro MCN je běžné, že má k dispozici USB port pro ACA (AutoConfigAdapter). Pokud je při zapnutí nebo restartu prvku v USB portu zasunuta flash s konfiguračním souborem, načte prvek tuto konfiguraci z ACA a konfigurace v jeho vnitřní paměti je ignorována. Pro správce sítě to má obrovskou výhodu v tom, že pokud se mu podaří při změně nastavení sítě některý prvek tzv. zasukovat, má možnost přes USB port použít ověřenou provozní konfiguraci prvku. Podmínkou je samozřejmě to, že si je někde archivoval. Obdobné řešení je i u Firmware. Každý prvek pro MCN si při aktualizaci Firmware uloží současnou pracovní verzi do záložní paměti. V případě kolize při aktualizaci a zablokování prvku, lze pomocí TELNETu a CLI v servisním módu tuto původní verzi v prvku obnovit pomocí funkce „restore firmware“.
Poslední a nejdůležitější částí identifikace je vlastní výrobní proces. Zde už nám žádné indicie nepomohou. Zde nastupují znalosti problematiky, osobní kontakty u výrobců a hlavně osobní a praktická znalost celého výrobního procesu. Aktivní prvky pro MCN sítě nejsou vyráběny na výrobních linkách jako prvky pro komerční nasazení. Jde o spíše moderní manufaktury. Výrobní proces začíná výběrem, teplotními a zátěžovými testy všech součástek, které budou v aktivním prvku použity. Teprve potom jsou na jedinou výrobní linku a tou je osazení a montáž na desky plošných spojů. Ty opět prochází procesem zátěžových a teplotních testů. Následuje přesun na montáž výrobku, která je vyloženě manuální. Každý typ výrobku má několik specializovaných pracovišť vybavených pro montáž příslušného typu. Na tomto pracovišti je aktivní prvek smontován, funkčně v plném rozsahu otestován, umístěn do zahořovací komory, kde probíhá zahořování prvku. Po procesu zahoření je výrobek znovu v plném funkčním rozsahu otestován a následně s protokolem zabalen, doplněn o manuály a označen všemi potřebnými náležitostmi. Za celý proces na tomto pracovišti odpovídá vždy jediný člověk. Z toho jednoznačně vyplývá osobní odpovědnost konkrétního pracovníka za konkrétní kus výrobku. Teprve v tomto případě mnohou mít prvky objektivně hodnotu MTBF (Mean Time Between Failures – střední meziporuchová doba) řádově v délce několika desítek let a teprve tehdy je lze považovat za prvky pro sítě MCN. Někteří výrobci mají ve svém technickém řešení ještě další vylepšení. Patří mezi ně např. dálkově ovládaná optická signalizace (rozblikají se všechny LED Switche). To je výhodné třeba při správě rozsáhlých sítí, kdy ve vzdálené skupině Switchů má přepojit linky pouze zaučený pracovník. Tím mu určíme na dálku Switch, na kterém má být přepojení provedeno. Dalším vylepšením je bezpotenciálový kontakt, spínaný na základě detekce chybových stavů sítě. Ten lze využít např. pro ovládání externích alarmů, zapínání Bypassů atd. Koncem dubna 2016 jsem byl se skupinou studentů VUT v Brně na exkurzi u firmy Hirschmann, která je lídrem vývoje a výroby prvků pro MCN. Všichni účastníci byli značně překvapeni, že si tento výrobce mimo součástky na desky elektroniky vyrábí naprosto všechno sám. Žádné subdodávky jednotlivých dílů a pouhá montáž. Počínaje šroubky, konektory a všemi konstrukčními díly prvků včetně platových case prvků je vyráběno vlastními prostředky. Prostě vše od A až do Z. Za každou operaci u každého dílu nese konkrétní pracovník osobní odpovědnost. To je jediná možnost, jak si celý proces udržet pod kontrolou a zajistit požadovanou spolehlivost i kvalitu.
Volba konkrétních typů aktivních prvků pro řešení kritické komunikační infrastruktury vyžaduje detailní znalost jejich vlastností i funkcí. Musíme brát v úvahu nejen potřeby jednotlivých funkcí, ale i jejich vlastnosti z hlediska odolnosti a vhodnosti pro navrhovanou aplikaci. Uveďme jednoduchý příklad. Na následujícím obrázku jsou dva malé Switche pro kritickou komunikační infrastrukturu.
Switche pro sítě MCN zdroj: Hirschmann
Levý má označení RS30 (Rail Switch), pravý RSR30 (Rail Switch Ruggedized). U RS30 máme možnost zvolit mezi dvěma variantami teplotního rozsahu 0°C až +60°C nebo od -40°C až +70°C. Samozřejmě dále lze volit mezi několika variantami funkcí i konfigurací portů. Šasi Switche je plastové s otvory pro chlazení. Switch je bez ventilátoru. U RSR30 máme možnost zvolit mezi dvěma variantami teplotního rozsahu 0°C až +60°C nebo -40°C až +85°C. Dále lze volit mezi větším množstvím variant funkcí i konfigurací portů než u RS30. Šasi Switche je rovněž s otvory pro chlazení, ale je kovové a nárazu vzdorné. Switch je také bez ventilátoru. Elektronika je chráněna proti vlivům prostředí máčením ve speciálním laku. U obou Switchů je samozřejmostí redundantní napájení. Předpokládám, že si každý již dokáže odvodit, který z těchto dvou Switchů bude vhodnější do náročného prostředí.
Pokud pro nejnáročnější aplikace nebude dostačující ani některá z předchozích variant, bude nutné zvolit ještě odolnější alternativu. Následující Switch s konektory M12 je uzavřen v robustním šasi (odlitek z lehkých kovů), které je vodo/plyno těsně uzavřeno, a slouží současně pro chlazení vnitřní elektroniky.
PoE Switch IP68 pro sítě MCN zdroj: Hirschmann
Odolnost takového řešení dostatečně dokumentují následující dva obrázky. U těchto Switchů může MTFB dosahovat hodnoty i přes 40let.
Switche pro sítě MCN zdroj: Hirschmann
Takový Switch funguje i na orbitální stanici.
zdroj: Hirschmann
V některých případech musí prvky kritické komunikační infrastruktury fungovat i ve výbušném prostředí. Tím může být nejen nějaký výbušný plyn, ale i prach. Jednotlivá prostředí s nebezpečím výbuchu se klasifikují do tzv. ATEX zone (ATmosphere EXplosive). Direktiva EU 94/9/ES sjednotila značení a předpisy pro elektrické zařízení určené do prostředí s nebezpečím výbuchu. Všechna zařízení, která mají být použita do takového prostředí, musí být certifikovaná notifikovanou osobou (zkušebnou). V souvislosti s touto konstrukcí Switche si dovolím upozornit na jednu malou, ale velmi šikovnou a užitečnou technickou vychytávku, kterou můžeme samozřejmě použít i u jiných konstrukcí Switchů. Malé kompaktní Switche i Switche s Rail uchycením (DIN lišta) jsou většinou napájeny stejnosměrným napětím z externích zdrojů. Ty mohou být dokonce umístěny někde jinde než je Switch. V tomto případě může být přínosné mít Switch napájen kabelem s integrovanými LED pro signalizaci přítomnosti napětí. Switch má sice na sobě dvě LED signalizující přítomnost napětí ve Switchi z obou zdrojů, ale pokud některé chybí, neznáme místo poruchy. S takovýmto kabelem víme, že podle stavu LED kabelu je nebo není napětí na jeho konci u Switche. Lze tedy snáze identifikovat místo poruchy, kterým může být Switch, kabel nebo některý zdroj.
zdroj: KASSEX
Pokud svítí LED Switche a na kabelu ne, je porucha nejspíše ve Switchi. Může také být i v konektoru kabelu (ulomený kontakt, utržený vodič). Pokud nesvítí LED kabelu a u zdroje ano, je porucha s největší pravděpodobností v kabelu (přerušený kabel) nebo v připojení do zdroje. Pokud nesvítí LED na zdroji, je závěr zcela jasný. Pro další výrazné zvýšení spolehlivosti sítí třídy MCN bylo navrženo unikátní technické řešení u Switchů. Jde o bypass portů zapojených do páteřního kruhu. U dosavadních Switchů zapojených v kruhové páteři má výpadek jednoho uzlu (ztráta napájení, porucha) za následek ztrátu redundance. Síť sice bude po dobu výpadku jednoho uzlu komunikovat záložní trasou, ale již nemůže zvládnout výpadek dalšího uzlu. Zcela určitě by při výpadku dalšího uzlu došlo k situaci, že část sítě bude tzv. odříznuta. Aby se předešlo tomuto stavu, byla navržena konstrukce bypassu pro metalická i optická vedení. Upozorňuji, že bypass je zapojen vždy mezi dva porty Switche, které budou součástí páteřního Ringu. V případě výpadku napájení uzlu (nebo jiné poruchy) přemostí bypass oba porty páteřního vedení. Síť se od tohoto okamžiku chová, jako by tam tento uzel nikdy nebyl. Redundance tedy zůstane zachována i nadále.
Switche s bypassem pro metalická vedení a samostatný FO bypass zdroj: Hirschmann
Princip funkce FO bypassu zdroj: Hirschmann
Mezi aktivní prvky sítí MCN patří samozřejmě i 19" Core Switche, 19" páteřní a koncové modulární Switche na DIN lištu, WiFi AP i WiFi Bridge, bezpečnostní Routery a Firewally a další prvky. Prvotním předpokladem pro vybudování sítě třídy MCN jej její návrh. Ten vyžaduje nejen důkladnou znalost všech komponent pasivní vrstvy a aktivních prvků pro MCN, ale i detailní znalost principů a metod řešení redundancí a jejich protokolů. Touto oblastí se budeme zabývat v příštích dílech.
Zdroje: Jordán V., Ondrák V.: Infrastruktura komunikačních systémů II., Kritické aplikace, Akademické nakladatelství CERM, s.r.o., 2015, ISBN 978-80-214-5240-4
