Souhrnný pohled na služby e-infrastruktury CESNET

Souhrnný pohled na služby e-Infrastruktury CESNET „CESNET Day“ Univerzita Hradec Králové, 23. 2. 2016

Tomáš Košňar CESNET z. s. p. o.

Agenda ●

Sdružení CESNET, e-Infrastruktura

●

e-Infrastruktura CESNET - základní komponenty a služby

●

–

Architektura

–

Komunikační infrastruktura

–

Náročné výpočty

–

Datová úložiště

–

Podpora spolupráce uživatelů

–

Bezpečnost

–

Správa identit, PKI, AAI

–

Další služby

Diskuze - průběžně

Sdružení CESNET ●

●

●

●

●

●

1996 - založeno veřejnými VŠ a AV ČR; od ČVUT převzalo provoz sítě CESNET 1996 – začátky pan-evropského budování sítí pro výzkum, vývoj, vzdělávání → CESNET buduje oddělenou síť pro tento účel → provozuje 2 sítě 2000 – prodej komerční sítě spol. Contactel 1996 → několik generací sítí pro R&D, vždy v souvislosti s vývojem v evropském kontextu (TEN-34, Quantum, GÉANT..GÉANT2020); řada národních a mezinárodních projektů 2011 → Velké infrastruktury pro R&D, cestovní mapa (vláda ČR) → Velká Infrastruktura CESNET (e-Infrastruktura CESNET) 2016 → e-Infrastruktura CESNET

e-Infrastruktura CESNET ●

Symbolická architektura

Společná komunikační infrastruktura Společná komunikační infrastruktura

IP/MPLS páteřní infrastruktura Optická přenosová infrastruktura Fyzická infrastruktura (temná vlákna)

Budováno vlastními silami

Podpůrná infrastruktura: DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu

●

Pronajatá fyzická infrastruktura –

●

Temná vlákna

Vyšší vrstvy vlastními silami Proč ? –

Flexibilita, výkon

–

Efektivita a optimalizace využití zdrojů

–

Řešení konkrétních potřeb uživatelů

–

Redundance → Spolehlivost



●

Fyzická infrastruktura (temná vlákna)

●

Robustní páteřní infrastruktura –

IP/MPLS páteřní infrastruktura ●

Optická přenosová infrastruktura Fyzická infrastruktura (temná vlákna)

●

Aktuálně ●

~ 6000km vláknových tras

●

z toho ~ 1880km jednovláknových

Páteřní uzly –

Duální připojení

–

Maximální snaha eliminovat fyzický souběh vláken

Ekonomické ukazatele




●

Optická přenosová infrastruktura

●

Technologie vlnového multiplexu (WDM)

●

2 systémy - komplementární (vzájemně se zálohují) – –

DWDM ONS 15454 - až 80 kanálů 1100Gbps - jádro páteře OpenDWDM - jedno a dvouvláknové trasy 1-100Gbps, připojování k páteři




●

●

Optická přenosová infrastruktura Platforma pro vytváření dedikovaných nezávislých optických propojů ~ fotonické služby




●

IP/MPLS páteřní infrastruktura

●

Platforma pro vytváření logických sítí nebo okruhů

●

Pomocí služeb optické přenosové infrstruktury

●

●

Primární IP síť - základní sdílená infrastruktura pro IP provoz (~ GÉANT, Internet, IX, atd..) Dedikované okruhy a/nebo sítě pro uživatele (lambda služby, vyhrazené okruhy; i mezinárodně) –

Řesení „na míru“ (distribuovaná pracoviště, unikátní zařízení apod.)

–

V případě indikace potřeb neváhejte konzultovat !!!

–

Efektivita – plán vs. aktuální potřeby

–

Mezinárodní náročné na čas




●


●

Primární IP síť –

100 Gbps jádro

–

Uzly Nx10 Gbps, 40-100 Gbps

–

IPv4, IPv6, ucast, mcast




●


●

Primární IP síť –

Duální připojení uzlů

–

Redundance, flexibilita



●


●

Dedikované okruhy a/nebo sítě –

Příklad VPLS

–

~ „rozsáhlá“ LAN


VPLS




●


●

Dedikované okruhy a/nebo sítě –

Příklad EoMPLS



●


●

Externí propojení

●

30 Gbps GÉANT (100GE) *

●

100 Gbps IX, partneři

IP/MPLS páteřní infrastruktura Optická přenosová infrastruktura ●

Fyzická infrastruktura (temná vlákna)

–

40 Gbps NIX.CZ

–

10 Gbps ACONET (VIX) *

–

10 Gbps SANET (SIX) *

–

10 Gbps PIONIER *

–

10 Gbps AMS-IX

–

10 Gbps Google

–

10 Gbps Tier-1 *

E2E –

4x10 Gbps GÉANT

–

Nx10 CBF - ACONET, SANET, PIONIER

–

10 Gbps GLIF



●

Struktura komunikačních služeb

●

IP služba – připojení k e-infrastruktuře CESNET

●

●

IP/MPLS páteřní infrastruktura ●

Optická přenosová infrastruktura Fyzická infrastruktura (temná vlákna)

Součástí služby fyzické propojení do pan-evropské R&D sítě GÉANT – propojuje analogické sítě z ostatních evropských zemí + další sítě např. Internet2 Dílčí částí služby je i přístup do globálního Internetu (přímo, přes výměnné uzly ~ IX, prostřednictvím partnerů)

Služby vyhrazených okruhů a sítí – dedikované infrastruktury | propoje podle potřeb (kapacita, topologie, apod..); možno i mezinárodně (technologická omezení některých řešení) –

Vyhrazené okruhy

–

Lambda služby

–

Fotonické služby



●

Podpůrné a související služby

●

Přidělování a správa adresových zdrojů


●

–

IPv4, IPv6

–

Kontaktní údaje v RIPE DB

–

Asistence při zřizování LIR

Podpůrná infrastruktura a další služby –

DNS (primární, sekundární, záložní, DNSSEC)

–

Záložní mail relay

–

AntiSpam Gateway




●


●

Sledování infrastruktury –

Systém G3; SNMP (nejen); interaktivní UI, reporting




●


●

Sledování infrastruktury jako služba –

a) „Vizualizace“ stavu a chování dedikované infrastruktury pro uživatele v páteřní síti

–

b) Instalace (G3 systém) v koncové síti (vč. správy) – meření aktivních prvků v koncové síti

–

Spolupráce při řešení problémů, konzultace, školení

Náročné výpočty - MetaCentrum ●

MetaCentrum zajišťuje a koordinuje provoz NGI (Národní Gridové Infrastruktury) – národní součást EGI (Evropské GI)

„Využití sdružených výpočetních a datových zdrojů pro řešení velmi náročných úloh, které jsou za hranicemi výpočetních možností (výkon, dostupný SW, ...) samostatného pracoviště“ ●

Aktuálně ~ 12k jader, 2PB storage (EGI 3.8PB)

Náročné výpočty - MetaCentrum ● ●

Služby Grid+Cloud+MapReduce výpočty –

Konvenční i specifický HW (GP-GPU karty, SGI-UV2 [6TB RAM a 48x8 jader])

–

Zvýhodnění přístupu ke zdrojům podle dosažených vědeckých výsledků

–

Aplikační SW

–

Koordinace pořizování a správy programového vybavení ● https://wiki.metacentrum.cz/wiki/Kategorie:Aplikace Uživatelská podpora

–

Konkrétních problémy, optimalizace algoritmů, … Propojení se zahraničním

●

●

●

V rámci ERA, EGI


Služby

●

Integrace výpočetních kapacit do NGI

●

–

Stávající i plánované

–

Pomoc při výběru, instalaci a provozu clusterů, jednotná správa systémového a aplikačního SW

–

Správa účtů, systém pro správu úloh

–

Společný provozní dohled, přizpůsobení místním potřebám, priorita nebo výhradní přístup na své zdroje

Příprava specifického prostředí –

Úpravy stávajícího prostředí nebo vytvoření specifické dedikované platformy (Galaxy, Chipster)

–

Velké skupiny uživatelů (EGI, ELIXIR)


Novinky –

Start VI ELIXIR

–

IT → dedikované a specificky odladěné podle potřeb a zároveň součástí MetaCentra Snaha podchytit včas další skupiny ●

●

Shrnutí –

K dispozici výpočetní výkon obtížně dosažitelný vlastními silami

–

Dostupnost sdružených prostředků i v případě nedostupnosti vlastních

–

Dostupnost odkudkoli po síti

–

Prostředí, které může být „ušito“ na míru

–

Integrace do systému správy účtů v e-infrastruktuře

–

http://www.cesnet.cz/sluzby/metacentrum/

Datová úložiště ●

●

●

Dlouhodobé ukládání primárně vědeckých dat (uchování na úrovni binárních dat) Zdroje pro přenos a uchování dat v administrativní doméně uživatelské komunity Základní typy služeb –

Zálohy ●

–

Archivace ●

–

primární data v úložišti, méně časté využívání

Sdílení dat ●

–

primární data u uživatele, záložní data na úložišti pro případ havárie

Společná práce nad většími daty v rámci distribuovaného týmu

Speciální aplikace ~ distribuce obsahu a další


Infrastruktura –

Distibuovaná architektura HSM úložišť

–

Plzeň, Jihlava, Brno → 21+PB fyzické kapacity

–

Dedikovaná síťová infrastruktura pro vzájemné propojení

–

Dedikovaná infrastruktura pro připojení do páteřní sítě


Infrastruktura –

HSM úložiště ● ●

Různé způsoby (typy médií) uložení v jednotlivých vrstvách Optimalizace poměru kapacity, přístupové doby, pořizovací ceny a nákladů na údržbu


Přístup –

Souborově orientovaný přístup - NFSv4, FTP, rsync, SCP, …

–

Speciální aplikace - Grid storage element, DCache

– ●

●

FileSender

●

ownCloud

Blokový přístup pouze ve výjimečných speciálních případech

Shrnutí –

Variabilita přístupu k datům

–

Dostupnost odkudkoli po síti (omezení odvislá pouze od přístupových protokolů a parametrů připojené sítě – kapacita !!!)

–

Geografická distribuce dat v rámci administrativní domény komunity

–

Integrace do systému správy účtů v e-infrastruktuře

–

http://du.cesnet.cz

–

Uživatelská podpora: [email protected]

Podpora spolupráce uživatelů ●

Webkonference – Adobe Connect –

●

●

Webové prostředí (Flash), základní kvalita obrazu

Videokonference – H.323/SIP, MCU –

Limit Full HD, kvalitní zvuk, sdílení obsahu

–

Začlenění vašich VC zařízení do VC infrastruktury

–

ClearSea

Rezervační portál meetings.cesnet.cz


IP telefonie –

●

Streaming –

●

Propojení IP-telefonních sítí v rámci e-infrastruktury a s pratnery

Distribuční platforma pro multimediální vysílání do Internetu (Windows Media, MPEG-4 Flash/HTML5)

Videoarchiv –

Platforma pro uložení obsahu a jeho vystavení pomocí streamovacích serverů CESNETu (Windows Media, MPEG-4 Flash/HTML5)


Speciální obrazové přenosy a vizualizace –

Vysoké rozlišení, nízká latence, lékařské zákroky, vědecké vizualizace (SAGE, CAVE), vzdálená spolupráce pří zpracování obrazových dat HD+ (2K, 4K, 8K) apod.

–

Vlastní vyvíjené systémy (UltraGrid, 4K Gateway)


Konzultace a asistence – –

Návrhy řešení, pořizování zařízení, laboratoře, mobilní SAGE apod. ~ všechny okruhy problematiky [email protected]

Bezpečnost ●

Řešení bezpečnostních incidentů (CSIRT) –

Bezpečnostní tým CESNET-CERTS ●

–

https://csirt.cesnet.cz/

Platforma (technická, organizační) pro řešení a asistenci při řešení bezpečnostních incidentů v e-infrastruktuře CESNET a administrativní doméně komunity

Bezpečnost ●

Infrastruktura a služby v oblasti bezpečnosti

- HW akcelerované sondy - plošný monitoring IP provozu na bázi toků (zdroje provozních informací) - Honey Pots - monitoring infrastruktury na bázi SNMP - IDS a IPS systémy apod.

Bezpečnost ●

HW akcelerované sondy → kompletní provoz na lince –

Bezeztrátové a detailní měření síťových dat na volitelné úrovni detailu, tunelovaný provoz, detailně HTTP, DNS, SIP; užitečné pro ruční analýzu, možnost vyčlenit provoz; statistiky, zdroj dat a informací pro další výzkum

–

Detekce událostí a anomálií na paketové a IP úrovni

–

Perimetr e-Infrastruktury, STaaS

Bezpečnost ●

G3 → prvky infrastruktury –

Sběr informací (SNMP, a další způsoby) nejen ze síťových prvků

–

Sběr a zpřístupnění informací o stavu infrastruktury (interaktivní UI, periodický reporting → HTML struktury, viz. ukázky u komunikační infrastruktury), detekce, vizualizace a notifikace anomálií

–

Síťová část e-Infrastruktury, instalace v sítích uživatelů, STaaS

Bezpečnost ●

FTAS → IP provoz na bázi toků –

Zpracování Informací o IP provozu na bázi toků (tzv. NetFlow)

–

Sběr a zpřístupnění informací o IP provozu (interaktivní UI, periodický reporting → HTML struktury, text), detekce a notifikace událostí/anomálií na úrovni IP toků

–

Síťová část e-Infrastruktury, instalace v sítích uživatelů, STaaS

Bezpečnost ●

FTAS ukázka - reporting

Bezpečnost ●

FTAS ukázka - notifikace anomálie

Bezpečnost ●

IDS, IPS systémy Honeypoty

●

Systémy pro sdílení informací, SIEM

●

–

Sběr a „normalizace“ informací o anomáliích a detekovaných událostech

–

„Přispívám, přispíváš, přispíváme → odebírám“ (+ informace z více míst, agregace, korelace)

Forenzní laboratoř –

Penetrační testy

–

Zátěžové testy

–

Analýzy událostí

–

https://flab.cesnet.cz/

Bezpečnost ●

STaaS –

„Puzzle like“ koncept na bázi kombinace nástrojů pro ty, co nemají dostatek vlastních kapacit

–

Průběžné rozšiřování o další komponenty - „HoneyPot_aaS na čekačce“

Bezpečnost ●

Bezpečnostní školení –

Na míru pro typové skupiny ●

Zaměstnanci

●

Studenti

–

Na míru tématicky

–

Technické a legislativní aspekty

–

Prevence, odpovědnost za svoje chování v síti, gramotné užívání výpočetní techniky

–

Diskuze o konkrétních problémech (v dané síti/místě/instituci)

Správa identit PKI & AAI ●

eduID.cz - Česká akademická federace identit – – –

Jedno uživatelské jméno a heslo pro přístup k řadě síťových služeb (v multi-institucionálním prostoru) Poskytovatelé služeb z národní komunity i mezinárodní Součást mezinárodní interfederace eduGAIN


Přístup ke službě prostřednictvím eduID.cz

Příklad služby: elsevier, web of science,FileSender..


●

●

Certifikáty pro uživatele a servery –

Důvěryhodný server

–

Důvěryhodná identita uživatele

Certifikační autorita CESNET CA Ceritfikáty od GÉANT (dříve TERENA) – Trusted Certificate Service –

Osobní ● aktuálně pouze gridové ● platnost 1 rok

–

Serverové ● ve spolupráci se správci koncových sítí


Důvěryhodný server – příklad


Důvěryhodný server – příklad


Důvěryhodná identita uživatele – příklad využití


Důvěryhodná identita uživatele – příklad využití


eduroam - „služba na pomezí“: služba z oblasti ověření uživatelů, z pohledu koncového uživatele síťová služba

●

Individuálně autentizovaný federovaný přístup k síti - roaming uživatelů v hostitelské síti –

Síťovou infrastrukturu zajišťuje hostitelská síť; síťová infrastruktura je opřena o autentizační infrastrukturu (technicky RADIUS server hostitelské organizace zapojený do národní hierarchie)


Jednotný systém správy účtů v e-Infrastruktuře

●

Některé služby odebírané na individuální bázi –

●

MetaCentrum, některé služby datových úložišť,..

Potřeba specifický účet v e-Infrastruktuře –

Proč ? –

Pomocí federace (technologicky) nelze přímo a transparentně zajistit ověření při přístupu k některým službám ( ~„kerberos based“)

–

Potřeba strukturování uživatelské komunity

–

Potřeba zajistit řízený přístup ke zdrojům


Jednotný systém správy účtů v e-Infrastruktuře – –

Účet v e-Infrastruktuře technicky spravován systémem Perun Federace → výchozí AA platforma pro vytvoření a správu účtu



●

Základní prvek strukturování uživatelů

●

–

VO - „virtuální organizace“

–

Skupiny v rámci VO

Mapování uživatelských identit na zdroje –

Správce zdrojů ↔ správce VO ●

Objem zdrojů

●

Přístupová oprávnění

●

Konfigurace služeb



●

Jak získám účet v e-Infrastruktuře ? –

Při prvním přístupu ke službě, která tento účet vyžaduje budu proveden registračním procesem – podmínka úspěchu je schopnost ověřit se vůči federaci

–

Při prvním přístupu k další službě, která vyžaduje tento účet mohu být vyzván o rozšiřující informace nutné pro chod služby, ale vše se opírá o již dříve vytvořený účet

–

Pokud zapomenu heslo k účtu v e-infrastruktuře, mohu ho přenastavit pomocí ověření se vůči federaci



●

Co když nemám identitu v žádném IdP ve federaci ?

●

Speciální IdP eduID.cz Hostel – http://hostel.eduid.cz/ –

Samoregistrace pomocí adresy elektronické pošty → základní (tzn. nízká míra důvěry)

–

Pro přístup k některým službám, které potřebují vyšší míru jistoty (..v závislosti na službě) ●

●

a) zvýšit míru důvěry identity v tomto IdP ověřením registrační úředník (Praha, Brno) nebo CzechPoint b) explicitně nastavit identitu pro přístup ke službě v rámci VO správcem (...profesor ze zahraničí, se kterým dlouhodobě spolupracujeme a máme jistotu, že e-mail adresa, kterou se prezentuje „patří“ k němu, jako k osobě)



●

Možná schémata přístupu ke službám ?

Další služby ●

Virtuální servery –

–

Nové, od 2016, volná výpočetní kapacita ve virtualizační platformě ●

Virtuální stroj

●

I jako součást komplexnějšího řešení (+ síť apod.)

Vize, rozvoj ?

Další služby ●

●

●

Monitorování kvalitativních charakteristik sítě –

Propustnost, zpoždění, jitter, ztrátovost apod.

–

Pro uživatele náročných aplikací, správce sítí apod.

Časové služby –

Časová synchronizace (NTP servery – Stratum 1, rubidiové hodiny)

–

Časová razítka (Time-Stamp Authority)

Technické konzultace –

Ve všech odborných oblastech

●

Cisco akademie

●

Transfer technologií –

Poskytování licencí k námi vyvinutým zařízení, transfer knowhow, projektování (fotonické sítě na míru) a další..

Základní kontakt

https://www.cesnet.cz/sluzby/ [email protected]

Díky za trpělivost a pozornost :-)

???

Souhrnný pohled na služby e-infrastruktury CESNET

Recommend Documents