Datová úložiště CESNET. David Antoš

Datová úložiště CESNET David Antoš

Přehled I I I I I

cíle datových úložišť možnosti využití výhledy budoucího rozvoje podpora projektů FR prakticky výhled plánů datových úložišť

D.A. (CESNET)

Datová úložiště CESNET

2 / 11

Cíl: dlouhodobé uchování dat I I

cíl: dlouhodobé uchovávání (vědeckých) dat uchování zajišťujeme na úrovni zachování binárních dat (bitstream) I

správce úložiště nerozumí odborné povaze dat I

I I

ani nemůže rozhodovat o smysluplnosti jejich archivace

proto (zatím) neděláme LTP (Long-Term Preservation) bitstream je nicméně předpokladem pro uchování dat I

další kopie, geografické repliky, redundance v systému

D.A. (CESNET)


3 / 11

Možnosti využití datových úložišť I

zálohy I I

I

archivace I I I

I

uživatelé na úložiště odkládají cenná primární data data nejsou často využívána uživatelé nemají prostředky pro jejich uchovávání

sdílení dat I

I

uživatelé mají primární data u sebe na úložiště odkládají zálohu pro případ havárie

distribuovaný tým potřebuje společně pracovat nad většími objemy dat, případně je zveřejňovat

„něco jiného“ I

distribuce obsahu, jiné speciální aplikace

D.A. (CESNET)


4 / 11

Možnosti využití datových úložišť I

a naopak: na co se vzdálené úložiště příliš nehodí I I

interaktivní práce zejména s velkým množstvím malých souborů ukládání dat s potřebou přístupu v reálném čase I

I

přímý provoz systémů s nutností 24/7 přístupu I I

I

prioritou je spolehlivost uložení „toto není úložiště pod váš SAP“ na to je obecně vzdálené úložiště nevhodné

vhodné použití pro podobné scénáře I I

primární 24/7 data u uživatele, na CESNET zálohy/repliky rozdělení životně důležitých dat vs. „nice to have“ dat

D.A. (CESNET)


5 / 11

Infrastruktura Děčín

Liberec

PIONIER

Hradec Králové Praha

Pardubice Opava

Plzeň

Karviná

Ostrava Olomouc

AMS-IX

NIX

Jihlava

Zlín Brno

České Budějovice GÉANT Internet

D.A. (CESNET)

ACONET


SANET

6 / 11

Přenos dat na úložiště I

souborové I I I I

I I

I

speciální aplikace I I I

I

NFSv4 (známé uživatelům MetaCentra) rsync, scp, FTPS obvykle autentizované systémem Kerberos existují GUI klienti i nástroje pro příkazovou řádku pro hlavní platformy Globus Online – vysokorychlostní přenosy výhledově CIFS (známý „síťový disk“ z Windows) gridové úložiště v systému dCache FileSender, ownCloud, Globus je možno i jiné – nutno řešit individuálně

bloková zařízení (není preferováno) D.A. (CESNET)


7 / 11

Výhled I

I

cílem je udržet úložiště s otevřeným přístupem pro vědeckou komunitu ideové pilíře rozvoje 1. technologie a její provoz 2. organizace dat (Hadoop, databáze) 3. aplikace – analýza velkých dat – včetně schopnosti fungovat jako testovací prostředí pro takové aplikace 4. dlouhodobé uchování dat – poskytnutí nástrojů pro práci „aplikačního knihovníka“

I

body 2 a 3 v úzké spolupráci s národním gridem MetaCentrum

D.A. (CESNET)


8 / 11

Podpora projektu prakticky I I

napište nám na [email protected] domluvíme se, co potřebujete I I

I I I I

opravdu to potřebujeme pochopit kolik dat máte, jak s nimi pracujete, . . .

připravíme konfiguraci úložiště typicky založíme virtuální organizaci dál si uživatele spravujete sami, vytváříte skupiny, . . . ukládáte data přes FTP/rsync/NFSv4/... I

my se staráme, aby na se vytvářely jejich repliky, . . .

D.A. (CESNET)


9 / 11

Úložiště a Fond rozvoje I

Fond rozvoje I I

vyhlašuje výzvu posuzuje projekty samostatně a nezávisle I

I

datová úložiště mohou podpořit pouze projekty I I

I

k posouzení si vyžádá stanovisko o proveditelnosti

ve kterých je to technicky možné které nejdou proti dlouhodobé strategii úložišť

důsledky a doporučení I

I

projekty na standardní použití úložišť (zálohy, archivaci) jsou triviálně podpořitelné cokoli jiného nebo při jakýchkoli pochybnostech konzultujte předem

D.A. (CESNET)


10 / 11

Kontakty I I

http://du.cesnet.cz uživatelská podpora: [email protected]

D.A. (CESNET)


11 / 11

Datová úložiště CESNET. David Antoš

Recommend Documents