Způsoby využití datových úložišť CESNET Petr Benedikt
Přehled ‣ infrastruktura ‣ specifikace datových center ‣ struktura úložišť ‣ migrační politiky ‣ smysl datových úložišť ‣ poskytované služby ‣ filesender ‣ ownCloud ‣ přímý přístup k souborovému systému ‣ Globus ‣ VO Storage ‣ Perun - správa uživatelů ‣ Kontakty
16. 4. 2015
CESNET Day
ČÁST I INFRASTRUKTURA
16. 4. 2015
CESNET Day
Infrastruktura Děčín
Liberec
PIONIER
Hradec Králové Praha
Pardubice Opava
Plzeň
Karviná
Ostrava Olomouc
AMS-IX
NIX
Jihlava
Zlín Brno
České Budějovice GÉANT Internet
16. 4. 2015
ACONET
CESNET Day
SANET
Infrastruktura ‣ ‣
‣
‣
celková hrubá kapacita cca 22 PB Plzeň (od pol. 2012) ~ 8.5 PB ‣ v areálu ZČU ‣ cca 500 TB disků, 4800 TB pásek, 3584 TB SGI COPAN ‣ SGI Data Migration Facility, CXFS Jihlava (2013) ~ 7.5 PB ‣ Krajský úřad Jihlava ‣ 1041 TB disků, 3744 TB pásek, 2934 TB MAID ‣ řešení IBM založené na GPFS a TSM Brno (2013) ~ 6 PB ‣ rektorát VUT Brno ‣ 498 TB disků, 3500 TB pásek, 2116 TB MAID ‣ řešení IBM založené na GPFS a TSM
16. 4. 2015
CESNET Day
Knihovna v Plzni
16. 4. 2015
CESNET Day
HSM = hierarchická úložiště ‣
různé druhy médií (tier) ‣ rychlé disky → pomalejší disky → MAID → pásky ‣ dostupná kapacita: nízká → → vysoká ‣ náklady na provoz: drahý → → levný ‣ přístupová doba: nízká → → vysoká ‣ rychlost přístupu: vysoká → → nízká
16. 4. 2015
CESNET Day
Migrační politiky ‣
‣ ‣ ‣ ‣
automatizovaný systém pro přesuny dat mezi nimi ‣ déle nepoužívaná data na pomalejších vrstvy ‣ pro uživatele transparentní, resp. téměř transparentní ‣ přístup k dlouho nepoužitému souboru trvá déle ‣ aplikace / uživatel s tím musí počítat tape - SATA → MAID → páska tape_tape - tape + záloha na pásku disk_only - data jsou jen na discích, nikdy se nepřesouvají cache_tape - tape_tape s předřazenými FC disky (pouze v Plzni pro VO Storage)
16. 4. 2015
CESNET Day
Zaplnění archivu v Plzni
https://du.cesnet.cz/cs/statistiky/start 16. 4. 2015
CESNET Day
ČÁST II SLUŽBY DATOVÝCH ÚLOŽIŠŤ
16. 4. 2015
CESNET Day
Smysl externího úložiště ‣
běžný scénář: ‣ uživatelé mají svá data na svých strojích / externích discích / NAS serverech apod. ‣ použití nevhodných médií ‣ chybí systematická péče ‣ nemají prostředky na vyšší kapacitu / zálohy apod.
‣
centrální úložiště vědeckých dat ‣ možnosti pořídit zařízení dostatečné velikosti ‣ spravované specializovaným týmem ‣ možnost sdílení dat mezi skupinami uživatelů ‣ možnosti zálohování / archivace do geograficky oddělených poloh
16. 4. 2015
CESNET Day
Cíl: dlouhodobé uchování dat ‣
‣
potřeby pro uchování dat stále roste ‣ primární data z experimentů a výpočtů ‣ s ohledem na potenciál jejich dalšího využití ‣ k návratu a revizi publikovaných výsledků potřeba zajištění konzistence dat ‣ zajištění na úrovni zachování binárních dat (bitstream) ‣ správce úložiště nerozumí odborné povaze dat ‣ ani nemůže rozhodovat o smysluplnosti jejich archivace ‣ proto neděláme LTP (Long-Term Preservation) ‣ bitstream je nicméně předpokladem pro uchování dat ‣ další kopie, geografické repliky, redundance v systému
16. 4. 2015
CESNET Day
Organizačně-právní pohled ‣ ‣
data uživatelů zásadně patří uživatelům srovnejte s provozními podmínkami komerčních poskytovatelů
“Pokud nahrajete, odešlete, uložíte nebo přijmete obsah do nebo prostřednictvím našich služeb, poskytujete společnosti XXX (a subjektům, se kterými společnost XXX spolupracuje) celosvětově platnou licenci k užití, hostování, uchovávání, reprodukování, upravení, vytvoření odvozených děl”
16. 4. 2015
CESNET Day
ČÁST III AKTUÁLNĚ POSKYTOVANÉ SLUŽBY
16. 4. 2015
CESNET Day
FileSender ‣
‣ ‣ ‣
‣ ‣
‣ ‣
FileSender: webová služba pro jednorázový přenos velkých souborů ‣ “velkých”: aktuálně 500 GB přispíváme i k jeho vývoji https://filesender.cesnet.cz alespoň jedna strana komunikace musí být oprávněný uživatel infrastruktury autentizace federací eduID.cz i eduGAIN autentizovaný uživatel může nahrát soubor a komukoliv odeslat adresu ke stažení lze odeslat i pozvánku testovací verze https://filesender2.cesnet.cz
16. 4. 2015
CESNET Day
ownCloud ‣ ‣
‣ ‣ ‣
‣
‣ ‣ ‣ ‣
cloudové úložiště se synchronizací souborů klienti dostupné pro: ‣ osobní počítače (Windows, Linux, OS X) ‣ mobilní zařízení (Android, iOS) webové rozhraní přístup přes protokol WebDAV data se synchronizují přes úložiště ‣ na počítači jsou i lokálně ‣ mobilní zařízení stahují na žádost data lze sdílet ‣ konkrétnímu uživateli ownCloudu nebo přes unikátní odkaz současná spolupráce nad dokumenty kalendář, kontakty registrace federací na https://owncloud.cesnet.cz standardní limit 100 GB / uživatel
16. 4. 2015
CESNET Day
ownCloud - počet uživatelů
16. 4. 2015
CESNET Day
Klasické možnosti využití úložišť ‣
‣
zálohy ‣ úživatelé mají primární data u sebe ‣ na úložiště odkládají zálohu pro případ havárie ‣ buď pro zálohování jednotlivých strojů ‣ nebo i agregovaně - IT oddělení zálohuje celou katedru archivace ‣ uživatelé na úložiště odkládají cenná primární data ‣ data nejsou často využívána ‣ uživatelé nemají prostředky pro jejich uchování ‣ individuální přístup koncových uživatelů vs. “laboratorní archivář”
16. 4. 2015
CESNET Day
Klasické možnosti využití úložišť ‣
‣
sdílení dat ‣ distribuovaný tým potřebuje společně pracovat nad většími objemy dat, případně je zveřejňovat ‣ typicky koncoví uživatelé “něco jiného” ‣ distribuce obsahu ‣ jiné speciální aplikace
16. 4. 2015
CESNET Day
Možnosti přístupu k souborům ‣
podporované přenosové protokoly a nástroje ‣ NFSv4 (známé uživatelům MetaCentra) ‣ rsync, ssh/scp, ftp/ftps/sftp ‣ Globus - vysokorychlostní point-to-point přenosy
‣
autentizace systémem Kerberos
‣
použitelné nástroje ‣ nástroje pro příkazovou řádku ‣ GUI klienti ‣ podpora všech hlavních platforem
‣
připravujeme také CIFS (“síťový disk” pro Windows)
16. 4. 2015
CESNET Day
Globus ‣ ‣ ‣ ‣ ‣
‣
dříve označovaný GlobusOnline “klikací FTP na steroidech” kopírování velkého objemu dat řízené pomocí webového rozhraní mezi “koncovými body” - úložiště podporující Globus nebo lokální stroje služba dostupná na https://www.globus.org/
16. 4. 2015
CESNET Day
Jak se stát uživatelem - snadno ‣
‣
pokud ‣ chcete využívat souborově orientované protokoly ‣ dostačuje prefabrikovaná politika migrací dat ‣ ukládáte jen individuální data ‣ potřebujete ukládat nejvýše jednotky TB tak se jen zaregistrujte na http://du.cesnet.cz ‣
‣
‣
vyžaduje to ověření uživatele z akademické instituce členství se po roce prodlužuje ‣ jako indikace, že uživatel „ještě ví o svých datech“ kódové označení: VO Storage
16. 4. 2015
CESNET Day
Jak se stát uživatelem - snadno 2 ‣ pokud ‣ potřebujete (třeba okamžitě) i výpočetní zdroje ‣ a vyhovují podmínky podobné jako ve VO Storage
‣ tak se zaregistrujte do MetaCentra na http://metavo.metacentrum.cz/ jestli to nestačí, tak. . .
16. 4. 2015
CESNET Day
Jak se stát uživatelem - snadno 2 ‣ pokud ‣ potřebujete (třeba okamžitě) i výpočetní zdroje ‣ a vyhovují podmínky podobné jako ve VO Storage
‣ tak se zaregistrujte do MetaCentra na http://metavo.metacentrum.cz/ jestli to nestačí, tak. . . ale až za chvilku
16. 4. 2015
CESNET Day
Správa uživatelských účtů ‣ systém Perun
‣ uživatel (osoba) má (ideálně) jedinou identitu v infrastruktuře
‣ potřebujeme ověření identity a příslušnosti k oprávněné instituci ‣ ︎proč to? zodpovídáme v projektu za to, komu služby poskytujeme (akademické komunitě), řídíme mnoho různých služeb ‣ na identitu uživatele jsou navázány jednotlivé mechanismy přístupu ke zdrojům
‣ řízeno členstvím ve virtuálních organizacích
‣ uživatelé vše řídí přes webové rozhraní
16. 4. 2015
CESNET Day
Úložiště pro náročnější ‣ nestačí VO Storage? založíme vám virtuální organizaci!
‣ VO = Virtuální organizace: ‣ skupina uživatelů se společným zájmem, kteří vystupují jako celek ‣ má správce, který: ‣ jedná s poskytovatelem zdrojů ‣ rozhoduje o podmínkách členství jednotlivých uživatelů ‣ může využívat různé typy zdrojů
‣ dohoda o poskytování zdrojů mezi VO a správcem zdroje ‣ popisuje nastavení technických parametrů ‣ velikost poskytovaného prostoru
‣ použité přístupové protokoly ‣ politika ukládání dat, počty kopií/replik
16. 4. 2015
CESNET Day
Založení VO prakticky ‣ napište nám na
[email protected]
‣ domluvíme se, co potřebujete ‣ opravdu to potřebujeme pochopit ‣ kolik dat máte, jak s nimi pracujete, . . .
‣ připravíme kon︎guraci úložiště ‣ založíme virtuální organizaci ‣ pozveme vás do ní a povýšíme na administrátora ‣ dál si uživatele spravujete sami, vytváříte skupiny, … ‣ ukládáte data přes FTP/rsync/NFSv4/...
‣ ︎ my se staráme, aby na se vytvářely jejich repliky, …
16. 4. 2015
CESNET Day
Kontakty ‣ http://du.cesnet.cz ‣ uživatelská podpora:
[email protected]
Děkuji za pozornost!
16. 4. 2015
CESNET Day
