Datová úloºi²t CESNET

Datová úloºi²t¥ CESNET Michal Strnad 2. 11. 2014

Agenda I Infrastruktura I Jak úloºi²t¥ pouºít I P°ístupové protokoly I ownCloud

Infrastruktura Děčín

Liberec

PIONIER

Hradec Králové Praha

Pardubice Opava

Plzeň

Karviná

Ostrava Olomouc

AMS-IX

NIX

Jihlava

Zlín Brno

České Budějovice GÉANT Internet

ACONET

SANET

Moºnosti vyuºití datových úloºi²´ I zálohy I

uºivatelé mají primární data u sebe

I

na úloºi²t¥ odkládají zálohu pro p°ípad havárie

I archivace I

uºivatelé na úloºi²t¥ odkládají cenná primární data

I

data nejsou £asto vyuºívána

I

uºivatelé nemají prost°edky pro jejich uchovávání

I sdílení dat I

distribuovaný tým pot°ebuje spole£n¥ pracovat nad v¥t²ími objemy dat, p°ípadn¥ je zve°ej¬ovat

I n¥co jiného I

distribuce obsahu, jiné speciální aplikace

Moºnosti vyuºití datových úloºi²´ I a naopak: na co se vzdálené úloºi²t¥ p°íli² nehodí I

interaktivní práce zejména s velkým mnoºstvím malých soubor·

I

ukládání dat s pot°ebou p°ístupu v reálném £ase I prioritou je spolehlivost uloºení

P°enos dat na úloºi²t¥ I souborové I

NFSv4 (známé uºivatel·m MetaCentra)

I

rsync, scp, SFTP

I

FTPS

I

obvykle autentizované systémem Kerberos

I

existují GUI klienti i nástroje pro p°íkazovou °ádku pro hlavní platformy

I

Globus Online vysokorychlostní p°enosy

I

výhledov¥ CIFS (známý sí´ový disk z Windows)

I speciální I

gridové úloºi²t¥ v systému dCache

I

FileSender

I

ownCloud

FileSender I webová sluºba pro p°enos (velkých) soubor· I

velkých: aktuáln¥ 500 GB (pouze s HTML5)

I p°ispíváme i k jeho vývoji I

http://filesender.cesnet.cz

I alespo¬ jedna strana komunikace musí být oprávn¥ný uºivatel infrastruktury I

autentizace federací eduID.cz

I oprávn¥ný uºivatel m·ºe nahrát soubor a poslat mu oznámení

I lze poslat komukoli pozvánku I testovací verze na

http://filesender2.cesnet.cz

Jak se stát uºivatelem snadno I pokud I

chcete vyuºívat souborov¥ orientované protokoly

I

dosta£uje prefabrikovaná politika migrací dat

I

ukládáte jen individuální data

I

pot°ebujete ukládat nejvý²e jednotky TB

I tak se jen zaregistrujte na I

http://du.cesnet.cz

vyºaduje to ov¥°ení uºivatele z akademické instituce

I £lenství se po roce prodluºuje I

jako indikace, ºe uºivatel je²t¥ ví o svých datech

I kódové ozna£ení: VO Storage

Úloºi²t¥ pro náro£n¥j²í I nesta£í VO Storage? zaloºíme vám virtuální organizaci! I VO je skupina uºivatel· se spole£ným zájmem, kte°í vystupují jako celek

I VO má správce, který I

jedná s poskytovatelem zdroj·

I

rozhoduje o podmínkách £lenství jednotlivých uºivatel·

I dohoda o poskytování zdroj· mezi VO a správcem zdroje I

popisuje nastavení technických parametr· I velikost poskytovaného prostoru I pouºité p°ístupové protokoly I politika ukládání dat, po£ty kopií/replik

I

VO m·ºe vyuºívat r·zné typy zdroj·

Zaloºení VO prakticky I napi²te nám na

[email protected]

I domluvíme se, co pot°ebujete I

opravdu to pot°ebujeme pochopit

I

kolik dat máte, jak s nimi pracujete, . . .

I p°ipravíme konguraci úloºi²t¥ I zaloºíme virtuální organizaci I pozveme vás do ní a pový²íme na administrátora I dál si uºivatele spravujete sami, vytvá°íte skupiny, . . . I ukládáte data p°es FTP/rsync/NFSv4/... I

my se staráme, aby na se vytvá°ely jejich repliky, . . .

Kam se po registraci p°ipojit? Aktuální adresy server· (host·) pro jednotlivá datacentra: ssh.duX.cesnet.cz ftp.duX.cesnet.cz nfs.duX.cesnet.cz

X nahra¤te podle následujího klí£e: Plze¬ -> 1 Jihlava -> 2 Brno -> 3

Ad°esá°ová struktura P°íklad pro uºivatele user s £lenstvím ve dvou VO (nap°. VO_cern a VO_storage), kde kaºdá z nich pouºívá dv¥ migra£ní politiky: /home/user:

−− .bash_history −− .ssh | \−− authorized_keys |−− VO_cern−tape_tape −> /exports/tape_tape/VO_cern/home/user |−− VO_cern−disk_only −> /exports/disk_only/VO_cern/home/user |−− VO_storage−tape_tape −> /exports/tape_tape/VO_storage/home/user \−− VO_storage−cache_tape −> /exports/cache_tape/VO_storage/home/user |

|

Migra£ní politiky I tape - SATA -> MAID I tape_tape -> tape + záloha na pásku I disk_only - data jsou jen na discích, nikdy se nep°esouvají I cache_tape - FC disky, jedna kopie na páskách a SATA discích

ownCloud I Nejen webový p°ístup k va²im dat·m I Cloudové úloºi²t¥ se synchronizací soubor·

K £emu je dobrá dal²í cloudová sluºba? Use-cases

I Distribuovaný tým pot°ebuje spole£n¥ pracovat s daty, p°ípadn¥ je zve°ej¬ovat (sdílení formou "kdo zná link")

I Automatická synchronizace mezi po£íta£i a mobilními za°ízeními. Na po£íta£i jsou i lokáln¥, na mobilní p°i otev°ení

I Poskytuje platformu pro sdílení kontakt·, kalendá°· a úkol·

I Vhodn¥j²í pro men²í objemy dat

Under the Hood I PHP + JavaScript I WebDAV, CardDAV, CalDAV I PostgreSQL + Apache

Klientské aplikace I Pro vybrané platformy (aktuáln¥ Windows, OS X, Linux, Android, iOS) je k dispozici nativní klient, který zp°ístupní va²e data z ownCloud na daném za°ízení

I Pro pouºití desktopového klienta je nutné si nastavit pro n¥j heslo

ownCloud u CESNETu I Uloºení dat organizované standardním zp·sobem do sloºek a soubor· s celkovou kapacitou 100 GB

I

https://owncloud.cesnet.cz I

zdarma, jen je nutné se autentizovat pomocí federace eduID.cz

I

ú£et je vám automaticky zaloºen p°i prvním p°ihlá²ení (není pot°eba vypl¬ovat ºádný formulá°)

I Sluºba byla spu²t¥na 26. 2. 2014 I Data jsou denn¥ zálohována a sluºba b¥ºí v reºimu high-availability

Známé problémy I P°ihlásil jsem se p°es jiného poskytovatele identit, neº p°i svém prvním p°ihlá²ení a nevidím svá data

I Nahrával jsem soubor p°es webové rozhraní a po skon£ení uploadu ho nikde nevidím

I V Internet Explorer 11 nefunguje správn¥ JavaScript

ownCloud - demo Quick demo

Sumarizace I Single ú£et vs. separátní VO I FileSender I ownCloud

Q and A I Web datových úloºi²´

http://du.cesnet.cz I Uºivatelská podpora

[email protected] I Moje mali£kost [email protected]

(RT systém)

Zálohovaní stokrát jinak Michal Strnad

2. 11. 2014

Michal Strnad

Zálohovaní stokrát jinak

Obsah prezentace

Zálohování obecneˇ Aplikace pro zálohování Odboˇcení k DU CESNET ˇ Záver Vyvolejte IRQ kdykoliv budete mít libovolný dotaz.

Michal Strnad


Co se muže ˚ stát?

Manipulace s daty (mazání, formátování, uvedení zaˇrízení do továrního nastavení) ˇ Poškození pamet’ového média (CD/DVD, pád notebooku, disk/ˇradiˇc odejde do kˇremíkového nebe ...) Ztráta (krádež, nepoˇrádek, zapomenutí, malware) ˇ bouˇrka) Pˇrírodní živly (požár, povoden, ˇ Chyba administrátora (nejˇcasteji)

Michal Strnad


Filozofie zálohování

ˇ eˇ používají include a exclude Pro definici co zálohovat se bežn seznamy. V include listu ˇríkáte, co chcete zálohovat, a v exclude naopak, co nechcete. ˇ ˇ Rekn eme, že chcete zálohovat vše kromeˇ toho, co definujete v exclude seznamu: Include: * Exclude: /proc, /sys, /dev Druhý zpusob ˚ je výˇcet konkrétních adresáˇru: ˚ Include: /home/uzivatel, /root, /mnt/data

Michal Strnad


Jak zálohovat

Úplná záloha (Full backup) - zde je vytváˇrena záložní kopie ˇ všech souboru˚ (resp. tech, které urˇcíme k zálohování). Zabírá nejvíce cˇ asu i prostoru. Inkrementální (Incremental backup) - zálohují se pouze ˇ ené ˇ zmen soubory od poslední inkrementální zálohy, resp. od úplné, jedná-li se o první inkrementální zálohu. Diferenciální (Differential backup) - zálohují se pouze ˇ ené ˇ zmen soubory od poslední úplné zálohy.

Michal Strnad


Kam zálohovat?

Disky (RAID), MAIDy Pásky Online storage Papír, kamenná deska ...

Michal Strnad


Best practices

Report provedených i neprovedených záloh (monitoring). ˇ duv ˇ Šifrujte zálohy pro zajištení ˚ ernosti dat. V pˇrípadeˇ pˇrenosu dat po síti, kterou nemáte pod kontrolou, šifrujte i pˇrenos dat. Kontrolujte zálohy (tzv. verifikace). Oznaˇcte si zálohy - co obsahují, datum vytvoˇrení. Ukládejte zálohy na ruzná ˚ místa. Pokud by došlo k lokální ˇ katastrofeˇ (napˇr. požár), tak pravdepodobn eˇ ztratíte zálohy ˇ zde uskladnené.

Michal Strnad


SW pro zálohování

Co používáte vy?

Michal Strnad


rsync

Prakticky na všech distribucích již pˇredinstalován Pod sebou má SSH Používá ho velká cˇ ást jiných aplikací (napˇr. rsnapshot) Skriptování ... Zálohování pomocí hard linku˚ Co záloha to kompletní strom Existuje grafická nadstavba Grsync

Michal Strnad


Duplicity

Udržuje lokální i vzdálenou databázi Potˇreba mít místo na lokálnim disku! Nepodporuje hard linky Má podporu pro Amazon S3, Google Cloud Storage, Rackspace Cloud Files Zabudované šifrování (GPG) Na Windows pod Cygwin GUI nadstavba Déjà Dup

Michal Strnad


BackupPC

SSH, rsync, nebo SMB protokolu Klidneˇ i zálohovat "lokální" data pomocí FUSE Ruˇcneˇ vynucené zálohování nebo plánovaˇc Deduplikace napˇríˇc stoji a cˇ asem Mac OSX, Linux, WinXX

Michal Strnad


BackupPC - vnitˇrnosti

Backend složený z Perl modulu˚ V pˇrípadeˇ antipatií dostupné CGI webové rozhraní

Michal Strnad


"Enterprise" kandidáti

Bacula IBM TSM Amanda NetWorker ...

Michal Strnad


Bacula

It comes in the night and sucks the essence from your computers.

Michal Strnad


Feature

Podpora NDMP protokolu Konsolidace záloh

Michal Strnad


Whitebox

Michal Strnad


Behavior

Více SD - load balancing Více Directoru - failover ˇ Ve windows muže ˚ bežet FD jako služba, tzn. nikdo nemusí být ani pˇrihlášen ˇ like rsync Kontrola zmen Kompresi, šifrování si volí uživatel sám u sebe multi-streaming Záloha na popud serveru

Michal Strnad


Management?

ˇ Pekne po staru - editace konfigu˚ Bacula-traymonitor - read-only breport - emaily Bweb

Michal Strnad


Testovací sady

ˇ Padesát milionu˚ malých (512B) souboru. ˚ Pˇresne: 49999896 (velikost 197038MB) Pˇrenos trval 3 hod 15 min Pomalejší pˇrenos je dán nutností zápisu/ˇctení do kalatogu. Pro každý soubor je potˇreba vytvoˇrit jeden záznam . . .

Michal Strnad


Best practices

Zasílání reportu˚ (plaintext nebo breport) PostgreSQL Zapnout autolabeling Extrahovat ze všech konfiguráku˚ nastavení pro jednoho klienta ˇ není zdokumentovaných -> forum romanum Plno vecí

Michal Strnad


Pasti, pasti, pastiˇcky

ˇ Pokud zmeníte cokoliv ve file setu, tak se provede full backup, ikdyž je vše ostatní již odzálohované Pozor na synchronizaci cˇ asu Nastavení UTF-8 v systému

Michal Strnad


ˇ první cˇ ásti Záver

Zálohujte, zálohujte a zálohujte Zálohy je potˇreba automatizovat Vyberte si libovolný nástroj dle vašich potˇreb a hlavneˇ ho používejte! :-) Více úložišt’ kvuli ˚ degradaci média a pˇrírodním katastrofám Bud’te paranoidní a poˇcítejte vždy s nejhorším!

Michal Strnad


Datové úložišteˇ

Datové úložišteˇ CESNET

Michal Strnad


Datová úloºi²t CESNET

Recommend Documents