Západočeská univerzita v Plzni Fakulta aplikovaných věd Katedra informatiky a výpočetní techniky

Západoˇceská univerzita v Plzni Fakulta aplikovaných vˇed Katedra informatiky a výpoˇcetn´ı techniky

Diplomov´ a pr´ ace

KIVFS - Datov´ eu ´ loˇ ziˇ stˇ e

Plzeˇn, 2012

Radek Strejc

Origin´ al zad´ an´ı pr´ ace • ten s ˇcerven´ ym kulat´ ym raz´ıtkem v jednom v´ ytisku práce • kopie zadán´ı ve druhém

Prohlaˇsuji, ˇze jsem diplomovou práci vypracoval samostatnˇe a v´ yhradnˇe s pouˇzit´ım citovan´ ych pramen˚ u.

V Plzni dne 17. kvˇetna 2012, Radek Strejc

...........................

Abstract KIVFS - Data storage The project KIVFS is the new experimental implementation of distributed file system. The first goal of this diploma thesis is to analyze the weak points of the data storage layer used in KIVFS on the server side from the view of requirements on the very large data storages. The second goal is to find and describe the possible ways and options for the optimalization. Following to this is another goal which is to do the implementation of the chosen options. The final aim is to test and proove that the new implemented functionalities are effective.

Obsah ´ 1 Uvod 1.1 Projekt KIVFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2 C´ıle práce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1 1 1

2 Obecn´ a problematika datov´ ych u ´ loˇ ziˇ st’ 2.1 Problém nedostateˇcné kapacity . . . . . . . . . . . . . . . . . . . . . ˇ sen´ı v jednoduchém prostˇred´ı . . . . . . . . . . . . . . . . . 2.1.1 Reˇ ˇ sen´ı v rozsáhlém prostˇred´ı . . . . . . . . . . . . . . . . . . . 2.1.2 Reˇ

2 2 2 3

3 Rozs´ ahl´ a datov´ au ´ loˇ ziˇ stˇ e 3.1 Moˇznosti realizace . . . . . . . . . . . . . . . . . . . . . . . . . . 3.1.1 Centralizované datové u ´loˇziˇstˇe . . . . . . . . . . . . . . . . 3.1.2 Distribuované datové u ´loˇziˇstˇe . . . . . . . . . . . . . . . . 3.2 Realizace rozsáhlého datového u ´loˇziˇstˇe v distribuovaném prostˇred´ı

. . . .

4 4 4 5 7

. . . . . . . . . . . . . . . .

8 8 9 9 9 9 11 12 12 13 14 14 15 15 16 16 16

. . . .

18 18 20 20 20

. . . . .

21 23 23 24 24 25

4 Distribuovan´ e souborov´ e syst´ emy 4.1 Transparentnost . . . . . . . . . . . . . . . . . . . . . . . . . . . . ˇ alovatelnost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2 Sk´ 4.3 Jmenn´ y prostor . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3.1 Hiearchick´ y jmenn´ y prostor . . . . . . . . . . . . . . . . . 4.4 Pˇr´ıstup k soubor˚ um . . . . . . . . . . . . . . . . . . . . . . . . . . 4.5 Stavové a bezestavové servery . . . . . . . . . . . . . . . . . . . . 4.6 Replikace dat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.6.1 Konzistenˇcn´ı modely . . . . . . . . . . . . . . . . . . . . . 4.6.2 Konzistenˇcn´ı protokoly . . . . . . . . . . . . . . . . . . . . 4.7 Klienské cache a offline operace . . . . . . . . . . . . . . . . . . . 4.7.1 Správa verze souboru . . . . . . . . . . . . . . . . . . . . . 4.8 Sd´ılen´ı soubor˚ u . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.8.1 Sémantika sd´ılen´ı . . . . . . . . . . . . . . . . . . . . . . . 4.8.2 Vylouˇcen´ı soubˇeˇzného pˇr´ıstupu pomoc´ı zamykán´ı . . . . . 4.8.3 Vylouˇcen´ı soubˇeˇzného pˇr´ıstupu pomoc´ı pˇredáván´ı povˇeˇren´ı 4.9 Bezpeˇcnost uloˇzen´ ych dat . . . . . . . . . . . . . . . . . . . . . . 5 Distribuovan´ y souborov´ y syst´ em 5.1 Architektura . . . . . . . . . . . 5.1.1 Autentizaˇcn´ı vrstva . . . 5.1.2 Synchronizaˇcn´ı vrstva . 5.1.3 Datová vrstva . . . . . .

KIVFS . . . . . . . . . . . . . . . . . . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

6 Datov´ eu ´ loˇ ziˇ stˇ e v KIVFS 6.1 Pˇrehled poskytovan´ ych sluˇzeb . . . . . . . . . . . . . . . . . . . 6.2 Návrhy pro optimalizaci a rozˇs´ıˇren´ı . . . . . . . . . . . . . . . . 6.2.1 Jmenn´ y prostor . . . . . . . . . . . . . . . . . . . . . . . 6.2.2 Efektivn´ı vyuˇzit´ı sluˇzeb relaˇcn´ıho databázového systému 6.2.3 Model pˇr´ıstupu k soubor˚ um . . . . . . . . . . . . . . . .

. . . .

. . . . .

. . . .

. . . . . . . . . . . . . . . .

. . . .

. . . . .

6.2.4 6.2.5 6.2.6 6.2.7 6.2.8 6.2.9 6.2.10 6.2.11 6.2.12

Vylouˇcen´ı soubˇeˇzného pˇr´ıstupu k souboru . . . Podpora klientské lokáln´ı cache a offline operac´ı Replikace a konzistence uloˇzen´ ych dat . . . . . Sémantika sd´ılen´ı souboru . . . . . . . . . . . . Obnova po v´ ypadku . . . . . . . . . . . . . . . Správa uloˇzen´ ych dat a jejich deduplikace . . . Zabezpeˇcenost uloˇzen´ ych dat . . . . . . . . . . Kvóty virtuáln´ıch svazk˚ u . . . . . . . . . . . . . Tunelován´ı pˇr´ıstupu k soubor˚ um . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

25 25 26 27 27 27 29 29 31

7 Sd´ılen´ a knihovna libkivfscore

32

8 Optimalizace datov´ eho u ´ loˇ ziˇ stˇ e KIVFS 8.1 Metadatová mezivrstva . . . . . . . . . . . . . . . . . . 8.1.1 Vlastn´ı databázov´ y konektor . . . . . . . . . . . 8.1.2 Mapován´ı relac´ı na datové typy . . . . . . . . . 8.2 Vzdálen´ y pˇr´ıstup k soubor˚ um a relaˇcn´ı sémantika jejich 8.2.1 Otevˇren´ı souboru . . . . . . . . . . . . . . . . . 8.2.2 Pˇr´ıprava na pˇrenos obsahu souboru . . . . . . . 8.2.3 Pˇrenos obsahu souboru . . . . . . . . . . . . . . 8.2.4 Dokonˇcen´ı pˇrenosu obsahu souboru . . . . . . . 8.2.5 Uzavˇren´ı souboru . . . . . . . . . . . . . . . . . 8.3 Rozdˇelován´ı souboru do podsoubor˚ u . . . . . . . . . . 8.4 Seznam pˇr´ıstupov´ ych práv . . . . . . . . . . . . . . . . 8.4.1 Vyhodnocen´ı omezeného pˇr´ıstupu k souboru . . 8.4.2 Správa seznamu pˇr´ıstupov´ ych práv . . . . . . . ´ 8.5 Uprava vzájemného vylouˇcen´ı pˇr´ıstupu k soubor˚ um . . 8.6 Podpora klientské lokáln´ı cache . . . . . . . . . . . . . 8.7 Transparentn´ı pˇr´ıstup k ˇsifrovan´ ym dat˚ um . . . . . . . 8.7.1 Pouˇzité algoritmy . . . . . . . . . . . . . . . . . 8.7.2 Transparentn´ı pˇr´ıstup k ˇsifrovan´ ym soubor˚ um . 8.8 Kvóty virtuáln´ıch svazk˚ u . . . . . . . . . . . . . . . . . 8.8.1 Rezervace m´ısta . . . . . . . . . . . . . . . . . . 8.8.2 Správa kvót . . . . . . . . . . . . . . . . . . . . 8.9 Tunelován´ı pˇrenosu souboru . . . . . . . . . . . . . . . 8.9.1 Vytvoˇren´ı tunelu . . . . . . . . . . . . . . . . . 8.10 Replikace . . . . . . . . . . . . . . . . . . . . . . . . . 8.10.1 Zjiˇstˇen´ı zastaral´ ych replik . . . . . . . . . . . . 8.10.2 Zjiˇstˇen´ı aktuáln´ıch replik . . . . . . . . . . . . . 8.10.3 Aktualizace zastaralé repliky souboru . . . . . . 8.10.4 Dokonˇcen´ı aktualizace zastaralé repliky souboru 8.11 Deduplikace . . . . . . . . . . . . . . . . . . . . . . . . 8.11.1 Zjiˇstˇen´ı zdrojov´ ych kandidát˚ u . . . . . . . . . . 8.11.2 Deduplikace podsoubor˚ u . . . . . . . . . . . . . 8.11.3 Odstranˇen´ı nepouˇzit´ ych zdrojov´ ych soubor˚ u . . 8.11.4 Otevˇren´ı deduplikovaného podsouboru . . . . . 8.12 Implementace logován´ı poˇzadavk˚ u. . . . . . . . . . . .

33 35 36 37 37 38 39 39 40 40 41 41 42 44 44 45 46 46 46 47 48 48 48 49 50 50 51 51 51 52 52 53 53 53 54

. . . . . . . . . . . . sd´ılen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9 Implementace vlastn´ıho klienta 10 V´ ykonnostn´ı testy 10.1 Pˇrenosová rychlost . . . . . . 10.1.1 Vyhodnocen´ı v´ ysledk˚ u 10.2 Tunelované spojen´ı . . . . . . 10.2.1 Vyhodnocen´ı v´ ysledk˚ u

55

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

56 56 60 61 62

11 Organizace zdrojov´ ych k´ od˚ u a jejich pˇ reklad 63 11.1 Pˇreklad a instalace . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 11.2 Spuˇstˇen´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 12 Z´ avˇ er

65

13 Pˇ rehled zkratek a pouˇ zit´ eho znaˇ cen´ı

66

14 Pˇ r´ılohy

70

´ Uvod

1 1.1

Projekt KIVFS

V rámci projektu KIVFS prob´ıhá v´ yvoj nové implementace stejnojmenného distribuovaného souborového systému (dále jen DFS) s c´ılem umoˇznit dostupnost dat na nejrozˇs´ıˇrenˇejˇs´ıch desktopov´ ych (Microsoft Windows, GNU/LINUX) a mobiln´ıch (Windows Mobile, Android, iOS) platformách. Hlavn´ım d˚ uvodem vzniku projektu je ne´ uplnost existuj´ıc´ıch DFS (jako jsou napˇr. OpenAFS[1], Coda[2] ˇci NFSv4[3]), která souvis´ı pˇredevˇs´ım s: • ne´ uplnou implementac´ı funkc´ı (napˇr. ne´ uplná transparentnost, chybˇej´ıc´ı online replikace), • omezen´ ymi moˇznostmi nasazen´ı (napˇr. kv˚ uli pouˇz´ıván´ı NAT), a nespokojenost s: • malou podporou mobiln´ıch zaˇr´ızen´ı (mobiln´ı telefony, tablety, apod.), • sloˇzitou rozˇsiˇritelnost´ı (napˇr. nepˇrehledné zdrojové kódy), • licenˇcn´ımi omezen´ımi (napˇr. patentová omezen´ı, nekompatibilita GNU/GPL). Jedn´ım z c´ıl˚ u projektu je nahradit souˇcasnˇe pouˇzit´ y OpenAFS na katedˇre informatiky a v´ ypoˇcetn´ı techniky.

1.2

C´ıle pr´ ace

C´ılem této práce je navázat na v´ ysledky mé dˇr´ıve obhájené bakaláˇrské práce, v rámci které bylo navrˇzeno a implementováno základn´ı datové u ´loˇziˇstˇe KIVFS.[18] Konkrétnˇe jde o proveden´ı anal´ yzy slab´ ych m´ıst souˇcasné verze KIVFS z hlediska poˇzadavk˚ u na rozsáhlá datová u ´loˇziˇstˇe, na kterou naváˇze návrh a implemenentace ˇreˇsen´ı vedouc´ı k jejich odstranˇen´ı. Ve v´ ysledku práce je poˇzadováno m´ıt funkˇcn´ı a optimalizovanou implementaci datového u ´loˇziˇstˇe KIVFS, která v porovnán´ı se souˇcasnou verz´ı bude prokazovat jednoznaˇcnˇe lepˇs´ı v´ ykonnostn´ı v´ ysledky, stabilitu a rozˇs´ıˇrenou funkcionalitu.

1

Obecn´ a problematika datov´ ych u ´ loˇ ziˇ st’

2

Kaˇzd´ y uˇzivatel ˇci systémov´ y správce se v souvislosti s potˇrebou uchovávat a spravovat r˚ uzná data dˇr´ıve nebo pozdˇeji setká s r˚ uzn´ ymi problémy, které se pˇr´ımo t´ ykaj´ı jeho fyzického datového u ´loˇziˇstˇe. Mezi ˇcasté problémy patˇr´ı: • nedostateˇcná kapacita, • bezpeˇcnost uloˇzen´ ych dat, • omezená dostupnost, • omezená v´ ykonnost a ˇskálovatelnost. Problém nedostateˇcné kapacity datového u ´loˇziˇstˇe má pˇr´ımou souvislost s jeho ˇskálován´ım a bezpeˇcnost´ı uloˇzen´ ych dat z hlediska prevence proti jejich ztrátˇe (zálohován´ı) ˇci zneuˇzit´ı (asymetrické ˇsifrován´ı). Stejnˇe tak omezená dostupnost datového u ´loˇziˇstˇe, která m˚ uˇze b´ yt zp˚ usobená napˇr. nemoˇznost´ı uˇzivatele pˇristupovat ke sd´ılenému obsahu u ´loˇziˇstˇe skrze s´ıt’ vlivem neˇcekaného v´ ypadku, vede k problému souvisej´ıc´ı s aktuálnˇe nedostateˇcnou (resp. chybˇej´ıc´ı) kapacitou.

2.1

Probl´ em nedostateˇ cn´ e kapacity

Nedostateˇcná kapacita datového u ´loˇziˇstˇe vede k nemoˇznosti ukládán´ı dalˇs´ıch dat. M˚ uˇze také zp˚ usobit zpomalen´ı celého systému a v extrémn´ım pˇr´ıpadˇe i jeho nepouˇzitelnost. Mezi ˇcasté pˇr´ıˇciny nedostateˇcné kapacity lze uvést: • stále se zvˇetˇsuj´ıc´ı objemy bˇeˇzn´ ych pracovn´ıch a multimediáln´ıch dat, která je pˇr´ıpadnˇe nutná m´ıt zálohovaná a po ˇcase i archivovaná (prevence proti jejich ztrátˇe), • nedostupnost datového u ´loˇziˇstˇe vlivem jeho neˇcekaného v´ ypadku nebo v krajn´ım pˇr´ıpadˇe fyzického selhán´ı, • omezuj´ıc´ı parametry datového u ´loˇziˇstˇe, které mohou b´ yt: – nastavené samotn´ ym správcem (diskové kvóty, apod.) ˇci operaˇcn´ım systémem (rezervace diskového prostoru, apod.), – dány jeho samotnou implementac´ı (napˇr. maximáln´ı doporuˇcovaná velikost 2TB svazku u OpenAFS[12]). 2.1.1

ˇ sen´ı v jednoduch´ Reˇ em prostˇ red´ı

V jednoduchém prostˇred´ı (napˇr. domácnosti a malé firemn´ı s´ıtˇe), ve kterém se vyskytuj´ı jednotky uˇzivatel˚ u, je moˇzné problém nedostateˇcné kapacity souˇcasného datového u ´loˇziˇstˇe vyˇreˇsit velmi lehce. D´ıky stále se zvˇetˇsuj´ıc´ım kapacitám a zároveˇ n ’ sniˇzuj´ıc´ım se cenám na trhu bˇeˇznˇe dostupn´ ych datov´ ych u ´loˇziˇst lze stávaj´ıc´ı datové u ´loˇziˇstˇe pohodlnˇe rozˇs´ıˇrit ˇci zcela nahradit nov´ ym. K realizaci ˇskálovatelného datového u ´loˇziˇstˇe je moˇzné vyuˇz´ıt technologi´ı:

2

• Logical Volume Management (LVM), • Redundant Array of Inexpensive Disks (RAID). Ty umoˇzn ˇuj´ı vytvoˇrit rozsáhlé datové u ´loˇziˇstˇe sloˇzené z jednoho a v´ıce datov´ ych u ´loˇziˇst’ (diskov´ ych odd´ıl˚ u) jejich sjednocen´ım do jednoho logického celku (odd´ılu) oznaˇcovaného u LVM jako logick´ y odd´ıl ˇci jako pole u RAID. U obou technologi´ı je nutná podpora operace pro zmˇenu velikosti kapacity odd´ılu ze strany pouˇzitého souborového systému, které v pˇr´ıpadˇe velmi rozsáhl´ ych datov´ ych u ´loˇziˇst’ m˚ uˇze pˇredcházet ˇcasovˇe nároˇcná rekonstrukce a synchronizace pole po zaˇclenˇen´ı dalˇs´ıho diskového odd´ılu. Dalˇs´ım ˇreˇsen´ım m˚ uˇze b´ yt vyuˇz´ıt´ı sluˇzeb online datov´ ych u ´loˇziˇst’. Jejich velkou v´ yhodou je dostupnost uloˇzen´ ych dat kdekoliv, kde je dostupné pˇripojen´ı k s´ıti. Nev´ yhodou jsou v´ yˇse náklad˚ u za poskytovanou sluˇzbu. Ty postupnˇe pˇresáhnou cenu bˇeˇzného datového u ´loˇziˇstˇe dostupného na trhu. Mezi dalˇs´ı nev´ yhody patˇr´ı omezen´ı dostupnosti uloˇzen´ ych dat vlivem pomalé pˇrenosové rychlosti pouˇzité linky a nutnost d˚ uvˇeˇrovat poskytovateli sluˇzby, ˇze j´ı bude poskytovat spolehlivˇe a uloˇzená data nebudou zneuˇzita tˇret´ı stranou. 2.1.2

ˇ sen´ı v rozs´ Reˇ ahl´ em prostˇ red´ı

V rozsáhlém prostˇred´ı (napˇr. firemn´ı a univerzitn´ı s´ıtˇe) je situace znaˇcnˇe sloˇzitˇejˇs´ı. Z mnohem vˇetˇs´ıho poˇctu uˇzivatel˚ u vypl´ yvá i potˇreba spravovat nˇekolikanásobnˇe vˇetˇs´ı objem uloˇzen´ ych dat, a proto rostou i nároky na celé datové u ´loˇziˇstˇe t´ ykaj´ıc´ı se jeho bezpeˇcnosti, redundance, ˇskálovatelnosti, apod. Kromˇe lokáln´ıch u ´loˇziˇst’ jednotliv´ ych uˇzivatel˚ u se proto vyuˇz´ıvaj´ı i rozsáhlá datová u ´loˇziˇstˇe (obrázek ˇc. 1), která jsou pˇr´ıstupná pˇres poˇc´ıtaˇcovou s´ıt’.

Obrázek 1: Rozsáhlé datové u ´loˇziˇstˇe.

3

3

Rozs´ ahl´ a datov´ au ´ loˇ ziˇ stˇ e

Rozsáhlá datová u ´loˇziˇstˇe v s´ıti jsou realizována nˇekolika jednotkami aˇz stovkami fyzick´ ych datov´ ych u ´loˇziˇst’. K jejich obsahu je zprostˇredkován transparentn´ı zabezpeˇcen´ y pˇr´ıstup prostˇrednictv´ım jedné z následuj´ıc´ıch forem abstrakce sd´ılen´ı dat: • sd´ılen´ı zaˇr´ızen´ı nebo jeho ˇca´st´ı na blokové u ´rovni s vyuˇzit´ım: – speciáln´ıch s´ıt’ov´ ych komunikaˇcn´ıch protokol˚ u (napˇr. iSCSI[4], DRBD[5]), – komunikaˇcn´ıho rozhran´ı (napˇr. Fibre Channel[6]), • sd´ılen´ı soubor˚ u skrze s´ıt’ové souborové systémy (napˇr. OpenAFS[1], Coda[2], NFSv4[3]). Rozsáhlé datové u ´loˇziˇstˇe má z d˚ uvodu vyˇsˇs´ıch zˇrizovac´ıch a udrˇzovac´ıch náklad˚ u (ˇcas, finance) smysl pouˇz´ıvat v s´ıt´ıch vˇetˇs´ıch organizac´ı, kde jak´ ykoliv v´ ypadek datového u ´loˇziˇstˇe a omezen´ı dostupnosti uloˇzen´ ych dat m˚ uˇze zp˚ usobit velké problémy. Z toho d˚ uvodu je u rozsáhlého datového u ´loˇziˇstˇe kladen nemal´ y d˚ uraz na jeho: • dostupnost, spolehlivost a v´ ykonnost, • centralizovanou správu, • jednoduchou u ´drˇzbu, • ˇskálovatelnost, a v souvislosti s uloˇzen´ ymi daty i na moˇznost jejich: • zálohován´ı, archivace, migrace • zabezpeˇcen´ı (napˇr. formou ˇsifrován´ı, omezen´ı pˇr´ıstupu), • sd´ılen´ı.

3.1

Moˇ znosti realizace

Kv˚ uli zm´ınˇenému transparentn´ımu pˇr´ıstupu nen´ı z hlediska koncov´ ych uˇzivatel˚ u znateln´ y rozd´ıl mezi r˚ uzn´ ymi typy rozsáhl´ ych datov´ ych u ´loˇziˇst’. Z pohledu jejich správce je ale lze rozliˇsit dle moˇznost´ı realizace. 3.1.1

Centralizovan´ e datov´ eu ´ loˇ ziˇ stˇ e

Pˇr´ıstup k celému datovému u ´loˇziˇsti je poskytován pouze jedn´ım pˇr´ıstupov´ ym bodem v s´ıti. Ten je dále pro zjednoduˇsen´ı oznaˇcován jako uzel a je uvaˇzováno, ˇze datové u ´loˇziˇstˇe, ke kterému zprostˇredkovává pˇr´ıstup, je jeho pˇr´ımou souˇca´st´ı. Pˇr´ıklad je znázornˇen na obrázku ˇc. 2. Jednoduchost centralizovaného datového u ´loˇziˇstˇe, která vypl´ yvá ze správy pouze jednoho uzlu, pˇrináˇs´ı následuj´ıc´ı v´ yhody:

4

Obrázek 2: Centralizované ˇreˇsen´ı rozsáhlého u ´loˇziˇstˇe.

• rychlost nasazen´ı a okamˇzitá funkˇcnost, • jednoduchá u ´drˇzba a snadná správa. Pouˇzit´ı pouze jednoho uzlu je ale zároveˇ n znaˇcnˇe omezuj´ıc´ı. Lze hovoˇrit o tzv. u ´zkém hrdle, které pˇrináˇs´ı následuj´ıc´ı nev´ yhody: • omezené ˇskálován´ı uzlu (pouze do v´ yˇsky), • vysoké náklady na poˇr´ızen´ı v´ ykonného uzlu souvisej´ıc´ı s potˇrebou, co moˇzná nejv´ıce oddálit ˇcasem nutnou inovaci, a hlavnˇe rizika: • nedostupnost vˇsech uloˇzen´ ych dat v pˇr´ıpadˇe v´ ypadku uzlu, • u ´spˇeˇsn´ ym (fyzick´ ym) u ´tokem z´ıská u ´toˇcn´ık pˇr´ıstup ke vˇsem uloˇzen´ ym dat˚ um. V´ yˇse uvedené vlastnosti centralizovaného ˇreˇsen´ı jej pˇredurˇcuj´ı k vyuˇzit´ı pˇredevˇs´ım v menˇs´ıch s´ıt´ıch, ve kter´ ych moˇznost doˇcasného v´ ypadku nepˇredstavuje závaˇzné problémy. 3.1.2

Distribuovan´ e datov´ eu ´ loˇ ziˇ stˇ e

V distribuovaném prostˇred´ı m˚ uˇze b´ yt uzl˚ u zprostˇredkovávaj´ıc´ıch pˇr´ıstup k datovému u ´loˇziˇsti v´ıce. Kaˇzd´ y z nich poskytuje kromˇe pˇr´ıstupu k vlastn´ımu datovému u ´loˇziˇsti i pˇr´ıstup k datov´ ym u ´loˇziˇst´ım ostatn´ıch uzl˚ u v s´ıti. Z hlediska uˇzivatele je d´ıky tomu pˇr´ıstup k dat˚ um stále transparentn´ı jako v pˇr´ıpadˇe centralizovaného ˇreˇsen´ı. Pˇr´ıklad distribuovaného datového u ´loˇziˇstˇe je znázornˇen na obrázku ˇc. 3. Srovnán´ım distribuovaného ˇreˇsen´ı datového u ´loˇziˇstˇe s jeho centralizovanou variantou lze usoudit, ˇze má následuj´ıc´ı v´ yhody:

5

Obrázek 3: Distribuované ˇreˇsen´ı rozsáhlého u ´loˇziˇstˇe.

• vˇetˇs´ı spolehlivost d´ıky vˇetˇs´ı odolnosti v˚ uˇci v´ ypadku (po v´ ypadku jednoho uzlu jsou nedostupná pouze ta data, která byla uloˇzená jen na jeho datovém u ´loˇziˇsti), • vˇetˇs´ı dostupnost dat d´ıky moˇznosti vytvoˇrit geograficky rozsáhlé datové u ´loˇziˇstˇe, • moˇznost vyvaˇzovat zátˇeˇz mezi v´ıce uzly a sniˇzovat nároky na jejich hardware, • témˇeˇr neomezené ˇskálován´ı do ˇs´ıˇrky (zmˇena poˇctu uzl˚ u neovlivn´ı celek), • niˇzˇs´ı prvotn´ı náklady na zˇr´ızen´ı (moˇznost postupného rozˇsiˇrován´ı v závislosti na aktuáln´ı potˇrebˇe). Mezi nev´ yhody, které ale mohou b´ yt z urˇcitého hlediska povaˇzovány za irelevantn´ı, lze uvést: • vyˇsˇs´ı zat´ıˇzen´ı systému (synchronizaˇcn´ı logika), • sloˇzitost nasazen´ı. Distribuované ˇreˇsen´ı datového u ´loˇziˇstˇe najde nejˇcastˇeji své vyuˇzit´ı v rozsáhl´ ych s´ıt´ıch, které jsou rozprostˇreny pˇres v´ıce lokalit (i geograficky velmi vzdálen´ ych), at’ uˇz z d˚ uvod˚ u dostupnosti dat, v´ ykonu ˇci kapacity celého systému. Pˇri porovnán´ı vlastnost´ı centralizovaného a distribuovaného datového u ´loˇziˇstˇe je evidentn´ı, ˇze distribuované ˇreˇsen´ı odstraˇ nuje i pˇres svou vyˇsˇs´ı sloˇzitost veˇskeré nedostatky centralizovaného ˇreˇsen´ı.

6

3.2

Realizace rozs´ ahl´ eho datov´ eho u ´ loˇ ziˇ stˇ e v distribuovan´ em prostˇ red´ı

Rozsáhlé datové u ´loˇziˇstˇe v distribuovaném prostˇred´ı lze realizovat prostˇrednictv´ım zm´ınˇen´ ych technologi´ı LVM a RAID, které umoˇzn´ı vytvoˇrit ˇskálovateln´ y diskov´ y prostor na stranˇe jednotliv´ ych server˚ u, jeˇz mohou vyuˇz´ıvat sd´ılen´ı dat na blokové u ´rovni, a v kombinaci s vhodn´ ym distribuovan´ ym souborov´ ym systémem umoˇzn´ı uˇzivatel˚ um pˇristupovat k jeho obsahu na u ´rovni soubor˚ u. Kombinace LVM, RAID a distribuovaného souborového systému umoˇzn´ı vyuˇz´ıvat vˇsechny v´ yˇse popsané v´ yhody, které distribuované prostˇred´ı nab´ız´ı. Pˇred samotnou realizac´ı distribuovaného datového u ´loˇziˇstˇe je nutné kromˇe správného návrhu jeho architektury zvolit i vhodn´ y distribuovan´ y souborov´ y systém s ohledem na jeho vlastnosti.

7

4

Distribuovan´ e souborov´ e syst´ emy

Distribuovan´ y souborov´ y systém (dále jen DFS) je s´ıt’ov´ y souborov´ y systém a zároveˇ n pˇr´ıpad distribuovaného systému. Ten lze definovat jako mnoˇzinu nezávisl´ ych systém˚ u (napˇr. poˇc´ıtaˇc˚ u), které z pohledu uˇzivatel˚ u pˇredstavuj´ı jednotn´ y spojen´ y systém.[7] Stejnˇe jako v pˇr´ıpadˇe bˇeˇzn´ ych soubov´ ych systém˚ u je i DFS software, kter´ y uˇzivateli postkytuje funkce pro moˇznost: • ukládat informace na datová u ´loˇziˇstˇe (napˇr. pevné disky, disková pole, apod.), • prezentovat uloˇzená data v podobˇe soubor˚ u (abstrakce uloˇzen´ ych informac´ı), • organizovat uloˇzená data do hiearchické adresáˇrové struktury, • manipulovat s uloˇzen´ ymi daty srkze poskytovanou sadu operac´ı. Na rozd´ıl od bˇeˇzn´ ych s´ıt’ov´ ych souborov´ ych systém˚ u poskytuje DFS v´ yˇse uvedené funkce transparentnˇe v distribuovaném prostˇred´ı. V dalˇs´ıch podsekc´ıch jsou popsány obecné vlastnosti DFS z hlediska datov´ ych u ´loˇziˇst’.

4.1

Transparentnost

Z pohledu uˇzivatele je transparentnost distribuovaného prostˇred´ı, které obsahuje jedno ˇci v´ıce nezávisl´ ych datov´ ych u ´loˇziˇst’ (server˚ u), nejd˚ uleˇzitˇejˇs´ı vlastnost DFS. Transparentnost lze dle funkc´ı DFS, které jsou uˇzivatel˚ um právˇe d´ıky n´ı skryty, rozdˇelit do následuj´ıc´ıch tˇr´ıd:[7] Transparentnost um´ıstˇ en´ı. Uˇzivatel má z libovolného pˇr´ıstupového bodu dostupná data ze vˇsech datov´ ych u ´loˇziˇst’. Nepotˇrebuje m´ıt znalost, na kterém konkrétn´ım datovém u ´loˇziˇsti jsou uloˇzená data, s nimiˇz právˇe pracuje. Replikaˇ cn´ı transparentnost. Bez vˇedom´ı uˇzivatele mohou b´ yt uloˇzena ve v´ıce kopi´ıch (tzv. replikách) a na v´ıce datov´ ych u ´loˇziˇst´ıch. Migraˇ cn´ı transparentnost. Data uˇzivatele jsou stále dostupná i kdyˇz se fyzicky zmˇen´ı um´ıstˇen´ı datového u ´loˇziˇstˇe (at’ uˇz vinou v´ ypadku ˇci zásahem administrátora). Pˇ r´ıstupov´ a transparentnost. Pˇr´ıstup uˇzivatele k dat˚ um je stejn´ y jako pˇr´ıstup k dat˚ um uloˇzen´ ym na lokáln´ım datovém u ´loˇziˇsti. Soubˇ eˇ zn´ a transparentnost. Uˇzivatel nemus´ı ˇreˇsit problém soubˇeˇzného pˇr´ıstupu v´ıce uˇzivatel˚ u k jednomu souboru. Chybov´ a transparentnost. V pˇr´ıpadˇe v´ yskytu chyby (napˇr. v´ ypadku datového u ´loˇziˇstˇe) je uˇzivatel stále schopen pracovat se sv´ ymi daty (napˇr. d´ıky replikaci).

8

4.2

ˇ alovatelnost Sk´

ˇ alován´ı (do ˇs´ıˇrky) v DFS souvis´ı nejˇcastˇeji s dynamickou zmˇenou poˇctu datov´ Sk´ ych ’ u ´loˇziˇst , která nijak neovlivn´ı uˇzivatele d´ıky jiˇz zm´ınˇené transparentnosti distribuovaného prostˇred´ı. V rámci celého systému má ˇskálován´ı vliv na jeho v´ ykonnost a celkovou kapacitu.

4.3

Jmenn´ y prostor

Identifikace objekt˚ u (soubor˚ u) a pˇr´ısluˇsn´ ych zdroj˚ u (obsahu soubor˚ u) je v DFS zajiˇstˇena pomoc´ı mapován´ı názv˚ u soubor˚ u (organizovan´ ych v adresáˇrové struktuˇre), se kter´ ymi klient pracuje, na adresy fyzicky uloˇzen´ ych datov´ ych blok˚ u ˇci pˇr´ımo soubor˚ u na datov´ ych u ´loˇziˇst´ıch. Pˇreklad názv˚ u je realizován na stranˇe serveru, kter´ y spravuje tzv. jmenn´ y prostor. 4.3.1

Hiearchick´ y jmenn´ y prostor

V DFS jsou soubory v rámci jmenného prostoru organizovány v hiearchické (adresáˇrové) struktuˇre. Transparentnost pˇr´ıstupu je zajiˇstˇena d´ıky moˇznosti na stranˇe klienta lokálnˇe pˇripojit vzdálen´ y svazek, jehoˇz adresáˇrová struktura (a soubory v n´ı uloˇzené) odpov´ıdá adresáˇrové struktuˇre organizované v rámci jmenného prostoru, kter´ y je spravován serverem. Jmenn´ y prostor lze klasifikovat dle zp˚ usobu, kter´ ym je klient˚ um poskytován, do následuj´ıc´ıch tˇr´ıd:[7] Soukrom´ y jmenn´ y prostor. Kaˇzd´ y klient má pˇr´ıstup pouze k vlastn´ımu jmennému prostoru. Nev´ yhodou je témˇeˇr nemoˇzné sd´ılen´ı soubor˚ u v nˇem ˇ organizovan´ ych. Reˇsen´ım je pevnˇe urˇcit nemˇennou ˇca´st jmenného prostoru, ke které má pˇr´ıstup v´ıce uˇzivatel˚ u. Glob´ aln´ı jmenn´ y prostor. Cel´ y jmenn´ y prostor je sd´ılen a dostupn´ y vˇsem klient˚ um. Ti maj´ı moˇznost omezen´ım pˇr´ıstupu ostatn´ım uˇzivatel˚ um urˇcit, která ˇca´st odpov´ıdá jejich lokáln´ımu jmennému prostoru.

4.4

Pˇ r´ıstup k soubor˚ um

Uˇzivatel˚ um DFS je umoˇznˇen pˇr´ıstup k uloˇzen´ ym dat˚ um formou abstrakce sd´ılen´ı soubor˚ u. Tu lze implementovat pomoc´ı dvou základn´ıch model˚ u: [10] Upload/download model. Klient pˇred pouˇzit´ım souboru stáhne cel´ y jeho obsah ze vzdáleného datového u ´loˇziˇstˇe a uloˇz´ı jej do lokáln´ıho datového u ´loˇziˇstˇe. Po pˇr´ıpadn´ ych u ´pravách souboru nahraje cel´ y jeho obsah zpˇet na vzdálené datové u ´loˇziˇstˇe (obrázek ˇc. 4). V´ yhodou modelu je jeho jednoduchá implementace. Za jeho nev´ yhody lze povaˇzovat: • klient mus´ı disponovat dostateˇcnou kapacitou lokáln´ıho u ´loˇziˇstˇe (pamˇeti), • nároˇcné na datové pˇrenosy pˇri ˇcast´ ych zmˇenách souboru.

9

Obrázek 4: Upload/download model.

Model vzd´ alen´ eho pˇ r´ıstupu. Klient k souboru pˇristupuje skrze rozhran´ı vzdáleného datového u ´loˇziˇstˇe (obrázek ˇc. 5). Pracuje vˇzdy jen s blokem dat (ˇcást´ı souboru), které je potˇreba stáhnout nebo upravit. Veˇskeré operace se souborem jsou implementovány na stranˇe serveru. Model znaˇcnˇe sniˇzuje nároky na datové pˇrenosy a kapacitu lokáln´ıho datového u ´loˇziˇstˇe na stranˇe klienta. Za nev´ yhody modelu lze povaˇzovat: • vyˇsˇs´ı reˇzii na stranˇe serveru, • sloˇzitost implementace.

Obrázek 5: Model vzdáleného pˇr´ıstupu.

10

4.5

Stavov´ e a bezestavov´ e servery

Stavovost serveru lze definovat jako jeho schopnost udrˇzovat vazbu mezi pˇr´ıchoz´ımi poˇzadavky od klienta. Stavov´ y server uchovává informace o vzájemnˇe souvisej´ıc´ıch poˇzadavc´ıch. Jednotlivé poˇzadavky lze mezi sebou provázat a v závislosti na celkové informaci zpracovávat. Oproti tomu bezestavov´ y server neuchovává ˇzádné informace o pˇr´ıchoz´ıch poˇzadavc´ıch. Kaˇzd´ y poˇzadavek je zpracován zcela samostatnˇe a mus´ı proto obsahovat veˇskeré informace nutné ke zpracován´ı. Srovnán´ı vlastnost´ı stavového a bezestavového serveru je uvedeno v tabulce ˇc. 1.

V´ yhody

Nev´ yhody

Stavov´ y server Menˇs´ı nároky na datové pˇrenosy Niˇzˇs´ı reˇzie serveru Moˇznost zamykán´ı soubor˚ u Sloˇzitá obnova po v´ ypadku

Bezestavov´ y server Odolné v˚ uˇci v´ ypadku

Vyˇsˇs´ı reˇzie serveru Vˇetˇs´ı nároky na datové pˇrenosy

Tabulka 1: Srovnán´ı vlastnost´ı stavov´ ych a bezestavov´ ych server˚ u

Jako typick´ y pˇr´ıklad (obrázek ˇc. 6) demonstruj´ıc´ı rozd´ıly mezi stavovov´ ym a bezestavov´ ym serverem lze uvést zpracován´ı poˇzadavk˚ u na pˇr´ıstup ke vzdálenému souboru. Ten je moˇzné pomoc´ı stavového serveru realizovat jako postupné zpracován´ı poˇzadavk˚ u na: 1. otevˇren´ı souboru, 2. proveden´ı operac´ı nad otevˇren´ ym souborem, 3. uzavˇren´ı souboru. Poˇzadavky na pˇr´ıstup k souboru zpracovávané bezestavov´ ym serverem obsahuj´ı veˇskeré informace nutné k jeho jednorázovému zpracován´ı a proveden´ı poˇzadované operace: • identifikátor souboru, • parametry operace.

11

Obrázek 6: Pˇr´ıstup k souboru um´ıstˇeném na stavovém a bezestavovém serveru.

4.6

Replikace dat

Data uˇzivatel˚ u mohou b´ yt v rámci DFS uloˇzena ve v´ıce kopi´ıch (tzv. replikách) a na v´ıce datov´ ych u ´loˇziˇst´ıch. Replikace pˇr´ımo souvis´ı se ˇskálován´ım systému a jej´ım c´ılem je zv´ yˇsit jeho:[8] V´ ykonnost. Data mohou b´ yt poskytována z v´ıce zdroj˚ u, které spravuj´ı jejich repliku, a v rámci celého systému m˚ uˇze b´ yt vyvaˇzována zátˇeˇz. Dostupnost. Data mohou b´ yt poskytována z nejvhodnˇejˇs´ıho (nejbliˇzˇs´ıho) zdroje spravuj´ıc´ıho jejich repliku. Spolehlivost. Pˇri v´ ypadku mohou b´ yt data stále dostupná z dalˇs´ıho zdroje spravuj´ıc´ıho jejich repliku. 4.6.1

Konzistenˇ cn´ı modely

´ Správa v´ıce replik vede k problému v zachován´ı jejich konzistentn´ıho stavu. Uprava jedné z replik vede k nekonzistentn´ımu stavu ostatn´ıch. V distribuovan´ ych systémech

12

je tento problém ˇreˇsen prostˇrednictv´ım pouˇzit´ı model˚ u konzistence. Ty definuj´ı pravidla, jejichˇz dodrˇzen´ı zajist´ı zachován´ı konzistentn´ıho stavu v rámci celého distribuovaného datového u ´loˇziˇstˇe.[7] V rámci DFS se pouˇz´ıvaj´ı datacentrické konzistenˇcn´ı modely, jejichˇz c´ılem je zajistit konzistentn´ı stav replik i po vykonán´ı soubˇeˇzn´ ych operac´ı pro zápis a ˇcten´ı. Datacentrické modely lze rozdˇelit do dvou skupin podle toho, zda pouˇz´ıvaj´ı synchronizaˇcn´ı operace. Ty slouˇz´ı k synchronizaci vˇsech lokáln´ıch kopi´ı dat (replik) propagován´ım lokáln´ıch zmˇen nebo pˇrij´ımán´ım zmˇen z ostatn´ıch kopi´ı. Modely nepouˇ z´ıvaj´ıc´ı synchronizaˇ cn´ı operace: Striktn´ı konzistence. Striktn´ı uspoˇrádán´ı operac´ı. Pˇri kaˇzdém ˇcten´ı dat ze souboru je vrácena hodnota odpov´ıdaj´ıc´ı posledn´ımu zápisu do nˇej. Operace na zápis jsou okamˇzitˇe a atomicky vykonány ve vˇsech kopi´ıch. To znaˇcnˇe sniˇzuje v´ ykonnost celého systému. Jedin´ ym moˇzn´ ym ˇreˇsen´ım je sn´ıˇzit poˇzadavky na konzistenci (tzn. pouˇz´ıt slabˇs´ı model konzistence). Line´ arn´ı konzistence. Sd´ılené pˇr´ıstupy, které jsou uspoˇrádány dle globáln´ıch (neunikátn´ıch) ˇcasov´ ych znaˇcek, jsou vidˇeny vˇsemi procesy ve stejném poˇrad´ı. Sekvenˇ cn´ı konzistence. Sd´ılené pˇr´ıstupy, které nejsou uspoˇra´dány v ˇcase, jsou vidˇeny vˇsemi procesy ve stejném poˇrad´ı. Pˇ r´ıˇ cinn´ a konzistence. Vˇsechny procesy vid´ı pˇr´ıˇcinnˇe souvisej´ıc´ı sd´ılené pˇr´ıstupy ve stejném poˇrad´ı. FIFO konzistence. Vˇsechny procesy vid´ı zápisy ostatn´ıch proces˚ u v poˇrad´ı, ve kterém byly provedeny. Zápisy od r˚ uzn´ ych proces˚ u nemus´ı b´ yt vˇzdy vidˇeny ve stejném poˇrad´ı. Modely pouˇ z´ıvaj´ıc´ı synchronizaˇ cn´ı operace: Slab´ a konzistence. Sd´ılená data mohou b´ yt povaˇzována za konzistentn´ı aˇz po dokonˇcen´ı synchronizace. Uvolˇ nuj´ıc´ı konzistence. Sd´ılená data jsou oznaˇcena za konzistentn´ı po opuˇstˇen´ı kritické sekce. Vstupn´ı konzistence. Sd´ılená data náleˇzej´ıc´ı kritické oblasti jsou oznaˇcena za konzistentn´ı pˇri vstupu do kritické sekce. 4.6.2

Konzistenˇ cn´ı protokoly

Implementace jednotliv´ ych model˚ u popisuj´ı konzistenˇcn´ı protokoly. Ty definuj´ı, jak je provádˇena samotná distribuce zmˇen na vˇsechny repliky, kterou realizuj´ı tzv. replikaˇcn´ı manaˇzeˇri. Dle zp˚ usobu, kter´ ym replikaˇcn´ı manaˇzeˇri (dále jen RM) zajiˇst’uj´ı konzistentn´ı stav celého distribuovaného datového u ´loˇziˇstˇe, lze replikaci rozdˇelit do dvou typ˚ u:[8] Master/slaves replikace. V daném ˇcase je dostupn´ y pouze jeden primárn´ı RM (master) a jeden nebo v´ıce vedlejˇs´ıch RM (slaves). Operace na zápis zpracovává

13

master RM a pos´ılá kopie zmˇenˇen´ ych dat vˇsem slave RM. Operace v pˇr´ıpadˇe, ˇze master RM vypadne, jeden ze slave RM je zvolen jako nov´ y master. Multimaster replikace. Vˇsichni RM jsou si rovni. Kter´ ykoliv z nich m˚ uˇze zpracovávat operaci na zápis a následnˇe distribuovat zmˇeny, které jsou nezávisle (ale identicky) zpracovány ostatn´ımi RM. V pˇr´ıpadˇe v´ ypadku libovolného RM nedojde k ovlivnˇen´ı ostatn´ıch.

4.7

Kliensk´ e cache a offline operace

Speciáln´ı vlastnost´ı DFS je podpora offline operac´ı. Nemá-li uˇzivatel pˇr´ıstup k s´ıti, m˚ uˇze se sv´ ymi daty stále pracovat d´ıky jejich kopii v lokáln´ı cache klienta. V závislosti na jej´ı kapacitˇe je uˇzivateli zajiˇstˇena stálá dostupnost jeho pracovn´ıch dat. Lokáln´ı cache na stranˇe klienta je také vyuˇz´ıvána ke zv´ yˇsen´ı v´ ykonnosti práce se soubory, které jsou v n´ı uloˇzené. Kv˚ uli zajiˇstˇen´ı konzistentn´ıho stavu soubor˚ u v rámci celého DFS dojde po dokonˇcen´ı jejich u ´prav (zvláˇstˇe pak s pouˇzit´ım offline operac´ı) v klientské lokáln´ı cache k navázán´ı spojen´ı mezi klientem se serverem, po kterém následuje synchronizace zmˇenˇen´ ych soubor˚ u. 4.7.1

Spr´ ava verze souboru

Aby klienti byli schopn´ı zjistit, kter´ y soubor byl právˇe vytvoˇren ˇci upraven, mus´ı obdrˇzet informaci, ˇze doˇslo ke zmˇenˇe stavu souboru s dan´ ym názvem. Pr˚ ubˇeˇzné dotazován´ı se server˚ u nebo zas´ılán´ı informovác´ı klient˚ um o zmˇenˇe obsahu souboru s dan´ ym názvem je ale znaˇcnˇe neefektivn´ı. Tento problém ˇreˇs´ı v DFS správa verz´ı soubor˚ u.[10] Správa verz´ı soubor˚ u, resp. jejich replik, je velmi jednoduˇse realizovatelná implementac´ı ˇc´ıtaˇc˚ u zmˇen jednotliv´ ych soubor˚ u. Replika souboru s nejvyˇsˇs´ı hodnotou ˇc´ıtaˇce zmˇen má nejvyˇsˇs´ı verzi a lze b´ yt povaˇzována za aktuáln´ı. Ostatn´ı repliky souboru jsou oznaˇceny jako nekonzistentn´ı a jejich aktualizace je automaticky provedena v závislosti na implementovaném modelu konzistence. Poˇzadavek na otevˇren´ı souboru je vˇzdy proveden nad aktuáln´ı verz´ı repliky souboru. V pˇr´ıpadˇe, ˇze obsah repliky souboru byl zmˇenˇen, pˇri zpracován´ı poˇzadavku na zavˇren´ı repliky souboru je zv´ yˇsena jej´ı aktuáln´ı verze. V pˇr´ıpadˇe, ˇze je implementován model pˇr´ıstupu k souboru typu upload/download a nebo zmˇeny souboru probˇehly pouze v lokáln´ı cache klienta, m˚ uˇze doj´ıt pˇri vykonáván´ı operace zavˇren´ı repliky souboru ke konfliktu s verz´ı repliky souboru uloˇzené na stranˇe serveru, jej´ıˇz obsah byl v nedávné dobˇe zmˇenˇen jin´ ym klientem. Mezi základn´ı ˇreˇsen´ı moˇzn´ ych konflit˚ u lze z pohledu klienta uvést: Ignorov´ an´ı konfliktu. Obsah souboru (resp. jeho repliky) na serveru je pˇrepsán nehledˇe na jeho verzi. • riziko ztráty proveden´ ych zmˇen v souboru na stranˇe serveru Sjednocen´ı zmˇ en. Obsah soubor˚ u je porovnán a následnˇe jsou vyhodnoceny jejich ˇ sen´ım je sjednocen´ı rozd´ılné ˇca´sti, které odpov´ıdaj´ı proveden´ ym zmˇenám. Reˇ

14

tˇechto zmˇen a verz´ı, po kterém následuje dalˇs´ı pokus o uloˇzen´ı souboru na server. Zmˇeny stejn´ ych ˇcást´ı souboru (kolize) jsou vyˇreˇseny jejich serializac´ı. • kolize mus´ı vyˇreˇsit uˇzivatel, kter´ y rozhodne, jaké zmˇeny se maj´ı zachovat Z´ asah uˇ zivatele. Uˇzivatel rozhodne, která verze souboru se má povaˇzovat za aktuáln´ı. Rozhodne-li, ˇze aktuáln´ı verze souboru má b´ yt jeho lokálnˇe upravená kopie, aktualizuje se jej´ı verze a následuje dalˇs´ı pokus o dalˇs´ı uloˇzen´ı souboru na server. • uˇzivatel mus´ı b´ yt na konflikt upozornˇen a vyˇreˇsit jej

4.8

Sd´ılen´ı soubor˚ u

Sd´ılen´ı soubor˚ u umoˇzn ˇuje pˇristupovat v´ıce klient˚ um k jednomu souboru. Pro uˇzivatele je ideáln´ı stav, kdy jsou veˇskeré provedné zmˇeny okamˇzitˇe viditelné pro ostatn´ı. V DFS je tento stav nedosaˇziteln´ y z d˚ uvod˚ u moˇzné latence s´ıtˇe, která zp˚ usobuje zpoˇzdˇen´ı zápis˚ u vˇsech zmˇen bˇehem synchronizace replik. Soubˇeˇzn´ y pˇr´ıstup v DFS k jednomu souboru a provádˇen´ı konfliktn´ıch operac´ı (pro zápis) m˚ uˇze proto vést k problém˚ um t´ ykaj´ıc´ıch se konzistentn´ıho stavu souboru. ˇ sen´ı problému v rámci DFS je závislé na implementované sémantice sd´ılen´ı Reˇ soubor˚ u a metodˇe vylouˇcen´ı soubˇeˇzného pˇr´ıstupu k soubor˚ um. 4.8.1

S´ emantika sd´ılen´ı

Sémantika sd´ılen´ı soubor˚ u definuje, kdy jsou zmˇeny provedné jedn´ım uˇzivatelem viditelné i pro ostatn´ı uˇzivatele. Mezi nejˇcastˇeji implementované patˇr´ı:[10] Unixov´ a s´ emantika. C´ılem je zajisit aktuálnost souboru. Kaˇzdá operace pro zápis do souboru je atomicky a okamˇzitˇe provedena ve vˇsech jeho kopi´ıch. Operace ˇcten´ı ze souboru vrát´ı vˇzdy hodnotu posledn´ı zápisu do nˇej. Klient, kter´ y provedl operaci pro zápis do souboru mus´ı pˇred proveden´ım dalˇs´ı operace ˇcekat neˇz je zápis proveden ve vˇsech kopi´ıch souboru. Transakˇ cn´ı s´ emantika. C´ılem je zajisit konzistentn´ı stav souboru. V´ ysledky operac´ı pro zápis jsou v bˇehem transakce pr˚ ubˇeˇznˇe ukládány (v pracovn´ım u ´loˇziˇsti) a permanentnˇe (atomicky) potvrzeny pˇri splnˇen´ı podm´ınek konzistence na konci transakce. Relaˇ cn´ı (session) s´ emantika. C´ılem je zajistit efektivn´ı pˇr´ıstup k souboru. V´ ysledky operac´ı pro zápis jsou ukládány do pracovn´ı kopie a permanentnˇe potvrzeny pˇri ukonˇcen´ı relace. Jednoduch´ ym zp˚ usobem, kter´ ym lze také vyˇreˇsit problémy soubˇeˇzného pˇr´ıstupu k soubor˚ um, jsou nezmˇenitelné soubory. Soubor nelze otevˇr´ıt pro zápis, ale jen vytvoˇrit a následnˇe ˇc´ıst jeho obsah. Sd´ılen´ı souboru a i jeho replikace je d´ıky tomu znaˇcnˇe zjednoduˇsená. Nev´ yhodou jsou vˇsak vyˇsˇs´ı nároky na celkovou kapacitu datového u ´loˇziˇstˇe.

15

4.8.2

Vylouˇ cen´ı soubˇ eˇ zn´ eho pˇ r´ıstupu pomoc´ı zamyk´ an´ı

Je-li server implementován jako stavov´ y, m˚ uˇze u soubor˚ u uchovávat stav jejich zámk˚ u. Ty slouˇz´ı vylouˇcen´ı soubˇeˇzného pˇr´ıstupu k souboru, bˇehem kterého by doˇslo ke konfliktn´ım zmˇenám v jeho obsahu. V pˇr´ıpadˇe, ˇze je soubor uzamˇcen, pak nem˚ uˇze b´ yt otevˇren pro zápis.[8] Zamykán´ı soubor˚ u v DFS lze realizovat implementac´ı ˇc´ıtaˇc˚ u, jejichˇz nenulová hodnota odpov´ıdá zamknut´ı souboru. Mezi základn´ı druhy zámk˚ u patˇr´ı zámky pro ˇcten´ı a zápis. Plat´ı, ˇze pˇri: • v´ıcenásobném ˇcten´ı nedocház´ı ke soubˇehu konfliktn´ıch operac´ı, • v´ıcenásobném zápisu m˚ uˇze doj´ıt k soubˇehu konfliktn´ıch operac´ı, • v´ıcenásobném ˇcten´ı a zápisu m˚ uˇze doj´ıt k soubˇehu konfliktn´ıch operac´ı. V tabulce ˇc. 2 je popsána kompatibilita zámk˚ u, která urˇcuje, kdy je moˇzné soubor zamknout pro ˇcten´ı ˇci zápis.

Stav z´ amk˚ u souboru Odemˇ cen´ y Zamˇ cen´ y pro ˇ cten´ı Zamˇ cen´ y pro z´ apis

Lze zamknout pro ˇ cten´ı? Ano Ano Ne

Lze zamknout pro z´ apis? Ano Ne Ne

Tabulka 2: Zamykán´ı souboru (kompatibilita zámk˚ u)

4.8.3

Vylouˇ cen´ı soubˇ eˇ zn´ eho pˇ r´ıstupu pomoc´ı pˇ red´ av´ an´ı povˇ eˇ ren´ı

Povˇeˇren´ı povoluje klientovi, kter´ y jej obdˇzel, pˇristupovat k obsahu souboru. Ostatn´ı klienti k obsahu souboru pˇristupovat nemohou. Klient po dokonˇcen´ı u ´prav pˇredá ’ povˇeˇren´ı dalˇs´ımu ˇcekaj´ıc´ımu zájemci o pˇr´ıstup k souboru a to bud formou povˇeˇren´ım následuj´ıc´ıho klienta (ˇcekatele) v logickém kruhu, kter´ y je sloˇzen ze vˇsech klient˚ u, nebo pˇredán´ım prvn´ımu klientovi z fronty ˇcekatel˚ u, do které se klienti v pˇr´ıpadˇe zájmu o pˇr´ıstup k souboru zaˇrazuj´ı.

4.9

Bezpeˇ cnost uloˇ zen´ ych dat

V DFS je nutné zajist bezpeˇcnost uloˇzen´ ych dat prostˇrednictv´ım omezen´ı pˇr´ıstupu k nim. Toho lze doc´ılit pomoc´ı:[8] Ovˇ eˇ ren´ı uˇ zivatele. Po navázán´ı spojen´ı mezi klientem a serverem dojde k ovˇeˇren´ı identity uˇzivatele. V pˇr´ıpadˇe u ´spˇeˇsného ovˇeˇren´ı je uˇzivateli povolen pˇr´ıstup k obsahu datového ˚ uloˇziˇstˇe. V opaˇcném pˇr´ıpadˇe je mu pˇr´ıstup zam´ıtnut.

16

ˇ Sifrov´ an´ı komunikace. Komunikace mezi klientem a serverem je ˇsifrována dle pˇredem dohodnutého ˇsifrovac´ıho algoritmu. Nelze tak jednoduˇse odposlechnout pos´ılaná data, pˇr´ıkazy ani pˇr´ıstupové u ´daje. Seznamu pˇ r´ıstupov´ ych pr´ av. Ke kaˇzdému souboru lze pˇriˇradit seznam pˇr´ıstupov´ ych práv (dále jen ACL) pro jednotlivé uˇzivatele nebo skupiny uˇzivatel˚ u. Pˇr´ıstupová práva definuj´ı operace, které je moˇzné nad souborem vykonávat. Lze tak napˇr. nastavit, ˇze uˇzivatel je vlastn´ık souboru a m˚ uˇze se souborem libovolnˇe manipulovat (má práva pro ˇcten´ı i zápis). Ostatn´ı uˇzivatelé napˇr. mohou jen ˇc´ıst obsah souboru (maj´ı práva pouze pro ˇcten´ı). ˇ ˇ Sifrov´ an´ı obsahu soubor˚ u. Sifrov´ an´ım obsahu uloˇzen´ ych dat na datovém u ´loˇziˇsti lze u ´ˇcinnˇe chránit uloˇzená data uˇzivatel˚ u pˇred fyzick´ ym u ´tokem na nˇe (napˇr. krádeˇz serveru). I v pˇr´ıpadˇe jeho u ´spˇeˇsné realizace jsou pak utoˇcn´ıkovi z´ıskaná ’ data zcela bezcenná, nebot nen´ı schopen je deˇsifrovat a následnˇe pˇreˇc´ıst.

17

5

Distribuovan´ y souborov´ y syst´ em KIVFS

KIVFS je experimentáln´ı implementace distribuovaného souborového systému. Hlavn´ı c´ıle projektu jsou:[13] • u ´plná transparentnost distribuovaného prostˇred´ı, • funkˇcnost v témˇeˇr libovolném s´ıt’ovém prostˇred´ı, • multimaster replikace (dostupnost vˇsech replik pro ˇcten´ı i zápis), • vysoká ˇskálovatelnost, v´ ykonnost, stabilita a bezpeˇcnost, • podpora klientské cache a offline operac´ı, • podpora mobiln´ıch platforem, • modulárnost (snadná rozˇsiˇritelnost´ı a modifikovatelnost), • nezávislost na pouˇzit´ ych technologi´ıch.

5.1

Architektura

Distribuovan´ y souborov´ y systém KIVFS je zaloˇzen na s´ıt’ové architektuˇre klient/server. Veˇskerá komunikace prob´ıhá prostˇrednictv´ım vlastn´ıho protokolu KIVFS, kter´ y je:[18] • postaven na spolehlivém protokolu TCP/IP, d´ıky kterému nen´ı nutné implementovat vlastn´ı mechanismus pro potvrzován´ı zpráv zp˚ usobuj´ıc´ı vyˇsˇs´ı reˇzii a zpoˇzdˇen´ı pˇri zpracován´ı poˇzadavk˚ u, • binárn´ı a optimalizovateln´ y z hlediska v´ ysledné velikosti pˇrenáˇsen´ ych zpráv, na kterou jsou citlivé zvláˇstˇe klientské aplikace urˇcené pro mobiln´ı platformy, • zaloˇzen na principu pos´ılán´ı paketu sloˇzeného z hlaviˇcky obsahuj´ıc´ı informace o poˇzadavku (resp. odpovˇedi) a tˇela obsahuj´ıc´ıho data (obrázek ˇc. 8). Klient m˚ uˇze b´ yt pˇripojen k libovolnému serveru (obrázek ˇc. 7), kter´ y mu zprostˇredkovává pˇr´ıstup k dat˚ um z celého systému a umoˇzn ˇuje jejich správu (transparentnost um´ıstˇen´ı, replikace, migrace, soubˇehu a chyb). Z´ıskaná data dále prezentuje v závislosti na c´ılové platformˇe (transparentnost pˇr´ıstupu a chyb) uˇzivateli napˇr. jako: • pˇripojen´ y vzdálen´ y svazek s vyuˇzit´ım jaderného modulu KIVFS[21] pro operaˇcn´ı systém GNU/Linux, • pˇripojen´ y svazek s vyuˇzit´ım jaderného modulu FUSE[22], • vzdálen´ y svazek (zásuvn´ y modul do souborového manaˇzeru[23]).

18

Obrázek 7: Architektura KIVFS.

Server je rozdˇelˇen dle funkcionality do jednotliv´ ych na sobˇe nezávisl´ ych modul˚ u dále oznaˇcovan´ ych jako vrstvy, které spolu komunikuj´ı a spolupracuj´ı. Jednotlivé vrstvy jsou tvoˇreny samostatn´ ymi serverov´ ymi aplikacemi a jsou naprogramované s vyuˇzit´ım programovac´ıho jazyka C. C´ılovou platformou pro pouˇzit´ı serveru je operaˇcn´ı systém GNU/Linux. Po pˇr´ıpadn´ ych u ´pravách, které spoˇc´ıvaj´ı pˇredevˇs´ım nahrazen´ı pouˇzit´ ych knihoven, je moˇzné server pouˇz´ıt i na jiné desktopové platformˇe (napˇr. OpenBSD, Microsoft Windows). Modulárn´ı architektura umoˇzn ˇuje rozˇsiˇritelnost celého systému o dalˇs´ı funkcionalitu a to v podobˇe pˇridáván´ı dalˇs´ıch modul˚ u. V pˇr´ıpadˇe potˇreby je moˇzné upravit ˇci zcela nahradit modul bez ovlivnˇen´ı funkˇcnosti zbytku systému.

Obrázek 8: Obsah paketu protokolu KIVFS (poˇzadavek na v´ ypis adresáˇre).

19

5.1.1

Autentizaˇ cn´ı vrstva

Autentizaˇcn´ı vrstva v KIVFS slouˇz´ı jako pˇr´ıstupov´ y bod do celého systému pro klientské aplikace. Kv˚ uli zabezpeˇcen´ı komunikace je veˇskerá v´ ymˇena zpráv ˇsifrována pomoc´ı alogritm˚ u, které poskytuje knihovna OpenSSL. Po pˇripojen´ı klienta zajiˇst’uje jeho autorizaci pomoc´ı vlastn´ı databáze uˇzivatel˚ u a systému Kerberos. D˚ uvodem pro pouˇzit´ı vlastn´ı databáze je moˇznost omezit pˇr´ıstup uˇzivatel˚ um, kteˇr´ı sice maj´ı u ´ˇcet v systému Kerberos, ale nemaj´ı zˇr´ızen´ y u ´ˇcet v rámci KIVFS. V pˇr´ıpadˇe, ˇze klient je u ´spˇeˇsnˇe autorizován, autentizaˇcn´ı vrstva pˇredává veˇskeré jeho poˇzadavky k vyˇr´ızen´ı synchronizaˇcn´ı vrstvˇe. V opaˇcném pˇr´ıpadˇe ukonˇcuje spojen´ı.[19] 5.1.2

Synchronizaˇ cn´ı vrstva

V rámci KIVFS m˚ uˇze b´ yt v´ıce klient˚ u pracuj´ıc´ıch se stejn´ ymi daty pˇripojeno k r˚ uzn´ ym pˇr´ıstupov´ ym bod˚ um. V pˇr´ıpadˇe, ˇze se poˇzadavky v rámci celého systému nepropaguj´ı dostateˇcnˇe rychle (ideálnˇe bez zpoˇzdˇen´ı) a ve stejném poˇrad´ı, mohlo by doj´ıt k soubˇeˇznému pˇr´ıstupu a nekonzistentn´ımu stavu uloˇzen´ ych dat. Tento problém ˇreˇs´ı synchronizaˇcn´ı vrstva, která poˇzadavky na jakokouliv zmˇenu dat s vyuˇzit´ım Lamportov´ ych hodin a dalˇs´ıch algoritm˚ u synchronizuje mezi vˇsemi právˇe dostupn´ ymi servery.[20] Po u ´spˇeˇsné synchronizaci poˇzadavk˚ u je pˇredá ke zpracován´ı datové vrstvˇe. Mezi dalˇs´ı u ´lohy synchronizaˇcn´ı vrstvy patˇr´ı: • detekce v´ ypadku serveru a zajiˇstˇen´ı jeho obnovy pomoc´ı synchronizace jeho uloˇzen´ ych dat s daty z ostatn´ıch server˚ u, • pr˚ ubˇeˇzné vyhodnocován´ı stav˚ u linek mezi servery a nejlepˇs´ı cesty k distribuci poˇzadavk˚ u mezi servery, • ˇr´ızen´ı transakc´ı a správa logick´ ych hodin v systému. 5.1.3

Datov´ a vrstva

Datová vrstva slouˇz´ı jako datové u ´loˇziˇstˇe pro vˇsechny informace, které jsou nutné pro správnou funkci celého systému, a zajiˇst’uje jejich kompletn´ı správu.[18] Pˇredmˇetem této práce je optimalizace datového u ´loˇziˇstˇe a to je proto podrobnˇeji rozebráno v následuj´ıc´ı sekci 6.

20

6

Datov´ eu ´ loˇ ziˇ stˇ e v KIVFS

Datové u ´loˇziˇstˇe (obrázek ˇc. 9) je v rámci jednoho KIVFS serveru tvoˇreno tˇremi samostatn´ ymi serverov´ ymi aplikacemi:[18] VFS server. Slouˇz´ı jako rozhran´ı mezi synchronizaˇcn´ı vrstvou a metadatov´ ym nebo souborov´ ym serverem. V závislosti na druhu poˇzadavku jej pˇredává ke zpracován´ı právˇe jednomu z nich. Zajiˇst’uje nezávislost vyˇsˇs´ıch vrstev na implementaci samotného datového u ´loˇziˇstˇe. Metadatov´ y server. Zprostˇredkovává spojen´ı s relaˇcn´ım databázov´ ym systémem MySQL a spravuje veˇskerá v nˇem uloˇzená data. Mezi ty patˇr´ı informace o uloˇzen´ ych souborech (tj. metadata), jmenném prostoru, uˇzivatel´ıch, ostatn´ıch serverech, atd. D´ıky pouˇzité databázi k uchováván´ı vˇsech informac´ı lze oznaˇcit server jako stavov´ y. Souborov´ y server. Spravuje fyzick´ y obsah jednotliv´ ych soubor˚ u uˇzivatel˚ u a zprostˇredkovává jim jejich pˇrenos. Ve spolupráci s metadatov´ ym serverem ’ a vˇsemi ostatn´ımi souborov´ ymi servery zajiˇst uje replikaci.

Obrázek 9: Datové u ´loˇziˇstˇe v KIVFS. Organizace a správa uloˇzen´ ych dat pomoc´ı jednotliv´ ych server˚ u a relaˇcn´ıho databázového systému umoˇzn ˇuje: Sn´ıˇ zit poˇ cet pˇ r´ıstup˚ u k fyzick´ emu datov´ emu u ´ loˇ ziˇ sti. Diskové operace jsou ˇcasovˇe mnohem nároˇcnˇejˇs´ı neˇz ˇcten´ı informac´ı z databáze, kterou je moˇzné alespoˇ n ˇcásteˇcnˇe uchovávat v pamˇeti. Proto je snaha minimalizovat poˇcet fyzick´ ych pˇr´ıstup˚ u na svazky (napˇr. pˇripojen´ ych pevn´ ych disk˚ u) souborov´ ych server˚ u, ke kter´ ym docház´ı bˇehem pˇrenosu obsahu soubor˚ u nebo jejich replikaci, a dosáhnout tak co moˇzná nejvyˇsˇs´ı rychlosti a n´ızkého zat´ıˇzen´ı. Minim´ aln´ı velikost datab´ aze. Relaˇcn´ı model dat umoˇzn ˇuje efektivnˇe organizovat velké mnoˇzstv´ı uloˇzen´ ych dat, mezi které patˇr´ı jiˇz zm´ınˇená metadata,

21

informace o uˇzivatel´ıch, ACL, apod. a efektivnˇe tak minimalizovat jejich redundanci. Vzhledem k tomu, ˇze obsah soubor˚ u spravuj´ı souborové servery, velikost databáze nikdy nebude pˇr´ıliˇs velká i kdyˇz v systému bude uloˇzeno mnoho soubor˚ u. D´ıky tomu je moˇzné, aby kaˇzd´ y KIVFS server mohl spravovat vlastn´ı kopii celé databáze a mˇel tak vˇzdy dostupné kompletn´ı informace o celém systému (synchronn´ı stav vˇsech databáz´ı zajiˇst’uje synchronizaˇcn´ı vrstva). Jednotn´ y pˇ r´ıstup k uloˇ zen´ ym informac´ım v datab´ azi. k veˇsker´ ym dat˚ um uloˇzen´ ym v databázi lze pˇristupovat pomoc´ı dotazovac´ıho jazyka SQL. D´ıky tomu je moˇzné uloˇzená data efektivnˇe spravovat a vyhledávat v nich poˇzadované informace. D˚ uvodem pro pouˇzit´ı relaˇcn´ıho databázového systému MySQL je jeho rychlost pˇri práci s daty.[18] Nav´ıc d´ıky malé velikosti databáze (jej´ıˇz ERA model1 je uveden na obrázku ˇc. 10) KIVFS m˚ uˇze databázov´ y systém MySQL zkop´ırovat a spravovat cel´ y obsah databáze v pamˇeti serveru, coˇz zvyˇsuje rychlost práce napˇr. s jiˇz zm´ınˇen´ ymi metadaty, jejichˇz obsah je ˇcasto ˇcten.

Obrázek 10: P˚ uvodn´ı ERA model databáze.

1

V sekci 8 je uvedena jeho upravená a v´ ysledná verze.

22

6.1

Pˇ rehled poskytovan´ ych sluˇ zeb

VFS server nab´ız´ı vyˇsˇs´ım vrstvám adresáˇrové a souborové sluˇzby. Jejich realizaci zajiˇst’uje metadatov´ y nebo souborov´ y server. Poskytované sluˇzby jsou pˇrehlednost uvedené v následuj´ıc´ı tabulce ˇc. 3 (sluˇzby uvedené v závorkách jsou poskytovány automaticky v rámci celého u ´loˇziˇstˇe). Sluˇ zby

Metadatov´ y server

Souborov´ y server

Souborov´ e

otevˇren´ı / vytvoˇren´ı / zamknut´ı uzavˇren´ı / odemknut´ı odstranˇen´ı ˇcten´ı atribut˚ u (správa jmenného prostoru)

ˇcten´ı obsahu zápis dat (replikace)

Adres´ aˇ rov´ e

vytvoˇren´ı odstranˇen´ı v´ ypis obsahu

-

Tabulka 3: Poskytované sluˇzby Z tabulky je patrné, ˇze jmenn´ y prostor (sekce 6.2.1) je spravován pouze metadatov´ ym serverem. D´ıky tomu má kaˇzd´ y KIVFS server kompletn´ı informace o celém u ´loˇzném prostoru.

6.2

N´ avrhy pro optimalizaci a rozˇ s´ıˇ ren´ı

Vu ´vodu práce byly bl´ıˇze popsány poˇzadavky, které mus´ı splˇ novat kaˇzdé rozsáhlé datové u ´loˇziˇstˇe, aby bylo v praxi pouˇzitelné. Na základˇe tˇechto poˇzadavk˚ u a zm´ınˇen´ ych c´ılov´ ych poˇzadavk˚ u na vlastnosti KIVFS jsou v následuj´ıc´ıch bodech specifikované oblasti vhodné k optimalizaci: • dostupnost a spolehlivost datového u ´loˇziˇstˇe – efektivn´ı pˇr´ıstup k soubor˚ um (sekce 6.2.3), – sn´ıˇzen´ı omezován´ı klient˚ u vlivem souˇcasn´ ych vlastnost´ı KIVFS, mezi které patˇr´ı napˇr. poskytovan´ y jmenn´ y prostor (sekce 6.2.1) ˇci replikace (sekce 8.10), – podpora lokáln´ı cache a offline operac´ı (sekce 6.2.5), – podpora pro obnovu dat (sekce 6.2.8), • podpora mobiln´ıch platforem s ohledem na jejich omezen´ı, mezi které patˇr´ı napˇr. omezená velikost lokáln´ı cache (sekce 6.2.3 a 6.2.5), • zabezpeˇcnost uloˇzen´ ych dat (sekce 6.2.10),

23

• rozˇsiˇritelnost a flexibilita datového u ´loˇziˇstˇe (sekce 6.2.2). V následuj´ıc´ıch podsekc´ıch jsou tyto body dále rozebrány a jsou navrˇzeny postupy, jak jich doc´ılit. 6.2.1

Jmenn´ y prostor

Nejv´ıce omezuj´ıc´ı vlastnost´ı souˇcasné implementace KIVFS z hlediska uˇzivatel˚ u je nemoˇznost sd´ılet jejich uloˇzená data mezi sebou. Ta je zapˇr´ıˇcinˇena chybˇej´ıc´ı implementac´ı mechanismu pro omezen´ı pˇr´ıstupu k soubor˚ um, coˇz vedlo k nutnosti poskytovat klient˚ um privátn´ı jmenn´ y prostor. Toto je kritická vlastnost systému, kterou je potˇreba upravit, aby se stal dostupnˇejˇs´ı pro bˇeˇzné uˇzivatele. Jedin´ ym moˇzn´ ym ˇreˇsen´ım je poskytovat uˇzivatel˚ um globáln´ı jmenn´ y prostor a implementovat mechanismus zajiˇst’uj´ıc´ıc´ı zabezpeˇcen´ı uˇzivatelsk´ ych dat formou omezen´ı pˇr´ıstupu (viz sekce 6.2.10). 6.2.2

Efektivn´ı vyuˇ zit´ı sluˇ zeb relaˇ cn´ıho datab´ azov´ eho syst´ emu

Datové u ´loˇziˇstˇe v KIVFS vyuˇz´ıvá relaˇcn´ı databázov´ y systém MySQL k ukládán´ı vˇsech informac´ı o uˇzivatel´ıch, souborech, u ´loˇziˇst´ıch, apod. Pro pˇr´ıstup k nˇemu pouˇz´ıvá tzv. konektor. Ten je dostupn´ y v podobˇe sd´ılené knihovny pro programovac´ı jazyk C, která poskytuje funkce pro správu databáze a dat v n´ı uloˇzen´ ych. Souˇcasná implementace metadatového serveru volá funkce konektoru pˇr´ımo ve v´ ykonn´ ych bloc´ıch zdrojového kódu, které zpracovávaj´ı poˇzadavky od klient˚ u a generuj´ı odpovˇedi na nˇe. To vede k nedostateˇcné flexibilitˇe a sloˇzitému pouˇzit´ı jiného databázového systému z následuj´ıc´ıch d˚ uvod˚ u: • v pˇr´ıpadˇe potˇreby zmˇeny pouˇzitého databázového systému je nutné provést u ´pravu velké ˇcásti zdrojov´ ych kód˚ u metadatového serveru, • docház´ı k redundanci blok˚ u zdrojového kódu, která mimo jiné zvyˇsuje jeho celkovou nepˇrehlednost a neefektivitu zp˚ usobenou nutnost´ı vykonávat stále stejnou sekvenci krok˚ u: – generován´ı SQL dotazu (ˇci pˇr´ıkazu), – jeho vykonán´ı (s vyuˇzit´ım funkc´ı konektoru), – oˇsetˇren´ı pˇr´ıpadn´ ych chyb (napˇr. nedostupnost databázového systému), – zpracován´ı a uloˇzen´ı dat z v´ ysledku pro dalˇs´ı pouˇzit´ı. Nedostateˇcnou flexibilitu v pouˇz´ıván´ı databázového systému lze odstranit vhodnou dekompozic´ı zdrojového kódu, která ve v´ ysledku povede k implementaci metadatové mezivrstvy spravuj´ıc´ı veˇskerá uloˇzená data v databázi. Toto ˇreˇsen´ı nav´ıc pˇrinese i následuj´ıc´ı v´ yhody: • nezávislost na pouˇzitém databázovém systému umoˇzn ˇuj´ıc´ı jeho jednoduchou zmˇenu (i za databázov´ y systém nevyuˇz´ıvaj´ıc´ı SQL), • moˇznost vyuˇz´ıt jeho specifické funkce (napˇr. podpora transakc´ı), • pˇrehlednost a zjednoduˇsen´ı zdrojového kódu metadatového serveru.

24

6.2.3

Model pˇ r´ıstupu k soubor˚ um

Souˇcasná implementace pˇr´ıstupu k soubor˚ um je zaloˇzena na modelu typu upload/download. Klientské aplikace ve sv´ ych aktuáln´ıch verz´ıch pracuj´ı se souborem vˇzdy jako s celkem, kter´ y je bˇehem u ´prav dostupn´ y jako doˇcasná kopie nebo z lokáln´ı cache (pokud je na stranˇe klienta implementována). Z tohoto d˚ uvodu pouˇzit´ı upload/download modelu zat´ım nepˇredstavuje ˇzádn´ y problém a naopak jeho jednoduchost je v´ yhodná - d´ıky nenároˇcnosti na implementaci jak na stranˇe sereru tak na stranˇe klienta. Jiˇz bylo zm´ınˇeno, ˇze kl´ıˇcovou a poˇzadovanou vlastnost´ı KIVFS je podpora mobiln´ıch zaˇr´ızen´ı. Ty jsou limitované pˇredevˇs´ım v maximáln´ı velikosti kapacity lokáln´ı cache, která nikdy nebude dosahovat velikosti kapacity lokáln´ı cache klientské aplikace urˇcené pro desktopovou platformu. Dalˇs´ım omezen´ım je citlivost na objem pˇrenáˇsen´ ych dat. Proto je nutné z hlediska zachován´ı vysoké dostupnosti systému, upravit model pˇr´ıstupu k soubor˚ um tak, aby byl vhodn´ y k pouˇzit´ı i na mobiln´ıch platformách. ˇ sen´ım je implementace modelu vzdáleného pˇr´ıstupu k soubor˚ Reˇ um, kter´ y vyuˇz´ıvá napˇr. i OpenAFS. Ta kromˇe celkového zlepˇsen´ı dostupnosti pˇrinese konkrétnˇe i následuj´ıc´ı v´ yhody: • moˇznost upravovat jen poˇzadovanou ˇca´st souboru (sn´ıˇzen´ı nárok˚ u na datov´ y pˇrenos), • nevyˇzaduje lokáln´ı cache na stranˇe klienta. Nev´ yhodou uvedeného ˇreˇsen´ı je vysoká reˇzie na serveru v pˇr´ıpadˇe, ˇze klient bude upravovat velk´ y soubor po mal´ ych bloc´ıch a generovat velké mnoˇzstv´ı poˇzadavk˚ u, coˇz vede k riziku zahlcen´ı serveru a následné omezen´ı sluˇzby. Tomu lze pˇredej´ıt napˇr. implementac´ı mechanismu, kter´ y bude zmˇenˇené bloky souboru ukládat do vyrovnávac´ı pamˇeti a zap´ıˇse je aˇz po dosáhnut´ı urˇcité celkové velikosti nebo dokonˇcen´ı zmˇen (uzavˇren´ı souboru). Pos´ılán´ı souboru po velmi mal´ ych bloc´ıch ovlivˇ nuje v´ yslednou pˇrenosovou rychlost. Vhodnou velikost pos´ılan´ ych blok˚ u dat proto mus´ı ˇreˇsit klient. 6.2.4

Vylouˇ cen´ı soubˇ eˇ zn´ eho pˇ r´ıstupu k souboru

Metadatov´ y server umoˇzn ˇuje d´ıky své stavovosti ˇreˇsit vzájemné vylouˇcen´ı soubˇeˇzného pˇr´ıstupu k soubor˚ um a konfliktn´ıch operac´ı pomoc´ı jednoduch´ ych zámk˚ u. Kv˚ uli tomu, ˇze zámky nejsou odliˇsené zvláˇst’ pro zápis a zvláˇst’ pro ˇcten´ı, nelze vykonávat v´ıcenásobné ˇcten´ı ze souboru. ˇ sen´ım problému je implementace zámk˚ Reˇ u pro ˇcten´ı a zápis (sekce 4.8.2). 6.2.5

Podpora klientsk´ e lok´ aln´ı cache a offline operac´ı

Lokáln´ı cache na stranˇe klientsk´ ych aplikac´ı zat´ım nebyla implementována. Z toho d˚ uvodu ji proto v souˇcasné verzi KIVFS nijak nepodporuje ani serverová ˇcást. Vzhledem k tomu, ˇze vyuˇzit´ı lokáln´ı cache je v budoucnosti plánované pro zajiˇstˇen´ı dostupnosti dat i v pˇr´ıpadˇe nemoˇznosti navázat z nˇejakého d˚ uvodu spojen´ı se serverem, podpora ze strany serveru je nutná.

25

Kv˚ uli podpoˇre mobiln´ıch platforem, které jsou ˇcasto omezeny velikost´ı lokáln´ıho datového u ´loˇziˇstˇe, je nutné poˇc´ıtat i s omezenou maximáln´ı velikost´ı lokáln´ı cache. Kv˚ uli tomu nelze uvaˇzovat, ˇze do lokáln´ı cache bude klient ukládat kopie vˇsech soubor˚ u uˇzivatele. Základn´ım pˇredpokladem pro zajiˇstˇen´ı podpory ze strany serveru je, ˇze na stranˇe klienta se: • do lokáln´ı cache budou ukládat jen nejˇcastˇeji pouˇz´ıvané soubory, nebo: • z lokáln´ı cache budou odstraˇ novat nejménˇe pouˇz´ıvané soubory. S implementac´ı lokáln´ı cache na stranˇe klienta je nutné navrhnout mechanismus, kter´ y zajist´ı konzistentn´ı stav v n´ı uloˇzen´ ych kopi´ı soubor˚ u. M˚ uˇze totiˇz doj´ıt ke konfliktn´ı situaci, kdy klient má v lokáln´ı cache uloˇzenou upravenou kopii souboru, kter´ y byl mezit´ım na stranˇe serveru také upraven. Server proto nepovol´ı klientovi pˇrepsat soubor, dokud nebude konflikt vyˇreˇsen. Coda tento problém ˇreˇs´ı verzován´ım jednotliv´ ych soubor˚ u (sekce 4.7.1). Verzován´ı souboru je realizováno ˇc´ıtaˇcem, jehoˇz hodnota odpov´ıdá poˇctu zmˇen souboru od jeho vytvoˇren´ı. Pˇr´ıpadné vyˇreˇsen´ı konflikt˚ u v rozcházej´ıc´ıch se verz´ıch stejného souboru, kter´ y je uloˇzen jak v lokáln´ı cache tak i na vzdáleném datovém u ´loˇziˇsti, je pˇrenecháno uˇzivateli. Tento postup ˇreˇsen´ı pro zajiˇstˇen´ı konzistentn´ıho stavu bude pouˇzit i v KIVFS. 6.2.6

Replikace a konzistence uloˇ zen´ ych dat

Datové u ´loˇziˇstˇe v KIVFS podporuje multimaster replikaci s vyuˇzit´ım datacentrického modelu sekvenˇcn´ı kozistence. Vˇsechny repliky soubor˚ u jsou pˇr´ıstupné pro ˇcten´ı i zápis. Souˇcasná implementace replikace zp˚ usobuje nedostupnost obsahu souboru po dokonˇcen´ı zápisu do nˇej. D˚ uvodem je nutnost ˇcekat, dokud nejsou provedeny zmˇeny ve vˇsech replikách souboru. Soubor je proto stále uzamˇcen a jeho obsah nepˇr´ıstupn´ y, dokud nejsou vˇsechny repliky aktualizovány a následnˇe nen´ı odemˇcen a jeho obsah zpˇr´ıstupnˇen uˇzivatel˚ um. To pˇrináˇs´ı následuj´ıc´ı nev´ yhody ovlivˇ nuj´ıc´ı dostupnost celého KIVFS: • okamˇzité zat´ıˇzen´ı vˇsech souborov´ ych server˚ u spravuj´ıc´ıch repliku daného souboru, • dojde-li bˇehem zápisu k chybˇe, je nutné aby byla zpracována vˇsemi souborov´ ymi servery, coˇz má za následek dalˇs´ı zv´ yˇsen´ı jejich reˇzie a zátˇeˇze, • obsah souboru nen´ı pˇr´ıstupn´ y ihned po jeho nahrán´ı. ˇ sen´ım je zachován´ı multimaster replikace a implementace jiˇz zm´ınˇeného verReˇ zován´ı soubor˚ u, resp. jejich replik. Kv˚ uli zajiˇstˇen´ı stálé dostupnosti je nutné, aby replikace prob´ıhala automaticky na pozad´ı2 . Zápis proto bude provádˇen pouze 2

Narozd´ıl od OpenAFS (stabiln´ı verze 1.6.1), u kterého je replikace, jeˇz je typu master/slave, spouˇstˇena na vyˇz´ ad´ an´ı“ spr´ avcem. ”

26

do jedné repliky souboru. Po jeho dokonˇcen´ı dojde ke zv´ yˇsen´ı jej´ı verze a ostatn´ı repliky souboru pˇrejdou do nekonzistentn´ıho stavu. Jejich postupnou aktualizac´ı dojde k jejich navracen´ı do konzistentn´ıho stavu a následnému zpˇr´ıstupnˇen´ı jejich obsahu uˇzivatel˚ um. Po aktualizaci vˇsech replik soubor˚ u dojde ke znovuobnoven´ı konzistentn´ıho stavu celého distribuovaného u ´loˇziˇstˇe. Sekvenˇcn´ı model konzistence dat z pohledu vyˇsˇs´ıch vrstev z˚ ustane zachován d´ıky zajiˇstˇen´ı pˇr´ıstupu pouze k replikám soubor˚ u s nejvyˇsˇs´ı verz´ı. Navrˇzené ˇreˇsen´ı pˇrinese v kombinaci s v´ yˇse zm´ınˇenou implementac´ı v´ yluˇcného pˇr´ıstupu k soubor˚ um pomoc´ı zámk˚ u pro ˇcten´ı a zápis (sekce 6.2.4) následuj´ıc´ı v´ yhody: • sn´ıˇzen´ı zat´ıˇzen´ı souborov´ ych server˚ u d´ıky postupné synchronizaci zastaral´ ych replik na pozad´ı s jejich aktuáln´ımi verzemi, • zajiˇstˇen´ı dostupnosti obsahu alespoˇ n jedné z replik souboru ihned po jeho nahrán´ı. 6.2.7

S´ emantika sd´ılen´ı souboru

Sd´ılen´ı soubor˚ u v rámci KIVFS je implementováno dle unixové sémantiky (sekce 4.8.1). Kv˚ uli nutnosti okamˇzitˇe synchronizovat poˇzadavky na zápis se zvyˇsuje reˇzie a zat´ıˇzen´ı vˇsech server˚ u. To z pohledu klienta vede ke zpoˇzdˇen´ı pˇri ˇcekán´ı na zpracován´ı poˇzadavk˚ u a sniˇzuje propustnost systému. ˇ sen´ım je implementace relaˇcn´ı sémantiky (sekce 4.8.1), která je umoˇznˇena d´ıky Reˇ stavovosti metadatového serveru, a jiˇz zm´ınˇeného v´ yluˇcného pˇr´ıstupu k soubor˚ um pomoc´ı zámk˚ u pro ˇcten´ı a zápis (sekce 6.2.4). 6.2.8

Obnova po v´ ypadku

Souˇcasná verze KIVFS nemá implementovan´ y ˇzádn´ y mechanismus zajiˇst’uj´ıc´ı obnovu dat po v´ ypadku. To m˚ uˇze vést ke sn´ıˇzen´ı stability celého systému. Proces obnovy dat po v´ ypadku datového u ´loˇziˇstˇe mus´ı m´ıt na starosti synchronizaˇcn´ı vrstva, která je jako jediná schopná rozpoznat, ˇze k v´ ypadku doˇslo, a m˚ uˇze zahájit obnovu dat. Ta z pohledu serveru spoˇc´ıvá ve zpracován´ı nezpracovan´ ych poˇzadavk˚ u, které byly ve zbytku systému (tj. na vˇsech ostatn´ıch serverech) jiˇz zpracovány. Mechanismus pro obnovu dat po v´ ypadku vyˇzaduje ukládat vˇsechny poˇzadavky na zmˇenu dat a m´ıt tak dostupn´ y seznam proveden´ ych operac´ı (poˇzadavk˚ u) v rámci kaˇzdého datového u ´loˇziˇstˇe. To lze v rámci datové vrstvy zajistit implementac´ı podpory pro logován´ı poˇzadavk˚ u synchronizaˇcn´ı vrstvou. 6.2.9

Spr´ ava uloˇ zen´ ych dat a jejich deduplikace

Soubory uloˇzené na svazc´ıch souborov´ ych server˚ u jsou organizováné dle jiˇz dˇr´ıve navrˇzené struktury pro ukládán´ı dat.[18] Jej´ı schéma je znázornˇeno na obrázku ˇc. 11 a spoˇc´ıvá v rozm´ıstˇen´ı cel´ ych soubor˚ u v urˇcitém poˇctu do jednotliv´ ych adresáˇr˚ u, jejichˇz poˇcet nen´ı omezen. Adresáˇre se dynamicky vytváˇrej´ı a zaplˇ nuj´ı v závislosti na aktuáln´ım poˇctu soubor˚ u v nich uloˇzen´ ych. Poˇcet soubor˚ u v adresáˇri je omezen kv˚ uli moˇznosti optimalizovat strukturu pro ukládán´ı dat pro pouˇzité souborové

27

systémy, jejichˇz v´ ykonnost je pˇr´ımo ovlivnˇena celkov´ ym poˇctem soubor˚ u v pracovn´ım adresáˇri. Mapován´ı uloˇzen´ ych soubor˚ u v této struktuˇre zajiˇst’uje metadatov´ y server, kter´ y spravuje jmenn´ y prostor a poskytuje souborové sluˇzby (tabulka ˇc. 3). V rámci celého systému lze optimalizac´ı struktury pro ukládán´ı dat, která spoˇc´ıvá v rozdˇelován´ı uloˇzen´ ych soubor˚ u menˇs´ıch ˇcást´ı (dále oznaˇcovan´ ych jako podsoubory), znaˇcnˇe ovlivnit jeho: V´ ykonnost. M´ısto replikace celého souboru je moˇzné provádˇet replikaci jen jeho zmˇenˇen´ ych podsoubor˚ u. Rozˇ siˇ ritelnost. Rozdˇelen´ı soubor˚ u do menˇs´ıch ˇcást´ı odstran´ı limit pro maximáln´ı velikost souboru a t´ım i dalˇs´ı sn´ıˇzen´ı závislost´ı na pouˇzit´ ych technologi´ıch, která se v tomto pˇr´ıpadˇe t´ yká vlastnost´ı pouˇzitého souborového systému na daném svazku souborového serveru.

Obrázek 11: Schéma struktury pro ukládán´ı dat.

V souvislosti s replikac´ı se nab´ız´ı moˇznost jej´ı optimalizace spoˇc´ıvaj´ıc´ı v synchronizaci pouze zmˇenˇen´ ych podsoubor˚ u dané repliky souboru. K tomu je nutné navrhnout a implementovat mechanismus, kter´ y rozpozná zmˇenˇené relevantn´ı podsoubory. Ten m˚ uˇze b´ yt zaloˇzen porovnáván´ı kontroln´ıch souˇct˚ u jednotliv´ ych podsoubor˚ u s vyuˇzit´ım algoritm˚ u MD5[14], SHA[15], apod. Na základˇe hledán´ı shody mezi kontroln´ımi souˇcty lze postavit i experimentáln´ı deduplikaci uloˇzen´ ych podsoubor˚ u, která se dnes zat´ım u ˇza´dného bˇeˇznˇe pouˇz´ıvaného DFS nevyskytuje. Jej´ım c´ılem je odstranˇen´ı redundance uloˇzen´ ych podsoubor˚ u v rámci datového u ´loˇziˇstˇe jejich náhradou za odkazy na jeden zdrojov´ y podsoubor. V pˇr´ıpadˇe, ˇze uˇzivatel chce zapsat do deduplikovaného podsouboru (tj. odkazu na zdrojov´ y podsoubor), je nutné zajistit jeho zpˇetnou duplikaci jeˇstˇe pˇred proveden´ım samotného zápisu. Za jednodznaˇcné pˇr´ınosy deduplikace lze uvaˇzovat:

28

• optické zv´ yˇsen´ı kapacity datového u ´loˇziˇstˇe, • niˇzˇs´ı reˇzie datového u ´loˇziˇstˇe. V rámci KIVFS lze deduplikaci uloˇzen´ ych podsoubor˚ u ˇreˇsit pouze na u ´rovni jednotliv´ ych svazk˚ u souborov´ ych server˚ u.[18] Deduplikovat uloˇzená data v rámci celého souborového serveru (resp. vˇsech jeho svazk˚ u) pˇrináˇs´ı riziko nedostupnosti deduplikovan´ ych dat. To m˚ uˇze nastat bˇehem selhán´ı svazku obsahuj´ıc´ıcho zdrojov´ y podsoubor, na kter´ y odkazuj´ı deduplikované podsoubory. Teoreticky moˇzná je i deduplikace dat v rámci celého KIVFS. Jej´ı implementace je ale bez´ uˇcelná, protoˇze by docházelo i k deduplikaci replik. 6.2.10

Zabezpeˇ cenost uloˇ zen´ ych dat

V rámci KIVFS nejsou implementovány ˇza´dné mechanismy ˇreˇs´ıc´ı zabezpeˇcen´ı uloˇzen´ ych dat a jejich sd´ılen´ı. Uˇzivatel˚ um je dispozici privátn´ı jmenn´ y prostor a kv˚ uli tomu maj´ı pˇr´ıstup pouze k obsahu souboru, jehoˇz jsou vlastn´ıkem. Nemoˇznost sd´ılet data dalˇs´ım uˇzivatel˚ um pro nˇe znaˇcnˇe sniˇzuje pouˇzitelnost celého systému. Zpˇr´ıstupnˇen´ı vˇsech soubor˚ u a tedy umoˇznˇen´ı jejich sd´ılen´ı mezi vˇsemi uˇzivateli lze doc´ılit pouze implementac´ı globáln´ıho jmenného prostoru (sekce 4.3.1). Ten pˇrináˇs´ı bezpeˇcnost´ı rizika, mezi která patˇr´ı: • nevyˇzádaná zmˇena obsahu souboru, • nechtˇené poskytnut´ı obsahu souboru, • smazán´ı celého souboru, tˇret´ı stranou. Uvedená rizika lze odstranit pouze implementac´ı mechanismu, kter´ y bude umoˇzn ˇovat nastavit omezen´ y pˇr´ıstup k soubor˚ um a následnˇe dohl´ıˇzet na jeho respektován´ı. V rámci KIVFS bude omezen´ y pˇr´ıstup k soubor˚ um realizován prostˇrednictv´ım seznamu pˇr´ıstupov´ ych práv (sekce 4.9), kter´ y vyuˇz´ıvaj´ı i napˇr. OpenAFS ˇci Coda. Dalˇs´ım rizikem, které se t´ yká bezpeˇcnosti uloˇzen´ ych dat, je moˇznost fyzického u ´toku na datové u ´loˇziˇstˇe. Utoˇcn´ıkov´ ym c´ılem je v tomto pˇr´ıpadˇe z´ıskán´ı pˇr´ımého pˇr´ıstupu k dat˚ um, která jsou uloˇzená na svazc´ıch napadaného souborového serveru. Pokud uˇzivatel nezaˇsifroval data pˇred jejich nahrán´ım prostˇredn´ıctv´ım klientské aplikace na napaden´ y souborov´ y server, umoˇznil u ´toˇcn´ıkovi jednoduch´ y pˇr´ıstup. Jedinou u ´ˇcinnou ochranou proti fyzickému u ´toku na souborov´ y server a následnému zneuˇzit´ı uloˇzen´ ych dat je prevence spoˇc´ıvaj´ıc´ı v implementaci symetrického ˇsifrován´ı blok˚ u pˇrijat´ ych dat pˇred jejich samotn´ ym uloˇzen´ım. Asymetrické ˇsifrován´ı nen´ı moˇzné z d˚ uvodu potˇreby uchovávat r˚ uzné kl´ıˇce na souborov´ ych serverech a nutnosti m´ıt ve v´ ysledku na jejich svazc´ıch uloˇzená data o stejné velikosti. 6.2.11

Kv´ oty virtu´ aln´ıch svazk˚ u

Datové u ´loˇziˇstˇe KIVFS neumoˇzn ˇuje nastavit ˇza´dné omezen´ı uˇzivatele z hlediska dostupné kapacity u ´loˇziˇstˇe. Uˇzivatelé se proto mohou bez ˇspatného u ´myslu pokouˇset

29

nahrát soubory, jejichˇz velikost je vˇetˇs´ı neˇz celková kapacita datového u ´loˇziˇstˇe, která je rovna celkové kapacitˇe svazk˚ u souborov´ ych server˚ u. V d˚ usledku toho m˚ uˇze na souborovém serveru teoreticky doj´ıt k následuj´ıc´ım situac´ım, které omezuj´ı dostupnost a spolehlivost celého systému: • nemoˇznost pˇrijmout a uloˇzit soubor, kter´ y se klient pokouˇs´ı nahravát, • neoˇcekávan´ ym chybám souborového systému pouˇzitého na svazku, pˇripojeném k souborovému serveru, které mohou vést aˇz ke ztrátˇe dˇr´ıve uloˇzen´ ych dat. Uveden´ ym situac´ım lze pˇredej´ıt implementac´ı mechanismu, kter´ y umoˇzn´ı nastavit diskovou kvótu omezuj´ıc´ı dostupnou kapacitu tzv. virtuáln´ıch svazk˚ u.[18] Ty jsou v rámci jménného prostoru pouˇzité jako pˇr´ıpojné body adresáˇr˚ u k jednotliv´ ym svazk˚ um souborov´ ych server˚ u. Pˇr´ıklad jejich pouˇzit´ı a mapován´ı na u ´rovni server˚ u je znázornˇen na obrázku ˇc. 12, ve kterém plat´ı, ˇze: • svazky A a B jsou replikovány na oba souborové servery • koˇrenový adresáˇr a adresáˇr home jsou pˇripojeny k replikovanému svazku volume A • domovsk´ y adresáˇr user je pˇripojen k replikovanému svazku volume B

Obrázek 12: Virtuáln´ı svazky a jejich mapován´ı na u ´rovni server˚ u.

Uˇzivatele user tak lze z jeho pohledu omezit diskovou kvótou pˇridˇelenou napˇr. k jeho domác´ımu adresáˇri, která omez´ı dostupnou kapacitu adresáˇre.

30

6.2.12

Tunelov´ an´ı pˇ r´ıstupu k soubor˚ um

Klient je vˇzdy bˇehem pˇrenosu souboru pˇripojen k souborovému serveru, kter´ y je pro nˇej z hlediska jeho dostupnosti nejvhodnˇejˇs´ı a obsahuje aktuáln´ı repliku poˇzadovaného souboru. I tak ale m˚ uˇze b´ yt navázané spojen´ı uskuteˇcnˇeno s geograficky vzdálen´ ym serverem a rychlost pˇrenosu souboru m˚ uˇze b´ yt omezena. Za pˇredpokladu, ˇze servery budou vˇzdy vzájemnˇe propojené rychlou a stabiln´ı linkou, m˚ uˇze b´ yt tento problém vyˇreˇsen vytvoˇren´ım tunelovaného spojen´ı mezi nejbliˇzˇs´ım souborov´ ym serverem a dalˇs´ım souborov´ ym serverem, kter´ y spravuje poˇzadovanou repliku souboru. Klient se proto m˚ uˇze stále pˇripojovat jen k nejbliˇzˇs´ımu souborovému serveru, kter´ y nemus´ı obsahovat poˇzadovanou repliku souboru, ale skrze tunel bude jej´ı obsah transparentnˇe poskytovat z jiného souborového serveru. Rychlost pˇrenosu souboru z pohledu klienta tak m˚ uˇze b´ yt znaˇcnˇe zv´ yˇsena. Na obrázku ˇc. 13 je uveden pˇr´ıklad, ve kterém uˇzivatel pˇristupuje ke svému svazku nejvyˇsˇs´ı dostupnou rychlost´ı skrze 100Mbit tunel.

Obrázek 13: Tunelován´ı spojen´ı (100MBbit tunel vyznaˇcen ˇcervˇenˇe).

31

7

Sd´ılen´ a knihovna libkivfscore

Bˇehem paralelnˇe prob´ıhaj´ıc´ıho v´ yvoje jednotliv´ ych vrstev serveru byly v jejich zdrojov´ ych kódech postupnˇe identifikovány bloky, které zbyteˇcnˇe implementuj´ı podobnou funkcinalitu. Zpoˇca´tku se jednalo o funkce realizuj´ıc´ı s´ıt’ovou komunikaci. K tˇem zanedlouho pˇribyly dalˇs´ı funkce, které ˇreˇsily jednotné formátován´ı v´ ypisovan´ ych informac´ı na obrazovku ˇci do souboru, správu vlastn´ıch datov´ ych struktur, apod. Duplicitn´ı ˇca´sti zdrojového kódu mˇely negativn´ı vliv na jeho pˇrehlednost, která vedla k ˇcastˇejˇs´ımu v´ yskytu programátorsk´ ych chyb. V rámci potˇreby odstranit duplicitn´ı funkce, zajistit dodrˇzován´ı programovac´ıch konvenc´ı a celkovˇe zpˇrehlednˇenit zdrojové kódy KIVFS vznikla sd´ılená knihovna libkivfscore, jej´ımˇz c´ılem hlavn´ım je usnadnit dalˇs´ı v´ yvoj. V pr˚ ubˇehu dalˇs´ıho v´ yvoje se sd´ılená knihovna libkivfscore stala základn´ım stavebn´ım kamenem celého KIVFS, kter´ y vyuˇz´ıvaj´ı i klientské aplikace a nebo z nˇej pˇrinejmenˇs´ım vycházej´ı. Základn´ı funkce3 , které poskytuje, lze rozdˇelit do následuj´ıc´ıch kategori´ı: S´ıt’ov´ a komunikace (core/kivfs-net.h). Funkce slouˇz´ı jako nadstavba s´ıt’ové komunikace skrze sokety s vyuˇzit´ım KIVFS protokolu. Umoˇzn ˇuje vytváˇret zprávy typu poˇzadavek ˇci odpovˇed’ a poskytuje funkce pro jejich spolehlivou v´ ymˇenu. Spr´ ava datov´ ych typ˚ u (core/kivfs-structs.h). Funkce poskytuj´ı jednotnou správu abstraktn´ıch datov´ ych typ˚ u a struktur vˇcetnˇe jejich serializace do pole bajt˚ u (a deserializaci). Spr´ ava vl´ aken (core/kivfs-thread.h). Funkce slouˇz´ı ke správˇe seznamu POSIX vláken a rozˇsiˇruj´ı moˇznosti jejich pouˇzit´ı. Logov´ an´ı (core/kivfs-logger.h). Funkce definuj´ı jednotn´ y formát pro tisknut´ı informac´ı na obrazovku ˇci do souboru a umoˇzn ˇuj´ı vyuˇz´ıvat systémov´ y log. Spr´ avu sezen´ı (core/kivfs-session.h). Funkce umoˇzn ˇuj´ı spravovat sezen´ı (tzv. session). Jde pˇredevˇs´ım o správu vˇsech navázan´ ych spojen´ı, zajiˇstˇen´ı bezpeˇcného pˇr´ıstupu do prostoru pamˇeti, kter´ y je sd´ılen mezi vˇsemi sezen´ımi. Popis chyb (core/kivfs-constants.h). Funkce zajiˇst’uj´ı popis vˇsech chyb, které se mohou v rámci systému vyskytnout.

3

Konkrétn´ı popis funkc´ı lze nalézt v dokumentaci, která je dostupná na pˇriloˇzeném CD.

32

8

Optimalizace datov´ eho u ´ loˇ ziˇ stˇ e KIVFS

Bˇehem implementace navrˇzen´ ych optimalizac´ı a rozˇs´ıˇren´ı bylo nutné pr˚ ubˇeˇznˇe zasahovat do p˚ uvodn´ıho schématu pouˇzité relaˇcn´ı databáze. Kv˚ uli zjednoduˇsen´ı vˇsechny dále popisované ˇreˇsen´ı poˇc´ıtaj´ı s jiˇz upraven´ ym a pˇripraven´ ym schématem databáze. Následuje proto jeho ERA model, kter´ y je uveden na obrázku ˇc. 14, a struˇcn´ y popis zmˇen.

Obrázek 14: ERA model souˇcasné databáze.

33

Tabulka entries • vznikla slouˇcen´ım tabulek files a directories, • obsahuje informace o vˇsech souborech, • pˇridány atributy umoˇzn ˇuj´ıc´ı nastaven´ı: – zákládn´ıch pˇr´ıstupov´ ych práv k souboru (pro vlastn´ıka, skupinu a ostatn´ı), – hodnot ˇc´ıtaˇc˚ u pˇr´ıstup˚ u k souboru (pro ˇcten´ı, zápis), – hodnot ˇc´ıtaˇc˚ u zámk˚ u souboru (pro ˇcten´ı, zápis), – typu souboru (bˇeˇzn´ y soubor, adresáˇr). Tabulka volumes • obsahuje informace o virtuáln´ıch svazc´ıch, • pˇridány atributy, které umoˇzn ˇuj´ı nastaven´ı: – kapacity svazku, – rezervovaného m´ısta. Tabulka replicas • obsahuje informace o replikách soubor˚ u, • pˇridány atributy, které umoˇzn ˇuj´ı nastaven´ı: – verze repliky, – ˇcasu posledn´ı modifikace repliky, obsahuj´ıc´ı informace o replikách soubor˚ u. Tabulka groups • obsahuje informace o vˇsech skupinách uˇzivatel˚ u, • pˇridány atribut oznaˇcuj´ıc´ı skupinu administrátor˚ u. Tabulka acl users • pˇridána z d˚ uvodu nutnosti efektivnˇe uchovávat informace o (jmenném) seznamu uˇzivatel˚ u, kteˇr´ı maj´ı pˇridˇelen pˇr´ıstup k souboru. Tabulka acl groups • pˇridána ze stejného d˚ uvodu jako tabulka acl users, ale pro skupiny. Tabulka sources • pˇridána kv˚ uli nutnosti uchovávat a spravovat informace o deduplikovan´ ych podsouborech.

34

Tabulka parts • pˇridána kv˚ uli nutnosti uchovávat informace o podsouborech. Tabulka entry descriptors • pˇridána kv˚ uli nutnosti uchovávat a spravovat informace o otevˇren´ ych souborech. Tabulka message logs • pˇridána kv˚ uli nutnosti uchovávat a spravovat poˇzadavky, na základˇe kter´ ych lze provést obnovu systému. Z potˇreby rychlého pˇr´ıstupu k souhrn´ ym informac´ım z v´ıce tabulek byly vytvoˇreny následuj´ıc´ı pohledy: Pohled actual replicas • obsahuje informace o aktuáln´ıch replikách souboru. Pohled storage states • obsahuje informace o aktuáln´ım stavu vˇsech svazk˚ u. Pohled source candidates • obsahuje seznam vˇsech duplicitn´ıch podsoubor˚ u, ze kter´ ych lze vytvoˇrit zdrojové podsoubory. Pohled duplicated parts • obsahuje seznam vˇsech duplicitn´ıch podsoubor˚ u, které jsou urˇcené k deduplikaci. Pohled deduplicated parts • obsahuje seznam vˇsech deduplikovan´ ych podsoubor˚ u.

8.1

Metadatov´ a mezivrstva

Implementovaná metadatová mezivrstva slouˇz´ı jako rozhran´ı mezi databázov´ ym systémem a metadatov´ ym serverem. Jej´ım c´ılem je spravovat a hlavnˇe poskytovat data uloˇzená v relaˇcn´ı databázi s vyuˇzit´ım abstrakn´ıch datov´ ych typ˚ u a struktur, které jsou definovány ve sd´ılené knihovnˇe libkivfscore, prostˇrednictv´ım tˇechto základn´ıch operac´ı: • v´ ybˇer záznam˚ u z databáze, • vloˇzen´ı nového záznamu do databáze,

35

• smazán´ı záznam˚ u z databáze, • u ´prava záznam˚ u v databázi. Jako pˇr´ıklad lze uvést operaci pro v´ ybˇer souboru z databáze, kter´ y je realizován volán´ım n´ıˇze uvedené funkce. Seznam vˇsech funkc´ı pro správu souboru v databázi, je uveden v pˇr´ıloze A. /* vybere soubor v adres´ aˇ ri s dan´ ym n´ azvem */ int db_get_file(db_transaction_t *transaction, kivfs_entry_t **p_entry, kivfs_entry_t *parent_entry, char *name);

// // // //

identifik´ ator transakce vybran´ y soubor rodiˇ covsk´ y adres´ aˇ r n´ azev souboru

V tˇelech tˇechto funkc´ı se generuje SQL pˇr´ıkaz, kter´ y se pˇredává vlastn´ımu databázovému konektoru k vykonán´ı. Ten v pˇr´ıpadˇe u ´spˇeˇsného vykonán´ı pˇr´ıkazu vrát´ı jeho v´ ysledek, kter´ y je dále zpracován a hodnoty z nˇej uloˇzeny do datov´ ych struktur. 8.1.1

Vlastn´ı datab´ azov´ y konektor

Pro pˇr´ıstup k dat˚ um uloˇzen´ ym v databázi se vyuˇz´ıvaj´ı funkce, které jsou poskytovány konektorem k MySQL. Jeho pouˇzit´ı znaˇcnˇe omezuje chybˇej´ıc´ı podpora sd´ılen´ı navázaného spojen´ı k databázovému systému (tzv. poolován´ı) mezi v´ıce vlákny. Tento problém je vyˇreˇsen pouˇzit´ım vlastn´ıho konektoru k databázovému systému, kter´ y v souˇcasné verzi implementován jako nadstavba MySQL konektoru. Pˇri inicializaci konektoru dojde k navázan´ı urˇcitého poˇctu spojen´ı k databázovému systému, kter´ y je dán parametrem pooling 4 v konfiguraˇcn´ım souboru serveru. Vˇsechna spojen´ı jsou poté uloˇzena do spojového seznamu sd´ıleného mezi vˇsemi vlákny. V pˇr´ıpadˇe, ˇze vlákno potˇrebuje pˇristupovat k dat˚ um uloˇzen´ ym v databázi, je vybráno spojen´ı, které je právˇe volné a nen´ı rezervováno ˇzádn´ ym dalˇs´ım vláknem. Toto spojen´ı je následnˇe oznaˇceno jako rezervované a vlákno m˚ uˇze skrze nˇej zaˇc´ıt vykonávát poˇzadované operace s daty. Po dokonˇcen´ı vˇsech operac´ı vlákno zruˇs´ı rezervaci spojen´ı a to je opˇet oznaˇceno jako volné. Poˇzaduje-li vlákno pˇr´ıstup k dat˚ um uloˇzen´ ym v databázi a vˇsechna spojen´ı jsou rezervovaná, pak zaloguje varovnou zprávu: Datababase connection limit has been reached. Please increase the pool limit in cofiguration file.

a následnˇe mus´ı ˇcekat, dokud u nˇekterého z nich nebude rezervace zruˇsena a nebude uvolnˇeno. D˚ uvodem pro omezen´ y poˇcet spojen´ı k databázovému serveru je ochrana proti DDoS u ´toku. Navázán´ı a uknoˇcen´ı spojen´ı lze realizovat prostˇrednictv´ım volán´ı n´ıˇze uveden´ ych funkc´ı. Seznam vˇsech dalˇs´ıch funkc´ı, které databázov´ y konektor poskytuje, je uveden v pˇr´ıloze B. 4

V´ ychoz´ı hodnota je 100 - tento poˇcet spojen´ı se bˇehem testován´ı v´ ykonnosti datového u ´loˇziˇstˇe projevil jako dostaˇcuj´ıc´ı.

36

/* nav´ aˇ ze spojen´ ı s datab´ azov´ ym syst´ emem */ int db_connect(char *host, // uint16 port, // char *user, // char *pass, // char *database, // unsigned int pool_size); //

IP adresa nebo hostname serveru port serveru uˇ zivatesl´ e jm´ eno uˇ zivatelsk´ e heslo n´ azev (sch´ ematu) datab´ aze max. poˇ cet spojen´ ı

/* ukonˇ c´ ı spojen´ ı s datab´ azov´ y syst´ emem */ void db_disconnect();

Pouˇzit´ı vlastn´ıho databázového konektoru umoˇzn ˇuje jednoduchou zmˇenu databázového systému. Té lze doc´ılit u ´pravou tˇel v´ yˇse uveden´ ych funkc´ı. Experimentálnˇe byly implementovány databázové konektory pro relaˇcn´ı databázové systémy Oracle a PostgreSql. V jejich v´ yvoji se zat´ım dále nepokraˇcuje. 8.1.2

Mapov´ an´ı relac´ı na datov´ e typy

Jednotliv´ ym relac´ım ve schématu databáze odpov´ıdaj´ı datové struktury, ke kter´ ym jsou k dispozici funkce pro správu. Jako pˇr´ıklad lze uvést datové struktury a funkce odpov´ıdaj´ıc´ı relaci mezi soubory a ACL, kter´ y je kv˚ uli své délce v pˇr´ıloze C.

8.2

Vzd´ alen´ y pˇ r´ıstup k soubor˚ um a relaˇ cn´ı s´ emantika jejich sd´ılen´ı

Nejvˇetˇs´ı zmˇena ˇreˇs´ıc´ı optimalizaci datového u ´loˇziˇstˇe byla provedena v rámci u ´pravy pˇr´ıstupu k soubor˚ um. Model upload/download byl nahrazen modelem vzdáleného pˇr´ıstupu k souboru a byla implementována relaˇcn´ı sémantika sd´ılen´ı soubor˚ u (zmˇeny v souboru jsou pro ostatn´ı uˇzivatele viditelné aˇz po jeho zavˇren´ı). V zásadˇe ˇslo o pˇridán´ı následuj´ıc´ıch moˇznost´ı pro práci se souborem: • otevˇr´ıt soubor v reˇzimu pro: – ˇcten´ı, – zápis, – zápis na konec souboru, – ˇcten´ı a zápis, a vytvoˇrit jeho popisovaˇc (tzv. file descriptor), • moˇznost nastavovat aktuáln´ı pozici v souboru, • uzavˇr´ıt soubor pomoc´ı jeho popisovaˇce. V´ ysledné ˇreˇsen´ı je popsáno formou jednotliv´ ych krok˚ u, které se odehravaj´ı na stranˇe serveru bˇehem pˇrenosu obsahu souboru mezi n´ım a klientem. Na obrázku ˇc. 15 jsou pro snaˇzˇs´ı pˇredstavu tyto kroky znázornˇeny.

37

Obrázek 15: Pˇrenos souboru.

8.2.1

Otevˇ ren´ı souboru

Poˇzadavek na otevˇren´ı souboru zpracovává metadatov´ y server. Ten po jeho pˇrijet´ı zjist´ı, kter´ y soubor má b´ yt otevˇren a v jakém reˇzimu. Seznam a popis jednotliv´ ych reˇzim˚ u je uveden v tabulce ˇc. 4. Poté ovˇeˇr´ı, zda je moˇzné soubor v daném reˇzimu otevˇr´ıt ovˇeˇren´ım následuj´ıc´ıch podm´ınek: 1. uˇzivatel má k souboru umoˇznˇen´ y pˇr´ıstup s ohledem na dostupn´ y seznam pˇr´ıstupov´ ych práv (zp˚ usob ovˇeˇren´ı pˇr´ıstupu k souboru je popsán v sekci 8.4), 2. soubor je odemˇcen (zp˚ usob ovˇeˇren´ı zámk˚ u soubor˚ u je popsán v sekci 8.5). Pokud soubor neexistuje a je otevˇren v reˇzimu pro zápis, je nutné jej vytvoˇrit. Do tabulky entries je vloˇzen nov´ y záznam reprezentuj´ıc´ı soubor. V závislosti na rodiˇcovském adresáˇri a k nˇemu pˇripojenému virtuáln´ımu svazku (záznamu z tabulky volumes), kter´ y slouˇz´ı jako pˇr´ıpojn´ y bod k jednotliv´ ym svazk˚ um souborov´ ych server˚ u (záznamy z tabulky servers), zjist´ı v´ ysledné fyzické um´ıstˇen´ı replik souboru (záznamy z tabulky storages). Pro kaˇzd´ y ze zjiˇstˇen´ ych svazk˚ u souborov´ ych server˚ u, se v tabulce replicas vytvoˇr´ı záznamy odpov´ıdaj´ıc´ı zat´ım prázdn´ ym replikám souboru. Jejich verze je nastavena na v´ ychoz´ı hodnotu jedna.

38

Reˇ zim Zápis Zápis na konec souboru ˇ ı a zápis Cten´ ˇ ı Cten´

Popis V pˇr´ıpadˇe, ˇze soubor neexistuje, je vytvoˇren. Obsah existuj´ıc´ıcho souboru je vynulován. V pˇr´ıpadˇe, ˇze soubor neexistuje, je vytvoˇren. Aktuáln´ı pozice v souboru je nastavena na jeho konec. V pˇr´ıpadˇe, ˇze soubor neexistuje, je vytvoˇren. Soubor mus´ı existovat.

Tabulka 4: Reˇzimy pro otevˇren´ı souboru.

Otevˇren´ı souboru je provedeno vloˇzen´ım nového záznamu do tabulky file descriptors, po kterém následuje poˇza´dán´ı souborového serveru o pˇripraven´ı se na pˇrenos jeho obsahu. Souborov´ y server otevˇre náhodn´ y port, kter´ y je urˇcen pouze pro pˇrenos právˇe otevˇreného souboru. Na závˇer tohoto kroku metadatov´ y server odeˇsle odpovˇed’ klientovi na poˇzadavek otevˇren´ı souboru. Ta obsahuje informace o otevˇreném souboru, IP adrese souborového serveru pˇripraveného na pˇrenos souboru a portu, na kterém poslouchá. 8.2.2

Pˇ r´ıprava na pˇ renos obsahu souboru

Pˇrenos obsahu souboru zaˇc´ıná pˇripojen´ım klienta k souborovému serveru. Ten okamˇzitˇe po navázán´ı spojen´ı zjist´ı od metadatového serveru souhrné informace o vˇsech aktuáln´ıch replikách souboru z pohledu actual replicas, které jsou dostupné, a také souborov´ ych serverech, jeˇz je spravuj´ı. Je-li jedn´ım z nich, pak opˇet od metadatového serveru zjist´ı dostupné informace o: • vˇsech podsouborech, které tvoˇr´ı obsah repliky (informace z tabulky parts), • svazku, na kterém jsou podsoubory uloˇzené (informace z tabulky storages), a je pˇripraven na záhájen´ı pˇrenosu obsahu repliky souboru. V pˇr´ıpadˇe, ˇze repliku souboru sám nespravuje, mus´ı vytvoˇrit tunel skrze souborové servery mezi sebou sam´ ym a t´ım, kter´ y ji spravuje. Poté veˇskerá jeho ˇcinnost sestává z pˇrepos´ılán´ı poˇzadavku do vytvoˇreného tunelu. Pro souborov´ y server na druhé stranˇe tunelu se souborov´ y server, ke kterému je pˇripojen klient, sám stává klientem. Vytváˇren´ı tunel˚ u je popsáno v sekci 8.9. 8.2.3

Pˇ renos obsahu souboru

Kv˚ uli zjednoduˇsen´ı je z dalˇs´ıho textu vynechán popis manipulace s podsoubory repliky, která je zvláˇst’ popsána v sekci 8.3. Je uvaˇzováno, ˇze replika je tvoˇrena jen jedn´ım souborem (podsouborem). Jakmile je souborov´ y server pˇripraven k pˇrenosu obsahu repliky souboru, m˚ uˇze zaˇc´ıt pˇrij´ımat poˇzadavky na ˇcten´ı nebo zápis klienta. Po kaˇzdém obdrˇzen´ı poˇzadavku mus´ı z bezpeˇcnostn´ıch d˚ uvod˚ u zjistit, zda je urˇcen pro p˚ uvodnˇe otevˇrenou repliku souboru a také jestli aktuáln´ı operace odpov´ıdá jeho reˇzimu otevˇren´ı.

39

Jde-li o poˇzadavek, kter´ y zapisuje do repliky souboru, pak vyhodnot´ı, zda je nutné rezervovat m´ısto pro nová data a pˇr´ıpadnˇe se o to pokusit. K tomu dojde jen tehdy, je-li zapisováno na konec repliky souboru5 . Rezervace m´ısta je popsáná v sekci 8.8.1. S pomoc´ı metadového serveru zjist´ı aktuálnˇe nastavenou pozici v replice souboru. Pokud odpov´ıdá pozici po posledn´ı provedené operaci, m˚ uˇze pokraˇcovat v práci s aktuálnˇe otevˇrenou replikou souboru. Jestliˇze byla pozice klientem zmˇenˇena nebo zat´ım nebyla otevˇrena ˇza´dná replika souboru, pak mus´ı naj´ıt a otevˇr´ıt pˇr´ısluˇsnou repliku souboru. Tento mechanismus zajiˇst’uje minimáln´ı reˇzii manipulace se soubory, jejichˇz obsah m˚ uˇze b´ yt zaˇsifrován (sekce 8.7), a zvyˇsuje tak odolnost serveru v˚ uˇci nadmˇernému zat´ıˇzen´ı, ke kterému by jinak mohlo doj´ıt v pˇr´ıpadˇe ˇcastého provádˇen´ı operac´ı ˇcten´ı ˇci zápisu po mal´ ych bloc´ıch. V tuto chv´ıli zaˇc´ıná pˇrenos obsahu otevˇrené repliky souboru. Klient vˇzdy pos´ılá poˇzadavek, ve kterém je uvedeno, kolik dat chce pˇreˇc´ıst ˇci zapsat. V pˇr´ıpadˇe operace pro ˇcten´ı, server jen ˇcte pˇr´ımo z otevˇrené repliky souboru a pos´ılá jeho obsah. V pˇr´ıpadˇe zápisu je pˇred samotn´ ym otevˇren´ım repliky souboru vytvoˇrena jej´ı doˇcasná kopie, do které je následnˇe zapisováno. Po u ´spˇeˇsném dokonˇcen´ı zápisu je p˚ uvodn´ı replika souboru nahrazena jej´ı kopi´ı. Tento pˇr´ıstup zajiˇst’uje, ˇze v pˇr´ıpadˇe v´ yskytu jakékoliv chyby (napˇr. v´ ypadek serveru) je zajiˇstˇen konzistentn´ı stav p˚ uvodn´ı repliky souboru. Nen´ı-li pˇrenos dokonˇcen, server zopakuje pˇredchoz´ı krokem - zjist´ı posledn´ı nastavenou pozici v replice souboru a pˇriprav´ı se na dalˇs´ı pˇrenos. 8.2.4

Dokonˇ cen´ı pˇ renosu obsahu souboru

Ukonˇcen´ı pˇrenosu obsahu souboru je detekováno obdrˇzen´ım informace od metadatového serveru, ˇze soubor byl zavˇren. Doˇslo-li bˇehem pˇrenosu ke zmˇenˇe repliky souboru, pak souborov´ y server zv´ yˇs´ı jej´ı verzi a odeˇsle zprávu synchronizaˇcn´ı vrstvˇe obsahuj´ıc´ı: • jednoznaˇcn´ y identifikátor repliky, • seznam podsoubor˚ u tvoˇr´ıc´ıch obsah repliky, • verze repliky. Synchronizaˇcn´ı vrstva zajist´ı propagaci zprávy na vˇsech metadatov´ ych serverech, jeˇz zaregistruj´ı aktualizaci repliky a pˇr´ısluˇsn´ ych podsoubor˚ u upraven´ım odpov´ıdaj´ıc´ıch záznam˚ u v tabulkách replicas a parts. Z hlediska souborového serveru je v tuto chv´ıli pˇrenos souboru dokonˇcen a zav´ırá port. 8.2.5

Uzavˇ ren´ı souboru

Poˇzadavek na zavˇren´ı souboru zpracovává opˇet metadatov´ y server. Po jeho pˇrijet´ı zjist´ı z tabulky file descriptors: 5

K rezervaci m´ısta dojde i v pˇr´ıpadˇe zapisován´ı do repliky právˇe vytvoˇreného souboru.

40

• kter´ y soubor má b´ yt zavˇren, • v jakém reˇzimu byl soubor otevˇren. V závislosti na z´ıskan´ ych informac´ıch odstran´ı pˇr´ısluˇsn´ y záznam z tabulky u souboru v tabulce entries. Následnˇe oznám´ı file descriptors a uprav´ı stav zámk˚ souborovému serveru, ˇze soubor byl zavˇren a jeho pˇrenos má b´ yt ukonˇcen. Posledn´ım krokem je odeslán´ı odpovˇedi klientovi, ˇze soubor byl zavˇren. V tuto chv´ıli je cel´ y pˇrenos souboru u ´spˇeˇsnˇe ukonˇcen. Pokud byla bˇehem pˇrenosu souboru zmˇenˇena jeho replika, ostatn´ı jeho repliky jsou v nekonzistentn´ım stavu. Návrat zpˇet ke konzistentn´ımu stavu prostˇredn´ıctv´ım replikace je popsán v sekci 8.10.

8.3

Rozdˇ elov´ an´ı souboru do podsoubor˚ u

Souborov´ y server bˇehem zápisu do repliky souboru pr˚ ubˇeˇznˇe kontroluje jej´ı velikost. V pˇr´ıpadˇe, ˇze dosáhne urˇcité velikosti bloku dat, kter´ y je definován v konfiguraˇcn´ım souboru jako hodnota parametru blocksize 6 , pak soubor uzavˇre a zaˇcne zapisovat do dalˇs´ıho souboru. Replika je ve v´ ysledku tvoˇrena z jednoho a v´ıce podsoubor˚ u. Podsoubory jsou organizované dle navrˇzené struktury pro ukládán´ı dat[18]. Poˇcet soubor˚ u v jednom adresáˇri je definován v konfiguraˇcn´ım souboru jako hodnota parametru files count 7 . Souborov´ y server odes´ılá po kaˇzdém zápisu seznam vˇsech vytvoˇren´ ych podsoubor˚ u tvoˇr´ıc´ıch obsah repliky souboru metadatovému serveru, kter´ y je eviduje v tabulce parts.

8.4

Seznam pˇ r´ıstupov´ ych pr´ av

Zabezpeˇcen´ı omezuj´ıc´ı pˇr´ıstup ke sd´ılen´ ym soubor˚ um bylo v rámci metadatového serveru implementováno pomoc´ı ovˇeˇrován´ı pˇr´ıstupu v závislosti na seznamu pˇr´ıstupov´ ych práv (ACL), které vycház´ı z POSIX standardu.[24] Tabulka ˇc. 5 obsahuje pˇrehled dostupn´ ych pˇr´ıstupov´ ych práv. Kaˇzd´ y soubor (adresáˇr) z tabulky entries má pevnˇe definovaná práva pro: • vlastn´ıka, • vlastnickou skupinu, • ostatn´ı, • masku práv8 , 6

V´ ychoz´ı hodnota je 1GB a byla zvolena na základˇe proveden´ ych mˇeˇren´ı v mé bakaláˇrské pr´ aci.[18] 7 V´ ychoz´ı hodnota je 5000 soubor˚ u v jednom adresáˇri a byla zvolena na základˇe proveden´ ych mˇeˇren´ı v mé bakal´ aˇrské pr´ aci.[18] 8 Maska pr´ av omezuje existuj´ıc´ı práva pro vlastnickou skupinu a ostatn´ı uˇzivatele (narozd´ıl od souborové masky).

41

vˇcetnˇe jejich v´ ychoz´ıch variant. Ke kaˇzdému souboru je nav´ıc moˇzné pˇriˇradit zvláˇst’ definovaná práva pro roli (nebo v´ ychoz´ı roli), která m˚ uˇze b´ yt typu uˇzivatel ˇci skupina. V rámci databáze jsou tyto dodateˇcnˇe nastavená pˇr´ıstupová práva spravována v tabulkách acl users a acl groups. Práva u novˇe vytvoˇren´ ych soubor˚ u ˇci adresáˇr˚ u jsou urˇcena dle v´ ychoz´ıch práv jejich nadˇrazeného adresáˇre. Z práv novˇe vytvoˇreného souboru je automaticky odebráno právo na spouˇstˇen´ı. V´ ychoz´ı práva pro koˇrenov´ y adresáˇr a vˇsechny v nˇem vytvoˇrené adresáˇre jsou 755 a maska 7. U novˇe vytvoˇren´ ych soubor˚ u jsou nastavaná práva 644 a maska 7. V´ ychoz´ı práva u novˇe vytvoˇren´ ych adresáˇr˚ u jsou zdˇedˇena od jejich nadˇrazeného adresáˇre. V´ ychoz´ı práva u novˇe vytvoˇren´ ych soubor˚ u se nedˇed´ı. Osmiˇ ckovˇ e 0 1 2 3 4 5 6 7

ˇ apis Cten´ ı Z´ ne ne ne ne ne ano ne ano ano ne ano ne ano ano ano ano

Spuˇ stˇ en´ı ne ano ne ano ne ano ne ano

Tabulka 5: Pˇr´ıstupová práva k soubor˚ um

8.4.1

Vyhodnocen´ı omezen´ eho pˇ r´ıstupu k souboru

Metadatov´ y server vyhodnocuje, zda má uˇzivatel povolen´ y pˇr´ıstup k souboru v závislosti na pˇriˇrazen´ ych ACL záznamech dle algoritmu znázornˇeného pomoc´ı v´ yvojového diagramu na obrázku ˇc. 16.

42

Obrázek 16: Vyhodnocen´ı povolen´ı pˇr´ıstupu k souboru s vyuˇzit´ım ACL.

43

8.4.2

Spr´ ava seznamu pˇ r´ıstupov´ ych pr´ av

Je-li uˇzivatel vlastn´ık souboru nebo je zaˇclenˇen do skupiny admistrátor˚ u, má moˇznost pomoc´ı pˇr´ıkaz˚ u (poˇzadavk˚ u), které jsou uvedeny v tabulce ˇc. 6, mˇenit atributy souboru, jeˇz se t´ ykaj´ı pˇr´ıstupov´ ych práv k nˇemu. Pˇ r´ıkaz KIVFS chown chgroup chmod

dchmod

setfacl

getfacl

Parametry K´ od Form´ at dat uˇzivatel 45 %s soubor %s skupin 46 %s soubor %s maska 47 %d práva %d%d%d soubor %s maska 48 %d práva %d%d%d soubor %s typ 49 %d role %d práva %d soubor %s soubor 50 %s

Popis Nastav´ı vlastn´ıka. Nastav´ı vlastnickou skupinu. Nastav´ı pˇr´ıstupová práva (vlastn´ıka, vlastnické skupiny, ostatn´ıch) a jejich masku. Nastav´ı v´ ychoz´ı pˇr´ıstupová práva (vlastn´ıka, vlastnické skupiny, ostatn´ıch) a jejich masku. Nastav´ı pˇr´ıstupová práva pro danou roli (vytvoˇr´ı ˇci uprav´ y jmenn´ y záznam). Z´ıská ACL pˇriˇrazené k souboru.

Tabulka 6: Pˇr´ıkazy (poˇzadavky) pro správu pˇr´ıstupová práv soubor˚ u

8.5

´ Uprava vz´ ajemn´ eho vylouˇ cen´ı pˇ r´ıstupu k soubor˚ um

Kaˇzd´ y soubor lze zamknout pro ˇcten´ı nebo zápis. Zámky jsou implementované jako ˇc´ıtaˇce, jejichˇz hodnota odpov´ıdá jejich aktuáln´ımu stavu. Kv˚ uli zajiˇstˇen´ı stavovosti serveru jsou hodnoty zámku ukládány do tabulky entries a to konkrétnˇe do hodnot sloupc˚ u read locks a write locks. Pˇri kaˇzdém pˇr´ıstupu k obsahu souboru je ovˇeˇren stav jeho zámk˚ u. Dle reˇzimu, ve kterém je potˇreba soubor otevˇr´ıt, se dle následuj´ıc´ıch pravidel vyhodnot´ı, zda je moˇzné soubor zamknout: Pro ˇ cten´ı. Soubor lze otevˇr´ıt pro ˇcten´ı, je-li hodnota ˇc´ıtaˇce zámk˚ u pro zápis nulová. Pokus o zamknut´ı souboru pro ˇcten´ı odpov´ıdá následuj´ıc´ımu zjednoduˇsenému pseudokódu: kivfs_entry_t entry; ... /* inicializace promˇ enn´ e entry pomoc´ ı * hodnot z´ ıskan´ ych z datab´ aze */

44

if (entry.write_locks) { /* soubor je zamˇ cen pro z´ apis, * nen´ ı moˇ zn´ e jej zamknout pro ˇ cten´ ı */ } else { entry.write_locks++; /* soubor je moˇ zn´ e * zamknout pro z´ apis */ ... /* uloˇ zen´ ı hodnot z entry do datab´ aze */ }

Pro z´ apis. Soubor lze otevˇr´ıt pro zápis, je-li hodnota ˇc´ıtaˇce zámk˚ u pro ˇcten´ı i zápis nulová. Pokus o zamknut´ı souboru pro zápis odpov´ıdá následuj´ıc´ımu zjednoduˇsenému pseudokódu: kivfs_entry_t entry; ... /* inicializace promˇ enn´ e entry pomoc´ ı * hodnot z´ ıskan´ ych z datab´ aze */ if ((entry.read_locks + entry.write_locks)) { ... /* soubor je zamˇ cen pro ˇ cten´ ı nebo z´ apis, * nen´ ı moˇ zn´ e jej zamknout pro z´ apis */ } else { entry.write_locks++; /* soubor je moˇ zn´ e * zamknout pro z´ apis */ ... /* uloˇ zen´ ı hodnot z entry do datab´ aze */ }

8.6

Podpora klientsk´ e lok´ aln´ı cache

Klientské aplikace na základˇe ˇcetnosti pˇr´ıstupu k soubor˚ um vyhodnocuj´ı statistiky pouˇz´ıván´ı souboru. Z´ıskané hodnoty pak pouˇz´ıvaj´ı k rozhodnut´ı, zda soubor maj´ı vyˇradit z lokáln´ı cache. Metadatov´ y server ˇcetnost pˇr´ıstup˚ u zajiˇst’uje pomoc´ı správy tˇr´ı ˇc´ıtaˇc˚ u: ˇ ıtaˇ C´ c pˇ r´ıstup˚ u pro z´ apis. Jeho hodnota se zvyˇsuje pˇri: • vytvoˇren´ı souboru nebo adresáˇre, • otevˇren´ı souboru v nˇekterém z reˇzim˚ u pro zápis, • zmˇenˇe atribut˚ u souboru nebo adresáˇre. ˇ ıtaˇ C´ c pˇ r´ıstup˚ u pro ˇ cten´ı. Jeho hodnota se zvyˇsuje pˇri: • otevˇren´ı souboru v reˇzimu pro ˇcten´ı, • vylistován´ı obsahu adresáˇre, • pˇreˇcten´ı atribut˚ u souboru nebo adresáˇre. ˇ ıtaˇ C´ c glob´ aln´ıch pˇ r´ıstup˚ u. Jeho hodnota je rovna souˇctu hodnot ˇc´ıtaˇc˚ u pro ˇcten´ı a pro zápis vˇsech soubor˚ u.

45

Hodnoty ˇc´ıtaˇc˚ u pˇr´ıstup˚ u pro ˇcten´ı a zápis jsou ukládány do tabulky entries, ve které se konkrétnˇe se jedná o sloupce read hits a write hits. Jejich hodnoty jsou po v´ ybˇeru z databáze dostupné srkze poloˇzky read hits a write hits v datové sturktuˇre kivfs file t (pˇr´ıloha C). Klient proto hodnoty obdrˇz´ı pˇri kaˇzdém poˇzadavku na: • v´ ypis obsahu adresáˇre (poˇzadavek KIVFS READDIR), kdy server pos´ılá informace o souborech v podobˇe spojového seznamu, jehoˇz poloˇzky jsou právˇe typu kivfs file t, • poskytnut´ı informac´ı o souboru (poˇzadavek KIVFS FILE INFO). Hodnotu globáln´ıho ˇc´ıtaˇce pˇr´ıstup˚ u k soubor˚ um metadatov´ y server klientovi poskytuje na vyˇza´dán´ı (v odpovˇedi na poˇzadavek KIVFS GLOBAL HITS).

8.7

Transparentn´ı pˇ r´ıstup k ˇ sifrovan´ ym dat˚ um

Souborov´ y server zabezpeˇcuje a kontroluje uloˇzená data pomoc´ı funkc´ı pro: • symetrické ˇsifrován´ı, • spoˇc´ıtán´ı kontroln´ıch souˇct˚ u, dostupn´ ych z knihovny Libgcrypt, která je poskytována pod licenc´ı GNU/GPL.[16] 8.7.1

Pouˇ zit´ e algoritmy

K symetrickému blokovému ˇsifrován´ı obsahu souboru souborov´ y server pouˇz´ıvá algoritmus Advanced Encryption Standard s délkou kl´ıˇce 256 bit˚ u (AES-256). Kl´ıˇc je uveden v konfiguraˇcn´ım souboru (hodnota parametru encryption key) kaˇzdého serveru. Pro vytváˇren´ı kontroln´ıch souˇct˚ u obsahu souboru vyuˇz´ıvá souborov´ y server algoritmus Secure Hash Algorithm s délkou v´ ysledného ˇretˇezce 512 bit˚ u (SHA-512). D˚ uvodem pouˇzit´ı tak sloˇzitého algoritmu pro kontroln´ı souˇcty je snaha o eliminaci pˇr´ıpadn´ ych koliz´ı, ke kter´ ym dojde pˇri shodném kontroln´ım souˇctu dvou r˚ uzn´ ych soubor˚ u. Ta je v tomto pˇr´ıpadˇe naprosto minimáln´ı. V pˇr´ıpadˇe nutnosti lze pouˇzité algoritmy jednoduˇse zamˇenit za jiné, které jsou knihovnou Libgcrypt podporovány.[17] 8.7.2

Transparentn´ı pˇ r´ıstup k ˇ sifrovan´ ym soubor˚ um

Pro zajiˇstˇen´ı transparentn´ıho pˇr´ıstupu k ˇsifrovan´ ym soubor˚ um bylo vytvoˇreno rozhran´ı, které poskytuje potˇrebné funkce. Ty jsou uvedeny v pˇr´ıloze B. Pomoc´ı tohoto rozhran´ı souborov´ y server m˚ uˇze: Otevˇ r´ıt ˇ sifrovan´ y soubor ˇ cten´ı a z´ apis. Vytváˇr´ı se doˇcasn´ y soubor, kter´ y obsahuje nezaˇsifrovan´ y obsah p˚ uvodn´ıho souboru. D´ıky tomu lze v doˇcasném souboru napˇr. libovolnˇe nastavovat aktuáln´ı pozici v souboru a pˇrepisovat data na n´ı, aniˇz by bylo nutné se nˇejak starat o ˇsifrován´ı.

46

Otevˇ r´ıt ˇ sifrovan´ y soubor z´ apis. Ze stejného d˚ uvodu jako v pˇredchoz´ım bodˇe se vytváˇr´ı doˇcasn´ y soubor o nulové velikosti. Nen´ı tˇreba kop´ırovat obsah p˚ uvodn´ıho souboru, nebot’ pˇri otevˇren´ı souboru v reˇzimu jen pro zápis je jeho p˚ uvodn´ı obsah vynulován. ˇ Otevˇ r´ıt ˇ sifrovan´ y soubor ˇ cten´ı. Sifrovan´ y soubor se otev´ırá pˇr´ımo. Zapisovat do ˇ sifrovan´ eho souboru. Zápis je provádˇen do nezaˇsifrovaného doˇcasného souboru. ˇ ı je provádˇeno pˇr´ımo ze zaˇsifrovaného souˇ ıst ze ˇ C´ siforvan´ eho souboru. Cten´ boru. Zavˇ r´ıt ˇ sifrovan´ y soubor. Je-li soubor otevˇren reˇzimu pro zápis, pak existuje doˇcasn´ y soubor, do kterého mohlo b´ yt zapisováno. Jestliˇze se jeho obsah liˇs´ı od obsahu p˚ uvodn´ıho souboru, pak jej mus´ı nahradit. Nahrazen´ı p˚ uvodn´ıho souboru prob´ıhá kop´ırován´ım doˇcasného souboru na jeho m´ısto. Bˇehem kop´ırován´ı se zapisovaná data pˇreˇctená z doˇcasného souboru pr˚ ubˇeˇznˇe ˇsifruj´ı. Zároveˇ n se poˇc´ıtá kontroln´ı souˇcet souboru. Po dokonˇcen´ı nahrazován´ı je doˇcasn´ y soubor smazán. Jestliˇze je soubor otevˇren v reˇzimu pro ˇcten´ı, pak jej staˇc´ı zavˇr´ıt bˇeˇzn´ ym zp˚ usobem, nebot’ se jeho obsah nezmˇenil a nen´ı tedy potˇreba pˇrepoˇc´ıtávat kontroln´ı souˇcet jeho obsahu. Souborov´ y server kv˚ uli doˇcasn´ ym soubor˚ um, se kter´ ymi transparentnˇe pracuje, nikdy nezapisuje bˇehem pˇrenosu souboru pˇr´ımo do c´ılov´ ych podsoubor˚ u repliky soubor˚ u (replik). Znaˇcnˇe se tak sniˇzuje pravdˇepodobnost, ˇze j´ım spravovaná data budou poˇskozena vlivem v´ yskytu chyby bˇehem pˇrenosu souboru.

8.8

Kv´ oty virtu´ aln´ıch svazk˚ u

V tabulce volumes obsahuj´ıc´ı informace o virtuáln´ıch svazc´ıch je ve sloupci capacity nastavována hodnota udávaj´ıc´ı jejich kapacitu. Jej´ı hodnotu urˇcuje správce KIVFS, kter´ y mus´ı brát na vˇedom´ı fakt, ˇze je dána nejmenˇs´ı kapacitou jednoho z k nˇemu pˇripojen´ ych svazk˚ u souborov´ ych server˚ u. Pomoc´ı kapacity virtuáln´ıch svazk˚ u lze omezit kvóty jednotliv´ ych adresáˇr˚ u z tabulky entries, se kter´ ymi uˇzivatelé pracuj´ı a ukládaj´ı do nich soubory. U novˇe vytvoˇreného adresáˇre plat´ı stejná kvóta, která je nastavená u rodiˇcovského adresáˇre. Správce systému m˚ uˇze v databázi definovat, ˇze napˇr. koˇrenov´ y adresáˇr má kapacitu 10GB a domovské adresáˇre uˇzivatel˚ u maj´ı kapacitu 30GB. Pˇr´ıklad je uveden v tabulkách ˇc. 7 a 9. Virtu´ aln´ı svazek Svazek A Svazek B

Kapacita 10GB 30GB

Tabulka 7: Kapacita virtuáln´ıch svazk˚ u

47

Adres´ aˇ r / /home

Pˇ ripojen´ y virtu´ aln´ı svazek svazek a svazek B

V´ ysledn´ a kv´ ota 10GB 30GB

Tabulka 8: Kvóty adresáˇr˚ u

Aktuálnˇe dostupná kapacita virtuáln´ıho svazku, resp. k nˇemu pˇripojen´ ych svazk˚ u souborov´ ych server˚ u, je dána rozd´ılem jeho kapacity a celkov´ ym souˇctem vˇsech soubor˚ u, které jsou na nˇem uloˇzené. Kv˚ uli potˇrebˇe rychlého pˇr´ıstupu k tˇemto inforych mac´ım byl vytvoˇren pohled storage states popisuj´ıc´ı aktuáln´ı stavy jednotliv´ svazk˚ u. Kv˚ uli relaˇcn´ı sémantice sd´ılen´ı soubor˚ u je nutné ˇreˇsit problém zajiˇstˇen´ı respektován´ı kvót i v pˇr´ıpadˇe, kdy docház´ı k zápisu do dvou soubor˚ u najednou. Protoˇze zmˇeny jsou viditelné aˇz po uzavˇren´ı souboru, je nutné zajistit dodrˇzen´ı kvót. To je zajiˇstˇeno prostˇredn´ıctv´ım rezervace m´ısta na virtuáln´ım svazku a jeho uvaˇzován´ım pˇri poˇc´ıtán´ı aktuálnˇe dostupné kapacity. 8.8.1

Rezervace m´ısta

Rezervované m´ısto je dalˇs´ı vlastnost virtuáln´ıch svazk˚ u uveden´ ych v tabulce volumes. Odpov´ıdá hodnotˇe ve sloupci reserved a udává, kolik bajt˚ u bylo zapsáno bˇehem pˇrenosu souboru na server, ale zat´ım nebylo uloˇzeno. Pˇred zpracován´ım kaˇzdého poˇzadavku od klienta na zápis do repliky souboru souborov´ y server poˇc´ıtá, kolik bajt˚ u je nutno rezervovat. Je-li tato hodnota nenulová, odeˇsle poˇzadavek k rezervaci m´ısta synchronizaˇcn´ı vrstvˇe, která zajist´ı jeho propagaci na vˇsech metadatov´ ych serverech. V pˇr´ıpadˇe, ˇze je poˇzadavek u ´spˇeˇsnˇe vyˇr´ızen, zapoˇc´ıtá rezervované m´ısto do celkového poˇctu rezervovan´ ych bajt˚ u. Pokud je poˇzadavek vyˇr´ızen ne´ uspˇeˇsnˇe, pak doˇslo k zaplnˇen´ı volného m´ısta a informuje o tom klienta. Souborov´ y server po dokonˇcen´ı zápisu do souboru a jeho zavˇren´ı odeˇsle celkov´ y poˇcet rezerevovan´ ych bajt˚ u v rámci poˇzadavku na zruˇsen´ı jejich rezervace (soubor jiˇz je nahrán) synchronizaˇcn´ı vrstvˇe. Ta opˇet zajist´ı propagaci poˇzadavku na vˇsech metadatov´ ych serverech a rezervace m´ısta je zruˇsena. 8.8.2

Spr´ ava kv´ ot

Je-li uˇzivatel zaˇclenˇen do skupiny admistrátor˚ u, pak má moˇznost pomoc´ı pˇr´ıkaz˚ u (poˇzadavk˚ u), které jsou uvedeny v tabulce ˇc. 9, nastavovat kvóty jednotliv´ ych virtuáln´ıch svazk˚ u.

8.9

Tunelov´ an´ı pˇ renosu souboru

Je-li klient pˇripojen k souborovému serveru a poˇzaduje po nˇem pˇrenos repliky souboru, kterou nespravuje, pak souborov´ y server mus´ı zprostˇredkovat transparetn´ı spojen´ı s jin´ ym souborov´ ym serverem, kter´ y ji spravuje. Aby mohl vytvoˇrit spojen´ı, v rámci kterého bude zajiˇstˇena nejlepˇs´ı pˇrenosová rychlost, potˇrebuje znát informace

48

Pˇ r´ıkaz KIVFS df

Parametry

K´ od Form´ at dat 544

quota

název virt.svazku kvóta

545

%s %llu

Popis Z´ıská informace o kvótách virtuáln´ıch svazk˚ u. Nastav´ı kvótu pro virtuáln´ı svazek s dan´ ym názvem.

Tabulka 9: Pˇr´ıkazy (poˇzadavky) pro správu kvót virtuáln´ıch svazk˚ u

o aktuálnˇe nejvhodnˇejˇs´ım souborovém serveru, ke kterému se má pˇripojit. Ty mu dodává synchronizaˇcn´ı vrstva. Kv˚ uli moˇznosti v´ yskytu latenc´ı u jednotliv´ ych linek mezi servery, m˚ uˇze b´ yt m´ısto pˇr´ımého spojen´ı s c´ılov´ ym souborov´ ym serverem vhodnˇejˇs´ı navázat s n´ım spojen´ı pˇres dalˇs´ı souborov´ y server. Proto informace o aktuálnˇe nejvhodnˇejˇs´ım souborovém serveru obsahuje i seznam souborov´ ych server˚ u, pˇres které je nutné spojen´ı realizovat. Toto spojen´ı je dále oznaˇcované jako tunel. 8.9.1

Vytvoˇ ren´ı tunelu

Synchronizaˇcn´ı vrstva pr˚ ubˇeˇznˇe pos´ılá souborov´ ym server˚ um informace v podobˇe smˇerovac´ı tabulky obsahuj´ıc´ı informace o aktuálnˇe nejlepˇs´ıch cestách pro realizaci spojen´ı mezi jednotliv´ ymi servery (poˇzadavek KIVFS ROUTE PUSH). U kaˇzdé cesty je uvedeno i jej´ı ocenˇen´ı. Smˇerovac´ı tabulka je realizována spojov´ ym seznamem, jej´ıˇz poloˇzky jsou n´ıˇze uvedené datové struktury, a kaˇzd´ y souborov´ y server si j´ı po pˇrijet´ı uchovává v pamˇeti (obrázek ˇc. 17). typedef struct { uint64 id; int ip; char *ip_text; } kivfs_route_node_t;

// // // //

ID uzlu (serveru) IP adresa uzlu IP adresa uzlu v~textov´ e formˇ e uzel

typedef struct { kivfs_route_node_t *dst_node; int32 cost; kivfs_list_t *nodes; } kivfs_route_t;

// // // //

c´ ılov´ y uzel ocenˇ en´ ı cesty seznam uzl˚ u v cestˇ e cesta (poloˇ zka v routovac´ ı tabulce)

Klient vyhodnocuje dostupnost vˇsech znám´ ych server˚ u a vˇzdy navazuje spojen´ı k ze svého pohledu nejdostupnˇejˇs´ımu serveru. Pˇrijde-li souborovému serveru, ke kterému je klient právˇe pˇripojen, poˇzadavek na pˇrenos repliky souboru, kterou nespravuje, vybere na základˇe porovnán´ı ocenˇen´ı jednotliv´ ych cest ze své smˇerovac´ı tabulky nejvhodnˇejˇs´ı souborov´ y server, jeˇz ji spravuje a také cestu, pˇres které uzly (souborové servery) je moˇzné se k nˇemu pˇripojit. Poté naváˇze spojen´ı s prvn´ım uzlem z cesty, kterému odeˇsle poˇzadavek na vytvoˇren´ı tunelu (KIVFS CREATE TUNNEL) obsahuj´ıc´ı seznam uzl˚ u. Ten z tohoto seznamu odebere sám sebe a pokud nen´ı posledn´ım c´ılov´ ym uzlem, pak jej pˇrepoˇsle dál. Postupnˇe tak dojde k realizaci tunelu.

49

Obrázek 17: Smˇerovac´ı tabulka v pamˇeti souborového serveru.

Pokud dojde k situaci, kdy souborov´ y server nenajde ˇzádnou vhodnou cestu, pokus´ı se realizovat pˇr´ımé spojen´ı s jedn´ım ze server˚ u, kter´ y repliku spravuje. Souborov´ y server, ke kterému je klient pˇripojen, pˇrepos´ılá poˇzadavky na pˇrenos repliky souboru c´ılovému souborovému serveru pˇres vytvoˇren´ y tunel, skrze kter´ y následnˇe prob´ıhá i pˇrenos obsahu souboru. Klient má d´ıky tomu zaruˇcenou dostupnost repliky souboru z kaˇzdého serveru a zároveˇ n nejvyˇsˇs´ı moˇznou rychlost pro pˇrenos jeho obsahu.

8.10

Replikace

Klient zapisuje bˇehem pˇrenosu souboru vˇzdy do jeho repliky s aktuáln´ı (nejvyˇsˇs´ı) verz´ı. Souborov´ y server spravuj´ıc´ı tuto repliku souboru po dokonˇcen´ı pˇrenosu zv´ yˇs´ı jej´ı verzi a skrze synchronizaˇcn´ı vrstvu odeˇsle poˇzavek na zmˇenu stavu repliky ym server˚ um. Repliky (poˇzadavek KIVFS UPDATE REPLICA) vˇsem metadatov´ s niˇzˇs´ı verz´ı jsou v tuto chv´ıli v nekonzistentn´ım stavu (zastaralé). Po u ´spˇeˇsné zmˇenˇe stavu repliky oznám´ı souborov´ y server ostatn´ım souborov´ ym server˚ um, ˇze mohou zahájit replikaci (poˇzadavek KIVFS RUN REPLICATION). Ostatn´ı souborové servery následnˇe synchronizuj´ı vˇsechny jimi spravované zastaralé repliky souboru s jeho aktuáln´ı replikou. Postupnˇe tak dojde znovunavrácen´ı vˇsech replik souboru do konzistentn´ıho stavu. Replikaci na kaˇzdém souborovém serveru zajiˇst’uje na pozad´ı bˇeˇz´ıc´ı vlákno, které slouˇz´ı jako replikaˇcn´ı manaˇzer. Proces replikace popsán v následuj´ıc´ıch podsekc´ıch popisuj´ıc´ıch jednotlivé kroky, které replikaˇcn´ı manaˇzer vykonává. 8.10.1

Zjiˇ stˇ en´ı zastaral´ ych replik

Replikaˇcn´ı manaˇzer se po pˇrijet´ı informace, ˇze m˚ uˇze zahájit replikaci (poˇzadavek KIVFS RUN REPLICATION), dotáˇze metadatového serveru, které zastaralé

50

repliky soubor˚ u spravuje. Následnˇe zaháj´ı jejich postupnou aktualizaci a obnovu jejich konzistentn´ıho stavu. Aby byla zajiˇstˇena replikace i po pˇredcházej´ıc´ım ne´ uspˇeˇsném pokusu o replikaci zp˚ usobeném napˇr. neˇcekan´ ym v´ ypadkem souborového serveru, replikaˇcn´ı manaˇzer se pr˚ ubˇeˇznˇe v dan´ ych ˇcasov´ ych intervalech, které jsou definovány v konfiguraˇcn´ım ychoz´ı hodnota je 5 souboru serveru jako hodnota parametru replication interval (v´ minut), dotazuje metadatového serveru, zda nespravuje repliky souboru se zastaralou verz´ı. Pokud ne, pak jsou vˇsechny repliky, které spravuje, v konzistetn´ım stavu a m˚ uˇze ˇcekat, neˇz dostane dalˇs´ı oznámen´ı o tom, ˇze m˚ uˇze zahájit replikaci (poˇzadavek y interval pro replikaci. KIVFS RUN REPLICATION), nebo neˇz vyprˇs´ı dalˇs´ı ˇcasov´ V opaˇcném pˇr´ıpadˇe mus´ı zahájit jejich jiˇz zm´ınˇenou postupnou aktualizaci a obnovu konzistentn´ıho stavu. 8.10.2

Zjiˇ stˇ en´ı aktu´ aln´ıch replik

Po vyhodnocen´ı, ˇze spravuje zastaralou repliku souboru, která je v nekonzistentn´ım stavu, mus´ı zjistit, z jak´ ych zdroj˚ u lze stáhnout jej´ı aktuáln´ı verzi. Dotazuje se proto metadatového serveru na seznam aktuáln´ıch replik souboru vˇcetnˇe informac´ı, které souborové servery je spravuj´ı. Následnˇe vybere prvn´ı souborov´ y server, kter´ y aktuáln´ı repliku souboru spravuje a poˇza´dá skrze synchronizaˇcn´ı vrstvu o zamˇcen´ı souboru pro ˇcten´ı. Poté opˇet od metadatového serveru zjist´ı informace o podsouborech své zastaralé repliky souboru a také o podsouborech aktuáln´ı repliky souboru spravované jin´ ym serverem. D´ıky tomu, ˇze informace o podsouboru repliky obsahuje i kontroln´ı souˇcet jeho obsahu, m˚ uˇze zastaralé a aktuáln´ı podsoubory dle nich mezi sebou porovnat. T´ım z´ıská seznam podsoubor˚ u, které byly v aktuáln´ı replice souborou zmˇenˇeny a je potˇreba je v zastaralé replice souboru aktualizovat. Replikaˇcn´ı manaˇzer tak efektivnˇe ˇsetˇr´ı datové pˇrenosy. 8.10.3

Aktualizace zastaral´ e repliky souboru

Replikaˇcn´ı manaˇzer spravuj´ıc´ı zastaralou repliku souboru naváˇze spojen´ı s vybran´ ym souborov´ ym serverem, kter´ y spravuje aktuáln´ı repliku souboru, a poˇsle mu poˇzadavek (KIVFS PROVIDE REPLICA) na poskytnut´ı obsahu seznamu poˇzadovan´ ych podsoubor˚ u. Po jejich stáhnut´ı a uloˇzen´ı maj´ı podsoubory zastaralé repliky souboru stejn´ y obsah jako podsoubory aktuáln´ı repliky souboru. Nastaven´ım aktuáln´ı verze zastaralé replice souboru se z n´ı stává dalˇs´ı aktuáln´ı replika souboru. 8.10.4

Dokonˇ cen´ı aktualizace zastaral´ e repliky souboru

Podobnˇe jako po dokonˇceném pˇrenosu souboru z klienta na souborov´ y server, replikaˇcn´ı manaˇzer odeˇsle skrze synchronizaˇcn´ı vrstvu informace o jeho aktualizaci a poˇzadavek na odemˇcen´ı souboru pro ˇcten´ı. V tuto chv´ıli replikaˇcn´ı manaˇzer u ´spˇeˇsnˇe dokonˇcil replikaci daného souboru. Pokud spravuje dalˇs´ı zastaralé repliky, cel´ y proces zopakuje. V opaˇcném pˇr´ıpadˇe ˇceká na dalˇs´ı vyprˇsen´ı ˇcasového intervalu k replikaci.

51

8.11

Deduplikace

Experimentálnˇe implementovanou funkc´ı je deduplikace uloˇzen´ ych podsoubor˚ u. Ta je na kaˇzdém souborovém serveru realizována v rámci deduplikaˇcn´ıho vlákna, které pr˚ ubˇeˇznˇe ovˇeˇruje, zda nemaj´ı stejn´ y obsah nˇejaké podsoubory uloˇzené na stejném svazku souborového serveru. Deduplikovan´ y podsoubor je podsoubor, ke kterému odpov´ıdá záznam v tabulce sources. Deduplikaˇcn´ı vlákno se pokouˇs´ı o deduplikaci podsoubor˚ u na jednotliv´ ych svazc´ıch souborového serveru v dan´ ych ˇcasov´ ych intervalech, které jsou definovány v konfiguraˇcn´ım souboru serveru jako hodnota parametru deduplication interval a jehoˇz v´ ychoz´ı hodnota je 90 minut. D˚ uvodem pro pouˇzit´ı velkého intervalu je ˇcasová a procesorová nároˇcnost deduplikace podsoubor˚ u, která nen´ı vyˇzadována jako nutná funkˇcnost systému a v souˇcasné verzi KIVFS jde o experimentáln´ı funkci9 . Pr˚ ubˇeh deduplikace podsoubor˚ u je popsán v následuj´ıc´ıch podsekc´ıch. 8.11.1

Zjiˇ stˇ en´ı zdrojov´ ych kandid´ at˚ u

V relaˇcn´ı databázi spravované metadatov´ ym serverem je uloˇzen´ y pohled source candidates, s jehoˇz pomoc´ı jsou z´ıskávány informace o kandidátech pouˇziteln´ ych jako zdrojové podsoubory. Ty jsou vyb´ıráni z podsoubor˚ u z tabulky parts um´ıstˇen´ ych na stejn´ ych svazc´ıch souborového serveru (tabulka storages) a maj´ı následuj´ıc´ı specifické vlastnosti: • shodn´ y kontroln´ı souˇcet obsahu s jin´ ym podsouborem, kter´ y ale nesm´ı b´ yt shodn´ y s kontroln´ım souˇctem jiˇz existuj´ıc´ıho zdrojového podsouboru (pokud by se kontroln´ı souˇcty shodovaly, jednalo by se o dalˇs´ı nalezen´ y duplicitn´ı podsoubor), • mus´ı m´ıt nenulovou velikost. Deduplikaˇcn´ı vlákno se v prvn´ım kroku dotazuje metadatového serveru, zda nezjistil nˇejaké podsoubory, kteˇré mohou slouˇzit jako deduplikaˇcn´ı kandidáty. Pokud ano, obdrˇz´ı jejich seznam a pro kaˇzd´ y z nich provede následuj´ıc´ı operace: 1. poˇza´dá metadatov´ y server o zamˇcen´ı odpov´ıdaj´ıc´ıho souboru pro ˇcten´ı, 2. v adresáˇri, ve kterém se podsoubor (deduplikaˇcn´ı kandidát) nacház´ı, vytvoˇr´ı adresáˇr sources, 3. v adresáˇri sources vytvoˇr´ı kopii podsouboru s názvem, kter´ y odpov´ıdá jeho kontroln´ımu souˇctu vyhodnocenému pomoc´ı SHA-512, 4. odeˇsle informace o vytvoˇreném zdrojovém podsouboru metadatovému serveru, kter´ y vytvoˇr´ı nov´ y záznam v tabulce source parts, 5. poˇza´dá metadatov´ y server o odemˇcen´ı odpov´ıdaj´ıc´ıho souboru pro ˇcten´ı. 9 Ide´ aln´ı napl´ anov´ an´ı spuˇstˇen´ı deduplikace podsoubor˚ u by se mohlo odv´ıjet napˇr. od aktuáln´ıho zat´ıˇzen´ı systému.

52

8.11.2

Deduplikace podsoubor˚ u

Dalˇs´ım pohledem v relaˇcn´ı databázi spravované metadatov´ ym serverem je dupliu z tabulky cated parts. pomoc´ı kterého lze z´ıskat seznam duplicitn´ıch podsoubor˚ parts. Duplicitn´ı podsoubory jsou identifikovány dle shody jejich kontroln´ıho souˇctu s kontroln´ım souˇctem zdrojového podsouboru z tabulky sources. V druhém kroce se deduplikaˇcn´ı vlákno dotazuje metadatového serveru, zda existuj´ı duplicitn´ı podsoubory. Pokud ano, obdrˇz´ı jejich seznam a pro kaˇzd´ y z nich provede: 1. poˇza´dá metadatov´ y server o uzamˇcen´ı odpov´ıdaj´ıc´ıho souboru pro zápis, 2. zjist´ı zdrojov´ y podsoubor se stejn´ ym kontroln´ım souˇctem, 3. deduplikuje obsah podsouboru (vynuluje jej), 4. odeˇsle informace o novˇe deduplikovaném souboru obsahuj´ıc´ı informace o zdrojovém souboru, 5. poˇza´dá metadatov´ y server o odemˇcen´ı odpov´ıdaj´ıc´ıho souboru pro zápis. 8.11.3

Odstranˇ en´ı nepouˇ zit´ ych zdrojov´ ych soubor˚ u

V posledn´ım kroku se deduplikaˇcn´ı vlákno dotazuje metadatového serveru, zda neexistuje nˇejak´ y nepouˇzit´ y zdrojov´ y soubor, kter´ y je moˇzné smazat. Metadatov´ y server proveden´ım dotazu do databáze zjist´ı vˇsechny zdrojové podsoubory, na které se neodkazuj´ı ˇzádné deduplikované podsoubory a odeˇsle jejich seznam zpˇet deduplikaˇcn´ımu vláknu. To pak postupnˇe smaˇze vˇsehnny zbyteˇcné zdrojové podsoubory a informuje o tom metadatov´ y server, kter´ y je také smaˇze a uvoln´ı tak m´ısto pro dalˇs´ı soubory uˇzivatel˚ u. 8.11.4

Otevˇ ren´ı deduplikovan´ eho podsouboru

Souborov´ y server pˇred otevˇren´ım podsouboru pozná dle pˇr´ıznaku10 , zda se jedná o deduplikovan´ y podsoubor ˇci nikoliv. Pokud se jedná o deduplikovan´ y podsoubor, pak mus´ı s pomoc´ı metadatového serveru zjistit, kterému zdrojovému podsouboru odpov´ıdá a v pˇr´ıpadˇe, ˇze jej chce otevˇr´ıt: • pro ˇcten´ı, mus´ı nahrad´ı cestu k deduplikovanému souboru cestou ke zdrojovému souboru, • pro zápis, mus´ı zkop´ırovat obsah zdrojového souboru do deduplikovaného souboru (tzn. duplikovat jeho obsah). Teprvé poté m˚ uˇze deduplikovan´ y podsoubor otevˇr´ıt a pracovat s n´ım jako s bˇeˇzn´ ym podsouborem. 10

Nenulové ˇc´ıslo odpov´ıdaj´ıc´ı jednoznaˇcnému identifikátoru zdrojového souboru.

53

8.12

Implementace logov´ an´ı poˇ zadavk˚ u

Metadatov´ y server podporuje logován´ı poˇzadavk˚ u na poˇzádán´ı a jejich obsah ukládá do tabulky message logs. Prostˇrednictv´ım poskytován´ı následuj´ıc´ıch operac´ı: • zalogován´ı zprávy s pˇr´ısluˇsnou ˇcasovou známkou (logick´ y ˇcas), • zjiˇstˇen´ı zalogovan´ ych zpráv, jejichˇz ˇcasová známka patˇr´ı do daného ˇcasového intervalu, • smazán´ı zalogovan´ ych zpráv, jejichˇz ˇcasová známka patˇr´ı do daného ˇcasového intervalu, zprostˇredkovává správu vˇsech zalogovan´ ych poˇzadavk˚ u. Implementace funkce logován´ı poˇzadavk˚ u je stˇeˇzejn´ı funkce pro synchronizaˇcn´ı vrstvu, která potˇrebuje na vˇsech serverech shodnˇe logovat poˇzadavky na zmˇenu uloˇzen´ ych dat kv˚ uli pˇr´ıpadné obnovˇe po v´ ypadku serveru.[20]

54

9

Implementace vlastn´ıho klienta

Bˇehem v´ yvoje vznikla potˇreba okamˇzitˇe testovat ˇcerstvˇe implementované sluˇzby poskytované datov´ ym u ´loˇziˇstˇem. Z toho d˚ uvodu byl implementován konzolov´ y klient. Klient je naprogramován v jazyce C a plnˇe vyuˇz´ıvá funkce dostupné z knihovny libkivfscore (sekce 7). D´ıky tomu zároveˇ n slouˇz´ı i jako referenˇcn´ı klient, ze kterého vycházej´ı vˇsechny ostan´ı implementace klientsk´ ych aplikac´ı. Pro uˇzivatele klient poskytuje rozhran´ı podobné unixovému shellu (obrázek ˇc. 18). V pˇr´ıloze E jsou popsány vˇsechny funkce datového u ´loˇziˇstˇe, které lze pomoc´ı jednotlivˇe zadávan´ ych pˇr´ıkaz˚ u testovat.

Obrázek 18: Screenshot testovac´ıho klienta.

55

10

V´ ykonnostn´ı testy

V´ ykonnostn´ı testy datového u ´loˇziˇstˇe byly provedeny na sestavách uveden´ ych v tabulkách ˇc. 10 a 11, které jsou vzájemnˇe propojené v rámci lokáln´ı s´ıtˇe, která podporuje pˇrenosovou rychlost aˇz 100Mbps. Vˇsechny mˇeˇren´ı byly 5-krát opakovány. V´ ysledné hodnoty byly odvozeny z aritmetického pr˚ umˇeru namˇeˇren´ ych hodnot.

Procesor Pamˇet’ Operaˇcn´ı systém Pevn´ y disk Souborov´ y systém

1. Server 2x AMD Athlon(tm) 64 X2 Dual Core Processor 5200+ 4063MB Debian GNU/Linux wheezy/sid (Linux 3.1.0-1-amd64, x86 64) ATA ST3500418AS (kapacita 465.76 GiB) EXT4

Tabulka 10: Testovac´ı sestava (server ˇc. 1).

Procesor Pamˇet’ Operaˇcn´ı systém Pevn´ y disk Souborov´ y systém

2. Server a klient AMD Sempron(tm) 140 Processor 1021MB Ubuntu 11.10 (Linux 3.0.0-12-generic, x86 64) ATA ST3160812A (kapacita 465.76 GiB) EXT4

Tabulka 11: Testovac´ı sestava (server ˇc. 2 a klient).

10.1

Pˇ renosov´ a rychlost

V následuj´ıc´ıch tabulkách ˇc. 12 aˇz 15 a grafech na obrázc´ıch ˇc. 19 aˇz 22 je uvedena namˇeˇrená pˇrenosová rychlost pro upload a download soubor˚ u o velikosti 1MB, 10MB, 100MB a 1000MB, které byly nahrávány po bloc´ıch o velikosti 512KB, 1MB, 5MB a hodnotˇe odpov´ıdaj´ıc´ı velikosti souboru. Maximáln´ı velikost podsouboru na souborovém serveru je 50MB. Obsah uloˇzen´ ych podsoubor˚ u na stranˇe server˚ u byl ˇsifrován a byl poˇc´ıtán jeho kontroln´ı souˇcet. V testech je uvaˇzováno, ˇze nedocház´ı ke zpoˇzdˇen´ı bˇehem synchronizace poˇzadavk˚ u (ˇcinnost synchronizaˇcn´ı vrstvy). Klient se proto bˇehem testován´ı pˇripojuje pˇr´ımo k VFS serveru, kter´ y pracuje v lokáln´ım reˇzimu a nepˇrepos´ılá poˇzadavky synchronizaˇcn´ı vrstvˇe.

56

Velikost pos´ılan´ eho bloku souboru [MB] 1 5 1 0.5

Celkov´ a rychlost nahr´ av´ an´ı souboru [MB/s] 0.887747015 0.904248754 0.971702584 0.698697038

Rychlost z´ apisu do souboru [MB/s] 2.9062992725 2.660259068 2.631718 1.59468757

Celkov´ a rychlost stahov´ an´ı souboru [MB/s] 1.437954944 1.4083439 1.462267564 1.164263898

Rychlost ˇ cten´ı ze souboru [MB/s] 3.377882388 3.4037157 3.513297758 2.621665376

Tabulka 12: V´ ysledné hodnoty z testu rychlosti pˇrenosu 1MB souboru.

Obrázek 19: Graf v´ ysledn´ ych hodnot z testu rychlosti pˇrenosu 1MB souboru.

57






Tabulka 13: V´ ysledné hodnoty z testu rychlosti pˇrenosu 10MB souboru.


58






Tabulka 14: V´ ysledné hodnoty z testu pˇrenosové rychlosti 100MB souboru.


59






Tabulka 15: V´ ysledné hodnoty z testu rychlosti pˇrenosu 1GB souboru.

Obrázek 22: Graf v´ ysledn´ ych hodnot z testu rychlosti pˇrenosu 1GB souboru.

10.1.1

Vyhodnocen´ı v´ ysledk˚ u

Z graf˚ u je patrné, ˇze pˇrenos je ovlivnˇen reˇzi´ı bˇehem otev´ırán´ı a zav´ırán´ı souboru a také velikost´ı blok˚ u, po kter´ ych klient nahrává nebo stahuje soubor. Vzhledem k tomu, ˇze klient v´ı, kolik bajt˚ u ze souboru chce pˇresnˇe pˇrenést11 a tedy i jakou má 11

Pracuje vˇzdy s konkrétn´ı ˇc´ ast´ı souboru, která m˚ uˇze tvoˇrit i cel´ y jeho obsah.

60

pos´ılat velikost bloku, lze konstatovat, ˇze pˇri operaci zápis ˇci ˇcten´ı dosáhne vˇzdy nejvyˇsˇs´ı moˇzné pˇrenosové rychlosti a oproti p˚ uvodn´ı verzi KIVFS je jeho pˇr´ıstup k soubor˚ um efektivnˇejˇs´ı d´ıky moˇznosti pˇristupovat k pouze poˇzadované ˇca´sti obsahu souboru.

10.2

Tunelovan´ e spojen´ı

Na obrázku ˇc. 23 je znázornˇené schéma lokáln´ı s´ıtˇe, v rámci které bylo testováno tunelované spojen´ı. Klient má pˇr´ımé spojen´ı ke dvˇema server˚ um. Jeho data spravuje server, ke kterému má pˇr´ıstup skrze 54Mbit linku (bezdrátová s´ıt’). Ke druhému serveru, kter´ y nastaven tak, ˇze právˇe nespravuje ˇzádná data uˇzivatel˚ u, má klient pˇr´ıstup skrze 100Mbit linku. Je-li klient pˇripojen k prvn´ımu serveru, pak transparentnˇe pˇristupuje k dat˚ um skrze pˇr´ımé spojen´ı. Pˇripoj´ı-li se klient druhému serveru, pak je jeho transparentn´ı pˇr´ıstup k dat˚ um tunelován skrze spojen´ı mezi servery.

Obrázek 23: Schéma tunelován´ı spojen´ı (100Mbit tunel vyznaˇcen ˇcervenˇe).

V následuj´ıc´ı tabulce ˇc. 16 a grafu ˇc. 23 jsou uvedeny hodnoty, které byly z´ıskány bˇehem mˇeˇren´ı pˇri pˇrenosu soubor˚ u skrze pˇr´ımé spojen´ı a následnˇe skrze tunelované spojen´ı mezi klientem a c´ılov´ ym serverem. Klient pˇrenáˇs´ı soubor o velikosti 100MB po bloc´ıch odpov´ıdaj´ıc´ıch hodnotˇe velikosti souboru. Maximáln´ı velikost podsouboru na souborovém serveru je 50MB. Obsah uloˇzen´ ych podsoubor˚ u na stranˇe server˚ u byl ˇsifrován a byl poˇc´ıtán jeho kontroln´ı souˇcet.

61

Typ spojen´ı

Tunelované Pˇr´ımé

Celkov´ a rychlost nahr´ av´ an´ı souboru [MB/s] 0.74859 8.52791

Rychlost z´ apisu do souboru [MB/s] 0.7506725 8.605848

Celkov´ a rychlost stahov´ an´ı souboru [MB/s] 1.220116 8.801564

Rychlost ˇ cten´ı ze souboru [MB/s] 1.224684 8.927628

Tabulka 16: V´ ysledné hodnoty z testu rychlosti pˇrenosu 100MB souboru srkze pˇr´ımé a tunelované spojen´ı.

Obrázek 24: Graf v´ ysledn´ ych hodnot z testu rychlosti pˇrenosu 100MB souboru srkze pˇr´ımé a tunelované spojen´ı.

10.2.1

Vyhodnocen´ı v´ ysledk˚ u

Z grafu je patrné, ˇze rychlost pˇrenosu souboru skrze tunelované spojen´ı je znaˇcnˇe vyˇsˇs´ı. Rychlost pˇrenosu skrze pˇr´ımé spojen´ı odpov´ıdá nejvyˇsˇs´ı moˇzné pˇrenosové rychlosti, kterého bylo moˇzné dosáhnout pˇred implementac´ı mechanismu tunelován´ı spojen´ı. Lze konstatovat, ˇze celková propustnost systému je oproti p˚ uvodn´ı verzi KIVFS mnohem vˇetˇs´ı.

62

11

Organizace zdrojov´ ych k´ od˚ u a jejich pˇ reklad

Zdrojové kódy knihovny libkivfscore a datového u ´loˇziˇstˇe KIVFS jsou organizovány v samostatn´ ych adresáˇr´ıch a distribuovány spoleˇcnˇe v archivu KIVFS-VFS.tar.gz, kter´ y je k dispozici na pˇriloˇzeném CD. Jeho obsah lze extrahovat pomoc´ı pˇr´ıkazu: tar -xvvzf KIVFS-VFS.tar.gz

Po jehoˇz vykonán´ı v aktuáln´ım pracovn´ım adresáˇri pˇribyly: • adresáˇre obsahuj´ıc´ı zdrojové kódy VFS (./vfs/ ), metadatového (./db/ ) a souborového serveru (./fs/ ), • adresáˇr obsahuj´ıc´ı zdrojové kódy knihovny libkivfscore (./core/ ), • adresáˇr obsahuj´ıc´ı zdrojové kódy testovac´ıho klienta (./client/ ), • soubor obsahuj´ıc´ı vzorov´ y SQL dump databáze (./kivfs db.sql ), • vzorov´ y konfiguraˇcn´ı soubor(./kivfs.conf ), • instalaˇcn´ı bal´ıˇcky (kivfs-vfs.deb a kivfs-core.deb), • instalaˇcn´ı skript(./install.sh). Kaˇzd´ y adresáˇr se zdrojov´ ymi kódy serveru obsahuje: • zdrojové soubory, • adresáˇr include, kter´ y obsahuje hlaviˇckové soubory, • soubor Makefile, pomoc´ı kterého lze pˇreloˇzit zdrojové kódy. Pˇr´ıklad zdrojov´ ych kód˚ u vfs serveru: vfs |-| | |-|-|-‘--

include |-- kivfs-vfs-forward.h ‘-- kivfs-vfs-thread.h kivfs-vfs-forward.c kivfs-vfs-server.c kivfs-vfs-thread.c Makefile

11.1

Pˇ reklad a instalace

Pro u ´spˇeˇsn´ y pˇreklad a následné spuˇstˇen´ı je nutné m´ıt v systému nainstalován následuj´ıc´ı software: • pˇrekladaˇc gcc, • program make, • databázov´ y server MySQL,

63

• knihovnu libgcrypt, • knihovnu libmysqlclient, • knihovnu libssl, které lze v rámci operaˇcn´ıho systému GNU/Linux (distribuce Debian) nainstalovat prostˇrednictv´ım následuj´ıc´ıho pˇr´ıkazu spuˇstˇeného: apt-get install gcc make mysql-server libgcrypt11-dev libmysqlcliet-dev \ libssl-dev

Datové u ´loˇziˇstˇe KIVFS lze nainstalovat z bal´ıˇck˚ u prostˇrednictv´ım spuˇstˇen´ı pˇr´ıkazu: dpkg -i kivfs-core.deb kivfs-vfs.deb

nebo prostˇrednictv´ım instalaˇcn´ıho skriptu, kter´ y zajist´ı pˇreklad zdrojov´ ych soubor˚ u na spustitelné soubory a zajist´ı jejich instalaci do systému. Instalaˇcn´ı skript lze spusit pomoc´ı pˇr´ıkazu: sh ./install.sh

Po u ´spˇeˇsné instalaci, bˇehem které byla automaticky vytvoˇrena i databáze KIVFS: • knihovna libkivfscore je nainstalována v systému (v adresáˇri /usr/lib), • spustitelné soubory /opt/kivfs/bin,

jednotliv´ ych

server˚ u jsou

um´ıstˇené

v

adresáˇri

• vzorov´ y konfiguraˇcn´ı soubor je dostupn´ y v adresáˇri /opt/kivfs/etc.

11.2

Spuˇ stˇ en´ı

Jednotlivé servery lze spustit nezávisle na vyˇsˇs´ıch vrstvách KIVFS pomoc´ı následuj´ıc´ıch pˇr´ıkaz˚ u: /opt/kivfs/bin/kivfs-vfs-server /opt/kivfs/etc/kivfs.conf /opt/kivfs/bin/kivfs-db-server /opt/kivfs/etc/kivfs.conf /opt/kivfs/bin/kivfs-fs-server /opt/kivfs/etc/kivfs.conf

Pˇr´ıklad konfiguraˇcn´ıho souboru je uveden v pˇriloze F. Testovac´ıho klienta lze spustit pomoc´ı následuj´ıc´ıho pˇr´ıkazu: /opt/kivfs/bin/test-client <port VFS serveru>

Servery pr˚ ubˇeˇznˇe informuj´ı o své ˇcinnosti prostˇrednictv´ım ukládán´ı zpráv do systémového logu.

64

12

Z´ avˇ er

C´ılem práce bylo navrhnout a implementovat ˇreˇsen´ı vedouc´ı k odstranˇen´ı slab´ ych stránek KIVFS z hlediska poˇzadavk˚ u na rozsáhlá datová u ´loˇziˇstˇe, které bránily dalˇs´ımu rozˇs´ıˇren´ı a byly u ´zk´ ym hrdlem systému. Z hlediska datového u ´loˇziˇstˇe KIVFS a j´ım poskytovan´ ych sluˇzeb byla zv´ yˇsena podpora mobiln´ıch platforem, pro které bylo pˇrizp˚ usobeno pˇristupován´ı k soubor˚ um (práce se souborem po ˇca´stech), pˇridána podpora ACL a lokáln´ı cache ze strany serveru pomoc´ı uchováván´ı hodnot pro statisku pˇr´ıstup˚ u k soubor˚ um, atd. Na stranˇe serveru byla zv´ yˇsena bezpeˇcnost uloˇzen´ ych dat uˇzivatel˚ u prostˇrednictv´ım ˇsifrován´ı obsahu svazk˚ u souborov´ ych server˚ u, pˇribyla moˇznost pˇridˇelovat kvóty k jednotliv´ ym virtuáln´ım svazk˚ um a k nim pˇripojen´ ym adresáˇr˚ um umoˇzn ˇuj´ıc´ı omezit uˇzivatele. Dále pak pˇribyla moˇznost rozdˇelovat soubory do menˇs´ıch ˇcást´ı, bˇehem pˇrenosu soubor˚ u tunelovat spojen´ı mezi souborov´ ymi servery, logovat zprávy pro pˇr´ıpadnou obnovu serveru po jeho v´ ypadku. Sluˇzby poskytované datov´ ym u ´loˇziˇstˇem byly rozˇs´ıˇreny o moˇznost napˇr. zjistit rozˇs´ıˇrené atributy souboru (práva, statistika, atd.), upravit nastaven´ı kvót, apod. Souˇcasná verze datového ˚ uloˇziˇstˇe je optimalizována z hlediska multimaster online replikace, správy uloˇzen´ ych dat v databázi a nav´ıc byla pˇridána experimentáln´ı funkce pro deduplikaci uloˇzen´ ych soubor˚ u, která se zat´ım u ˇza´dného jiného bˇeˇznˇe pouˇz´ıvaného DFS nevyskytuje. Pr˚ ubˇeˇzné zátˇeˇzové testy ovˇeˇrily stabilitu u ´loˇziˇstˇe a v´ ysledky v´ ykonnostn´ıch test˚ u prokázály jeho v´ ykonnost i pˇri ˇsifrován´ı obsahu souborov´ ych svazk˚ u server˚ u. Práce splˇ nuje vˇsechny p˚ uvodnˇe kladené poˇzadavky a nad jej´ı rámec byl implementován testovac´ı klient KIVFS, kter´ y nyn´ı slouˇz´ı i jako referenˇcn´ı aplikace pro dalˇs´ı v´ yvoj ostatn´ıch klient˚ u ˇci nástroj˚ u pro správu systému. Dále byla vytvoˇrena knihovna libkivfscore, která usnadˇ nuje a urychluje rozvoj celého KIVFS. Z hlediska dalˇs´ıho v´ yvoje projektu KIVFS lze pokraˇcovat v souvislosti s datov´ ym u ´loˇziˇstˇem v jeho optimalizaci a dalˇs´ım rozˇsiˇrován´ı poskytovan´ ych funkc´ı. Ty se mohou t´ ykat napˇr. komprese pˇrenáˇsen´ ych dat a to jak mezi klientem a serverem, tak i servery samotn´ ymi, plánován´ı spouˇstˇen´ı deduplikace, které bude závislé na vyhodnocen´ı aktuáln´ı zátˇeˇze systému, atd. Jejich realizace m˚ uˇze b´ yt provedena v rámci dalˇs´ıch semestráln´ıch, bakáláˇrsk´ ych a diplomov´ ych prac´ı.

65

13

Pˇ rehled zkratek a pouˇ zit´ eho znaˇ cen´ı

Pˇ rehled zkratek a pouˇ zit´ eho znaˇ cen´ı Zkratka FS VFS DFS ACL GPL BSD ERA SQL TCP NAT IP LVM RAID DDoS FUSE

Cel´ y n´ azev File system Virtual file system Distributed file system Access control list General public license Berkeley software distribution Entity relationship attribute diagram Structured query language Transmission control protocol Network address translation Internet protocol Logical volume management (LVM) Redundant array of inexpensive disks Distributed denial of service Filesystem in userspace

Tabulka 17: Pˇrehled zkratek a pouˇzitého znaˇcen´ı.

66

Literatura [1] OpenAFS: OpenAFS Administration Guide [online] URL: [cit. 2012-05-17] [2] BRAAM, Peter J.: The Coda Distributed File System [online] URL: [cit. 2012-05-17] [3] Center for Information Technology Integration: NFS Version 4 Open Source Reference Implementation [online] URL: [cit. 2012-05-17] [4] Network Working Group: Internet Small Computer Systems Interface (iSCSI) [online] URL: [cit. 2012-05-17] [5] Hellman, Brian, HAAS, Florian, REISNER, Philipp, ELLENBERG, Lars: The DRBD User’s Guide [online] URL: [cit. 2012-05-17] [6] MEGGYESI, Zoltán: Fibre Channel Overview [online] URL: [cit. 2012-05-17] [7] TANENBAUM, Andrew S.: Distributed systems: principles and paradigms. 2nd ed. Upper Saddle River: Prentice Hall, 2006. 686 s. ISBN 0-13-239227-5. [8] COULOURIS, George, DOLLIMORE, Jean a KINDBERG, Tim: Distributed systems: concepts and design. 3rd ed. Harlow: Addison-Wesley, 2001. xiii, 772 s. ISBN 0-201-61918-0 [9] CHOW, Randy a JOHNSON, Theodore: Distributed operating systems and algorithms. [1st ed.] Reading: Addison-Wesley, 1998. xx, 569 s. ISBN 0-201-49838-3 [10] MULLENDER, Sape: Distributed systems. 2nd ed. Addison-Wesley: Wokingham, 1995. xvi, 601 s. ISBN 0-201-62427-3 [11] CAMPBELL, Richard: Managing AFS: the Andrew File System [1st ed.] New Jersey: Prentice-Hall, 1998. xvi, 479 s. ISBN 0-13-802729-3 ˇ [12] SVAMBERG, Michal: OpenAFS [online] URL: [cit. 2012-05-17]

67

´ ˇ ˇ CKA, ˇ ˇ [13] JUNAK, M., MATEJKA, L., PESI L., PIVNICKA, M., SKUPA, J., ˇ ˇ ´ STREJC, R., STEINER, V., SAFARIK, J.: KIV-DFS-Experimental Distributed File System In Informatics 2009. Koˇsice: Technical University, 2009. s. 45-50. ISBN: 978-808086-126-1 [14] Network Working Group: The MD5 Message-Digest Algorithm [online] URL: [cit. 2012-05-17] [15] Network Working Group: US Secure Hash Algorithms (SHA and HMAC-SHA) [online] URL: [cit. 2012-05-17] [16] GnuPG: Libgcrypt [online] URL: [cit. 2012-05-17] [17] Free Software Foundation, Inc.: The Libgcrypt Reference Manual [online] URL: [cit. 2012-05-17] [18] STREJC, Radek: KIVFS - Souborov´ y a datab´ azov´ y server Plzeˇ n, 2009. Bakaláˇrská práce. Západoˇceská univerzita, Fakulta aplikovan´ ych vˇed. Vedouc´ı práce Luboˇs Matˇejka. ˇ [19] PIVNICKA, Marek: KIVFS - Zabezpeˇ cen´ı, ˇ sifrov´ an´ı a ovˇ eˇ ren´ı identity Plzeˇ n, 2009. Bakaláˇrská práce. Západoˇceská univerzita, Fakulta aplikovan´ ych vˇed. Vedouc´ı práce Luboˇs Matˇejka. [20] SKUPA, Jindˇrich: KIVFS - Synchronizace a trasov´ an´ı poˇ zadavk˚ u Plzeˇ n, 2012. Diplomová práce. Západoˇceská univerzita, Fakulta aplikovan´ ych vˇed. Vedouc´ı práce Luboˇs Matˇejka. ˇ Jan: KIVFS - Klient pro GNU/Linux s pomoc´ı jadern´ [21] FAZEKAS, eho modulu Plzeˇ n, 2010. Bakaláˇrská práce. Západoˇceská univerzita, Fakulta aplikovan´ ych vˇed. Vedouc´ı práce Luboˇs Matˇejka. ˇ Pˇremysl: KIVFS - Klient pro GNU/LINUX s pouˇ [22] JAROS, zit´ım FUSE Plzeˇ n, 2012. Diplomová práce. Západoˇceská univerzita, Fakulta aplikovan´ ych vˇed. Vedouc´ı práce Luboˇs Matˇejka. [23] STEINER, Václav: KIVFS - File Manager pro MS Windows Plzeˇ n, 2012. Bakaláˇrská práce. Západoˇceská univerzita, Fakulta aplikovan´ ych vˇed. Vedouc´ı práce Luboˇs Matˇejka.

68

[24] Portable Applications Standards Committee of the IEEE Computer Society: Draft Standard for Information Technology - Portable Operating System Interface (POSIX) - Part 1: System Application Program Interface (API) - Amendment #: Protection, Audit and Control Interfaces [C Language] IEEE 1003.1e. Draft 17 [online] URL: <www.suse.de/ agruen/acl/posix/Posix 1003.1e-990310.pdf> [cit. 2012-05-17]

69

14

Pˇ r´ılohy

Pˇ r´ıloha A - Funkce pro spr´ avu souboru v datab´ azi /* vybere adres´ aˇ r v adres´ aˇ ri s dan´ ym n´ azvem */ int db_get_directory(db_transaction_t *transaction, kivfs_entry_t **p_entry, kivfs_entry_t *parent_entry, char *name);

// // // //

id. transakce vybran´ y adres´ aˇ r rodiˇ covsk´ y adres´ aˇ r n´ azev adres´ aˇ re

/* vybere soubor/adres´ aˇ r s dan´ ym ID */ int db_get_file_with_id(db_transaction_t *transaction, // id. transakce kivfs_entry_t **p_entry, // vybran´ y soubor uint64 entry_id); // ID souboru /* vybere seznam soubor˚ u obsaˇ zen´ ych v adres´ aˇ ri */ int db_get_list_directory(db_transaction_t *transaction, // id. transakce kivfs_list_t **p_files, // vybran´ y seznam // soubor˚ u kivfs_entry_t *parent_entry); // rodiˇ covsk´ y adres´ aˇ r /* smaˇ ze soubor (adres´ aˇ r) s dan´ ym ID */ int db_delete_entry(db_transaction_t *transaction, // id. transakce uint64 *p_affected_rows, // poˇ cet smazan´ ych soubor˚ u uint64 entry_id); // ID souboru /* vloˇ z´ ı nov´ y soubor (adres´ aˇ r) a vr´ at´ ı jeho ID */ int db_insert_entry(db_transaction_t *transaction, uint64 *p_entry_id, kivfs_file_type_t type, char *name, uint64 ctime, uint64 user_id, kivfs_entry_t *parent_entry);

// // // // // // //

id. transakce ID nov´ eho souboru typ souboru n´ azev souboru cas vytvoˇ ˇ ren´ ı ID vlastn´ ıka rodiˇ covsk´ y adres´ aˇ r

/* uprav´ ı adres´ aˇ r */ int db_update_directory(db_transaction_t *transaction, // id. transakce uint64 *p_affected_rows, // poˇ cet upraven´ ych // adres´ aˇ r˚ u uint64 user_id, // ID vlastn´ ıka uint64 directory_id, // ID adres´ aˇ re uint64 parent_id, // ID rodiˇ covsk´ eho // adres´ aˇ re char *name, // n´ azev adres´ aˇ re uint64 mtime, // ˇ cas zmˇ eny uint64 atime) // ˇ cas pˇ r´ ıstupu

70

Pˇ r´ıloha B - Funkce poskytovan´ e datab´ azov´ ym konektorem /* vykon´ a SQL dotaz a vr´ at´ ı jeho v´ ysledek */ int db_select(db_transaction_t *transaction, void **p_result, char *format, ...);

// // // //

/* vloˇ z´ ı z´ aznam do datab´ aze a vr´ at´ ı jeho ID */ int db_insert(db_transaction_t *transaction, // uint64 *p_inserted_id, // char *format, // ...); // /* vykon´ a pˇ r´ ıkaz */ int db_execute(db_transaction_t *transaction, uint64 *p_affected_rows, char *format, ...);

identifik´ ator transakce v´ ysledek dotazu form´ at SQL dotazu parametry SQL dotazu

id. transakce ID vloˇ zen´ eho z´ aznamu form´ at SQL pˇ r´ ıkazu parametry SQL pˇ r´ ıkazu

// // // //

id. transakce poˇ cet ovlivnˇ en´ ych z´ aznam˚ u form´ at SQL pˇ r´ ıkazu parametry SQL pˇ r´ ıkazu

/* vloˇ z´ ı z´ aznam do datab´ aze a vr´ at´ ı jeho ID */ int db_real_insert(db_transaction_t *transaction, uint64 *p_inserted_id, char *query, uint64 length);

// // // //

id. transakce ID vloˇ zen´ eho z´ aznamu pˇ r´ ıkaz d´ elka pˇ r´ ıkazu

/* uvoln´ ı v´ ysledek */ void db_free_result(void *result); // v´ ysledek /* vr´ at´ ı dalˇ s´ ı ˇ r´ adek z v´ ysledku */ char **db_fetch_row(void *result); // v´ ysledek /* vr´ at´ ı pole d´ elek z aktu´ aln´ ıho ˇ r´ adku v´ ysledku */ unsigned long *db_fetch_lengths(void *result); // v´ ysledek /* vr´ at´ ı poˇ cet ˇ r´ adk˚ u z v´ ysledku */ uint64 db_num_rows(void *result); // v´ ysledek /* oˇ setˇ r´ ı vstupn´ ı ˇ retˇ ezec */ int db_escape(db_transaction_t *transaction, // id transakce char **p_dst, // zdrojov´ y ˇ retˇ ezec char *src, // c´ ılov´ y ˇ retˇ ezec uint64 length); // d´ elka zdojov´ eho ˇ retˇ ezce /* zah´ aj´ ı transakci */ int db_start_transaction(db_transaction_t **p_transaction); // id. zah´ ajen´ e // transakce /* zruˇ s´ ı zmˇ eny proveden´ e v transakci */ int db_rollback_transaction(db_transaction_t **p_transaction); // id. transakce /* potvrd´ ı zmˇ eny proveden´ e v transakci */ int db_commit_transaction(db_transaction_t **p_transaction); // id. transakce

71

Pˇ r´ıloha C - Relace mezi souborem a ACL /* typ souboru */ typedef enum { FILE_TYPE_ANY FILE_TYPE_DIRECTORY FILE_TYPE_REGULAR_FILE } kivfs_file_type_t;

= 0, = 1, = 2,

/* bity reprezentuj´ ıc´ ı jednotliv´ a pr´ ava na ˇ cten´ ı, z´ apis a spuˇ stˇ en´ ı */ typedef enum { NONE_BIT = 0, EXECUTE_BIT = 1, WRITE_BIT = 2, READ_BIT = 3 } kivfs_permission_bit_t;

/* pr´ ava */ typedef enum { NONE_PERMISSION EXECUTE_PERMISSION WRITE_PERMISSION EXECUTE_WRITE_PERMISSION READ_PERMISSION READ_EXECUTE_PERMISSION READ_WRITE_PERMISSION READ_WRITE_EXECUTE_PERMISSION } kivfs_permission_t;

= = = = = = = =

0, 1, 2, 3, 4, 5, 6, 7

/* typy jmenn´ ych z´ aznam˚ u */ typedef enum { NAMED_USER = 1, NAMED_GROUP = 2, DEFAULT_NAMED_USER = 3, DEFAULT_NAMED_GROUP = 4, } kivfs_named_acl_type_t;

/* datov´ y typ role */ typedef struct { uint64 id; char *name; } kivfs_role_t; /* funkce pro spr´ avu role */ kivfs_role_t *kivfs_role(uint64 id, char *name); void kivfs_print_role(kivfs_t *role); void kivfs_free_role(kivfs_t *role);

72

/* datov´ y typ jmenn´ y z´ aznam */ typedef struct { kivfs_named_acl_type_t type; kivfs_permission_t permission; kivfs_role_t *role; } kivfs_named_acl_t; /* funkce pro spr´ avu jmenn´ eho z´ aznamu */ kivfs_named_acl_t *kivfs_named_acl(kivfs_named_acl_type_t type, kivfs_permission_t permission, kivfs_role_t *role); void kivfs_print_named_acl(kivfs_t *named_acl); void kivfs_free_named_acl(kivfs_t *named_acl);

/* datov´ y typ ACL */ typedef struct { kivfs_permission_t owner; kivfs_permission_t group; kivfs_permission_t other; kivfs_permission_t mask; kivfs_list_t kivfs_list_t

*named_users; *named_groups;

kivfs_permission_t kivfs_permission_t kivfs_permission_t kivfs_permission_t

default_owner; default_group; default_other; default_mask;

kivfs_list_t kivfs_list_t } kivfs_acl_t;

*default_named_users; *default_named_groups;

/* funkce pro spr´ avu ACL */ kivfs_acl_t *kivfs_acl(kivfs_permission_t owner, kivfs_permission_t group, kivfs_permission_t other, kivfs_permission_t mask, kivfs_list_t *named_users, kivfs_list_t *named_groups, kivfs_permission_t default_owner, kivfs_permission_t default_group, kivfs_permission_t default_other, kivfs_permission_t default_mask, kivfs_list_t *default_named_users, kivfs_list_t *default_named_groups); void kivfs_print_acl(kivfs_t *acl); void kivfs_free_acl(kivfs_t *acl);

/* datov´ y typ soubor */ typedef struct { kivfs_file_type_t type; char *name;

73

char *owner; char *group; uint64 uint64 uint64 uint64 uint64 uint64

size; mtime; atime; version; read_hits; write_hits;

kivfs_acl_t *acl; } kivfs_file_t; /* funkce pro spr´ avu souboru */ kivfs_file_t *kivfs_file(kivfs_file_type_t type, char *name, uint64 size, uint64 mtime, uint64 atime, uint64 version, uint64 read_hits, uint64 write_hits, char *owner, char *group, kivfs_acl_t *acl); void kivfs_print_file(kivfs_t *file); void kivfs_free_file(kivfs_t *file); /* datov´ y typ obecn´ y souborov´ y z´ aznam */ typedef struct entry_st { uint64 id; uint64 owner_id; uint64 group_id; uint64 volume_id; uint64 read_locks; uint64 write_locks; struct entry_st *parent; kivfs_file_t *file; } kivfs_entry_t; /* funkce pro spr´ avu souborov´ eho z´ aznamu */ kivfs_entry_t *kivfs_entry(uint64 id, uint64 owner_id, uint64 group_id, uint64 volume_id, uint64 read_locks, uint64 write_locks, kivfs_entry_t *parent, kivfs_file_t *file); void kivfs_print_entry(kivfs_t *entry); void kivfs_free_entry(kivfs_t *entry);

74

Pˇ r´ıloha D - Spr´ ava ˇ sifrovan´ ych soubor˚ u typedef struct { gcry_cipher_hd_t kivfs_boolean_t FILE uint64 } encrypted_part_t;

cipher_handler; editable, changed; *file; writed;

// // // // //

cipher handler soubor otevˇ ren pro editaci obsah souboru byl zmˇ enˇ en souborov´ y proud poˇ cet zapsan´ ych bajt˚ u

/* zapisuje data do ˇ sifrovan´ eho podsouboru */ int write_to_part(encrypted_part_t *encrypted_part, void *buffer, uint64 length); /* ˇ cte data ze ˇ siforvan´ eho podsouboru */ int read_from_part(encrypted_part_t *encrypted_part, void *buffer, uint64 length); /* otev´ ır´ a ˇ sifrovan´ y podsoubor (pro ˇ cten´ ı, z´ apis, ˇ cten´ ı/z´ apis) */ int open_part(encrypted_part_t **p_encrypted_part, kivfs_replica_t *replica, kivfs_part_t *part, uint64 offset, kivfs_file_mode_t mode); /* zav´ ır´ a ˇ sifrovan´ y podsoubor */ int close_part(encrypted_part_t **p_encrypted_part, kivfs_replica_t *replica, kivfs_part_t *part);

75

Pˇ r´ıloha E - Seznam pˇ r´ıkaz˚ u klienta Pˇ r´ıkaz ls mkdir rmdir rm mv info hits

Parametry <path> <path> <path> <path> <path><path> <path> -

touch chmod dchmod chown chgrp setfacl

<path> <7777><path> <7777><path> <path> <path> <path> <path> <user> <user> <user> <user> <user>

getfacl id su groupadd groupdel useradd userdel engroup ungroup begin commit rollback maxtime logs df quota get put rewrite append

Popis testovan´ e funkce vyp´ıˇse obsah adresáˇre vytvoˇr´ı adresáˇr smaˇze adresáˇr smaˇze soubor pˇresune soubor zjist´ı informace o souboru zjist´ı hodnotu ˇc´ıtaˇc˚ u pˇr´ıstup˚ u k souboru zmˇen´ı ˇcasové známky souboru zmˇen´ı práva souboru zmˇen´ı v´ ychoz´ı práva souboru zmˇen´ı vlastn´ıka souboru zmˇen´ı vlastnickou skupinu souboru nastav´ı ACL souboru

<size>

76

zjist´ı ACL souboru zjist´ı informace o uˇzivateli pˇrepne uˇzivatele pˇridá skupinu smaˇze skupinu pˇridá uˇzivatele odebere uˇzivatele pˇridá uˇzivatele do skupiny odebere uˇzivatele ze skupiny zaháj´ı transakc´ı potvrd´ı zmˇeny provedené v transakci zahod´ı zmˇeny provedené v transakci zjist´ı maximáln´ı logickou ˇcasovou známku v logu vyp´ıˇse vˇsechny logy vyp´ıˇse stav svazk˚ u nastav´ı kvótu svazku stáhne soubor nahraje soubor pˇrep´ıˇse soubor pˇridá soubor na konec souboru

Pˇ r´ıloha F - Konfiguraˇ cn´ı soubor [kivfs_global] server_name=fs-1 log_directory=/tmp debug=yes max_clients=5000 max_queue=500 local_mode=yes [sync] port=30002 ip=127.0.0.1 [vfs_server] ip=127.0.0.1 port=30003 [db_server] ip=127.0.0.1 port=30004 [fs_server] ip=127.0.0.1 port=30005 [database] name=kivfs_db user=kivfs password=***** host=localhost port=3306 pooling=100 [storage] root_directory=/mnt/kivfs temporary_directory=/mnt/kivfs/temp encryption_key=5b2d2840662c333b6e773a682b2a355739722d4d26534c3272665f5b3d encrypt_storage=yes hash_files=yes blocksize=52428800 files_count=1000 deduplication_interval=324000 replication_interval=300 removing_interval=180

77

Západočeská univerzita v Plzni Fakulta aplikovaných věd Katedra informatiky a výpočetní techniky

Recommend Documents