Fakulta aplikovaných věd Katedra informatiky a výpočetní techniky

Západoˇceská univerzita v Plzni Fakulta aplikovaných vˇed Katedra informatiky a výpoˇcetn´ı techniky

Bakalárˇ ská práce

Cloudové rˇ eˇsen´ı v EEG/ERP doménˇe

Plzeˇn, 2013

Roman Tryml

Prohlásˇen´ı: Prohlaˇsuji, zˇ e jsem bakalárˇskou práci vypracoval samostatnˇe a výhradnˇe s pouˇzit´ım citovaných pramen˚u.

V Plzni dne 28. 4. 2013

...........................

Podˇekován´ı: T´ımto vyjadˇruji podˇekován´ı vedouc´ımu práce Ing. Petru Jeˇzkovi, Ph.D. za cenné rady a pˇripom´ınky, velkou vstˇr´ıcnost a ochotu mi vˇzdy poradit a pomoci.

Abstract: The aim of this thesis is to find a suitable cloud solution for applications and databases that are developed by the neuroinformatics research group focusing at the Department of Computer Science and Engineering of the Faculty of Applied Science of the University of West Bohemia. The first part of the thesis explains possibilities of cloud computing. It includes over and analysis of Amazon, Google and INCF solutions. The second part describes a particular solution the INCF Dataspace; procedure and experience with its connecting to the incf zone is presented. The implementation includes connecting the data from the EEG/ERP Database of experiments in to the Dataspace system is described.

Obsah 1

´ Uvod

1

2

Výzkumná skupina neuroinformatiky 2.1 Základn´ı informace . . . . . . . . . . . . . . . . . . . . . . . . . 2.2 Poˇzadavky pro výbˇer cloudového ˇreˇsen´ı . . . . . . . . . . . . . .

2 2 2

3

Problematika cloud computingu 3.1 Struˇcný pˇrehled . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2 Vývojové trendy v informaˇcn´ıch technologi´ıch . . . . . . . . . .

4 4 5

4

Analýza vybraných poskytovatelu˚ ˇ sen´ı od Amazon . . . . . . . . . . . . . . . . . . . . . . . . . 4.1 Reˇ ˇ 4.2 Reˇsen´ı Google . . . . . . . . . . . . . . . . . . . . . . . . . . . . ˇ sen´ı Microsoft . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3 Reˇ ˇ 4.4 Reˇsen´ı BeeScale . . . . . . . . . . . . . . . . . . . . . . . . . . . ˇ sen´ı International Neuroinformatics Coordinating Facility (INCF) 4.5 Reˇ

6 6 15 18 20 23

5

Zhodnocen´ı analyzovaných poskytovatelu˚

24

6

INCF Dataspace a systém iRODS 26 6.1 Zakladn´ı charakteristika iRODS . . . . . . . . . . . . . . . . . . 26 6.2 Klient systému iRODS . . . . . . . . . . . . . . . . . . . . . . . 27 6.3 Pˇripojen´ı do systému INCF Dataspace . . . . . . . . . . . . . . . 29

7

Z´ıskan´ı dat z databáze EEG pro INCF Dataspace ´ 7.1 Uvodn´ ı informace . . . . . . . . . . . . . . . . ˇ 7.2 Reˇsen´ı pomoc´ı jazyka PL/SQL . . . . . . . . . ˇ sen´ı pomoc´ı jazyka Java . . . . . . . . . . . 7.3 Reˇ 7.4 Zhodnocen´ı ˇreˇsen´ı . . . . . . . . . . . . . . . .

8

Závˇer

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

32 32 33 33 34 36

´ 1 Uvod

1

´ 1 Uvod Na Katedˇre informatiky a výpoˇcetn´ı techniky Fakulty aplikovaných vˇed Západoˇceské univerzity v Plzni p˚usob´ı nˇekolik výzkumných skupin. Mezi nimi i skupina se zamˇeˇren´ım na výzkum neuroinformatiky. Experimenty provádˇené touto skupinou produkuj´ı velké mnoˇzstv´ı dat, která potˇrebuj´ı být k dispozici nejen výˇ ale i odborn´ık˚um z celého svˇeta. Výzkumná skupina na KIV zkumn´ık˚um ze ZCU, se rozhodla pro vyuˇzit´ı jednoho z nových trend˚u v informaˇcn´ıch technologi´ıch, a to cloud computingu (dále také cloud). Cloud m˚uzˇ e být plnohodnotným alternativn´ım ˇreˇsen´ım k nákupu vlastn´ıho informaˇcn´ıho systému. Jednou z moˇznost´ı ´ vyuˇzit´ı cloud computingu je schopnost zajistit ukládán´ı cˇ i sd´ılen´ı dat. Ukolem této bakaláˇrské práce je provést analýzu moˇznost´ı cloud computingu pro skupinu se zamˇeˇren´ım na výzkum neuroinformatiky KIV. V následuj´ıc´ıch kapitolách budou zm´ınˇeni nˇekteˇr´ı poskytovatelé, jejichˇz nab´ıdky cloudu budou vyzkouˇseny a otestovány. Na základˇe porovnán´ı tˇechto nab´ıdek bude podle poˇzadavk˚u výzkumné skupiny vybrán nejvhodnˇejˇs´ı poskytovatel cloudu. Dalˇs´ı cˇ a´ st se pak zamˇeˇr´ı na komplexn´ı popis vybraného ˇreˇsen´ı a zd˚uvodnˇen´ı, proˇc bylo vybráno. Bude zvolen konkrétn´ı postup instalace a zprovoznˇen´ı domény EEG1 /ERP2 v cloudu. O tomto postupu budou uvedeny reference s uveden´ım konkrétn´ıch u´ skal´ı a jejich ˇreˇsen´ı. Výsledek budou podrobeny praktickému testován´ı s vyhodnocen´ım. Práce obsahuje celkem tˇri hlavn´ı témata, pˇriˇcemˇz kaˇzdé se skládá z teoretického vysvˇetlen´ı problematiky a popisu praktických zkuˇsenost´ı. Prvn´ı téma pojednává o cloud computingu. Budou teoreticky popsány souˇcasné moˇznosti a praktické vyzkouˇsen´ı nˇekterého z ˇreˇsen´ı. Druhé téma popisuje systém iRODS a Dataspace a postup pˇripojen´ı do zóny incf. Tˇret´ı téma pojednává o výbˇeru dat z databáze neuroinformatické skupiny pro sd´ılen´ı v systému Dataspace. Následuje popis praktické realizace.

1

Electroencephalography - Je vyˇsetˇren´ı registruj´ıc´ı aktuáln´ı elektrickou aktivitu mozku pomoc´ı povrchových elektrod um´ıstˇených na povrchu lebky. 2 Event-Related Potential – Evokovaný potenciál je mozková odezva na nˇejakou událost, tzv. stimul.

2 Výzkumná skupina neuroinformatiky

2

2

Výzkumná skupina neuroinformatiky

V této kapitole bude uvedena struˇcná charakteristika neuroinformatické výzkumné skupiny na KIV a dále zde budou popsána jej´ı kritéria a poˇzadavky pro výbˇer optimáln´ıho cloudového ˇreˇsen´ı.

2.1

Základn´ı informace

Výzkumná skupina pˇri Katedˇre informatiky a výpoˇcetn´ı informatiky Západocˇ eské univerzity v Plzni se specializuje na výzkum medic´ınských aplikac´ı, zejména na oblast neurologie. S ohledem na tento výzkum jsou hojnˇe vyuˇz´ıvány metody elektroencefalografie (EEG) a evokované potenciály (ERP). Výzkumná skupina vyuˇz´ıvá webový EEG/ERP portál jako centráln´ı u´ loˇziˇstˇe pro data/metadata z´ıskaná pˇri EEG/ERP experimentech, a software JERPA - desktopovou aplikaci pro výpoˇcetnˇe nároˇcné operace. EEG/ERP experimenty jsou obvykle cˇ asovˇe nároˇcné a produkuj´ı velké mnoˇzstv´ı dat, proto se mus´ı aktivnˇe ˇreˇsit jejich dlouhodobé skladován´ı a management. Problémem je praktické sd´ılen´ı a výmˇena dat mezi jednotlivými výzkumnými laboratoˇremi z r˚uzných m´ıst svˇeta tak, aby byla zároveˇn zachována jejich bezpeˇcnost. [1]

2.2

Poˇzadavky pro výbˇer cloudového rˇ eˇsen´ı

´ Unosn´ a finanˇcn´ı nároˇcnost rˇ eˇsen´ı Výzkumná skupina je souˇca´ st´ı státn´ı vysoké sˇkoly, proto jsou jej´ı finanˇcn´ı mnoˇznosti velmi omezené. Z tohoto d˚uvodu je vhodné naj´ıt poskytovatele, který podporuje vˇedu a výzkum malou, v ideáln´ım pˇr´ıpadˇe nulovou finanˇcn´ı nároˇcnost´ı svých cloudových sluˇzeb. Kompatibilita cloudového rˇ eˇsen´ı s EEG/ERP doménou EEG/ERP portál je pro zajiˇstˇen´ı vysoké u´ rovnˇe abstrakce vyv´ıjen v programovac´ım jazyce Java i s vyuˇzit´ım XML technologie. Pro zpracován´ı velkých datových soubor˚u slouˇz´ı databázový server Oracle 11g. Proto je nutné naj´ıt poskytovatele, který podporuje tyto informaˇcn´ı systémy. Dostupnost sluˇzby cloudového rˇ eˇsen´ı Dalˇs´ım poˇzadavkem výzkumné skupiny je 100% dostupnost cloudových sluˇzeb. Je nutné brát v u´ vahu taková ˇreˇsen´ı, která v tomto smˇeru uˇzivatele neomezuj´ı napˇr´ıklad variabiln´ım výkonem svého cloudu v závislosti na jeho aktuáln´ım zat´ızˇ en´ı. Vhodné je vyb´ırat poskytovatele s ohledem na budoucnost.

2.2 Poˇzadavky pro výbˇer cloudového rˇeˇsen´ı

3

´ ziˇstˇe Dostaˇcuj´ıc´ı datové uloˇ Vzhledem k zm´ınˇenému velkému mnoˇzstv´ı informac´ı produkovaných EEG/ERP experimenty je nutné nalézt ˇreˇsen´ı, které neomezuje velikost ukládaných dat. Zabezpeˇcen´ı citlivých dat Jelikoˇz se jedná o osobn´ı data, je nutné vybrat takového poskytovatele, který plnˇe garantuje jejich zabezpeˇcen´ı proti zcizen´ı a zneuˇzit´ı. Jednoduchost implementace a snadná administrace Jednoduchost implementace je zde relativn´ı, záleˇz´ı na zamˇeˇren´ı, znalostech a zkuˇsenostech administrátora. D˚uraz by vˇsak mˇel být kladen na jednoduchost a nenároˇcnost pro koncové uˇzivatele z ˇrad výzkumn´ık˚u. Systém by mˇel být ideálnˇe pˇr´ıstupný odkudkoliv z internetu (se zˇretelem na bezpeˇcnostn´ı autentizaci uˇzivatele systému).

3 Problematika cloud computingu

3

4

Problematika cloud computingu

Následuj´ıc´ı kapitola pˇrinese popis samotného cloudu, jeho cˇ lenˇen´ı, vyuˇzit´ı a struˇcný pˇrehled nˇekterých poskytovatel˚u.

3.1

Struˇcný pˇrehled

Cloud computingu je na Internetu zaloˇzený model vývoje a pouˇz´ıván´ı poˇc´ıtacˇ ových technologi´ı. Lze jej charakterizovat jako pronájem informaˇcn´ıho systému, jako sluˇzby od poskytovatel˚u, pˇriˇcemˇz tyto sluˇzby je moˇzné rozdˇelit podle jejich typu do následuj´ıc´ıch skupin: [2] SaaS - Software as a Service (software jako sluˇzba) Poskytovatel v tomto modelu pronaj´ımá aplikace vˇcetnˇe infrastruktury (hardware a operaˇcn´ıho systému/bˇehového prostˇred´ı). M˚uzˇ eme vyuˇz´ıvat pˇripravené aplikace poskytovatelem sluˇzby. PaaS - Platform as a Service (platforma jako sluˇzba) Poskytovatel nab´ız´ı bˇehové prostˇred´ı pro provoz a vyuˇzit´ı vlastn´ıch aplikac´ı. Nevýhodou je vˇsak proprietáln´ı uzavˇren´ı poskytovatelem: API rozhran´ı, programovac´ı jazyk, databáze vˇetˇsinou s pˇresnˇe danou nebo omezenou moˇznost´ı výbˇeru. Tuto nevýhodu ˇreˇs´ı posledn´ı model cloudové sluˇzby, a to: IaaS - Infrastructure as a Service (infrastruktura jako servis) Je zde nab´ızen výpoˇcetn´ı výkon, u´ loˇziˇstˇe a s´ıt’ová konektivita - hardware pro naˇse vlastn´ı bˇehové postˇred´ı a aplikace. Výhody cloud computingu jsou zejména: - vˇzdy aktuáln´ı software - platba za skuteˇcnˇe vyuˇz´ıvané sluˇzby - sˇkálovatelnost, moˇznost rychlé zmˇeny zdroj˚u podle konkrétn´ı potˇreby - dostupnost z Internetu a mobiln´ıch zaˇr´ızen´ı Nevýhody cloud computingu: - ztráta u´ plné kontroly nad vlastn´ımi daty - nutnost zabezpeˇcen´ı osobn´ıch dat sˇifrován´ım - obt´ızˇ ná nebo finanˇcnˇe nákladná migrace k jinému poskytovateli - stabilita informaˇcn´ıho systému závis´ı na pronaj´ımateli

3.2 Vývojové trendy v informaˇcn´ıch technologi´ıch

5

Dále se cloud dˇel´ı na: Public Cloud (Veˇrejný cloud) Pronájem informaˇcn´ıho systému poskytuje extern´ı spoleˇcnost. Private Cloud (Soukromý cloud) Spoleˇcnost v tomto modelu cloudu provozuje vlastn´ı informaˇcn´ı systém jako sluˇzbu. Management má tomto pˇr´ıpadˇe k dispozici pˇrehled vyuˇz´ıván´ı informaˇcn´ıch sluˇzeb dle oddˇelen´ı, napˇr. pro analytické u´ cˇ ely náklad˚u na IT systém. Hybridn´ı cloud Spojen´ı obou výsˇe uvedených typ˚u cloud˚u. Pokud aktuálnˇe, myˇsleno nárazovˇe, systémové prostˇredky vlastn´ıho informaˇcn´ıho systému spoleˇcnosti nepostaˇcuj´ı, je moˇzné vyuˇz´ıt veˇrejného cloudu.

3.2

Vývojové trendy v informaˇcn´ıch technologi´ıch

Vývoj trend˚u v informaˇcn´ıch technologi´ıch je velmi rychlý. Informace, které byly pˇred nˇekolika mˇes´ıci novinkou, nemus´ı být nyn´ı jiˇz aktuáln´ı. Stoj´ıme tedy pˇred problémem, jak k této skuteˇcnosti pˇristupovat. Obecné informace a definice týkaj´ıc´ı se novinek lze cˇ erpat prostˇrednictv´ım kniˇzn´ı literatury. Pro hlubˇs´ı analýzu je potˇreba proˇc´ıtat aktuáln´ı cˇ lánky cˇ i se u´ cˇ astnit tematických konferenc´ı apod. Cloud computing je typickým pˇr´ıkladem rychle se vyv´ıjej´ıc´ıho modern´ıho trendu v informaˇcn´ıch technologi´ıch. Informace potˇrebné pro popis cloudových ˇreˇsen´ı uvedených v této práci byly cˇ erpány z aktuáln´ıch internetových cˇ lánk˚u, konferenc´ı a osobn´ıch konzultac´ı s odborn´ıky ze spoleˇcnost´ı poskytuj´ıc´ıch cloud computing.

4 Analýza vybraných poskytovatel˚u

6

Analýza vybraných poskytovatelu˚

4

Tato kapitola pˇrinásˇ´ı konkrétn´ı nab´ıdky spoleˇcnost´ı poskytuj´ıc´ı cloud computing. Pokud to bude moˇzné, konkrétn´ı ˇreˇsen´ı bude otestováno a zhodnoceno.

4.1

ˇ sen´ı od Amazon Reˇ

Spoleˇcnost Amazon je pr˚ukopn´ıkem na trhu cloudových sluˇzeb. Zaˇc´ınala s internetovým obchodem. V roce 2002 spustila na volných hardwarových prostˇredc´ıch sluˇzbu AWS1 . [3] V roce 2006 byla spuˇstˇena sluˇzba on-line u´ loˇzného prostoru Amazon Simple Storage Service (S3) a pˇredstavena sluˇzba Amazon Elastic Compute Cloud (EC2). [4] AWS pˇredstavuje kompletn´ı sadu infrastrukturn´ıch a aplikaˇcn´ıch sluˇzeb, jejichˇz seznam a struˇcný popis následuje n´ızˇ e. Výpoˇcetn´ı výkon: EC2 (Amazon Elastic Compute Cloud) - nab´ız´ı výpoˇcetn´ı kapacitu v Cloudu. Auto Scaling - umoˇznˇ uje automaticky sˇkálovat výpoˇcetn´ı výkon v závislosti na podm´ınkách, které potˇrebujeme nebo definujeme. Elastic Load Balancing - automaticky distribuuje pˇr´ıchoz´ı aplikaˇcn´ı provoz na v´ıce Amazon EC2 instanc´ı. Databáze: Amazon Relational Database Service (RDS) - umoˇznˇ uje snadné nastaven´ı, ovládán´ı a sˇkálován´ı relaˇcn´ı databáze v Cloudu. Amazon DynamoDB - je plnˇe ˇr´ızená, vysoce výkonná NoSQL2 databáze, kterou lze snadno nastavit, provozovat a sˇkálovat. Amazon SimpleDB - pˇredstavuje ˇr´ızenou NoSQL databázi urˇcenou pro menˇs´ı soubory dat.

Nasazen´ı a správa: 1 2

AWS - Amazon Web Services NoSQL - databáze nevyuˇz´ıvaj´ıc´ı jazyk SQL

ˇ sen´ı od Amazon 4.1 Reˇ

7

AWS Identity a Access Management (IAM) - IAM umoˇznˇ uje bezpeˇcnˇe ˇr´ıdit pˇr´ıstup k AWS sluˇzbám a zdroj˚um uˇzivatel˚u, umoˇznˇ uje vytváˇren´ı a správu uˇzivatel˚u v AWS a umoˇznˇ uje udˇelit pˇr´ıstup k AWS zdroj˚um pro uˇzivatele spravované mimo AWS, napˇr´ıklad v podnikovém adresáˇri.

S´ıt’ové sluˇzby: Amazon Virtual Private Cloud (VPC) - umoˇznˇ uje poskytován´ı soukromé izolované cˇ a´ sti Amazon Web Services (AWS), kde je moˇzné spustit AWS zdroje ve virtuáln´ı s´ıti. S Amazon VPC m˚uzˇ eme definovat virtuáln´ı topologii s´ıtˇe, která se podobá té tradiˇcn´ı a která by zároveˇn mohla pracovat v naˇsem vlastn´ım datovém centru. Datová u´ loˇziˇstˇe Amazon Simple Storage Service (S3) - poskytuje infrastrukturu pro plnˇe redundantn´ı ukládán´ı a naˇc´ıtán´ı libovolného mnoˇzstv´ı dat kdykoli a odkudkoli na webu. Amazon Glacier - skladovac´ı sluˇzba s extrémnˇe n´ızkými náklady, která poskytuje bezpeˇcné a trvanlivé u´ loˇziˇstˇe pro archivaci dat a zálohován´ı. Podpora: AWS Support - rychlý kanál pro pomoc se sestaven´ım a spuˇstˇen´ım aplikac´ı v AWS infrastruktuˇre. N´ızˇ e následuje podrobnˇejˇs´ı popis sluˇzby Amazon EC2 (Elastic Compute Cloud) a Simple Storage Service(S3). Amazon EC2 je webová sluˇzba, která nab´ız´ı variabiln´ı výpoˇcetn´ı kapacitu. Výhoda tohoto ˇreˇsen´ı spoˇc´ıvá v tom, zˇ e vyuˇz´ıváme pouze výpoˇcetn´ı výkon, který skuteˇcnˇe potˇrebujeme. Pˇridán´ı nové instance serveru nen´ı sloˇzité a umoˇznˇ uje rychle sˇkálovat kapacitu výpoˇcetn´ıho výkonu nahoru nebo dol˚u. Máme moˇznost vybrat si z nˇekolika typ˚u instanc´ı. Standardn´ı instanci prvn´ı generace (M1) si m˚uzˇ eme pˇredstavit, jako pronajmutý virtuáln´ı server r˚uzné ”velikosti”. Pˇr´ıklad malého virtua´ ln´ıho serveru: 1,7 GiB pamˇeti, 1 EC2 Compute Unit (1 virtuáln´ı jádro s 1 EC2 výpoˇcetn´ı jednotkou), 160 GB m´ıstn´ı instance u´ loˇziˇstˇe, 32-bit nebo 64-bit platformy. Pˇr´ıklad velkého virtuáln´ıho serveru: 7,5 GiB pamˇeti, 4 EC2 výpoˇcetn´ıho jednotky (2 virtuáln´ı jádra kaˇzdá s 2 EC2 výpoˇcetn´ımi jednotkami), 850 GB m´ıstn´ı instance u´ loˇziˇstˇe, 64-bit platformy.


8

Pokud by standardn´ı virtuáln´ı servery prvn´ı generace byly nedostaˇcuj´ıc´ı, existuje moˇznost vybrat si z generace druhé (M3). Tedy z jeˇstˇe výkonˇejˇs´ıch virtuáln´ıch server˚u. Pˇr´ıklad dvojité extra velké instance serveru z druhé generace je 30 GiB pamˇeti, 26 EC2 výpoˇcetn´ıch jednotek (8 virtuáln´ıch jader s 3,25 EC2 výpoˇcetn´ımi jednotkami), EBS u´ loˇziˇstˇe, 64-bit platformy. Vˇsechny virtuáln´ı servery jsou samozˇrejmˇe k dispozici ihned, plat´ı se pouze za jejich vyuˇz´ıt´ı. To je podstatný rozd´ıl oproti vlastn´ımu podnikovém serveru. Pokud vˇsak nechceme mˇenit celé virtuáln´ı servery, ale chceme pouze sˇkálovat výkon po menˇs´ıch výpoˇcetn´ıch jednotkách, m˚uzˇ e zcela dobˇre poslouˇzit Micro instance. Micro instance (t1.micro) poskytuje malé mnoˇz-stv´ı konzistentn´ıch prostˇredk˚u procesor˚u a umoˇznˇ uj´ı zvýsˇit kapacitu CPU v krátkých dávkách. Jsou vhodné pro niˇzsˇ´ı propustnosti aplikac´ı a webových stránek, které pravidelnˇe vyˇzaduj´ı delˇs´ı výpoˇcetn´ı cykly. Problémem nen´ı ani aplikace s velkými nároky na pamˇet’ nebo na velký výkon procesoru. Vˇse je totiˇz moˇzné libovolnˇe podˇr´ıdit konkrétn´ım poˇzadavk˚um. Pokud je jeden z poˇzadavk˚u na rendering nebo mediáln´ı zpracován´ı aplikace, lze pro tyto u´ cˇ ely vyuˇz´ıt grafické procesory (GPU) s masivn´ım paralelen´ım zpracován´ım. Vyuˇzitelné je napˇr´ıklad pro grafické studio pˇri tvorbˇe animan´ı cˇ i celých animovaných film˚u bez potˇreby vlastn´ıho hardware. Poˇzadujeme-li extrémnˇe rychlý pˇr´ıstup k dat˚um (vysoce výkonné databázové u´ lohy), jsou k dispozici SSD disky s vysokou I/O propustnost´ı. Amazon S3 poskytuje jednoduché rozhran´ı webových sluˇzeb, které lze pouˇz´ıt ukládán´ım a naˇc´ıtán´ım libovolného mnoˇzstv´ı dat, a to kdykoliv a odkudkoliv na webu. Velikost objekt˚u se m˚uzˇ e pohybovat od 1B aˇz do 5TB, pˇriˇcemˇz poˇcet objekt˚u je neomezený. Výhodou pro optimalizaci latence je moˇznost zvolit si um´ıstˇen´ı u´ loˇziˇstˇe dle regionu. Je garantováno, zˇ e napˇr´ıklad data uloˇzená v Irsku (pro region EU), nikdy tuto oblast neopust´ı. Nezbytnost´ı jsou autentizaˇcn´ı mechanizmy s sˇifrován´ım dat. Vlastn´ık tˇechto dat obdrˇz´ı urˇcitý kl´ıcˇ“, bez kterého se ” k dat˚um nikdo jiný nedostane. Cen´ık sluˇzeb Amazon Sluˇzby Amazon jsou bohuˇzel zpoplatnˇeny. Proto povaˇzuji za d˚uleˇzité analyzovat i cen´ık, protoˇze právˇe cena m˚uzˇ e být kritériem pˇri výbˇeru cloudového poskytovatele. Pˇred samotnou finanˇcn´ı analýzou je dobré znát alespoˇn pˇribliˇzný interval nároˇcnosti na výpoˇcetn´ı výkon pouˇz´ıvaných aplikac´ı, velikost a rychlost u´ loˇziˇstˇe dat, s´ıt’ový provoz (ˇc´ımˇz je myˇsleno i cˇ asové vyuˇzit´ı aplikace a zat´ızˇ en´ı uˇzivateli), poˇzadavky na software, respektive operaˇcn´ı systém a bˇehové prostˇred´ı pro aplikaci. Pro vyzkouˇsen´ı bˇehu doporuˇcuji vyzkouˇsen´ı provozu v cloudu od


9

spoleˇcnosti Amazon sluˇzbu AWS Free na rok zdarma. [6] Pro celkovˇe lepˇs´ı pˇrehlednost cen jsou zpracovány tabulky n´ızˇ e. Bal´ıcˇ ek AWS Free obsahuje: • 750 hodin mˇes´ıcˇ nˇe provozu Amazon EC2 (Linux nebo Windows) s 613 Mb pamˇeti • 750 hodin mˇes´ıcˇ nˇe provozu Load Balanceru s 15 Gb u´ loˇzného prostoru • 30 Gb Block Storage s 2 000 000 I/O a 1 Gb prostoru pro snapshot • 750 hodin Amazon RDS, relaˇcn´ı databáze (MySQL, Oracle BYOL1 nebo SQL Server) s u´ loˇzným prosorem o velikosti 20 Gb a 10 000 000 I/O operac´ı. • dalˇs´ı sluˇzby jako 5 Gb Simple Storage Service (S3), Dynamo DB, Simple Workflow (SWF), Simple Queue Service (SQS) a Simple Notification Service (SNS), CloudWatch, pˇrenos dat a Data Pipeline • kromˇe tˇechto sluˇzeb je k dispozici tézˇ zdarma i AWS Management Console, která pom˚uzˇ e vytvoˇrit a spravovat aplikace na AWS Tyto volné vrstvy jsou k dispozici pouze pro nové zákazn´ıky, a to po dobu 12 mˇes´ıc˚u po pˇrihlásˇen´ı k u´ cˇ tu AWS Free. Pokud volné pouˇzit´ı vyprˇs´ı a/nebo pokud beˇz´ıc´ı aplikace pˇresahuje volné pouˇzit´ı, je nutno zaplatit standardn´ı pay-as-you-go sluˇzbu dle cen´ıku. Ceny sluˇzeb jsou rozdˇeleny do nˇekolika kategori´ı, napˇr. podle regionu, který je pro daný cloud vybrán, podle délky závazku vyuˇz´ıt´ı sluˇzeb nebo pokud postaˇc´ı cloud s dynamicky se mˇen´ıc´ı volnou kapacitou prostˇredk˚u Amazonu, kterou maj´ı aktuálnˇe k dispozici. On-Demand instance [4] umoˇznuje platit za výpoˇcetn´ı kapacity na hodinu bez pau-ˇsa´ ln´ı platby. Nen´ı nutné plánovat výpoˇcetn´ı kapacitu s dlouhodobým výhledem, nakupovat a udrˇzovat hardware. 1

BYOL - Bring Your Own License


10

Region EU (Irsko) Standard On-Demand Instances Linux/UNIX Windows Small (Default) $0.085 za hodinu $0.115 za hodinu Medium $0.170 za hodinu $0.230 za hodinu Large $0.340 za hodinu $0.460 za hodinu Extra Large $0.680 za hodinu $0.920 za hodinu Tab.1 Cen´ık On-Demand instance

V tabulce Tab.2 je uveden cen´ık dalˇs´ıch typ˚u On-Demand instanc´ı pro aplikace se speciáln´ımi nároky na pamˇet’, výkon procesoru, GPU nebo rychlejˇs´ı I/O pˇrenosy.

Micro On-Demand Instances Micro High-Memory On-Demand Instances Extra Large Double Extra Large High-CPU On-Demand Instances Medium Extra Large Cluster GPU Instances Quadruple Extra Large High-I/O On-Demand Instances Quadruple Extra Large

Region EU (Irsko) Linux/UNIX Windows $0.020 za hodinu $0.035 za hodinu $0.506 za hodinu $0.570 za hodinu $1.012 za hodinu $1.140 za hodinu $0.186 za hodinu $0.285 za hodinu $0.744 za hodinu $1.140 za hodinu $2.36 za hodinu

$2.60 za hodinu

$3.410 za hodinu $3.580 za hodinu

Tab.2 Cen´ık On-Demand instanc´ı pro speciáln´ı poˇzadavky

Dalˇs´ı moˇznost´ı volby jsou vyhrazené instance (Reserved Instances) virtuáln´ıch server˚u v cloudu. Pokud bychom vˇedˇeli, zˇ e danou instanci budeme s urˇcitost´ı vyuˇz´ıvat delˇs´ı dobu, napˇr. jeden rok, zaplat´ıme jednorázovou cˇ a´ stku a poté podobnˇe jako u On-Demand instanc´ı hodinovou sazbu, která je ale v tomto pˇr´ıpadˇe výraznˇe levnˇejˇs´ı. Vyhrazené instance se dále dˇel´ı na tˇri skupiny dle výsˇe jednorázové platby na Light, Medium a Heavy. Cen´ıky vyhrazených instanc´ı pro porovnán´ı jsou uvedeny v tabulkách Tab. 3, Tab.4, Tab.5, Tab.6, Tab.7 a Tab.8. Vˇsechny ceny jsou uvedeny pro Linux. Pro Windows jsou pauˇsa´ ln´ı ceny stejné. Hodinová sazba pro Windows je vˇsak o $0.2 - $0.4 vyˇssˇ´ı neˇz pro Linux.

ˇ sen´ı od Amazon 4.1 Reˇ LIGHT Reserved Instances

Standart Reserved Instances Small (Default) Medium Large Extra Large

11 Region EU (Irsko) na 1 rok na 3 roky pˇredem za hodinu pˇredem za hodinu $69 $138 $276 $552

$0.049 $0.098 $0.196 $0.392

$106.30 $212.50 $425.20 $850.40

$0.039 $0.078 $0.156 $0.312

Tab.3 Cen´ık vyhrazených standartn´ıch instanc´ı Light pro Linux

LIGHT Reserved Instances

Region EU (Irsko) na 1 rok na 3 roky pˇredem za hodinu pˇredem za hodinu

Micro Reserved Instances Micro High-Memory Reserved Instances Extra Large Double Extra Large Cluster GPU Reserved Instances Quadruple Extra Large High-I/O Reserved Instances Quadruple Extra Large

$23

$0.015

$35

$0.015

$353 $706

$0.288 $0.576

$548 $1096

$0.23 $0.46

N/A*

N/A*

N/A*

N/A*

$2576

$2.605

$3884

$2.035

* Nen´ı k dispozici v regionu EU (Irsko) - nutné zvolit jiný region Tab.4 Cen´ık vyhrazených instanc´ı Light pro Linux pro speciáln´ı poˇzadavky aplikac´ı

MEDIUM Reserved Instances


Region EU (Irsko) na 1 rok na 3 roky pˇredem za hodinu pˇredem za hodinu $160 $320 $640 $1280

$0.031 $0.063 $0.124 $0.248

$250 $500 $1000 $2000


$0.025 $0.05 $0.10 $0.20


12

MEDIUM Reserved Instances

Region EU (Irsko) na 1 rok na 3 roky pˇredem za hodinu pˇredem za hodinu


$54

$0.01

$82

$0.01

$850 $1700

$0.185 $0.37

$1283 $2566

$0.148 $0.296

N/A*

N/A*

N/A*

N/A*

$5973

$1.379

$9133

$1.022


HEAVY Reserved Instances


Region EU (Irsko) na 1 rok na 3 roky pˇredem za hodinu pˇredem za hodinu $195 $390 $780 $1560

$0.025 $0.05 $0.10 $0.20

$300 $600 $1200 $2400


$0.02 $0.04 $0.8 $0.16

ˇ sen´ı od Amazon 4.1 Reˇ HEAVY Reserved Instances


13 Region EU (Irsko) na 1 rok na 3 roky pˇredem za hodinu pˇredem za hodinu $62

$0.008

$100

$0.008

$1030 $2060

$0.148 $0.296

$1550 $3100

$0.118 $0.236

N/A*

N/A*

N/A*

N/A*

$7280

$0.931

$10960

$0.742


Platba pˇredem za vyhrazenou instanci je navratná. Po dobu, kdy nebude instance Light nebo Medium spuˇstˇena, se nehrad´ı hodinové sazby. Pouze u Heavy instance je u´ cˇ tována hodinová sazba bez ohledu na jej´ı spuˇstˇen´ı. Pokud se spoleˇcnosti Microsoft (Windows) nebo RedHat (Linux) rozhodnou zvýsˇit licenˇcn´ı poplatky za software, vyhrazuje si spoleˇcnost Amazon u´ mˇernˇe tomuto nár˚ustu navýsˇit hodinové sazby. Je zde pak samozˇrejmˇe moˇznost odstoupit od vyuˇz´ıván´ı sluˇzby Amazon a pomˇerná cˇ a´ st platby bude vrácena. Posledn´ı instanc´ı, kterou je vhodné zm´ınit, je Spot Instance. Spot instance umoˇznˇ uje vyuˇz´ıt aktuáln´ı volnou kapacitu Amazon EC2. Instance je zpoplatnˇena spotovou cenou, která je stanovená Amazon EC2 a kol´ısá periodicky v závislosti na nab´ıdce a poptávce po kapacitˇe Spot instance. Pokud bychom chtˇeli vyuˇz´ıt Spot instanci, zaˇsleme dotaz s uveden´ım typu instance na dostupnost poˇzadované zóny vˇcetnˇe uveden´ı poˇctu Spot instanc´ı, které chceme spustit, a maximáln´ı cenou, kterou jsme ochotni zaplatit za hodinu. Tato maximáln´ı cena se porovnává s aktuáln´ımi spotovými cenami. Historie Spot cen je také k dispozici na Amazon EC2 API a AWS Admin Console. Pokud maximáln´ı cena pˇresahuje aktuáln´ı spotovou cenu, je zˇ a´ dost splnˇena a naˇse instance pobˇezˇ´ı, dokud se ji rozhodneme ukonˇcit, nebo spotová cena pˇresáhne námi urˇcený maximáln´ı finanˇcn´ı limit. Pokud bychom chtˇeli z pˇrehledových tabulek porovnat finanˇcn´ı nákladnost jednotlivých instanc´ı, zvol´ıme si napˇr´ıklad On-Demand Large instanci. On-Demand je bez platby pˇredem. Hodinová sazba v tomto pˇr´ıpadˇe vycház´ı na $0.460. Kurz dolaru pˇredpokládejme 20 Kˇc. Hodinová sazba v Korunách cˇ eckých vycház´ı na 9,20 Kˇc. Denn´ı sazba cˇ in´ı 220 Kˇc. Mˇes´ıcˇ n´ı náklady na instanci serveru od Ama-


14

zone pˇredstavuj´ı cˇ a´ stku 6624 Kˇc. Jedná se o cloud server se 7,5 GiB pamˇeti, 4 EC2 výpoˇcetn´ıho jednotky (2 virtuáln´ı jádra kaˇzdá s 2 EC2 výpoˇcetn´ımi jednotkami), 850 GB m´ıstn´ı instance u´ loˇziˇstˇe, 64-bit platforma. Pokud bychom oproti tomu poˇc´ıtali s nákupem odpov´ıdaj´ıc´ıho serveru, s dobou cˇ ekán´ı na dodávku, jeho provozn´ı náklady, spotˇreba elektrické energie, u´ drˇzba a zˇ ivotnost, pˇredstavuje ˇreˇsen´ı od Amazon.com zaj´ımavou alternativu. Pro vyzkouˇsen´ı sluˇzeb je nutné provést registraci na webových stránkách1 . V dalˇs´ım kroku je jako nezbytnou podm´ınku nutno uvést u´ daje o platebn´ı kartˇe, coˇz mnou nebylo akceptováno. Z tohoto d˚uvodu praktické otestován´ı sluˇzby AWS Free nebylo moˇzné.

1

http://www.amazon.com

ˇ sen´ı Google 4.2 Reˇ

4.2

15

ˇ sen´ı Google Reˇ

Google je americká nadnárodn´ı spoleˇcnost, která od doby svého vzniku v roce 1998 poskytuje internetové produkty a sluˇzby. Do podvˇedom´ı vstoupila pˇredevˇs´ım svým vyhledávaˇcem. Spoleˇcnost se v souˇcasné dobˇe zamˇeˇruje mimo jiné i na vývoj software, napˇr´ıklad prohl´ızˇ eˇc Chrome a operaˇcn´ı systém Android. Aktuálnˇe se spoleˇcnost Google snaˇz´ı proniknout i do oblasti cloud computingu, protoˇze vlastn´ı volné výpoˇcetn´ı kapacity, které nejsou plnˇe vyuˇzity. Investice do cloud computingu se zde proto jev´ı jako výhodnˇe ˇreˇsen´ı vyuˇzit´ı volných kapacit a zároveˇn z´ıskán´ıch urˇcitých finanˇcn´ıch prostˇredk˚u z jejich pronájmu. Vzhledem k tomu, zˇ e Google sám vznikl na akademické p˚udˇe, snaˇz´ı se jako spoleˇcnost poskytovat sˇkolstv´ı a výzkumu veˇskeré sluˇzby zdarma. Z toho d˚uvodu je v této práci spoleˇcnost Google zahrnuta do analýzy moˇzných cloudových ˇreˇsen´ı pro neuroinformatickou doménu. Spoleˇcnost Google v souˇcasnosti poskytuje tyto cloudové moˇznosti: Google Apps - pˇredstavuje soubor hotových online aplikac´ı (firemn´ı email, kalendáˇre, rezervace, kontakty a skupiny, chat, telefony, videokonference, webové stránky, disk Google – sd´ılen´ı v rámci firmy). Aplikace lze rovnou nastavit a ihned pouˇz´ıvat. Toto ˇreˇsen´ı patˇr´ı do modelu cloud computingu SaaS (Software as a Service). Nevýhodou toho ˇreˇsen´ı je nemoˇznost pouˇzit´ı vlastn´ıho software, lze vyuˇz´ıvat pouze pˇreddefinovaný. [7] Tento problém ˇreˇs´ı následuj´ıc´ı produkt: Google App Engine (GAE) -nab´ız´ı prostor pro bˇeh vlastn´ıch aplikac´ı a software. Tento model cloudové sluˇzby spadá do kategorie PaaS (Platrofme as a Service). I toto ˇreˇsen´ı má vˇsak svá u´ skal´ı. Aplikace mus´ı být napsaná v jazyc´ıch urˇcených poskytovatelem, tj.: Java, Python a experimentálnˇe Go (vlastn´ı programovac´ı jazyk spoleˇcnosti Google). GAE dále nenab´ız´ı klasické instalaˇcn´ı metody jako je FTP nebo webové rozhran´ı. Aplikace je nutné nahrát a spustit pomoc´ı speciáln´ıch nástroj˚u. GAE celkovˇe pˇredstavuje velmi dobré ˇreˇsen´ı pro bˇeh aplikac´ı Java a Phyton, mus´ıme vˇsak vz´ıt v u´ vahu moˇznou nevýhodu v podobˇe Googlem omezených, respektive ne vˇzdy stejnˇe velkých výpoˇcetn´ıch a datových kapacit. Dostupný výpoˇcetn´ı výkon je nab´ızen v závislosti na aktuáln´ı zátˇezˇ i server˚u spoleˇcnosti Google, nemáme jej tedy pro naˇsi aplikaci vˇzdy garantovaný, nebo dostupný. [8] Google Compute Engine (GCE) -je posledn´ı novinkou spoleˇcnosti Google v oblasti cloud computing. GCE byl v cˇ ervnu 2012 pˇredstaven na konferenci spoleˇcnosti Google v San Franciscu v Kalifornii. Tento produkt spadaj´ıc´ı do modelu cloudových sluˇzeb IaaS (Infrastructure


16

as a Service) umoˇznˇ uje spouˇstˇet nároˇcné výpoˇcetn´ı u´ lohy na virtuáln´ıch serverech s operaˇcn´ım systémem Linux, na vlastn´ı infrastruktuˇre spoleˇcnosti Google. Za zm´ınku jistˇe stoj´ı fakt, zˇ e na uvedené konferenci byla pˇri prezentaci GCE spuˇstˇena demo aplikace z oblasti biologie, která v nárazovém maximu dosáhla zátˇezˇ e sˇest set tis´ıc CPU jader. GCE má být pˇr´ımým konkurentem EC2 spoleˇcnosti Amazone (viz výsˇe). Vzhledem k datu uveden´ı tohoto cloudového ˇreˇsen´ı na trh nejsou zcela dostupné detailn´ı informace o produktu a zkuˇsenosti uˇzivatel˚u s n´ım samotným. Pokud by se vˇsak potvrdily nast´ınˇené moˇznosti a GCE opravdu takto zvládal velmi nároˇcné výpoˇcetn´ı operace, dá se reálnˇe pˇredpokládat, zˇ e by GCE bylo výhodnˇejˇs´ı alternativou clonovému ˇreˇsen´ı spoleˇcnosti Amazone. [9] Praktické otestován´ı GCE (pro u´ cˇ ely této práce) je nemoˇzné z d˚uvodu nutnosti zakoupit pˇredplatné tzv. Google Gold Support - uˇzivatelské podpory. Google Cloud Storage (GCS) -pˇredstavuje virtuáln´ı datové u´ loˇziˇstˇe, které je moˇzné vyuˇz´ıt pro data naˇs´ı aplikace v celkovém rozsahu aˇz 10 GB. Moˇznosti této sluˇzby jsou velmi sˇiroké. Lze ji vyuˇz´ıt pˇr´ımo pro data naˇs´ı aplikace, jako záloha nebo replikace datových server˚u v pˇr´ıpadˇe jejich výpadku. [10] Google BigQuery -je systém, který umoˇznˇ uje analyzovat uˇzivatelská data v ˇra´ dech TB bez nutnosti vyuˇzit´ı vlastn´ıho hardware cˇ i software. Nahráván´ı dat je velmi rychlé, protoˇze systém vyuˇz´ıvá API, které pouˇz´ıvá soubˇezˇ nˇe komprimované streamy. [11] Google Cloud SQL -reprezentuje databázový systém v cloudu, který umoˇznˇ uje vytváˇret, spravovat a konfigurovat relaˇcn´ı databáze MySQL. Umoˇznˇ uje výbˇer mezi servery v USA a EU, podporuje programovac´ı jazyky Java a Python. Velikost databáze se pohybuje do 100 GB a pamˇet’ pro transakce 16 GB RAM pro kaˇzdého uˇzivatele. Negativem je absence podpory uˇzivatelských funkc´ı a MySQL replikace. Spoleˇcnost tento produkt nab´ız´ı k vyzkouˇsen´ı aˇz do 1. cˇ ervna 2013 zcela zdarma. [12] Produkty spoleˇcnosti Google nab´ızej´ı velmi zaj´ımavou alternativu cloudového ˇreˇsen´ı Amazone svými cenovými relacemi, respektive bezplatným vyuˇzit´ım pro akademickou sféru. Zm´ınˇená bezplatnost je ovˇeˇrována pouze z internetových zdroj˚u. Aˇc jsem kontaktoval spoleˇcnost NetMail, která je certifikovaným partnerem ˇ Google Apps pro Ceskou republiku, neobdrˇzel jsem na dotaz opovˇed’. Nevýhodou cloudového ˇreˇsen´ı spoleˇcnosti Google je kromˇe výsˇe zm´ınˇených nedostatk˚u také fakt, zˇ e vzhledem ke konkurenˇcn´ımu boji se spoleˇcnost´ı Microsoft Google pˇr´ıleˇzitostnˇe ukonˇcuje podporu nˇekterých svých sluˇzeb (napˇr´ıklad ukonˇcen´ı podpory Ex-


17

change ActiveSync v prosinci 2012). [13] Problém m˚uzˇ e i cˇ init urˇcitá netransparentnost smluvn´ıch podm´ınek (napˇr´ıklad vynucené pouˇz´ıván´ı nˇekterých ne zcela souvisej´ıc´ıch sluˇzeb, pˇr´ıpadnˇe vynucené poskytnut´ı soukromých dat cˇ i informac´ı, které nutnˇe nesouvis´ı s poskytovanou sluˇzbou). Skuteˇcnost, zˇ e spoleˇcnost Google nab´ız´ı relativnˇe sˇiroké spektrum cloudových moˇznost´ı, m˚uzˇ e být paradoxnˇe nevýhodou, nebot’ Google zákazn´ıkovi nenab´ız´ı ucelený pˇrehled a popis poskytovaných sluˇzeb (oproti spoleˇcnosti Amazone). Zjiˇst’ován´ı informac´ı o jednotlivých cloudových sluˇzbách této spoleˇcnosti nen´ı pˇr´ıliˇs jednoduché. Z tohoto d˚uvodu ˇ jsem své poznatky ovˇeˇrovat osobn´ı konzultac´ı s Ing. Sediv´ ym, který ˇradu let pracoval ve spoleˇcnosti Google.

ˇ sen´ı Microsoft 4.3 Reˇ

4.3

18

ˇ sen´ı Microsoft Reˇ

Spoleˇcnost Microsoft zachytila trend pronájmu informaˇcn´ıch technologi´ı pozdˇeji. Vzhledem ke skuteˇcnosti, zˇ e se jedná o jednu z nejvˇetˇs´ıch softwarových firem na svˇetˇe, je vhodné jej´ı ˇreˇsen´ı uvést. Existuje zde pˇredpoklad nejen smazán´ı deficitu, ale i dalˇs´ıho rychlého rozvoje nab´ızených sluˇzeb. Hlavn´ı cloudovou platformu spoleˇcnosti Microsoft pˇredstavuje Windows Azure. Jako datové u´ loˇziˇstˇe Micrososft poskytuje sluˇzbu SkyDrive. Microsoft Azure je moˇzné vyuˇz´ıt pro hostován´ı webových aplikac´ı. Jedná se o jednoduché webové aplikace i v´ıcevrstvé sluˇzby, kdy systém sˇkáluje sv˚uj výkon na základˇe aktuáln´ıho zat´ızˇ en´ı webu. Microsoft nab´ız´ı zdarma 90denn´ı zkuˇsebn´ı verzi Windows Azure pro otestován´ı, ovˇsem podobnˇe jako Amazon poˇzaduje registraci vˇcetnˇe u´ daj˚u z platebn´ı karty. Bez tˇechto informac´ı nen´ı moˇzné pˇrihlásˇen´ı korektnˇe dokonˇcit. [14] Microsoft nab´ız´ı v rámci sluˇzby SkyDrive zdarma 7 GB volného datového prostoru. [15] Diskový prostor je dostupný po pˇrihlásˇen´ı na webových stránkách1 . Pˇri registraci je poˇzadována pouze platná emailová adresa. Souˇca´ st´ı sluˇzby SkyDrive je moˇznost vytváˇret vlastn´ı dokumenty známe z bal´ıku MS Office. Ukázka webového pˇr´ıstupu na sluˇzbu SkyDrive je znázornˇena na obrázku 1.

Obrázek 1: Webový pˇr´ıstup k sluˇzbˇe MS SkyDrive 1

https://skydrive.live.com

ˇ sen´ı Microsoft 4.3 Reˇ

19

Pˇripojen´ı k u´ loˇziˇsti je moˇzné dvˇema zp˚usoby: pˇres webové rozhran´ı a pomoc´ı aplikace, kterou je moˇzné nainstalovat do poˇc´ıtaˇce. Zpˇr´ıstupn´ı se t´ımto zp˚usobem SkyDrive jako dalˇs´ı disk. Osobnˇe jsem vyzkouˇsel pˇr´ıstup pˇres webové rozhran´ı, které je svým vzhledem a grafickým uspoˇra´ dán´ım zamˇeˇreno na koncového zákazn´ıka, u nˇejˇz se pˇredpokládá, zˇ e ke svým dat˚um pˇristupuje i pomoc´ı dotykových obrazovek tablet˚u a chytrých“ telefon˚u. Obsluhu zvládne i bˇezˇ ný uˇzivatel poˇc´ıtaˇce. ” Vytváˇren´ı dokument˚u MS Office je také jednoduché. Dokumenty lze ponechat v cloudovém uloˇziˇsti SkyDrive a je umoˇznˇen i jejich pˇrenos do vlastn´ıho poˇc´ıtaˇce. Na obrázku cˇ . 2 je zobrazena ukázka vytvoˇren´ı dokumentu Word ve SkyDrive. Z obrázku je zˇrejmé identické prostˇred´ı jako dektopová aplikace MS Word.

Obrázek 2: Vytvoˇren´ı dokumentu MS Word ve SkyDrive

ˇ sen´ı BeeScale 4.4 Reˇ

4.4

20

ˇ sen´ı BeeScale Reˇ

Jak je zˇrejmé výsˇe uvedeného, cloudová ˇreˇsen´ı s vyj´ımkou MS SkyDrive nebylo vˇzdy moˇzné korektnˇe vyzkouˇset a prakticky si ovˇeˇrit uvedené informace. Sluˇzba BeeScale spoleˇcnosti OldanyGroup umoˇznˇ uje po registraci z´ıskat volný kredit na vyzkouˇsen´ı serveru v cloudu. Registrovat u´ cˇ et je moˇzné na webových stránkách1 . Je moˇzné vytvoˇrit plnohodnotné servery s pˇredinstalovanými operaˇcn´ımi systémy Ubuntu, Debian, FreeBSD, CentOS a Turnkey. Pˇripravuj´ı se i operaˇcn´ı systémy Windows. Je moˇzné pronajmout si libovolný poˇcet server˚u, kaˇzdý s 1 - 4 virtuáln´ımi procesory, 64 MB - 4 GB pamˇeti, 1 - 4 pevnými disky, kaˇzdý o kapacitˇe 1 aˇz 100 GB. [16] Postup vytvoˇren´ı vlastn´ıho serveru k cloudu je následuj´ıc´ı. Na výsˇe uvedené webové stránce provedeme registraci. Je nutné zadat platnou emailovou adresu. Z´ıskáme 100 Kˇc kreditu zdarma. Nyn´ı vytvoˇr´ıme server, zadáme název serveru, urˇc´ıme poˇcet CPU a velikost RAM. V rámci zkuˇsebn´ı verze máme k dispozici pouze 1 vCPU o rychlosti 3 GHz a maximáln´ı velikost vRAM 256 MB. Zadáme poˇcet disk˚u. Kapacita disku ve zkuˇsebn´ı verzi je 10GB. Zvol´ıme pˇreinstalovaný operaˇcn´ı systém. Konfigurace serveru je zˇrejmá z obrázku cˇ .3.

Obrázek 3: Konfigurace virtuáln´ıho serveru sluˇzby BeeScale

Parametry serveru jsou nastaveny a je jej tedy moˇzné spustit. Spuˇstˇen´ı serveru provedeme z dialogu Serverovna jak je zˇrejmé s obrázku cˇ .4. 1

https://beescale.com/


21

Obrázek 4: Dialogové okno vypnutého serveru sluˇzby BeeScale Na obrázku cˇ . 5 je vidˇet webový dialog spuˇstˇeného serveru. Z dialogu je moˇzné vyˇc´ıst parametry pro pˇripojen´ı jako je ip adresa serveru, je moˇzné zobrazit heslo pro uˇzivatele root. Server lze restartovat nebo u´ plnˇe vypnout. Pokud je server vypnutý, nedocház´ı k odeˇc´ıtán´ı kreditu.

Obrázek 5: Dialogové okno spuˇstˇeného serveru sluˇzby BeeScale

Od tohoto okamˇziku je server s operaˇcn´ım systémem Debian plnˇe k dispozici. Pro administraci je pˇr´ıstupný pˇres ssh protokol. Soubory je moˇzné pˇrenásˇet pˇres


22

sftp. Je moˇzný pˇr´ıstup uˇzivatele root. Konfigurace bal´ıcˇ k˚u aplikac´ı je plnˇe v naˇs´ı reˇzii. Nainstaloval jsem na server vývojové a bˇehové prostˇred´ı Java a aplikaˇcn´ı server Apache Tomcat. Vˇse je bez problém˚u funkˇcn´ı. Cena za sluˇzby odpov´ıdá mnoˇzstv´ı pronajatých prostˇredk˚u, které jsou vyuˇz´ıvány. Na webové stránce1 je pˇrehlednˇe zobrazena hodinová taxa za spotˇrebované sluˇzby a aktuáln´ı výsˇe kreditu s u´ dajem, za jaké cˇ asové obdob´ı bude vyˇcerpán (pˇri souˇcasném pr˚umˇerném vyuˇz´ıt´ı systému). Pˇri plné zátˇezˇ i testované konfigurace serveru je udaná cˇ a´ stka 0,27 Kˇc/h, denn´ı sazba je tedy 6,35 Kˇc, mˇes´ıcˇ n´ı pˇribliˇznˇe 197 Kˇc. Tato cˇ a´ stka je maximáln´ı. Pokud nen´ı server 100% vyuˇzit, sazba klesá. Na sluˇzbˇe BeeScale jsem si tedy prakticky vyskouˇsel vytvoˇrit a spustit server v cloudu. Po tˇr´ıdenn´ım testován´ı mus´ım konstatovat, zˇ e jsem se nesetkal s jediným problémem. Je zˇrejmé, zˇ e 256 MB pamˇeti pro webový server nen´ı dostateˇcná hodnota, ale kromˇe ceny v tomto pˇr´ıpadˇe nic nebrán´ı sestavit optimáln´ı ˇreˇsen´ı.

1

https://beescale.com/front/kolik-to-stoji/

ˇ sen´ı International Neuroinformatics Coordinating Facility (INCF) 4.5 Reˇ

4.5

23

ˇ sen´ı International Neuroinformatics Coordinating FaciReˇ lity (INCF)

INCF je mezinárodn´ı organizace, která podporuje a sjednocuje cˇ lenské neuroinformatické skupiny z celého svˇeta. Jej´ı snahou je mimo jiné vytvoˇren´ı mezinárodn´ı infrastruktury pro podporu výzkumu v oblasti neuroinformatiky. Sekreˇ edsku. Organizace sdruˇzuje sˇestnáct zem´ı, tariát INCF s´ıdl´ı ve Stocholmu ve Sv´ ˇ mezi nimi i Ceskou Republiku. Výzkumná skupina KIV je cˇ lenem cˇ eského národn´ıho uzlu. [17] Organizace INCF byla postavena pˇred problém, jak navzájem sd´ılet informace z výzkumu cˇ lenských skupin z oboru neuroinformatik˚u z r˚uzných cˇ a´ st´ı svˇeta. V rámci této podpory uvaˇzovali o zakoupen´ı výpoˇcetn´ıho výkonu a datového u´ loˇziˇstˇe od Amazone. Po zralé u´ vaze bylo v INCF rozhodnuto o vlastn´ım datovém uzlu, který nese název DataSpace - celým názvem INCF DataSpace (IDS). Nejedná se o typický cloud storage, ale o vzájemné propojen´ı datových u´ loˇziˇst’ cˇ len˚u organizace INCF. IDS tedy nen´ı sluˇzba dostupná pro sˇirokou sˇkálu bˇezˇ ných zákazn´ık˚u, ale pouze pro výzkumn´ıky z oblasti neuroinformatiky, kteˇr´ı maj´ı garantované bezplatné vyuˇzit´ı. IDS pouˇz´ıvá iRODS1 software. V souˇcasné dobˇe se INCF DataSpace zamˇeˇruje na back-end u´ loˇzné vrstvy. Byla zˇr´ızena datová iRODS základna pro celou federaci/unii. Jádro serveru je nasazeno v Amazone cloudu, je replikované pˇres cˇ tyˇri zóny: západ USA, východ USA, Evropa a tichomoˇrská cˇ a´ st Asie. Tvoˇr´ı tak jakousi páteˇr. Servery jsou dostupné na ids.incf.net, klienti budou pˇresmˇerováni na servery pro nˇe zemˇepisnˇe nejbliˇzsˇ´ı. Na páteˇr navazuj´ı servery, které poskytuj´ı u´ loˇziˇstˇe nebo spravuj´ı dalˇs´ı zóny. Tyto zóny pak komunikuj´ı v iRODS. Aktuáln´ı stav vývoje IDS lze sledovat online na Internetu2 , stejnˇe tak jako dokumenty a dokumentace IDS3 .

1

iRODS - integrated Rule-Oriented Data System http://dev.incf.org/trac/infrastructure/wiki/CurrentResources 3 http://dev.incf.org/trac/infrastructure/wiki/WikiStart 2

5 Zhodnocen´ı analyzovaných poskytovatel˚u

5

24

Zhodnocen´ı analyzovaných poskytovatelu˚

V pˇredchoz´ı kapitole byly analyzovány nab´ıdky nˇekterých spoleˇcnost´ı poskytuj´ıc´ı cloud computing. Spoleˇcnost Amazon nab´ız´ı sˇiroké spektrum sluˇzeb cloud computingu, jak ostatnˇe vyplývá z odd´ılu 4.1. Praktické vyzkouˇsen´ı nab´ızených sluˇzeb ale nebylo moˇzné realizovat z d˚uvodu poˇzadavku na u´ daje, které jsem nemohl spoleˇcnosti Amazone poskytnout. Pokud by byly k dispozici finanˇcn´ı prostˇredky, bylo by ˇreˇsen´ı spoleˇcnosti Amazone pro výzkumnou skupinu KIV (s ohledem na jej´ı poˇzadavky) vhodné. Protoˇze jsou ale veˇskeré sluˇzby i pro vˇedu, výzkum a sˇkolstv´ı plnˇe zpoplatnˇeny, nevyhovuje toto ˇreˇsen´ı poˇzadavku na n´ızké (bezplatné) provozn´ı náklady. Oproti tomu spoleˇcnost Google své cloudové sluˇzby poskytuje sˇkolstv´ı zdarma. Konkrétnˇe se jedná o aktuálnˇe volné výpoˇcetn´ı kapacity. Vzhledem ke skuteˇcnosti, zˇ e neuroinformatická vˇedecká skupina KIV mimo jiné pˇredpokládala pro svou EEG/ERP doménu stabiln´ı cloudové ˇreˇsen´ı, a spoleˇcnost Google pro cloud nab´ız´ı pouze své aktuálnˇe volné kapacity, nen´ı cloud vhodným poskytovatelem pro danou výzkumnou skupinu. Dalˇs´ı d˚uvody vyplývaj´ıc´ı z analýzy ˇreˇsen´ı Google jsou uvedeny v odd´ılu 4.2. Z analýzy nab´ıdky spoleˇcnosti Microsoft pˇricház´ı v u´ vahu platforma Windows Azure. Z d˚uvodu nedostatku referenc´ı na toto ˇreˇsen´ı, ale také proto, zˇ e jsem jej nemohl prakticky otestovat kv˚uli dotazu na u´ daje o platebn´ı kartˇe, nelze ˇreˇsen´ı ´ ziˇstˇe SkyDrive, které bylo moˇzné prakticky vyv souˇcasné chv´ıli akceptovat. Uloˇ zkouˇset, nevyhovuje poˇzadavk˚um výzkumné skupiny na kompatibilitu pro bˇehové prostˇred´ı Java. Cloudová sluˇzba BeeScale je podle vˇetˇsiny poˇzadavk˚u výzkumné skupiny KIV optimáln´ı. Tuto sluˇzbu bylo moˇzné otestovat i bez zadán´ı citlivých osobn´ıch dat. Virtuáln´ı server v cloudu je ovˇsem zpoplatnˇen, coˇz nevyhovuje poˇzadavku výzkumné skupiny KIV na n´ızské (bezplatné) provozn´ı náklady. Organizace INCF poskytuje softwarovou podporu výzkumu pro své cˇ leny zcela zdarma. Dle zjiˇstˇených informac´ı pˇr´ımo cloudovou sluˇzbu výpoˇcetn´ıho výkonu spoleˇcnost nenab´ız´ı. Velmi zaj´ımavé je ovˇsem ˇreˇsen´ı, které se nazývá INCF Dataspace. Sluˇzba by se dala popsat jako propojen´ı datových u´ loˇziˇst’ cˇ len˚u INCF do spoleˇcných uzl˚u. Povaˇzuji toto ˇreˇsen´ı za pespektivn´ı jiˇz s ohledem na propojen´ı s dalˇs´ımi výzkumnými skupinami oboru neuroinformatiky a vzájemné sd´ılen´ı výsledk˚u výzkumu. Jak jiˇz bylo uvedeno, nejedná se o cloud ve standardn´ım“ ” smyslu. Nejd˚uleˇzitˇejˇs´ım poˇzadavkem výzkumné skupiny na cloudové ˇreˇsen´ı byla

5 Zhodnocen´ı analyzovaných poskytovatel˚u

25

n´ızká finanˇcn´ı nároˇcnost, proto po konzultaci s vedouc´ım práce bylo dohodnuto zprovoznˇen´ı systému INCF Dataspace pro neuroinformatickou výzkumnou skupinu KIV.

6 INCF Dataspace a systém iRODS

6

26

INCF Dataspace a systém iRODS Následuj´ıc´ı kapitola bude vˇenována systému iRODS.

6.1

Zakladn´ı charakteristika iRODS

iRODS je systém, který pomáhá uˇzivatel˚um organizovat, chránit i zachovávat velké mnoˇzstv´ı soubor˚u libovolné velikosti. Uˇzivatelé mohou svá data nahrávat a sd´ılet s jinými uˇzivateli. Vˇsechna data jsou dostupná prostˇrednictv´ım jednotného systému. [18] Na obrázku cˇ . 6 je znázornˇeno základn´ı schéma sloˇzek, které tvoˇr´ı systém iRODS.

Obrázek 6: Souˇca´ sti systému iRODS

Rule Engine - aplikuje uˇzivatelsky definované zásady a pravidla, prosazuje ˇr´ıd´ıc´ı politiku. iCAT Metadata Catalog - ukládá informace o stavu a popisná metadata do databáze, umoˇznˇ uje vyhledáván´ı, správu, ˇr´ızen´ı a sledován´ı pˇr´ıstupu k dat˚um. Storage - u´ loˇzný prostor (systém soubor˚u) pˇr´ıstupný pˇres iRODS data server. User interface - uˇzivatelské rozhran´ı - pˇr´ıstup k serveru iRODS, viz. odd´ıl 6.2. Zone - jedná se o uzel v systému, který se skládá ze serveru iRODS, databáze (iCAT) a pˇr´ısluˇsných datových zdroj˚u.

6.2 Klient systému iRODS

6.2

27

Klient systému iRODS

Systém iRODS je moˇzné spravovat pomoc´ı pˇr´ıkaz˚u i-commands. [18] Typy pˇr´ıkaz˚u a popisy jejich funkc´ı jsou k dispozici na internetu1 . Výhodou této administrace je jednoduchá instalace. Soubory i-commands pro operaˇcn´ı systém Windows jsou tézˇ dostupné na internetu2 . V tomto pˇr´ıpadˇe postaˇc´ı spustitelné soubory uloˇzit na disk poˇc´ıtaˇce a v pˇr´ıkazovém ˇra´ dku zadávat pˇr´ıkazy i-commands s odpov´ıdaj´ıc´ımi parametry. Pro správné fungován´ı pˇr´ıkaz˚u je nezbytné spouˇstˇet soubory z jejich aktuáln´ıho adresáˇre, nebo m´ıt cestu k nim uloˇzenu v systémových promˇenných. Pˇrihlásˇen´ı se provede zadán´ım pˇr´ıkazu iinit. Systém poˇza´ dá o vloˇzen´ı pˇr´ıstupo-vých u´ daj˚u pro iRODS, tj. adresa, port, login a heslo. Po u´ spˇesˇném ovˇeˇren´ı u´ daj˚u je pˇrihlásˇen´ı na server provedeno a je moˇzné systém dalˇs´ımi pˇr´ıkazy administrovat nebo z nˇej z´ıskávat informace. Zadané parametry pˇripojen´ı (mimo hesla) si systém po u´ spˇesˇném pˇrihlásˇen´ı uloˇz´ı do souboru a pˇri dalˇs´ım pˇripojen´ı se tyto u´ daje nemus´ı znova zadávat. Pˇr´ıklad vytvoˇren´ı zóny: iadmin mkzone cz.czu.eeg remote Pˇr´ıklad pˇridán´ı uˇzivatele iadmin mkuser testuser rodsadmin Pro prohl´ızˇ en´ı dat v iRODS je k dispozici nˇekolik aplikac´ı. Pro systém Windows je moˇzné z webových stránek3 stáhnout iExplorer for Windows. Jedná se o rychlý navigaˇcn´ı nástroj s bohatým grafickým uˇzivatelským rozhran´ım. Nav´ıc jej nen´ı nutné instalovat. Postaˇcuje program (jeden exe soubor) uloˇzit na dik poˇc´ıtaˇce a spustit. Po spuˇstˇen´ı se aplikace dotázˇ e na pˇr´ıstupové u´ daje k serveu iRODS. Po jejich korektn´ım zadán´ı dojde k pˇripojen´ı na iRODS a je moˇzné prohl´ızˇ et a vyhledávat soubory. Na obrázku cˇ . 7 je zobrazen náhled na aplikaci iExplorer. Jako dalˇs´ı zp˚usob prohl´ızˇ en´ı dat v iRODS je moˇzné zm´ınit systém iDROP. [19] Jedná se o klienta postaveného na programovac´ım jazyku Java. K dispozici jsou tˇri verze této aplikace: iDROP Swing4 klient, iDROP webové rozhran´ı a iDrop-lite upload / download applet, který m˚uzˇ e být snadno vloˇzen do vlastn´ıch webových rozhran´ı. iDROP webový klient umoˇznˇ uje pˇr´ıstup z jakéhokoliv internetového prohl´ızˇ eˇce (nutná podpora Java). Toto rozhran´ı je jedno z nejkomplexnˇejˇs´ıch, po1

https://www.irods.org/index.php/icommands https://www.irods.org/index.php/windows 3 https://www.irods.org/index.php/windows 4 Swing - sada nástroj˚u grafického uˇzivatelského rozhran´ı programovac´ıho jazyka Java 2

6.2 Klient systému iRODS

28

Obrázek 7: Ukázka aplikace iExplorer for Windows kud jde o editaci atribut˚u objekt˚u, metadat a ACL1 . Ukázka iDROP webového klienta je zobrazena na obrázku cˇ 8.

Obrázek 8: Ukázka webového klienta iDrop

Pro u´ plnost je nutno uvést jeˇstˇe dva zp˚usoby pˇr´ıstupu do iRODS. Jsou jimi systém FUSE2 a Davis (Webdav). FUSE - jedná se o Linuxovou knihovnu, která 1 2

ACL - Access control list (seznam pro ˇr´ızen´ı pˇr´ıstupu) FUSE - the Filesystem in User Space (Souborový systém v uˇzivatelském prostoru)

6.3 Pˇripojen´ı do systému INCF Dataspace

29

umoˇznˇ uje zapisovat do souborového systému. Protoˇze tento systém obsahuje i jádro iRODS, pˇr´ıkazy, pomoc´ı kterých se v Linuxu procház´ı souborový systém, funguj´ı i v iRODS. Davis je webová aplikace zaloˇzená na programovac´ım jazyku Java, která poskytuje rozhran´ı Webdav pro pˇr´ıstup do souborového systému iRODS podobnˇe jako FUSE v Linuxu. Je moˇzné také spravovat metadata a seznamy ˇr´ızen´ı pˇr´ıstupu ACL.

6.3

Pˇripojen´ı do systému INCF Dataspace

Postup pˇripojen´ı do IDS je uveden na internetu1 . [20] Instalaˇcn´ı bal´ıcˇ ky pro pro 64 bit. verzi Debian2 Squeeze (6.0.4) jsou k dispozici v u´ loˇziˇsti INCF. Jedná se o ids-tools, coˇz jsou instalaˇcn´ı a konfiguraˇcn´ı scripty napsané v jazyku Python3 . Pˇred zapoˇcet´ım instalace je nutné m´ıt na operaˇcn´ım systému nainstalovány potˇrebné moduly: - python-pip - python-crypto Moduly lze do systému Debian pˇridat pomoc´ı správce bal´ıcˇ k˚u, napˇr. Aptitude, nebo pˇr´ıkazem apt-get -f install. Po u´ spˇesˇném naistalován´ı je moˇzno pˇristoupit ke spuˇstˇen´ı pˇr´ıkazu: sudo pip install http://ids-us-east-1.s3.amazonaws.com/ ids-tools-latest.tar.gz pip je nástroj pro instalaci a správu bal´ıcˇ k˚u Python. Umoˇznˇ uje snadné pˇridán´ı bal´ıcˇ k˚u script˚u pˇr´ıkazem pip install [n´ azev bal´ ıˇ cku] i jeho následné jednoduché odebrán´ı pˇr´ıkazem pip uninstall [n´ azev bal´ ıˇ cku]. Instalaci bal´ıcˇ k˚u je nutno provádˇet pod uˇzivatelem s administrátorskými právy. Pˇr´ıpadnˇe uˇzivatel mus´ı být cˇ lenem skupiny sudo4 . Pokud instalace ids-tools probˇehne u´ spˇesˇnˇe, je moˇzné spouˇstˇet jednotlivé instalaˇcn´ı scripty. Následuj´ıc´ı popis je vˇenován postupu pˇridán´ı zóny do federace INCF. Pˇredpokladem je funkˇcn´ı iRODS server vˇcetnˇe iCAT databáze. V INCF je dohodnuto, 1

https://github.com/INCF/ids-tools/wiki/IDS-Zone-Setup Debian - distribuce operaˇcn´ıho systému Linux, na kterém nainstalován iRODS výzkumné skupiny 3 Python - dynamický, objektovˇe orientovaný scriptovac´ı programovac´ı jazyk. Standardnˇe nainstalován v systému v rámci distribuce Debian 4 sudo - substitute user do - slouˇz´ı k vykonán´ı operace pod jiným uˇzivatelem, v tomto pˇr´ıpadˇe napˇr´ıklad uˇzivatelem root 2


30

zˇ e v rámci federace je název zóny obrácený název internetové domény pˇr´ısluˇsné výzkumné skupiny. Pokud má laboratoˇr název internetové domény napˇr. ”lab.univerzity.edu”, mˇela by m´ıt pˇr´ısluˇsná zóna laboratoˇre název ”edu.univerzity.lab”. Dalˇs´ım pˇredpokladem je tedy na iRODS vytvoˇrena zóna s názvem cz.zcu.eeg. Je znám login a heslo administrátora iRODS serveru. Pˇr´ıkazem iCommands iinit se pˇripoj´ıme k administraci iRODS serveru. Spust´ıme pˇr´ıkaz: sudo -i iadmin mkzone incf remote ids.incf.net:1247 T´ımto pˇr´ıkazem dojde k pˇripojen´ı zóny incf k iRODS serveru. V dalˇs´ım kroku je nutné poslat emailovou zprávu na adresu [email protected] s u´ daji iRODS (iCAT) serveru. To jest FQDN1 a port, na kterém bˇezˇ´ı iRODS server (standardnˇe se jedná o port cˇ´ıslo 1247). Stejným zp˚usobem, jako byla pˇridána zóna incf do naˇseho iRODS serveru, pˇridá administrátor INCF zónu cz.zcu.eeg do jejich systéˇ mu a poˇsle emailovou zprávu, zˇ e tak bylo uˇcinˇeno a vˇse probˇehlo korektnˇe. Ze tomu tak skuteˇcnˇe je, je moˇzno ovˇeˇrit t´ımto zp˚usobem: po pˇrihlásˇen´ı k systému iRODS pomoc´ı iinit se zadá pˇr´ıkaz iCommands: iquest -z incf "select ZONE NAME" Zobraz´ı se výpis dostupných zón iRODS serveru, viz obrázek cˇ . 9.

Obrázek 9: Výpis seznamu zón na iRODS serveru 1

FQDN - Fully Qualified Domain Name - je oznaˇcen´ı pro plnˇe specifikované doménové jméno poˇc´ıtaˇce.


31

Pro sd´ılen´ı dat v rámci federace INCF je zapotˇreb´ı z´ıskat seznam uˇzivatelských ˇ uˇzivatelské u´ cˇ ty zóny incf je nutné synchronizovat (vytvoˇrit je) pˇr´ıstup˚u. Cili i v zonˇe incf na iRODS serveru neuroinformatické výzkumné skupiny. K tomuto u´ cˇ elu slouˇz´ı script ids-sync-users bal´ıcˇ ku ids-tools. Pro spuˇstˇen´ı stahován´ı uˇzivatelských u´ cˇ t˚u pro zónu incf se zadá pˇr´ıkaz: sudo -i ids-sync-users ´ esˇné vytvoˇren´ı uˇzivatelských pˇr´ıstup˚u zóny incf na iRODS serveru je moˇzné Uspˇ ovˇeˇrit napˇr´ıklad pˇr´ıkazem iCommands: iadmin lu [login] [z´ ona]

Obrázek 10: Výpis informace o uˇzivateli v zónˇe incf

Nyn´ı je moˇzné pouˇz´ıvat skupiny a uˇzivatele zóny incf pro nastaven´ı pˇr´ıstupu ve vlastn´ı zónˇe cz.zcu.eeg. Pokud jsou tedy tato oprávnˇen´ı nastavena, m˚uzˇ e uˇzivatel zóny incf, který má oprávnˇen´ı cˇ ten´ı, v rámci cz.zcu.eeg procházet soubory zóny cz.zcu.eeg. Aby se udrˇzoval seznam uˇzivatel˚u zóny incf aktuáln´ı, je vhodné spousˇtˇet pˇr´ıkaz ids-sync-user pravidelnˇe napˇr´ıklad automaticky z cronu1 .

1

atd.

cron - softwarová sluˇzba, které v operaˇcn´ıch systémech spouˇst´ı v daný cˇ as urˇcitý pˇr´ıkaz, script

7 Z´ıskan´ı dat z databáze EEG pro INCF Dataspace

7

32

Z´ıskan´ı dat z databáze EEG pro INCF Dataspace

Tato kapitola pojednává o extrakci dat z databáze neuroinformatické skupiny pro systém Dataspace.

7.1

´ Uvodn´ ı informace

Server iRODS (system Dataspace) vyuˇz´ıvá pro data souborový systém. Je proto nutné vytvoˇrit program pro z´ıskán´ı potˇrebných dat z databáze Oracle. Tato data budou následnˇe uloˇzena do soubor˚u. Pro systém Dataspace bude podle zadán´ı vytvoˇrena následuj´ıc´ı struktura: z tabulky scénáˇru˚ (SCENARIO) je nutné z´ıskat vˇsechny názvy daných scénáˇru˚ . Tyto názvy budou tvoˇrit sloˇzky. V kaˇzdé sloˇzce se scénáˇrem budou uloˇzeny sloˇzky s názvem dle cˇ´ısla experimentu (z tabulky EXPERIMENTS) pˇr´ısluˇsné k danému scénáˇri. Pro názornost je na obrázku cˇ . 11 uvedeno schéma tabulek.

Obrázek 11: Struktura vyuˇzitých tabulek z databáze EEG

V kaˇzdé sloˇzce experimentu bude uloˇzen archiv ZIP s odpov´ıdaj´ıc´ımi soubory z tabulky DATA FILE pˇr´ısluˇsných danému experimentu. Ve sloˇzce experimentu bude dále uloˇzen soubor (napˇr. csv) s informacemi o datech (tzv. metadata). Jedná se o dalˇs´ı u´ daje o jednotlivých experimentech, napˇr´ıklad datum a cˇ as zaˇca´ tku i konce experimentu, teplota, poˇcas´ı atd. Tento vytvoˇrený souborový systém bude

ˇ sen´ı pomoc´ı jazyka PL/SQL 7.2 Reˇ

33

uloˇzen v adresáˇri s názvem experiments na sereru iRODS pro sd´ılen´ı dat v rámci systému Dataspace.

7.2

ˇ sen´ı pomoc´ı jazyka PL/SQL Reˇ

Data z výzkumu neuroinformatické skupiny jsou uloˇzena v databázi Oracle 11g. Pro práci s databáz´ı Oracle je vhodný jazyk PL/SQL1 . V PL/SQL jsou pouˇzity konstrukce známé pˇredvˇs´ım z výsˇsˇ´ıch programovac´ıch jazyk˚u: promˇenné a konstanty, cursory, cykly a rozhodovac´ı podm´ınky, subprogramy atd. Implementace v jazyce PL/SQL byla zvolena jako prvn´ı varianta ˇreˇsen´ı. D˚uvodem byla zm´ınˇená komplexnost jazyka PL/SQL nad databáz´ı Oracle a dále pak proto, zˇ e scripty PL/SQL lze spouˇstˇet interaktivnˇe z webových stránek (napˇr. portálu EEG). Od tohoto ˇreˇsen´ı bylo ale prozat´ım upuˇstˇeno, protoˇze nebyl nalezen zp˚usob z´ıskán´ı ˇ sen´ım by bylo ukládat data z BLOB pomoc´ı bal´ıcˇ ku UTL BLOB z databáze. Reˇ FILE. UTL FILE lze v jazyce PL/SQL pouˇz´ıt pro zápis do lokáln´ıho souborového systému, kde je um´ıstˇena databáze. [21] Protoˇze pˇr´ıstup do souborového systé-mu databáze EEG nen´ı moˇzný, bylo od této moˇznosti ˇreˇsen´ı upuˇstˇeno. Dalˇs´ım moˇzným rˇeˇsen´ım bylo pos´ılat data z BLOB protokolem TCP pˇres s´ıt’ové spojen´ı na server iRODS. Na serveru iRODS by bˇezˇ el program, který by pos´ılaná data zpracovával a ukládal do lokáln´ıho souborového systému na serveru. K realizaci toho ˇreˇsen´ı lze pouˇz´ıt bal´ıcˇ ek UTL TCP. [22] Protoˇze toto ˇreˇsen´ı bylo implementaˇcnˇe sloˇzité (obsahuje dvˇe cˇ a´ sti, jednu na databázi a druhou na serveru iRODS) a nav´ıc by se musely obˇe cˇ a´ sti udrˇzovat ve vzájemné synchronizaci, bylo zvoleno ˇreˇsen´ı v jazyce Java.

7.3

ˇ sen´ı pomoc´ı jazyka Java Reˇ

Programovac´ı jazyk Java obsahuje podporu pro pˇripojen´ı k databázi. Pro kaˇzdou databázi, se kterou chtˇej´ı programy v jazyku Java komunikovat, mus´ı být ale vytvoˇren ovladaˇc tzv. JDBC2 driver. Pro databázi Oracle je JDBC ovladaˇc k dispozici ke staˇzen´ı z webových stránek3 jako ojdbc6.jar soubor pro JDK 1.6. Pro z´ıskán´ı dat z databáze v jazyku Java jsou d˚uleˇzité tˇr´ıdy bal´ıku java.sql. Tˇr´ıda Connection slouˇz´ı pro vytvoˇren´ı spojen´ı k databázi. Tˇr´ıda PreparedStatement pro zaslán´ı SQL dotazu/pˇr´ıkazu na databázi a ResultSet pro uloˇzen´ı výsledk˚u dotazu. 1

PL/SQL - Procedural Language/Structured Query Language - je proceduráln´ı nadstavba jazyka SQL pro databáze Oracle 2 JDBC - Java Database Connectivity - aplikaˇcn´ı rozhran´ı, které definuje jednotný pˇr´ıstup k relaˇcn´ım databáz´ım 3 http://www.oracle.com/technetwork/database/features/jdbc/index-091264.html

7.4 Zhodnocen´ı rˇeˇsen´ı

34

Algoritmus programu je následuj´ıc´ı: po spuˇstˇen´ı dojde z konfiguraˇcn´ıho souboru k pˇreˇcten´ı pˇr´ıstupových u´ daj˚u k databázi a vytvoˇr´ı se spojen´ı. Pomoc´ı SQL dotazu z tabulky SCENARIO se vyberou vˇsechny názvy scénáˇru˚ a v cyklu se procház´ı kaˇzdý scénáˇr zvlásˇt’. Ke kaˇzdému scénáˇri se opˇet pomoc´ı SQL dotazu z´ıskaj´ı vˇsechny experimenty z tabulky EXPERIMENTS a v cyklu se kaˇzdému experimentu vyberou pomoc´ı SQL dotazu vˇsechny odpov´ıdaj´ıc´ı soubory z tabulky DATA FILE. Pro cˇ ten´ı soubor˚u se vytvoˇr´ı cˇ tec´ı proud binárn´ıch dat. Pro zápis dat do souboru program vytvoˇr´ı výstupn´ı proud tˇr´ıdy ZIPOutputStream. T´ımto zp˚usobem docház´ı k archivaci vˇsech soubor˚u daného experimentu do jednoho ZIP archivu. V posledn´ım kroku dojde k z´ıskán´ı metadat o pˇr´ısluˇsném experimentu. Metadata se uloˇz´ı do souboru csv ve sloˇzce daného experimentu. Charakter metadat lze ovlivnit SQL dotazem. Ve standardn´ım nastaven´ı programu se do csv souboru ukládaj´ı vˇsechny poloˇzky pˇr´ısluˇsného experimentu viz obrázek cˇ . 11, tabulka EXPERIMENT. [23]

7.4

Zhodnocen´ı rˇ eˇsen´ı

Program byl testován na operaˇcn´ım systému Windows 7 a Linux Debian. Pr˚ubˇeh cˇ innosti programu je znázornˇen na obrázku cˇ . 12.

Obrázek 12: Ukázka práce programu na výbˇer dat z databáze EEG

Vyzkouˇsel jsem aplikaci i na serveru v cloudu ve sluˇzbˇe BeeScale. Rychlost stahován´ı dat z databáze EEG byla i pˇr´ıpadˇe cloudového ˇreˇsen´ı totoˇzná s rychlost´ı

7.4 Zhodnocen´ı rˇeˇsen´ı

35

stahován´ı na serveru iRODS. Z d˚uvodu, zˇ e se jedná o neveˇrejná data výzkumné skupiny KIV byl tento test proveden pouze na nˇekolika souborech. Staˇzené soubory byly následnˇe z cloudového serveru odstranˇeny. V pˇr´ıpadˇe, zˇ e by tato data byla skuteˇcnˇe uloˇzena na serveru v cloudu, musela by se nezbytnˇe ˇreˇsit problematika sˇifrován´ı.

8 Závˇer

8

36

Závˇer

Zadán´ı bakaláˇrské práce bylo nálezt optimáln´ı cloudové ˇreˇsen´ı pro EEG/ERP doménu. Byly analyzovány poˇzadavky neuroinformatické skupiny KIV a na jejich základˇe byl proveden pr˚uzkum dostupných ˇreˇsen´ı, z nichˇz bylo vybráno takové, které nejv´ıce vyhovovalo poˇzadavk˚um výsˇe uvedené skupiny. V souˇcasné dobˇe je pro výzkumnou skupinu KIV vhodný systém Dataspace, který vyv´ıj´ı a podporuje nezisková organizace INCF. Systém je postaven na technologii iRODS. Jedná se o technologii sd´ılen´ı dat z výzkumu mezi jednotlivými cˇ lenskými skupinami. V tomto smyslu je tato technologie pˇr´ınosná, protoˇze spojuje cˇ lenské laboratoˇre po celém svˇetˇe do jednoho celku. Aˇckoliv na prvn´ı pohled nejde o pronájem výpoˇcetn´ıch kapacit od poskytovatele cloudu, je nutné se na tuto záleˇzitost d´ıvat v sˇirˇs´ım slova smylu. Výzkumná skupina KIV produkuje a ukládá informace ze svých vlastn´ıch výzkum˚u, k dispozici má oproti tomu výsledky výzkumu cˇ lenských laboratoˇr´ı z celého svˇeta. V souˇcasné dobˇe je systém Dataspace funkˇcn´ı a data neuroinformatické skupiny urˇcena pro sd´ılen´ı jsou v zónˇe incf pˇr´ıstupná. Také soubory, které jsou sd´ıleny dalˇs´ımi laboratoratoˇremi, jsou d´ıky systému Dataspace pro výzkumnou skupinu KIV k dispozici. Program pro výbˇer soubor˚u a metadat z databáze EEG je moˇzné pravidelnˇe spouˇstˇet tak, aby data výzkumné skupiny byla v systému Dataspace vˇzdy aktuáln´ı. Jako vylepˇsen´ı této skuteˇcnosti je moˇzná u´ prava programu tak, aby jej bylo moˇzné spouˇstˇet pˇr´ımo, napˇr´ıklad z webových stránek portálu EEG/ERP. Zkuˇsenost s hledán´ım cloudového rˇeˇsen´ı dle zadaných poˇzadavk˚u hodnot´ım jako pˇr´ınosnou. Jelikoˇz jsem se s t´ımto odvˇetv´ım informatiky doposud bl´ızˇ e nezabýval, mnoho informac´ı pro mˇe bylo u´ plnou novinkou. Bylo potˇreba prostudovat velké mnoˇzstv´ı materiál˚u a zároveˇn ovˇeˇrit ˇradu fakt˚u. Pozitivnˇe tézˇ hodnot´ım, zˇ e jsem se mohl seznámit s technologiemi, které vyuˇz´ıvá neuroinformatická skupina KIV, aktivnˇe jsem komunikoval s organizac´ı INCF a ˇreˇsil odborné problémy s napojen´ım iRODS serveru do systému Dataspace. Nauˇcil jsem se pracovat s databázovými systémy Oracle, které vyuˇz´ıvá zm´ınˇená výzkumná skupina. Vˇsechny tyto novˇe nabyté informace jsou pro mne d˚uleˇzité nejen v zamˇestnán´ı, ale také v dalˇs´ım pˇr´ıpadném studiu.

Pˇrehled zkratek ACL - access control list - seznam oprávnˇen´ı pˇr´ıstupu k objektu (napˇr. souboru) API - Aplikaˇcn´ı programové rozhran´ı AWS - Amazon Web Services EEG - Elektroencephalography - vyˇsetˇren´ı registruj´ıc´ı elektrickou aktivitu mozku ERP - Even-Related Potential - Evokovaný potenciál - mozková odezva na stimulaci FQDN - Fully Qualified Domain Name - doménový název poˇc´ıtaˇce nebo serveru iRODS - integrated Rule-Oriented Data System IT - informaˇcn´ı technologie JDBC - Java Database Connectivity - aplikaˇcn´ı rozhran´ı aplikac´ı Java pro pˇr´ıstup k databázi KIV - Katedra informatiky a výpoˇcetn´ı techniky PL/SQL - Procedural Language/Structured Query Language - proceduráln´ı nadstavba jazyka SQL od firmy Oracle SQL - Structured Query Language - standardizovaný dotazovac´ı jazyk pouˇz´ıvaný pro práci s daty v relaˇcn´ıch databáz´ıch SSD - Solid-State Drive - datové médium, neobsahuje mechanické cˇ a´ sti, vyˇssˇ´ı pˇrenosové rychlosti ˇ - Západoˇceská univerzita v Plzni ZCU

Literatura Tiˇstˇené cˇ lánky: ˇ HEROUT, Pavel. Uˇcebnice jazyka Java. 3., rozˇs. vyd. Cesk´ e Budˇejovice: Kopp, 2007, 381 s. ISBN 978-80-7232-323-4. URMAN, Scott, Ron HARDMAN a Michael MCLAUGHLIN. Oracle: programován´ı v PL/SQL. Vyd. 1. Brno: Computer Press, 2007, 720 s. ISBN 97880-251-1870-2. Elektronické cˇ lánky: ˇ ˇ [1] JEZEK, Petr a Roman MOUCEK. Database of EEG/ERP experiments.2009. [2] Cloud computing [online]. 2013 [cit. 24.4.2013]. Dostupné z: http://cs.wikipedia.org/wiki/Cloud_computing [3] Amazon Web Services [online]. 2013 [cit. 26.4.2013]. Dostupné z:http://aws.amazon.com/ [4] Amazon Elastic Compute Cloud (Amazon EC2): Cloud Computing Servers. [online]. [cit. 26.4.2013]. Dostupné z: http://aws.amazon.com/ec2/ [5] Amazon Simple Storage Service (Amazon S3) [online]. 2013 [cit. 26.4.2013]. Dostupné z: http://aws.amazon.com/s3/ [6] AWS Free Usage Tier [online]. 2013 [cit. 26.4.2013]. Dostupné z:http://aws.amazon.com/free [7] Google Apps pro vzdˇeláván´ı [online]. 2012 [cit. 26.4.2013]. Dostupné z: http://www.google.com/apps/intl/cs/edu/ [8] Google App Engine [online]. 2013 [cit. 27.4.2013]. Dostupné z: http://appengine.google.com/ [9] Google Compute Engine [online]. 2012 [cit. 27.4.2013]. Dostupné z: https://developers.google.com/compute/ [10] Google Cloud Storage [online]. 2013 [cit. 27.4.2013]. Dostupné z: https://cloud.google.com/products/cloud-storage [11] Google BigQuery [online]. 2013 [cit. 27.4.2013]. Dostupné z: https://cloud.google.com/products/big-query

[12] Google Cloud SQL [online]. 2013 [cit. 27.4.2013]. Dostupné z: https://cloud.google.com/products/cloud-sql [13] Google konˇc´ı s podporou protokolu Exchange ActiveSync, RIP Google Sync [online]. 2012 [cit. 27.5.2013]. Dostupné z: http://www.lupa.cz/clanky [14] Windows Azure: Veˇrejný cloud Microsoft. [online]. [cit. 26.4.2013]. Dostupné z: http://www.microsoft.com/cs-cz/server-cloud/ windows-azure.aspx [15] Microsoft SkyDrive: Microsoft Windows. [online]. [cit. 26.4.2013]. Dostupné z: http://windows.microsoft.com/cs-cz/skydrive [16] BeeScale [online]. 2013 [cit. 27.5.2013]. Dostupné z:https://beescale.com/ [17] INCF [online]. 2012 [cit. 27.5.2013]. Dostupné z:http://www.incf.org/ [18] IRODS [online]. 2013 [cit. 27.5.2013]. Dostupné z:http://www.irods.org [19] System Architecture and Design, Data Management Policy Specification. Dataspace [online]. 2012, 1.3 [cit. 27.4.2013]. Dostupné z:http://www. incf.org/resources/data-space/documentation [20] IDS Zone Setup [online]. 2013 [cit. 27.4.2012]. Dostupné z: https://github.com/INCF/ids-tools/wiki/ IDS-Zone-Setup [21] How can I extract files from an Oracle BLOB field?[online]. 2011 [cit. 26.4.2013]. Dostupné z: http://stackoverflow.com/questions/6332032/ how-can-i-extract-files-from-an-oracle-blob-field [22] UTL TCP [online]. 2007 [cit. 27.4.2013]. Dostupné z: http://docs.oracle.com/cd/B19306_01/appdev. 102/b14258/u_tcp.htm [23] Read BLOBs data from database [online]. 2012 [cit. 26.4.2013]. Dostupné z: http://www.java2s.com/Code/Java/Database-SQL-JDBC/ ReadBLOBsdatafromdatabase.htm

Pˇr´ıloha cˇ . 1 Výbˇer dat z databáze EEG pro systém Dataspace Uˇzivatelská dokumentace ´ cel programu: 1) Uˇ Program slouˇz´ı pro výbˇer dat z databáze. Konkrétnˇe se jedná o z´ıskán´ı soubor˚u a metadat z databáze Oracle neuroinformatické výzkumné skupiny KIV pro systém Dataspace. 2) Popis programu: Program byl vyvinut v programovac´ım jazyku Java. Jeho cˇ innost je jednorázová a automatická. Nen´ı tedy interaktivnˇe závislá na ovládán´ı uˇzivatelem. Po spuˇstˇen´ı se program napoj´ı na databázi EEG. Vybere postupnˇe scénáˇre z databáze a také ke kaˇzdému scénáˇri vˇsechny pˇr´ısluˇsné experimenty. Ke kaˇzdému experimentu program nalezne vˇsechny odpov´ıdaj´ıc´ı soubory. V dalˇs´ım kroku program vybere z databáze informace o kaˇzdém experimentu a uloˇz´ı je do zvlásˇtn´ıho souboru. O své aktuáln´ı cˇ innosti, chybách a u´ spˇesˇném ukonˇcen´ı program informuje výpisy na obrazovce. 3) Instalace Jak jiˇz bylo uvedeno, program je vyvinut v programovac´ım jazyku Java. Je k dispozici ve zdrojovém kódu pro kompilaci na libovolném operaˇcn´ım systému, na kterém bˇezˇ´ı Java virtuáln´ı stroj. Pro operaˇcn´ı systém Windows je zdrojový kód jiˇz zkompilován pro verzi Java 7 a je vytvoˇren spustitelný archiv JAR se vˇsemi potˇrebnými knihovnami. Identicky je program sestaven pro operaˇcn´ı systém Debian s verz´ı Java 6. Pro snaˇzsˇ´ı sestaven´ı na jiném operaˇcn´ım systému je program k dispozici jako projekt Maven. Pˇri kompilaci zdrojového kódu mus´ı být pˇrekladaˇci k dispozici informace o uloˇzen´ı souboru ojdbc6.jar (ovladaˇc pro databázi Oracle). Jeˇstˇe pˇred spuˇstˇen´ım programu je potˇreba ovˇeˇrit, zda je ve stejném adresáˇri s programem uloˇzen konfiguraˇcn´ı soubor s pˇr´ıstupovými u´ daji k databázi. Pokud tomu tak nebude, program skonˇc´ı s chybou. Prvn´ı ˇra´ dek konfiguraˇcn´ıho souboru udává poloˇzku host. Druhý u´ daj pˇredstavuje port. Tˇret´ı ˇra´ dek má hodnotu ˇ Service ID (SID). Ctvrt´ y a pátý ˇra´ dek konfiguraˇcn´ıho souboru udává login a heslo. 4) Spuˇstˇen´ı programu Program se spouˇst´ı z konzole nebo pˇr´ıkazového ˇra´ dku pˇr´ıkazem: java -jar EEGTransfer.jar

V tomto pˇr´ıpadˇe v aktuáln´ım adresáˇri, odkud je program spuˇstˇen, se vytvoˇr´ı sloˇzka experiments, ve které se budou vytváˇret sloˇzky se scénáˇri, experimenty a soubory. Pokud by byl poˇzadavek na zmˇenu výstupn´ıho adresáˇre, program oˇcekává jeden parametr s u´ plnou cestou pro uloˇzen´ı dat. Syntaxe takového pˇr´ıkazu by pak byla napˇr´ıklad: java -jar EEGTransfer.jar ./home/irods/ V uvedeném adresáˇri se zaloˇz´ı sloˇzka experiments, ve které se pak budou vytváˇret adresáˇre a stahovat soubory identickým zp˚usobem, jako je uvedeno výsˇe. Program stahované soubory pˇr´ımo komprimuje do ZIP archiv˚u. Doba bˇehu programu závis´ı na velikosti pˇresouvaných dat a rychlosti s´ıt’ového spojen´ı. Z tohoto d˚uvodu bˇeh programu trvá ˇra´ dovˇe nˇekolik minut (16 minut transport dat z databáze EEG na server iRODS). 5) Chyby programu a jejich ˇreˇsen´ı: Program je dostateˇcnˇe otestován, pˇresto nelze vylouˇcit pˇri spuˇstˇen´ı a bˇehu programu k výskytu chyb, které ale budou zachyceny systémem vyj´ımek. Jedná se zejména o chyby cˇ ten´ı a zápisu do soubor˚u (tzv. IOException) a chyby v souvislosti s operacemi na databázi (tzv. SQLException). Následuje seznam nˇekterých chybových hlásˇen´ı a moˇzný zp˚usob jejich odstranˇen´ı: Error reading data access to the database. - Nedostupný soubor s konfiguraˇcn´ımi u´ daji k databázi, nebo z nˇej nelze cˇ´ıst. Nutno provˇeˇrit dostupnost konfiguraˇcn´ıho souboru. Error initializing database driver. - Nedostupný soubor ojdbc6.jar (ovladaˇc pro databázi Oracle) v cestˇe, která je uvedena v seznamu knihoven, nebo závislost´ı programu. Error connecting to database. - Chyba spojen´ı s databáz´ı. V konfiguraˇcn´ım souboru jsou uvedeny nesprávné u´ daje pro pˇr´ıstup k databázi. Chyba s´ıtˇe. Error the file transfer from database. - Chyba kop´ırován´ı soubor˚u z databáze. K chybˇe docház´ı bud’ v pˇr´ıpadˇe cˇ ten´ı binárn´ıch dat z datového objektu BLOB v databázi, nebo pˇri zápisu do souborového systému na serveru iRODS. Transfer file - SQL Error. - K této chybˇe docház´ı, pokud selˇze SQL dotaz na databázi. Napˇr´ıklad v databázových tabulkách doˇslo k modifikaci, kterou program nepˇredpokládal. Je tˇreba upravit SQL dotaz dle nového uspoˇra´ dán´ı tabulek.

Create metadata - SQL Error. - Identická chyba jako výsˇe, ale vznikla pˇri vytváˇren´ı metadat. Create metadata - File create error. - Chyba pˇri zápisu do soubor˚u s metadaty na serveru iRODS. Nen´ı povolen zápis, aktuáln´ı soubor je pro zápis uzamˇcen nebo soubor má otevˇren jiný proces.

Fakulta aplikovaných věd Katedra informatiky a výpočetní techniky

Recommend Documents