INSTALACE A KONFIGURACE OCTAVE VÝPOČETNÍHO CLUSTERU

VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ BRNO UNIVERSITY OF TECHNOLOGY

FAKULTA ELEKTROTECHNIKY A KOMUNIKAČNÍCH TECHNOLOGIÍ ÚSTAV TELEKOMUNIKACÍ FACULTY OF ELECTRICAL ENGINEERING AND COMMUNICATION DEPARTMENT OF TELECOMMUNICATIONS

INSTALACE A KONFIGURACE OCTAVE VÝPOČETNÍHO CLUSTERU INSTALLATION AND CONFIGURATION OF OCTAVE COMPUTATION CLUSTER

DIPLOMOVÁ PRÁCE MASTER'S THESIS

AUTOR PRÁCE

Bc. ZDENĚK MIKULKA

AUTHOR

VEDOUCÍ PRÁCE SUPERVISOR

BRNO 2013

Ing. PETR SYSEL, Ph.D.

VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ Fakulta elektrotechniky a komunikačních technologií Ústav telekomunikací

Diplomová práce magisterský navazující studijní obor Telekomunikační a informační technika Student: Ročník:

Bc. Zdeněk Mikulka 2

ID: 83468 Akademický rok: 2012/2013

NÁZEV TÉMATU:

Instalace a konfigurace Octave výpočetního clusteru POKYNY PRO VYPRACOVÁNÍ: Prostudujte možnosti distribuovaného zpracování v simulačních prostředích Matlab a Octave. Na základě získaných znalostí navrhněte instalaci výpočetního clusteru více počítačů založeného na operačním systému Linux a výpočetním prostředí Octave. Instalaci proveďte do virtuálních počítačů. Na jednom z počítačů v laboratoři připravte obraz základního operačního systému (hypervizoru), který umožní spouštění připravených virtuálních počítačů z clusteru. Vedle těchto virtuálních počítačů bude instalován i operační systém Windows 7 pro účely výuky. Při testování nastavte vhodnou prioritu všem virtuálním počítačům tak, aby výpočty na pozadí nezpomalovaly běh systému Windows 7 ve výuce. DOPORUČENÁ LITERATURA: [1] Lucke, R. W. Building Clustered Linux Systems. 1 edition. Prentice Hall, 2004. 648 p. ISBN 978-0131448537 [2] Quarteroni, A.; Saleri, F.; Gervasio, P. Scientific Computing with MATLAB and Octave. 3rd edition. Springer, 2010. 382 p. ISBN 978-3642124297 Termín zadání:

11.2.2013

Termín odevzdání:

29.5.2013

Vedoucí práce: Ing. Petr Sysel, Ph.D. Konzultanti diplomové práce:

prof. Ing. Kamil Vrba, CSc. Předseda oborové rady UPOZORNĚNÍ: Autor diplomové práce nesmí při vytváření diplomové práce porušit autorská práva třetích osob, zejména nesmí zasahovat nedovoleným způsobem do cizích autorských práv osobnostních a musí si být plně vědom následků porušení ustanovení § 11 a následujících autorského zákona č. 121/2000 Sb., včetně možných trestněprávních důsledků vyplývajících z ustanovení části druhé, hlavy VI. díl 4 Trestního zákoníku č.40/2009 Sb.

ABSTRAKT Tato práce obsahuje podrobný návrh pro instalaci a konfiguraci výpoˇcetn´ıho klastru primárnˇe urˇceného pro paraleln´ı výpoˇcty v aplikace Octave. Jsou zde popsány jednotlivé komponenty klastru, zp˚ usob jejich zapojen´ı a nastaven´ı. Klastr je postaven na operaˇcn´ım systému GNU/Linux a rozhran´ı MPI. Návrh umoˇznˇuje nasezen´ı tohoto klastru na poˇc´ıtaˇc´ıch uˇcebny, ve které prob´ıhá výuka.

ˇ ´ SLOVA KLÍCOV A GNU/Linux, HPC, klastr, KVM, MPI, Octave, virtualizace, výpoˇcetn´ı server

ABSTRACT This diploma thesis contains detailed design of high-performance cluster, primarely focused for parallel computing in Octave application. Each of component of this cluster is described along with instructions for installation and configuration. Cluster is based on GNU/Linux operating system and Message Parsing Interface. Design alllows implementation of this cluster in computers of schoolroom with active lessons.

KEYWORDS cluster, GNU/Linux, High-performance computing, HPC, KVM, MPI, Octave, virtualization

MIKULKA, Zdenˇek Instalace a konfigurace Octave výpoˇcetn´ıho clusteru: diplomová práce. Brno: Vysoké uˇcen´ı technické v Brnˇe, Fakulta elektrotechniky a komunikaˇcn´ıch ´ technologi´ı, Ustav telekomunikac´ı, 2013. 39 s. Vedouc´ı práce byl Ing. Petr Sysel, Ph.D

´ SEN ˇ Í PROHLA Prohlaˇsuji, ˇze svou diplomovou práci na téma Instalace a konfigurace Octave ” výpoˇcetn´ıho clusteru“ jsem vypracoval samostatnˇe pod veden´ım vedouc´ıho diplomové práce a s pouˇzit´ım odborné literatury a dalˇs´ıch informaˇcn´ıch zdroj˚ u, které jsou vˇsechny citovány v práci a uvedeny v seznamu literatury na konci práce. Jako autor uvedené diplomové práce dále prohlaˇsuji, ˇze v souvislosti s vytvoˇren´ım této diplomové práce jsem neporuˇsil autorská práva tˇret´ıch osob, zejména jsem nezasáhl nedovoleným zp˚ usobem do ciz´ıch autorských práv osobnostn´ıch a/nebo majetkových a jsem si plnˇe vˇedom následk˚ u poruˇsen´ı ustanoven´ı § 11 a následuj´ıc´ıch autorského zákona ˇc. 121/2000 Sb., o právu autorském, o právech souvisej´ıc´ıch s právem autorským a o zmˇenˇe nˇekterých zákon˚ u (autorský zákon), ve znˇen´ı pozdˇejˇs´ıch pˇredpis˚ u, vˇcetnˇe moˇzných trestnˇeprávn´ıch d˚ usledk˚ u vyplývaj´ıc´ıch z ustanoven´ı ˇcásti druhé, hlavy VI. d´ıl 4 Trestn´ıho zákon´ıku ˇc. 40/2009 Sb.

Brno

...............

.................................. (podpis autora)

ˇ ´ Í PODEKOV AN Upˇr´ımnˇe dˇekuji vedouc´ımu práce panu inˇzenýru Syslovi za cenné rady, ochotu a trpˇelivost. Rovnˇeˇz dˇekuji své rodinˇe za moráln´ı podporu.

Brno

...............

.................................. (podpis autora)

z

OBSAH ´ Uvod

9

1 Prostˇ redky pro distribuovan´ e v´ ypoˇ cty 1.1 Klastry a jejich dˇelen´ı . . . . . . . . . . . . . 1.1.1 Klastry z vysokou dostupnost´ı . . . . . 1.1.2 Klastry pro uloˇzen´ı sd´ılen´ ych dat . . . 1.1.3 Klastry pro rozloˇzen´ı zátˇeˇze . . . . . . 1.1.4 V´ ypoˇcetn´ı klastry . . . . . . . . . . . . 1.2 Virtualizace . . . . . . . . . . . . . . . . . . . 1.2.1 Virtualizaˇcn´ı nástroje . . . . . . . . . . 1.3 Prostˇredky pro tvorbu paraleln´ıch aplikac´ı . . 1.3.1 PVM . . . . . . . . . . . . . . . . . . . 1.3.2 GNU R . . . . . . . . . . . . . . . . . 1.3.3 MPI . . . . . . . . . . . . . . . . . . . 1.4 Moˇznosti paraleln´ıho zpracován´ı u ´loh v Octave 1.4.1 Octave . . . . . . . . . . . . . . . . . . 1.4.2 MPITB pro Octave . . . . . . . . . . . 1.4.3 openmpi ext . . . . . . . . . . . . . . . 1.5 VLAN . . . . . . . . . . . . . . . . . . . . . . 2 Instalace a konfigurace v´ ypoˇ cetn´ıho klastru 2.1 Instalace hypervizoru . . . . . . . . . . . . . 2.1.1 Omezen´ı uˇzivatelského pˇr´ıstupu . . . 2.1.2 Vytvoˇren´ı virtuáln´ıch stroj˚ u . . . . . 2.2 Pˇr´ıprava virtuáln´ıch stroj˚ u klastru . . . . . . 2.3 Konfigurace ˇr´ıd´ıc´ıho poˇc´ıtaˇce . . . . . . . . . 2.4 Konfigurace souborového serveru . . . . . . 2.5 Konfigurace v´ ypoˇcetn´ıch server˚ u. . . . . . . 2.6 Testován´ı instalace . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . . . . . . . . . .

10 10 10 11 11 12 13 14 15 15 15 15 18 18 18 18 19

. . . . . . . .

20 21 24 25 28 28 31 32 33

3 Z´ avˇ er

36

Literatura

37

Seznam symbol˚ u, veliˇ cin a zkratek

39

SEZNAM TABULEK 2.1 2.2

Tabulka rozdˇelen´ı disku pˇri instalaci . . . . . . . . . . . . . . . . . . . 21 Tabulka rozdˇelen´ı disku pˇri instalaci . . . . . . . . . . . . . . . . . . . 28

´ UVOD Existuj´ı tˇri základn´ı zp˚ usoby, jak lze zv´ yˇsit efektivitu sloˇzit´ ych v´ ypoˇct˚ u. Pouˇz´ıt lepˇs´ı v´ ypoˇcetn´ı algoritmus, pouˇz´ıt rychlejˇs´ı poˇc´ıtaˇc nebo rozdˇelit v´ ypoˇcet mezi v´ıce poˇc´ıtaˇc˚ u. Klastr je typ paraleln´ıho nebo distribuovaného paraleln´ıho nebo distribuovaného v´ ypoˇcetn´ıho systému, kter´ y se skládá ze skupiny samostatn´ ych, navzájem propojen´ ych poˇc´ıtaˇc˚ u. C´ılem diplomové práce je vytvoˇrit klastr vyuˇziteln´ y pro paraleln´ı v´ ypoˇcty sloˇzit´ ych a nároˇcn´ ych algoritm˚ u. Bliˇzˇs´ı charakteristika a rozdˇelen´ı klastr˚ u je uvedena v ˇca´sti 1.1. Aplikace m˚ uˇze efektivnˇe vyuˇz´ıt veˇsker´ y v´ ypoˇcetn´ı v´ ykon clusteru jen tehdy, ˇze je uzp˚ usobena pro paraleln´ı zpracován´ı. Pro snadnˇejˇs´ı vytváˇren´ı takov´ ychto aplikac´ı existuje nˇekolik komerˇcn´ıch i volnˇe ˇs´ıˇriteln´ ych knihoven, napˇr. PVM, MPI, GNU R. Popis vlastnost´ı nˇekter´ ych z nich je uveden v ˇcásti 1.3. V rámci diplomové práce je klastr realizován jako skupina virtuáln´ıch poˇc´ıtaˇc˚ u realizovan´ ych v rámci nˇekolika fyzick´ ych poˇc´ıtaˇc˚ u. Struˇcné seznámen´ı s virtualizac´ı je v ˇca´sti 1.2. Pro propojen´ı klastru a jeho oddˇelen´ı od zbytku s´ıtˇe jsou pouˇzity s´ıt’ typu VLAN, jejich struˇcn´ y popis je zm´ınˇen v ˇca´sti 1.5. Návrh vlastn´ıho ˇreˇsen´ı clusteru a jeho realizace je popsána v druhé kapitole. Nejprve bylo nutné vytvoˇrit hypervizor na fyzickém stroji, pˇripravit samotné virtuáln´ı stroje pro klastr a v´ yuku a navzájem je propojit. Zvláˇst’ bylo tˇreba realizovat vlastn´ı DHCP server a server pro správu celého klastru. Postup je uveden v ˇca´sti 2.3. Pak byl vytvoˇren virtuáln´ı stroj zajiˇst’uj´ıc´ı funkci souborového serveru, coˇz je popsáno v ˇca´sti 2.4, 2.5.

9

1

ˇ ´ PROSTREDKY PRO DISTRIBUOVANE ´ ˇ VYPO CTY

1.1

Klastry a jejich dˇ elen´ı

Klastr (viz [16]) je typ paraleln´ıho nebo distribuovaného v´ ypoˇcetn´ıho systému, kter´ y se skládá ze skupiny navzájem propojen´ ych samostatn´ ych poˇc´ıtaˇc˚ u (uzl˚ u), které spolupracuj´ı a navenek vystupuj´ı jako jeden poˇc´ıtaˇc. Poˇc´ıtaˇce v klastru jsou vˇetˇsinou propojeny pomoc´ı rychl´ ych lokáln´ıch s´ıt´ı. Klastry se bˇeˇznˇe pouˇz´ıvaj´ı ke zv´ yˇsen´ı v´ ypoˇcetn´ıho v´ ykonu a zlepˇsen´ı efektivity nebo k zajiˇstˇen´ı vyˇsˇs´ı spolehlivosti a dostupnosti jednotliv´ ych sluˇzeb. Vyuˇzit´ı klastr˚ u je hlavnˇe pˇri paraleln´ıch v´ ypoˇctech sloˇzit´ ych poˇcetn´ıch u ´loh nebo pro zajiˇstˇen´ı vysoké dostupnosti jednotliv´ ych sluˇzeb. Dˇr´ıve byly klastry rozˇs´ıˇreny hlavnˇe ve vˇedeck´ ych a vládn´ıch organizac´ıch, ale dnes se bˇeˇznˇe uplatˇ nuj´ı v komerˇcn´ı sféˇre nebo ˇskolstv´ı. Protˇejˇskem klasteru jsou superpoˇc´ıtaˇce (paraleln´ı poˇc´ıtaˇce), u nichˇz je vyˇsˇs´ıho v´ ykonu dosaˇzeno pouˇzit´ım velkého mnoˇzstv´ı procesor˚ u a operaˇcn´ı pamˇeti v rámci jednoho serveru. Klastr lze snadno rozˇs´ıˇrit pˇridán´ım dalˇs´ıch uzl˚ u, omezen´ı tvoˇr´ı propustnost sd´ılen´ ych sloˇzek u hlavn´ıho uzlu, záleˇz´ı na pouˇzit´ı s´ıt’ové technologie. V´ yhodou je odolnost v˚ uˇci v´ ypadku (fault tolerance). Pokud vypadne urˇcit´ y uzel, kter´ y nen´ı kl´ıˇcovou ˇca´st´ı clusteru tj. nen´ı hlavn´ım uzlem, omez´ı se sice celkov´ y v´ ykon, ale funkce z˚ ustává zachována. Klastr, které pouˇzivaj´ı jeden typ procesoru a operaˇcn´ıho systému se naz´ yvaj´ı homogenn´ı klastry, pokud maj´ı v´ıce jak jeden typ procesor˚ u ˇci operaˇcn´ıch systém˚ u potom jsou naz´ yvany heterogenn´ımi klastry. Podle u ´ˇcely pouˇzit´ı rozliˇsujeme ˇctyˇri základn´ı typy klastr˚ u.

1.1.1

Klastry z vysokou dostupnost´ı

High-availibility (HA) klastry zajiˇst’uj´ı vysokou dostupnost sluˇzeb odstranˇen´ım kritick´ ych m´ıst (SPoF - single point of failure) a pomoc´ı redudantn´ıch uzl˚ u. V pˇr´ıpadˇe v´ ypadku uzlu se sluˇzby startuj´ı automaticky bez zásahu administrátora na záloˇzn´ım uzlu. Tento proces se naz´ yvá failover. V´ ypadek uzlu uˇzivatel v˚ ubec nezaznamená. Typick´ ym pouˇzit´ım tohoto klastru je zajiˇstˇen´ı vysoké dostupnosti databáz´ı, sd´ılen´ı soubor˚ u a aplikac´ı po s´ıti. HA klastr se skládá ze zdvojeného u ´loˇzného prostoru, v´ıcenásobného s´ıt’ového propojen´ı a b´ yvá pˇripojen k r˚ uzn´ ym okruh˚ um elektrické s´ıtˇe v kombinaci se záloˇzn´ımi zdroji UPS (Uninterruptible power suply - nepˇreruˇciteln´ y zdroj napájen´ı). Informace o stavech jednotliv´ ych uzl˚ u se pˇrenáˇs´ı pˇres tzv. heartbeat linku. Jedná se o privátn´ı

10

s´ıt’ spojuj´ıc´ı vˇsechny uzle v klastru, která, mimo jiné, slouˇz´ı k pˇredejit´ı stavu splitbrain. To je stav, kdy záloˇzn´ı uzel obdrˇz´ı mylnou informaci o kolizi uzlu hlavn´ıho. Pokud hlavn´ı uzel stále bˇeˇz´ı mohlo by doj´ıt k poruˇsen´ı dat na sd´ıleném disku pˇri souˇcasném zápisu z v´ıce m´ıst. Minimem pro sestaven´ı HA klastru jsou dva uzly. Dva hlavn´ı módy konfigurace uzl˚ u jsou Active/Active a Active/Passive. V módu Active/Active bˇeˇz´ı na kaˇzdém uzlu primárn´ı sluˇzba. Pˇri v´ ypadku jednoho z uzl˚ u, spust´ı druh´ y sluˇzbu, která bˇeˇzela na uzlu s poruchou. V módu Active/Passive je záloˇzn´ı uzel schopen spustit vˇsechny sluˇzby, které bˇeˇzely na hlavn´ım uzlu. Typick´ ym zástupcem HA klastru je projekt Linux-HA, nebo bal´ık RHCS (Red Hat Cluster Suite).

1.1.2

Klastry pro uloˇ zen´ı sd´ılen´ ych dat

´ zné klastry poskytuj´ı pˇr´ıstup k diskovému u Uloˇ ´loˇziˇsti, kter´ y je rozloˇzen mezi v´ıce uzl˚ u z d˚ uvodu dosaˇzen´ı vyˇsˇs´ı spolehlivosti nebo vyˇsˇs´ıho v´ ykonu. Umoˇzn ˇuje to serverer˚ um simultánnˇe ˇc´ıst a zapisovat do jednoho sd´ıleného souborového systému. Toho je dosaˇzeno pouˇz´ıt´ım speciáln´ıch souborov´ ych systém˚ u (napˇr. PFS, Lustre), které jsou schopny zajistit rozloˇzen´ı zátˇeˇze, redudanci dat, uzamykán´ı soubor˚ u a pokr´ yt v´ ypadek jednotliv´ ych uzl˚ u.

1.1.3

Klastry pro rozloˇ zen´ı z´ atˇ eˇ ze

´ celem klastru s rozloˇzen´ım zátˇeˇze (load-balancing LB) je rozdˇelit v´ Uˇ ykon rovnomˇernˇe mezi uzly, které jsou ménˇe vyuˇz´ıvány. Pˇri pouˇz´ıt´ı LB docház´ı k rovnomˇernému ˇ vyuˇzit´ı vˇsech server˚ u. Casto je aplikován jednoduchéh´ y algoritmus Round-Robin DNS, kdy DNS server pˇri dotazu klienta odpov´ı pokaˇzdé jinou IP adresu c´ıle (uzlu). Tato metoda roloˇzen´ı zátˇeˇze rozdˇeluje poˇzadavky na zpracován´ı bez ohledu na aktuáln´ı mnoˇzstv´ı spojen´ı nebo ˇcasu reakce. Je vhodn´ y, pokud jsou v klastru stejnˇe v´ ykonné servery. V opaˇcném pˇr´ıpadˇe m˚ uˇze vést k nerovnomˇernému dynamickému zat´ıˇzen´ı klastru. Rozˇs´ıˇren´ı pˇredchoz´ıho algoritmu je Weighted Round-Robin. Tzv. váˇzen´ y RoundRobin zohledˇ nuje r˚ uzné v´ ykonové schopnosti kaˇzdého serveru v klastru. Správci si na základˇe pravidel nastav´ı server˚ um priority pro zpracováván´ı poˇzadavk˚ u podle jejich v´ ykonu. Algoritmus nasmˇeˇruje smˇeˇruje poˇzadavky na servery, tak aby nedoˇslo k jejich pˇret´ıˇzen´ı. Dalˇs´ım pˇr´ıkladem algoritmu je Least-Connection, kter´ y pos´ılá ˇzádosti na server v klastru s nejmenˇs´ım aktuáln´ım poˇctem aktivn´ıch spojen´ı. Obdobn´ y princip vyuˇz´ıvá dalˇs´ı jednoduch´ y algoritmus s názvem Load-Based. Pˇri jeho aplikaci se ˇza´dosti zas´ılaj´ı na server, kter´ y je aktuálnˇe nejménˇe vyt´ıˇzen. Pokud dojde k v´ ypadku

11

jednoho ze server˚ u, software pro load-balancing tuto událost detekuje a pˇresmˇeruje ˇza´dosti na dalˇs´ı uzel klastru.

1.1.4

V´ ypoˇ cetn´ı klastry

V´ ypoˇcetn´ı klastr je skupina navzájem propojen´ ych uzl˚ u, které spolu u ´zce spolupracuj´ı a navenek se jev´ı jako jeden, velmi v´ ykonn´ y poˇc´ıtaˇc. Jednotlivé uzly b´ yvaj´ı propojeny rychlou lokáln´ı s´ıt´ı (LAN). Tyto klastry dosahuj´ı vysoké v´ ykonosti a dostupnosti, jejich poˇrizovac´ı náklady jsou niˇzˇs´ı neˇz u superpoˇc´ıtaˇc˚ u. Tento typ klastru se m˚ uˇze vyrobit i se sb´ırky jinak zastaral´ ych poˇc´ıtaˇc˚ u, které splˇ nuj´ı minimáln´ı nároky. Jedná se o takzvan´ y COST (computer of the shelf), POP (pile of PCs) nebo cost-off komponenty, nˇekdy téˇz oznaˇcovan´ y jako Beowulf. Takto poskládan´ y klastr je velmi levn´ y konkurent superpoˇc´ıtaˇce. Na druhou u stranu je lepˇs´ı pro stavbu pouˇz´ıt stejnorodé prvky, v´ ykonné uzly, které jsou vybrány pro dan´ y u ´ˇcel klastru. Pokud se jedná o klasické poˇc´ıtaˇce m˚ uˇzeme je ke klastru dynamicky pˇripojovat ˇci odpojovat. Naopak, pokud tuto moˇznost nepotˇrebujeme, zmenˇsuj´ı se nároky na hardwarové vybaven´ı jednotliv´ ych uzl˚ u. Poˇc´ıtaˇce v clusteru dokonce nemus´ı m´ıt ani pevn´ y disk.

12

1.2

Virtualizace

Pojmem virtualizace [22] oznaˇcujeme soubor technik, které umoˇzn ˇuj´ı pˇristupovat k systémov´ ym zdroj˚ um jako k mnoˇzinˇe v´ ykonu, bez ohledu na jejich skuteˇcné fyzické charakteristiky. V rámci jednoho fyzického serveru tak lze provozovat v´ıcero logick´ ych server˚ u. Vyuˇzijeme t´ım v dneˇsn´ı dobˇe jiˇz pˇredimenzovan´ ych poˇc´ıtaˇc˚ u, které málokdy vyuˇzij´ı naplno sv˚ uj v´ ykon. Pojem server tak nemus´ı oznaˇcovat jen fyzick´ y stroj, ale m˚ uˇze se jednat i o server, jeˇz bˇeˇz´ı ve virtuáln´ım prostˇred´ı. C´ılem virtualizace je schovat hardwarovou vrstvu systému pod virtualizaˇcn´ı vrstvu. V´ yhodami tak m˚ uˇze b´ yt napˇr. rozdˇelen´ı v´ ykonu, u ´spora nákladu, slouˇcen´ı v´ıce poskytovan´ ych sluˇzeb pod jeden fyzick´ y hardware, snadná obnova po pádu, snaˇzˇs´ı záloha cel´ ych systém˚ u, bˇeh v´ıce operaˇcn´ıch systém˚ u na jednom fyzickém stroji. Pln´ a virtualizace Oznaˇcen´ı pro prostˇred´ı, v nˇemˇz operaˇcn´ı systém nepozná, ˇze nemá pˇr´ım´ y pˇr´ıstup k hardwaru. Modifikace operaˇcn´ıho systému a aplikaˇcn´ıch program˚ u nen´ı nutná. Pˇr´ıstup k fyzickému vybaven´ı poˇc´ıtaˇce je vˇzdy zprostˇredkovan´ y, veˇskeré programy a systémy bˇeˇz´ı pouze na virtuáln´ım hardwaru; docház´ı tak k plnému oddˇelen´ı od fyzického stroje. Virtuáln´ı stroj vˇsak nepozná, ˇze bˇeˇz´ı ve virtualizovaném prostˇred´ı. Neexistence vazby mezi virtuáln´ım prostˇred´ım a hardware, na nˇemˇz je virtuáln´ı poˇc´ıtaˇc provozován, umoˇzn ˇuje plnou pˇrenositelnost virtuáln´ıho stroje. Tuto metodu pouˇz´ıvaj´ı napˇr. nástroje KVM, VirtualBox. Paravirtualizace Paravirtualizace je podobná hardwarové virtualizace, ale nen´ı nezbytnˇe nutné, aby virtuáln´ı prostˇred´ı simulovalo hardware. Je zde nav´ıc vyuˇzita API vrstva, kterou m˚ uˇze b´ yt pouˇzita jen z upraveného OS hostam, coˇz je jednou z nev´ yhod. Tento typ virtualizace m˚ uˇze poskytnou vˇetˇs´ı v´ ykon neˇz plná virtualizace. Tudo metodu pouˇz´ıvá napˇr. Xen. Emulace Pˇri pouˇzit´ı emulace jiˇz nen´ı svazuj´ıc´ı architektura CPU. Hostitelsk´ y a hostovan´ y poˇc´ıtaˇc mohou m´ıt b´ yt naprosto rozd´ılné architektury. Tohoto typu virtualizace lze vyuˇz´ıt u hardwarov´ ych platforem, které jiˇz nejsou podporovány, nebo pro tvorbu softwaru platformy, jenˇz jeˇstˇe neexistuje. Emulace je znatelnˇe pomalejˇs´ı neˇz nativn´ı provádˇen´ı instrukc´ı. Emulátorem je napˇr. QEMU.

13

1.2.1

Virtualizaˇ cn´ı n´ astroje

Xen Xen je paravirtualizaˇcn´ı nástroj, kter´ y má i podporu hardwaru - rozˇs´ıˇrené istrukˇcn´ı sady pro podporu virtualizace. Jedná se o procesory s podporuj´ıc´ı technologii Intel VT [13] nebo AMD-V [11]. Komunikace jader domén m˚ uˇze prob´ıhát pˇres tyto instrukˇcn´ı sady (jsou-li obsaˇzeny), nen´ı nutná modifikace jader. Virtualizace za pomoci Xenu vyuˇz´ıvá odliˇsn´ y pˇr´ıstup operaˇcn´ıho systému k fyzickému procesoru a ostatn´ımu hardweru. Samotné jádro virtuáln´ıho stroje nˇebˇeˇz´ı v nejprivilegovanˇejˇs´ım reˇzimu (0. okruh), ale dle pouˇzité architektury na niˇzˇs´ı u ´rovn´ıch (1. - 3, okruh). Instrukce k vykonáván´ı privilegovan´ ych operac´ı za virtuáln´ı stroje vykonává hypervizor. Tento hypervizor bˇeˇz´ı v privilegovaném jádˇre zvaném Domain0 (dom0 ). Spravuje pˇr´ıstup k pamˇeti a ostatn´ımu hardwaru, stará se i o sledován´ı a správu ostatn´ıch domén, které se oznaˇcuj´ı jako DomainU (dom0 ) [6]. KVM KVM je zkratka od Kernel-based Virtual Machine (na jádˇre zaloˇzen´ y virtuáln´ı stroj). Na rozd´ıl od Xenu KVM vyuˇz´ıvá principy u ´plné virtualizace. Jeho základem je architektura x86 s hardwarem obsahuj´ıc´ım instrukˇcn´ı sady pro podporu virtualiza Intel ´ a virtualizace umoˇzn VT [13] a AMD-V. Upln´ ˇuje podporu jakéhokoliv operaˇcn´ıho systému (tj. na bázi Unix, GNU/Linux, BSD, Windows apod.). Na verzi operaˇcn´ıho systému nezáleˇz´ı, m˚ uˇze b´ yt jak 32-bitov´ y, tak 64-bitov´ y. KVM je linuxového jádra souˇcást´ı linuxového jádra (Kernelu) od verze 2.6.20 jako modul kvm.ko [12]. Dalˇs´ı moduly kvm-intel.ko a kvm-amd.ko jsou specifické pro konkrétn´ı procesory. Jelikoˇz je KVM modul jádra, lze jej nejsnadnˇeji pouˇz´ıt ta pomoci extern´ıho nástroje. Nejˇcastˇeji se pouˇz´ıvá v kombinaci s upravenou verz´ı QEMU [5]. QEMU Jak vypl´ yvá z názvu QEMU (z angl. Quick Emulator) jedná se o emulátor. Na rozd´ıl od ostatn´ıch emulátor˚ u dokáˇze emulovat instrukˇcn´ı sady jiné architektury, neˇz je fyzick´ y stroj. Nen´ı nutná podpora jádra hostitelského stroje. Tento nástroj m˚ uˇze pracovat ve dvou reˇzimech. Prvn´ım je plná systémová virtualizace. V tomto reˇzimu je emulovan´ y cel´ y systém, vˇcetnˇe procesor˚ u a jin´ ych zaˇr´ızen´ı. Umoˇzn ˇuje spouˇstˇet r˚ uzné operaˇcn´ı systémy bez restartu fyzického (hostitelského) stroje. V druhém reˇzimu neemuluje cel´ y systém, ale jen procesy kompilované pro jiné procesory [21].

14

1.3 1.3.1

Prostˇ redky pro tvorbu paraleln´ıch aplikac´ı PVM

Parallel Virtual Machine (PVM) je starˇs´ı, stále pouˇz´ıvaná knihovna, která se stala inspirac´ı pro návrh modelu MPI. Architekturou je to systém, umoˇzn ˇuj´ıc´ı tv˚ urc˚ um program˚ u pohl´ıˇzet na heterogenn´ı soubor unixov´ ych stroj˚ u jako na jednolit´ y paraleln´ı poˇc´ıtaˇc. PVM pracuje na jednoduchém, ale funkˇcnˇe kompletn´ım modelu pˇredáván´ı zpráv (message passing model). Základem PVM je démon pvmd3, kter´ y bˇeˇz´ı na kaˇzdém poˇc´ıtaˇci. Vˇsechny uzly se spuˇstˇen´ ym démonem pvmd3 mohou dohromady vytváˇret jednolit´ y virtuáln´ı stroj. Druhou ˇcást´ı PVM je knihovna, poskytuj´ıc´ı rozhran´ı pro paraleln´ı operace. Podporovány jazyky C, C++ a Fortran [7].

1.3.2

GNU R

GNU R (viz [10]) je otevˇren´ y programovac´ı jazyk a bal´ık program˚ u urˇcen´ ych p˚ uvodnˇe pro statistické v´ ypoˇcty. Instalace R poskytuje jazykov´ y interpret a mnoho statistick´ ych a modelovac´ıch funkc´ı. V souˇcasné dobˇe je nadále vyv´ıjen t´ ymem R Development Core Team. Je rozˇsiˇriteln´ y pomoc´ı bal´ıˇck˚ u, které mu umoˇzn ˇuj´ı zpracovávat paraleln´ı u ´lohy. Vˇetˇsina tˇechto bal´ıˇck˚ u je spolupracuje s rozhran´ım MPI (napˇr. Rmpi) nebo PVM (rpvm) .

1.3.3

MPI

Message Passing Interface (MPI) [3, 7] je programovac´ı rozhran´ı zaloˇzené na zas´ılán´ı zpráv mezi jednotliv´ ymi uzly, pˇreváˇznˇe se pouˇz´ıvá na systémech s distribuovanou pamˇet´ı. MPI je specifikace, nen´ı to konkrétn´ı implementace. Specifikuje napˇr. názvy, volac´ı sekvence a v´ ysledky funkc´ı z C program˚ u, podprogramy v jazyce Fortran a tˇr´ıdy a metody v jazyce C++. Správnˇe navrˇzen´ y program by mˇel fungovat beze zmˇen nezávisle na zvolené verzi implementace MPI. Tˇech existuje, momentálnˇe nejrozˇs´ıˇrenˇejˇs´ı v souˇcasné dobˇe jsou OpenMPI a MPICH2. Pouˇz´ıvaj´ı se verze MPI 1.2 (oznaˇcované jako MPI 1) a verze 2.1 (MPI 2). Momentálnˇe (r. 2013) se jiˇz pracuje na zaˇclenˇen´ı specifikace 3.0. Systémy pˇredáván´ı zpráv se jiˇz v dˇr´ıve v minulosti pouˇz´ıvali, ale byly vyv´ıjeny pouze pro potˇreby jednotliv´ ych v´ yrobc˚ u a nebyly mezi sebou navzájem kompatibiln´ı. Je definováno pˇres 120 funkc´ı, ale jen 6 je naprosto nezbytn´ ych pro bˇeh spuˇstˇen´ı paraleln´ı aplikace.

15

Z´ akladn´ı funkce MPI ypoˇctu. Je nutné, aby tato funkce byla zahrnuta • MPI INIT – inicializace MPI v´ v kaˇzdém MPI programu, mus´ı b´ yt volána vˇzdy jako prvn´ı MPI funkce a volána m˚ uˇze b´ yt vˇzdy pouze jednou. u v dané skupinˇe spojené • MPI COMM SIZE – pˇri zavolán´ı zjist´ı poˇcet proces˚ s dan´ ym komunikátorem. • MPI COMM WORLD - slouˇz´ı ke zjiˇstˇen´ı poˇctu proces˚ u pouˇz´ıvan´ ych v celé aplikaci. ym ko• MPI COMM RANK – zjiˇstˇen´ı ˇc´ısla procesu v rámci skupiny urˇcené dan´ munikátorem. Kaˇzd´ y proces obdrˇz´ı pˇri svém vytvoˇren´ı jedineˇcné ˇc´ıslo, podle kterého ho lze následnˇe rozpoznat, je to d˚ uleˇzité zejména pro vzájemné rozpoznán´ı v komunikaci mezi dvˇema a v´ıce procesy. • MPI SEND - slouˇz´ı k odeslán´ı zprávy mezi procesy • MPI RECV - slouˇz´ı k pˇrijet´ı zprávy • MPI FINALIZE – ukonˇcuje v´ ypoˇcet MPI. Tato funkce je volána jako posledn´ı. Skupiny a komunik´ atory Skupina je definovaná mnoˇzina proces˚ u, kde kaˇzd´ y proces je identifikovateln´ y dle svého jedineˇcného identifikátoru (ˇc´ısla). Tato ˇc´ısla poˇc´ınaj´ı nulou a nejvyˇsˇs´ı hodnoty maj´ı rovnu N-1, kde N pˇredstavuje poˇcet proces˚ u ve skupinˇe. Skupina je vˇzdy spojena se sv´ ym komunikátorem. Komunikátor zajiˇst’uje vzájemnou komunikaci mezi procesy skupiny, kterou dan´ y komunikátor reprezentuje. Vˇsechny MPI zprávy specifikuj´ı, kter´ y komunikátor budou pouˇz´ıvat. Komunikátor MPI COMM WORLD reprezentuje vˇsechny procesy dané aplikace. Komunikátory kombinuj´ı kontext a skupiny pro bezpeˇcnost zpráv - veˇskerá komunikace prob´ıhá v rámci daného komunikátoru, nen´ı umoˇznˇena komunikace mezi procesy, které pouˇz´ıvaj´ı rozd´ılné komunikátory. Komunikátory i skupiny mohou b´ yt vytváˇreny a ruˇseny bˇehem chodu programu. Jednotlivé d´ılˇc´ı procesy se monou stát ˇcleny v´ıce skupin, pˇriˇcemˇz v kaˇzdé skupinˇe maj´ı pˇridˇelena jedineˇcná identifikaˇcn´ı ˇc´ısla. Charakteristika komunikace mezi uzly Prob´ıhá zde komunikace mezi dvˇemi procesy, kdy jeden proces vykoná operaci odeslán´ı (MPI SEND) a druh´ y proces operaci pˇr´ıjet´ı (MPI RECV) Vˇetˇsina komunikaˇcn´ıch funkc´ı MPI m˚ uˇze b´ yt provozována v blokovac´ım nebo neblokovac´ım reˇzimu. Blokovac´ı reˇzim znamená kontrolovan´ y pˇrenos a pˇr´ıjem (tzn. dokud operace pˇrenosu nebo pˇr´ıjmu neskonˇc´ı, nebude se provádˇet jiná operace). V ideáln´ım pˇr´ıpadˇe nastává po kaˇzdém odeslán´ı na jednom procesu pˇr´ıjem zprávy na druhém procesu. Vˇsechny implementace MPI by mˇeli dle specifikace obslouˇzit komunikaci i v pˇr´ıpadˇe, kdy je z nˇejakého d˚ uvodu opoˇzdˇen pˇr´ıjem zprávy. Nejˇcastˇeji se to ˇreˇs´ı systémov´ ym bufferem, kde jsou data na

16

stranˇe pˇr´ıjemce doˇcasnˇe uloˇzena. Standart MPI garantuje, ˇze se jednotlivé zprávy od jednoho odes´ılatele (procesu) nebudou pˇredb´ıhat tzn. budou zpracovány v poˇrad´ı, v jakém pˇriˇsly. Operace pˇrenosu zpráv je synchronn´ı, prob´ıhá ve stejném ˇcase. Je zajiˇstˇena i heterogenita komunikuj´ıc´ıch stran, coˇz umoˇzn ˇuje propojen´ı poˇc´ıtaˇc˚ u r˚ uzn´ ych architektur bez nutnosti ˇreˇsit kompatibilitu z pohledu programátora.

17

1.4 1.4.1

Moˇ znosti paraleln´ıho zpracov´ an´ı u ´ loh v Octave Octave

GNU Octave ([8]) je vyˇsˇs´ı programovac´ı jazyk, pˇreváˇznˇe urˇcen´ y pro numerické v´ ypoˇcty. Poskytuje moˇznosti pˇr´ıkazové ˇrádky pro ˇc´ıselné ˇreˇsen´ı lineárn´ıch i nelineárn´ıch matematick´ ych problém˚ u a pro vykonáván´ı jin´ ych numerick´ ych experiment˚ u. Umoˇzn ˇuje i grafické vizualizace a manipulace s daty. Lze jej také vyuˇz´ıt jako dávkovˇe orientovan´ y jazyk. Je psan´ y tak, aby vˇetˇsina pˇr´ıkaz˚ u byla ekvivalentn´ı pˇr´ıkaz˚ um Matlabu. V´ yvoj vede John Eaton. Octave dosud neum´ı nativnˇe pracovat nad MPI, proto je nutné vyuˇz´ıvat dalˇs´ı rozhran´ı mezi MPI a Octave. N´ıˇze jsou uvedeny pˇr´ıklady tˇechto rozhran´ı.

1.4.2

MPITB pro Octave

MPITB [9] je soubor nástroj˚ u, kter´ y umoˇzn ˇuje bˇeh MPI program˚ u z prostˇred´ı Octave. Byl vyvinut Javierem F. Baldomerem z Granadské univerzity. MPITB spoléhá na on LAM-7 (pˇredch˚ udce OpenMPI) nebo MPICH jako pozad´ı pro bˇeh paraleln´ıch aplikac´ı. Lze jej vyuˇz´ıt jednak v prostˇred´ı UNIX (Linux), po kompilaci i v prostˇred´ı Windows. Bohuˇzel, v dneˇsn´ı dobˇe jiˇz nen´ı dále vyv´ıjen, lze jej vyuˇz´ıt do verze Octave 3.0.2.

Obr. 1.1: Schéma komunikace MPITB

1.4.3

openmpi ext

openmpi ext je rozˇsiˇruj´ıc´ı bal´ık pro Octave, kter´ y vyvinul Michael Creel [1] pro u ´ˇcely své v´ yzkumné práce. Je to upravená verze MPITB, pˇrepsaná tak, aby ˇsla pouˇz´ıt pro souˇcasnou verzi rozhran´ı MPI a Octave, je volnˇe ke staˇzen´ı na stránkách octave.sourceforge.net [19]. V souˇcasné dobˇe (rok 2013) se na v´ yvoji pod´ıl´ı Jaroslav Hájek a Carlo de Falco, projekt je dále vyv´ıjen.

18

1.5

VLAN

VLAN [18] umoˇzn ˇuj´ı logicky rozdˇelit s´ıt’ na základn´ı funkce a umoˇzn ˇuje fyzickou s´ıt’ dˇelit na logické celky. Vyuˇz´ıvá se to hlavnˇe v pˇr´ıpadˇe, kdy by se jednotlivé segmenty s´ıtˇe mohli navzájem negativnˇe ovlivnit. T´ım se rozdˇel´ı i vˇsesmˇerové domény na nˇekolik nekolik logick´ ych domén a zabrán´ı se tak kolizi domén (viz n´ıˇze). Pro propojen´ı VLAN je nutn´ y smˇeˇrovaˇc, tak jako v klasickém systému LAN. Funkci smˇeˇrovaˇce dokaˇz´ı nahradit i nˇekteré vyˇsˇs´ı ˇrady pˇrep´ınaˇc˚ u (tzv. L3 pˇrep´ınaˇce). Kolizn´ı dom´ ena Zv´ yˇsován´ım poˇctu stanic v segmentu s´ıtˇe vzr˚ ustá pravdˇepodobnost kolize a v´ıce opaˇ sen´ım je rozdˇelit kolizn´ı domény na nˇekolik menˇs´ıch navzájem kovan´ ych pˇrenos˚ u. Reˇ oddˇelen´ ych ˇca´st´ı. Pro propojen´ı tˇechto ˇcást´ı se vyuˇz´ıvaj´ı mosty tabulky MAC adres asociovan´ ych s porty. Kolize zapˇriˇciˇ nuj´ı pokles v´ ykonosti s´ıtˇe, pˇri kolizi vˇsechny stanice na urˇcit´ y ˇcas pˇreruˇs´ı pˇrenos. Vˇ sesmˇ erov´ a (broadcastov´ a) dom´ ena Pro komunikaci se ostatn´ımi kolizn´ımi doménami jsou technologi´ı Ethernet vyuˇzity vˇsesmerové a v´ıcesmˇerové rámce na 2. vrstvˇe modelu OSI. Kdyˇz potˇrebuje stanice komunikovat se vˇsemi ostatn´ımi stanicemi (napˇr. zjiˇst’ován´ı DHCP serveru) poˇsle vˇsesmˇerov´ y rámec, tzn. rámec s c´ılovou MAC adresou 0xFFFFFFFFFFFF. Na této adrese pˇrij´ımaj´ı rámce vˇsechny stanice. Broadcastová doména je seskupen´ım kolizn´ıch domén, které jsou spojené zaˇr´ızen´ımi na 2. vrstvˇe. Identifikace r´ amc˚ u VLAN Pˇri pouˇzit´ı v´ıce pˇrep´ınaˇc˚ u v rámci nˇekolika VLAN s´ıt´ı je tˇreba pro kaˇzd´ y datagram urˇcit, do které VLAN s´ıtˇe patˇr´ı. Proto pˇred vstupem do linky mezi pˇrep´ınaˇci (tzv. trunková linka) se do datagramu vloˇz´ı znaˇcka identifikuj´ıc´ı VLAN s´ıt’. Pˇri odevzdán´ı daatagramu koncovému zaˇr´ızen´ı se tato znaˇcka odstran´ı. Znaˇckován´ı rámc˚ u je vykonávané podle protokolu standardu IEEE 802.1Q. Je zaloˇzen´ y na vkladan´ı znaˇcky (ˇc´ısla do velikosti 4096) do hlaviˇcky rámce.

19

2

INSTALACE A KONFIGURACE ´ ˇ ÍHO KLASTRU VYPO CETN

V této ˇca´sti je popsána funkce klastru a postup instalace operaˇcn´ıho systému hypervizoru a jednotliv´ ych virtuáln´ıch stroj˚ u spolu s jejich nastaven´ım. Na kaˇzdém poˇc´ıtaˇci v uˇcebnˇe bude instalován hypervizor s dvˇemi virtuáln´ımi stroji. Jeden bude vyuˇz´ıván studenty jako náhrada za p˚ uvodn´ı systém, instalovan´ y na fyzick´ y stroj. Druh´ y bude slouˇzit jako souˇca´st klastru a bude nastaven tak, aby neovlivˇ noval funkˇcnost druhé VM. Pˇri spuˇstˇen´ı fyzického poˇc´ıtaˇce se automaticky spust´ı oba virtuáln´ı stroje a vnc klient, kter´ y je napojen na virtuáln´ı stroj s Windows. Uˇzivateli se tak zobraz´ı jen pˇrihlaˇsovac´ı obrazovka do prostˇred´ı Windows. Po vypnut´ı fyzického stroje se oba virtuáln´ı stroje automaticky vypnou. V pˇr´ıpadˇe poˇzadavku na v´ ypoˇcet pomoc´ı klastru se uˇzivatel pˇrihlas´ı na hlavn´ı uzel, na kterém m˚ uˇze zadat pˇrikaz pro paraleln´ı v´ ypoˇcet pomoc´ı prostˇred´ı Octave. Jako operaˇcn´ı systém pro hypervizory i virtuáln´ı stroje byla vybrána distribuce CentOS ve verzi 6.3 x86 x64. Jedná se o klon distribuce RHEL (Red Hat Enterprise Linux) spoleˇcnosti Red Hat, kter´ y vzniká kompilac´ı origináln´ıch zdrojov´ ych kód˚ u RHEL a t´ım je zajiˇstˇena plná binárn´ı kompatibilita. I kdyˇz je RHEL komerˇcnˇe nab´ızená distribuce, je ˇs´ıˇrená pod licenc´ı GNU/GPL, takˇze je moˇzné po odstranˇen´ı licencovan´ ych prvk˚ u (firemn´ı loga, atd.) provést volné ˇs´ıˇren´ı této distribuce. Jeden ze zásadn´ıch rozd´ıl˚ u distribuce CentOS v˚ uˇci RHEL je absence podpory spoleˇcnosti Red Hat, má vˇsak ˇsirokou komunitn´ı podporu. Na rozd´ıl od druhého komunitn´ıho clonu RedHatu, distribuce Fedora, nevzniká CentOS jako prostˇred´ı pro test nov´ ych technologi´ı, ale naopak zachovává v´ yhody p˚ uvodn´ıho RHEL (v´ yvojov´ y cyklus, updaty). RHEL je odladˇenou a spolehlivou distribuc´ı, primárnˇe se pouˇz´ıvá k serverovému nasazen´ı v podnic´ıch, kde je preferována stabilita. Bezpeˇcnostn´ı updaty vydávané pro RHEL jsou pˇrevádˇeny s mal´ ym spoˇzdˇen´ım i do CentOS. CentOS je zkompilován pro platformy i386, x86 64, ia64, s390x, ppc.

20

2.1

Instalace hypervizoru

Kaˇzd´ y poˇc´ıtaˇc v dané uˇcebnˇe má jen jednu s´ıt’ovou kartu, která má z DHCP serveru (um´ıstˇeném na u ´stavu) pˇridˇelenou (veˇrejnou) IP adresu. V ideáln´ım pˇr´ıpadˇe abychom mohli vyuˇz´ıt vlastn´ı DHCP server a vyhnuli se tak manuáln´ımu nastavován´ı, bude komunikace rozdˇelena pomoc´ı tagovan´ ych VLAN. Zároveˇ n t´ım oddˇel´ıme kolizn´ı domény. S´ıtˇe typu VLAN budou dvˇe: VLAN s ID 100 pro komunikaci uzl˚ u klastru a VLAN s ID 200 pro správu fyzick´ ych stroj˚ u. Komunikace virtuáln´ıho windows serveru prob´ıhá pˇres rozhran´ı br0 zapojeném s eth0 v reˇzimu mostu. Fyzick´ y pˇrep´ınaˇc v uˇcebnˇe povol´ı komunikaci VLAN ID 100 a VLAN ID 200 jen na portech, na které jsou zapojeny poˇc´ıtaˇce uˇcebny, takˇze zamez´ıme vˇsesmˇerovému vys´ılán´ı mimo uˇcebnu. Prerekvizity hardwaru Pˇred samotnou instalac´ı hypervizoru na hostuj´ıc´ı (fyzick´ y) poˇc´ıtaˇc, je nutno zapnout podporu virtualizace (Intel VT nebo AMD-V). V BIOSu se tato mmoˇznost skr´ yvá pod volbou Chipset, Advanced CPU Configuration nebo Northbridge. Pokud jsou dostupné volby Intel VTd nebo AMD IOMMU zapneme je také. Slouˇz´ı k mapován´ı PCI zaˇr´ızen´ı. Pˇ r´ıprava hostitelsk´ eho operaˇ cn´ıho syst´ emu Nejprve se nainstaluje podkladov´ y operaˇcn´ı systém. Stejnˇe jako u virtuáln´ıch stroj˚ u uvodce. je pouˇzit Centos 6.3 x86 x64. Instalaci prob´ıhala za pomoci grafického pr˚ Konfigurace se vol´ı nasleduj´ıc´ı: • Jazyk instalace vybrán anglick´ y (en-US.UTF-8) • Rozloˇzen´ı klávesnice U.S. International. ˇ • Casov´ a zóna zvolena Evropa/Praha. • Heslo roota: hesloheslo“. ” • Pˇri v´ ybˇeru rozdˇelen´ı disku zvolena moˇznost Vytvoˇrit odd´ıly ruˇcnˇe“. ” V´ ysledná tabulka disku viz tabulka 2.1. Tab. 2.1: Tabulka rozdˇelen´ı disku pˇri instalaci Odd´ıl sda1 sda2 sda3 sda4

Velikost (MB) Pˇripojit do 250 /boot 1024 10240 / zbytek /data

21

Typ Formátovat ext4 ano swap ano ext4 ano ext4 ano

• Zapsat odd´ıly a naformátovat. • Zavadˇeˇc systému (GRUB) instalovat na /dev/sda. • Pˇri v´ yberu rozsahu instalace ponechána volbu minimáln´ı“ a zvoleno upravit ” ” v´ ybˇer ted’“. Vybrány nav´ıc tyto bal´ıky: openssh, vim, which, yum, yum-utils, tigervnc . Instalaˇcn´ı skupiny: basic-desktop, 11x, virtualization-client, virtualization. Po restartu zkontrolujeme, zda fyzické zaˇr´ızen´ı obsahuje rozˇs´ıˇren´ı pro virtualizaci. To lze vyˇc´ıst ze souboru /proc/cpuinfo z ˇca´sti flags. Jelikoˇz se jedná o poˇc´ıtaˇce s procesory platformy Intel, kl´ıˇcov´ y pˇr´ıznak je pˇr´ıznak vmx (v pˇr´ıpadˇe platformy AMD se pˇr´ıznak jmenuje svm). S´ıt’ov´ e rozhran´ı Název poˇc´ıtaˇce se nastavuje v souboru /etc/sysconfig/network: NETWORKING=yes HOSTNAME=hypervizor V souboru /etc/sysconfig/network-scripts/ifcfg-eth0 nastav´ıme s´ıt’ové rozhran´ı eth0. DEVICE=eth0 ONBOOT=yes BOOTPROTO=none TYPE=Ethernet HWADDR=E2:11:4C:5D:92:10 BRIDGE=br0 Vytvoˇr´ıme s´ıt’ové rozhran´ı br0 typu most bridge, které bude pˇr´ımo komunikovat pˇres rozhran´ı eth0. Pouˇzijeme ho pro virtuáln´ı stroj s Windows. V operaˇcn´ıho systému virtuáln´ıho stroje toto zaˇr´ızen´ı nastav´ıme do reˇzimu DHCP, kterou bude z´ıskávat z DHCP serveru u ´stavu. DEVICE=br0 ONBOOT=yes BOOTPROTO=none TYPE=Bridge Uzel klustru bude pˇripojen pˇres s´ıt’ové rozhran´ı eth0.100, které je v tagované VLAN s ID 100. Rozhran´ı bude taktéˇz nastaveno zevnitˇr operaˇcn´ıho systému. Zjist´ıme prvnˇe, jestli jsou naˇctené moduly jádra 8021q: lsmod | grep 8021q

22

a pokud nejsou, tak je naˇcteme: modprobe 8021q Vytvoˇr´ıme soubor /etc/sysconfig/network-scripts/ifcfg-eth0.100 DEVICE=eth0.100 ONBOOT=yes BOOTPROTO=none VLAN=yes Druhé s´ıt’ové rozhran´ı eth0.200 pro správu hypervizoru je nastaveno takto: DEVICE=eth0.200 ONBOOT=yes BOOTPROTO=static NETWORK=192.168.99.0 IPADDR=192.168.99.250 TYPE=Ethernet VLAN=yes Restartujeme s´ıt’ovou sluˇzbu: service network restart Konfiguraci jednoduˇs´ıme vypnut´ım SELinux pomoc´ı /etc/sysconfig/selinux. Po této zmˇenˇe je nezbytné restartovat poˇc´ıtaˇc. V´ ysledná konfigurace vypadá takto: # This file controls the state of SELinux on the system. # SELINUX= can take one of these three values: # enforcing - SELinux security policy is enforced. # permissive - SELinux prints warnings instead of enforcing. # disabled - No SELinux policy is loaded. SELINUX=disabled # SELINUXTYPE= can take one of these two values: # targeted - Targeted processes are protected, # mls - Multi Level Security protection. SELINUXTYPE=targeted Povol´ıme port 22 pro sluˇzbu sshd pˇridán´ım záznamu -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT do souboru /etc/sysconfig/iptables. Komunikaci na s´ıt’ovém rozhran´ı br0 povol´ıme pˇridán´ım -A INPUT -i br0 -j ACCEPT. Soubor pak vypadá takto:

23

*filter :INPUT ACCEPT [0:0] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [0:0] -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT -A INPUT -p icmp -j ACCEPT -A INPUT -i lo -j ACCEPT -A INPUT -i br0 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT -A INPUT -j REJECT --reject-with icmp-host-prohibited -A FORWARD -j REJECT --reject-with icmp-host-prohibited COMMIT

2.1.1

Omezen´ı uˇ zivatelsk´ eho pˇ r´ıstupu

Pro minimalizaci interakce uˇzivatel˚ u s hostitelsk´ ym systémem je vhodné zakázat nˇekteré klávesové zkratky a pˇr´ıkazy a umoˇznit uˇzivateli interaktivn´ı práci jen s virtuáln´ım strojem. D˚ uleˇzité je vytvoˇrit oddˇelen´ y, neprivilegovan´ yu ´ˇcet. Vytvoˇr´ıme bˇeˇzn´ y uˇzivatelsk´ yu ´ˇcet user useradd user passwd user Povol´ıme uˇzivateli automatické pˇrihláˇsen´ı bez v´ yzvy k heslu záznamem v konfiguraˇcn´ım souboru správce desktopu /etc/X11/gdm/gdm.conf. AutomaticLoginEnable=true AutomaticLogin=user V domovském adresáˇri uˇzivatele user vytvoˇr´ıme soubor skript spouˇstˇej´ıc´ı vnc klienta s názvem vncviewer, kter´ y se napoj´ı na virtuáln´ı stroj s Windows, pojmenujeme jej auto_vnc.sh. #!\bin\bash /usr/vncviewer \ #vypne kompresi -NOJPEG=1 \ #spouˇ st´ ı v reˇ zimu cel´ e obrazovky -FULLSCREEN=1 \ #bez pouˇ zit´ ı kodek˚ u kv˚ uli rychlosti a kvalitˇ e obrazu -PreferredEncoding=raw

24

#pln´ y rozsah barev -FullColor #nepouˇ z´ ıvat z´ astupn´ e znaky m´ ısto kurzoru -DotWhenNoCursor=0 #vstup do menu pomoc´ ı neexistuj´ ı kl´ avesy -MenuKey=F13 #adresa a port serveru 127. 0. 0.1:1 Aby se skript se spoˇstˇel automaticky pˇri grafickém pˇrihláˇsen´ı, vytvoˇr´ıme soubor vncviewer.desktop v adresáˇri uˇzivatele /home/user/.config/autostart/, kter´ y obsahuje: [Desktop Entry] Encoding=UTF-8 Name=TigerVNC Viewer Exec=/home/user/auto_vnc.sh Icon=tigervnc Terminal=false Type=Application Vypnut´ı zachycen´ı klávesové kombinace CTRL+ALT+DELETE se provede zakomentován´ım ˇrádk˚ u v souboru /init/control-alt-delete.conf #start on control-alt-delete #exec /sbin/shutdown -r now "Control-Alt-Delete pressed" Zakáˇzeme nepouˇz´ıvané terminály 2-6, t´ım zabrán´ıme i jejich pˇrepnut´ı klávesami CTRL+ALT[F1-F7] modifikac´ı parametru ACTIVE_CONSOLES. Vynut´ıme heslo i v jednouˇzivatelském reˇzimu nastaven´ım parametru SINGLE. Zmˇeny se t´ ykáj´ı souboru /etc/sysconfig/init. ACTIVE_CONSOLES=/dev/tty[1] SINGLE=/sbin/sulogin

2.1.2

Vytvoˇ ren´ı virtu´ aln´ıch stroj˚ u

Virtuáln´ı stroj s Windows serverem bude slouˇzit pro bˇeˇznou v´ yuku v uˇcebnˇe. Vhodn´ ymi volnˇe dostupn´ ymi nástroji m˚ uˇzeme m´ısto nové instalace virtualizovat fyzick´ y stroj, napˇr. za pomoci VMware vCenter Converter Standalone [20]. Pˇrit tvorbˇe virtuáln´ıho stroje vyuˇzijeme bal´ık aplikac´ı libvirt [15], které slouˇz´ı pro práci s virtualizaˇcn´ımi nástroji. N´ıˇze je pˇr´ıkaz pro vytvoˇren´ı Windows VM. V závorkách jsou uvedeny v´ yznamy parametr˚ u.

25

virt-install --connect qemu:///system --arch=x86_64 (typ architektury) --cpu host (okop´ ır˚ uj parametry cpu hostitele) --name windows7 (n´ azev VM) --ram 2048 (velikost pˇ ridˇ elen´ e ram) --vcpus=4 (poˇ cet virtu´ aln´ ıch cpu) --disk path=/data/windows7,size=100 (cesta a velikost v GB disku) --cdrom /mnt/Iso/win_7.iso (cesta k instalaˇ cn´ ımu m´ ediu) --vnc (umoˇ zn´ ı pˇ ripojen´ ı pomoc´ ı VNC) --vnclisten=127.0.0.1 (vnc naslouch´ a jen na lok´ aln´ ı adrese) --noautoconsole (zamez´ ı automatick´ emu otevˇ ren´ ı konzole) --os-type windows (typ OS) --os-variant win7 (varianta OS) --autostart (pˇ rı ´znak pro automatick´ e spouˇ stˇ en´ ı) --host-device 001.003 (pˇ ripojen´ ı USB zaˇ rı ´zen´ ı hostitele dle sbˇ ernice) --video=vga (grafick´ a karta typu vga) --hvm (nastav´ ı plnou virtualizaci) --network bridge=br0 (pˇ ripoj´ ı s´ ıt’ov´ e rozhran´ ı typu most br0) Pˇr´ıkaz pro vytvoˇren´ı linuxového virtuáln´ıho stroje pro klastr: virt-install --connect qemu:///system --arch=x86_64 (typ architektury) --cpu host (okop´ ır˚ uj parametry cpu hostitele) --name node (n´ azev VM) --ram 2048 (velikost pˇ ridˇ elen´ e ram) --vcpus=4 (poˇ cet virtu´ aln´ ıch cpu) --disk path=/data/window7,size=8 (cesta a velikost v GB disku) --cdrom /mnt/Iso/centos.iso (cesta k instalaˇ cn´ ımu m´ ediu) --vnc (umoˇ zn´ ı pˇ ripojen´ ı pomoc´ ı VNC - jen pro potˇ rebu instalace) --vnclisten=127.0.0.1 (vnc naslouch´ a jen na lok´ aln´ ı adrese) --noautoconsole (zamez´ ı automatick´ emu otevˇ ren´ ı konzole) --os-type linux (typ OS) --os-variant rhel6 (varianta OS) --autostart (pˇ rı ´znak pro automatick´ e spouˇ stˇ en´ ı) --video=cirrus (grafick´ a karta typu vga) --network bridge=eth0.100 (pˇ ripoj´ ı s´ ıt’ov´ e rozhran´ ı vlan 100) Nastav´ıme priority pˇriˇrazen´ı vcpu pomoc´ı nástroje pomoc´ı nástroje virsh. T´ım doc´ıl´ıme toho, stroj s windows bude m´ıt prioritnˇeji pˇridˇelován ˇcas CPU v pomˇeru

26

3:1 v˚ uˇci stroji klastru. V dobˇe, kdy stroj s windows nepoˇzaduje v´ ykon, m˚ uˇze uzel klastru (druh´ y virtuáln´ı stroj) plnˇe vyuˇz´ıt prostˇredky hostitele, tj. neuplatˇ nuje se zm´ınˇen´ y pomˇer [24]. virsh schedinfo --set cpu_shares=3072 windows7 virsh schedinfo --set cpu_shares=1024 node Pro samotnou instalaci operaˇcn´ıch systém˚ u vyuˇzijeme nástroj virt-viewer, kter´ y se pomoc´ı protokolu VNC pˇripoj´ı na virtuáln´ı stroje a umoˇzn´ı grafickou instalaci. Pro vylepˇsen´ı v´ ykonu virtuáln´ıho stroje s OS Windows se doporuˇcuje doinstalovat ovladaˇce virtio viz[23]. virt-viewer windows7 virt-viewer node

27

2.2

Pˇ r´ıprava virtu´ aln´ıch stroj˚ u klastru

Pˇri návrhu a instalaci jsem vycházel ˇca´steˇcnˇe z doporuˇcen´ı viz [16, 2]. Vztvoˇr´ıme nˇekolik uzl˚ u klastru typu (slave) a jeden hlavn´ı uzel (master). Pro usnadnˇen´ı instalace byl prvnˇe vytvoˇren tzv. golden node“, po jeho základn´ı konfiguraci (viz n´ıˇze), ” byl v prostˇred´ı jej lze snadno naklonovat. Jeden vybran´ y klon byl dále rozˇs´ıˇren jako hlavn´ı uzel master“. ”

2.3

Konfigurace ˇ r´ıd´ıc´ıho poˇ c´ıtaˇ ce

Prvotn´ı instalace uzlu golden node“ probˇehla pomoc´ı grafického pr˚ uvodce. Zvolené ” volby v jednotliv´ ych kroc´ıch: • Jazyk instalace vybrán anglick´ y (en-US.UTF-8) • Rozloˇzen´ı klávesnice U.S. International. ˇ • Casov´ a zóna zvolena Evropa/Praha. • Heslo roota: hesloheslo“. ” • Pˇri v´ ybˇeru rozdˇelen´ı disku zvolena moˇznost Vytvoˇrit odd´ıly ruˇcnˇe“. V´ ysledná ” tabulka disku viz tabulka 2.2. Tab. 2.2: Tabulka rozdˇelen´ı disku pˇri instalaci Odd´ıl sda1 sda2 sda3

Velikost (MB) Pˇripojit do 250 /boot 1024 6941 /

Typ Formátovat ext4 ano swap ano ext4 ano

• Zapsat odd´ıly a naformátovat. • Zavadˇeˇc systému (GRUB) instalovat na /dev/sda. • Pˇri v´ yberu rozsahu instalace ponechána volbu minimáln´ı“ a zvoleno upra” ” vit v´ ybˇer ted’“. Vybrány nav´ıc tyto bal´ıky: dhcp, openssh, , gcc, gcc-c++, vim, which, yum, yum-utils, nfs, nfs-utils, open-mpi, open-mpi-devel, mpich2-devel, mpich2, make Octave Program Octave nen´ı souˇcást´ı ˇza´dného repozitáˇre CentOSu, je tˇreba jej zkompilovat ze zdrojov´ ych kód˚ u, nebo stáhnout ze speciáln´ıho repozitáˇre EPEL. V tomto repozitáˇri jsou upraveny a pˇreportovány bal´ıky z distribuce Fedora tak, aby byly kompatibiln´ı s distribuc´ı CentOS. Aby se zabránilo koliz´ım s repozitáˇri CentOS, jsou v tomto repozitáˇri um´ıstˇeny jen bal´ıˇcky, které v repozitáˇr´ıch CentOSu v˚ ubec

28

nejsou. Rozhodl jsem se pro kompilaci ze zdrojov´ ych kód˚ u, abych mˇel jistotu, ˇze byla sestavena se správn´ ymi parametry. Protoˇze nˇekteré nezbytné komponenty pro sestaven´ı Octave nejsou souˇcást´ı repozitáˇr˚ u CentOSu, pˇridáme nejprve mezi repozitáˇri i EPEL. Pro usnadnˇen´ı práce pouˇzijeme pˇr´ıkaz yum-builddep, kter´ y automaticky vyhledá závislosti pro Octave a nab´ıdne k instalaci. Pˇr´ıkazem wget stáhneme zdrojové kódy posledn´ı verze octave a rozbal´ıme je. rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/i386/... ...epel-release-6-7.noarch.rpm yum-builddep octave wget ftp://ftp.gnu.org/gnu/octave/octave-3.6.3.tar.gz tar -xzf ./octave-3.6.3.tar.gz Po staˇzen´ı vˇsech potˇrebn´ ych knihoven a hlaviˇckov´ ych soubor˚ u provedeme sestaven´ı s parametry enable-dl“ kter´ y umoˇzn´ı Octave pracovat s dynamicky linko” van´ ymi externˇe zkompilovan´ ymi funkcemi (.oct soubory) a a enable-shared“, ” kter´ y povol´ı sd´ılené knihovny, coˇz zmenˇs´ı v´ yslednou velikost oct soubor˚ u a zkompilujeme. ./octave-3.6.3 ./configure --enable-dl --enable-shared make make install Po tomto kroku je jiˇz nezbytné vytvoˇrit klony z tohoto virtuáln´ıho stroje, bude následovat rozd´ılná konfigurace master a slave uzl˚ u. DHCP a konfigurace s´ıt’ov´ ych zaˇ r´ızen´ı Jednou z rol´ı hlavn´ıho uzlu (master u) je i pˇridˇelován´ı IP adres pomoc´ı protokolu DHCP, obsluhovat bude pouze VLAN 100 (tj. eth0.100 na hypervizoru) tj. pouze v rámci uˇcebny. Konfiguraˇcn´ı soubor /etc/dhcp/dhcpd.conf vypadá takto: option subnet-mask 255.255.255.0; option broadcast-address 192.168.99.255; option dns-name-server 192.168.99.250, 192.168.119.2 option routers 192.168.119.2 subnet 192.168.99.0 netmask 255.255.255.0 { #parametr urˇ cuj´ ıc´ ı, z ˇe m´ a naslouchat jen na zaˇ rı ´zen´ ı eth0 DHCPDARGS=eth0 group { # definice vˇ sech uzl˚ u i hlavn´ ıho uzlu (node0) host node0{ hardware ethernet 08:00:27:49:CE:A5;

29

fixed-address 192.168.99.250; } host node1{ hardware ethernet 08:00:27:30:12:89; fixed-address 192.168.99.1; } host node2{ hardware ethernet 08:00:27:A6:2F:DB; fixed-address 192.168.99.2; } host node3{ hardware ethernet 08:00:27:38:DA:4B; fixed-address 192.168.99.3; } host node4{ hardware ethernet 08:00:27:38:29:65; fixed-address 192.168.99.4; } } V p˚ uvodn´ım návrhu (viz [2]) byla chybnˇe pouˇzita volba not authoritative“ na ” rozsah extern´ı s´ıtˇe (ke které je pˇr´ımo pˇripojena s´ıt’ovém rozhran´ı eth1). Tato volba znamená jen, ˇze nebude vynucovat zmˇenu ip, ale nové poˇzadavky vybav´ı. Volba DHCPDARGS=0 znamená, ˇze démon dhcpd bude naslouchat jen na s´ıt’ovém rozhran´ı eth0.100. Ideáln´ı jmenná konvence je stejné ˇc´ıslo v názvu uzlu nodex i jako posledn´ı ˇc´ıslice v IP adrese 192.168.99.x. Je také d˚ uleˇzité nakonfigurovat nastaven´ı s´ıt’ov´ ych zaˇr´ızen´ı aby bylo aktivn´ı po startu poˇc´ıtaˇce a pro konfiguraci pouˇz´ıvalo DHCP. Viz n´ıˇze: Nastaven´ı u ostatn´ıch uzl˚ u (slave): DEVICE=eth0 ONBOOT=yes BOOTPROTO=dhcp NETMASK=255.255.255.0 NETWORK=192.168.99.0 BROADCAST=192.168.99.255 U kaˇzdého uzlu je téˇz tˇreba provést nastaven´ı v souboru /etc/sysconfig/network:

30

NETWORKING=YES IPFORWARD=YES HOSTNAME=nodex kde x je ˇc´ıslo uzlu. Pomoc´ı pˇr´ıkazu: service network restart se provede restart s´ıt’ového rozhran´ı a sluˇzeb s n´ım spojen´ ych. Na hlavn´ım uzlu spust´ıme DHCP a nastav´ıme u ´roveˇ n bˇehu sluˇzby DHCPD pˇr´ıkazy: service dhcpd start chkconfig dhcpd on DNS DNS sluˇzba realizována nebyla, pˇreklady názv˚ u realizovány pomoc´ı záznam˚ u v souboru /etc/hosts 192.168.99.250 192.168.99.1 192.168.99.2 192.168.99.3 192.168.99.4 ...

2.4

node0 node1 node2 node3 node4

Konfigurace souborov´ eho serveru

Uˇzivatelé, kteˇr´ı budou pouˇz´ıvat sluˇzby clusteru potˇrebuj´ı m´ıt pˇr´ıstupná stejná data na vˇsech uzlech. Nasd´ılen´ı se provád´ı pomoc´ı sluˇzby NFS (Network File System, s´ıt’ov´ y souborov´ y systém), kdy se domovská sloˇzka uˇzivatel˚ u, fyzicky um´ıstˇená na hlavn´ı uzlu - node0, pˇripoj´ı na vˇsechny uzly. Pˇr´ıpojn´ ym bodem je /home. V hlavn´ım uzlu v souboru /etc/export nastav´ıme: /home/ 192.168.99.0/255.255.255.0(rw, sync, no_root_squash) /root 192.168.99.0/255.255.255.0(rw, sync, no_root_squash) sd´ılen´ı domovské sloˇzky a sloˇzky roota pˇres danou pods´ıt’, kdy jsou s´ıt’ové sloˇzky urˇceny ke ˇcten´ı i k zápisu, budou se synchronizovat a root do nich m˚ uˇze zapisovat. Povol´ıme rovnˇeˇz komunikaci /etc/sysconfig/iptables. [breaklines] -A INPUT -m state --state NEW -m tcp -p tcp --dport 2049 -j ACCEPT

31

Ve vˇsech podˇr´ızen´ ych uzlech (slave) vytvoˇr´ıme trvalé pˇripojen´ı pomoc´ı záznamu do souboru /etc/fstab 192.168.99.250:/home /home nfs rw, hard, intr 0 0 192.168.99.250:/root /root nfs rw, hard, intr 0 0 V masteru povol´ıme port 2049 [breaklines] -A INPUT -m state --state NEW -m tcp -p tcp --dport 2049 -j ACCEPT a odzkouˇs´ıme namapován´ı pomoc´ı pˇr´ıkazu, kter´ y pˇripoj´ı poloˇzky z /etc/fstab: mount -a Pˇr´ıkazy chkconfig nfsd on service nfsd start nastav´ıme u ´roveˇ n bˇehu a spust´ıme sluˇzbu.

2.5

Konfigurace v´ ypoˇ cetn´ıch server˚ u

Pro fungován´ı MPI a pro snadnˇejˇs´ı správu je vhodné nastavit pˇrihlaˇsován´ı pˇres SSH bez hesla pomoc´ı certifikátu. Vˇsichni uˇzivatelé, jeˇz budou systém pouˇz´ıvat si vygeneruj´ı certifikaˇcn´ı pár pomoc´ı pˇr´ıkazu: ssh-keygen -t rsa ponechaj´ı default´ı um´ıstˇen´ı, heslo ponechaj´ı prázdné. Pomoc´ı pˇr´ıkazu cp si nakop´ıruj´ı veˇrejn´ y kl´ıˇc do souboru s autorizovan´ ymi kl´ıˇci: cp ~/.ssh/id_.pub ~/.ssh/authorized keys Veˇrejné kl´ıˇce poˇc´ıtaˇc˚ u lze velmi jednoduˇse z´ıskat a zároveˇ n i zapsat do souboru ∼/.ssh/known host pˇr´ıkazem ssh-keyscan -f hostsfile kde soubor hostsfile obsahuje DNS jména vˇsech uzl˚ u. Budeme tento soubor vytváˇrit v pr˚ ubehu dalˇs´ıho kroku. V konfiguraˇcn´ıch souborech na vˇsech uzlech uprav´ıme /etc/ssh/ssh_config a /etc/ssh/sshd_config t´ım, ˇze odkomentujeme poloˇzky protocol 2, port 22, PubkeyAuthentication yes, IdentityFile ~/.ssh/id_rsa. ˇ ımˇz jsme povolili autentizaci pomoc´ı certifikátu. C´ Povol´ıme na vˇsech uzlech komunikaci na portu 22. -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT

32

OpenMPI, MPICH2 Pro zprovoznˇen´ı MPI plnˇe postaˇc´ı vytvoˇrit soubor ∼/.mpd.conf, kter´ y bude obsahovat záznam s tajnou hodnotou. Slouˇz´ı k zabezpeˇcen´ı relace. cd ~ touch .mpd.conf chmod 600 .mpd.conf echo mr45-j9z >>.mpd.conf Pˇr´ıkazem module avail zjist´ıme, které module lze naˇc´ıst. Naˇcten´ı modulu v praxi znamená, ˇze systém sám zmˇen´ı symbolické odkazy na binárn´ı soubory i knihovny jednotliv´ ych implementac´ı MPI, jeˇz jsou v systému obsaˇzeny. Toto nám usnadn´ı sestaven´ı a zkompilován´ı program˚ u pro paraleln´ı zpracován´ı. module avail --------------- /usr/share/Modules/modulefiles -----------dot module-info mpich2-i386 use.own module-cvs modules null ------------------ /etc/modulefiles -----------------openmpi-i386 Tˇemito pˇr´ıkazy dan´ y modul naˇcteme, zobraz´ıme, nebo uvoln´ıme: module load mpich2-i386 module list module unload mpich2-i386

2.6

Testov´ an´ı instalace

Funkˇcnost MPI byla otestována pomoc´ı zkompilován´ı a spuˇstˇen´ı jednoduché u ´lohy typu hello world“. Zdrojové kódy viz n´ıˇze (pˇrevza to z [17]) ”

EXECS=mpi_hello_world MPICC?=mpicc all: ${EXECS} mpi_hello_world: mpi_hello_world.c ${MPICC} -o mpi_hello_world mpi_hello_world.c

33

clean: rm ${EXECS} #include <mpi.h> #include <stdio.h> #include <stdlib.h> int main(int argc, char** argv) { // Initialize the MPI environment. The two arguments to //MPI Init are not currently used by MPI implementations, //but are there in case future // implementations might need the arguments. MPI_Init(NULL, NULL); // Get the number of processes int world_size; MPI_Comm_size(MPI_COMM_WORLD, &world_size); // Get the rank of the process int world_rank; MPI_Comm_rank(MPI_COMM_WORLD, &world_rank); // Get the name of the processor char processor_name[MPI_MAX_PROCESSOR_NAME]; int name_len; MPI_Get_processor_name(processor_name, &name_len); // Print off a hello world message printf("Hello world from processor %s, rank %d out of %d processors\n", processor_name, world_rank, world_size); // Finalize the MPI environment. //No more MPI calls can be made after this MPI_Finalize(); V´ ystup programu po spuˇstˇen´ı: mpirun -n 4 -machinefile hostnames ./mpi_hello_world.o

34

Hello Hello Hello Hello

world world world world

from from from from

processor processor processor processor

node0.mizde, node0.mizde, node1.mizde, node1.mizde,

rank rank rank rank

0 1 2 3

out out out out

of of of of

4 4 4 4

processors processors processors processors

Dalˇs´ım testem bylo spuˇstˇen´ı distribuované u ´lohy v octave. Pouˇzit k tomu byl bal´ıˇcek OpenMPI_ext (viz [1, 9]) staˇziteln´ y ze stránek sourceforge. Byla spuˇstˇena aplikace z tohoto bal´ıˇcku pro v´ ypoˇcet hodnoty Π nazvaná Pi. octave -q --eval "pkg install openmpi_ext forge" mpiexec -1 -n 4 octave -q --eval "pkg load openmpi_ext; Pi(1E7,’s’)" ans = scalar structure containing the fields: pi = 3.1416 err = 4.4409e-16 time = 4.2019 Pˇr´ıkazem ps aux| grep octave na ostatn´ıch uzlech jsem ovˇeˇril, ˇze se v´ ypoˇcet dˇeje na vˇsech uzlech, nejen na masteru.

35

3

´ ER ˇ ZAV

Bˇehem této diplomové práce byly prostudovány principy a techniky pro propojen´ı poˇc´ıtaˇc˚ u do klastru. Byly navrˇzeny jednotlivé souˇca´sti v´ ypoˇcetn´ıho klastru a byla provedena jeho instalace do virtuáln´ıho prostˇred´ı v rámci nˇekolikati fyzick´ ych poˇc´ıtaˇc˚ u. Na základˇe tˇechto znalost´ı byl vytvoˇren základ pro reáln´ y klastr, jenˇz bude sloˇzen´ y z bˇeˇzn´ ych poˇc´ıtaˇc˚ u v laboratoˇri na fakultˇe elektrotechniky.

36

LITERATURA [1] Creel, M. Using Parallelization to Solve a Macroeconomic Model: A Parallel Parameterized Expectations Algorithm.Computational Economics [online]. 2008, vol. 32, no. 4 s. 343-352. Dostupn´ y z WWW: http://www.springerlink.com/content/b2l43gg723781m87. ISSN 0927-7099. [2] Auffarth, B. How to Build a Linux Cluster for Scientific Computing, Institute for Bioengineering of Catalonia, Spain: 2009, s. 25., dostupné z WWW: http://euler.msi.ucsb.edu/notes/obsolete/dyi cluster.pdf. [3] Balaji P. a kol. MPICH2 Installer’s Guide Mathematics and Computer Science Division 1.5, Argonne National Laboratory, USA: 2012. [4] DAMGARD, I.; NIELSEN, J. B.; CRAMER, R. Multiparty Computation, an Introduction. [s.l.] : [s.n.], 2009. 83 s. Dostupn´ y z WWW: . [5] Domovská stránka KVM [online][cit. 2013-05-20] Dostupn´ y z WWW: [6] Domovská stránka Xen [online][cit. 2013-05-20] Dostupn´ y z WWW: [7] Gropp W.; Lusk E. Goals Guiding Design: PVM and MPI. In: Proceedings of the IEEE International Conference on Cluster Computing, USA: Computer Society 2002, s. 257. ISBN 0-7695-1745-5. [8] Eaton, J. W. Octave. Dostupn´ y z WWW: http://www.gnu.org/software/octave/octave.html [9] Fernadéz, J.; Anguita, M. SCE Toolboxes for the development of high-level parallel applications. Computational Science – ICCS 2006 [online]. 2006, vol. 3992 Dostupn´ y z WWW: http://www.springerlink.com/content/h586kvrl0577/. ISSN 0302-9743. [10] GNU R Dostupn´ y z WWW: http://cran.r-project.org/ [11] How to check if your hardware supports virtualization [online][cit. 2013-05-20] Dostupn´ y z WWW: . [12] Changelog 2.6.20 [online][cit. 2013-05-20], the Linux Kernel Organization, 2007, Dostupn´ y z WWW: .

37

[13] Intel virtualization [online][cit. 2013-05-20] Dostupn´ y z WWW: . [14] Kvm-Hypervisor [online][cit. 2013-05-20] Dostupn´ y z WWW: . [15] Libvirt [online][cit. 2013-05-20] Dostupn´ y z WWW: [16] Lucke, R. W. Building Clustered Linux Systems. 1 edition. Prentice Hall, 2004. 648 p. ISBN 978-0131448537 [17] MPI Tutorial [online]. posledn´ı aktualizace 21. 06. 2011 v 12:56, [cit. 2012-1207]. Dostupn´ y z WWW: [18] Odom, W. Poˇc´ıtaˇcové s´ıtˇe bez pˇredchoz´ıch znalost´ı. CP Books, Brno: 2005. 383 s. ISBN 80-251-0538-5 [19] Octave-Forge [online]. [cit. 2012-12-07]. Dostupn´ y z WWW: http://octave.sourceforge.net [20] Physical to virtual [online][cit. 2013-05-20] Dostupn´ y z WWW: [21] QEMU [online] [cit. 2013-05-24]. Dostupn´ y z WWW: . [22] Virtualization [online]. posledn´ı aktualizace 14. 12. 2012 v 13:02, [cit. 2012-1214]. Dostupn´ y z WWW: http://en.wikipedia.org/wiki/Virtualization [23] Windows VirtIO Drivers [online][cit. 2013-05-20] Dostupn´ y z WWW: [24] Working with libvirt cgroups [online][cit. 2013-05-20] Dostupn´ y z WWW:

38

˚ VELICIN ˇ SEZNAM SYMBOLU, A ZKRATEK API

Application programming interface

DNS

Domain name server

DHCP

Dynamic host configuration protocol

HA

High availability

KVM

Kernel-based virtual machine

LB

Load balancing

MPI

Message passing interface

NFS

Network File System

PVM

Parallel virtual machine

RHEL

Red Hat Enterprise Linux

SSH

Secure shell

VM

Virtual Machine

39

INSTALACE A KONFIGURACE OCTAVE VÝPOČETNÍHO CLUSTERU

Recommend Documents