Jak ti v dci po ítají

Superpo£íta£e

Gridy

Cloudy

Cloudy & gridy

Jak ti v¥dci po£ítají Zden¥k ustr

5. 10. 2009

Shrnutí

Superpo£íta£e P°ehled

Gridy

Cloudy

Cloudy & gridy

Superpo£íta£e Supercomputer: any of a class of extremely powerful computers (Encyclopedia Britanica) Zjevné °e²ení, zejména p°i: Úlohách s extrémnímy nároky, zvlá²t¥ pokud neumoº¬ují masivní paralelizaci Vysokém d·razu na zabezpe£ení Nap°. vojenský výzkum

Schopnosti naplnit kapacity Dostatku nancí

P°iná²í jisté nevýhody Zastarávání Omezená ²kálovatelnost Komplikované spoluvlastnictví

Shrnutí

Superpo£íta£e TOP500

Gridy

Cloudy

Cloudy & gridy

Shrnutí

TOP 500

TOP500.org je aktualizovaný p°ehled 500 nejvýkonn¥j²ích po£íta£·.

£.

Provozovatel

Popis

1.

DOE/NNSA/LANL

Roadrunner BladeCenter QS22/LS21

2.

Oak Ridge National Laboratory Forschungszentrum Juelich (FZJ) NASA/Ames Research Center/NAS

3. 4.

Výkon

Cluster, PowerXCell 8i 3,2 Ghz / Opteron DC 1,8 GHz, Voltaire Inniband, IBM (129 600 jader) Jaguar Cray XT5 QC 2,3 GHz, Cray Inc.

[PFLOPS] 1,105

1,059

JUGENE Blue Gene/P Solution, IBM

0,826

Pleiades SGI Altix ICE 8200EX, Xeon QC

0,487

3,0/2,66 GHz, SGI

data: http://www.top500.org

Superpo£íta£e TOP500

Gridy

Cloudy

Cloudy & gridy

Shrnutí

TOP 500 P°ehledové grafy

data: http://www.top500.org

Superpo£íta£e Základní p°ehled

Gridy

Cloudy

Cloudy & gridy

Shrnutí

Gridy Jak? Distribuované prost°edí sloºené ze standardních PC V mnoºství je síla! Slu²né PC nebo katedrální cluster se najde tak°ka v²ude a ne vºdy se pln¥ vyuºívá V n¥kterých v¥dních oborech (£ásticová fyzika, výpo£etní chemie) se výpo£etní úkoly snadno paralelizují

Zajímavé i pro provozovatele s vlastním HW Moºnost balancingu Kdyº nepo£ítám, dávám HW k dispozici. Kdyº pak pot°ebuji, mohu krátkodob¥ vyuºít i v¥t²í kapacitu neº mám doma.

Dostupnost výpo£etních kapacit i p°i výpadku vlastního za°ízení Vkladem je HW a práce správc·, které tak jako tak mám

Superpo£íta£e Základní p°ehled

Gridy

Cloudy

Cloudy & gridy

Gridy Pro£?

Výhody Dostupnost P°idat se dá kdykoli

Snadné zapojení Není t°eba naplnit celou kapacitu

kálovatelnost Distribuované stárnutí/obm¥na

Black box z pohledu uºivatele Výpo£etní úloha se vypustí do gridu a z n¥j po £ase vypadne výsledek

Shrnutí

Superpo£íta£e Gridový middleware

Gridy

Cloudy

Cloudy & gridy

Gridový middleware Soubor sluºeb, které se starají o ºivotní cyklus úlohy Autoriza£ní sluºby Plánování Výpo£etní uzly Uloºení a katalogizace dat

Základní sluºby (spu²t¥ní úlohy, p°esuny I/O dat, dotaz na stav apod.) dostupné prost°ednictvím standardního uºivatelského rozhraní Rozsáhlé API pro implementaci specických úkol· Existuje n¥kolik velkých middlewarových projekt· po celém sv¥t¥ (EU, USA, Japonsko, JV Asie) Pro R relevantní zejména gLite vyvíjený v rámci evropského projektu EGEE

Shrnutí


Gridy

Cloudy

Jednoduchý p°ehled komponent

Cloudy & gridy

Shrnutí


Spu²t¥ní úlohy

Gridy

Cloudy

Cloudy & gridy

Shrnutí


Gridy

Plánování a fronty

Cloudy

Cloudy & gridy

Shrnutí


Gridy

Spu²t¥ní výpo£tu

Cloudy

Cloudy & gridy

Shrnutí


Výpo£et

Gridy

Cloudy

Cloudy & gridy

Shrnutí


Výsledek

Gridy

Cloudy

Cloudy & gridy

Shrnutí


Gridy

Uloºení výsledk·

Cloudy

Cloudy & gridy

Shrnutí


Gridy

Cloudy

Cloudy & gridy

Existující infrastruktura EGEE nejv¥t²í produk£ní grid pro v¥decké výpo£ty gLite middleware 92 000 procesor· (144 000 jader) z toho p°ibliºn¥ 1 600 procesor· v R

cca. 25 PB diskového prostoru benchmark?

Shrnutí


Gridy

Cloudy

Cloudy & gridy


cca. 25 PB diskového prostoru benchmark? Nelze spustit plo²n¥ Výkon (velmi p°ibliºn¥!) 0,75 PFLOPS?

Shrnutí


Gridy

Cloudy

Cloudy & gridy


cca. 25 PB diskového prostoru benchmark? Nelze spustit plo²n¥ Výkon (velmi p°ibliºn¥!) 0,75 PFLOPS?

Open Science Grid (USA), NAREGI (Japonsko), NorduGrid (Skandinávie), EUAsiaGrid. . . MetaCentrum národní grid pro R dávkový systém PBS 1 150 procesor· clustery CESNETu a dal²ích akademických institucí v R

Shrnutí

Superpo£íta£e Cycle scavengers

Gridy

Cloudy

Cloudy & gridy

Cycle scavengers Speciální p°ípad grid· dobrovolná ú£ast jednotlivc· Nízký po£et zadavatel· Max. jednotky algoritm·, ale podpora mnoha platforem

Vhodné pouze pro atraktivní obory Genetika, astrofyzika, zm¥ny klimatu

Shrnutí


Gridy

Cloudy

Cloudy & gridy


Vhodné pouze pro atraktivní obory Genetika, astrofyzika, zm¥ny klimatu Koho láká Nuclear.Explosion@home ?

Shrnutí


Gridy

Cloudy

Cloudy & gridy



Existují pilotní projekty (nap°. Gomez), které procesorový £as vykupují

Shrnutí


Gridy

Cloudy

Cloudy & gridy

Shrnutí



Existují pilotní projekty (nap°. Gomez), které procesorový £as vykupují £.

Projekt

Výkon

1.

Folding@home

7,565

2.

BOINC (Seti@home, Einstein@home. . . )

2,411

3.

GIMPS (Great Internet Mersenne Prime Search)

0,041

[PFLOPS]

Superpo£íta£e Gridy Výpo£etní prost°edí jako sluºba

Cloudy

Cloudy & gridy

Cloudy

Virtuální výpo£etní prost°edí dimenzované na míru Typicky jako komer£ní sluºba

Homogenní Výhoda i nevýhoda Moºnost dodat vlastní image zatím není samoz°ejmostí, ale není vylou£ena

Z pohledu uºivatele oby£ejný po£íta£ p°ístupný nap°. p°es SSH Management úloh je t°eba °e²it dodate£n¥

P°edm¥t debat a nesm¥lých pokus·

Shrnutí

Superpo£íta£e Kombinace technologií

Gridy

Cloudy

Cloudy & gridy

Cloudy & gridy dohromady

Virtualizace Populární buzzword V tomto kontextu Cloudikace grid· £i gridikace cloud· tj. vyuºití výhod obojího

Gridové sluºby v cloudu? Vznikne malý virtuální grid

Cloudy v gridu? Populární trend Netu²ené moºnosti?

Shrnutí

Superpo£íta£e Cloudy v gridech

Gridy

Cloudy

Cloudy & gridy

Cloudy v gridech

Virtuální stroj nebo celý cluster se spustí jako úloha v gridu Soub¥ºn¥ s klasickými úlohami Rozhodnutí zcela na uºivateli Vhodné pro úlohy se specickými poºadavky Prodlouºení ºivotnosti zastarávajících systém· nebo softwar·

Kvalitní podpora na linkové vrstv¥ Spole£ná VLAN i p°i geograckém odstupu uzl· Zapojení do VLAN pracovi²t¥

Shrnutí


Gridy

Cloudy

Cloudy & gridy

Typické pouºití

Vytvo°ení bezpe£ného prost°edí VLAN od¥lená od okolního prost°edí umoº¬uje provoz systém· se slabým zabezpe£ením nebo zastaralými knihovnami

Shrnutí


Gridy

Cloudy

Cloudy & gridy

Typické pouºití


Provoz a ²kálování exotických systém· Není t°eba p°izp·sobovat úlohu gridovému prost°edí. Sta£í dodat vlastní image, naklonovat dle pot°eby a po£ítat ve známém prost°edí

Shrnutí


Gridy

Cloudy

Cloudy & gridy

Typické pouºití



Usnadn¥ní p°echodu ke grid·m Virtualizace existujícího

prost°edí a p°echod na grid

Shrnutí


Gridy

Cloudy

Cloudy & gridy

Typické pouºití



Usnadn¥ní p°echodu ke grid·m Virtualizace existujícího

prost°edí a p°echod na grid

Roz²í°ení nebo dopln¥ní stávající infrastruktury Zapojení do lokální VLAN, posílení fyzických kapacit

Shrnutí


Gridy

Cloudy

Cloudy & gridy

Sou£asný stav

Probíhá hore£ný vývoj ada pilotních instalací R·zný stupe¬ automatizace p°i dodávání, kopírování £i spou²t¥ní obraz· virtuálních stroj· R·zný stupe¬ propojení se sí´ovými sluºbami

V R má pilotní implementaci MetaCentrum

Shrnutí

Superpo£íta£e Záv¥r

Gridy

Cloudy

Cloudy & gridy

Shrnutí

Shrnutí

Superpo£íta£e Nepostradatelné, zejména pro n¥které typy úloh Je t°eba zd·vodnit vysoké po°izovací náklady a naplnit kapacitu kvalitním v¥deckým programem

Gridy

Vynikající pro °e²ení úloh, které umoº¬ují masivní paralelizaci Vhodné i pro ukládání velkého mnoºství dat Umoº¬ují pozvolný vstup

Cloudy

Nové, p°eváºn¥ komer£ní °e²ení Prozatím celkov¥ draº²í neº gridy Výhodou je homogenní prost°edí a podpora na komer£ní úrovni

Superpo£íta£e Pod¥kování

Gridy

Cloudy

Pod¥kování

D¥kuji za pozornost

Cloudy & gridy

Shrnutí

Superpo£íta£e Pod¥kování

Gridy

To uº je opravdu konec

Cloudy

Cloudy & gridy

Shrnutí

Jak ti v dci po ítají

Recommend Documents