Centrum a projekt CERIT-SC

Centrum a projekt CERIT-SC Luděk Matyska, Aleš Křenek et al 9. 12. 2011

Cíle Centra

Centrum CERIT-SC je prioritním projektem Cestovní mapy velkých infrastruktur ČR I Výzkum a vývoj v oblasti eInfrastruktury I

Postavený na spolupráci informatiků a uživatelů

I

Rozvoj a provoz experimentální špičkové výpočetní a úložné eInfrastruktury

I

Podpora experimentů s novými formami a konfiguracemi eInfrastruktury.

Technické vybavení Centra tvoří nezbytné zázemí kolaborativního výzkumu I

Nejde o prosté zpřístupnění hrubé kapacity

Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU) Centrum a projekt CERIT-SC

9. 12. 2011

2 / 36

Tři aspekty činnosti

I

Infrastruktura I I

I

Výzkum a vývoj I

I

I

Interaktivní, experimentům příznivé prostředí Vysoká rozmanitost nastavení i způsobů využití Vlastní informatický, zaměřený na principy a technologie eInfrastruktury a její optimalizaci Kolaborativní, zahrnující návrh a optimalizaci algoritmů, modelů, nástrojů a prostředí dle potřeb uživatelů/partnerů

Výuka I

I

Nová generace informatiků, schopných využívat a dále rozvíjet komplexní eInfrastrukturu Nová generace odborníků, schopných efektivně využívat komplexní eInfrastrukturu pro své cíle


9. 12. 2011

3 / 36

Historie vzniku I

1994: Superpočítačové centrum Brno (SCB) při Masarykově univerzitě I

I

Národní projekt Fondu rozvoje VŠ, řada partnerů (UK, ZČU, VUT, UPOL, VŠB-TUO, ČVUT) Začátek pokusu o systematickou podporu výkonného počítání v ČR

I

1996: Návrh MetaCentra, distribuované národní výpočetní infrastruktury

I

1998: Začátek spolupráce se sdružením CESNET

I

I

I

I

MetaCentrum součást prvního i durhého výzkumného záměru sdružení SCB zdroj know-how a nejaktivnější člen

2009: Návrh osamostatnění SCB a jeho transformace I

I

ZČU, UK, MU, zpočátku i UPOL a částečně VŠB-TUO

Nové požadavky (data, zázemí pro experimenty, lepší využití potenciálu univezity)

2011: Centrum CERIT-SC jako následník SCB


9. 12. 2011

4 / 36

International projects CESNET MU MU

National projects CESNET

1994

FR VŠ 1995 1996

F0631/96 INFRA2 LB98272

HP Cluster P4 Xeon (Brno) IBM Power4 Server (Brno)

2000 2001 2002 2003

eGrid DiDAS

2004 2005 2006

MetaCentrum High-Speed National Research Network and its New Activities

DataGrid

Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU) Centrum a projekt CERIT-SC EGEE

PADS

2007

EGEE II

Intel Xeon64bit Cluster (Praha) AMD SMP Opteron Server (Praha)

Disk storage SGI IS4500 (Brno)

Intel Xeon Cluster (Brno) SMP Opteron Server (MU + CESNET, Brno)

HP Server Itanium II (Brno)

1999

Tape library (Pilsen + Brno)

HP CLuster PIII (Pilsen, Brno)

1998

Intel P4 Xeon Cluster (Prague) NCBR Cluster (Brno)

SGI Cluster PIII (Brno, Prague)

1997

SGI Origin ONYX Tape library (Brno)

year

SGI Origin 2000

SGI Power Challenge XL

SGI Power Challenge L

Investment (clusters and storage) • MU • CESNET

Historie spolupráce

2008 MUv6

2009

Optical Network of National Research and Its New Applications

EGEE III

EUAsiaGrid

2010

Highly Parallel and Distributed Computing Systems (MSM 0021622419)

MediGrid

NGI

GridLab CoreGRID InSPIRE

EPIKH

EMI

9. 12. 2011

CHAIN

5 / 36

Interní struktura Centra

I

Oddělení výpočetních zdrojů I I

I

Oddělení práce s daty I I

I

Pořízení a správa clusterů Optimalizace od algoritmů, programů až po výpočetní infrastrukturu Pořízení a správa úložných kapacit Práce s daty, nové protokoly a metody přístupu k velkým objemům

Horizontální aktivity I I I

Publicita Práce s uživateli a uživatelská podpora Výuka a vedení studentských prací (od bakalářských po doktorské)


9. 12. 2011

6 / 36

Projekt CERIT-SC

I

3. osa OP VaVpI I I

I

CZ 1.05/3.2.00/08.0144 1. 5. 2011 až 31. 10. 2013 (30 měsíců)

Celková dotace 130.368.554,- Kč I

Investice 110.813.270,90 Kč I

I

I I

I

Technologie (výpočetní a úložné kapacity) a software

Neinvestice 19.555.283.10 Kč Energie, mzdové náklady, publicita, . . . Žádné režie

Cíl: Podpora transformace SCB do Centra CERIT-SC I I

Pořízení nezbytného technického vybavení Ustavení jádra týmu I I

7 přepočtených úvazků z plánovaných cca 15 Intenzivní zapojení studentů


9. 12. 2011

7 / 36

Technologie I

Výpočetní kapacita – clustery I

SMP (alespoň 80 jader a 512 GB RAM na uzel) I I

I

HD (méně jader na uzel, vyšší výkon na jádro, větší počet uzlů) I I I

I

>2500 jader, 1/5 Q2/2012, zbytek Q1/2013 Vyšší celkový instalovaný výkon Vysoká rozmanitost konfigurací

Vysokorychlostní síť Infiniband propojuje všechny uzly I

I

>1500 jader, prvních 8 uzlů (640 jader) instalováno Dostatek paměti, prostředí pro základní paralelizaci

Umožňuje experimenty s vyšší mírou paralelizace i pro simulace distribuovaného prostředí

Úložné kapacity I

Disková pole ke clusterům I

I

>600 TB, 250 TB aktuálně přejímáno

4 PB v hierarchickém úložišti, Q3/2012


9. 12. 2011

8 / 36

Přístup ke zdrojům

I

Základní principy: I

I I

I

Využití oddělené fyzické a logické vrstvy I

I

Virtualizace, cloud technologie =⇒ název centra

Podpora špičkové vědy bez administrativy I I

I

Instalované technologie primárně slouží vývoji a experimentům, teprve ve druhé rovině pro klasické výpočty a ukládání dat Minimální administrativa (žádné žádosti o zdroje) Interaktivní přístup, (disruptivní) experimenty, různá prostředí

Priorita na základě dosažených výsledků, ne žádosti Společné projekty s Centrem

Hrubá síla přístupná integrací do MetaCentra a mezinárodních infrastruktur (EGI)


9. 12. 2011

9 / 36

Výzkumné aktivity

I

Výzkumná témata v informatice, souvisi s eInfrastrukturou I I I I I I

I

Plánování Řízení virtualizovaného prostředí a cloudu Bezpečnost (včetně správy důvěry) Práce s daty Optimalizace výpočtů pro paralelní a distribuované prostředí Hybridní výpočetní prostředí (GPU) a jeho optimalizace

Samostaný, ale především kooperativní výzkum v úzké vazbě na partnery


9. 12. 2011

10 / 36

Principy spolupráce

I

Identifikace možných partnerů I

I I

Sledování způsobů využití eInfrastruktur yuživateli, identifikace potenciálních problémů Rozpoznané problémy partnera, přímý kontakt Rozpoznání budoucích velkých uživatelů, zpětná vazba z mezinárodní spolupráce v oblasti eInfrastruktury

I

Návrh společného projektu, řešení problémů, ne pouze nabídka výkonu/kapacit

I

Společný tým, tvořený odborníky a studenty obou stran

I

Externě financovaný projekt (potvrzení kvality záměru)

I

Integrace do výuky v informatice i předmětných oblastech


9. 12. 2011

11 / 36

Národní postavení

I

Národní eInfrastruktura tvořena třemi součástmi: I I I

Sdružení CESNET: Sítě a koordinace gridů Centrum excelence IT4Innovations: Superpočítač Centrum CERIT-SC: Vývoj eInfrastruktury, příprava uživatelů

I

CERIT-SC má podepsána obě memoranda o spolupráci

I

Přenos výsledků výzkumu do „praxe“ eInfrastruktury

I

Partneři centra připravování efektivně využívat další zdroje včetně vlastních


9. 12. 2011

12 / 36

Hardware v CERIT-SC aneb co se už pod stůl nevejde


9. 12. 2011

13 / 36

Hardware v CERIT-SC

I

stroje zewura1–8.cerit-sc.cz (HP Proliant DL980)

I

srovnání s „nadupaným“ desktopem (>70 tis. Kč)

zewura* desktop I

jádra 80 6

frekvence 2.26 GHz 3.46 GHz

RAM 512 GB 32 GB

disk 18 TB 6 TB

SPEC 1250 121

možnosti podstatně rozsáhlejších výpočtů I

I

CPU 8× E7-2860 i7-990X

velká paměť, velký agregovaný výkon

využití plného výkonu v tomto rozsahu není zcela přímočaré


9. 12. 2011

14 / 36

Hardware v CERIT-SC

I

vysokorychlostní síť InfiniBand I I I

40 Gbit/s, latence cca. 1 µs propojení všech stávajících uzlů velký výpočet přes všech 640 jader a 4 TB RAM


9. 12. 2011

15 / 36

Hardware v CERIT-SC

I

vysokorychlostní síť InfiniBand I I I

I

40 Gbit/s, latence cca. 1 µs propojení všech stávajících uzlů velký výpočet přes všech 640 jader a 4 TB RAM

datové úložiště I I I I

kapacita 250 TB vysoké nároky na propustnost – 2.5 GB/s po NFS komplikované technické řešení netriviální nároky na správu, liší se podle vzorů použití


9. 12. 2011

15 / 36

Hardware v CERIT-SC

I

GP-GPU server I I I I

4× GPU Nvidia Tesla 2090 (512 jader, >600 GFLOPS) 4× 250 GB SSD unikátní hardware, extrémní výkon adaptace aplikací velmi náročná


9. 12. 2011

16 / 36

Konkrétní příklady spolupráce


9. 12. 2011

17 / 36

Signály z lékařských přístrojů

I

Ústav přístrojové techniky AV ČR a LF MU

I

zpracování signálů z hloubkových elektrod v mozku

I

studium šíření epileptického záchvatu


9. 12. 2011

18 / 36


I

vstupní signály I I

I

3–9 elektrod po 15 kontaktech (jen část v zajímavých oblastech) záznam signálu na frekvenci 128 Hz

Fourierova transformace na plovoucím časovém okně I

interval 4–10 s, posun 100–150 ms


9. 12. 2011

19 / 36

Signály z lékařských přístrojů I

dekorelace naměřených signálů I

I I

analýza hlavních komponent, odstranění všech až na jednu nejvýznamnější největší vlastní hodnota představuje průměrně 85 % výpočet rozkladu matice cca. 7000 × 130 na singulární hodnoty

I

výpočet výkonového frekvenčního spektra

I

viditelný posun k vyššímu výkonu a nižší frekvenci maxima


9. 12. 2011

20 / 36


I

omezení současné metody I I

I

nová generace přístrojů I I

I

větší počet signálů řádově vyšší vzorkovací frekvence

pokročilejší metody zpracování I I I I I

I

nízká vzorkovací frekvence pragmaticky jednoduché vypočetní zpracování

dynamická volba parametrů (šířka okna pro FFT) korelace jednotlivých signálu – charakteristiky šíření „vlny“ ... mohou vést k přesnějšímu pozorování a objevům nových fenoménů podstatně vyšší náročnost na výpočetní zpracování

vyžadováno silné informatické zázemí


9. 12. 2011

21 / 36

Rekonstrukce stromů z 3D scanu

I

Centrum výzkumu globální změny AV ČR (CzechGlobe)

I

monitoring a hodnocení aktuálního stavu a změn vegetačního krytu v měnících se klimatických podmínkách

I

laserový scanner LIDAR (Light Detection And Ranging)

I

získána 3D síť bodů v rozestupu cca. 5 cm

I

včetně intenzity odrazu

I

lze odvodit rozložení biomasy listů a kmene

I

vstupní data pro modely ekosystémů


9. 12. 2011

22 / 36

Rekonstrukce stromů z 3D scanu I

vyhodnocení kvalitního snímku – poloautomatická metoda


9. 12. 2011

23 / 36


méně kvalitní snímky (zakrytí jiným objektem, vítr při snímání, . . . )

I

hledáme vhodný model stromu

I

necháme jej „prorůrst“ dostupnými daty

I

vhodná varianta Lindenmayerova systému


9. 12. 2011

24 / 36


méně kvalitní snímky (zakrytí jiným objektem, vítr při snímání, . . . )

I

hledáme vhodný model stromu

I

necháme jej „prorůrst“ dostupnými daty

I

vhodná varianta Lindenmayerova systému http://www.mizuno.org/applet/branching/


9. 12. 2011

24 / 36


I

hlavní cíle I I I

model nahradí chybějící části snímku plně automatická metoda dovolí zpracovat větší množství vstupů přesnější vstupy pro následující simulace ekosystému


9. 12. 2011

25 / 36


I

hlavní cíle I I I

I

nápady k řešení I I I

I

model nahradí chybějící části snímku plně automatická metoda dovolí zpracovat větší množství vstupů přesnější vstupy pro následující simulace ekosystému potřebná metrika podobnosti konkrétního modelu prohledání rozsáhlého prostoru parametrů zpětná vazba, iterativní proces

nechceme se brzdit limity na výpočetní náročnost


9. 12. 2011

25 / 36

Segmentace obrázků na GPU

I

Ústav fyzikální biologie JČU

I

mikroskopické obrázky živých buněčných kultur

I

snímány v několikaminutových intervalech, studium chování buněk problém segmentace

I

I

I

určit, co je zajímavý objekt a co šum na pozadí

experimenty s různými metodami I I

založeny na Shannonově entropii množství informace, kterou přispívají jednotlivé body obrázku


9. 12. 2011

26 / 36



9. 12. 2011

27 / 36


I

typický obrázek 12 Mpix, tj. 4000 × 3000 bodů

I

lepší metody pro každý bod počítají vztah s 4000 + 3000 dalšími

I

naivní implementace běží několik hodin


9. 12. 2011

28 / 36


I

typický obrázek 12 Mpix, tj. 4000 × 3000 bodů

I

lepší metody pro každý bod počítají vztah s 4000 + 3000 dalšími

I

naivní implementace běží několik hodin

I

experimentální metoda implementována v Matlabu implementace slibných metod v C nebo CUDA (GPU)

I

I I

I

zrychlení běhu v řádu 10× až 1000× za cenu dnů až měsíců ruční práce

a co s další slibnou metodou?


9. 12. 2011

28 / 36


I

automatická optimalizace kódu I

I I

probíhající výzkum v CERIT-SC (PhD práce)

kód je zapsán ve vysokoúrovňovém jazyce (à la Matlab) automatická optimalizace I I

vhodné knihovní funkce seskládání do optimalizovaného kódu pro GPU


9. 12. 2011

29 / 36


I


I I


I



například kABxk (CD + C ) I I I

počítat každou operaci (sčítání, násobení, norma) zvlášť je pomalé ale celý výpočet už se na GPU nemusí vejít hledáme přiměřený kompromis


9. 12. 2011

29 / 36


I


I I


I



například kABxk (CD + C ) I I I

počítat každou operaci (sčítání, násobení, norma) zvlášť je pomalé ale celý výpočet už se na GPU nemusí vejít hledáme přiměřený kompromis

I

cíl: srovnatelně rychlý kód s podstatně menším úsilím

I

metoda původně vznikla pro jinou aplikační oblast (FEM)


9. 12. 2011

29 / 36

Zkoumání tunelů v molekulách I I

Loschmidtovy laboratoře a HCILab FI MU hledání a zkoumání vlastností „tunelů“ v molekulách I I I

velká biologicky aktivní molekula známé aktivní místo je někde uvnitř vede k němu/od něj schůdná cesta pro konkrétní malou molekulu?


9. 12. 2011

30 / 36

Zkoumání tunelů v molekulách

I

první krok je geometrická aproximace I

I

chceme ověřit průchodnost tunelu pro malou molekulu I I I

I

tunelem projde kulová sonda grafické zobrazení nestačí hmatová (haptická) interakce – speciální hardware molekulu lze uchopit a tunelem protlačit

výpočetně náročná simulace


9. 12. 2011

31 / 36


I

fyzikálně věrný model I I I

uživatel musí získat iluzi interakce s reálnými objekty chování reálného světa je popsáno fyzikálními zákony Newtonovy pohybové rovnice F =m

dv dt

v=

dx dt

I

numericky stabilní integrace, probíha 1000× za sekundu

I

statické molekuly zvládne výkonný desktop


9. 12. 2011

32 / 36


I

statické molekuly vůbec neodpovídají realitě I

I

tunel mění tvar, může se zavírat a otvírat

dopředu lze nasimulovat, jak se velká molekula „vrtí“ I

molekulová dynamika


9. 12. 2011

33 / 36


I


I

I

I


dopředu lze nasimulovat, jak se velká molekula „vrtí“ molekulová dynamika

problém je výsledné proměnné elektrostatické pole I I

počítáme na mřížce 2563 = 16777216 bodů v 48 bitech HD video: 1920 × 1080 = 2073600 pixelů v 12–16 bitech

I

lze velmi dobře ztrátově komprimovat

I

výpočetně náročná komprese i dekomprese


9. 12. 2011

33 / 36


I


I

I

I


dopředu lze nasimulovat, jak se velká molekula „vrtí“ molekulová dynamika

problém je výsledné proměnné elektrostatické pole I I

počítáme na mřížce 2563 = 16777216 bodů v 48 bitech HD video: 1920 × 1080 = 2073600 pixelů v 12–16 bitech

I

lze velmi dobře ztrátově komprimovat

I

výpočetně náročná komprese i dekomprese

I

plánujeme i ohebnou malou molekulu I I

výsledek vzájemné interakce molekul, nelze simulovat dopředu řádově vyšší výpočetní náročnost


9. 12. 2011

33 / 36

Shrnutí

I

Projekt zahájil novou etapu pracoviště s dlouhou historií I

I

I

transformace z poskytovatele zdrojů na partnera chytrého využití a dalšího rozvoje eInfrastruktury Interaktivita, okamžitá dostupnost, různorodost, disruptivní experimenty, . . .

Silná výzkumná složka a rozbíhající se spolupráce I I I

společné vysoké nároky na výpočetní výkon využití technických prostředků netriviálním a neobvyklým způsobem přínos pro obě strany I I

I

kvalitativní posun v aplikačního oblasti zajímavá témata informatického výzkumu v CERIT-SC

Centrum CERIT-SC je organickou a nezbytnou součástí národní eInfrastruktury I

prostředník mezi dalšími složkami eInfrastruktury a jejich uživateli


9. 12. 2011

34 / 36

Použité materiály

I

Rektor et al., Epilepsia 43 (3), 2002.

I

Rektor et al., Epilepsy & Behavior, 20, 2011.

I

Urban et al., Preprocessing of microscopy images via Shannon’s entropy, Proc. ÖAGM/AAPR Workshop, 2011.

I

Dolanský et al., Zpracování laserových dat smrkového porostu v prostředí ArcGIS. GIS ESRI v ČR, 2008.

I

URL stránky centra http://www.cerit-sc.cz/


9. 12. 2011

35 / 36

Projekt CERIT Scientific Cloud, reg. č. CZ. 1.05/3.2.00/08.0144, je podporován v rámci 3. prioritní osy Operačního programu Výzkum a vývoj pro inovace.


9. 12. 2011

36 / 36

Centrum a projekt CERIT-SC

Recommend Documents