Použití EGEE. v dalších vědeckých disciplínách. Jan Kmuníček podpora uživatelů a aplikací. Úvodní seminář EGEE, 26. října

Úvodní seminář EGEE, 26. října 2004

www.eu-egee.org

Použití EGEE v dalších vědeckých disciplínách Jan Kmuníček podpora uživatelů a aplikací

EGEE je projekt financován Evropskou Unií (smlouva IST-2003-508833)

Obsah

Typy výpočetních problémů Aplikační struktura v rámci EGEE Aktuální stav – aplikační portfolio Další potenciální vědecké oblasti využívající EGEE Grid Jak přizpůsobit vlastní aplikaci prostředí EGEE Gridu

Úvodní seminář EGEE, 26. 10. 2004 - 2

Typy výpočetních problémů • Gridy jsou obecně vhodné pro paralelní (současné) zpracování úloh. • Paralelní výpočetní úlohy takové úlohy, jejichž ƒ zpracování na jediném CPU trvá neúnosně dlouho ƒ celkové paměťové nároky jsou příliš velké

• Primární aplikační určení Gridů: ƒ velké množství malých, navzájem nezávislých úloh • příklad:parametrické studie ƒ zpracování rozsáhlých datových souborů „po částech“ • příklad:digitální vyhlazení satelitních snímků

Úvodní seminář EGEE, 26. 10. 2004 - 3

Typy výpočetních problémů • Granularita výpočetních problémů • Výpočty s malou granularitou ƒ každý podproblém vysoce závislý na výsledku dalších podproblémů ƒ přenos do gridového prostředí je velmi složitý ƒ nutno vymyslet algoritmy minimalizující množství a četnost dat,

které si mezi sebou procesory vyměňují • příklad: výpočet počasí, který může být rozdělen do mnoha malých

výpočtů počasí v malých objemech atmosféry ƒ vhodné řešit na velkých paralelních superpočítačích nebo alespoň

velmi „pevně vázaných“ (tightly coupled) clusterech s procesory propojenými extrémně rychlou sítí „high-performance computing“

Úvodní seminář EGEE, 26. 10. 2004 - 4

Typy výpočetních problémů • Granularita výpočetních problémů • Výpočty s velkou granularitou ƒ každý podproblém nezávislý na ostatních ƒ přenos do gridového prostředí je relativně jednoduchý • příklad: Monte Carlo simulace, kde se obměňují parametry

komplexního modelu reálného systému a výsledky se studují statistickými technikami – jedná se druh výpočetního experimentu ƒ vhodné řešit pomocí sítě "volně vázaných" (loosely coupled) počítačů,

jelikož prodlevy při získání výsledků z jednotlivých procesorů neovlivní práci ostatních procesorů „high-throughput computing“

Úvodní seminář EGEE, 26. 10. 2004 - 5

Typy výpočetních problémů • Reálné výpočetní problémy ƒ kombinace obou extrémních typů

• Gridové prostředí je nejvhodnější pro řešení takto komplexních úloh ƒ poskytuje vhodné výpočetní prostředky pro podúlohy s nízkou granularitou ƒ jejich výsledky lze kombinovat formou podúloh s vysokou granularitou • příklad: komplexní modelování podnebí Země • hledání informace, jak výpočty závisí na jednotlivých parametrech

použitých v modelech – spuštění mnoha podobných výpočtů • každý z nich je paralelní výpočet s malou granularitou • velké množství v podstatě nezávislých výpočtů může být současně distribuováno na mnoho různých clusterů na Gridu

průběh simulace v kratším čase

Úvodní seminář EGEE, 26. 10. 2004 - 6

Aplikační struktura v rámci EGEE • Formální členění aplikací v projektu EGEE ƒ Pilotní aplikace

prvotní implementace a testování výkonu i funkčnosti vznikající gridové infrastruktury • LCG (LHC Computational Grid) • biomedicínské Gridy

ƒ Interní aplikace

národní projekty se zkušeností v oblasti gridových výpočtů ƒ Externí aplikace

explicitní podpora vybraných uživatelských skupin tak, aby jejich aplikace byly přeneseny do gridového prostředí

Úvodní seminář EGEE, 26. 10. 2004 - 7

Aplikační struktura v rámci EGEE

• Typy aplikací v projektu EGEE ƒ HEP aplikace

experimenty částicové fyziky pod záštitou CERNu ƒ Biomedicínské aplikace

interní i externí projekty zabývající se zpracováním lékařských a medicínských dat ƒ Obecné aplikace

všechny ostatní aplikační oblasti

Úvodní seminář EGEE, 26. 10. 2004 - 8

Aktuální stav – aplikační portfolio • Biomedicínské pilotní aplikace ƒ Clinical Decision Support System (CDSS) • diagnostický nástroj umožňující extrahovat lékařsky relevantní informace s cílem zjednodušit klinickou praxi ƒ Grid Protein Sequence Analysis (GPS@) • molekulárně bioinformatický portál poskytující možnost analýzy proteinových sekvencí, jejich alignment, predikci sekundárních struktur a přístup do databáze 3D-struktur proteinů ƒ Geant4 Application for Tomographic Emission (GATE) • Monte-Carlo simulace pro radioterapii a nukleární medicínu umožňující modelování a plánování ošetřování karcinogenních nádorů před vlastním radioterapeutickým zákrokem

Úvodní seminář EGEE, 26. 10. 2004 - 9

Aktuální stav – aplikační portfolio • Biomedicínské interní aplikace ƒ 3D MRI Simulator (SiMRI3D) • paralelní simulátor obrazů magnetické rezonance ƒ xmipp_MLrefine • analýza 3D makromolekulárních struktur ƒ DICOM data analysis tool (gPTM3D) • nástroj pro interaktivní analýzu radiologických dat

• Biomedicínské externí aplikace ƒ MammoGrid • distribuovaná mamografická analýza pro diagnózu a terapii nádorů prsu

Úvodní seminář EGEE, 26. 10. 2004 - 10

Aktuální stav – aplikační portfolio • Výběr nových aplikací ƒ zaslání žádosti o zapojení do výběrového řízení obecných aplikací ƒ výběr a schválení výběrovou komisí EGAAP

(EGEE Generic Application Advisory Panel) ƒ získání oficiální podpory vybrané uživatelské komunity

po omezenou dobu, během níž dojde k portování vybrané aplikace do prostředí EGEE Gridu ƒ výsledkem prvního EGAAP zasedání 4 nové aplikační oblasti

Úvodní seminář EGEE, 26. 10. 2004 - 11

Aktuální stav – aplikační portfolio • Vědecký výzkum Země ƒ zpracování a validace měření globálních změn

atmosférického ozonu pomocí satelitu GOME

• Geofyzika ƒ 3D analýza zemského podloží s cílem hledání

zdrojů ropy a zemního plynu

• Výpočetní chemie ƒ atomární a molekulární simulace použitím

molekulárně-mechanických a kvantově-chemických metod

• Fyzika astro-částic ƒ Monte Carlo simulace dat z teleskopu MAGIC

Úvodní seminář EGEE, 26. 10. 2004 - 12

Další potenciální vědecké oblasti využívající EGEE Grid • Spektrum aplikačních oblastí vhodných pro EGEE Grid ƒ Technické a materiálové simulace ƒ Hydrologie ƒ Seismologie ƒ Gridové vyhledávací nástroje ƒ Simulátory burzovních trhů

Úvodní seminář EGEE, 26. 10. 2004 - 13

Další potenciální vědecké oblasti využívající EGEE Grid • Spektrum aplikačních oblastí vhodných pro EGEE Grid ƒ Digitální zpracování videa ƒ Distribuované datové sklady ƒ Real-time rendering & raytracing

pro architekty, počítačové grafiky a umělce ƒ Evropský úřad pro vesmír

Úvodní seminář EGEE, 26. 10. 2004 - 14

Jak přizpůsobit vlastní aplikaci prostředí EGEE Gridu ƒ Zvolit typ aplikací, které jsou pro Vás

klíčové a jež byste rádi používali v prostředí EGEE Gridu ƒ Zvážit vynaložené úsilí na portaci

a výhody plynoucí z možnosti použití vybraných aplikací na EGEE Gridu ƒ Diskutovat detailní kroky nezbytné

transformace Vašich aplikací ([email protected]) ƒ Sledovat up-to-date informace na gridovém portále EGEE

!!! egee.cesnet.cz !!! Úvodní seminář EGEE, 26. 10. 2004 - 15