VOCE

Enabling Grids for E-sciencE

Project EGEE-II / VOCE

Jan Kmuníček CESNET

www.eu-egee.org INFSO-RI-031688

Obsah Enabling Grids for E-sciencE

• Celosvětová gridová infrastruktura • Koncept virtuální organizace • VOCE infrastruktura a její vlastnosti • Aktuální stav VOCE • Závěrečné poznámky

INFSO-RI-031688

Seminář projektu EGEE-II, 12. prosinec, 2006

2

Celosvětová gridová infrastruktura Enabling Grids for E-sciencE

• Projekt EGEE – panevropská gridová platforma • •

sdružuje 90 institucí z 27 zemí aktuální stav – počet procesorů – počet poskytovatelů zdrojů – aplikace

•

~16 000 170 20 ‘velkých’

struktura projektu – regionální členění do federací (geografické členění) – specifické aktivity § servisní (SA) § síťové (NA) § společné výzkumné (JRA)

INFSO-RI-031688

provoz, podpora a monitorování podpora aplikací, diseminace vývoj a integrace middleware Seminář projektu EGEE-II, 12. prosinec, 2006

3

Celosvětová gridová infrastruktura Enabling Grids for E-sciencE

• Project EGEE-II – celosvětová gridová platforma – projekt EGEE- II je aplikačně-orientovaný nástupce projektu EGEE, který vytvořil infrastrukturní základnu – představa dlouhodobě udržovaného prostředí pro vědecké výpočty (gridové prostředí jako standardní součást servisu poskytovaného v rámci ERA – European Research Area) INFSO-RI-031688


4

Koncept virtuální organizace Enabling Grids for E-sciencE

• Grid – heterogenní sada zdrojů a uživatelů – různé požadavky a různá očekávání – potřeba určité interní organizace

• Virtuální Organizace (VO) – sada zdrojů § výpočetní elementy, úložné elementy – sada koncových uživatelů – služby – politiky § kdo je oprávněn se připojit § jaké výpočetní zdroje by měla VO nabízet / garantovat INFSO-RI-031688


5


• Definice virtuální organizace VO je dynamický rezervoár zdrojů & uživatelů z různých domén sdružených za specifickým cílem.

• EGEE VO koncept – EGEE prostředí dostupné pouze pomocí VO – původní myšlenka – aplikačně specifické VO – vyžadován komplexní schvalovací proces – těžkopádný proces ustavení VO § politiky § technická řešení – obzvlášť složité pro malé výzkumné komunity INFSO-RI-031688


6


• Potíže s ustavením VO – VO reprezentuje způsob přístupu do gridového prostředí – ustavení VO je poměrně netriviální záležitost § garance každodenní funkčnosti

– využití VO je také obdobně komplikovaná záležitost § pomalá učící křivka díky vysoké komplexnosti § extrémní bariéra pro nové uživatele Gridu § nutnost se učit řadu věcí – brání rutinnímu využití ==> ==>

pouze velké komunity mají zdroje (čas, peníze, …) na překonání takové bariéry potřeba oslovit malé výzkumné skupiny

mohou být vyřešeny pomocí obecné VO (catch-all přístup) INFSO-RI-031688


7

VOCE infrastruktura Enabling Grids for E-sciencE

• Virtuální Organizace pro Střední Evropu (VOCE) – otevřené gridové prostředí – obecná virtuální organizace – VOCE odstraňuje potřebu vystavět VO ‘from scratch’ – outsourcing služeb souvisejících s VO – rutinní VO management & administrace prováděna dedikovanými administrátory – maximální zjednodušení každodenní vědecké práce pomocí nástrojů zjednodušujících práci s nativním middleware § CHARON Extension Layer, GUI portály INFSO-RI-031688


8


• Virtuální Organizace pro Střední Evropu (VOCE) – poskytuje kompletní gridovou infrastrukturu v rámci projektu EGEE resp. EGEE-II § oficiálně registrována v seznamu EGEE VO § první regionální VO v EGEE § VOCE modelem pro ostatní regiony

– založena na regionálním principu § VOCE zahrnuje celou středoevropskou EGEE federaci (CE) § klíčové služby provozovány sdružením CESNET § zdroje poskytovány několika institucemi v celém CE regionu (tyto zdroje jsou následně dostupné všem uživatelům registrovaným ve VOCE)

INFSO-RI-031688


9


• VOCE - Popis – plně produkční prostředí § prostředí VOCE umožňuje novým uživatelům rychle získat první zkušenost s gridovým počítáním

– ‘inkubátor’ pro nové uživatele / aplikace / aplikační oblasti § pomoc při adaptaci software pro použití na Gridu § dokonce pro aplikace bez zkušenosti s gridovým / clusterovým / vzdáleným počítáním § plynulý přechod k produkčnímu použití § podpora přípravy specifických VO • jakmile uživatelé získají více zkušeností

INFSO-RI-031688


10


• VOCE - Popis – samostatná infrastruktura § všechny relevantní služby spravovány VOCE administrátory § klíčové služby založeny na gLite-3.0 a gLite-3.1 middleware § CE & SE zdroje sdíleny s LCG § uživatelská podpora pomocí RT helpdesku § Perun – nástroj pro správu uživatelských identit podporujícíc LDAP and VOMS

INFSO-RI-031688


11


• VOCE - Cíle – poskytovat aplikačně neutrální prostředí § není vázano k žádné konkrétní aplikaci § zájem o široké spektrum aplikačních oblastí

– i malé výzkumné skupiny mohou využívat produkční EGEE Grid – není třeba investovat do ustavení specifické VO před testováním a použitím gridového prostředí EGEE/gLite – dostupná produkční i tréninková infrastruktura

INFSO-RI-031688


12


• VOCE - Cíle – poskytovat kompletní a samostatnou gridovou infrastrukturu založenou na EGEE/gLite middleware – převzít zátěž fungování gridové infrastruktury – umožnit uživatelům produkční práci, možnost tréninku a sloužit pro zpětnou vazbu vývojářům middleware § významná přidaná hodnota – VOCE vystavěna jako obecná VO § oficiálně doporučený postup pro ustavení VO v rámci EGEE

INFSO-RI-031688


13


• VOCE – Registrační procedury – Registrace uživatelů § požadována registrace na http://voce-register.farm.particle.cz/ § požadováno vlastnictví platného certifikátu od certifikační autority uznané sdružením IGTF § požadován souhlas s VOCE politikami § požadována příslušnost k CE instituci § žádné další požadavky

– Registrace zdrojů § na základě dohody § jednoduché, pokud zdroje již certifikovány v rámci EGEE

INFSO-RI-031688


14

Aktuální stav VOCE Enabling Grids for E-sciencE

• Přehled infrastrukturních elementů § klíčová infrastruktura (WMS, CE, WNs, SE) plně funkční a konfigurována na přijetí uživatelů z CE § konfigurace podporující práci s LCG/gLite-3.0 middleware UI RB WMS VOCE LDAP VOCE VOMS

skurut4.cesnet.cz skurut3.cesnet.cz skurut2.cesnet.cz (skurut67-6.cesnet.cz, XENed service) meta-ldap.cesnet.cz skurut19.cesnet.cz

§ přístup na UI pomocí GSISSH, účet na UI je vytvořen automaticky po registraci do VOCE § dostupné také některé služby gLite-3.1 (JP, WMS, …)

INFSO-RI-031688


15


• Středoevropská federace (CE) – regionální znak

heterogenita (zapojení partneři & organizace)

Česká republika Chorvatsko Maďarsko Polsko Rakousko Slovensko Slovinsko INFSO-RI-031688


16


• VOCE – Virtuální Organizace pro Střední Evropu zdroje z

CESNET (Česká republika) PSNC, CYFRONET, ICM (Polsko) II-SAS (Slovensko) SRCE, IRB, FESB (Chorvatsko) BME, KFKI, ELTE, NIIF (Maďarsko) GUP, HEPHY (Rakousko)

více než

178 registrovaných uživatelů ze 14 institucí a 6 zemí

celkově

1262 CPUs cca 27.3 TB disk space

INFSO-RI-031688


17


•

VOCE - Virtuální

Organizace pro Střední Evropu

– CHARON Extension Layer (CEL) § uniformní a modulární přístup pro zasílání a správu (komplexních) výpočetních úloh § obecný systém pro použití aplikačních programů v gridovém prostředí (LCG/gLite middleware, …)

– správa aplikací § single/paralelní spouštění bez nutnosti modifikace skriptu úlohy – správa úloh § jednoduché zadání, monitorování běhu a získání výsledků – přístup založený na rozhraní příkazové řádky (CLI) INFSO-RI-031688


18


• VOCE - Virtuální Organizace pro Střední Evropu – další dostupná řešení § VOCE propojeno s portálem P-GRADE § VOCE propojeno s portálem GENIUS § výpočetní prostředí podporující paralelní spouštění výpočetních úloh pomocí MPI

INFSO-RI-031688


19


• VOCE - Virtuální Organizace pro Střední Evropu – portál P-GRADE § umožňuje pokročilou správu workflows § komfortní spouštění paralelních úloh § podpora ‘legacy’ aplikací § přístup do více různých Gridů

INFSO-RI-031688


20


INFSO-RI-031688


21


• VOCE - Virtuální Organizace pro Střední Evropu – portál GENIUS § podpora výuky použití gridového prostředí § standardní nástroj pro trénink využití EGEE Gridu § předdefinovaná sada ukázkových aplikací

INFSO-RI-031688


22


INFSO-RI-031688


23

Závěrečné poznámky Enabling Grids for E-sciencE

• VOCE - Shrnutí – registrace uživatelů § registrace do VOCE

http://voce-register.farm.particle.cz/

– dokumentace § VOCE portál

http://egee.cesnet.cz/en/voce/

– uživatelská podpora § zašlete požadavky na [email protected]

INFSO-RI-031688


24

Závěr Enabling Grids for E-sciencE

• VOCE – Shrnutí – produkční gridová infrastruktura – obecná VO podporující nové gridové uživatele – dedikované prostředí pro trénink uživatelů

INFSO-RI-031688


25

VOCE

Recommend Documents