Enabling Grids for E E-sciencE sciencE
A HunGrid infrastruktúra és alkalmazásfejlesztő környezete Gergely Sipos
[email protected] MTA SZTAKI Hungarian Academy of Sciences www.lpds.sztaki.hu p
www eu egee org www.eu-egee.org EGEE-II INFSO-RI-031688
Tartalom Enabling Grids for E-sciencE
• Mik azok a Gridek? • Enabling Grids for E-sciencE projekt és a HunGrid • A gLite middleware • A HunGrid használata – P-GRADE Grid Portál
• Demonstráció D t á ió • Összefoglaló
EGEE-II INFSO-RI-031688
2
Mik azok a gridek? Enabling Grids for E-sciencE
●
●
Ag grid számítógépek, g p , tárolórendszerek és speciális hardver- és szoftver szolgáltatások l ál á k dinamikus di ik hálózata A gridek id k kapacitásokat k itá k t é és szolgáltatásokat nyújtanak a felhasználó által indított programoknak az Interneten át
Virtuális szervezet Grid Internet
• Közös cél érdekében allokált és együttműködő erőforrások virtuális szervezetet alkotnak EGEE-II INFSO-RI-031688
3
Enabling Grids for E-sciencE Enabling Grids for E-sciencE
• Az EGEE a világ legnagyobb gridje – 36.000 36 000 számítógép 237 intézetnél, intézetnél 45 országban – Több mint 200 virtuális szervezet – 10 kiemelt alkalmazás csoport: részecskefizika, fúziós fizika, ...
• Az EGEE projekt egy önnfentartó, világ méretű Grid j és üzemeltetésén dolgozik g infrastruktúra kifejlesztésén – middleware fejlesztés, oktatás, alkalmazás támogatás, ... www.eu-egee.org EGEE-II – INFSO-RI-031688
4
A HunGrid infrastruktúra Enabling Grids for E-sciencE
• 2005. január óta az EGEE magyarországi virtuális szervezete • Cél: az akadémiai intézetek kutatóinak folyamatos tá támogatása tá • Folyamatos működésű, ingyenesen használható • Infrastruktúra I f t ktú – 3 klaszter: KFKI-RMKI, ELTE, NIIFI – gLite 3 3.0 0 middleware – P-GRADE Portál alkalmazás fejlesztő és futtató környezet
• Elérhetőség: http://www.lcg.kfki.hu/index_eng.pl
EGEE-II INFSO-RI-031688
5
HunGrid weblap http://www.lcg.kfki.hu/index_eng.pl
Enabling Grids for E-sciencE
Regisztráció: • Grid tanusítvány igénylés - www.ca.niif.hu www ca niif hu • Tanusítvány böngészőbe importálása • HunGrid regisztrációs űrlap kitöltése
EGEE-II INFSO-RI-031688
6
A HunGrid struktúra és szolgáltatások Enabling Grids for E-sciencE
Fájl tároló szolgáltatások Számítási erőforrások HTTP
Tanusítvány alapú azonosítás
EGEE-II INFSO-RI-031688
Fájl replika és katalógus szolgáltatások P-GRADE P GRADE Portal
Információs rendszer
Erőforrás bróker 7
A P-GRADE Portal dióhéjban Enabling Grids for E-sciencE
WORKFLOW CERTIFICATE PERFORMANCE EXECUTION Æ Æ Æ DESIGN MANAGEMENT ANALYSIS ON GRID(S)
EGEE-II INFSO-RI-031688
8
Egy P-GRADE Portál alkalmazás Enabling Grids for E-sciencE
•
Irányított aciklikus gráf, amel ben amelyben – Csomópontok: végrehajtható programok – Portok: input/output fájlok melyeket a programok olvasnak vagy írnak – Élek: p programok g közötti adatfüggőségek
•
Workflow szemantikája: j – Egy csomópontban lévő program akkor indítható ha minden input fájlja rendelkezésre áll – A portál szerverbe épített workflow menedzser g felelőssége
EGEE-II INFSO-RI-031688
9
Programok párhuzamosítása Enabling Grids for E-sciencE
Egyidőben több példánya fut
– Párhuzamos futás egy csomóponton belül: klaszter szintű párhuzamosítás (MPI) – Párhuzamos futás a workflow g gráfon belül – A workflow futtatása több példányban paraméter vizsgálatként
EGEE-II INFSO-RI-031688
Egyidőben több programja fut
Egyidőben több processze fut
10
Alkalmazás életciklusa Enabling Grids for E-sciencE
HunGrid infrastruktúra
Alkalmazás végrehajtható fájljai és (kis méretű) input fájljai
(Kis méretű) eredmény fájlok
Fájl tároló szolgáltatások
P-GRADE Portal
((Nagy agy méretű) é etű) input és output fájlok
Számítási erőforrások
Tanusítvány szerver EGEE-II INFSO-RI-031688
11
Demonstráció: Manchester autóforgalmának elemzése
Enabling Grids for E-sciencE
Legenerálja Manchester város térképét
Közlekedési lámpákat és autókat tesznek az utakra. Beállítja azok paramétereit majd diszkrét lépésekkel p ábrázolják j a forgalom alakulását Elemzi, összehasonlítja majd grafikonokon ábrázolja a forgalom sűrűségét egy időskálán
EGEE-II INFSO-RI-031688
12
Összefoglaló és további lehetőségek Enabling Grids for E-sciencE
• HunGrid – EGEE technológián g alapuló p g grid infrastruktúra http://www.lcg.kfki.hu/index_eng.pl Magyarországi akadémiai közösség ingyen használhatja – Alkalmazási lehetőségek: kutatás, oktatás, szimuláció – gLite parancssori interface: http://glite web cern ch/glite/documentation http://glite.web.cern.ch/glite/documentation
• P-GRADE Portál – Grafikus környezet gridek programozására és alkalmazások futtatására – gLite és Globus kompatibilis – HunGrid P-GRADE Portál: http://pgrade.inf.elte.hu – Manuálok, oktatási események, teszt portál, fórum, workflow-k, gyakorlatok nemzetközi portálok: http://www.portal.p-grade.hu gyakorlatok, http://www portal p grade hu EGEE-II INFSO-RI-031688
13
Enabling Grids for E-sciencE
•
Grid Application Support Centre @ SZTAKI – Alkalmazás gridesítési támogatás – Legjobb megoldások, minták, eszközök kiválasztása – Gridifikálás lépéseinek specifikálása – Személyes konzultáció – Magabiztos grid felhasználóvá válás!
www.lpds.sztaki.hu/gasuc
EGEE-II INFSO-RI-031688
•
International Joint EGEE – SEE-GRID Summer School on G id Application Grid A li ti Support S t – Budapest – Június 25-30 25 30 – EGEE technológiák megismerése – Résztvevők Ré t ők alkalmazásainak lk l á i k gridifikálása – Esettanulmányok, sikersztorik – Nemzetközi előadók
www.egee.hu/grid07 14