Enabling Grids for E-sciencE
HunGrid Grid technológiák hozzáférési lehetőségei az intézetben Kővári Kálmán Számítógép Hálózati Központ (SZHK) Részecske és Magfizikai Kutató Intézet, Budapest Simonyi-nap 2007. október 18. Budapest - Magyarország www.eu-egee.org EGEE-II
EGEE and gLite are registered trademarks
Áttekintés Enabling Grids for E-sciencE
•
A tavalyi előadáson a Grid működési elveit láttuk – Letölthetőek a http://grid.kfki.hu/fileok helyről
•
A felhasználóink száma azóta nőtt, egyre többen élnek a Grid nyújtotta lehetőségekkel – Viszont sokaknak kicsit “nehézkes” a szintaxis
•
A mai előadás célja, hogy áttekintést adjunk arról, hogy mit is tudunk nyújtani, és ezt hogyan lehet egyszerűen igénybe venni – HunGrid számára rendelkezésre álló erőforrások – A User Interface gépek – A P-Grade portál
EGEE-II
Kinek és miért lehet hasznos? Enabling Grids for E-sciencE
•
Nagy számítási kapacitás – Összesen 235 CPU, 36 Terabyte tárterület
•
Könnyen elérhető – Egyetlen megfelelő tanúsítvány begyűjtése után már csak egy böngésző szükséges
•
Dinamikus rendelkezésreállás
•
Az asztali PC-t kinövő feladatokra alkalmas – Akár egyetlen jobot is ki lehet küldeni, alkalmas beállítások és körülmények esetén perceken belül kiütemeződhet – A site-ok leggyengébb gépei is az elfogadható asztali PC minőségébe esnek (AMD 2000+ -től Intel 2.4 Quad-ig ) – Mostmár NEM kell napokat várni, hogy elinduljon egy job – Központilag ellenőrzik a site-ok rendeltetésszerű működését
EGEE-II
A HunGrid Enabling Grids for E-sciencE
• Sokáig eléggé el volt hanyagolva • Most újjászületőben: – – – – –
Új weboldal: http://grid.kfki.hu/hungrid Impresszív és stabil szolgáltatások Nagy tárterület Nem csak az RMKI tartja életben Könnyű hozzáférhetőség
• Erőforrások: – – – – – –
BME CPU: 32 ELTE CPU: 14 KFKI* CPU: 177 NIIF CPU: 12 SZTAKI ??? VEIN ???
Storage: 285 Storage: 13 Storage: 22 Storage: 550
Gigabyte Terabyte Terabyte Gigabyte
• A KFKI kapacitása csak részlegesen áll a HunGrid rendelkezésére EGEE-II
A HunGrid weboldal Enabling Grids for E-sciencE
EGEE-II
A Grid kényelmes használata Enabling Grids for E-sciencE
• Több felhasználónak gondja volt a parancssori hozzáférés szintaktikájával és követhetőségével • Születtek a követhetőségre megoldások, például Max Berger WMSX-programcsomagja, melyet az RMKI-ban elnyert Marie-Curie ösztöndíj alatt hozott létre. – Ez azoknak lehet nagy segítség, akik eddig is sokat használták a parancssori job-küldő mechanizmust
• A SZTAKI is fejlesztett egy egész más vonalon, a webinterface-ek vonalán, ennek eredménye a P-Grade portál – Ez viszont azoknak lehet kényelmes, akik egyszerű megoldásra vártak EGEE-II
A P-Grade portál Enabling Grids for E-sciencE
• Az LCG-Griddel kompatibilis portál a http://pgrade.inf.elte.hu webcímen érhető el • A SZTAKI által fejlesztett rendszert az ELTE és az RMKI közösen üzemelteti, és az RMKI infrastruktúrájára épül • A használatához szükséges: – egy X.509 digitális tanúsítvány (certificate), ezt nem lehet kikerülni a Grid rendszereknél. – HunGrid VO tagság, mely körülbelül két kattintással elintézhető – Regisztráció a portálhoz, mely egy e-mail-t jelent – Ezek mind részletesen dokumentálva vannak a HunGrid weblapon
EGEE-II
A P-Grade portál használata 1. Enabling Grids for E-sciencE
Egy Grid rendszer használatához mindenképpen szükségesek az alábbi lépések: • A digitális tanúsítvány “élesítése” valamilyen módon, és ezzel saját magunk azonosítása a rendszer felé • Kiválasztani, hogy hol szeretnénk futtatni a jobjainkat • Meghatározni a futtatandó job paramétereit, de legalább a nevét • Elindítani a jobot • Letölteni a kimenetet, ha befejezte a futást • Emiatt nem létezhet “egykattintásos” Grid :-( • Viszont ennél több nem is kell a használathoz! :-) EGEE-II
A P-Grade portál használata 2. Enabling Grids for E-sciencE
EGEE-II
A P-Grade portál használata 3. Enabling Grids for E-sciencE
• A “proxy” nem más, mint egy speciális tanúsítvány, amit az eredeti segítségével hozunk létre úgy, hogy annak csak rövid élettartama legyen, így ennek kompromittálódása sem jelent nagy biztonsági kockázatot. • A digitális tanúsítvány használatával egy “longterm” proxy jön létre a MyProxy szerveren, mely a munkamenet folyamán rendelkezésre áll • A MyProxy gondoskodik a tanúsítvány biztonságos tárolásáról, és a job számára proxy-meghosszabbítást is biztosít.
EGEE-II
A P-Grade portál használata 3. Enabling Grids for E-sciencE
EGEE-II
A P-Grade portál használata 4. Enabling Grids for E-sciencE
• A MyProxy szerveren beállítható, hogy mennyi ideig érvényes a “longterm” proxy, eddig adhat ki meghosszabbítási engedélyeket is a szolgáltatás • Nem célszerű ésszerűtlenül nagy számot választani, biztonsági szempontból
EGEE-II
A P-Grade portál használata 4. Enabling Grids for E-sciencE
EGEE-II
A P-Grade portál használata 5. Enabling Grids for E-sciencE
• A tanúsítványból képzett proxy-nak a web-portálon is jelen kell lennie, így azt oda is le kell töltenünk. • A letöltött proxyt fel kell hatalmaznunk bizonyos Gridek (jelen esetben a hungrid_LCG_2_BROKER) számára, mivel a portál több ilyet is támogat • Az eddigi lépéseket NEM kell állandóan ismételgetni, elég kb. hetente egyszer, amikor lejár az előző proxy.
EGEE-II
A P-Grade portál használata 5. Enabling Grids for E-sciencE
EGEE-II
A P-Grade portál használata 6. Enabling Grids for E-sciencE
EGEE-II
A P-Grade portál használata 7. Enabling Grids for E-sciencE
• Mivel a portál bonyolult job-láncok futtatását is lehetővé teszi (bár csak szigorúan szekvenciális hálókat lehet definiálni), egy külön WorkFlow Editor alkalmazásban kell beállítanunk a job paramétereit, és feltölteni a jobot. – FIGYELEM! Ezt az alkalmazást régebbi operációs rendszereken esetleg kézzel kell hozzárendelnünk a “javaws” binárishoz.
• Miután elindult a WorkFlow Editor alkalmazás (és néhány OK gombot megnyomott az ember), létre kell hozni az új jobot, nevet adni neki, megmondani, mi a futtatandó file, és melyik Grid-en akarjuk futtatni (hungrid_LCG_2_BROKER), majd mentjük. • Ezen felül számos paramétert beállíthatunk, akár manuálisan is szerkeszthetjük a JDL file-t, de erre nincs szükség egyszerű jobok esetén! EGEE-II
A P-Grade portál használata 7. Enabling Grids for E-sciencE
EGEE-II
A P-Grade portál használata 8. Enabling Grids for E-sciencE
EGEE-II
A P-Grade portál használata 9. Enabling Grids for E-sciencE
EGEE-II
A P-Grade portál használata 10. Enabling Grids for E-sciencE
• Az utolsó lépés a job beküldése, követése, és a végeredmények letöltése. • Esetleges hiba esetén rendelkezésünkre áll azonnal a log információ a hibáról, illetve egy kattintással újraküldhetjük a jobot.
EGEE-II
A P-Grade portál használata 11. Enabling Grids for E-sciencE
EGEE-II
A P-Grade portál használata 12. Enabling Grids for E-sciencE
EGEE-II
A P-Grade portál használata 13. Enabling Grids for E-sciencE
EGEE-II
Hasznos Linkek Enabling Grids for E-sciencE
• További információ a HunGrid oldalon: – http://grid.kfki.hu/hungrid
• Az RMKI Grid: – http://grid.kfki.hu –
[email protected]
• A NIIF CA, RMKI CA – http://www.niif.hu – http://pki.kfki.hu
• Az EGEE gLite projektje: – http://glite.web.cern.ch/glite – http://www.eu-egee.org – http://glite.web.cern.ch/glite/documentation
EGEE-II
Köszönetnyilvánítás Enabling Grids for E-sciencE
• Két embernek külön köszönetet szeretnék mondani eme prezentáció létrejöttének segítésében: • Kárász Edit (RMKI) • Seres Csaba (ELTE)
EGEE-II
The end Enabling Grids for E-sciencE
Köszönöm a figyelmet! (Kérdések?)
EGEE-II
