Bevezetés az európai p és magyar gy Grid rendszerekbe Sipos Gergely MTA SZTAKI Párhuzamos és elosztott rendszerek laboratórium
www.lpds.sztaki.hu
[email protected]
Mi az a Grid? ●
●
●
●
A Grid számítógépek, számítógépek tárolóegységek, speciális berendezések és szolgáltatások g együttese, amik dinamikusan csatlakozhatnak és hagyhatják el a Gridet Ezek az erőforrások heterogének Földrajzilag elosztottak és tipikusan Internettel vannak összekötve Igény szerint (on demand) érhetők el (on-demand)
Grid Internet
Miért használnak Gridet? ●
A felhasználónak olyan komplex problémát kell megoldani, ami sok szolgáltatás és erőforrás együttes alkalmazását igényli azért, azért hogy • Csökkentse a feldolgozási időt • Elérjen speciális készülékeket, adatokat, d t k t szoftvereket ft k t • Együttműködjön másokkal
I t Internet t
Tipikus Grid alkalmazási területek • Nagy számítási kapacitást igénylő alkalmazások • Nagy teljesítményű számítás
(High Performance Computing) • Egyetlen párhuzamos program végrehajtási idejét lerövidíteni
• Nagy áteresztőképességű számítás
(High Throughtput Computing) • Minél több hasonló méretű, egymástól független programot lefuttatni egységnyi idő alatt
• Nagy N adathalmazokkal d th l kk l dolgozó d l ó alkalmazások lk l á k • Akár több adatbázis, tudásbázis együttes bevonása
• Kollaboratív csoport munka • Több felhasználó együttes bevonásával összetett tudást igénylő problémák megoldása
Large Hidron Collider, CERN, Genf LHC Grid ATLAS
CMS
~ 40 millió részecskeütközés mp-enként 15 PetaByte adat / év ~103 analízist végző fizikus
LHCb
Példa: Rolls Royce repülőgép motorok 1Gb adat / repülő / út
●
●
Valós idejü adatletöltés a bázis repülőtérre Összehasonlítás korábbi adatokkal ●
●
Elemzés, analizálás ●
●
Keresés több repter adataiban Számítás S á tás elosztott e os tott architektúrán a c te tú á
Kiszolgáló személyzet felkészítése a gép érkezésére
Példa: Orvosi képfeldolgozás • • • •
~ 1 millió képp / ppaciens 1024 x 1024 felbontás / kép ~ 1 gByte / paciens 5 paciens / nap Push images in the workflow
... Image + metadata Adat katalógus Kép
Metaadatok
Eredmények ...
További példák • In silico gyógyszerkutatás – molekula szimulációk, alkalmatlan vegyületek ül t k kiszűrése ki ű é • Földtudományok, űrkutatás – szatellit és távcső képek megosztása, elemzése • Időjárás előrejelzés – adatbegyűjtés modellválasztás adatbegyűjtés, modellválasztás, szimulációk, összegzés • Mérnöki tudományok – épületek, kö l k dé i eszközök közlekedési kö ök szimulációja i lá iój • Archeologia – digitális archivumok é e o ása és megosztása, egos ása, létrehozása szimulációk futtatása
Miért célszerű erre Grid rendszert használni? • A Az ilyen il tipusú ti ú problémák blé ák többségére több é é 5-10 5 10 éve még szuperszámítógépeket használtak • Ma Grid rendszert használnak • Az okok: • A Grid képes egyesíteni és kihasználni az intézetek szabad számítógép g kapacitását mindenféle extra beruházás nélkül • Virtuálisan és igény szerint megnöveli minden csatlakozó intézmény gépparkjának kapacitását • Elosztott erőforrásokat integrál • Rugalmas hozzáférést tesz lehetővé
Grid vízió
Mobil hozzáférés
Munkaállomás
Megjelenítés
G R I D M I D D L E W A R E
PCk, klaszterek, szuperszámítógépek
Adat tárolók, szenzorok, berendezések
Hálózatok, Internet
Megoldandó problémák ●
Erőforrások egységes elérése ● ● ● ●
● ● ● ● ● ● ●
Számítógépek Tá ló kö ök Tárolóeszközök Speciális eszközök S ot ee Szoftverek
Hozzáférés szabályozás Terheléselosztás Erőforrások állapotának monitorozása Alkalmazások monitorozása Hibakezelés Alkalmazási metodika, programozási koncepció ...
Ha az általános grid vízió ez, ez akkor...
… hol vagyunk most?
Általános Grid modell Szabad kapacitás kiajánlása Intézet 1
Intézet 2
Intézet 4
Internet
Kapacitás igénylés
Intézet 3
A Grid két szereplője • Erőforrás felajánlók (donorok) = D • Erőforrás felhasználók = H • A kettő közötti viszony adja meg az alkalmazott Grid modell típusát: • Ha H ~ D • Ha H >> D • Ha H << D
Æ általános Grid modell Æ szolgáltatói Grid modell Æ desktop Grid modell
Általános Grid modell jellemzői • Bárki felajánlhat erőforrást • Heterogén erőforrások, amik dinamikusan jönnek, mennek • Bárki felhasználhatja a felajánlott erőforrásokat SAJÁT alkalmazásának megoldására • Szimmetrikus és egyenjogú kapcsolat az erőforrás őf á donorok d k és é h használók álók között: kö ött H~D
Szolgáltatói Grid modell Szabad kapacitás p kiajánlása j napi 24 órában (statikusan) Kutatóhely2
Kutatóhely1
Donor és Felhasználó Felhasználó 1
Internet
Kapacitásigénylés dinamikusan
Donor és Felhasználó Felhasználó N
Szolgáltatói Grid modell jellemzői • Csak “professzionális” szolgáltatók ajánlhatnak fel erőforrást • Homogén erőforrások j a felajánlott j • Bárki felhasználhatja erőforrásokat SAJÁT Á alkalmazásának megoldására • Asszimmetrikus és nem egyenjogú kapcsolat az erőforrás-donorok és h használók álók között: kö ött H >> D
Szolgáltatói Grid példa: EGEE EGEE gridben részt vevő ország
● ● ● ● ● ● ● ●
A világ á legnagyobb multi-disciplináris á gridje > 250 intézet 51 országból ~ 68 000 processzor p ~ 20 PB tárolókapacitás (20 millió GByte) 150.000 job/nap > 200 Virtuális Közösség ~ 1000 ember dolgozik rajta és vele gLite middleware fut az erőforrásokon
http://www.eu-egee.org/
Szolgáltatás Gridek egy eleme: klaszter • Számítási kapacitás • Adattároló Ad ttá ló kkapacitás itá • Hozzáférés szabályozás • Security S i services i • grid.ucy.ac.cy id • IBM eServer 326m Machines • 2.0GHz 2 0GHz dual AMD Opteron • 64-bit CPUs • 1GB RAM • 80 CPUs
Szolgáltatói Grid példa : NorduGrid Dynamic Grid
~ 33 sites, ~1400 1400 CPUS
Production Grid –
– –
Applications from f om various scientific disciplines Sites operate 24/7 Mostly unattended by administrators
Middleware: –
http://www.nordugrid.org/
Advanced Resource Connector (ARC)
H áfé é szolgáltatás Hozzáférés l ált tá Gridekhez G id kh
Szolgáltatás gridek és Virtuális organizációk (VO-k) • VO: erőforrások és f lh felhasználók álók csoportja • Logikai egység • Hozzáférési Ho áférési határ
Virtuális Organizáció Organiz áció Internet
Grid
Szolgáltatás grid hozzáférés ●
Grid tanusványy beszerzése egy gy elismert Tanusítványy Szolgáltatótól (CA) ●
●
Magyarországi CA: http://www.ca.niif.hu
Regisztráció egy Virtuális Organizációba ●
EGEE VO-k listája (~ 100): Central Operations portal http://cic.gridops.org/ ● ● ● ● ●
●
HunGrid VO: Magyarországi erőforrások VOCE: közép-európai erpforrások SEE-GRID VO: dél-kelet európai erőforrások Biomed VO: biológus ó felhasználók á ó számára á á fenntartott erőforrások ő á ...
Párhuzamos alkalmazások fejlesztése, és/vagy futtatása...
HunGrid – EGEE magyar VO-ja ● ●
● ● ●
Folyamatos működésű (napi 24 órában működik) Cél: az akadémiai intézetek kutatóinak folyamatos támogatása Az EGEE Grid magyar adaptációja, virtuális szervezete 2005 januárban lett felállítva 2005. Résztvevő telephelyek: ●
RMKI: 154 proc. proc
●
ELTE: 16 proc.
●
BME: 32 proc.
●
NIIF: 12 proc.
●
Összes proc. Kapacitás: 214 proc.
www.lcg.kfki.hu/index_eng.pl?hungrid&hungridgeneral
Desktop Gridek
Desktop Grid modell
Vállalati/ egyetemi szerver Megoldandó M ld dó feladat
Szabad kapacitás kiajánlása dinamikusan Vállalati/ egyetemi PC
Internet
Vállalati/ egyetemi PC
Vállalati/ egyetemii PC
Munkacsomagok kiosztása
Desktop Grid modell jellemzői • Bárki felajánlhat erőforrást g erőforrások,, amik • Heterogén dinamikusan jönnek, mennek gy vagy gy néhány y projekt p j • Egy használhatja fel a felajánlott erőforrásokat • Asszimmetrikus és nem egyenjogú kapcsolat az erőforrás donorok és h használók álók között: kö ött H << D
Desktop Grid fajtái • Globális Desktop Grid (DG) • Célja j nagy gy horderejű j tudományos y feladatokhoz donor PC-ket gyűjteni
• Lokális DG • Célja, hogy a DG koncepciót bármilyen közösség g (kut.intézet, ( , egyetemi gy tsz.,, kar,, vállalat, város, stb.) tudja használni
SETI: egy globális DG ●
SETI@home ● ●
● ●
●
1 projekt 3.8Millió önkéntes 226 országból 1200 CPU év/nap 38 TF fenntartható teljesítmény (Japanese Earth Simulator 32 TF) http://setiathome.berkeley.edu/
SZTAKI Desktop Grid •
Legfontosabb célja: • • • • •
●
Társadalmasítani a Grid rendszerek építését Demonstrálni és bizonyítani a DG koncepció működését Meggyőzni a kételkedőket a DG használhatóságáról Segíteni DG-ek léterhozását Segíteni a DG alkalmazások létrehozását és futtatását
Eszközök: ● ● ●
Egyszerű installálhatóság Egyszerűsített alkalmazás fejlesztési mód Magyar és angol nyelvű felületek
●
Gl báli és Globális é lokális l káli módon ód is i installálható i t llálh tó
●
http://www.desktopgrid.hu/ p // pg /
SZTAKI Desktop Grid globális mintarendszer
http://www.lpds.sztaki.hu/desktopgrid/
SZTAKI Desktop Grid globális mintarendszer
NIIF Supercomputer: OMSZ Supercomputer: TOP 500 entry performance: SZTAKI DG:
300 GFlops 900 GFlops 1645 GFlops ~1000 1000 GFlops
Hozzáférés Desktop Gridekhez
●
Donor regisztáció globális desktop gridhez: ●
●
Alkalmazás portolása már létező desktop gridre: ●
●
SZTAKI Desktop G Grid: id http://www.lpds.sztaki.hu/desktopgrid Application Support Centre: www lpds sztaki hu/gasuc www.lpds.sztaki.hu/gasuc
Saját desktop grid felállítása: ●
MTA SZTAKI LPDS: www.lpds.sztaki.hu
●
Egyetlen szerver is elég...
Párhuzamos feldolgozás a gridben
Nem az egyetlen, de messze a legfontosabb felhasználási mód...
Kihasználható párhuzamosság típusok a Gridben • Szolgáltatás Grid – Master Master-slave slave (paraméter vizsgálat) – Telephelyen belüli párhuzamosság – Workflow – Ezek kompinációi, pl • Telephelyen belüli paramétervizsgálat • Workflow paraméter vizsgálat
• Desktop Grid – Master Master-slave slave (paraméter vizsgálat)
Paraméter vizsgálat Mester/szolga párhuzamosság Szerver
Mester munkacsomag1 munkacsomag2 munkacsomag3 munkacsomagN
Internet
Telephelyen belüli párhuzamosság
Párhuzamos programozási ismeretet igényel!
I t Internet t
Workflow párhuzamosság
1 program 1.
I t Internet t 3. program
2. program
Kombinált párhuzamosság:
Telephelyen belüli és master-slave is egyben
I t Internet t
Kombinált párhuzamosság: Worlkflow parameter vizsgalat
I t Internet t
A Grid Computing három hulláma
A kutatási hullám Technológia, Prototípus Virtuális Organizációk
“Grid lehetőségek tudatosítása”
Az ipari p hullám Griden futó termékek Vállalati megoldások Együttműködési gy képesség p g “Könnyű elérés”
Itt tartunk
A vásárlói hullám Commodity IT közmű Integráció g Jogi, politikai szervezetek “Grid Service Provider”
Konkluzió • Általános Grid modell sokmindenre jó, jó de megvalósítani bonyolult • Kutatási fázis
• Gyakorlatban szolgáltatás gridek és Dekstop Gridek • Léteznek működő Grid infrastruktúrák hazánkban: • EGEE (HunGrid, VOCE, Biomed, ...)
• Worklow, párhuzamos és mester-szolga alkalmazásokhoz • Használd a mások által nyújtott erőforrásokat!
• SZTAKI Desktop Grid
• Mester-szolga alkalmazásokhoz • Regisztrálj mint erőforrás felajánló, vagy mint alkalmazás fejlesztő • Állíts fel saját gridet!
Köszönöm a ffigyelmet gy
?
További információ: www.lpds.sztaki.hu www lpds sztaki hu
