Bevezetés a Grid rendszerekbe Prof Kacsuk Péter MTA SZTAKI
Párhuzamos és elosztott rendszerek laboratórium
www.lpds.sztaki.hu
[email protected]
Tartalom
● ● ●
Mi a grid, miért és mire használják? Ált lá Általános grid id architektúra hit ktú Szolgáltatás Gridek ●
●
Desktop p Gridek ●
● ●
Hozzáférés szolgálatás gridhez Hozzáférés desktop gridhez
A tanfolyam célja Konklúziók
Mi az a Grid? ●
●
●
●
A Grid számítógépek, számítógépek tárolóegységek, speciális berendezések és szolgáltatások g együttese, amik dinamikusan csatlakozhatnak és hagyhatják el a Gridet Ezek az erőforrások heterogének Földrajzilag elosztottak és tipikusan Internettel vannak összekötve Igény szerint (ondemand) érhetők el
Internet
Miért használnak Gridet? ●
A felhasználónak olyan komplex problémát kell megoldani, ami sok szolgáltatás és erőforrás együttes alkalmazását igényli azért, azért hogy • Csökkentse a feldolgozási időt • Elérjen nagy adatbázisokat és speciális iáli készülékeket ké ülék k t • Együttműködjön másokkal
I t Internet t
Tipikus Grid alkalmazási területek • Nagy számítási kapacitást igénylő alkalmazások • Nagy teljesítményű számítás
(High Performance Computing) • Egyetlen párhuzamos program végrehajtásának idejét lerövidíteni
• Nagy áteresztőképességű számítások
(High Throughtput Computing) • Minél több hasonló méretű, egymástól független jobot lefuttatni egységnyi idő alatt
• Nagy N adatmennyiségekel d t i é k l dolgozó d l ó alkalmazások lk l á k • Általában több adatbázis, tudásbázis együttes bevonásával
• Kollaboratív munka • Több felhasználó együttes bevonásával összetett tudást igénylő problémák megoldása
Példa: Large Hidron Collider Collider, CERN, CERN Genf ATLAS
CMS
~10-15 PetaBytes /year ~108 events/year ~103 batch and interactive users
LHCb
Példa: Rolls Royce repülőgép motorok 1Gb data per engine per flight
●
●
Real-time R l ti adatletöltés d tl tölté a bázis bá i repülőtérre Historikus összehasonlítás ●
●
Elemzés, analizálás ●
●
Adatintegráció á ó repterek között Számítás elosztott architektúrán
Kiszolgáló személyzet felkészítése
Példa: Orvosi képfeldolgozás • • • •
~ 1 millió képp / ppaciens 1024 x 1024 felbontás / kép ~ 1 gByte / paciens 5 paciens / nap Push images in the workflow
... Image + metadata Metadata Server LFN Other medical metadata
További példák • In silico gyógyszerkutatás – molekula szimulációk, alkalmatlan vegyületek ül t k kiszűrése ki ű é • Földtudományok, űrkutatás – szatellit és távcső képek megosztása, elemzése • Archeologia – digitális archivumok létrehozása és megosztása megosztása, szimulációk futtatása • Időjárás előrejelzés – adatbegyűjtés, d tb űjté modellválasztás, d ll ál tá szimulációk, összegzés é ö tudományok udo á yo – épü épületek, ee , • Mérnöki közlekedési eszközök szimulációja
Miért célszerű erre Grid rendszert használni? • A Az ilyen il tipusú ti ú problémákra blé ák 5-10 5 10 éve é még é szuperszámítógépeket használtak • Ma nagy részükre Grid rendszert használnak • Az okok: • A Grid képes egyesíteni és kihasználni az intézetek szabad számítógép g kapacitását mindenféle extra beruházás nélkül • Virtuálisan és igény szerint megnöveli minden csatlakozó intézmény gépparkjának kapacitását • Elosztott erőforrásokat integrál • Rugalmas hozzáférést tesz lehetővé
Grid vízió
Mobile Access G R I D
Workstation
Visualising
M I D D L E W A R E
Supercomputer, PC-Cluster
Data-storage, Sensors, Experiments
Internet, networks
Megoldandó problémák ●
Erőforrások standard elérése ● ● ● ●
● ● ● ● ● ● ●
Számítógépek Tá ló kö ök Tárolóeszközök Speciális eszközök S ot ee Szoftverek
Hozzáférés szabályozás (biztonságtechnika) Terheléselosztás Erőforrások állapotának monitorozása Alkalmazások monitorozása Hibakezelés Alkalmazási metodika, programozási koncepció ...
Általános Grid modell Szabad kapacitás kiajánlása Int1
Int2
Int4
Internet
Kapacitás igénylés
Int3
A Grid két szereplője • Erőforrás felajánlók (donorok) = D • Erőforrás felhasználók = H • A kettő közötti viszony adja meg az alkalmazott Grid modell típusát: • Ha H ~ D • Ha H >> D • Ha H << D
=> általános Grid modell => > szolgáltatói Grid modell => desktop Grid modell
Általános Grid modell jellemzői • Bárki felajánlhat erőforrást • Heterogén erőforrások, amik dinamikusan jönnek, mennek • Bárki felhasználhatja a felajánlott erőforrásokat SAJÁT alkalmazásának megoldására • Szimmetrikus és egyenjogú kapcsolat az erőforrás őf á donorok d k és é h használók álók között: kö ött H~D
Az általános grid modell bonyolult...
●
Számtalan felhasználási lehetőség Bonyolult y biztonsági g megoldások g Fejlett erőforrás információs rendszer Fejlett brókerezési rendszer Bonyolult installálni és karbantartani
●
Nagyon megbízhatatlan
●
Gyakorlatban két irányba egyszerűsödött:
● ● ● ●
● ●
Szolgáltatás Gridek Dekstop Gridek
Szolgáltatás Gridek
Szolgáltatói Grid modell példa: Enabling Grids for E E-sciencE sciencE (EGEE) Szabad kapacitás kiajánlása napi 24 órában (statikusan) Kutatóhely1
Donor és Felhasználó Felhasználó 1
Internet
Kapacitás igénylés dinamikusan
Kutatóhely2
Donor és Felhasználó Felhasználó N
Szolgáltatói Grid modell jellemzői • Csak “professzionális” szolgáltatók ajánlhatnak fel erőforrást • Homogén erőforrások – egyszerűbb karbantarthatóság, alkalmazás fejlesztés • Bárki á k felhasználhatja f lh álh a felajánlott f l á l erőforrásokat őf á k SAJÁT alkalmazásának megoldására • Asszimmetrikus A i t ik és é nem egyenjogú j ú kapcsolat k l t az erőforrás donorok és használók között: H >> D
Generic Grid Architecture Applications
Grid Fabric - local resources
Problem Solving Grid Portals Environments
Resource Management CPUs
Tertiary St Storage
Online St Storage
Acccounting
Other...
Policy P
OLE DCOM F Fault Mannagement
Moonitoring
JAVA/JINI Authentication Authhorisation
CORBA Reesource Co-A Allocation
CONDOR
Dataa Access Caaching
Grid Common Services: Middleware services
MPI
Reesource Sceeduling
Application Support
Instrument Analysis & Collaboratories Management Visualisation
Infoormation Seervices
Application Environments
Resource Management Scientific I t Instruments t
Communications
Szolgáltatói Grid példa: EGEE Country participating in EGEE
●
> 200 sites in 40 countries
●
~ 36 000 CPUs
●
~ 5 PB storage
●
98k jobs/day
●
> 200 Virtual Organizations g
●
⇨The world’s largest multi-disciplinary Grid
●
gLite middleware
http://www.eu-egee.org/
Szolgáltatói Grid példa: Open Science Grid 30 Virtual Organizations 105 Resources 26 Support Agencies Middleware: – Virtual Data Toolkit (VDT): collection of grid tools – – –
http://www.opensciencegrid.org/
Condor Globus VO Management Service
Szolgáltatói Grid példa : NorduGrid Dynamic Grid
~ 33 sites, ~1400 1400 CPUS
Production Grid –
– –
Applications from f om various scientific disciplines Sites operate 24/7 Mostly unattended by administrators
Middleware: –
http://www.nordugrid.org/
Advanced Resource Connector (ARC)
HunGrid – EGEE magyar VO-ja ● ●
● ● ●
Folyamatos l működésű űk dé ű (napi ( 24 órában ó áb működik) űk d k) Cél: az akadémiai intézetek kutatóinak folyamatos támogatása Az EGEE Grid magyar adaptációja, virtuális szervezete 2005 januárban lett felállítva 2005. Résztvevő telephelyek: ● ● ● ● ●
RMKI: 200 proc. ELTE: 64 proc. BME: 32 proc. NIIF: 12 proc. Összes proc. kapacitás: 308 proc.
www.lcg.kfki.hu/index_eng.pl?hungrid&hungridgeneral
Limitált szolgálatás grid változat: Magyar KlaszterGrid
Egyetem1
Szabad kapacitás kiajánlása Egyetem4 éjszaka
Egyetem2
http://www.clustergrid.iif.hu/
Internet
Kapacitás igénylés éjszaka
Egyetem3
ClusterGrid ●
Szakaszos működésű: A nappal oktatásban használt PC laborokat köti Gridbe ● ●
● ● ● ●
éjszakánként hétvégeken g
~1400 PC 26 egyetemen ill. főiskolán A grid teljesítmény ~0.5 ~0 5 Tflop 70 tudományos projekt 2003 július óta üzemel és folyamatosan nő a kapacitása
Szolgáltatás Grid hozzáférés
Szolgáltatás gridek és Virtuális organizációk • VO: erőforrások és f lh felhasználók álók csoportja • Logikai egység • Hozzáférési Ho áférési határ
Virtuális szervezet Grid
Szolgáltatás grid hozzáférés ●
Grid tanusítvány beszerzése egy elismert Tanusítvány Szolgáltatótól (CA) ●
●
Regisztráció g egy gy Virtuális Organizációba g ●
●
●
M Magyarországi á i CA: CA NIIF http://www.ca.niif.hu/ htt // iif h / EGEE VO-k listája: Central Operations portal: http://cic.gridops.org/ HunGrid VO: www lcg kfki hu/index eng pl?hungrid&hungridg www.lcg.kfki.hu/index_eng.pl?hungrid&hungridg eneral
Grid használat parancssorból vagy P P-GRADE GRADE portálból
P-GRADE Portál röviden Fájl tároló szolgáltatások S ámítási Számítási erőforrások HTTP
Tanusítvány alapú azonosítás
www.portal.p-grade.hu
Fájl replika és katalógus szolgáltatások g P-GRADE Portal
Információs rendszer
Erőforrás bróker
A P-GRADE Portal szolgáltatásai WORKFLOW CERTIFICATE PERFORMANCE EXECUTION Æ Æ Æ DESIGN MANAGEMENT ANALYSIS ON GRID(S)
Egy P-GRADE Portál alkalmazás ●
Irányított aciklikus gráf, áf amelyben l b ●
●
●
●
Csomópontok: végrehajtható programok Portok: input/output fájlok melyeket a programok olvasnak vagy írnak É Élek: programok közötti adatfüggőségek
Workflow szemantikája: ●
●
Egy csomópontban lévő program akkor indítható ha minden input fájlja rendelkezésre áll A portál szerverbe épített workflow menedzser felelőssége
Programok párhuzamosítása Egyidőben több példánya fut
– Párhuzamos futás egy szolgáltatás grid csomóponton belül (MPI) – Párhuzamos futás a workflow g gráfon belül – A workflow futtatása több példányban paraméter vizsgálatként
Egyidőben több programja fut
Egyidőben több processze fut
Desktop Gridek
Desktop Grid modell
Vállalati/ egyetemi szerver Megoldandó M ld dó feladat
Szabad kapacitás kiajánlása dinamikusan Vállalati/ egyetemi PC
Internet
Vállalati/ egyetemi PC
Vállalati/ egyetemii PC
Munkacsomagok kiosztása
Desktop Grid modell jellemzői • Bárki felajánlhat erőforrást g erőforrások,, amik • Heterogén dinamikusan jönnek, mennek gy vagy gy néhány y projekt p j • Egy használhatja fel a felajánlott erőforrásokat • Asszimmetrikus és nem egyenjogú kapcsolat az erőforrás donorok és h használók álók között: kö ött H << D
Desktop Grid fajtái • Globális Desktop Grid (DG) • Célja j nagy gy horderejű j tudományos y feladatokhoz donor PC-ket gyűjteni
• Lokális DG • Célja, hogy a DG koncepciót bármilyen közösség g (kut.intézet, ( , egyetemi gy tsz.,, kar,, vállalat, város, stb.) tudja használni
SETI: egy globális DG ●
SETI@home ●
1 grid 1 alkalmazáshoz
●
3.8M önkéntes 226 országból
●
1200 CPU év/nap
●
●
38 TF fenntartható j y ~ 28. a TOP500 teljesítmény listán (Japanese Earth Simulator 30. ugyanitt)) Alapját adó BOINC i f t ktú már infrastruktúra á külö külön is i elérhető
SZTAKI Desktop Grid ●
BOINC DG technológián alapuló rendszer ● ●
Megkönnyíteni DG alkalmazások létrehozását és futtatását Megkönnyíteni DG infrastruktúra installálását és üzemeltetését
●
L káli és Lokális é globális l báli csomag is i elérhető lé h tő
●
Globális minta installáció: ●
2005. júniusban lett felállítva a SZTAKI-ban:
http://www.lpds.sztaki.hu/desktopgrid/ p // p / pg / ●
Megoldandó feladat: általánosított bináris számrendszerek keresése (ELTE Matematikai Tanszék) Több mint 22000 beregisztrált g résztvevő ● ~ 30000 számítógép ● 700-800 GFlop teljesítmény Demonstrálni és bizonyítani a DG koncepció működését Meggyőzni a kételkedőket a DG használhatóságáról ●
• •
• Bárki beszállhat mint erőforrás felajánló
SZTAKI Desktop Grid globális verzió
SZTAKI Desktop Grid globális mintarendszer
SZTAKI DG mintainstalláció: 750 GFlops NIIF S Supercomputer: p p NIIF ClusterGrid: OMSZ Supercomputer:
300 GFlops p 500 GFlops 900 GFlops
TOP 500 entry performance:
5929 GFlops
SZTAKI DG használatának fokozatai 1. Bárki kipróbálhatja a DG koncepció működését PCjét beregisztrálva a mintarendszerbe 2. Bárki hozhat alkalmazást, amit szeretne az SZDGre feltelepíteni. Ekkor segítünk az alkalmazás SZDG adaptálásában és elvégezzük a telepítést 3. Bármely szervezet felállíthatja saját DG rendszerét az SZDG mintájára: • • •
Egyetlen PC szervert kell beruháznia Mi vállaljuk, j , hogy gy egyetlen gy nap p alatt felállítjuk j a DG-t Segítünk a szervezet alkalmazásait adaptálni és telepíteni a saját DG-re
Két alapvető Grid irányzat Grid Technológia
Alkalmazás fejlesztés
Tipikus alkalmazás
Desktop Grid
Utility Grid ( G , (EGEE, HunGrid)
DC API
P-GRADE portal
Mester-szolga
Ált.párhuzam. (Workflow)
Kihasználható párhuzamosság típusok a Gridben • Szolgáltatás Grid – Master-slave (paraméter vizsgálat) – Telephelyen p y belüli párhuzamosság – Telephelyek közötti párhuzamosság – Workflow – Ezek kompinációi kompinációi, pl • Telephelyen belüli paraméter vizsgálat • Workflow paraméter vizsgálat
• Desktop Grid – Master-slave (paraméter vizsgálat)
Paraméter vizsgálat v. Mester/szolga párhuzamosság Mester munkacsomag1 munkacsomag2 munkacsomag3 munkacsomagN
Internet
Telephelyen belüli párhuzamosság
I t Internet t
Telephelyek közötti párhuzamosság
I t Internet t
Workflow párhuzamosság
I t Internet t
Kombinált párhuzamosság:
Telephelyen belüli és paraméter vizsgálat
I t Internet t
Kombinált párhuzamosság: Worlkflow parameter vizsgalat
I t Internet t
A Grid Computing három hulláma
A kutatási hullám
Az ipari p hullám
Griden futó termékek Vállalati megoldások Együttműködési képesség GGF, EGA, IETF, OASIS
Technológia, Prototípus Virtuális Organizációk Standardok GGF, IETF, OASIS “Grid lehetőségek tudatosítása”
A vásárlói hullám
“Könnyű elérés”
Itt tartunk
Comm
Jogi, polit “Grid Service Provider”
A tanfolyam célja
●
●
Bemutatni azokat a grid infrastruktúrákat, amiket a magyar kutatók elérhetnek Megmutatni, hogy ezeket hogyan kell h használni: ál i ● ● ●
●
Grid tanusítványok beszerzése Alkalmazások fejlesztés a gridre Futtatás a gridben
Mind elvi, mind gyakorlati képzés lesz
Mit tegyünk a tanfolyam után
●
●
Ha tényleg akarjuk használni a gridet, akkor forduljunk a SZTAKI GASuC szolgáltatásához GASuC (Grid Application Support Centre): ● ●
●
Segit az alkalmazás gridesítésében Segít a kezdeti nehézségeket áthídalni az új grid f lh felhasználók álók számára á á
http://www.lpds.sztaki.hu/gasuc/
Konkluzió •
Általános Grid modell jjó,, de megvalósítani g bonyolult y • Kutatási témák TDK, diplomamunka, PhD téma • Témavezetést vállalunk minden szinten
•
Gyakorlatban Szolgáltatás Gridek és Desktop Gridek
•
Léteznek működő Grid infrastruktúrák hazánkban: • • •
•
ClusterGrid: HunGrid: SZTAKI DG:
PVM programok számára workflow és paraméter vizsgálat Mester-szolga alkalmazásokra
Elérhetők európai grid infrastruktúrák is: •
SEEGRID, VOCE, GILDA
•
Mindezek a P-GRADE portál interfészen keresztül transzparensen használhatók
• •
Bárki regisztrálhat, mint erőforrás felajánló, vagy mint alkalmazó Bármely magyar kutató ingyenesen igénybe veheti a GASuC szolgáltatást
Köszönöm a ffigyelmet gy
?
További információ: www.lpds.sztaki.hu www lpds sztaki hu
