Enabling Grids for E-sciencE. Grid bevezető. INFSO-RI

Enabling Grids for E-sciencE

Grid bevezető

http://grid.kfki.hu/hungrid/ http://grid.ik.bme.hu/ http://web.eu-egi.eu/

www.eu-egee.org INFSO-RI-222667

Mi a grid? Enabling Grids for E-sciencE

●

●

●

Számítógépek, speciális eszközök, tárkapacitások, és szolgáltatások összessége, melyek dinamikusan részei a rendszernek Különböző tulajdonságúak minden aspektusban

Földrajzilag elosztott és nagy távolságú hálózatokkal (WAN) összekötött

Internet

• Igény szerint hozzáférhető a felhasználók egy csoportja által INFSO-RI-222667

2

Miért használjunk Gridet? Enabling Grids for E-sciencE

• A felhasználó egy komplex problémát szeretne megoldani ami sok erőforrást és szolgáltatást és igényel • • • •

Futási idő csökkentése Adatbázis hozzáférés Eszköz megosztás Együttműködés más felhasználókkal

INFSO-RI-222667

Internet

3

Tipikus alkalmazási területek Enabling Grids for E-sciencE

• Igény számítási kapacitásra • Nagy teljesítményű számítás (HPC) • Egy párhuzamos alkalmazás futási idejének csökkentése • Követelmény: párhuzamos futtatás

• Nagy átbocsájtó képességű számítás (HTC) • Minél több hasonló feladat futtatása egy adott idő alatt • Követelmény: szabad CPU ütemek kihasználása

• Igény nagy adatmennyiségű tárolóra • A fizikailag is elosztott adatbázisok elterjedése

• Igény együttműködésre • Több felhasználó tudásának integrálása

INFSO-RI-222667

4

Példa: LHC, CERN, Genf Enabling Grids for E-sciencE

Mont Blanc (4810 m)

ATLAS

Genf belvárosa

~10-15 PetaBytes /év ~108 esemény/év ~103 batch és interaktív felhasználó

CMS

LHCb INFSO-RI-222667

5

További példák Enabling Grids for E-sciencE

• Szilikon alapú gyógyszer kutatás – molekula illesztés szimuláció új gyógyszerek megtalálására • Geográfia, űrkutatás – űrfelvételek megosztása és feldolgozása • Régészet – digitális gyűjtemények, virtuális szimulációk • Időjárás előrejelzés – adat integráció, szimulációk, model kiválasztás, elemzés • Műszaki tudományok – statikai szimulációk, gépkocsi viselkedés szimuláció • ... INFSO-RI-222667

6

Felhasználói nézet Enabling Grids for E-sciencE

Mobile Hozzáférés

Munkaállomás

Megjelenítés

G R I D M I D D L E W A R E

Supercomputer, PC-Cluster

Adat tárolók, szenzorok, kísérletek

Internet, hálózatok INFSO-RI-222667

7

Megoldandó problémák Enabling Grids for E-sciencE

• Szabványos hozzáférés az erőforrásokhoz – – – – –

• • • • • •

Számítógépek Tárolási erőforrások Speciális eszközök Software Adat

Hozzáférési politika, biztonság Teljesítmény kiegyenlítés Erőforrás felügyelet Alkalmazás felügyelet Hiba kezelés ...

INFSO-RI-222667


… akkor hol vagyunk most? INFSO-RI-222667

Ha a „Grid Vízió” ide vezet

• • • • • • • • •

Utility computing Cloud computing E-Infrastructure Cycle scavenging … IBM Grid HP Grid Oracle Grid …

Általános Grid model Enabling Grids for E-sciencE

Erőforrás biztosítás Intézet 1

Intézet 2

Intézet 4

Internet

Intézet 3

Erőforrás igénylés INFSO-RI-222667

10

A Grid két résztvevője Enabling Grids for E-sciencE

• Erőforrás donorok= D • Erőforrás felhasználók = U • A kettő aránya meghatározza az alkalmazott Grid modelljét: • if U ~ D  Általános Grid modell • if U >> D  utility Grid modell • if U << D  desktop Grid modell

INFSO-RI-222667

11

Az általános modell túl komplikált Enabling Grids for E-sciencE

• • • •

Végtelen féle használati minta Különböző célú biztonsági megfon Valós idejű információs rendszer Komplex könyvelési és teljesítmény kiegyenlítő rendszer • Flexibilisen programozható architektúra • Az egyszerűsítésekből az alábbi két irányzat született – Utility grids – Desktop grids

INFSO-RI-222667

12


Utility Gridek


Utility Grid modell Enabling Grids for E-sciencE

Intézet 1

Erőforrás biztosítás statikus 7/24

Intézet 2

Donor és felhasználó

Donor és felhasználó

Internet Felhasználó N

Felhasználó 1

Dinamikus erőforrás igények INFSO-RI-222667

14

A Utility Gridek jellemzői Enabling Grids for E-sciencE

• A donorok profi erőforrás biztosítók (7/24 órás üzemmód)  Egyszerűsítés • Hasonló erőforrások Egyszerűsítés • Mindenki használhatja az erőforrásokat saját problémáinak megoldására • Aszimmetrikus kapcsolat a donorok és felhasználók között U >> D

INFSO-RI-222667

15

Utility Grid példa: EGEE Enabling Grids for E-sciencE

• • • • • •

> 260 sites 50 országban ~ 80 000 CPUs ~ 20 PB tárkapacitás 150k feladat/nap > 200 Virtuális Szervezet gLite middleware

INFSO-RI-222667

http://www.eu-egee.org/

Példa: Open Science Grid Enabling Grids for E-sciencE

http://www.opensciencegrid.org/

• 30 Virtuális Szervezet • 105 Erőforrás donor • 26 Támogató szervezet • Middleware: Virtual Data Toolkit (VDT): • A Grides eszközök egy gyűjteménye • Condor • Globus • VO Management Service INFSO-RI-222667

17

A Utility Gridek architektúrája Enabling Grids for E-sciencE

Alkalmazások Probléma megoldás

Grid Portálok

Könyvelés

Other...

Politika

OLE DCOM Hiba menedzsment

JAVA/JINI Monitorozás

CORBA

Együttes lefoglalás

Általános Grides szolgáltatások Köztes réteg szolgáltatások

CONDOR

Adat hozzáférés

MPI

Erőforrás Ütemezés

Alkalmazás támogatás

Együttműködés

Hitelesítés Hozzáférés

Eszköz Elemzés & menedzsment Vizualizáció

Információ szolgáltatás

Alkalmazás csoportok

Helyi erőforrások

Erőforrás menedzsment

CPU INFSO-RI-222667

TB-os Tárkapacitás

Erőforrás menedzsment

Online tár

Tudományos műszerek

Kommunikáció 18

Virtuális szervezetek és a Grid Enabling Grids for E-sciencE

• Grid: – Erőforrás, ami a köztesréteg egy verzióját futtatja – People who use them

• VO: – A siteok és felhasználók egy logikai csoportja – Biztonsági politika – Dinamikus? • Atlas VO  10 éve • WISDOM kihívás néhány hét

INFSO-RI-222667

Virtuális Szervezetek Grid

19

Virtuális szervezetek és a Grid Enabling Grids for E-sciencE

• Grid: – Erőforrás, ami a köztesréteg egy verzióját futtatja – People who use them

•

A Grid probléma lehetővé tenni Virtuális VO:„koordinált erőforrás megosztást – A siteok és felhasználók egy és probléma megoldást dinamikus Szervezetek logikai csoportja – Biztonsági politika több szervezeti egységből álló – Dinamikus? virtuális szervezetekben.” Grid • Atlas VO  10 éve • WISDOM kihívás néhány hét

”A Grid anatómiája” Ian Foster, Carl Kesselman, Steven Tuecke

INFSO-RI-222667

20

Szerviz orientált architektúra Enabling Grids for E-sciencE

Címtár Rendelkezésre álló szolgáltatás regisztrálása: név & leírás

Szolgáltatás igénybevevők

INFSO-RI-222667

Szolgáltatások

21


Címtár Erőforrás kérelem Benyújtása: leírás


INFSO-RI-222667

Szolgáltatások

22


Címtár Rendelkezésre álló Szolgáltatások listájának küldése


INFSO-RI-222667

Szolgáltatások

23


Címtár


INFSO-RI-222667

Szolgáltatás igénybevétele

Szolgáltatások

24


Címtár


INFSO-RI-222667

Eredmény vagy hibajelzés

Szolgáltatások

25


Szerver jellegű programok futnak az erőforrásokon • NagymértékűCímtár rendelkezésre állás elengedhetetlen • Szabványos protokollok támogatása • A biztonsági architektúra komplikált • Minden siteon professzionális gárda kell Szolgáltatások

INFSO-RI-222667

26


Desktop Gridek


Desktop Grid modell Enabling Grids for E-sciencE

Dinamikus erőforrás biztosítás Vállalati / Donor: Vállalat /

Egyetemi Szerver Alkalmazás

Egyetem / privát PC

Internet Donor: Vállalat /

Donor: Vállalat /



INFSO-RI-222667

Software disztribúció

28

A Desktop Grid modell jellemzői Enabling Grids for E-sciencE

• Akárki adhat hozzá erőforrást • Heterogén erőforrások, melyek dinamikusan be és kilépnek • Egy vagy kevés projekt használhatja az erőforrásokat Egyszerűsítés • Az erőforrások klienseket futtatnak: Hozzáértés csak szerver oldalon szükséges  Egyszerűsítés • Aszimmetrikus reláció a donorok és felhasználók között: U << D • Előny: • Egy PC hozzáadása eszméletlenül egyszerű • Installálni, karbantartani egy DG szervert sokkal egyszerűbb mint installálni egy SW egy utility Gridre.

INFSO-RI-222667

29

A Desktop Grid modell jellemzői Enabling Grids for E-sciencE

• Akárki adhat hozzá erőforrást • Heterogén erőforrások, melyek dinamikusan be és kilépnek • Egy vagy kevés projekt használhatja az erőforrásokat Egyszerűsítés • Az erőforrások klienseket futtatnak: Hozzáértés csak szerver oldalon szükséges  Egyszerűsítés • Aszimmetrikus reláció a donorok és felhasználók között: U << D • Előny: • Egy PC hozzáadása eszméletlenül egyszerű • Installálni, karbantartani egy DG szervert sokkal egyszerűbb mint installálni egy SW egy utility Gridre.

INFSO-RI-222667

Desktop Gridek típusai Enabling Grids for E-sciencE

• Global Desktop Grid • Célja hogy hatalmas erőforrásokat gyűjtsön össze tudományos kihívások megoldására

• Példa: • BOINC (SETI@home)

• Local Desktop Grid • Célja, hogy egyszerűen összegyűjthetővé tegye a közeli erőforrásokat (vállalat, egyetem, ….)

INFSO-RI-222667

31

SETI: a globális Desktop Grid Enabling Grids for E-sciencE

• SETI@home – 3.8M felhasználó 226 országban – 1200 CPU év/nap – 38 TF teljesítmény

– Nagymértékben heterogén: >77 különböző processor típus – Az infrastruktúra elkülönített az alkalmazástól: BIONC

INFSO-RI-222667

32

Konklúziók Enabling Grids for E-sciencE

• Az általános Grid modell jó, de nehezen implementálható • A gyakorlati megoldás az egyszerűsíts: • Utility grids • Desktop grids

• Mindkét fajtából létezik működőképes megvalósítás • EGEE, US OSG, NorduGrid, UK NGS • BOINC

• Innentől kezdve a Utility Grideken lesz a hangsúly • gLite köztes réteg és eszközök • Alkalmazás fejlesztés, futtatás, adminisztráció

INFSO-RI-222667

33

Kérdések Enabling Grids for E-sciencE

INFSO-RI-222667

34

Enabling Grids for E-sciencE. Grid bevezető. INFSO-RI

Recommend Documents