Példa: LHC, CERN, Genf Enabling Grids for E-sciencE

Mi a grid? Enabling Grids for E-sciencE

Enabling Grids for E-sciencE ●

Grid bevezető ●

Németh Dénes ●

BME Informatikai Központ grid.ik.bme.hu [email protected]

Számítógépek, speciális eszközök, tárkapacitások, és szolgáltatások összessége, melyek dinamikusan részei a rendszernek Különböző tulajdonságúak minden aspektusban Földrajzilag elosztott és nagy távolságú hálózatokkal (WAN) összekötött

• Igény szerint hozzáférhető a felhasználók egy csoportja által

www.eu-egee.org EGEE-II INFSO-RI-031688

EGEE-II INFSO-RI-031688

Miért használjunk Gridet?

2

Tipikus alkalmazási területek

Enabling Grids for E-sciencE


• Igény számítási kapacitásra

• A felhasználó egy komplex problémát szeretne megoldani ami sok erőforrást és szolgáltatást és igényel • • • •

• Nagy teljesítményű számítás (HPC) • Egy párhuzamos alkalmazás futási idejének csökkentése • Követelmény: párhuzamos futtatás

• Nagy átbocsájtó képességű számítás (HTC) • Minél több hasonló feladat futtatása egy adott idő alatt • Követelmény: szabad CPU ütemek kihasználása

Internet

Futási idő csökkentése Adatbázis hozzáférés Eszköz megosztás Együttműködés más felhasználókkal

• Igény nagy adatmennyiségű tárolóra • A fizikailag is elosztott adatbázisok elterjedése

• Igény együttműködésre • Több felhasználó tudásának integrálása


3


4

Példa: LHC, CERN, Genf

További példák


Mont Blanc (4810 m)


• Szilikon alapú gyógyszer kutatás – molekula illesztés szimuláció új gyógyszerek megtalálására • Geográfia, űrkutatás – űrfelvételek megosztása és feldolgozása • Régészet – digitális gyűjtemények, virtuális szimulációk • Időjárás előrejelzés – adat integráció, szimulációk, model kiválasztás, elemzés • Műszaki tudományok – statikai szimulációk, gépkocsi viselkedés szimuláció • ...

ATLAS

Genf belvárosa

~10-15 PetaBytes /év ~108 esemény/év ~103 batch és interaktív felhasználó

CMS

LHCb EGEE-II INFSO-RI-031688

Internet

5


6

Felhasználói nézet

Megoldandó problémák



• Szabványos hozzáférés az erőforrásokhoz G R I D

Mobile Hozzáférés

M I D D L E W A R E

Munkaállomás

Megjelenítés

– – – – –

Supercomputer, PC-Cluster

• • • • • •

Adat tárolók, szenzorok, kísérletek

Számítógépek Tárolási erőforrások Speciális eszközök Software Adat

Hozzáférési politika, biztonság Teljesítmény kiegyenlítés Erőforrás felügyelet Alkalmazás felügyelet Hiba kezelés ...

Internet, hálózatok 7




Általános Grid model

Ha a „Grid Vízió” ide vezet


Erőforrás biztosítás Intézet 1

• • • • • • • • •

… akkor hol vagyunk most?

Utility computing Cloud computing E-Infrastructure Cycle scavenging … IBM Grid HP Grid Oracle Grid …


Intézet 4

Internet

Intézet 2

Intézet 3

Erőforrás igénylés EGEE-II INFSO-RI-031688

A Grid két résztvevője

10

Az általános modell túl komplikált



• • • •

Végtelen féle használati minta Különböző célú biztonsági megfon Valós idejű információs rendszer Komplex könyvelési és teljesítmény kiegyenlítő rendszer • Flexibilisen programozható architektúra

• Erőforrás donorok= D • Erőforrás felhasználók = U • A kettő aránya meghatározza az alkalmazott Grid modelljét: • if U ~ D Æ Általános Grid modell • if U >> D Æ utility Grid modell • if U << D Æ desktop Grid modell

• Az egyszerűsítésekből az alábbi két irányzat született – Utility grids – Desktop grids


11


12

Utility Grid modell Enabling Grids for E-sciencE


Erőforrás biztosítás statikus 7/24

Intézet 1

Utility Gridek

Intézet 2

Donor és felhasználó

Donor és felhasználó

Internet Felhasználó N

Felhasználó 1

Dinamikus erőforrás igények

www.eu-egee.org EGEE-II INFSO-RI-031688


14

Utility Grid példa: EGEE

A Utility Gridek jellemzői Enabling Grids for E-sciencE


• A donorok profi erőforrás biztosítók (7/24 órás üzemmód) Æ Egyszerűsítés • Hasonló erőforrásokÆ Egyszerűsítés • Mindenki használhatja az erőforrásokat saját problémáinak megoldására • Aszimmetrikus kapcsolat a donorok és felhasználók között U >> D • • • • • • EGEE-II INFSO-RI-031688

15

> 260 sites 50 országban ~ 80 000 CPUs ~ 20 PB tárkapacitás 150k feladat/nap > 200 Virtuális Szervezet gLite middleware http://www.eu-egee.org/


Példa: Open Science Grid

A Utility Gridek architektúrája



http://www.opensciencegrid.org/

Alkalmazások


TB-os TB-osTárTárkapacitás kapacitás

Grid Portálok

Other...

Könyvelés

Hiba menedzsment

OLE DCOM

Politika

Probléma megoldás

JAVA/JINI

Hitelesítés Hozzáférés

Együttes lefoglalás

CORBA

Erőforrás menedzsment

CPU CPU 17

Adat hozzáférés

Általános Grides szolgáltatások Köztes réteg szolgáltatások

CONDOR

Erőforrás Ütemezés

MPI

Helyi erőforrások

• Middleware: Virtual Data Toolkit (VDT): • A Grides eszközök egy gyűjteménye • Condor • Globus • VO Management Service EGEE-II INFSO-RI-031688

Alkalmazás támogatás

Információ szolgáltatás

• 30 Virtuális Szervezet • 105 Erőforrás donor • 26 Támogató szervezet

Eszköz Elemzés & Együttmenedzsment Vizualizáció működés

Monitorozás

Alkalmazás csoportok

Erőforrás menedzsment Online Online tár tár

Tudományos Tudományos műszerek műszerek

Kommunikáció Kommunikáció 18

Virtuális szervezetek és a Grid

Virtuális szervezetek és a Grid



• Grid:

• Grid:

– Erőforrás, ami a köztesréteg egy verzióját futtatja – People who use them

• VO: – A siteok és felhasználók egy logikai csoportja – Biztonsági politika – Dinamikus? • Atlas VO Æ 10 éve • WISDOM kihívásÆ néhány hét

– Erőforrás, ami a köztesréteg egy verzióját futtatja – People who use them

Virtuális Szervezetek

A Grid probléma lehetővé tenni Virtu ális megosztást erőforrás A siteok és felhasználók egy és probléma megoldást dinamikus Szervezetek logikai csoportja Biztonsági politika több szervezeti egységből álló Dinamikus? virtuális szervezetekben.” Grid • Atlas VO Æ 10 éve

• VO:„koordinált – – –

Grid

• WISDOM kihívásÆ néhány hét

”A Grid anatómiája” Ian Foster, Carl Kesselman, Steven Tuecke


19


20

Szerviz orientált architektúra




Címtár

Címtár Rendelkezésre álló szolgáltatás regisztrálása: név & leírás

Szolgáltatás igénybevevők


Szolgáltatások


Erőforrás kérelem Benyújtása: leírás

21

Szolgáltatások


22





Címtár

Címtár

Rendelkezésre álló Szolgáltatások listájának küldése




Szolgáltatások

23


Szolgáltatás igénybevétele

Szolgáltatások

24





Szerver jellegű programok futnak az erőforrásokon • NagymértékűCímtár rendelkezésre állás elengedhetetlen • Szabványos protokollok támogatása • A biztonsági architektúra komplikált • Minden siteon professzionális gárda kell

Címtár


Szolgáltatások

Szolgáltatások

Eredmény vagy hibajelzés


25


26

Desktop Grid modell Enabling Grids for E-sciencE


Dinamikus erőforrás biztosítás Vállalati / Donor: Vállalat /

Egyetemi

Desktop Gridek

Szerver Alkalmazás

Internet

Donor: Vállalat /

Donor: Vállalat / Egyetem / privát PC www.eu-egee.org EGEE-II INFSO-RI-031688

Software disztribúció

Egyetem / privát PC


28

A Desktop Grid modell jellemzői

A Desktop Grid modell jellemzői Enabling Grids for E-sciencE


• Akárki adhat hozzá erőforrást • Heterogén erőforrások, melyek dinamikusan be és kilépnek • Egy vagy kevés projekt használhatja az erőforrásokatÆ Egyszerűsítés • Az erőforrások klienseket futtatnak: Hozzáértés csak szerver oldalon szükséges Æ Egyszerűsítés • Aszimmetrikus reláció a donorok és felhasználók között: U << D • Előny:

• Akárki adhat hozzá erőforrást • Heterogén erőforrások, melyek dinamikusan be és kilépnek • Egy vagy kevés projekt használhatja az erőforrásokatÆ Egyszerűsítés • Az erőforrások klienseket futtatnak: Hozzáértés csak szerver oldalon szükséges Æ Egyszerűsítés • Aszimmetrikus reláció a donorok és felhasználók között: U << D • Előny:

• Egy PC hozzáadása eszméletlenül egyszerű • Installálni, karbantartani egy DG szervert sokkal egyszerűbb mint installálni egy SW egy utility Gridre.


Egyetem / privát PC

• Egy PC hozzáadása eszméletlenül egyszerű • Installálni, karbantartani egy DG szervert sokkal egyszerűbb mint installálni egy SW egy utility Gridre.

29


Desktop Gridek típusai

SETI: a globális Desktop Grid



• Global Desktop Grid

• SETI@home

• Célja hogy hatalmas erőforrásokat gyűjtsön össze tudományos kihívások megoldására

– 3.8M felhasználó 226 országban

• Példa:

– 1200 CPU év/nap

• BOINC (SETI@home)

– 38 TF teljesítmény

• Local Desktop Grid

– Nagymértékben heterogén: >77 különböző processor típus

• Célja, hogy egyszerűen összegyűjthetővé tegye a közeli erőforrásokat (vállalat, egyetem, ….)

– Az infrastruktúra elkülönített az alkalmazástól: BIONC


31


32

Konklúziók

Kérdések



• Az általános Grid modell jó, de nehezen implementálható • A gyakorlati megoldás az egyszerűsíts: • Utility grids • Desktop grids

• Mindkét fajtából létezik működőképes megvalósítás • EGEE, US OSG, NorduGrid, UK NGS • BOINC

• Innentől kezdve a Utility Grideken lesz a hangsúly • gLite köztes réteg és eszközök • Alkalmazás fejlesztés, futtatás, adminisztráció


33


34

Példa: LHC, CERN, Genf Enabling Grids for E-sciencE

Recommend Documents