Worldwide LHC Computing Grid

Enabling Grids for E-sciencE

Worldwide LHC Computing Grid Új modell a tudományos informatikában Hernáth Szabolcs [email protected] MTA KFKI RMKI

www.eu-egee.org EGEE-III INFSO-RI-222667

Tartalomjegyzék Enabling Grids for E-sciencE

• 1. Miért Grid? – LHC adattárolás és -feldolgozás – Computing és data gridek

• 2. Rajzoljuk le a gridet! – WLCG datagrid hierarchia – WLCG computing grid szolgáltatások

• 3. Magyarország az európai gridben – WLCG és EGEE – Magyarország az EGEE-ben: RMKI, Hungrid

• 4. A grid jövője – EGI / NGI, desktopgrid, cloud…

• 5. Demo, kérdések

EGEE-III INFSO-RI-222667


1. Miért grid? Az LHC informatikai kihívásai


3

LHC Enabling Grids for E-sciencE


4

1/a LHC adatok Enabling Grids for E-sciencE

• LHC adatrögzítés – – – –

4 kísérlet függetlenül 2 GB/sec folyamatos ráta (növekvő!) 15 PB/év detektor → trigger → online farm → …

• LHC adattárolás – – – – –

Földrajzilag elosztott Redundáns, hierarchikus felépítés Hosszútávú (szalagos tárolás is) Multiplatform (többféle architetktúra) Szabályozott, biztonságos hozzáférés


5

1/b LHC analízis Enabling Grids for E-sciencE

• LHC adatfeldolgozás – – – – – –

Sokszori újraszámolás Sokszori újracsoportosítás Metaadat-kezelés Hatalmas számítási kapacitás Nagyon nagy számú konkurens feladat Szofisztikált, robosztus koordináció


6

1/c Adat és számítási grid Enabling Grids for E-sciencE

• GRID: elosztott erőforrások megosztására épülő kapacitásbővítés – Adat és számítási gridek – Data grid: heterogén, elosztott adatkezelési erőforrásokból álló infrastruktúra – Computing grid: heterogén, elosztott számítási erőforrásokból álló infrastruktúra – Uniform módon használható, nagy kapacitású, virtuális erőforrás – Ún. köztesréteg (middleware) hangolja össze – Felhasználók: virtuális szervezetek (VO)


7


2. Rajzoljuk le a gridet!


8

2/a WLCG struktúra Enabling Grids for E-sciencE

• Milyen értelemben? – – – – – – –

Földrajzi eloszlás a számítási kapacitásról Adattárolási topológia Logikai ábra a szolgáltatástípusokról Szervezeti, hierarchikus diagram Alapvető egység: ún. site (központ) Datagrid egység: SE (Storage Element) Computing grid egység: CE (Computing Element)


9

2/b WLCG mint datagrid Enabling Grids for E-sciencE

• Háromszintű hierarchia – T0: CERN (2x tape + disk), O(10 PB) – T1 x9: kiemelt adatközpontok (tape + disk), O(1 PB) – T2 x50: analízis központok (disk), O(100 TB)

• Hálózati topológia – – – –

T0 → T1: dedikált 10 Gb T1 → T1: kiegészítő 2-10 Gb (nem teljes gráf) T1 → T2: min 1 Gb Minden T2-höz kijelölt T1 tartozik


10

2/c WLCG mint computing grid Enabling Grids for E-sciencE

• Logikai, funkcionális diagram (szolgáltatások)


11


3. Magyarország az európai kutatói gridben EGEE és Hungrid


12

3/a WLCG és RMKI Enabling Grids for E-sciencE

• • • • •

RMKI: 6. WLCG T2 centrum, 2003. november CMS, Alice támogatás 450 CPU, 160 TB Dedikált 1 Gb kapcsolat Gerincszolgáltatások teljes spektruma


13

3/b WLCG és EGEE Enabling Grids for E-sciencE

• • • • •

• • •

EGEE: Enabling Grids for E-SciencE A WLCG testvérprojektje 2004-ben indult 3 fázisú EU-s projekt Eredeti célok: 24/7 rendelkezésre állású grid infrastruktúra Elért eredmények: nyílt, elosztott, széles körben használt multitudományos grid, 114 ezer CPU (core), 20 petabyte tárolási kapacitás, 200 M job/év Jelenlegi fázis: további felhasználói csoportok bevonása, modellváltás előkészítése Cél: digitális közmű hosszútávú fenntartása Jelentősége: gridben / griddel együtt alakulnak ki a globális e-infrastruktúra alapelemei


3/c Hungrid Enabling Grids for E-sciencE

• EGEE egyetlen, hivatalos magyar VO-ja • 2005-ben alakult (Jelenlegi tagok: BME, ELTE, NIIFI, KFKI RMKI, SZTAKI) • Cél: hazai kutatói közösség, általános célú felhasználási célokra • 24/7 rendelkezésre állás, minden EGEE alapszolgáltatással rendelkezik • Benne rejlő lehetőségek: – – – –

magyar kutatói közösségek megismerjék az EGEE-t / gridet felmérjék igényeiket, lehetőségeiket További magyar VO-k megalapításához „ugródeszka” Kiindulási, csatlakozási pont az EGEE infrastruktúrához


3/d Hungrid számokban Enabling Grids for E-sciencE

• A résztvevő intézetek szolgáltatásai:

• Jelenleg 82 felhasználó • 10 aktívan küldi a nagyszámításigényű job-okat • ~ 10 publikáció



4. A grid jövője EGI / NGI


17

4/a NGI Enabling Grids for E-sciencE

Modellváltás: • EGEE

EGI / NGI

• EGI: Európai Grid Iniciatíva – NGI-k koordinálása

• NGI: Nemzeti Grid Iniciatíva – A grid nemzeti szintű támogatása – Összes oktatási/kutatási grid tevékenység támogatása – EGEE kompatibilitás a legfontosabb

• Hungrid az NGI induló platformja – EGEE / WLCG kompatibilis – Legáltalánosabb, legelterjedtebb


4/b EGI és NGI Enabling Grids for E-sciencE

• A fenntarthatő grid alappillérei a tartós kritikus tömeg, ill. küszöbszint: – Kapacitásban (mennyiség) – Menedzsmentben (minőség) – Szolgáltatásban (kihasználás)

• Az európai grid korszakai vázlatosan: 1. EDG – tesztfázis 2. EGEE I. – kapacitás v. erőforrás fázis: site, CPU, Disk, HR 3. EGE II. – menedzsment fázis: middleware + admin, monitoring, accounting eszközök és mechanizmusok 4. EGEE III. – szolgáltatás v. erdmény fázis: userek, VO-k, jobok számának növekedése, magas szintű közösségi szolgáltatások 5. EGI / NGI – hogyan tovább?


4/c Az NGI szerepe Enabling Grids for E-sciencE

• Az NGI célja, hogy országonként fenntartsa / növelje a három tényező kritikus szintjét – Kapacitás: finanszírozás, tervezés, deployment, certification – Menedzsment: monitorozás, riasztás, problémakövetés, biztonsági felügyelet, tudásbázis, képzés – Szolgáltatások: közösségi támogatás, koordináció, interoperabilitás, accounting, portál, oktatás


4/d A magyar NGI helyzete Enabling Grids for E-sciencE

• Halmozottan hátrányos helyzet: mindhárom kulcstényezőben 5-10 éves lemaradás • Fejlesztés helyett alapozás • A kulcs a felhasználók / kutatási területek számának gyors növelése – – – – – –

Potenciális felhasználók azonosítása / megszólítása E-scinece / grid igényeik pontos felmérése Grid komparatív előnyei ezek alapján Az előnyökre építő szolgáltatások kidolgozása Egyéni / közöségi felhasználás fő akadályinak azonosítása Grid kurzusok a felsőoktatásban

• Technikai feladatok előtt lobbi / marketing / PR



Köszönöm a figyelmet! grid.kfki.hu/hungrid


Worldwide LHC Computing Grid

Recommend Documents