Az RMKI Grid-rendszere

Az RMKI Grid-rendszere Horváth Dezső KFKI RMKI és ATOMKI

Mi az a GRID és mire jó? Minek Grid az RMKI-ba? Hogyan állt össze? Mit kezdünk vele?

Hogyan üzemeltetjük?

Mi az a Grid? Országhatárokon átnyúló számítógép-füzér, a felhasználó számára egyetlen virtuális gép. Gépek kihasználtsága a világban: PC-k: 5%, UNIX-szerverek: 10%, mainframe: 60% A Grid jellegzetességei     2006.02.23.

Osztott erőforrás automatikus gazdálkodással Szabad kapacitások ésszerű kihasználása Bárhonnan elérhető osztott adatbázis Heterogenitás: nemcsak azonos op-rendszerek Horváth Dezső: Az RMKI GRID-rendszere

2

Világháló és Grid Ami közös 



Rejtett komplexitás (nem kell tudnom, program hol, adatok honnan) Közös programok, adatállományok

Amiben különbözik Nemcsak infocsere, teljes együttműködés: Programok futnak, ahol szabad kapacitás Adatokat megkeresi, ahol legközelebb 2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

3

Grid-rendszerek itthon 







DeskTopGrid (SZTAKI): 4185 felhasználó, 11752 gép világszerte, önkéntes beajánlással KlaszterGrid (NIIFI): 9 felsőoktatási intézményben 500 PC szerverekkel Fotelágy: nappal hallgatói labor (Windows) éjjel Linux klaszter (Condor-pool) JiniGrid (Veszprémi Egyetem): Java-alapú Grid-rendszer (web-technológia!) LHC Computing Grid, LCG (RMKI)

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

4

DeskTopGrid

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

5

BOINC: Berkeley Open Infrastructure for Network Computing

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

6

BOINC: Kredit-rendszer

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

7

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

8

CERN   



 

Európai Részecskefizikai Laboratórium A legnagyobb ... 2500 alkalmazott (főként mérnök és technikus) 6500 külső felhasználó (a világ részecskefizikusainak kb. 50%-a) 250 hivatalos partner-intézet Építi a Nagy Hadron-ütköztetőt

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

9

Large Hadron Collider

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

10

A CERN gyorsítói (2007-től) Large Hadron Collider

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

11

A CMS-detektor szelete

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

12

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

13

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

14

CMS-adatok       

Ütközés 25 ns-onként (40 MHz) 96 millió mérőcsatorna 15-20 p-p ütközés/esemény 1 MB eseményméret 10-15 PB mért adat/év Plusz a szimulációk Adattárolás, -analízis: Grid

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

15

Higgsbozon észlelése a CMS-ben H ↓ ΖΖ ↓ ↓ e+e– qq 2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

16

LEP (†) ⇔ LHC LEP-analízis:  

Adatok CERN-ben Itthonról CERN-ben futtattunk

LHC-analízis: Réteg-rendszer (Tier) Tier-0: CERN  Tier-1: elsődleges adattár  Tier-2: regionális analizáló központ RMKI: Tier-2 

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

17

CERN-i géppark fejlődése Privát klaszter → központi szuper Apollo, Vax IBM VM, Cray (80-as évek)  Privát klaszter → privát szuper Vax, HP SHIFT-ek (90-es évek)  Privát klaszter → központi klaszter Linux Linux (2000 után)  Privát PC → Grid Linux, Windows Linux, Windows (már megvan) ⇓ terv 

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

18

A CMS követelménye T1-hez 

CMS T1: CERN, Barcelona, Bologna, FNAL, Rutherford, Karlsruhe, Lyon, Taipei

2008: L = 2x1033 cm-2s-1 RAW data: 1.5 MB/event; RECOnstructed: 0.25 MB/event Full EVenT: RAW+RECO; Analysis Object Data T2: Analízis (300 CPU, 400 TB) 2006.02.23.

T1 aktív kapacitás: 2,2 PB FEVT / 7: 440 TB AOD full: 150 TB Reprocessed: 640 TB Monte Carlo / 7: 770 TB Anal, kalib: 80 TB Nehéz ion: 60 TB

Horváth Dezső: Az RMKI GRID-rendszere

19

Több, mint 100 LCGfarm világszerte 2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

20

Minek az RMKI-nak Grid? 

 

 

Hatékony hozzájárulás (CMS, ALICE) és viszonylag olcsó Helyben épül és marad Általános infrastruktúrát fejleszt nemcsak részecskefizikusoknak biológia, anyagtudomány, elmélet Élenjáró kultúrát honosít Fizikusok tudják üzemeltetni

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

21

Hogyan állt össze? Hardver 

 

  

2006.02.23.

RMKI-beruházás (2002) 25 Dual Athlon 1000+ PC, 1.8 TB HD OTKA-műszerpályázat (2003): duplázás Tartozékok (UPS, hálózat, klíma, ajtózár ...): egyéb pályázatokból OTKA tematikus (2005): + 4 TB HD + GB switch GVOP (2006): + 5 TB HD, + 20 CPU Összerakás és Linux-telepítés (Hajdu Csaba, 2003) Horváth Dezső: Az RMKI GRID-rendszere

22

Szoftver (middleware) LHC Computing Grid (LCG) telepítése: Debreczeni Gergely (+ Csárdi G.), 2003. RMKI LCG-1_0_0-t 7.-ként telepítette Neve: BUDAPEST Most LCG-2_7_0-t telepítettük, majd gLite Részletek: http://www.lcg.kfki.hu 2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

23

Néhány Grid-fogalom  



  

Resource broker (RB): Grid-felhasználók portálja Certification Authority (CA): Grid-használati jogosítvány kiadása (tűzfal!) RMKI adja, NIIFI fogja, helyben Regional Authority (RA) Virtual Organization (VO): Felhasználói rendszer (4 LHC-kísérlet és HunGrid: ehhez saját CA kellett) Work node (WN): mezei Grid-gép, amely számol Computing Element (CE): WN-t hajtja Storage Element (SE): Tárolóegység

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

24

Ami régen működik: NorduGrid  



 



Skandináv országok Grid-rendszere Saját middleware: Advance Resource Connector, ARC , 2002 óta működik Nagyenergiájú fizika fejlesztette, de sokan mások használják Koordinátor: Kónya Balázs, Lund Együttműködik LCG-vel, fogadott szimulált LHC-adatokat (ATLAS Data challenge) http://www.nordugrid.org/

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

25

Magyar Grid Kompetencia Központ (MGKK) 







 

Tagok: SZTAKI, NIIFI, ELTE, BME + RMKI (+ Veszprémi Egyetem) Párhuzamos, egymással együtt nem működő itthoni Gridrendszerek egységesítése. Monitorozás, gépidő-elszámolás, WEB-portál fejlesztése RMKI: Grid-felhasználás (és első magyar CA) (elméleti, részecske-, szilárdtest- és biofizika) RMKI (és SZTAKI): HunGrid VO NIIFI: Országos CA készül, helyi RA-kkal

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

26

Mit kezdünk a Grid-ünkkel? 





CMS- és ALICE-analízis előkészítése LHC indulására CMS (p-p ütközések): SUSY-részecskék keresése CMS (nehézion-ütközések) és ALICE: fázisátmenetek (kvark-gluon-plazma) Elméleti fizika Komplex rendszerek (Ódor Géza, MFA) Rács-QCD (Lévai Péter) Gravitáció (Rácz István) Biofizika (Csárdi Gábor) PHENIX-kísérlet, Brookhaven (Sziklai János)

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

27

Konklúzió 







Az RMKI Grid-rendszerét fizikusok építették és működtetik (1 főállású és számos felhasználó mellékesen) A működtetést és felhasználói támogatást EU-pályázatok támogatják Fejlesztéshez saját forrás (megszűnt) és hazai pályázat szükséges HunGrid VO (virtual organization) minden magyar kutatónak

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

28

Vége END FIN КОНЕЦ ENDE FINE

2006.02.23.

Horváth Dezső: Az RMKI GRID-rendszere

29