Az LHC adatfeldolgozásának számítástechnikai háttere 10 percben Hajdu Csaba KFKI RMKI
A feladat
A detektoroknál történő szűrés után évi ~15 PB adat marad (~3millió DVD, ~3km magas kupac) Tárolás: nyers adatok (legalább duplán) feldolgozott adatok szimulált adatok CPU:
ELFT, 2007.04.16.
feldolgozás, kiértékelés (LHC megy) szimuláció (már most is) Hat hónap múlva indul az LHC
2
A megoldás
A feladat egy helyen történő elvégzése az eszközök és emberek túlzott koncentrációját igényelné A kísérlet résztvevői eleve a világ különböző tájain vannak, osszuk inkább szét a feladatokat is Van már egy hasonló (ráadásul éppen a CERN-ből elindított) és közismert rendszer, a világháló
Hasonló, de mégis egészen más: GRID A grid nem a CERN-ből indult, de az első, nélküle valóban nem megoldható feladat, illetve jelenleg a legnagyobb alkalmazása az LHC
ELFT, 2007.04.16.
Hat hónap múlva indul az LHC
3
Mi a GRID?
Nehéz rövid és pontos definíciót adni, még alakulóban van, de alapvetően egy földrajzilag elosztott és külön irányított részekből álló virtuális számítóközpont Hasonló az elektromos hálózathoz – nem foglalkozunk azzal, hogy hol az erőmű, milyen úton jut el hozzánk az áram, csak legyen az éppen aktuális igényünknek megfelelően világháló: információ, kereskedelem stb. nagyon széles közönségnek grid: nagy teljesítmény, erőforrásigényes alkalmazások (egyelőre?) korlátozott felhasználói körrel
ELFT, 2007.04.16.
Hat hónap múlva indul az LHC
4
WLCG
Worldwide LHC Computing Grid Feladata az LHC kísérletek számítástechnikai hátterének kidolgozása, kiépítése és működtetése Folyamatosan növekvő, világméretű együttműködés, jelenleg 45 országban, 236 helyszínen − −
EGEE (Enabling Grids for E-SciencE) OSG (US Open Science Grid)
USA: a 236-ban csak 2-3 főbb központ van
ELFT, 2007.04.16.
Hat hónap múlva indul az LHC
5
A T(ier)x hierarchia
T2
T2
T2
A T2-ket az általános kutatói hálózatok kötik a T1-ekhez
T2
T2
T2
T2
GridKa IN2P3
Dedikált 10 Gbites linkek
T2 Brookhaven
TRIUMF
ASCC
T2
T0 Nordic Fermilab
T2 RAL
CNAF
PIC
SARA
T2
T2 T2
T2 T2
LCG
Példa: Alice, Európa
Munkamegosztás
T0 adatgyűjtés, előzetes feldolgozás hosszútavú adatkezelés adatok továbbküldése a T1 központokba T1 nagytömegű adattárolás adatigényes analízisek a regionális T2-k támogatása T2 felhasználói analízis szimulációk
ELFT, 2007.04.16.
Hat hónap múlva indul az LHC
8
T0 és a T1-ek
T0 CERN
Svájc
T1 ASGC BNL CNAF FNAL FZK IN2P3 NDGF NIKHEF PIC RAL TRIUMF ALICE_US
Taiwan USA Olaszország USA Németország Franciaország DK, SF, N, S Hollandia Spanyolország Egyesült Királyság Kanada USA
ELFT, 2007.04.16.
Hat hónap múlva indul az LHC
Alice Atlas CMS LHCb
x x x x x x x
x x x x x x x x x x
x x x x x x x
x x x x x x
9
Erőforrásigény 2008-ban CERN
T1-ek
T2-k
Osszes
CPU (KSI2K) 25000 56000 61000 142000 diszk (TB) szalag (TB)
7000 31000 19000 18000 35000
57000 53000
1 KSI2K ~ 2.7 Ghz P4
Jelenleg kb. 45000 CPU és 20000 TB üzemel. A 2010-es igény 330000 CPU és 270000 TB ELFT, 2007.04.16.
Hat hónap múlva indul az LHC
10
Magyar részvétel
EGEE JRU (Joint Research Unit) <- MGKK (BME - ELTE - NIIFI – RMKI - SZTAKI) WLCG – fő érdekelt az RMKI, a többieknél maximum 10 – 20 WN (worker node) van (a teljes CPU szám plusz 5-10)
Az RMKI 2003. nyarán a világon hetedikként csatlakozott Jelenleg ~100 WN, ~7 TB diszk (+30TB?)
LHC-n kívülieknek: Hungrid VO
ELFT, 2007.04.16.
Hat hónap múlva indul az LHC
11
Az RMKI gépparkja 2002 év végen 50 CPU, 1.8 TB 2003-ban újabb 50 CPU 2005-ben 8 CPU, 4 TB 2006-ban 20 (core duo) CPU, 1.4 TB 2007-ben remény van 30 TB-ra
A 4-5 éves gépek erkölcsileg elavultak, fizikailag is egyre több a gond velük Égető szükség van újabb CPU-kra (csere és bővítés)
ELFT, 2007.04.16.
Hat hónap múlva indul az LHC
12
Tervek
Az LHC indulására el kell érjük a T2-es szintet, amihez a szaktudásunk megvan, de az erőforrások tekintetében további vállalások szükségesek – MOU aláírás! Az RMKI gépeinek többsége 2002-es és 2003as beszerzésű, elkerülhetetlen a cseréjük
ELFT, 2007.04.16.
Hat hónap múlva indul az LHC
13
Köszönetnyilvánítás
Az RMKI LCG állomásának összeállitásában, tesztelésében és üzemeltetésében részt vesznek/vettek: Barnaföldi Gergely Kadlecsik József Csárdi Gábor Kárász Edit Debreczeni Gergely Kővári Kálmán Hernáth Szabolcs Kövesárki Péter Horánszky Tamás Szabó Domokos Pályázatokban, szervezési es koncepcionális kérdésekben segítséget nyújtottak: Borbás Józsefné Lévai Péter Bürger Gábor Vesztergombi György Horváth Dezső Zimányi Magdolna Köveshegyi László
ELFT, 2007.04.16.
Hat hónap múlva indul az LHC
14
