Novinky z vývoje v MetaCentru Miroslav Ruda
[email protected] CESNET
Brno, 2011
Novinky z vývoje MetaCentra
otázky a odpovˇ edi, ˇ cím více otázek, tím lépe pˇ rechod na plánovací systém Torque úpravy priorit a fairshare virtualizace v PBS a cloudové rozhraní diskové prostory zaˇ clenˇ ení CUDA clusteru FAQ
M. Ruda (CESNET)
Technické novinky
Brno, 2011
2 / 15
Plánovací systém Torque I. Pˇ rešli jsme z plánovacího systému PBSPro na Torque volnˇ e dostupná implementace, rozumná kompatibilita je možno instalovat na všechny pˇ ripojené clustery reimplementovány nejzajímavˇ ejší vlastnosti plánování, stabilita
pˇ renesena všechna naše rozšíˇ rení plánovaˇ c, virtualizace
další vývoj viditelný i v distribuci Torque více spolupracujících server˚ u
Vývoj virtualizace více samostatných server˚ u = odolnost proti výpadk˚ um pr˚ ubˇ ežné odstraˇ nování chyb nové vlastnosti M. Ruda (CESNET)
Technické novinky
Brno, 2011
3 / 15
Plánovací systém Torque II.
Více server˚ u samostatné instalace Torque spravující jeden velký cluster/mˇ esto odstranˇ ení problém˚ u s výpadky sítˇ e mezi mˇ esty škálovatelností rychlostí odezvy
plánovaˇ ce vidí i další servery, mohou úlohy pˇ resouvat podle potˇ reb bude nasazeno pro cluster CERITu, postupnˇ e v každém mˇ estˇ e
M. Ruda (CESNET)
Technické novinky
Brno, 2011
4 / 15
Plánovací systém Torque III.
Nové vlastnosti požadavek na kompletní obsazení uzlu qsub -l nodes=2:nodecpus2#excl negativní vlastnosti qsub -l nodes=1:cl_skirit:^i386 v pˇ rípravˇ e node packing qsub -l nodes=12:ppn=1#pack
M. Ruda (CESNET)
Technické novinky
Brno, 2011
5 / 15
Priorita uživatel˚ u
fairshare = tˇ rídˇ ení podle propoˇ cítaného ˇ casu za poslední období tˇ rídˇ ení ve frontˇ e, priorita front je silnˇ ejší prioritní fronty vlastník˚ u clusteru
aktuální plán promítnout poˇ cty publikací do fairshare každá zaregistrovaná publikace snižuje propoˇ cítaný ˇ cas o X procent/zvˇ etšuje využitelný podíl zdroj˚ u MetaCentra publikace platné jen rok/dva publikace impactované, v RIVu apod. následnˇ e zrušit frontu privileged
pˇ ripravujeme nový registraˇ cní formulᡠr snadnˇ ejší zadávání, import z ISu možnost definovat rozpoˇ cítání mezi autory M. Ruda (CESNET)
Technické novinky
Brno, 2011
6 / 15
Virtualizace Pokraˇ cuje vývoj v podpoˇ re v Torque pomocí virtualizace provozujeme obrazy debian5 a debian6 souˇ casnˇ e pˇ repínání podle aktuálních požadavk˚ u uživatel˚ u
v plánu je i obraz SL5 (hlavnˇ e pro EGI) pomocí pˇ repínání virtuálních stroj˚ uˇ rešíme i priority pro vlastníky cluster˚ u pozastavení backfill úlohy
umíme i obraz s MS Windows, pilotní provoz pro Laboratoˇ r bezpeˇ cnostních technologií MU poskytujeme ˇ cistý obraz s MS Windows uživatelé doinstalují vlastní aplikace pak je možné pustit více kopií uzavˇ rená sít, DHCP, VPN
testujeme i využití pro výuku v pˇ rípravˇ e jednorázové postavení uzlu pro výpoˇ cet M. Ruda (CESNET)
Technické novinky
Brno, 2011
7 / 15
Virtualizace – cloud rozhraní Spoleˇ cnˇ e s CERIT-SC pracujeme i na cloud rozhraní ještˇ e tento rok zpˇ rístupníme pilotní instalaci kompatibilita s Amazon EC2 další rozhraní (OCCI) a GUI pro snadnˇ ejší použití obrazy virtuálních stroj˚ u uživatelské originální MetaCentrové, možnost si je zmˇ enit v další fázi speciálnˇ e zamˇ eˇ rené na nˇ ekteré aplikace (map-reduce)
možnost vyladit si obraz a pˇ renést ho zpˇ et do MetaCentra podpora pro aplikace, kterým gridový pˇ rístup nevyhovuje další vývoj na integraci/pˇ rekrytí obou pˇ rístup˚ u M. Ruda (CESNET)
Technické novinky
Brno, 2011
8 / 15
Diskové prostory NFSv4 jako základ, postupnˇ e v každém mˇ estˇ e plus na dalších pˇ ripojených clusterech (napˇ r. CERIT) rozumná rychlost pro vzdálený pˇ rístup, standard, Kerberos
všechny svazky viditelné ve /storage/Mˇ ESTO nejbližší svazek použitý jako /home stejné pro celý cluster
hierarchie /afs, /home a /scratch z˚ ustává v plánu je i sdílený Lustre scratch
spolupráce s datovými úložišti CESNETu, plán: opˇ et automaticky viditelné NFSv4 svazky zálohování domovských adresᡠr˚ u migrace dat do archivu klientské programy pro další služby M. Ruda (CESNET)
Technické novinky
Brno, 2011
9 / 15
Cluster s CUDA kartami
vlastník Katedra matematiky a Katedra kybernetiky FAV ˇ ZCU podrobnosti o vybavení v další pˇ rednášce priorita pˇ rístupu pro vlastníka, ale cluster je k dispozici i dalším uživatel˚ um
plánovací systém Torque plánuje i grafické karty uživatel si pomocí -lcuda=X ˇ ríká o karty systém spustí úlohu jen na uzlu s volnou kartou karta je zpˇ rístupnˇ ena jen vlastníkovi úlohy
pracujeme i na virtualizovaném ˇ rešení HVM virtualizace
M. Ruda (CESNET)
Technické novinky
Brno, 2011
10 / 15
FAQ - proˇ c úloha nebˇ eží
úlohy z fronty s vyšší prioritou (vlastníci, privileged) v jedné frontˇ e se úlohy ˇ radí podle fairshare "strádající úlohy" si rezervují zdroje stroj je rezervován nebo je ve frontˇ e "maintenance" nemám na stroji úˇ cet špatná kombinace vlastností zdroje není jen CPU, ale i pamˇ et’, scratch, software na nˇ ekteré stroje nemohou multi-node úlohy webové rozhraní v "osobním pohledu" pom˚ uže
M. Ruda (CESNET)
Technické novinky
Brno, 2011
11 / 15
FAQ - proˇ c úloha bˇ eží pomalu
pˇ ríliš krátké úlohy = režie pˇ revažuje zabalit do skriptu obsahujícího více úloh najednou pˇ rístup pˇ res "pilotní úlohy" - Diane
úloha z fronty backfill m˚ uže být pozastavena pˇ ríliš vzdálené uzly pro paralelní úlohu špatnˇ e zadané požadavky na pamˇ et’ špatné použití filesystém˚ u (scratch a home)
M. Ruda (CESNET)
Technické novinky
Brno, 2011
12 / 15
FAQ MPI I
Torque MPI nesmí spouštˇ et pod-úlohy pˇ res ssh, musí použít knihovny Torque aby systém umˇ el zastavit/hlídat všechny pod-úlohy
liší se protokol PBSPro a Torque je nutno programy pˇ rekompilovat
moduly openmpi, lam, mpich2 jsou pˇ redˇ elané pozor na vlastní kompilace, MPI obsazené v aplikacích Testovací pˇ ríklad pro openmpi pro test je dobré použít cpi.c automaticky se používá Infiniband
M. Ruda (CESNET)
Technické novinky
Brno, 2011
13 / 15
FAQ MPI II
~$ qsub -I -lnodes=2:debian50:x86_64:plzen:infiniband qsub: waiting for job 424352.arien.ics.muni.cz to start qsub: job 424352.arien.ics.muni.cz ready nympha1-1$ module add openmpi nympha1-1$ mpicc /software/mpich-1.2.7/amd64_linux26/ ch_p4/examples/cpi.c -o cpi.openmpi
nympha1$ mpirun ./cpi.openmpi Process 0 on nympha1-1.zcu.cz Process 1 on nympha4-1.zcu.cz pi is approximately 3.1416009869231241, Error is 0.0000 nympha1-1$ nympha1-1$ mpirun --mca btl tcp,self ./cpi.openmpi M. Ruda (CESNET)
Technické novinky
Brno, 2011
14 / 15
Díky za pozornost!
M. Ruda (CESNET)
Technické novinky
Brno, 2011
15 / 15
