Hozzáférés a HPC-hez, kezdő lépések (előadás és demó)

Hozzáférés a HPC-hez, kezdő lépések (előadás és demó)

2013.04.16.

Rőczei Gábor [email protected]

Főbb témák Nemzeti Információs Infrastruktúra Fejlesztési Intézet •  Hozzáférés a HPC-hez (Linux/Windows) •  Programok elindítása a különböző HPC gépeken •  Vizualizáció (kapcsolódás a grafikus kártyához)

2. oldal


Hozzáférés a HPC-hez Nemzeti Információs Infrastruktúra Fejlesztési Intézet Ezeket lehet használni: •  SSH •  ARC köztesréteg

HPC-s login gépek: •  •  •  • 

login.budapest.hpc.niif.hu login.szeged.hpc.niif.hu login.debrecen.hpc.niif.hu login.pecs.hpc.niif.hu

3. oldal


SSH hozzáférés (Linux)Infrastruktúra Fejlesztési Intézet Nemzeti Információs .ssh/ id_rsa authorized_keys ssh –l felhasználónév login.budapest.hpc.niif.hu Hasznos parancs: ssh-add -L

4. oldal


SSH hozzáférés (Windows), 6/1 Fejlesztési Intézet Nemzeti Információs Infrastruktúra Ajánlott program: Putty Innen lehet letölteni: http://www.chiark.greenend.org.uk/~sgtatham/putty/ download.html

5. oldal


SSH hozzáférés (Windows), 6/2 Fejlesztési Intézet Nemzeti Információs Infrastruktúra

Konverzióra van szükség: id_rsa à id_rsa.ppk Megoldás: Puttygen 6. oldal



7. oldal



8. oldal



9. oldal



10. oldal


Hozzáférés ARC köztesrétegen keresztül (8/1) Nemzeti Információs Infrastruktúra Fejlesztési Intézet

11. oldal



12. oldal


Hozzáférés ARC köztesrétegen keresztül (8/3) Nemzeti Információs Infrastruktúra Fejlesztési Intézet http://download.nordugrid.org/repos-13.02.html

13. oldal



14. oldal



15. oldal



16. oldal



17. oldal



http://laportal.sourceforge.net/download.htm 18. oldal


FeladatokNemzeti típusai Információs Infrastruktúra Fejlesztési Intézet •  1 db CPU core-t használ (serial) •  2 vagy több CPU core-t használ (parallel)

Párhuzamos feladatok

Egy gépen fut (SMP, OpenMP)

19. oldal

Kettő vagy több gépen fut (MPI, PVM)


Használható erőforrások Nemzeti Információs Infrastruktúra Fejlesztési Intézet Pécs: •  1 db UltraViolet ccNUMA (1152-12=1140 db CPU core) Szeged: •  48 db számítást végző gép (48*48=2304 CPU core) •  2 db GPU gép (2*24=48 CPU core, 12*448=5376 db GPU/CUDA core) Debrecen: •  128 db számítást végző gép (128*12=1536 db CPU core) Budapest •  32 db számítást végző gép (32*24=768 db CPU core)

20. oldal


FeladatokNemzeti ütemezése: GridFejlesztési Scheduler InformációsOpen Infrastruktúra Intézet •  Támogatást nyújt PVM, OpenMP, MPI alkalmazásokhoz •  Terhelés elosztás •  Elfogyó erőforrások kezelése (memória, licensz, GPU kártya, stb.)

21. oldal


VárakozóNemzeti sorokInformációs Infrastruktúra Fejlesztési Intézet

22. oldal


MűveletekNemzeti feladatokkal Információs Infrastruktúra Fejlesztési Intézet

•  •  •  • 

Feladat létrehozása (vim) Feladat beküldés (qsub) Feladat monitorozása (qstat, qacct) Eredmények kiértékelése, vizualizálás, publikálás

23. oldal


Feladat (job) létrehozása Nemzeti Információs Infrastruktúra Fejlesztési Intézet

24. oldal


Feladat (job) beküldése Nemzeti Információs Infrastruktúra Fejlesztési Intézet

25. oldal


Feladat monitorozása Nemzeti Információs Infrastruktúra Fejlesztési Intézet

26. oldal


MPI feladat Nemzeti Információs Infrastruktúra Fejlesztési Intézet

27. oldal


OpenMP feladat Nemzeti Információs Infrastruktúra Fejlesztési Intézet

28. oldal


Matlab feladat futtatásaInfrastruktúra (4/1) Fejlesztési Intézet Nemzeti Információs

29. oldal



Generic scheduler objektum készítése: >> job_path='/home/felhasznalo_nev/test'; >> >> sched = findResource('scheduler', 'type', 'generic'); >> set(sched, 'ClusterMatlabRoot', '/usr/local/MATLAB/R2011b'); >> set(sched, 'ClusterOsType', 'unix'); >> set(sched, 'DataLocation', job_path); >> set(sched, 'HasSharedFilesystem', true); >> set(sched, 'SubmitFcn', @distributedSubmitFcn); >> set(sched, 'ParallelSubmitFcn', @parallelSubmitFcn); >> set(sched, 'GetJobStateFcn', @getJobStateFcn); >> set(sched, 'DestroyJobFcn', @destroyJobFcn);

30. oldal



Feladat elkészítése: >> j = createJob(sched); >> createTask(j, @sum, 1, {[1 1]}); >> createTask(j, @sum, 1, {[2 2]}); >> createTask(j, @sum, 1, {[3 3]}); >> submit(j);

31. oldal



Feladat státusz lekérdezése: >> waitForState(j) >> results = getAllOutputArguments(j); >> results results = [2] [4] [6]

32. oldal


GPU feladat Nemzeti Információs Infrastruktúra Fejlesztési Intézet

33. oldal


Vizualizációs szerver elérése (7/1)Fejlesztési Intézet Nemzeti Információs Infrastruktúra Vizualizációs gépek: •  vserver.pecs.hpc.niif.hu •  vserver.szeged.hpc.niif.hu •  vserver.debrecen.hpc.niif.hu

Elérés: •  TurboVNC/VirtualGL: http://virtualgl.org

34. oldal


Vizualizációs szerver elérése (7/2)Fejlesztési Intézet Nemzeti Információs Infrastruktúra

35. oldal



36. oldal



37. oldal



38. oldal



39. oldal



40. oldal


Hasznos linkek Nemzeti Információs Infrastruktúra Fejlesztési Intézet

Magyar: http://www.niif.hu/niif_intezet/az_niifi_szuperszamitogepek_hasznalata

Angol: http://www.niif.hu/en/services/supercomputing/usage_of_the_niifi_supercomputers

41. oldal


Köszönöm a figyelmet!

Rőczei Gábor [email protected]

Hozzáférés a HPC-hez, kezdő lépések (előadás és demó)

Recommend Documents