Simona2011-RC: 64-bit Linux
9 november 2010
Simona2011-RC Belangrijkste wijzigingen in Simona2011-RC • Netcdf in waqwnd • Barriersturing over domeingrenzen • Visipart geschikt voor DDHOR • Nieuw platform: linux64 met openmpi • Aanpassing k-epsilon turbulentie • Documentatie in LaTeX; overzicht achtergronddocumentatie
9 november 2010
Oude pakketten Verwijderd in Simona2011-RC: • Waqpan (getdata, waqview, excel-stekker) • Adobs (obs2sds) • Cmpbnd (cmpser) Gepland voor verwijdering in Simona2011: • CnvObs en Ado2Md (obs2sds formaat) • SdsDif (getdata, waqview en excel-stekker) • Waqad (OpenDA) • Sicorrupt, dirtst, sireft en sierwr (b+o tools) • Oude keywords (oude droogval en displays)
9 november 2010
Wind (SVWP) Aanpassingen voor ruimtelijk variërende wind (svwp) • Aanleiding: nieuw DCSM model op groter domein, met wind op nieuw type rooster; Matroos stapt over NetCDF-files. •
Ter herinnering: dataflow: • waqwnd maakt SDS-wind uit diverse formaten siminp bevat naam SDS-wind parallel: coppre maakt SDS-wind-000 t/m SDS-wind-016 rekenhart leest bv SDS-wind-001 en interpoleert naar Waqua-rooster
9 november 2010
Wind rooster en DCSM rooster
9 november 2010
NetCDF-wind Rotatie door waqwnd • Hirlam input zowel in grib als NetCDF • In NetCDF eastward/northward wind • Eigenlijk verwacht waqua ook eastward/northward • Dan is alleen rotatie voor grib nodig Aanpassing voor parallel rekenen: • Partionering wind-SDS is optioneel m.b.v. keyword SKIP_PART in siminp Verder: - coor_id is verplicht bij gebruik svwp - soms opnieuw waqwnd draaien
9 november 2010
Test rotatie vergelijk met csm8-wind
9 november 2010
Parallel rekenen Aanpassingen voor ddhor en parallel rekenen • Barrier sturing over domeingrenzen • Visipart geschikt voor ddhor • Nieuwe opties waqpro.pl • Use_pinning • Hostmap = compact • Keep_subdomsds : standaard worden die nu opgeruimd! • Use_pbs_aware • Local_only • In documentatie onderscheid tussen opties en verplichte parameters
9 november 2010
Strip en hostmap compact subdomein
1
2
3
4
5
6
7
8
Round-robin 1
2
3
4
1
2
3
4
Compact
1
2
2
3
3
4
4
1
9 november 2010
Oude documentatie format parallel runs waqpro.pl [-runid
] [-npart ] [-[partit <partit>] [-fases ] [-bufsize ] [-buf_prt ] \ [-hostmap ] [-back ] [-xtra_comm <xtra_comm>] [&] format vertical refinement waqpro.pl [-runid ] [-ndom ] \ [-fases ] [-bufsize ] [-buf_prt ] [-hostmap \ ] [-back ] [-xtra_comm <xtra_comm>] [&] format horizontal refinement waqpro.pl [-runid ] [-config ] \ [-fases ] [-check_only ] [-buf_prt ] [-buf_exc \ ] [-hostmap ] [-xtra_comm <xtra_comm>] [-back \ ] [&] format horizontal & vertical refinement waqpro.pl [-runid ] \ [-config ] [-fases ] [-check_only ] [-buf_prt \ ] [-buf_exc ] [-hostmap ] [-xtra_comm \ <xtra_comm>] [-back ] [&]
9 november 2010
Nieuwe documentatie format parallel runs waqpro.pl [-runid ] [-npart ] \ [-partit <partit>] [-bufsize ] format vertical refinement waqpro.pl [-runid ] [-ndom ] \ [-bufsize ] format horizontal refinement waqpro.pl [-runid ] [-config ] \ [-check_only ] format horizontal & vertical refinement: The format for horizontal and vertical refinement is identical to the format of horizontal refinement
9 november 2010
Nieuwe documentatie II optional parameters for parallel runs and all kinds of domain decomposition: extra options: [-hostmap ] [-fases ] \ [-buf_prt ] [-keep_subdomsds ] \ [-use_pinning ] [-xtra_comm ] \ [-use_pbs_aware ] [-buf_exc ] \ [-local_only ] [-col_only ] \ [-precision <single/double>] \ [-nmdbg ] [-back ] [&]
9 november 2010
High Performance Computing (HPC) OpenMPI op Lisa (Linux-cluster) bij SARA Achtergrond: • Rekentijd aanvraag Deltares - zowel Swan, Simona als Delft3D een stap verder in parallel rekenen - mogelijkheid uitwijk voor pieken in rekentijd •
Prijsvraag Wim Nieuwpoort Award - voor 1 oktober op 40% van alle cores rekenen
•
Mooie gelegenheid nieuw platform linux64 goed te testen
9 november 2010
Ervaringen met Simona en HPC Ervaringen op Lisa (I) • Waqua was snel aan de praat: linux executables direct bruikbaar • Wachttijd varieert sterk • Met kleine stapjes steeds meer cores bruikbaar. • Grens was 32 cores • Uiteindelijk is 96 maximum voor parallel rekenen (vanwege coppre/coppos) • Voor ddhor circa 140, oorzaak nog niet bekend
9 november 2010
Ervaringen met Simona en HPC II Ervaringen op Lisa (II) • Schaalt goed tot 100 cores • Bij korte sommen op veel nodes kost coppre veel tijd • Opletten met partionering - bij klein aantal cores is strip beter - bij groot aantal cores is orb beter • Geheugen/cache effecten • Intel versus AMD • Timing is niet altijd te reproduceren Ook gewerkt aan Huygens (IBM power-PC) versie; Andere mpi-omgeving; nog niet parallel werkend
9 november 2010
Resultaten parallel versnelling rijntakken
wall time
10000
lisa - packed lisa - round robin
1000
h4 - packed h4 - round robin
100 1
10 cores
9 november 2010
100
Resultaten Domeindecompositie
DCSM op Lisa
orb
10000
strip
N
9 november 2010
1. 98 22 71 2
68 12 41 2 1.
1. 50 51 5
1. 20 41 2
0.
90 30
9
1000 0. 30 10 3
wall time
100000
Verschillende partities methode
walltime
Strip
1776
Orb
1061
Handm-it1
1012
Handm-it2
1452
Handm-it3
935
9 november 2010
Visipart demo
9 november 2010
9 november 2010
9 november 2010
