Simona2011-RC Belangrijkste wijzigingen in Simona2011-RC • Netcdf in waqwnd • Barriersturing over domeingrenzen • Visipart geschikt voor DDHOR • Nieuw platform: linux64 met openmpi • Aanpassing k-epsilon turbulentie • Documentatie in LaTeX; overzicht achtergronddocumentatie
9 november 2010
Oude pakketten Verwijderd in Simona2011-RC: • Waqpan (getdata, waqview, excel-stekker) • Adobs (obs2sds) • Cmpbnd (cmpser) Gepland voor verwijdering in Simona2011: • CnvObs en Ado2Md (obs2sds formaat) • SdsDif (getdata, waqview en excel-stekker) • Waqad (OpenDA) • Sicorrupt, dirtst, sireft en sierwr (b+o tools) • Oude keywords (oude droogval en displays)
9 november 2010
Wind (SVWP) Aanpassingen voor ruimtelijk variërende wind (svwp) • Aanleiding: nieuw DCSM model op groter domein, met wind op nieuw type rooster; Matroos stapt over NetCDF-files. •
Ter herinnering: dataflow: • waqwnd maakt SDS-wind uit diverse formaten siminp bevat naam SDS-wind parallel: coppre maakt SDS-wind-000 t/m SDS-wind-016 rekenhart leest bv SDS-wind-001 en interpoleert naar Waqua-rooster
9 november 2010
Wind rooster en DCSM rooster
9 november 2010
NetCDF-wind Rotatie door waqwnd • Hirlam input zowel in grib als NetCDF • In NetCDF eastward/northward wind • Eigenlijk verwacht waqua ook eastward/northward • Dan is alleen rotatie voor grib nodig Aanpassing voor parallel rekenen: • Partionering wind-SDS is optioneel m.b.v. keyword SKIP_PART in siminp Verder: - coor_id is verplicht bij gebruik svwp - soms opnieuw waqwnd draaien
9 november 2010
Test rotatie vergelijk met csm8-wind
9 november 2010
Parallel rekenen Aanpassingen voor ddhor en parallel rekenen • Barrier sturing over domeingrenzen • Visipart geschikt voor ddhor • Nieuwe opties waqpro.pl • Use_pinning • Hostmap = compact • Keep_subdomsds : standaard worden die nu opgeruimd! • Use_pbs_aware • Local_only • In documentatie onderscheid tussen opties en verplichte parameters
Nieuwe documentatie format parallel runs waqpro.pl [-runid ] [-npart ] \ [-partit <partit>] [-bufsize ] format vertical refinement waqpro.pl [-runid ] [-ndom ] \ [-bufsize ] format horizontal refinement waqpro.pl [-runid ] [-config ] \ [-check_only ] format horizontal & vertical refinement: The format for horizontal and vertical refinement is identical to the format of horizontal refinement
9 november 2010
Nieuwe documentatie II optional parameters for parallel runs and all kinds of domain decomposition: extra options: [-hostmap ] [-fases ] \ [-buf_prt ] [-keep_subdomsds ] \ [-use_pinning ] [-xtra_comm ] \ [-use_pbs_aware ] [-buf_exc ] \ [-local_only ] [-col_only ] \ [-precision <single/double>] \ [-nmdbg ] [-back ] [&]
9 november 2010
High Performance Computing (HPC) OpenMPI op Lisa (Linux-cluster) bij SARA Achtergrond: • Rekentijd aanvraag Deltares - zowel Swan, Simona als Delft3D een stap verder in parallel rekenen - mogelijkheid uitwijk voor pieken in rekentijd •
Prijsvraag Wim Nieuwpoort Award - voor 1 oktober op 40% van alle cores rekenen
•
Mooie gelegenheid nieuw platform linux64 goed te testen
9 november 2010
Ervaringen met Simona en HPC Ervaringen op Lisa (I) • Waqua was snel aan de praat: linux executables direct bruikbaar • Wachttijd varieert sterk • Met kleine stapjes steeds meer cores bruikbaar. • Grens was 32 cores • Uiteindelijk is 96 maximum voor parallel rekenen (vanwege coppre/coppos) • Voor ddhor circa 140, oorzaak nog niet bekend
9 november 2010
Ervaringen met Simona en HPC II Ervaringen op Lisa (II) • Schaalt goed tot 100 cores • Bij korte sommen op veel nodes kost coppre veel tijd • Opletten met partionering - bij klein aantal cores is strip beter - bij groot aantal cores is orb beter • Geheugen/cache effecten • Intel versus AMD • Timing is niet altijd te reproduceren Ook gewerkt aan Huygens (IBM power-PC) versie; Andere mpi-omgeving; nog niet parallel werkend
