KNMI Data Centrum Voorkant voor Geonetwork ADAGUC

KNMI Data Centrum •Voorkant voor Geonetwork •ADAGUC

KNMI: John van de Vegte, Wim Som de Cerff, Maarten Plieger, Ernst de Vreede, Raymond Sluiter, Jan Willem Noteboom, Ian van der Neut, Hans Verhoef, Robert van Versendaal, Martin van Binnendijk, Henk Kalle, Arthur Knopper, TriOpSys: Gijs Calis, Jeroen Bos, Siu Siu Ha, Wim van Moosel, Quality House: Henk-Jan Klein Ikkink, Tuncay Tosun Wim Som de Cerff, KNMI [email protected]

Waarom KNMI datacentrum? KNMI data: Veel verschillende soorten datasets (Weer, klimaat, seismologie) Historisch, real-time, verwachtingen Onderzoek en operationeel Toepasbaar in verschillende domeinen Maar: Moeilijk te vinden Moeilijk te gebruiken Weinig standaardisatie Veel ‘data’ portalen Veel onderhoudsinspanning

2 KDC | Voorkant voor Geonetwork | ADAGUC | OSGeo 2013

Aanpak bouw KDC Funding uit “Deltaplan Infrastructuur KNMI” (IenM) Aanpak: Betrekken belanghebbenden: Agile ontwikkeling (Scrum) Data managers KNMI-ers die de data in het datacentum plaatsen Eindgebruikers Optimaal gebruik van bestaande (Open Source) software Geonetwork, MongoDB, MySQL, FreeRadius, JavaSpring, Magnolia, … NADC Processing Suite, ADAGUC WMS/WCS Belangrijkste eisen: Dataset managers moeten zelfstandig datasets kunnen toevoegen: ’adding a dataset should be as easy as creating a web page’ Ondersteun elk data formaat, leg beperkingen uit en biedt extra’s aan standaard formaten


Architecture: KDC 1.x Security Web

Data acces Database Data processing 4 KDC | Voorkant voor Geonetwork | ADAGUC | OSGeo 2013

Geonetwork Gekozen op basis van eerdere ervaringen (KNMI CSW gekoppeld aan NGR) Gebruikt voor: Opslag dataset metadata (in NL en Engels) KNMI profiel (WMO, NL, INSPIRE) Zoeken door dataset metadata Exporteren naar extern toegankelijke (Geonetwork) CSW/OAI PMH) Tijdens ontwikkelen 19 Geonetwork gerelateerde issues Nog 4 open, de overige zijn opgelost Open: Bounding box & datumgrens, zoeken op deel van een woord, eastbound < westbound probleem, ‘-’en ‘_’ gebruik Eigen metadata editor ontwikkeld…


Voorkant voor Geonetwork Waarom? ‘adding a dataset should be as easy as creating a web page’ meerdere interfaces nodig (‘huishoudelijke metadata’) Geonetwork interface niet gebruikersvriendelijk genoeg…

SCRUM ontwikkeling, dus we kwamen er op tijd achter! Implementatie: ‘refactoring’ gebruikersinterface



Extra functionaliteit Zelfde look & feel KDC gebruikers interface Minimaliseren aantal velden om in te vullen Beperkte keuzemogelijkheden, waar mogelijk Koppeling met helpfunctie Validatie van de invoer Tussentijds opslaan Kopie maken eerder ingevoerde set (‘save as’) Publicatie pas mogelijk als alle verplichte velden zijn ingevoerd


Nadelen… Nadelen keuze re-factoren gebruikersinterface: KNMI specifieke oplossing… Ongeveer 2 sprints nodig om oplossing generiek te maken


INSPIRE (NGR)

WIS (WMO)

CSW

OAIPMH



ADAGUC WMS/WCS Server WMS 1.1.1/1.3.0 WCS 1.0.0 NetCDF4 CF en KNMI-HDF5 data files: Field data: modeldata, radar en satelliet incl. RGB products Swath data: SCIAMACHY, ASCAT Punt data Styling: contouring, shading, wind barbs, wind vectors; Ook automatische door gebruik te maken van CF standard_name


ADAGUC WMS/WCS Server Support voor OGC TIME, ELEVATON dimensions en voor user-defined dimensions GetFeatureInfo – uitgebouwd met: time series graph, JSON en GML output

WMS extensions of ncWMS: COLORSCALERANGE, NUMCOLORBANDS Fast reprojection of data Access of (remote) data through OpenDAP


ADAGUC web portal component (Viewer) WMS 1.1.1 / 1.3.0 portal Display legends, select styles, select dimensions Mapping component is JavaScript (embeddable component for HTML/PHP) Gebruikt GetFeatureInfo om data op te halen en om time series graphs af te beelden

Data bewerkingen en download met WCS 1.0.0 services Eenvoudig layers combineren van verschillende WMS services Voorbeelden, zie http://adaguc.knmi.nl, met demonstratie data (inclusief realtime regen radar)


Performance ADAGUC cached niet, maar leest direct netCDF! Toekomst: image caching, b.v. Varnish

Response tijd van ADAGUC GetMap request, in milliseconde: Herprojecteer en teken wolken optische dikte van MSG-CPP Van 3712x3712 pixels in satellite view, netCDF formaat Naar verschillende beeldgrootte in verschillende projecties, PNG image 256x256

1024x1024

2048x2048

LatLon

270 ms

340 ms

640 ms

Mercator

250 ms

260 ms

430 ms

Stereographic

206 ms

290 ms

550 ms

Conclusie:

15

Reponse tijden geschikt voor interactief gebruik op het web Gebruikt full MSG resolutie, opgeslagen op disk Flexibele visualizatie: on demand image size en projectie

Weermodel

Model + MSG 16 KDC | Voorkant voor Geonetwork | ADAGUC | OSGeo 2013


Open Source ADAGUC server en viewer zijn Open Source: http://dev.knmi.nl/projects/adaguc Geregistreerd bij OGC Doel: Delen Software Samenwerking zoeken Huidig werk: Nederlands WMS 1.3.0 profiel Inspire VIEW service Best Practices document OGC’s MetOcean Domain Working Group 18

ADAGUC in gebruik in: climate4impact.eu euro4m.eu msgcpp.knmi.nl eca.knmi.nl data.knmi.nl

Alles op een rij

+

…en nog wat andere OS pakketten + programmeerwerk…


Publish

20

20 KNMI Data Centrum | 14 december 2012 UNESCO - IHE | 27 Februari 2013

Find

21


Bind

22


Bind

23


Bind

24


Werkte combinatie Agile en OS Geo software? Yes! Geonetwork en ADAGUC goede voorbeelden van OS Geo software Agile == ok, hielp bij de scoping + new features …Maar: Refactoring kost tijd Expectation management, KDC is 1.x version

25

Acceptance testing

KDC | Voorkant voor Geonetwork | ADAGUC | OSGeo 2013

Samenvattend Geonetwork en ADAGUC succesvol toegepast in KDC SCRUM method werkte, veel geleerd Nog veel meer om over te praten! H/W architecture Storage, caching Persistent URI’s Development, test, acceptation and operational platforms and procedures Development & test tooling Components in detail


KNMI Data Centrum Voorkant voor Geonetwork ADAGUC

Recommend Documents