KRW-VSS en (UM)-Aquo data standaarden in Delft-FEWS Amersfoort, 23 April 2012 Marc van Dijk Deltares
Inhoud • Inleiding tot Delft-FEWS • Filosofie & integratie van data en modellen • Delft-FEWS & data standaarden: • Eigen FEWS-Published Interface standaard • Koppeling met ‘Externe’ standaarden • KRW-VSS en (UM)-Aquo • Ervaringen bij implementatie KRW Volg en Stuur Systeem • Koppeling met Geovoorziening • Koppeling met Ecolims
Inleiding Delft-FEWS: Mijlpalen
2000
Prototype Delft-FEWS als open platform voor hoogwatervoorspellingsystemen – FEWS-Rijn (RIZA, Bfg), FEWS-Zwitserland – EFFS (European Flood Forecasting System, EU project)
2002
Delft-FEWS gekozen als Nationaal Systeem voor Engeland en Wales (NFFS) – Complete redesign Delft-FEWS, Client Server omgeving – Delft-FEWS Published Interface standaard voor model koppeling
2005
Gebruik Delft-FEWS als Water Informatie Systeem (WIS) – Data analyse functionaliteit toegevoegd aan FEWS modules
2008
Keuze Delft-FEWS als National Forecasting System door de NWS (CHPS) – Re-design FEWS Gebruikers Interfaces
2008
Oprichting Deltares – Focus op nieuwe toepassingsgebieden (kusten, dijken, grondwater)
DELFT FEWS – Open platform voor data en modellen Filosofie
• Open Platform voor het beheren van data en het (voorspellings)-proces • Platform levert een generieke set van componenten • Open Interface tot externe modules en modellen • Delft FEWS is een open systeem – joint development approach • Delft FEWS software is gratis, wel licentie via Deltares
Delft-FEWS: Kern eigenschappen • • • • •
Verwerken en opslaan van grote hoeveelheden data Integreren van modellen via een open interface (FEWS-PI) Presenteren van externe data en model resultaten Schaalbaar: lokaal-nationaal-globaal, meting-voorspelling-scenario Ontwikkelingen binnen Delft-FEWS generiek toepasbaar
Delft-FEWS- Gebruik in Nederland • Plaatjes Nederland en Wereld van FEWS gebruikers • Enkele kentallen met gebruikers
Delft-FEWS: Toepassingsgebieden • • • • •
Hoogwatervoorspelling voor rivieren en kusten Laagwatervoorspelling voor rivieren Waterinformatie systemen voor water kwantiteit ‘en kwaliteit’ Doorrekenen van klimaatscenario’s Sturing van kunstwerken en optimalisatie van reservoirs
• Kern van elke implementatie is dat het over grote hoeveelheden tijdreeksen gaat met grote verscheidenheid aan data types • punt data, monsters, grids, polygonen, lengteprofielen, diepteprofielen, golfspectra, .. • Vraagt om Standaarden!
Delft-FEWS: Integratie van modellen • Uitgangspunt is dat naast eigen Deltares (WL) modellen ook andere modellen gebruikt moet kunnen worden. • Model is een onderdeel van een hoogwatervoorspelling systeem • In 2002 is hiervoor het FEWS Published Interface ontwikkeld • XML schema's voor tijdreeksen, model states, logs, etc.. • Eenvoudig (focus), snel en generiek toepasbaar • Java bibliotheken beschikbaar gesteld voor ontwikkelaars • +/- 100 modellen kunnen via deze standaard gekoppeld worden
Delft-FEWS: Integratie van data Interfaces naar data bronnen: • Ondersteund standaard data formaten: GRIB, NetCDF, etc. • Ondersteund applicatie specifieke formaten (+-100) • Data uitwisseling met RWS gegevens (bv. LMW, MATROOS) • Nieuwe standaarden: OGC, WaterML2, OpenDAP, UM-Aquo, .. • Plugin-technologie om integratie van data formaten uit te breiden
Delft-FEWS: Filosofie standaarden •
Elke discipline heeft een of meerdere Internationale standaarden: • Meteorologie: GRIdded Binary (GRIB) • Hydrologie via OGC: WaterML2.0 • Klimaat: Climate and Forecast Metadata Conventies (CF)
•
Elke land heeft ook een of meerdere standaarden • Engeland: EA-XML standaard • Nederland: UM-Aquo
•
Hoe de standaard eruit ziet is gestuurd door de achtergrond van personen die het hebben opgezet • NetCDF-CF, vooral in de Klimaat en kusten met grote grid modellen • UM-Aquo, gericht op water kwaliteit • EA-XML, vanuit telemetrie systemen
Delft-FEWS: Filosofie standaarden •
Hoe kijken we vanuit Delft-FEWS naar deze data standaarden
•
Delft-FEWS zal niet een externe standaard kiezen voor eigen interne data model: onafhankelijkheid bewaren Wel gegevens kunnen uitwisselen volgens standaarden Wel zoveel mogelijk de metadata conventies (domeintabellen) kunnen gebruiken eigen database
• •
•
Oplossing gezocht in het gebruik van: • koppel tabellen • flexibele elementen in de Delft-FEWS database (om extra meta data op te slaan)
•
Belangrijk: Standaard moet ook door ‘niet experts’ zijn te gebruiken zijn
Enkele voorbeelden: EA XML Environment Agency XML standaard voor England en Wales • bevat XML bestand formaat en ‘beperkte’ meta data afspraken
Koppeltabellen voor 1. 2. 3. 4. 5.
Locatie Parameter Eenheid Kwaliteit label Tijdzone
Enkele voorbeelden: UM-Aquo • • • •
Standaard is “compleet”, maar ook complex Standaard ontwikkeld met water kwaliteit achtergrond; KRW Vooral veel aandacht voor domeintabellen (Nederlands) Uitwisseling via UM-Aquo XML en (recent) CSV formaten
• Voor een “hydroloog” heeft de standaard veel ballast • Wat is een hoedanigheid? • Wat is een compartiment? • Oplossen door veel voorbeelden te geven • In Delft-FEWS is een Import/Export module ontwikkeld die XML en CSV bestanden aan kan, en controleert op domeintabellen.
Enkele voorbeelden: UM-Aquo • FEWS Parameter = UM-Aquo Grootheid • NEERSG = NEERSG (Neerslag)
• Compartiment voor Neerslag: Hemelwater, Oppervlaktewater? • Hoedanigheid? NVT als je geen idee hebt!
• FEWS Parameter = UM-Aquo Grootheid + Parameter • Ntot = CONCTTE + Ntot (Stikstof totaal)
• Compartiment via qualifier: OW = OW • Unit: mg/l
KRW-Volg en Stuur Systeem • Ontwikkeling samen met STOWA, Nelen & Schuurmans • Kennis Applicatie (Web Interface) ontwikkeld door N&S • Analyse applicatie (Delft-FEWS) ontwikkeld door Deltares • O.a. verantwoordelijk voor importeren en (tijdelijk) opslaan van gegevens uit externe bronnen • Presenteren van kaarten uit de Geovoorziening (WMS/WFS)
KRW-Volg en Stuur Systeem • Waar mogelijk gebruik maken van UM-Aquo voor uitwisseling met externe bronnen • Zoveel mogelijk aansluiten op domeintabellen voor interne opslag • Aqmad: CSV formaat, geen Aquo • EKR Scores uit QBWat: UM-Aquo XML 2008 • EKR Oordeel van KRW Portaal: Ad-hoc XML, deels Aquo • Ecolims: UM-Aquo CSV, deels Aquo Ontwikkeld tijdens • FEWS: UM-Aquo XML en CSV project • Overig: verschillende CSV formaten
Afspraken over nieuw type tijdreeksen zoals “Track reeksen”
KRW-VSS en data uitwisseling • Twee belangrijkste bron systemen zijn Ecolims en Delft-FEWS • Aquo domein tabellen en UM-Aquo formaten zijn nu standaard, moet er ook een afspraak komen over de manier van uitwisseling • Met KRW-VSS wil je externe bronnen bevragen database
script
Export naar ftp
FTP Folder
FEWS database Import in FEWS
FEWS
FEWS database
database beschikbaar via service
FEWS
Delft-FEWS en Ecolims • Ecolims heeft webservice beschikbaar die je kan bevragen • MetusDataService API gebaseerd op SOAP/XML • Eerste implementatie van webservice koppeling via UM-Aquo CSV • Waarom UM-Aquo CSV? • Stuk compacter en eenvoudiger dan de UM-Aquo XML variant • Operationeel voor HHNK met beveiliging op IP adres
KRW-VSS en Geovoorziening • HHNK heeft kwaliteit meetlocaties op de Geovoorziening staan • Informatie over wat er beschikbaar is • Vervolgens data ophalen via Webservice bij de bron
Delft-FEWS en Webservices • Binnen KRW-VSS project is ook een Delft-FEWS Webservice ontwikkeld • Opvragen van data via UM-Aquo XML en CSV bestanden • In mei beschikbaar voor HHNK, in juni voor alle FEWS gebruikers • Kan op elke Delft-FEWS database gezet worden (2012.01 versie) • Later uit te breiden met WaterML2, NetCDF, PI-XML, .. • Source code zal op Delft-FEWS WIKI beschikbaar komen
UM-Aquo: Ervaringen • Standaard maakt praten over data eenvoudiger • Systemen moeten deze taal echter ook leren! • Te vaak even snel data klaargezet in eigen formaat • Hoe strak implementeer je de standaard! • Voorbeelden en voorbeeld code erg belangrijk! • Wat te doen met ‘nieuwe’ parameters? • Wat te doen met nieuwe type reeksen zoals track reeksen? • Uitwisselen via webservice grote stap voorwaarts • Data kan nu bij bron opgehaald worden • Zal de Ecolims implementatie de standaard worden? • Combinatie Geovoorziening en data bron systemen veelbelovend
KRW-VSS en (UM)-Aquo •
Meer info op : http://publicwiki.deltares.nl/display/FEWSDOC
• •
24 april KRW-VSS dag 13 juni Delft-FEWS gebruikers dag
Vragen?
