Uitdagingen bij opbouwen BGT BRAVO1
Albert Lems, Richard Huesken
Spreker(s) Datum
: :
23 januari 2014
E-mail
:
[email protected],
[email protected] WWW.TRANSFER-SOLUTIONS.COM
Introductie Albert Lems (Projectleider) Richard Huesken (Geo-specialist)
© COPYRIGHT TRANSFER SOLUTIONS B.V.
2
Introductie Transfer Solutions Gevestigd in Leerdam 18 jaar 150 medewerkers Oracle- en Java-technologie
Opleidingen Projecten Beheer Hosting Databasebeheer Applicatiebeheer © COPYRIGHT TRANSFER SOLUTIONS B.V.
3
Opbouw
Positionering Project
Architectuur Techniek
Conclusie
© COPYRIGHT TRANSFER SOLUTIONS B.V.
4
Positionering - BGT-Keten Afnemer
Afnemer
Afnemer
Landelijke voorziening (LV) BGT
Distributie LV BGT Centrale Registratie LV BGT
Samenwerkingsverband van Bronhouders (SVB) BGT
Bronhouder
© COPYRIGHT TRANSFER SOLUTIONS B.V.
Bronhouder
Bronhouder
5
Opbouw
Positionering Project
Architectuur Techniek
Conclusie
© COPYRIGHT TRANSFER SOLUTIONS B.V.
6
Project Opdracht “Dienst” Bravo Project Bravo1 – bestandgeoriënteerd Project Bravo2 – automatisch berichtenverkeer Software-as-a-Service Termijn 5 jaar
Aanbesteding Gunning juli 2013 Oplevering november 2013
© COPYRIGHT TRANSFER SOLUTIONS B.V.
7
Project - Aanpak Specificatiefase Workshops bij SVB-BGT Procesontwerp
© COPYRIGHT TRANSFER SOLUTIONS B.V.
8
Project - Aanpak Realisatiefase Eigen product owner 4 Sprints, 2 weken, ±10 medewerkers Demo
© COPYRIGHT TRANSFER SOLUTIONS B.V.
9
Project - Aanpak Testfase Integrale test Afbouw team
© COPYRIGHT TRANSFER SOLUTIONS B.V.
10
Project - Resultaat
SVB-BGT vanaf november BGT ready BGT-Keten live in april 2014 Focus op transitie Kopgroep bronhouders
© COPYRIGHT TRANSFER SOLUTIONS B.V.
11
Opbouw
Positionering Project
Architectuur Techniek
Conclusie
© COPYRIGHT TRANSFER SOLUTIONS B.V.
12
Architectuur - Processen Initiële levering Meerdere bestanden per levering
Assemblage
© COPYRIGHT TRANSFER SOLUTIONS B.V.
13
Architectuur - Processen Mutatielevering Eén bestand per levering WAS-WORDT bericht WAS-WAS controle
© COPYRIGHT TRANSFER SOLUTIONS B.V.
14
Architectuur - Processen Vooraankondiging Expliciet/Impliciet
Actualisatie Vooraankondiging zonder lock
© COPYRIGHT TRANSFER SOLUTIONS B.V.
15
Architectuur – Standaard componenten Hergebruik Transfer-componenten Call-registratiesysteem “Servicedesk” APEX Support Kit Geo-gegevensmagazijn
Maatwerk Portaal (procesregie) Productiedatabase Controle Assemblage Accordering Opslag Import en export
© COPYRIGHT TRANSFER SOLUTIONS B.V.
16
Architectuur - Technisch Schaling:
Applicatieserver
• 100.000.000 objecten
Glassfish APEX Listener Geoserver
Portaal
• 1.000.000.000 plaatsbepalingspunten • Mutatiegraad 10% per jaar
Advanced Queue Propagation
Rdbms 11g SE1 Apex 4.2 Procesregie en gebruikersinteractie
© COPYRIGHT TRANSFER SOLUTIONS B.V.
Productiedatabase Rdbms 11g EE Spatial + JTS Partitioning Dataopslag en verwerking
17
Architectuur - Applicatie
© COPYRIGHT TRANSFER SOLUTIONS B.V.
18
Opbouw
Positionering Project
Architectuur Techniek
Conclusie
© COPYRIGHT TRANSFER SOLUTIONS B.V.
19
Techniek
Opslagservice
Import- en export
Assemblage
Goedkeuring
Opslagstructuren XML naar Oracle Spatial
Grens van de levering Verdelen van een gat/overlap Terugkoppeling
© COPYRIGHT TRANSFER SOLUTIONS B.V.
20
BGT Data
© COPYRIGHT TRANSFER SOLUTIONS B.V.
21
Datamodel – Objecttypen BGT
© COPYRIGHT TRANSFER SOLUTIONS B.V.
22
Datamodel – Objecttypen IMGEO
© COPYRIGHT TRANSFER SOLUTIONS B.V.
23
BGT Data - Gemodelleerd
© COPYRIGHT TRANSFER SOLUTIONS B.V.
24
Datamodel - Implementatie Opgeslagen in 2 tabellen : Features (Objecttypen) Plaatsbepalingspunten
Verdeeld over 2 lagen : Leveringenlaag Productielaag
© COPYRIGHT TRANSFER SOLUTIONS B.V.
25
Techniek
Opslagservice
Import- en export
Assemblage
Goedkeuring
Opslagstructuren GML naar Oracle Spatial
Grens van de levering Verdelen van een gat/overlap Terugkoppeling
© COPYRIGHT TRANSFER SOLUTIONS B.V.
26
GML GeoStUF-IMGEO 1.1 GML 3.1.1 Geography Markup Language Een door het OGC opgestelde XML-structuur voor de representatie van geografische (ruimtelijke en plaatsgebonden) informatie OGC Simple Features profile
© COPYRIGHT TRANSFER SOLUTIONS B.V.
27
GML Arcs Bogen worden op 2 manieren aangeleverd: Arcs (GM_Arc) : 3 punten Gestrookt : benadering door groot aantal punten
© COPYRIGHT TRANSFER SOLUTIONS B.V.
28
GML verwerken StUF-Geo GML
Transformatie
© COPYRIGHT TRANSFER SOLUTIONS B.V.
ORACLE sdo_geometry
29
GML verwerken Zowel Arcs als compound geometries worden niet ondersteund door Oracle Spatials GML conversiefuncties: SDO_UTIL.FROM_GML311GEOMETRY() SDO_UTIL.TO_GML311GEOMETRY()
Eigen GML-Parser Ontwikkeld in PL/SQL Geen beperking op aantal coördinaten
© COPYRIGHT TRANSFER SOLUTIONS B.V.
30
ENCI Maastricht (12456 coördinaten)
© COPYRIGHT TRANSFER SOLUTIONS B.V.
31
Opgesplitste objecten
© COPYRIGHT TRANSFER SOLUTIONS B.V.
32
Techniek
Opslagservice
Import- en export
Assemblage
Goedkeuring
Opslagstructuren XML naar Oracle Spatial
Grens van de levering Verdelen van een gat/overlap Terugkoppeling
© COPYRIGHT TRANSFER SOLUTIONS B.V.
33
Spatial - Engines Oracle Spatial JTS / SC4O Een JAVA-API met functies voor het bewerken van 2D geometrieën (in een cartesisch vlak), in combinatie met een PL/SQL-wrapper om de Java-functies heen. Gebruikt voor aggregatiefuncties en assemblagefunctionaliteit
© COPYRIGHT TRANSFER SOLUTIONS B.V.
34
Levering – 40.000 losse objecten
© COPYRIGHT TRANSFER SOLUTIONS B.V.
35
Grens van de levering – 1 contour
© COPYRIGHT TRANSFER SOLUTIONS B.V.
36
Grens van de levering Startpunt voor assemblage Basis voor locking van objecten
Bepalen rakende bronhouders Uitdagingen: Hoog geheugengebruik Performance Geen beperking op grootte gebied
© COPYRIGHT TRANSFER SOLUTIONS B.V.
37
Grens van de levering – MBR niveau 0
© COPYRIGHT TRANSFER SOLUTIONS B.V.
38
Grens van de levering – MBR niveau 1
© COPYRIGHT TRANSFER SOLUTIONS B.V.
39
Grens van de levering – MBR niveau 2
© COPYRIGHT TRANSFER SOLUTIONS B.V.
40
Grenzen niveau 2
© COPYRIGHT TRANSFER SOLUTIONS B.V.
41
Grens niveau 1
© COPYRIGHT TRANSFER SOLUTIONS B.V.
42
Grenzen niveau 1
© COPYRIGHT TRANSFER SOLUTIONS B.V.
43
Grens van de levering
© COPYRIGHT TRANSFER SOLUTIONS B.V.
44
Techniek
Opslagservice
Import- en export
Assemblage
Goedkeuring
Opslagstructuren XML naar Oracle Spatial
Grens van de levering Verdelen van een gat/overlap Terugkoppeling
© COPYRIGHT TRANSFER SOLUTIONS B.V.
45
Assemblage – Gaten in de levering
© COPYRIGHT TRANSFER SOLUTIONS B.V.
46
Assemblageregels Behandelen gaten in de levering op basis van : Kwaliteit bestand Marge Valt het gat geheel of gedeeltelijk binnen een buffer rond het object?
Opties: Ongeclassificeerd object aanmaken Toekennen aan 1 object Gat splitsen en verdelen over aangrenzende objecten
© COPYRIGHT TRANSFER SOLUTIONS B.V.
47
Geassembleerde objecten
© COPYRIGHT TRANSFER SOLUTIONS B.V.
48
Techniek
Opslagservice
Import- en export
Assemblage
Goedkeuring
Opslagstructuren XML naar Oracle Spatial
Grens van de levering Verdelen van een gat/overlap Terugkoppeling
© COPYRIGHT TRANSFER SOLUTIONS B.V.
49
Goedkeuring Rakende bronhouders worden geïnformeerd Mutatiebestand met daarin: Nieuw toegevoegde objecten Aangepaste objecten
Testbestand met veel (> 3000) gaten
© COPYRIGHT TRANSFER SOLUTIONS B.V.
50
Goedkeuring – testbestand
Grens van een levering voor assemblage : heel veel kleine gaten
© COPYRIGHT TRANSFER SOLUTIONS B.V.
51
Goedkeuring – testbestand
Detail
© COPYRIGHT TRANSFER SOLUTIONS B.V.
52
Goedkeuring – testbestand
Detail, vanuit de lucht
© COPYRIGHT TRANSFER SOLUTIONS B.V.
53
Goedkeuring – testbestand
Detail, met de afzonderlijke objecten ingetekend : de gaten liggen voornamelijk in de achtertuinen. Schuurtjes zijn niet in alle gevallen goed geclassificeerd
© COPYRIGHT TRANSFER SOLUTIONS B.V.
54
Goedkeuring – testbestand Oorzaak: Verkeerde classificatie van objecten Impact:
Bepalen grens van de levering duurt langer Assemblage duurt langer Gaten worden opgevuld met ongeclassificeerde objecten Groot mutatiebestand © COPYRIGHT TRANSFER SOLUTIONS B.V.
55
Opbouw
Positionering Project
Architectuur Techniek
Conclusie
© COPYRIGHT TRANSFER SOLUTIONS B.V.
56
Resultaat Technische uitdagingen overwonnen Bravo ondersteunt de kerntaken van SVB-BGT
Project op tijd geaccepteerd Bravo is klaar om bestanden te ontvangen SVB-BGT is BGT ready
© COPYRIGHT TRANSFER SOLUTIONS B.V.
57
Toekomst Nabije toekomst Bravo2 automatisch berichtenverkeer Proces “goedkeuring” optimaliseren Nieuwe processen
Verre toekomst Ondersteunen van 3D-geometrieën
© COPYRIGHT TRANSFER SOLUTIONS B.V.
58
Vragen Antwoorden
CONSULTING | MANAGED SERVICES | EDUCATION
WWW.TRANSFER-SOLUTIONS.COM © COPYRIGHT TRANSFER SOLUTIONS B.V.
59