•2011.06.27.
A z elıadás a Tempus, Leonardo da Vinci, Innováció Transzfer által finanszírozott Urban Water Expert projekt keretében készült
Települési vízgazdálkodási adatok kezelése RDBMS
Városi hidroinformatika
Modell adatok Nyilvántartási adatok – Rendszer struktúra adatok Vízgyőjtık (terület, lejtés, burkoltság, népesség) Hálózat • Csıvezetékek (X,Y,Z, hossz, DN, érdesség, lejtés, …) • Akna (X,Y,Z1,Z2, átmérı, be- és kifolyás) • Mőtárgyak (szivattyú, záporkiömlı, tározó, zsilip, …)
Üzemeltetési paraméterek Zsilip állítások Szivattyú jelleggörbék és szabályozások ...
Üzemeltetési esemény adatok, idısorok Ivóvízfogyasztás - Szennyvíz terhelés Vízhozamok (v, h, Q) Vízminıségi adatok (O2, NH4, NO3, P) Csapadék (i)
Adatforrások [m] 35.0
Flags
30.0 25.0 20.0 15.0 10.0 5.0
h [mm]
0.0
500 400
1-1-1990
16-5-1991
27- 9- 1992
523 419 355 372
9- 2- 1994
445
24- 6- 1995
5- 11-1996
20- 3- 1998
513 534 475 427
300 200 100 0
199019911992199319941995199619971998
Untitle d -1037000 -1034000000
-1038000 -1039000
-1036000000
-1040000
-1038000000
-1041000 -1040000000
-1042000
1
-1042000000
-1043000
-1044000000
-1044000 -1045000
-1046000000
-1046000 -1048000000
-1047000 -1050000000
-1048000 -1049000
-1052000000
-1050000
-1054000000
-1051000 -1056000000
-1052000 -1058000000
-1053000 -1054000
-1060000000
-750000
-745000
-740000
-735000
-750000000
-745000000
-740000000
•1
•2011.06.27.
Bonyolult csatornahálózat – Egyszerősített modell [m]
Prága, szennyvízcsatornázás: Master Plan
-1042200 B_O5B V166Os V165
-1042400
A_O18A
B V167
A_0
-1042600
[m]
P2
-1042800
B_O11B
-1043000
-1037000
A_O1A
-1043200
-1038000
V123
-1043400
BS
-1039000
A_O20A
A_O20A
A_O15A
-1043600
Os
A_O2A A_O16A
-1043800 BS1
-1040000 -1041000
Os Vl
F2
-1044000 -1044200
A_O13A
D1
A_O21A
D
-1044400
-1042000
B
C
M_0
A_O14A
A_O10A
A_O9A A_O11A
-744500
-744000
-743500
Po%%232
-743000
-742500
-742000
-741500 [m]
F3
M
-1044000
A
-1045000 -1046000
A_O4A
-1044600
-1043000
Solid Stod
-1047000 Jih
-1048000
112B
Barr
-1049000
KSB
-1050000
JM
-1051000
modr
-1052000 -1053000 -750000
-745000
-740000
-735000
-730000 [m]
Prágai projekt adatai Csatornarendszer - LIDS, 20 MB Digitális terep pontok, Prága, ArcInfo , 100 MB Digitális térkép, Prága, DGN, 48 MB Ortofotó, Prága, JPG, 77 MB DTM Prága (10x10 m, 30 cm ) , 240 MB Kartográfiai térkép, Prága, TIF, 80 MB Talajvízszintek, 30m x 30 m háló, MGE, 20 MB 7 mérıállomás 9 éves csapadék idısorai, ASCII, 5 MB Fejlesztési tervek Prágai beépítési térképek Zöld felületek és védett területek térképei Mérési adatok (19i, 19Q, 25H) ...
Csapadék adatok - Gandalf, 500 MB Csat. rendszer mat. modellje, MOUSE , 5 GB Befogadók mat. modellje, MIKE11, 2 GB Vízgyőjtı adat, lak., vízzáró felületek, Mapinfo, 500 MB Szimulációs eredmények MOUSE, MikeView, 2 GB Szimulációs eredmények MIKE11, MikeView, 10 GB
Adatigény az egyes adat tulajdonosoktól Kormányzati hivatalok Közmő vállalat GIS CAD
RDBMS
RDBMS
Kutatóintézetek Speciális Szimulációs eszközök modell
Tulajdonos
RDBMS
GIS CAD
Mérnöki tanácsadó cégek Szimulációs modell
GIS, CAD RDBMS
Speciális eszközök
•2
•2011.06.27.
A DHI szoftver család
Együttes adatkezelés, Prága
Együttes adatkezelés, Szófia
•3
•2011.06.27.
Feladat azonosítás Ez az igény ritkán elégíthetı ki. A menedzsment és a tervezési folyamatok egyik súlyos akadályozója az adatok inkonzisztenciája, ellentmondásossága.
A vízi környezet folyamatainak tervezése és kezelése integrált adatkezelésen alapuló, a jelenleginél lényegesen magasabbszintő munkát igényel az egyes szervezetektıl.
Dynamics of economical processes
New technologies
Management Managementand and planning in planning in urban drainage area Water utilities
Restricted financial sources
Protection of living environment
Az adatok állapota napjainkban Változások a vízhez kötıdı problémák megközelítésében • • •
Növekvı igény az integrált megoldásokra Az információ technológia hatásai Összpontosítás az élı környezetre
Változások az adatigényben • • •
Növekvı adatigény (minıség, mennyiség) A hagyományos technológiájú adatgyőjtés, frissítés és tárolás növekvı költségei Igény a gyors és olcsó adatcserére, a folyamatos adatfrissítésre és kezelésre
Napjaink adatforrásai • • • • •
Széles tartomány és nagy adattömeg Csak az adatok egy része digitális formátumú Sokféle, specializált adatbázis Változatos tulajdonságú adatbázisok, formátumok, minıségek Kommunikáció az export/import eljárások szerint
Az adatok értelmezése m Bf. m. Af.
Csatorna adat ? X
Népesség adat ?
Hidraulikai paraméterek ?
? ?
Tervezési adat
?
X
+
Felmérési adat
•4
•2011.06.27.
Az adatok értelmezése Relatív távolságok
Felmérések
X1 ,Y1
X2,Y2
X1,Y1
X1,Y1
X2,Y2
X1,Y1
Topológia
Mőtárgyak L2
X2,Y2 L1 X1,Y1
X1,Y1
Egy furfangos mőtárgy
Felülnézet
Egy furfangos mőtárgy
Metszet
•5
•2011.06.27.
Adatkezelési folyamat START
START
MS-GIS TRANSFER
MS-GIS TRANSFER
1 CONTRACT
EXCELL TABLE FROM MANHOLE SURVEY
2 CONTRACT
CREATE THEME kanal_pkt_MS FOR COLLECTORKAKACH FILL DATA FROM
GIS THEMES
go to Eryl's team
2 CONTRACT IN DATA BASE
SITUATION PLAN IN CAD FORMAT FROM MANHOLE SURVEY
Megbízói adatszolg.
/PROGRAM SOFIYSKA VODA/ VERIFICATION
CREATE
NO
kan_pkt
DOES MANHOLE
NEWMANHOLE
kan_lin
EXISTIN GIS
IN GISTHEMES kan_pkt kan_lin
EXCELL TABLE FROM MANHOLE SURVEY
aqva base c onnectivity c hec ks
YES go to GIS team DATA BASE c orrec ted /PROGRAM SOFIYSKA VODA/
SITUATION PLAN IN CAD FORMAT FROM MANHOLE SURVEY
Egyedi adat értékelés
GIS \U+ 0442\U+ 0435\U+ 043C\U+ 0438:
VERIFICATION DOES MANHOLE
NO MOVE MANHOLES
HAS RIGHTLOCATION
kan_pkt kan_lin
YES
kan_pkt kan_lin
VERIFICATION
NO
DOES MANHOLE HAS RIGHTLOCATION
HORISONTAL, VERTICAL PLAN AND PHOTO FOR MANHOLE
Adat összekapcsol hatóság ell.
EXCELL TABLE
Adatok helyszíni ellenırzése
kan_pkt kanal_pkt_MS
CORRECTLOCATION OF MANHOLES IN GISTHEMES
kan_pkt ENTER DATA "A" IN GIS THEMES
kan_lin weir
YES
FROM MANHOLE SURVEY
VERIFICATION OF NUMBERS -FILL FIELD RUN AVENUE SCRIPTS
Ms_No
TRANSFER MEASURED DATA IN GIS THEMES
kan_pkt kanal_pkt_MS
JOIN TABLES kan_pkt kanal_pkt_MS
CORRECTPROBLEMS IN GIS THEMES
kan_pkt kanal_pkt_MS
COPY FIELDS WITH DATA"B" FROM kanal_pkt_MS
RUN AVENUE SCRIPTS
TO kan_pkt
GIS adatok ellenırzése
Szimulációs modellezés
CUTTHEME kan_pkt
kan_pkt
kak_pkt
SAVE AS kak_pkt
CUTTHEME kan_lin
kan_lin
kak_lin
SAVE AS kak_lin
CUTTHEME
Egyéb adatforrások
kan_lin
weir
kak_weir
SAVE AS kak_weir
USE THEMES kak_pkt kak_lin kak_weir IN SIMULATION MODEL
Adatkommunikációs problémák Adat formátum Adatszerkezet Adat konverzió Adathasználat Általános problémák
-
vektor x raszter adat, ASCII x BIN x RDB,… idısor, nyári/téli idıszak, objektumok hálózati topológia, koordináta rendszer, m.egys.
- mennyiség, kezelés, változások, frissítés
-
adatforrás minısége, költségek
Értelmetlen és idıtrabló munka a nagy valószínőséggel véletlen és/vagy szisztematikus hibákkal terhelt, hosszú idısorok feldolgozása. ! HIBÁS DÖNTÉSEKHEZ VEZET !
Hihetıség vizsgálat, adatminısítés, adat tisztítás
Az Integrált Adatkezelés (IA) alaptézisei
Az adatok manipulálásával kapcsolatos problémák az Adatkezelés hiányosságai miatt következnek be.
Az adatintegrálás fı célja a könnyebben elérhetı, többszörös hasznosítású, hosszú élettartamú, az adatkezelés technológiájától független Homogén Adatkörnyezet elérése
Az adatrendszerezés minıségének javítását szolgálhatja az adatok Integrálása.
A sikeres, hosszú élettartamú adatkezelés elérésének alapvetı technikai feltétele egy megfelelı Adatmodell kifejlesztése.
•6
•2011.06.27.
Az adatintegrálás lehetısége Sys Level Acctng
GIS eszközök
)
K l a v i e r w e g
1012 856 150 PVC
1956
124
NW
A.
40
NW 150
PVC
1956
B. Sa=500.13
NW
S a h lis tr a s s e
63 12 54
2 00
NW PVC 19
S=500.00 56
12
Add 0 BR
63 12 55
150 BR 1936
NW 150 P VC
Edit
Cancel
A1
A2
HE 81
NW
43
355
E1
D = 498. 78 E1 = 496.69 A1 = 497. 15 A2 = 496. 63
C. 41
354
) )
Sys Level Acctng
CAD eszközök
45
356
Sys Level Acctng
Add
Edit
Cancel
Szimulációs eszközök
Az IA alapvetı céljai Egyszerő adatátvitel és integráció (egyezményes adatszolgáltatás az egyes adattulajdonosok között )
Az adatok legyenek függetlenek a személyek cseréjétıl (az adatszerkezetek világos, egyértelmő dokumentálása)
Függetlenség az adatkezelés technológiájától (könnyő hozzáférés az adatokhoz és egyszerő alkalmazás )
A tárolás és frissítés egy helyen történjen (nagy kapacitású tároló)
Hosszú idıtartamú adathasználat (jó minıségő adatmodell)
Az IA alapvetı technikai feltételei az ADATMODELL fejlesztésénél találhatók.
Az AI értelmezési tartománya Az adatmodell a valóságos rendszer szerkezetének egy sajátos absztrakciója az adatok tulajdonsági és kapcsolati formájának leképezésével a digitális „informatikai világban“.
Az adatmodell egy fogalom, nem pedig egy termék Fogalmi adatmodell
A valós világ objektumainak azonosítása
Logikai adatmodell
A valós világ objektumaninak a felhaználás szempontjából releváns adatai alapán való azonosítása, definíciója.
Alkalmazott (fizikai) adatmodell
A logikai adatmodellstzámítástefhnikai megvalósítása valamely adatbázis kezelı rendszerben.
•7
•2011.06.27.
Adatmodellezés D om ovní přípojka
Stoka
O ddělo vací kom ora
Stoka
Valóság
Stoka
Stoka
p oklop
Stoka
poklop
Výusť
Uzel
Sekce
Fogalmi adatmodell Spoj Stoka
Stoka
Logikai adatmodell Šachta
Oddělovací kom ora
Stoka
Stoka
Stoka
Šachta Dom ovní Přípojka
Komplex víziközmő rendszerek “A rendszert egy sor, egymással kapcsolatban lévı, egységet alkotó és feladattal rendelkezı komponensként jellemezhetjük. Ezt a feladatot egyik komponens sem képes önállóan ellátni, hanem csak a többi komponenssel együtmmőködve. (Probs 1988)”
Domain
Action Physica l e lements Elements Environment
Vízgyőjtı
Városi csatornázás Ivóvízellátás telekommunikáció szállítás
Szennyvíztelep Víellátó hálózat
Üzemeltetés & fenntartás
Csat. hálózat
Supply & Drainage system
Menedzsment & tervezés
Szennyvíztelep
Józan ész
Natural Environment Szabályok, szabályozás & jogszabályok
Befogadó
Objektumok fogalmi adatmodellje Befogadó részrendszer
Komplex Csatornarendszer
Csatornázás részrendszer
Csomóp. Létra
Bench
Elektr. egység
Csı
Bank
Flood plain
Szelep
Zsilip
Sziv.
Bukó
Bújtató
Házi bekötés
Ejtıakna
Fojtó csı
Sluice
TV kamera ellenırzı Hozammérı
Valve
Rekonstrukciós helyszín
Gate
Culvert Node
Infiltration area
Catchment
Csomópont Rendszerhiba helye
Weir Bed drop
Industrial effluent
Household
Emergency overflow
Visual inspection site
Pump
Szintmérı Complex WWTP structure
WWTP part structure
Csap. adat Mintavevı
Pond
Line
Komplex Üzemelési rendszer
Cél objektum
Komplex Monitoring rendszer
Joint Hydraulic river structure
Szennyvíz terhelés
Védıtáv.
Section
Dam
Arc
Helyi szabvány
Idısor kezelés
Víz. adat
Riverbed section
Dry Polder
Ülepítı tározó
Kifolyás
Hozam adat
Water take-off
Mőtárgyak Szerelvények berendezések
Z.kiömlı
Tározó
Vízáll. adat
Limnigraph station
Csatl.
Komplex szabályozók
Korlátozás
Node Swimming area
Akna
Átemelı
Lit
Komplex Befogadó rendszer
Szakasz
Csap. mérı
Komplex Tervezési rendszer
Node Görbe
Ladder
Electric unit
Pipe
Section
Manhole Joint
Cél objektum Vonal
Csatorna beruházás
Víz ell. szervezet
Csatornázási terület
Védett terület
Vízfolyás beruházás
Szennyvíz ellenırzır szervezet
Lakósőrőségi területek
Urbanizált terület
Kataszter
Besziv. zóna
Szv.telepi beruházás
Helyi hatóságok
Screens
Lit
Pump station
Outlet
Sedimentation tank
Retention tank
Sludge tank
Activation tank
Hydraulic WWTP structure
Valve
Diverting structure
Inverted siphon
Pump
Drop
Gate
Weir
Throttling pipe
•8
•2011.06.27.
Adatmodell (ESRI)
MIKE URBAN – alkalmazás Info MapView I. ToC MapView II.
Long Prf
Editors
TS graph
Mike Urban – adatintegráció
Idısorok
Szerkezeti adatok Geometriai adatok Fı eredmények
Egyéb rétegek
ArcMap ArcCatalog ArcToolbox
•9
•2011.06.27.
MIKE URBAN felépítés
ArcGIS A térbeli információk létrehozására és kezelésére. ArcSDE
ArcIMS
A több felhasználós adatbázis kezelés megvalósítására.
Információk megosztása és publikálása az Interneten.
MIKE URBAN felépítés
A MIKE URBAN az ESRI ArcObjects technológia alkalmazásán alapul
MIKE URBAN felépítés Az adatkezelés lehetséges az egyedi felhasználó saját adatbázisával (Microsoft Access) és több felhasználós (Oracle) adatbázissal
•10
•2011.06.27.
Felépítés
ArcMap
MIKE URBAN
ArcObjects Based on ESRI ArcGIS ® technology A fully object oriented COM architecture
GeoDatabase A geoadatbázis a térgeometriai adatok tárolója. Minden adatot a szabványos DBMS-ben kezelnek, a táblázatok a szabványos SQL adattípusoknak megfelelıek.
A MIKE Urban felépítése
ArcMap
MIKE URBAN
ArcObjects Based on ESRI ArcGIS ® technology A fully object oriented COM architecture
GeoDatabase A MIKE URBAN lehetıvé teszi az adatok széles körével való munkát egy egységes felületen. Az adatokat megjelenítheti és kezelheti az ArcCatalog-gal.
Az integrált adatkezelés elınyei o o o o o o o o
Az adatokat egységben látjuk Rugalmas döntéshozási folyamat A kommunikáció nyelve egyszerősödik Megtakarítások az import/export technikák frissítésében Az informácivesztés és az adatkettızés megszüntetése Adatmegosztás és párhuzamos adatkezelés Megtakarítások az alkalmazások fejlesztésénél Függetlenedés az eladó technológiájától
Könnyen hozzáférhetı adattároló, többszörös felhasználó és hosszú élettartam függetlenít az adatkezeléstıl, és a tervezési és menedzsment folyamatok információ forrásaként szolgál.
•11
•2011.06.27.
Kockázatok az integrált adatkezelésben Az emberi tényezı
(szakértıi csaport, generációs probléma)
Szervezeti gátak (vállalat szervezeti felépítése, személyek, piac) Alkalmazási lehetıségek
(hatékony adat hasznosítás)
Tervezési hatékonyság
A tisztán technikai megoldás ILLÚZIÓ „Az Információ-technológiára alapozott változtatás hatékony a technológiában, az üzleti folyamatokban és a szervezeteknél.
Inf.techn. illúzió
Folyamat automatizálás
Az adatok felhasználásának gyenge pontjai
1. Ha az adathasználatban csak valamely speciális feladatra koncentrálunk -
Szimulációs modell, GIS
2. Csak a rutin feladatokhoz tartozó adatokra koncentrálunk –
különbözı igényő és tartalmú adathalmazok
3. Erıs felhasználó-személy és/vagy technológia függıség -
Adatkezelés és értelmezés
-
Egyéni adatszerkezetek, nagyszámú programozási interfész
Következtetések o A víziközmővek modern menedzselése és a tervezési folyamatok nem végezhetık el a bonyolult információtömeg ismerete nélkül. Az adatok jelenlegi állapota azonban nem felel meg az ehhez szükséges igényeknek. o A jelenlegi adatkezelés nem hatékony,idıtrabló és nagy valószínőséggel random, illetve szisztematikus hibákat visz hosszútávon a folyamatba. Az ilyen adatok a döntéshozókat hibás döntésekhez vezetik. o Az adatok szervezésében javulást csak az Integrált Adatkezeléssel érhetünk el. Az adatok integrálása olyan homogén adatkörnyezetben lehetséges, amelyre a könnyő hozzáférhetıség, a többszöri felhasználhatóság és a hosszú élettartam jellemzı, függetlenül az adatkezelés technológiájától. o Az integrált adatkezelés alapvetı technológiai feltételeit az adatmodell megfelelı dokumentálásával teremthetjük meg, azonban az alkalmazás sikerességéhez a felhasználók és a mőködtetı szervezet megfelelı felkészítése is szükséges.
•12
