Folyamatosan változó mennyiségek feldolgozása I. 6. előadás
1
Tartalom • • • • • • •
folyamatosan változó mennyiségek sztochasztikus folyamatok mintavételezés LKN kollokáció geostatisztika, krigelés szűrések interpolációk 2
Példák folyamatosan változó mennyiségekre A mérési eredmények a véletlenen kívül egy vagy több folyamatosan változó fizikai jellegű mennyiségtől is függnek • GNSS mérések (hely, idő) • Nehézségi gyorsulás-mérés (hely, esetleg idő) • Mérnöki szerkezetek mozgásvizsgálata (idő, esetleg teher) • Digitális képfeldolgozás (hely) • Térinformatikai rendszerek attribútumai (hely, idő) 3
Ionoszféra mentes GNSS kódmérés kombináció Forrás: ESA Navipedia
4
Maradék nehézségi rendellenességek idősorai: Bad Homburg (piros), Medicina (zöld) és Wettzell (kék) 2000–2007 között Forrás: Wziontek et al. (2009)
5
6
7
A sztochasztikus folyamatok • a mérési eredmény értékét a véletlenen kívül más tényezők is befolyáslják: – például a híd egy pontjának magasságát befolyásolják a hídon áthaladó autók
• definíció: ξ(ω,t), ω Î Ω, t Î T. • A sztochasztikus folyamatok realizációja: ω rögzített, t befutja a T halmazt: ξ(t) függvény : egy autó áthaladásakor a híd egy pontjának magassága (t az autó helyzete)
Ω : eseménytér, elemi események halmaza • rögzített t0 : ξ(ω,t0) valószínűségi változó: az autó kiválasztott helyzetéhez tartozó magasságok több áthaladás esetén 8
Realizációk
sztochasztikus folyamat 5 különböző realizációja
9
A sztochasztikus folyamatok • t vektorváltozó: ξ(ω,t) véletlen mező - pl. két autó helyzetét vizsgáljuk: t = (t1, t2)
• ξ vektorfüggvény:
– ξ(ω,t) sztochasztikus vektorfolyamat – pl. a híd két pontját vizsgáljuk egy időben egy autó áthaladásakor – ξ(ω,t) véletlen vektormező – pl. a híd két pontját vizsgáljuk egy időben két vagy több autó áthaladásakor
• diszkrét és folytonos sztochasztikus folyamatok • A sztochasztikus folyamatok jellemzői: – Első, másod, harmad…rendű eloszlásfüggvények – Térátlag – Auto- és keresztkorrelációs függvények 10
Eloszlásfüggvények • ξ(ω) val. változó eloszlásfüggvénye
• ξ(ω,t) jellemzéséhez: – – – –
ξ(t1) eloszlása, [ξ(t1), ξ(t2)] együttes eloszlása, [ξ(t1), ξ(t2), ξ(t3)] együttes eloszlása, [ξ(t1), ξ(t2), ξ(t3), ...] együttes eloszlása
szükséges a t értékek minden véges részhalmazára! ezeket első-, másod-, ... rendű eloszlásfüggvények írják le 11
Első-, másod-, harmad-, stb. rendű eloszlásfüggvények • F1(x1, t1) = P[ξ(t1) ≤ x1] elsőrendű, • F2(x1, t1; x2, t2) = P[ξ(t1) ≤ x1, ξ(t2) ≤ x2] másodrendű, ... eloszlásfüggvények írják le a sztochasztikus folyamatot
12
Térátlag • valószínűségi változó várható értékével analóg mennyiség • ξ(t1), ξ(t2), ... minták alkalmas f függvényének a térátlaga: M{f } = M{f [ξ(t1), ξ(t2), ...]} = ∫∫...∫ f(x1, x2, ...) dF(x1,t1; x2,t2; ...)
13
Auto- és keresztkorreláció függvények • rxx(t1, t2) = M[ξ(t1)ξ(t2)] auto-, • rxy(t1, t2) = M[ξ(t1)η(t2)] keresztkorreláció függvények jellemzik a sztochasztikus folyamatot
14
A sztochasztikus folyamatok néhány fontos fajtája • Stacionárius folyamatok • Ergodikus folyamatok (bármelyik realizáció meghatározza a folyamatot) • Gyakran alkalmazott sztochasztikus folyamat típusok: – Gauss-folyamat (az eloszlások minden rögzített t értékre normálisak), – Markov folyamat, – Poisson folyamat. 15
Stacionárius folyamatok • A folyamathoz tartozó eloszlások egyike sem változik meg akkor, ha t helyébe t + t0 lép (időponttól független jellemzés adható) · n-edrendű eloszlások csupán n–1 számú különbségtől függenek: τ1= t2 – t1 , τ2= t3 – t1 , ..., τn-1= tn – t1 16
Stacionárius folyamatok • Stacionárius folyamatok térátlagai állandók • Korrelációfüggvények csak a τ = ti – tk különbségektől függenek: rxx(τ) = M[x(t)x(t+τ)] rxy(τ) = M[x(t)y(t+τ)] 17
Tapasztalati autokorreláció
18
Tapasztalati keresztkorreláció
19
Mintavételezés és empirikus jellemzők – Detrekői 3.7 • Mintavételezés folytonos sztochasztikus folyamatokból. – A Dirac-féle „deltafüggvény”. – Nyquist-feltétel.
• A sztochasztikus folyamatok empirikus jellemzői: – Térátlag, – Időátlag, – Korrelációs függvények. 20
Mintavételezés ¥
¥
-¥
g = -¥
ò x (t ) d (t - T )dt = å x ( g ×t ) × d (t - g ×t ) = x m ( g ×t ) T: mintavételi távolság g: egész szám δ: Dirac-féle „deltafüggvény”
21
2D mintavételezés eredménye
22
Nyquist-feltétel ¥
F (u ) = ò x (t ) e dt iut
-¥
Fourier-transzformált (frekvenciaspektrum)
F (u ) = 0, ha u > uh
sávkorlátos függvény uh határfrekvencia
Nyquist-feltétel:
1 t£ 2uh Az előforduló legnagyobb frekvencia minden periódusára legalább két mintavételi helynek kell esnie. 23
Nyquist-feltétel következményei • Ismeretlen analóg jelet mintavételezés előtt a Nyquist-frekvenciának megfelelő aluláteresztő szűrővel kell szűrni • Adatrendszer ritkítása csak aluláteresztő szűrés mellett megengedett
24
Átlapolódás (aliasing) elégtelen mintavételezés eredménye
hamis alacsony frekvenciás minták megjelenése a képen
Moiré - minták 25
A folyamatosan változó mennyiségek feldolgozásának esetei • A sztochasztikus folyamatok felbontása: – Trend – Jel – Zaj
• Trend + jel + zaj: legkisebb négyzetek módszerén alapuló kollokáció, geostatisztika, • Jel + zaj: szűrések, • Jel: interpolációk 26
Legkisebb négyzetes (LKN) kollokáció • statisztikai megfontolásokon alapuló eljárás • Moritz (1963) és Krarup (1969) az eljárás alkalmazásának úttörői • előnye – statisztikailag jól megalapozott eljárás
• hátránya – nagy számításigény 27
Matematikai modell • modell – az x mérési eredmény három különböző részből tevődik össze:
x = AX + s + n
– AX trend – s jel (a mért pontokban jele: t) – n zaj (csak mért pontokban) n AX s
28
Lépések –> Detrekői 7.3 • • • •
trend függvény megválasztása jeleket jellemző kovariancia mátrixok felvétele zajokat jellemző kovariancia mátrix felvétele trendfüggvény paramétereinek meghatározása LKN módszerével • jelek értékének meghatározása – a mért pontokban – a nem mért pontokban
• a levezetett mennyiségek kovariancia mátrixainak meghatározása 29
A véletlen mennyiségek vektora • Kombináljuk az összes véletlen jellegű mennyiséget egy m+q méretű v vektorba:
[
ésù v = ê ú = s1 s2 K sm ën û
n1 n2 K nq
]
• Ez tartalmazza t -t, ha m>q és s-nek első q komponense azonos t-vel: ét ù s=ê ú ëu û
30
A véletlen mennyiségek kovariancia mátrixa • ha a jel és a zaj korrelálatlanok, v kovariancia mátrixa blokk-diagonális:
• inverze:
éCss Cvv = ê ë0 éC C =ê ë 0 -1 vv
-1 ss
0 ù ú Cnn û 0 ù -1 ú Cnn û
31
LKN kollokáció alapgondolata • az X paraméterek optimális becslése és a nem mért pontokban az s jelre végzett predikció a jel és zaj egyszerre történő minimalizációjával érhető el: -1 vv
-1 ss
-1 nn
v C v = s C s + n C n = min T
T
[
T
ésù v = ê ú = s1 s2 K sm ën û
n1 n2 K nq
] 32
A minimalizációs probléma megoldása • megoldás Lagrange-féle multiplikátor módszerrel • jelölések: é Ctt Css = ê ëCut
Ctu ù Cuu úû
é Ctt ù Cst = ê ú = Css U T ëCut û
t = Us = [ { I { 0 ]s q m-q
C = Ctt + Cnn 33
Optimális becslések • a paraméterekre: -1
-1
-1
X = ( A C A) A C x T
T
• a jelre a nem mért pontokban (interpoláció vagy predikció): -1
s = Cst C ( x - AX ) 34
LKN kollokáció esetei • trend zérus, mérések hibátlanok: interpoláció (predikció) • a trend zérus, a mérések nem hibátlanok: szűrések ezekkel később foglalkozunk majd 35
Geostatisztika (Detrekői – Szabó: Térinformatika) Statisztika • Valószínűségi változók • Független mintavétel
Geostatisztika • Helyfüggő (regionalizált) változók • A minta adatai nem függetlenek egymástól 36
Változók Valószínűségi változó Elemi események halmazán értelmezett valós értékű függvény
Helyfüggő változó Térbeli eloszlású valószínűségi változó, amely strukturált és eratikus tulajdonsággal rendelkezik
Helyfüggő változó A tekintett jelenséget kifejező helyfüggő változót az ezen a jelenségen létrehozott valószínűségi 37 függvény egyedi realizációjának tekintjük.
Geostatisztika, kri(e)gelés • speciális szűrési és interpolációs eljárások – elsősorban a földtudományok terén alkalmazzák – elvi alapok: Matheron – gyakorlati alkalmazás: Kriege („krigelés”)
• trend, jel és zajfüggvények – Z(x) értékek diszkrét pontokban ismertek – D(x) trend, s(x) jel, n(x) zaj Z(x) = D(x) + s(x) + n(x) 38
Trend, jel, zaj
x lehet 1, 2, vagy 3 változós
39
Trendfüggvények • átlag (vízszintes sík) D(x, y) = 1/N (ΣZ(x)) • ferde sík D(x, y) = a + bx + cy • bonyolultabb függvény (pl. ötödfokú polinom)
40
Jelfüggvények • szomszédos pontokhoz tartozó jelértékek nem függetlenek, a függőség mértéke: – c kovariancia vagy – g szemivariancia függvény
• stacionárius sztochasztikus folyamatok • izotróp (irányfüggetlen) – csak a d távolságtól függ: c(d), ill. g(d) g(d) = c(0) – c(d),
• várható értéke állandó 41
Kovariancia, szemivariancia
röghatás
[
][
1 N (d ) 1 N (d ) 2 g (d ) = å [Z ( X i ) - Z ( X i + d )] c(d ) = å Z(Xi ) - Z × Z(Xi + d) - Z 2 N (d ) i =1 N (d ) i =1 42
]
Szemivariancia függvények • maximális a hatástávolság
• gömbi modell 43
Zajfüggvények • az egyes mért pontokhoz tartozó zajértékek – egymástól függetlenek – v0 varianciával jellemezhetők
44
Krigelés lépései 1. trendfüggvény meghatározása – –
ismert pontokban mért Z értékek (regionalizált változó, gyengén stacionárius) ismeretlen trendfüggvény paraméterek becslése
2. tapasztalati szemivariancia függvény meghatározása –
zi = Zi – Di különbségértékek alapján
3. ismeretlen pontokban zP értékek számítása –
ismert pontokban felvett értékek súlyozott számtani közepeként 45
1. Trendfüggvény meghatározása • •
A alakmátrix felírása az ismert pontokhoz tartozó Zi értékek alapján C kovarianciamátrix felírása: – főátlóban: v0 + c(0) – főátlón kívül: c(d)
•
p ismeretlen trendfüggvény paramétervektor becslése: (A C-1 A) p = (A C-1 Z) 46
2. Szemivariancia függvény meghatározása • •
zi = Zi – Di különbségértékek alapján egymástól azonos d1, …, dk távolságra levő pontpárokat választunk ki – megkapjuk a tapasztalati szemivariancia függvényt
•
valamilyen modellfüggvényt illesztünk a tapasztalati függvényre 47
3. zP értékek becslése •
az ismert pontokhoz tartozó zi = Zi – Di különbségértékek alapján, súlyozott számtani közepet számítunk a nem mért P pontban: zP = Σ(wi zi)
•
a wi súlyokat a
Σwi = 1 Σwi g(di) + F = min •
feltételek melletti feltételes szélsőérték-feladat megoldásaként kapjuk 48
wi súlyok meghatározása •
•
• • •
B mátrix előállítása a g(di) ismert pontok közötti szemivarianciákból és a feltételekben szereplő 1 értékekből b vektor előállítása a az ismert és ismeretlen pontok közötti szemivarianciákból és a feltételben szereplő 1 értékből u megoldás számítása: u = B-1 b u elemei: ismeretlen wi súlyok, a feltételes szélsőértékben szereplő F érték ZP számítása: ZP = DP + zP, ahol zP = Σ(wi zi) 49
Néhány krigelési megközelítés •
Hagyományos krigelés (OK) – –
•
Egyszerű krigelés (SK) – –
•
az átlag ismeretlen, de ismert alakú trend mentén változik
Ko-krigelés –
•
a súlyok összege tetszőleges igényli az átlag ismeretét
Krigelés trend modellel (TK) –
•
súlyok összege 1 nem igényli az átlag ismeretét
valamely tulajdonság pontbeli becslését egy másik tulajdonsággal való regressziós kapcsolatával javítjuk
Indikátor krigelés (IK) –
feltételes eloszlásfüggvény becslése
50
Gyakorlati megoldások • Surfer
• QGIS (SAGA GIS) • R (gstat, geoR) • STK (Octave) 51
jövő héten: TDK konferencia 2 hét múlva: VizsgaZH előkészítés, ZH konzultáció
52
