AZ ELŐREJELZÉSEK BEVÁLÁSA, SZINOPTIKUS-KLIMATOLÓGIAI VIZSGÁLATOK Hirsch Tamás Előrejelzési és Éghajlati Főosztály, Időjárás Előrejelző Osztály Országos Meteorológiai Szolgálat
34. Meteorológiai Tudományos Napok
2008. november 20-21.
Az előadás vázlata Előrejelzések beválása – Szinoptikus-klimatológia Verifikáció haszna, jelentősége Verifikáció fajtái, eszközei IEO operatív verifikációs rendszere Egyéb verifikációs tevékenység az OMSZ-ban Szinoptikus-klimatológia: múlt és jelen Összefoglalás
Előrejelzések beválása – Szinoptikus klimatológia Előrejelzések beválásának meghatározása Időjárás előrejelzés (nyers numerikus modell output, utófeldolgozott modell output ill. szinoptikus előrejelzése) minőségének ellenőrzése ⇒ verifikáció
Verifikáció: Előrejelzett ⇔ Tényleges (???) megfigyelések, mérések pontossága, reprezentativitás…
Szinoptikus-klimatológia Szinoptikus skálájú folyamatok hosszabb időszakra vonatkozó, jelentős számú esetet feldolgozó elemzése
A szerzett ismereteket a közvetlen modell outputokkal kombinálva jelentős mértékben javítható a modellek által nehezebben prognosztizált időjárási helyzetek előrejelzése (extrém helyzetek, parametrizációs hibák, stb.)
Rövid és középtávú időjárás előrejelzések beválásának növelése
Verifikáció haszna, jelentősége
Előrejelzések gyakorlati felhasználhatóságának meghatározása átlagos beválás mértéke, jó-rossz beválások gyakorisága, előrejelezhetőség jelenlegi határai, stb. ⇒ Milyen célra milyen előrejelzések készíthetők különböző időtávokra ?
Előrejelzési módszerek fejlesztési irányának kijelölése alacsony beválású időjárási helyzetek, problémás meteorológiai folyamatok felderítésével
FEJLESZTÉS
Numerikus modellek analízis horiz. & vertik. felbontás fizikai parametrizációk
Utófeldolgozás Kalman-filter MOS Perfekt Prog.
Szinoptikus módszerek Numer. előrej. interpretációja Új előrejelzési produktumok Szinop-klimat vizsgálatok
Verifikáció haszna, jelentősége
Korábbi fejlesztések hatásának kimutatása ⇒ alacsony beválású helyzetek előrejelzése javult-e ⇒ trendek meghatározása és követése ⇒ esetleges újabb problémák felderítése
A verifikációs eredmények rendszeres, azonnali felhasználása ⇒ Azonnali visszacsatolás az operatív előrejelzők számára ⇒ Aktuális teljesítmény és esetleges modell problémák (elmúlt napokra jellemző)
⇒ Hozzájárul az operatív előrejelzői munka állandó javításához
Verifikáció fajtái, módszerei
Előrejelzés típusa közvetlen/utófeldolgozott numerikus modell output ⇔ szinoptikus előrejelzése magaslégköri mezők (pl. AT500, T500) ⇔ felszíni paraméterek (pl. T2m, szél10m)
Tényleges érték („a légkör valósnak tekintett állapota”) synop mérések, megfigyelések, sűrű állomáshálózat (pl. csapadékmérő) radar- és műholdas mérések, modell analízis
Előrejelzési időtáv ultrarövidtáv, rövidtáv, középtáv, havi és szezonális előrejelzések
Térskála pontbeli ⇔ területi (rácsdoboz, országrész, vízgyűjtő stb.) modellek: mérések felskálázása rácsdoboz szintre ⇒ reprezentativitás
Verifikáció fajtái, módszerei
Verifikálandó adatbázis felbontása (jellegzetes eltérések felderítésére) Időben: évek, évszakok, hónapok, hetek, stb. Térben: területek, országrészek, vízgyűjtők Időlépcső szerinti felbontás
Referenciához hasonlítás (előrejelzés mennyivel jobb ennél) klíma (modell klíma), perzisztencia (előző időszak), véletlen előrejelzés gazdasági haszon meghatározása
Objektív ⇔ Szubjektív verifikáció Objektív: pontos matematikai módszerekkel meghatározott mérőszámok Szubjektív: „szemmel” történik, jelentősen pontatlanabb, de: sokkal összetettebb lehet (több szempont együttes figyelembe vételével) bizonyos esetekben kiszűrheti az objektív verifikáció hibáit is!
Objektív verifikáció
Folytonos változók (pl. T, szélsebesség, csap.összeg) ME – átlagos hiba MAE – átlagos abszolút hiba MSE – átlagos négyzetes hiba RMSE – átlagos négyzetes hiba négyzetgyöke
+ referencia = skill score
SSME SSMEA SSMSE SSRMSE
Kategórikus események (pl. fagy / köd / viharos szél lesz ⇔ nem lesz, csapadékkategóriák, stb.) 2 kategória: 2 x 2-es kontingencia táblázat több kategória: n x n-es kontingencia táblázat FBI – Frequency Bias Index PC – Proportion correct POD – Prob. of Detection FAR – False Alarm Ratio
előrejelzett – megfigyelt párok kategóriánként (II,IN,NI,NN)
TS – Threat Score ETS – Equitable Threat Score TSS – True Skill Statistics ORSS – Odds Ratio Skill Score +…
Objektív verifikáció
Valószínűségi előrejelzések (szubjektív vagy statisztikai utófeldolgozáson alapuló vagy dinamikus (EPS) ) Reliability diagram (megbízhatósági diagram)
BS – Brier Score (~MSE) BSS – Brier Skill Score RPS – Ranked Prob. Score
megfigyelt relatív gyakoriság ⇔ előrejelzett valószínűség
ROC – Relative Operating Characterics ROCA – ROC görbe alatti területi ROC_SS – ROC skill score
FONTOS!!! Az egyes verifikációs mérőszámok az előrejelzés beválását csak egy adott szemszögből jellemzik, így önmagában egyik sem elegendő. Pontos következtetések levonásához minél több objektív mutató kiszámítására és együttes kiértékelésére van szükség.
Objektív ⇔ Szubjektív verifikáció Tényleges Előrejelzés I
Előrejelzés II
Hiba I
–
Jobb előrejelzés
Hiba II
MAE 3,5 mm
>
2,1 mm
–
RMSE
+ 7,2 mm
>
5,2 mm
„Dupla büntetés”
IEO operatív verifikációs rendszere
• Kódszerű •8
előrejelzések 6 körzetre JÓSVAFŐ
időszakra:
ZÁHONY
2
SZÉCSÉNY
1.éjszaka, 1.nappal, 2 – 7. nap
• 3 forrásból:
MMÓVÁR SOPRON GYŐR
6
KÉKESTETŐ TATA
VESZPRÉM
SZENTGOTTHÁRD
Szinoptikus (manuális) ALADIN (automatikus)
BUDAPEST
SÁRMELLÉK NAGYKANIZSA
5
3
1
DEBRECEN
SZOLNOK
AGÁRD
SIÓFOK
Z.EGERSZEG
NYIREGYHÁZA
EGER POROSZLÓ
PÁPA
SZOMBATHELY
MISKOLC
KECSKEMÉT
4
PAKS
BÉKÉSCSABA
SZEGED
TASZÁR BAJA PÉCS
ECMWF (automatikus)
Összehasonlítható prognózisok
Objektív verifikációs rendszer
IEO operatív verifikációs rendszere Példa kódolt előrejelzésre (2005.02.07.) OOKI HHNN
BBJJ
CCVW
SSSS
AALL
YYXX
1210 0207
0///
////
09//
0206
62//
1220 0207
0//1
////
05//
0207
65//
1230 0207
0//3
////
09//
0208
67//
1240 0207
03/3
////
09//
0207
65//
1250 0207
3//3
3/1/
09//
0206
63//
1260 0207
3//1
////
14//
0208
62//
1211 0207
0//1
////
09//
0206
//00
1221 0207
3/11
////
99//
0105
//51
1231 0207
3/32
////
99//
0105
//53
1241 0207
3/32
3/1/
09//
0206
//55
1251 0207
3/32
////
14//
0308
//53
1261 0207
0//1
////
14//
0409
//51
1212 0207
2//3
////
99//
0106
6151
1222 0207
2//3
////
99//
0106
6351
1232 0207
3/13
////
99//
0106
6654
1242 0207
3/13
////
99//
0106
6554
1252 0207
3/13
////
99//
0106
6453
1262 0207
2//3
////
99//
0106
6352
Előrejelzett elemek 1.éjszaka
1.nappal
2.nap
Borultság (kategóriák)
Jelenidő (csapadékon kívüli időkép)
Csapadékfajta
Csapadékmennyiség (kategóriák)
Csapadékvalószínűség (5/20 mm)
Szélirány
Átlagszél
Széllökés
Minimum hőmérséklet
Maximum hőmérséklet
IEO operatív verifikációs rendszere Objektív verifikáció
JÓSVAFŐ ZÁHONY
2
SZÉCSÉNY
• Tényleges adatok előállítása 6 körzetre (körzetátlagok a verifikált időszakokra)
MMÓVÁR SOPRON GYŐR
6
KÉKESTETŐ TATA
VESZPRÉM
SZENTGOTTHÁRD
• Szinop állomások
SÁRMELLÉK NAGYKANIZSA
• Előrejelzett – mért/megfigyelt értékpárok összehasonlítása, statisztikai mérőszámok
BUDAPEST
5
3
1
DEBRECEN
SZOLNOK
AGÁRD
SIÓFOK
Z.EGERSZEG
NYIREGYHÁZA
EGER POROSZLÓ
PÁPA
SZOMBATHELY
MISKOLC
KECSKEMÉT
4
PAKS
BÉKÉSCSABA
SZEGED
TASZÁR BAJA PÉCS
Statisztikai mérőszámok Verifikált elemek
ME – átlagos hiba MAE – átlagos abszolút hiba
Minimum / maximum hőmérséklet Csapadékmennyiség / egzisztencia / valószínűség
RMSE – átlagos négyzetes hiba négyzetgyöke
Felhőzetmennyiség
PC – pontos előrejelzések aránya
Átlagszél / széllökés
BIAS, POD, FAR, TS, BS, BSS, hibaeloszlások, …
IEO operatív verifikációs rendszere Komplex mérőszám – prognózisok összteljesítménye Mérőszám
100%
0%
Min/Max hőmérséklet
RMSE
0 °C
8 °C
Csapadék egzisztencia
PC
100%
0%
Csapadék mennyiség
MAE
0 kateg.
1.6 kateg.
Átlagszél
RMSE
0 m/s
6 m/s
Széllökés
RMSE
0 m/s
10 m/s
Felhőzet
RMSE
0 okta
6 okta
-
100 %
0%
Komplex mérőszám 25
25
25
Súlyozás
20
17,5
15
%
12,5
Hőmérséklet 25+25% Csapadék
10 10
Szél
6
22,5% 10%
4
5
Felhőzet
0 Tmin
Tmax
CsapEgz
CsapMenny
Átlagszél
Széllökés
Felhőzet
17,5%
IEO operatív verifikációs rendszere - eredmények Komplex mérőszám 2008. 01.01 - 10.31. 85
Szinoptikus
ECMWF
ALADIN
80
75 % 70
65
60 1.éjszaka
1.nap
2.nap
3.nap
4.nap
5.nap
6.nap
Szinoptikus javított minden időlépcsőben (egyéb modellek, ECMWF ensemble és szinoptikus-klimatológiai ismeretek)
IEO operatív verifikációs rendszere - eredmények °C 2,5
°C 2,5
Minimum hőmérséklet (MAE) - 2008 Sz
EC
Sz
AL
2,0
2,0
1,5
1,5
1,0
1,0
0,5
0,5
1.nap
2.nap
3.nap
4.nap
5.nap
AL
Szinoptikus:
Csapadék egzisztencia (PC) - 2008 Sz
EC
AL
60,0 40,0 20,0 0,0 1.éj
okta 1,6 1,4 1,2 1,0 0,8 0,6 0,4 0,2 0,0
Sz
EC
AL
m /s 3,0 2,5
1,0
2,0
0,8 0,6
1,5
2.nap
3.nap
4.nap
5.nap
6.nap
Felhőzet (MAE) - 2008 Sz
1.éj
1.nap 2.nap 3.nap 4.nap 5.nap 6.nap
Átlagos szélsebesség (MAE) - 2008
1,2
1.nap
6.nap
80,0
m /s 1,4
EC
0,0
0,0
% 100,0
Maximum hőmérséklet (MAE) - 2008
EC
AL
1.nap 2.nap 3.nap 4.nap 5.nap 6.nap
Maxim ális széllökés (MAE) - 2008 Sz
EC
AL
1,0
0,4
0,5
0,2 0,0
0,0
1.éj
1.nap 2.nap 3.nap 4.nap 5.nap 6.nap
1.éj
1.nap 2.nap 3.nap 4.nap 5.nap 6.nap
ALADIN: átlagos szélsebesség
Tmin, Tmax, összfelhőzet, maximális széllökés
IEO operatív verifikációs rendszere - trendek Komplex score havi értékek 1.nap
Szinoptikus
ECMWF
ALADIN
6 havi mozgó átlag (Sz)
6 havi mozgó átlag (EC)
6 havi mozgó átlag (AL)
85,00 82,50 80,00 77,50 75,00
% 72,50 70,00 67,50 65,00 62,50 2001
2002
Tartós hófelszín
2003
2004
2005
2006
Hidegpárna
2007
2008
IEO operatív verifikációs rendszere – szisztematikus hiba Az 1.napra szóló minimum hőmérséklet előrejelzések átlagos hibája körzetenként az ALADIN, ECMWF és a Szinoptikus esetén (havi átlagok) 2003 4
2 1
Tmax
Tmax
Tmax
Napi hőingás alábecslése
Tmax
0 -1
Tmin
Tmin
Tmin
Tmin
-2
Május
Június
Július
Augusztus
2004
-3 -4
Hőmérsékleti hiba (°C)
Hőmérsékleti hiba (°C)
3
3,5 3 2,5 2 1,5 1 0,5 0 -0,5 -1 -1,5 -2 -2,5 -3
Augusztus
Július
Június
Tmax
Tmax
Tmax
Tmin
Tmin
Tmin
IEO operatív verifikációs rendszere - eredmények Különbség a szinoptikus és a modellek között az 1. napra vonatkozó komplex mutató értékében 2007-ben 40 35 30 25
Szinoptikus - ECMWF Szinoptikus - ALADIN 14 napos mozgó átlag (SZ - AL) 14 napos mozgó átlag (SZ - EC)
Hidegpárna nagy hasonlóság a 2004 decemberihez
20
%
15 10
(modell parametr. jelentős javítása ellenére)
5 0 -5 -10 -15 -20 jan.
febr. márc.
ápr.
máj.
jún.
júl.
aug.
szept.
okt.
nov.
dec.
ALADIN: szignifikánsan jobban teljesített az ECMWF-nél!!!
2008/2009 ?
Egyéb verifikációs tevékenység az OMSZ-ban Repülésmeteorológia
TAF táviratok összesített, illetve elemenkénti beválása - 2007 TAF beválás 100
Lökés
Sebesség
Látás 99
98
97
96
95
93
94 92
91
90
90 85
Irány
87
87 85
84 82 80
80
87
87 83
82 7979
78
% 75
76 75 74
78
75
91 89
91 8585
85
89
88
87
86 84 81
79 77
94 89
86
84
94 92
90
85
85
83
83 81
80 79
85
82
80
79
77 74
7373
71
70 65 60
58
55
Balatoni viharjelzés
A kiadott másodfokú viharjelzések hibáinak értékelése 2007
25
10 9
nyugati m.
8
keleti m.
7
Velencei-tó
6 5 4 3
nyugati m. keleti m.
20 esetszám db.
esetszám db.
éves átlag
A kiadott elsőfokú viharjelzések hibáinak értékelése 2007
december
november
október
szeptember
augusztus
július
június
május
április
március
február
január
50
Velencei-tó 15
10
5
2 1
0
0 túlbiztositott
óvatos
elhamarkodott
elkésett
elmulasztott
túlbiztositott
óvatos
elhamarkodott
elkésett
elmulasztott
Egyéb verifikációs tevékenység az OMSZ-ban
Évszakos előrejelzések
Egyéb verifikációs tevékenység az OMSZ-ban
OVISYS Numerikus Modellező és Éghajlat-dinamikai osztály
Szinoptikus-klimatológia: múlt és jelen
Kárpát-medence („hegyekkel körülzárt” terület) Kiemelkedő jelentőségű a szinoptikus-klimatológiai vizsgálatok szerepe Péczeli György A Kárpát-medencére vonatkozó makroszinoptikus helyzetek
Bodolainé Jakus Emma A Duna és a Tisza vízgyűjtő területén árhullámot okozó időjárási helyzetek
Számos vizsgálat kiinduló pontját jelentik
Jelen Több rendelkezésre álló adat (hosszabb idősorok, reanalízis mezők) Jobb technikai feltételek (könnyebb adatfeldolgozás) Numerikus előrejelző modellek szinoptikus skálán igen jó beválást mutatnak Lehetőség újabb, részletesebb vizsgálatokra, melyek eredményeinek felhasználásával jelentősen növelhető az előrejelzések beválása
Szinoptikus-klimatológia: múlt és jelen Hidegpárnás helyzetek (Polgár Attila, 2003) Felszíni szélirány hidegpárnás esetekben
Lokális hőm érsékleti advekció feloszláskor
30.0 315 20.0 10.0 270 0.0
relatív gyakoriság (%)
80.0 Budapesti nagy havazások (Babolcsai György, 2004) 0
45
60.0
40.0 Extrém hideg helyzetetek és a hótakaró (Reisz András, 2005) 40 20.0
Ónos esős helyzetek (Gaál Áron, 2005) 135 0.0 925 hPa
Magasság [m]
2000 180
-25
35
1600
30
Hóvastagság (cm)
225
90
900 25 hPa
20 -8.0 - -4.0 15
850 hPa -4.0 - 0.0
0
1200
500 hPa
> 0.0
Téli, nagy ,csapadékos helyzetek (Hirsch Tamás, 2006) 10 5
-20
700 hPa
-15
-10
-5
0
Minim um -hőm érséklet (°C)
800
400 [0,1; 1]
[1,1; 2]
[2,1; 3]
[3,1; 4] o
Hőmérsékleti kategóriák [ C]
[4,1; 5]
Összefoglalás
A verifikáció nélkülözhetetlen az előrejelzések fejlesztése szempontjából
Minél több verifikációs mérőszám együttes kiértékelése szükséges
Objektív verifikáció mellett szükség van szubjektív verifikációra is
OMSZ Időjárás Előrejelzési Osztály operatív verifikációs rendszerének bemutatása és bepillantás az OMSZ egyéb verifikálási tevékenységébe
Szinoptikus-klimatológiai vizsgálatok nem csak a múlt, hanem a jelen és a jövő eszköze is (eredmények beépítése az operatív előrejelzői munkába)
Köszönöm a figyelmet!
