Fél évtized verifikációs eredményeinek összefoglalása

1. Bevezetés

 

A szupercella.hu konvektív előrejelzéseinek verifikációját - más szóval az előrejelzés beválásának monitorozását, ellenőrzését - 2014-ben kezdtük el. Öt év alatt elég sok adat gyűlt össze ahhoz, hogy összegezzük a statisztikákat, eredményeket.
Célunk továbbra is az, hogy az előrejelzéseinket magas színvonalon tartsuk, és ha van rá lehetőség, tovább javítsuk a beválásukat.

 

2. Az előrejelzendő események előfordulása, kiadott előrejelzések száma

 

Az első fejezetben az előrejelzendő zivatartípusokat, heves konvektív eseményeket összegzem. Fontos megemlíteni, hogy a táblázatokban a napok száma áll, tehát ha egy napon például több tornádó is volt, akkor az is egy napnak számít. Tehát az alapegység egy nap - ahogyan az előrejelzést is általában egy napos időtartamra adjuk ki.
Az előrejelzendő eseményeket a következő napokon figyelték meg:
 

Év 2014 2015 2016 2017 2018
Villámárvíz 19 22 25 31 44
MKR 37 37 34 33 49
Bow echo 7 5 7 10 11
Szupercella 36 25 28 38 22
Heves jégeső 12 16 17 26 30
Szignifikáns jégeső 0 0 2 6 4
Heves szélvihar 8 12 9 23 9
Szignifikáns szélvihar 0 2 1 8 1
Mezociklonális tornádó 0 0 0 1 0
Nem-mezociklonális tornádó 7 1 3 7 5

 

Az előrejelzési napok száma:

 

Év 2014 2015 2016 2017 2018
Villámárvíz 36 22 33 28 14
MKR 26 21 28 29 10
Bow echo 4 3 6 14 5
Szupercella 30 31 35 42 17
Heves jégeső 27 19 16 26 17
Szignifikáns jégeső 0 0 0 2 2
Heves szélvihar 24 19 16 29 15
Szignifikáns szélvihar 0 0 2 3 1
Mezociklonális tornádó 19 11 15 18 3
Nem-mezociklonális tornádó 21 10 19 21 9

 

A BIAS egy arányszám, ami az előrejelzések száma osztva a ténylegesen bekövetkezett eseményekkel:

 

Év 2014 2015 2016 2017 2018
Villámárvíz 1.89 1.00 1.32 0.90 0.32
MKR 0.70 0.57 0.82 0.88 0.20
Bow echo 0.57 0.60 0.86 1.40 0.45
Szupercella 0.83 1.24 1.25 1.11 0.77
Heves jégeső 2.25 1.19 0.94 1.00 0.57
Szignifikáns jégeső     0.00 0.33 0.50
Heves szélvihar 3.00 1.58 1.78 1.26 1.67
Szignifikáns szélvihar   0.00 2.00 0.38 1.00
Mezociklonális tornádó       18.00  
Nem-mezociklonális tornádó 3.00 10.00 6.33 3.00 1.80

 

A táblázatból az látszik, hogy vannak események, amelyeknél tipikusan kevesebbszer adunk ki előrejelzést, mint ahányszor bekövetkezik (MKR, bow echo). Ez részben azért van, mert az adott esemény kialakulását nem vesszük számításba az adott napon, így nem is említjük meg az előrejelzésben, vagy pedig a másik eset, amikor megvizsgáljuk, de nem tartjuk valószínű veszélyforrásnak, és utólag aztán meglepetésként ér minket (pl. szignifikáns jégeső).
Azoknál az eseményeknél, ahol többször adunk ki előrejelzést, ott túlbiztosítás történik. Tehát inkább legyen megemlítve az előrejelzésben, mint elmulasszunk egy megtörtént eseményt (pl. szélvihar, jégeső, tornádó). Ez a tornádó előrejelzésénél a legszembetűnőbb. Ezért itt alkalmazunk valószínűségi előrejelzést is - ha várható tornádó, akkor további 3 kategóriába soroljuk be az adott napot (T1-T3), amelyek növekvő valószínűséget jelölnek, valamint ha nem várható, akkor T0-át adunk a napra. Ennek eredményeiről a 4. fejezetben írok bővebben.
Sok eseménynél a BIAS csökkenő tendenciát mutat az évek előrehaladásával, ennek okairól a Konklúzió fejezetben beszélek.

 

3. Verifikációs mérőszámok

 

Az előző szekcióban tárgyalt egyszerűbb statisztikák, merőszámok mellett léteznek komplexebb indikátorok is. Ezekről bővebben ebben a cikkben nem beszélek, csak az eredményeket vázolom fel. A mérőszámokról részletes leírás a következő linken található: Előrejelzések verifikációja I.

A következő ábrában összehasonlítottam mind a 10 fajta előrejelzendő eseményt true positive rate (TPR) és false positive rate (FPR) szempontjából. Az 5 év mérőszámait egy ábrára tettem, ezzel segítve az összehasonlíthatóságot, az áttekinthetőséget viszont picit rontva:

Több eseménynél is megfigyelhető, hogy egy kupacban vannak a mérőszámok (pl. MKR), mások jobban szóródnak. A szignifikáns heves események a kis előfordulás miatt az ábra bal felére koncentrálódnak. Ugyancsak ezeknél az eseményeknél, illetve a tornádóknál láthatunk TPR=1-es kiugró értékeket (amikor azt az 1-2 előfordulást sikeresen előre is jeleztük).

Az előző ábrához haonlóan elkészítettem a PPV-FOR ábrát:

Szemléltetve az események előfordulását is az adott évben, illetve referenciaként, a pontokat összekötöttem a fekete vonallal, ami főátlót reprezentálja. A vonalaknak az (1,0) pont felé kell mutatniuk, és ahhoz minél közelebb kell végződniük, hogy az előrejelzés jobb legyen.
Ezen az ábrán már explicitebben látszanak a kis előfordulású események bal oldalt (tornádók, szignifikáns események), míg a gyakoribb események (MKR, szupercella, villámárvíz) inkább a jobb oldalra koncentrálódnak.

Ha a fenti, még mindig meglehetősen sok információt jobban össze szeretnénk vonni, meghatározhatjuk az Informedness, Markedness mérőszámokat, amelyek tulajdonképpen a TPR-FPR, valamint a PPV-FOR különbségek.

Az Informedness:

Év 2014 2015 2016 2017 2018
Villámárvíz 0.54 0.38 0.67 0.59 0.20
MKR 0.53 0.43 0.61 0.66 0.12
Bow echo 0.13 -0.02 0.26 0.34 0.26
Szupercella 0.49 0.68 0.53 0.74 0.36
Heves jégeső 0.38 0.50 0.49 0.55 0.21
Szignifikáns jégeső     0.00 0.16 0.24
Heves szélvihar 0.39 0.51 0.61 0.76 0.38
Szignifikáns szélvihar   0.00 0.99 0.24 1.00
Mezociklonális tornádó       0.91  
Nem-mezociklonális tornádó 0.33 -0.05 0.23 0.33 0.16

 

A Markedness:

 

Év 2014 2015 2016 2017 2018
Villámárvíz 0.32 0.38 0.54 0.64 0.51
MKR 0.71 0.69 0.71 0.73 0.46
Bow echo 0.22 -0.03 0.31 0.25 0.56
Szupercella 0.56 0.57 0.45 0.69 0.45
Heves jégeső 0.18 0.43 0.51 0.55 0.34
Szignifikáns jégeső       0.47 0.48
Heves szélvihar 0.14 0.34 0.36 0.63 0.24
Szignifikáns szélvihar     0.50 0.63 1.00
Mezociklonális tornádó 0.00 0.00 0.00 0.06 0.00
Nem-mezociklonális tornádó 0.12 -0.01 0.04 0.12 0.09

 

Megközelítés kérdése, hogy a kettő közül melyiket használjuk. (Egyik sem jobb a másiknál, mindössze más szempontból vizsgálja az adatokat.) Én most a Markednesst választottam összehasonlítási alapul.
Látható, hogy a legtöbb eseménynél az értékek növekednek 2017-ig, majd 2018-ra visszaesnek, kivétel ez alól a bow echo, szignifikáns jégeső, és a szignifikáns szélvihar.
A legjobban sikerült előrejelzés 2017-ben az MKR-re vonatkozó volt, azt követte a szupercella, és villámárvíz előrejelzés. Ez után jön a szélviharok, és jeégesők előrejelzése, és utolsó a bow echo valamint a tornádó előrejelzések.
A sorrend természetesen évről évre változott, a bow echo előrejelzés például igen változékony eredményeket mutat. A szignifikáns események alacsony előfordulása torzítja az eredményeket bizonyos években, ezért ezeknél néha kiugróan jó eredmények is születnek.
További megállapításokról a Konklúzió fejezetben írok.

4. Tornádók előrejelzése

 

Ez a fejezet tartalmazza valószínűségi kategória előrejelzés összesítését 5 évre. Az összegző táblázatok egyes sorai mutatják, mely előrejelzési kategória hányszor lett kiadva, és ez az esemény ténylegesen hányszor fordult elő. Nem-mezociklonális tornádókra ez így néz ki:

 

Kategória Előfordult Nem fordult elő Összesen Arány
T0 15 820 835 1.80%
T1 7 58 65 10.77%
T2 1 13 14 7.14%
T3 0 1 1 0.00%

 

Hasonlóan a 2017-es, 4 éves összesítéshez, az látszik, hogy a T1 és T2 kategória esetén nem térnek el szignifikánsan az előfordulási arányok. Sőt, a T1 esetén ez a szám magasabb is, mint a T2-es kategóriában. Tehát a valószínűségi kategóriákba való besorolás előrejelzéskor továbbra is egy fejlesztendő terület. A T3-as kategóriában (amikor kiemelkedően magas valószínűséget jelzünk előre), továbbra sincsen elég adat.

A mezociklonális tornádókra is elő lehet állítani ugyananezt a táblázatot:

 

Kategória Előfordult Nem fordult elő Összesen Arány
T0 0 849 849 0.00%
T1 1 57 58 1.72%
T2 0 8 8 0.00%
T3 0 0 0  

 

Itt egyértelműen látszik az extrém alacsony előfordulás, hiszen egyetlen napon fordult elő mezociklonális tornádó (tudomásunk szerint) az 5 éves időtartam alatt. Megjegyzendő még, hogy T3-as kategóriát egyszer sem adtunk ki.

 

5. Konklúzió

 

A számokat áttekintve elmondható, hogy általánosságban véve az előrejelzéseink beválása javult, mióta monitorozzuk azt, más szóval bevezetésre került a verifikáció (2014 óta). A 2017-es év úgymond kedvezett a konvektív előrejelzéseknek, hiszen sok heves esemény alakult ki, és sok előrejelzést is adtunk ki. A mérőszámok azt mutatják, hogy ezt az évet tekinthetjük a csúcspontnak.
2018-ban visszaesés következett be. Ennek okai többek között a nagy szélnyírással, valamint szupercellákkal járó időjárási helyzetek alacsony száma, és a szezonban előre haladva egyre kevesebb figyelmet kaptak az alacsony szélnyírású helyzetek előrejelzés szempontjából. Pedig a villámárvíz, jégeső, sőt száraz légprofil esetén szélvihar ezekben a helyzetekben is gyakoriak.
A másik tényező pedig a bevethető előrejelzők alacsony száma, így néha azért sem volt előrejelzés, mert nem ért rá senki előrejelzést írni. A szupercella.hu csapata szabadidejében készíti az előrejelzéseket, így előfordulhatnak üres napok. Sokan nyomon követik az előrejelzéseinket, de mivel nem hivatalos előrejelzést készítünk, és nagyrészt saját magunk számára, ezért ez nem jelent problémát.
Egy javasolt cél 2019-re az előrejelzések színvonalának 2017-es szintre való visszaállítása lehet.

 

Bevezető: 

Bevezető

Kategória: 
Tudományos cikk

Kapcsolat

Magyarországi Viharvadászok és Viharkárfelmérők Közhasznú Egyesülete

info@szupercella.hu

Készítette

Viharvadászok Egyesülete
CodeOne.hu

Jogi tudnivalók

Az oldalon található minden tartalom (az oldal készítői és az oldali felhasználói által a weboldalon vagy a mobil applikációkon keresztül feltöltött szöveg, kép, videó, mérési eredmény, stb.) - kivéve ahol a feltüntetett információk ettől eltérnek - a Magyarországi Viharvadászok és Viharkárfelmérők Közhasznú Egyesületének tulajdonát képezi. Bármilyen nemű felhasználáshoz az Egyesület írásbeli hozzájárulása szükséges. A weboldal tartalmai szabadon hivatkozhatók a forrás feltüntetésével.

Támogatás, pályázat