1. Bevezetés
A szupercella.hu konvektív előrejelzéseinek verifikációját - más szóval az előrejelzés beválásának monitorozását, ellenőrzését - 2014-ben kezdtük el. Öt év alatt elég sok adat gyűlt össze ahhoz, hogy összegezzük a statisztikákat, eredményeket.
Célunk továbbra is az, hogy az előrejelzéseinket magas színvonalon tartsuk, és ha van rá lehetőség, tovább javítsuk a beválásukat.
2. Az előrejelzendő események előfordulása, kiadott előrejelzések száma
Az első fejezetben az előrejelzendő zivatartípusokat, heves konvektív eseményeket összegzem. Fontos megemlíteni, hogy a táblázatokban a napok száma áll, tehát ha egy napon például több tornádó is volt, akkor az is egy napnak számít. Tehát az alapegység egy nap - ahogyan az előrejelzést is általában egy napos időtartamra adjuk ki.
Az előrejelzendő eseményeket a következő napokon figyelték meg:
| Év | 2014 | 2015 | 2016 | 2017 | 2018 |
| Villámárvíz | 19 | 22 | 25 | 31 | 44 |
| MKR | 37 | 37 | 34 | 33 | 49 |
| Bow echo | 7 | 5 | 7 | 10 | 11 |
| Szupercella | 36 | 25 | 28 | 38 | 22 |
| Heves jégeső | 12 | 16 | 17 | 26 | 30 |
| Szignifikáns jégeső | 0 | 0 | 2 | 6 | 4 |
| Heves szélvihar | 8 | 12 | 9 | 23 | 9 |
| Szignifikáns szélvihar | 0 | 2 | 1 | 8 | 1 |
| Mezociklonális tornádó | 0 | 0 | 0 | 1 | 0 |
| Nem-mezociklonális tornádó | 7 | 1 | 3 | 7 | 5 |
Az előrejelzési napok száma:
| Év | 2014 | 2015 | 2016 | 2017 | 2018 |
| Villámárvíz | 36 | 22 | 33 | 28 | 14 |
| MKR | 26 | 21 | 28 | 29 | 10 |
| Bow echo | 4 | 3 | 6 | 14 | 5 |
| Szupercella | 30 | 31 | 35 | 42 | 17 |
| Heves jégeső | 27 | 19 | 16 | 26 | 17 |
| Szignifikáns jégeső | 0 | 0 | 0 | 2 | 2 |
| Heves szélvihar | 24 | 19 | 16 | 29 | 15 |
| Szignifikáns szélvihar | 0 | 0 | 2 | 3 | 1 |
| Mezociklonális tornádó | 19 | 11 | 15 | 18 | 3 |
| Nem-mezociklonális tornádó | 21 | 10 | 19 | 21 | 9 |
A BIAS egy arányszám, ami az előrejelzések száma osztva a ténylegesen bekövetkezett eseményekkel:
| Év | 2014 | 2015 | 2016 | 2017 | 2018 |
| Villámárvíz | 1.89 | 1.00 | 1.32 | 0.90 | 0.32 |
| MKR | 0.70 | 0.57 | 0.82 | 0.88 | 0.20 |
| Bow echo | 0.57 | 0.60 | 0.86 | 1.40 | 0.45 |
| Szupercella | 0.83 | 1.24 | 1.25 | 1.11 | 0.77 |
| Heves jégeső | 2.25 | 1.19 | 0.94 | 1.00 | 0.57 |
| Szignifikáns jégeső | 0.00 | 0.33 | 0.50 | ||
| Heves szélvihar | 3.00 | 1.58 | 1.78 | 1.26 | 1.67 |
| Szignifikáns szélvihar | 0.00 | 2.00 | 0.38 | 1.00 | |
| Mezociklonális tornádó | 18.00 | ||||
| Nem-mezociklonális tornádó | 3.00 | 10.00 | 6.33 | 3.00 | 1.80 |
A táblázatból az látszik, hogy vannak események, amelyeknél tipikusan kevesebbszer adunk ki előrejelzést, mint ahányszor bekövetkezik (MKR, bow echo). Ez részben azért van, mert az adott esemény kialakulását nem vesszük számításba az adott napon, így nem is említjük meg az előrejelzésben, vagy pedig a másik eset, amikor megvizsgáljuk, de nem tartjuk valószínű veszélyforrásnak, és utólag aztán meglepetésként ér minket (pl. szignifikáns jégeső).
Azoknál az eseményeknél, ahol többször adunk ki előrejelzést, ott túlbiztosítás történik. Tehát inkább legyen megemlítve az előrejelzésben, mint elmulasszunk egy megtörtént eseményt (pl. szélvihar, jégeső, tornádó). Ez a tornádó előrejelzésénél a legszembetűnőbb. Ezért itt alkalmazunk valószínűségi előrejelzést is - ha várható tornádó, akkor további 3 kategóriába soroljuk be az adott napot (T1-T3), amelyek növekvő valószínűséget jelölnek, valamint ha nem várható, akkor T0-át adunk a napra. Ennek eredményeiről a 4. fejezetben írok bővebben.
Sok eseménynél a BIAS csökkenő tendenciát mutat az évek előrehaladásával, ennek okairól a Konklúzió fejezetben beszélek.
3. Verifikációs mérőszámok
Az előző szekcióban tárgyalt egyszerűbb statisztikák, merőszámok mellett léteznek komplexebb indikátorok is. Ezekről bővebben ebben a cikkben nem beszélek, csak az eredményeket vázolom fel. A mérőszámokról részletes leírás a következő linken található: Előrejelzések verifikációja I.
A következő ábrában összehasonlítottam mind a 10 fajta előrejelzendő eseményt true positive rate (TPR) és false positive rate (FPR) szempontjából. Az 5 év mérőszámait egy ábrára tettem, ezzel segítve az összehasonlíthatóságot, az áttekinthetőséget viszont picit rontva:
Több eseménynél is megfigyelhető, hogy egy kupacban vannak a mérőszámok (pl. MKR), mások jobban szóródnak. A szignifikáns heves események a kis előfordulás miatt az ábra bal felére koncentrálódnak. Ugyancsak ezeknél az eseményeknél, illetve a tornádóknál láthatunk TPR=1-es kiugró értékeket (amikor azt az 1-2 előfordulást sikeresen előre is jeleztük).
Az előző ábrához haonlóan elkészítettem a PPV-FOR ábrát:
Szemléltetve az események előfordulását is az adott évben, illetve referenciaként, a pontokat összekötöttem a fekete vonallal, ami főátlót reprezentálja. A vonalaknak az (1,0) pont felé kell mutatniuk, és ahhoz minél közelebb kell végződniük, hogy az előrejelzés jobb legyen.
Ezen az ábrán már explicitebben látszanak a kis előfordulású események bal oldalt (tornádók, szignifikáns események), míg a gyakoribb események (MKR, szupercella, villámárvíz) inkább a jobb oldalra koncentrálódnak.
Ha a fenti, még mindig meglehetősen sok információt jobban össze szeretnénk vonni, meghatározhatjuk az Informedness, Markedness mérőszámokat, amelyek tulajdonképpen a TPR-FPR, valamint a PPV-FOR különbségek.
Az Informedness:
| Év | 2014 | 2015 | 2016 | 2017 | 2018 |
| Villámárvíz | 0.54 | 0.38 | 0.67 | 0.59 | 0.20 |
| MKR | 0.53 | 0.43 | 0.61 | 0.66 | 0.12 |
| Bow echo | 0.13 | -0.02 | 0.26 | 0.34 | 0.26 |
| Szupercella | 0.49 | 0.68 | 0.53 | 0.74 | 0.36 |
| Heves jégeső | 0.38 | 0.50 | 0.49 | 0.55 | 0.21 |
| Szignifikáns jégeső | 0.00 | 0.16 | 0.24 | ||
| Heves szélvihar | 0.39 | 0.51 | 0.61 | 0.76 | 0.38 |
| Szignifikáns szélvihar | 0.00 | 0.99 | 0.24 | 1.00 | |
| Mezociklonális tornádó | 0.91 | ||||
| Nem-mezociklonális tornádó | 0.33 | -0.05 | 0.23 | 0.33 | 0.16 |
A Markedness:
| Év | 2014 | 2015 | 2016 | 2017 | 2018 |
| Villámárvíz | 0.32 | 0.38 | 0.54 | 0.64 | 0.51 |
| MKR | 0.71 | 0.69 | 0.71 | 0.73 | 0.46 |
| Bow echo | 0.22 | -0.03 | 0.31 | 0.25 | 0.56 |
| Szupercella | 0.56 | 0.57 | 0.45 | 0.69 | 0.45 |
| Heves jégeső | 0.18 | 0.43 | 0.51 | 0.55 | 0.34 |
| Szignifikáns jégeső | 0.47 | 0.48 | |||
| Heves szélvihar | 0.14 | 0.34 | 0.36 | 0.63 | 0.24 |
| Szignifikáns szélvihar | 0.50 | 0.63 | 1.00 | ||
| Mezociklonális tornádó | 0.00 | 0.00 | 0.00 | 0.06 | 0.00 |
| Nem-mezociklonális tornádó | 0.12 | -0.01 | 0.04 | 0.12 | 0.09 |
Megközelítés kérdése, hogy a kettő közül melyiket használjuk. (Egyik sem jobb a másiknál, mindössze más szempontból vizsgálja az adatokat.) Én most a Markednesst választottam összehasonlítási alapul.
Látható, hogy a legtöbb eseménynél az értékek növekednek 2017-ig, majd 2018-ra visszaesnek, kivétel ez alól a bow echo, szignifikáns jégeső, és a szignifikáns szélvihar.
A legjobban sikerült előrejelzés 2017-ben az MKR-re vonatkozó volt, azt követte a szupercella, és villámárvíz előrejelzés. Ez után jön a szélviharok, és jeégesők előrejelzése, és utolsó a bow echo valamint a tornádó előrejelzések.
A sorrend természetesen évről évre változott, a bow echo előrejelzés például igen változékony eredményeket mutat. A szignifikáns események alacsony előfordulása torzítja az eredményeket bizonyos években, ezért ezeknél néha kiugróan jó eredmények is születnek.
További megállapításokról a Konklúzió fejezetben írok.
4. Tornádók előrejelzése
Ez a fejezet tartalmazza valószínűségi kategória előrejelzés összesítését 5 évre. Az összegző táblázatok egyes sorai mutatják, mely előrejelzési kategória hányszor lett kiadva, és ez az esemény ténylegesen hányszor fordult elő. Nem-mezociklonális tornádókra ez így néz ki:
| Kategória | Előfordult | Nem fordult elő | Összesen | Arány |
| T0 | 15 | 820 | 835 | 1.80% |
| T1 | 7 | 58 | 65 | 10.77% |
| T2 | 1 | 13 | 14 | 7.14% |
| T3 | 0 | 1 | 1 | 0.00% |
Hasonlóan a 2017-es, 4 éves összesítéshez, az látszik, hogy a T1 és T2 kategória esetén nem térnek el szignifikánsan az előfordulási arányok. Sőt, a T1 esetén ez a szám magasabb is, mint a T2-es kategóriában. Tehát a valószínűségi kategóriákba való besorolás előrejelzéskor továbbra is egy fejlesztendő terület. A T3-as kategóriában (amikor kiemelkedően magas valószínűséget jelzünk előre), továbbra sincsen elég adat.
A mezociklonális tornádókra is elő lehet állítani ugyananezt a táblázatot:
| Kategória | Előfordult | Nem fordult elő | Összesen | Arány |
| T0 | 0 | 849 | 849 | 0.00% |
| T1 | 1 | 57 | 58 | 1.72% |
| T2 | 0 | 8 | 8 | 0.00% |
| T3 | 0 | 0 | 0 |
Itt egyértelműen látszik az extrém alacsony előfordulás, hiszen egyetlen napon fordult elő mezociklonális tornádó (tudomásunk szerint) az 5 éves időtartam alatt. Megjegyzendő még, hogy T3-as kategóriát egyszer sem adtunk ki.
5. Konklúzió
A számokat áttekintve elmondható, hogy általánosságban véve az előrejelzéseink beválása javult, mióta monitorozzuk azt, más szóval bevezetésre került a verifikáció (2014 óta). A 2017-es év úgymond kedvezett a konvektív előrejelzéseknek, hiszen sok heves esemény alakult ki, és sok előrejelzést is adtunk ki. A mérőszámok azt mutatják, hogy ezt az évet tekinthetjük a csúcspontnak.
2018-ban visszaesés következett be. Ennek okai többek között a nagy szélnyírással, valamint szupercellákkal járó időjárási helyzetek alacsony száma, és a szezonban előre haladva egyre kevesebb figyelmet kaptak az alacsony szélnyírású helyzetek előrejelzés szempontjából. Pedig a villámárvíz, jégeső, sőt száraz légprofil esetén szélvihar ezekben a helyzetekben is gyakoriak.
A másik tényező pedig a bevethető előrejelzők alacsony száma, így néha azért sem volt előrejelzés, mert nem ért rá senki előrejelzést írni. A szupercella.hu csapata szabadidejében készíti az előrejelzéseket, így előfordulhatnak üres napok. Sokan nyomon követik az előrejelzéseinket, de mivel nem hivatalos előrejelzést készítünk, és nagyrészt saját magunk számára, ezért ez nem jelent problémát.
Egy javasolt cél 2019-re az előrejelzések színvonalának 2017-es szintre való visszaállítása lehet.
