Применение Seq2seq-моделей для прогнозирования развития грозовой деятельности с целью повышения уровня ситуационной осведомленности пилота в полете

В статье представлены результаты применения моделей Seq2seq на основе нейронных сетей для наукастинга – прогнозирования с заблаговременностью до 2 часов грозовой активности с целью повышения ситуационной осведомленности экипажей воздушных судов. На основе данных радиолокационных метеорологических наблюдений за грозовыми очагами были созданы и обучены различные рекуррентные и сверточные рекуррентные модели. Результаты исследования показали, что сверточные рекуррентные нейронные сети (ConvRNN, ConvLSTM, ConvGRU) превосходят классические рекуррентные модели, и при этом позволяют улучшить прогноз развития грозы на 25–30 % по метрике RMSE (корень среднеквадратической погрешности) по сравнению с базовой моделью, каждый раз в качестве предсказания выбирающей последнее доступное на момент предсказания радиолокационное изображение. Тем не менее, несмотря на то что сверточные рекуррентные сети позволяют достаточно точно передать общую тенденцию изменения формы грозового облака, точность предсказания интенсивности элементов грозового очага оказывается, как правило, завышенной. Применение предложенной технологии прогнозирования грозовой активности может способствовать повышению уровня ситуационной осведомленности летного экипажа, улучшая проекцию текущей обстановки на ближайшее будущее и оптимизируя процесс принятия решений по обходу грозы за счет предоставления членам экипажа прогностической информации о развитии грозы на экране навигационного дисплея. В рамках будущих исследований предполагается дальнейшая оптимизация архитектуры моделей, а также интеграция прогностической технологии в системы поддержки принятия решений экипажем.

1. Bolstad C.A., Riley J.M. Using goal directed task analysis with Army brigade officer teams // Proceedings of the Human Factors and Ergonomics Society Annual Meeting. SAGE Publications. 2002. Vol. 46, no.3. Pp. 472–476. DOI:10.1177/154193120204600354

2. Stanton N.A., Chambers P.R.G., Piggott J. Situational awareness and safety // Safety science. 2001. Vol. 39, no. 3. Pp. 189–204. DOI: 10.1016/S0925-7535(01)00010-8

3. Sarter N.B., Woods D.D. Situation awareness: A critical but Ill-defined phenomenon // The International Journal of Aviation Psychology. 1991. Vol. 1, no. 1. Pp. 45–57. DOI: 10.1207/s15327108ijap0101_4

4. Стрелков Ю.К. Инженерная и профессиональная психология: учеб. пособие. М.: Академия; Высшая школа, 2001. 360 с.

5. De Gooijer J.G., Hyndman R.J. 25 years of time series forecasting // International Journal of Forecasting. 2006. Vol. 22, no. 3. Pp. 443–473. DOI: 10.1016/j.ijforecast.2006.01.001

6. Stevenson S. A comparison of the forecasting ability of ARIMA models // Journal of Property Investment & Finance. 2007. Vol. 25, no. 3. Pp. 223–240. DOI: 10.1108/14635780710746902

7. Chatfield C. A new look at models for exponential smoothing / C. Chatfield, A.B. Koehler, J.K. Ord, R.D. Snyder // Journal of the Royal Statistical Society: Series D (The Statistician). 2001. Vol. 50, no. 2. Pp. 147–159. DOI: 10.1111/1467-9884.00267

8. Bentéjac C., Csörgő A., Martínez-Muñoz G. A comparative analysis of gradient boosting algorithms // Artificial Intelligence Review. 2021. Vol. 54. Pp. 1937–1967. DOI: 10.1007/s10462-020-09896-5

9. Faloutsos C. Classical and contemporary approaches to big time series forecasting / C. Faloutsos, J. Gasthaus, T. Januschowski, Y. Wang // SIGMOD '19: Proceedings of the 2019 International Conference on Management of Data, 2019. Pp. 2042–2047. DOI: 10.1145/3299869.3314033

10. Makridakis S., Spiliotis E., Assimakopoulos V. The M4 Competition: Results, findings, conclusion and way forward // International Journal of Forecasting. 2018. Vol. 34, iss. 4. Pp. 802–808. DOI: 10.1016/j.ijforecast.2018.06.001

11. Taieb S.B., Sorjamaa A., Bontempi G. Multiple-output modeling for multi-step-ahead time series forecasting // Neurocomputing. 2010. Vol. 73, iss. 10–12. Pp. 1950–1957. DOI: 10.1016/j.neucom.2009.11.030

12. Sutskever I., Vinyals O., Quoc V.L. Sequence to sequence learning with neural networks // Proceedings of the 27th International Conference on Neural Information Processing Systems. 2014. No. 2. Pp. 3104–3112. DOI: 10.48550/arXiv.1409.3215

13. Caterini A.L. Recurrent neural networks / A.L. Caterini, D.E. Chang, A.L. Caterini, D.E. Chang. In book: Deep Neural Networks in a Mathematical Framework. Springer Briefs in Computer Science. Springer, Cham, 2018. Pp. 59–79. DOI: 10.1007/978-3-319-75304-1_5

14. Rumelhart D.E., Hinton G.E., Williams R.J. Learning representations by backpropagating errors // Nature. 1986. No. 323. Pp. 533–536. DOI: 10.1038/323533a0

15. Rasamoelina A.D., Adjailia F., Sinčák P. A review of activation function for artificial neural network // 2020 IEEE 18th World Symposium on Applied Machine Intelligence and Informatics (SAMI). Slovakia, Herlany, 2020. Pp. 281–286. DOI: 10.1109/SAMI48414.2020.9108717

16. Toharudin T. Employing long shortterm memory and Facebook prophet model in air temperature forecasting / T. Toharudin, R.S. Pontoh, R.E. Caraka, S. Zahroh, Y. Lee Y, R.C. Chen // Communications in Statistics-Simulation and Computation. 2023. Vol. 52, iss. 2. Pp. 279–290. DOI: 10.1080/03610918.2020.1854302

17. Schmidhuber J., Hochreiter S. Long short-term memory // Neural Computation. 1997. Vol. 9, iss. 8. Pp. 1735–1780. DOI: 10.1162/neco.1997.9.8.1735

18. De Mulder W., Bethard S., Moens M.F. A survey on the application of recurrent neural networks to statistical language modeling / Computer Speech & Language. 2015. Vol. 30, iss. 1. Pp. 61–98. DOI: 10.1016/j.csl.2014.09.005

19. Shi X. Convolutional LSTM network: A machine learning approach for precipitation nowcasting / X. Shi, Z. Chen, H. Wang, D.Y. Yeung, W.K. Wong, W.C. Woo // NIPS'15: Proceedings of the 28th International Conference on Neural Information Processing Systems. 2015. Vol. 1. Pp. 802–810. DOI: 10.48550/arXiv.1506.04214

20. Li Z. A survey of convolutional neural networks: analysis, applications, and prospects / Z. Li, F. Liu, W. Yang, S. Peng, J. Zhou // IEEE transactions on neural networks and learning systems. 2021. Vol. 33, no. 12. Pp. 6999–7019. DOI: 10.1109/TNNLS.2021.3084827

21. Ballas N. Delving deeper into convolutional networks for learning video representations / N. Ballas, L. Yao, C.J. Pal, A. Courville [Электронный ресурс] // 4th International Conference on Learning Representations (ICLR 2016), 2016. 2 p. DOI: 10.48550/arXiv.1511.06432 (дата обращения: 08.10.2024).

22. Mahafza B.R. Radar systems analysis and design using MATLAB. 2nd ed. Chapman and Hall, CRC, 2005. 638 p. DOI: 10.1201/9781420057072

23. Van Dyk D.A., Meng X.L. The art of data augmentation // Journal of Computational and Graphical Statistics. 2001. Vol. 10, no. 1. Pp. 1–50. DOI: 10.1198/10618600152418584

24. Masters D., Luschi C. Revisiting small batch training for deep neural networks [Электронный ресурс] // Computer Science and Machine Learning. 2018. Pp. 1–18. DOI: 10.48550/arXiv.1804.07612 (дата обращения: 08.10.2024).

25. Werbos P.J. Backpropagation through time: what it does and how to do it // Proceedings of the IEEE. 1990. Vol.78, no. 10. Pp. 1550–1560. DOI: 10.1109/5.58337

26. Llugsi R. Comparison between Adam, AdaMax and Adam W optimizers to implement a weather forecast based on neural networks for the Andean city of Quito / R. Llugsi, S.E. Yacoubi, A. Fontaine, P. Lupera // 2021 IEEE Fifth Ecuador Technical Chapters Meeting (ETCM), 2021. Pp. 1–6. DOI: 10.1109/ETCM53643.2021.9590681

27. Bejani M.M., Ghatee M. A systematic review on overfitting control in shallow and deep neural networks // Artificial Intelligence Review. 2021. Vol. 54. Pp. 6391–6438. DOI: 10.1007/s10462-021-09975-1

28. Passos D., Mishra P. A tutorial on automatic hyperparameter tuning of deep spectral modelling for regression and classification tasks [Электронный ресурс] // Chemometrics and Intelligent Laboratory Systems. 2022. Vol. 223. ID: 104520. DOI: 10.1016/j.chemolab.2022.10 4520 (дата обращения: 08.10.2024).

29. Koloskova A., Hendrikx H., Stich S.U. Revisiting gradient clipping: Stochastic bias and tight convergence guarantees // International Conference on Machine Learning. 2023. Pp. 17343–17363. DOI: 10.48550/arXiv.2305. 01588

30. Endsley M.R. Toward a theory of situation awareness in dynamic systems // Human factors. 1995. Vol. 37, no. 1. Pp. 32–64. DOI: 10.1518/001872095779049543

31. Kaikkonen L. Bayesian networks in environmental risk assessment: A review / L. Kaikkonen, T. Parviainen, M. Rahikainen, L. Uusitalo, A. Lehikoinen // Integrated environmental assessment and management. 2021. Vol. 17, no. 1. Pp. 62–78. DOI: 10.1002/ieam.4332

32. Kovalenko G.V., Yadrov I.A., Kuts K.A. Intelligent adaptive flight crew decision support system for thunderstorm avoidance // Russian Aeronautics. 2023. Vol. 66. Pp. 552–559. DOI: 10.3103/S1068799823030170