cahtНаучный вестник МГТУ ГАCivil Aviation High Technologies2079-06192542-0119Moscow State Technical University of Civil Aviation (MSTU CA)10.26467/2079-0619-2024-27-4-8-19caht-2398Research ArticleТРАНСПОРТНЫЕ СИСТЕМЫTRANSPORTATION SYSTEMSНейросетевой подход к обеспечению визуальной когерентности в авиатренажерах дополненной реальностиNeural network approach to ensuring visual coherence in augmented reality flight simulatorsГорбуновА. Л.GorbunovA. L.

Горбунов Андрей Леонидович, кандидат технических наук, доцент, доцент кафедры управления воздушным движением

г. Москва

Andrey L. Gorbunov, Candidate of Technical Sciences, Associate Professor, Associate Professor of the Air Traffic Management Chair

Moscow

a.gorbunov@mstuca.aeroЛиЮньханьLiYunhan

Ли Юньхань, аспирантка

г. Москва

Yunhan Li, Postgraduate Student

Moscow

antatanoe@gmail.comМосковский государственный технический университет гражданской авиацииРоссияMoscow State Technical University of Civil AviationRussian Federation202429082024274819Copyright © Горбунов А.Л., Ли Ю., 20242024Горбунов А.Л., Ли Ю.Gorbunov A.L., Li Y.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://avia.mstuca.ru/jour/article/view/2398

В 2023 г. лидирующая авиакосмическая корпорация США Lockheed Martin объявила о разработке сразу нескольких основанных на технологиях расширенной/дополненной реальности (extended/augmented reality, XR/AR) тренажеров для пилотов TF-50, F-16, F-22 и F-35, отнюдь не являясь пионером в этом направлении – в 2022 г. аналогичные проекты запустили Boeing и ведущий британский производитель авиационной техники BAE Systems. В январе 2024 г. ВВС США инвестировали средства в разработку пилотских AR-симуляторов на основе смарт-очков дополненной реальности Microsoft Hololens, и тогда же компания Apple начала массовые продажи AR-гарнитуры Apple Vision Pro – трудно сомневаться в том, что в 2024 г. появится ряд новых авиатренажеров с применением этого устройства. Стремительное развитие нового поколения авиакосмической тренажерной техники – XR/AR-тренажеров – сопровождается бумом исследовательской активности в области визуальной когерентности (visual coherency, VC) сцен дополненной реальности: виртуальные объекты в этих сценах должны быть неотличимы от реальных. Именно VC обеспечивает новые возможности AR-тренажеров, принципиально отличающие их от ставших стандартными авиатренажеров с виртуальной реальностью. В последнее время VC все чаще обеспечивается нейросетевыми методами, при этом наиболее важными аспектами VC являются условия освещенности, поэтому основная доля исследований посвящена переносу этих условий (расположение источников света и их цветовой тон) из реального мира в виртуальный, но большинство известных подходов характеризуется неуниверсальностью и необходимостью выполнения ручных процедур. Данных недостатков не имеет основанный на двумерных спектральных преобразованиях изображений метод спектральной трансплантации, требующий, однако, определения размера трансплантируемой от реальной картины мира к виртуальному объекту части спектра. Настоящая статья посвящена разработке нейросетевой модели для механизма выбора оптимального размера спектрального трансплантата.

In 2023, the leading US aerospace corporation Lockheed Martin announced the simultaneous development of several extended/augmented reality (XR/AR) simulators for pilots of TF-50, F-16, F-22, and F-35 without being a pioneer in this area of focus, in 2022 similar projects were launched by Boeing and the leading British aeronautical equipment manufacturer BAE Systems. In January 2024 the US Air Force invested in the development of pilot AR simulators based on Microsoft Hololens augmented reality smart glasses. At the same time, Apple began bulk sales of the Apple Vision Pro AR headset. It is difficult to doubt that in 2024 a variety of new aviation simulators will appear using this device. The rapid development of a new generation of aerospace simulator technology, i.e., XR/AR simulators, is accompanied by a boom in research in the field of visual coherence (VC) of augmented reality scenes: virtual objects in these scenes should be virtually identical with real ones. It is VC that provides new capabilities of AR simulators, which fundamentally distinguish from conventional flight simulators with virtual reality. Recently, VC has been increasingly provided by neural network methods, thereby, the most important aspects of VC are lighting conditions, so the major share of research is focused on transferring these conditions (location of light sources and their color tone) from the real world to the virtual one, but the great body of the known approaches are characterized by the lack of versatility and the need to perform manual procedures. These disadvantages are not found in the spectral transplantation method based on twodimensional spectral image conversions, which, however, requires determining the size of the spectrum part being transplanted from the real picture of the world to a virtual object. This article is devoted to the development of a neural network model for the mechanism of selecting the optimal size of a spectral transplant.

авиационные тренажерыдополненная реальностьвизуальная когерентностьflight simulatorsaugmented realityvisual coherenceReferencesГорбунов А.Л. Тренажер аэродромной спецтехники // Научный Вестник МГТУ ГА. 2016. № 225 (3). C. 92–97.Gorbunov, A.L. (2016). Trainer of airport the specials-technician. Civil Aviation High Technologies, no. 225 (3), pp. 92–97. (in Russian)Горбунов А.Л. Визуальная когерентность в дополненной реальности // Advanced Engineering Research. 2023. № 2. С. 180–190. DOI: 10.23947/2687-1653-2023-23-2-180-190Gorbunov, А.L. (2023). Visual coherence for augmented reality. Advanced Engineering Research, no. 2, pp. 180–190. DOI: 10.23947/2687-1653-2023-23-2-180-190 (in Russian)Tewari A., Fried O., Thies J. и др. State of the art on neural rendering // Computer Graphics Forum. 2020. Vol. 39, iss. 2. Pp. 701–727. DOI: 10.1111/cgf.14022Tewari, A., Fried, O., Thies, J. et al. (2020). State of the art on neural rendering. Computer Graphics Forum, vol. 39, issue 2, pp. 701–727. DOI: 10.1111/cgf.14022Einabadi F., Guillemaut J., Hilton A. Deep neural models for illumination estimation and relighting: A survey // Computer Graphics Forum. 2021. Vol. 40, iss. 6. Pp. 315–331. DOI: 10.1111/cgf.14283Einabadi, F., Guillemaut, J., Hilton, A. (2021). Deep neural models for illumination estimation and relighting: A survey. Computer Graphics Forum, vol. 40, issue 6, pp. 315–331. DOI: 10.1111/cgf.14283Ghasemi Y. Deep learning-based object detection in augmented reality: A systematic review / Y. Ghasemi, H. Jeong, S. Choi, J. Lee, K. Park [Электронный ресурс] // Computers in Industry. 2022. Vol. 139. ID: 103661. DOI: 10.1016/j.compind.2022.103661 (дата обращения: 05.01.2024).Ghasemi, Y., Jeong, H., Choi, S., Lee, J., Park, K. (2022). Deep learning-based object detection in augmented reality: A systematic review. Computers in Industry, vol. 139, ID: 103661. DOI: 10.1016/j.compind.2022.103661 (accessed: 05.01.2024).Tu W.-C., He Q., Chien S.-Y. Realtime salient object detection with a minimum spanning tree // Proceedings of IEEE CVF Computer Vision and Pattern Recognition Conference (CVPR), 2016. Pp. 2334–2342.Tu, W.-C., He, Q., Chien, S.-Y. (2016). Real-time salient object detection with a minimum spanning tree. In: Proceedings of IEEE CVF Computer Vision and Pattern Recognition Conference (CVPR), pp. 2334–2342.Yang J., Yang M.-H. Top-down visual saliency via joint CRF and dictionary learning [Электронный ресурс] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA, RI, 2012. Pp. 2296–2303. DOI: 10.1109/CVPR.2012.6247940 (дата обращения: 05.01.2024).Yang, J., Yang, M.-H. (2012). Topdown visual saliency via joint CRF and dictionary learning. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA, RI, pp. 2296–2303. DOI: 10.1109/CVPR.2012.6247940 (accessed: 05.01.2024).Rosin P.L. A simple method for detecting salient regions // Pattern Recognition. 2009. Vol. 42, iss. 11. Pp. 2363–2371. DOI: 10.1016/j.patcog.2009.04.021Rosin, P.L. (2009). A simple method for detecting salient regions. Pattern Recognition, vol. 42, issue 11, pp. 2363–2371. DOI: 10.1016/j.patcog.2009.04.021Girshick R. Rich feature hierarchies for accurate object detection and semantic segmentation / R. Girshick, J. Donahue, T. Darrell, J. Malik [Электронный ресурс] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA, OH, 2014. Pp. 580–587. DOI: 10.1109/CVPR.2014.81 (дата обращения: 05.01.2024).Girshick, R., Donahue, J., Darrel, T., Malik, J. (2014). Rich feature hierarchies for accurate object detection and semantic segmentation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, USA, OH, pp. 580–587. DOI: 10.1109/CVPR.2014.81Krähenbühl P., Koltun V. Geodesic object proposals [Электронный ресурс] // Computer Vision – ECCV 2014. ECCV 2014. Lecture Notes in Computer Science. Springer, Cham, 2014. Vol. 8693. DOI: 10.1007/978-3- 319-10602-1_47 (дата обращения: 05.01.2024).Krähenbühl, P., Koltun, V. (2014). Geodesic object proposals. In: Computer Vision – ECCV 2014. ECCV 2014. Lecture Notes in Computer Science. Springer, Cham, vol. 8693. DOI: 10.1007/978-3-319-10602-1_47 (accessed: 05.01.2024).Pont-Tuset J. Multiscale combinatorial grouping for image segmentation and object proposal generation / J. Pont-Tuset, P. Arbeláez, J.T. Barron, F. Marques, J. Malik [Электронный ресурс] // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017. Vol. 39, no. 1. Pp. 128–140. DOI: 10.1109/TPAMI.2016.2537320 (дата обращения: 05.01.2024).Pont-Tuset, J., Arbeláez, P., Barron, J.T., Marques, F., Malik, J. (2017). Multiscale combinatorial grouping for image segmentation and object proposal generation. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, no. 1, pp. 128–140. DOI: 10.1109/TPAMI.2016.2537320 (accessed: 05.01.2024).Zitnick C.L., Dollar P. Edge boxes: Locating object proposals from edges [Электронный ресурс] // Computer Vision – ECCV 2014. ECCV 2014. Lecture Notes in Computer Science. Springer, Cham, 2014. Vol. 8693. DOI: 10.1007/978-3-319-10602-1_26 (дата обращения: 05.01.2024).Zitnick, C.L., Dollar, P. (2014). Edge boxes: Locating object proposals from edges. In: Computer Vision – ECCV 2014. ECCV 2014. Lecture Notes in Computer Science. Springer, Cham, vol. 8693. DOI: 10.1007/978-3-319-10602-1_26 (accessed: 05.01.2024).Kuo W., Hariharan B., Malik J. Deepbox: Learning objectness with convolutional networks [Электронный ресурс] // IEEE International Conference on Computer Vision (ICCV). Santiago, Chile, 2015. Pp. 2479–2487. DOI: 10.1109/ICCV.2015.285 (дата обращения: 05.01.2024).Kuo, W., Hariharan, B., Malik, J. (2015). Deepbox: Learning objectness with convolutional networks. In: IEEE International Conference on Computer Vision (ICCV), Santiago, Chile, pp. 2479–2487. DOI: 10.1109/ICCV.2015.285 (accessed: 05.01.2024).Pinheiro P.O. Learning to refine object segments / P.O. Pinheiro, T.-Y. Lin, R. Collobert, P. Dollar [Электронный ресурс] // Computer Vision – ECCV 2016. ECCV 2016. Lecture Notes in Computer Science. Springer, Cham, 2016. Vol. 9905. DOI: 10.1007/978-3-319-46448-0_5 (дата обращения: 05.01.2024).Pinheiro, P.O., Lin, T.-Y., Collobert, R., Dollar, P. (2016). Learning to refine object segment. In: Computer Vision – ECCV 2016. ECCV 2016. Lecture Notes in Computer Science, Springer, Cham, vol. 9905. DOI: 10.1007/978-3-319-46448-0_5 (accessed: 05.01.2024).Redmon J. You only look once: Unified, real-time object detection / J. Redmon, S. Divvala, R. Girshick, A. Farhadi [Электронный ресурс] // Proceedings of IEEE CVF Computer Vision and Pattern Recognition Conference (CVPR). USA, Las Vegas, NV, 2016. Pp. 779–788. DOI: 10.1109/CVPR.2016.91 (дата обращения: 05.01.2024).Redmon, J., Divvala, S., Girshick, R., Farhadi, A. (2016). You only look once: Unified, real-time object detection. In: Proceedings of IEEE CVF Computer Vision and Pattern Recognition Conference (CVPR), USA, Las Vegas, NV, pp. 779–788. DOI: 10.1109/CVPR.2016.91 (accessed: 05.01.2024).Shanmugamani R. Deep learning for computer vision. Packt Publishing, 2018. 310 p.Shanmugamani, R. (2018). Deep learning for computer vision. Packt Publishing, 310 p.Zhao Z.-Q. Object detection with deep learning: A review / Z.-Q. Zhao, P. Zheng, S.- T. Xu, X. Wu [Электронный ресурс] // IEEE Transactions on Neural Networks and Learning Systems. 2019. Vol. 30, iss. 11. Pp. 3212–3232. DOI: 10.1109/TNNLS.2018.2876865 (дата обращения: 05.01.2024).Zhao, Z.-Q., Zheng, P., Xu, S.-T., Wu, X. (2019). Object detection with deep learning: A review. IEEE Transactions on Neural Networks and Learning Systems, vol. 30, issue 11, pp. 3212–3232. DOI: 10.1109/TNNLS. 2018.2876865 (accessed: 05.01.2024).Gatys L., Ecker A., Bethge M. A Neural algorithm of artistic style [Электронный ресурс] // Journal of Vision. 2016. Vol. 16. ID: 326. DOI: 10.1167/16.12.326 (дата обращения: 05.01.2024).Gatys, L., Ecker, A., Bethge, M. (2016). A Neural algorithm of artistic style. Journal of Vision, vol. 16, ID: 326. DOI: 10.1167/16.12.326 (accessed: 05.01.2024).Changela A., Zaveri M., Verma D. A Comparative study on CORDIC algorithms and applications [Электронный ресурс] // Journal of Circuits, Systems and Computers. 2023. Vol. 32, no. 05. ID: 2330002. DOI: 10.1142/S0218126623300027 (дата обращения: 05.01.2024).Changela, A., Zaveri, M., Verma, D. (2023). A Comparative study on CORDIC algorithms and applications. Journal of Circuits, Systems and Computers, vol. 32, no. 05, ID: 2330002. DOI: 10.1142/S0218126623300027 (accessed: 05.01.2024).

The authors declare that there are no conflicts of interest present.