Нейросетевой подход к обеспечению визуальной когерентности в авиатренажерах дополненной реальности

В 2023 г. лидирующая авиакосмическая корпорация США Lockheed Martin объявила о разработке сразу нескольких основанных на технологиях расширенной/дополненной реальности (extended/augmented reality, XR/AR) тренажеров для пилотов TF-50, F-16, F-22 и F-35, отнюдь не являясь пионером в этом направлении – в 2022 г. аналогичные проекты запустили Boeing и ведущий британский производитель авиационной техники BAE Systems. В январе 2024 г. ВВС США инвестировали средства в разработку пилотских AR-симуляторов на основе смарт-очков дополненной реальности Microsoft Hololens, и тогда же компания Apple начала массовые продажи AR-гарнитуры Apple Vision Pro – трудно сомневаться в том, что в 2024 г. появится ряд новых авиатренажеров с применением этого устройства. Стремительное развитие нового поколения авиакосмической тренажерной техники – XR/AR-тренажеров – сопровождается бумом исследовательской активности в области визуальной когерентности (visual coherency, VC) сцен дополненной реальности: виртуальные объекты в этих сценах должны быть неотличимы от реальных. Именно VC обеспечивает новые возможности AR-тренажеров, принципиально отличающие их от ставших стандартными авиатренажеров с виртуальной реальностью. В последнее время VC все чаще обеспечивается нейросетевыми методами, при этом наиболее важными аспектами VC являются условия освещенности, поэтому основная доля исследований посвящена переносу этих условий (расположение источников света и их цветовой тон) из реального мира в виртуальный, но большинство известных подходов характеризуется неуниверсальностью и необходимостью выполнения ручных процедур. Данных недостатков не имеет основанный на двумерных спектральных преобразованиях изображений метод спектральной трансплантации, требующий, однако, определения размера трансплантируемой от реальной картины мира к виртуальному объекту части спектра. Настоящая статья посвящена разработке нейросетевой модели для механизма выбора оптимального размера спектрального трансплантата.

1. Горбунов А.Л. Тренажер аэродромной спецтехники // Научный Вестник МГТУ ГА. 2016. № 225 (3). C. 92-97.

2. Горбунов А.Л. Визуальная когерентность в дополненной реальности // Advanced Engineering Research. 2023. № 2. С. 180-190. https://doi.org/10.23947/2687-1653-2023-23-2-180-190

3. Tewari A., Fried O., Thies J. и др. State of the art on neural rendering // Computer Graphics Forum. 2020. Vol. 39, iss. 2. Pp. 701-727. https://doi.org/10.1111/cgf.14022

4. Einabadi F., Guillemaut J., Hilton A. Deep neural models for illumination estimation and relighting: A survey // Computer Graphics Forum. 2021. Vol. 40, iss. 6. Pp. 315-331. https://doi.org/10.1111/cgf.14283

5. Ghasemi Y. Deep learning-based object detection in augmented reality: A systematic review / Y. Ghasemi, H. Jeong, S. Choi, J. Lee, K. Park [Электронный ресурс] // Computers in Industry. 2022. Vol. 139. ID: 103661. https://doi.org/10.1016/j.compind.2022.103661 (дата обращения: 05.01.2024).

6. Tu W.-C., He Q., Chien S.-Y. Realtime salient object detection with a minimum spanning tree // Proceedings of IEEE CVF Computer Vision and Pattern Recognition Conference (CVPR), 2016. Pp. 2334-2342.

7. Yang J., Yang M.-H. Top-down visual saliency via joint CRF and dictionary learning [Электронный ресурс] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA, RI, 2012. Pp. 2296-2303. https://doi.org/10.1109/CVPR.2012.6247940 (дата обращения: 05.01.2024).

8. Rosin P.L. A simple method for detecting salient regions // Pattern Recognition. 2009. Vol. 42, iss. 11. Pp. 2363-2371. https://doi.org/10.1016/j.patcog.2009.04.021

9. Girshick R. Rich feature hierarchies for accurate object detection and semantic segmentation / R. Girshick, J. Donahue, T. Darrell, J. Malik [Электронный ресурс] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA, OH, 2014. Pp. 580-587. https://doi.org/10.1109/CVPR.2014.81 (дата обращения: 05.01.2024).

10. Krähenbühl P., Koltun V. Geodesic object proposals [Электронный ресурс] // Computer Vision - ECCV 2014. ECCV 2014. Lecture Notes in Computer Science. Springer, Cham, 2014. Vol. 8693. https://doi.org/10.1007/978-3- 319-10602-1_47 (дата обращения: 05.01.2024).

11. Pont-Tuset J. Multiscale combinatorial grouping for image segmentation and object proposal generation / J. Pont-Tuset, P. Arbeláez, J.T. Barron, F. Marques, J. Malik [Электронный ресурс] // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017. Vol. 39, no. 1. Pp. 128-140. https://doi.org/10.1109/TPAMI.2016.2537320 (дата обращения: 05.01.2024).

12. Zitnick C.L., Dollar P. Edge boxes: Locating object proposals from edges [Электронный ресурс] // Computer Vision - ECCV 2014. ECCV 2014. Lecture Notes in Computer Science. Springer, Cham, 2014. Vol. 8693. https://doi.org/10.1007/978-3-319-10602-1_26 (дата обращения: 05.01.2024).

13. Kuo W., Hariharan B., Malik J. Deepbox: Learning objectness with convolutional networks [Электронный ресурс] // IEEE International Conference on Computer Vision (ICCV). Santiago, Chile, 2015. Pp. 2479-2487. https://doi.org/10.1109/ICCV.2015.285 (дата обращения: 05.01.2024).

14. Pinheiro P.O. Learning to refine object segments / P.O. Pinheiro, T.-Y. Lin, R. Collobert, P. Dollar [Электронный ресурс] // Computer Vision - ECCV 2016. ECCV 2016. Lecture Notes in Computer Science. Springer, Cham, 2016. Vol. 9905. https://doi.org/10.1007/978-3-319-46448-0_5 (дата обращения: 05.01.2024).

15. Redmon J. You only look once: Unified, real-time object detection / J. Redmon, S. Divvala, R. Girshick, A. Farhadi [Электронный ресурс] // Proceedings of IEEE CVF Computer Vision and Pattern Recognition Conference (CVPR). USA, Las Vegas, NV, 2016. Pp. 779-788. https://doi.org/10.1109/CVPR.2016.91 (дата обращения: 05.01.2024).

16. Shanmugamani R. Deep learning for computer vision. Packt Publishing, 2018. 310 p.

17. Zhao Z.-Q. Object detection with deep learning: A review / Z.-Q. Zhao, P. Zheng, S.- T. Xu, X. Wu [Электронный ресурс] // IEEE Transactions on Neural Networks and Learning Systems. 2019. Vol. 30, iss. 11. Pp. 3212-3232. https://doi.org/10.1109/TNNLS.2018.2876865 (дата обращения: 05.01.2024).

18. Gatys L., Ecker A., Bethge M. A Neural algorithm of artistic style [Электронный ресурс] // Journal of Vision. 2016. Vol. 16. ID: 326. https://doi.org/10.1167/16.12.326 (дата обращения: 05.01.2024).

19. Changela A., Zaveri M., Verma D. A Comparative study on CORDIC algorithms and applications [Электронный ресурс] // Journal of Circuits, Systems and Computers. 2023. Vol. 32, no. 05. ID: 2330002. https://doi.org/10.1142/S0218126623300027 (дата обращения: 05.01.2024).