Обеспечение визуальной когерентности в обучающих системах дополненной реальности с учетом авиакосмической специфики
https://doi.org/10.26467/2079-0619-2023-26-5-30-41
Аннотация
В мае 2022 года саудовская правительственная структура Saudi Arabian Military Industries приобрела обучающую платформу дополненной реальности для летчиков, в сентябре корпорация Boeing начала разработку тренажера пилота дополненной реальности, в ноябре стартовал аналогичный проект ведущего британского разработчика авиационной техники BAE Systems. Эти факты позволяют уверенно говорить о начале новой эпохи авиационных тренажеров – тренажеров с применением технологии дополненной реальности. Одно из перспективных преимуществ данной технологии – возможность безопасного моделирования опасных ситуаций в реальном мире. Необходимым условием использования этого преимущества является обеспечение визуальной когерентности сцен дополненной реальности: виртуальные объекты должны быть неотличимы от реальных. Все мировые IT-лидеры рассматривают дополненную реальность как следующую «большую волну» радикальных изменений в цифровой электронике, поэтому визуальная когерентность становится ключевым вопросом для будущего IT, а в аэрокосмических приложениях визуальная когерентность уже приобрела практическое значение. В РФ имеет место серьезное отставание в изучении проблематики визуальной когерентности в целом и для авиатренажеров дополненной реальности в частности: на момент публикации авторам удалось обнаружить в российском научном пространстве только две работы по теме, тогда как за рубежом их число уже около тысячи. Цель настоящей обзорной статьи – создать условия для купирования проблемы. Визуальная когерентность зависит от многих факторов: освещения, цветового тона, теней от виртуальных объектов на реальных, взаимных отражений, текстур виртуальных поверхностей, оптических аберраций, конвергенции и аккомодации и др. В статье анализируются публикации, посвященные методам оценки условий освещенности и цветового тона реальной сцены и переноса таковых на виртуальные объекты с использованием зондов и по отдельным изображениям, а также по рендерингу виртуальных объектов в сценах дополненной реальности, в том числе с применением нейросетей.
Об авторах
А. Л. Горбунов
Московский государственный технический университет гражданской авиации
Россия
Россия
Горбунов Андрей Леонидович, кандидат технических наук, доцент, доцент кафедры управления воздушным движением
Москва
Ю. Ли
Московский государственный технический университет гражданской авиации
Россия
Россия
Ли Юньхань, аспирантка
Москва
Список литературы
1. Горбунов А.Л. Визуальная когерентность в дополненной реальности // Advanced Engineering Research. 2023. № 2. С. 180–190. DOI: 10.23947/2687-1653-2023-23-2-180-190
2. Горбунов А.Л. Визуальная однородность сцен дополненной реальности // Запись и воспроизведение объемных изображений в кинематографе и других областях: сборник докладов IX Международной научно-практической конференции. Москва, 17–18 апреля 2017 г. М.: ВГИК им. С.А. Герасимова, 2017. С. 235–239.
3. Hughes C. The psychometrics of cybersickness in augmented reality / C. Hughes, C. Fidopiastis, K. Stanney, P. Bailey, E. Ruiz [Электронный ресурс] // Frontiers in Virtual Reality. 2020. Vol. 1. ID: 602954. DOI: 10.3389/frvir.2020.602954 (дата обращения: 05.04.2023).
4. Somanath G., Kurz D. HDR environment map estimation for real-time augmented reality [Электронный ресурс] // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). USA: Nashville, TN, 2021. Pp. 11293–11301. DOI: 10.1109/CVPR46437.2021.01114 (дата обращения: 05.04.2023).
5. Zollmann S. Visualization techniques in augmented reality: A taxonomy, methods and patterns / S. Zollmann, T. Langlotz, R. Grasset, W.H. Lo, S. Mori, H. Regenbrecht // IEEE Transactions on Visualization and Computer Graphics, 2021. Vol. 27, no. 9. Pp. 3808–3825. DOI: 10.1109/TVCG.2020.2986247
6. Kronander J. Photorealistic rendering of mixed reality scenes / J. Kronander, F. Banterle, A. Gardner, E. Miandji, J. Unger // Computer Graphics Forum. 2015. Vol. 34, iss. 2. Pp. 643–665. DOI: 10.1111/cgf.12591
7. Debevec P. A single-shot light probe / P. Debevec, P. Graham, J. Busch, M. Bolas [Электронный ресурс] // SIGGRAPH '12: Special Interest Group on Computer Graphics and Interactive Techniques Conference. California, Los Angeles, 2012. Article No.: 10. Pp. 1–19. DOI: 10.1145/2343045.2343058 (дата обращения: 05.04.2023).
8. Unger J. Capturing and rendering with incident light fields / J. Unger, A. Wenger, T. Hawkins, A. Gardner, P. Debevec // 14th Eurographics Symposium on Rendering, 2003. Pp. 141–149. DOI: 10.2312/EGWR/EGWR03/141-149
9. Alhakamy A., Tuceryan M. CubeMap360: Interactive global illumination for augmented reality in dynamic environment // Proceedings of IEEE SoutheastCon. USA, Huntsville, AL, 2019. Pp. 1–8. DOI: 10.1109/SoutheastCon42311.2019.9020588
10. Knorr S., Kurz D. Real-time illumination estimation from faces for coherent rendering // 2014 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). Germany, Munich, 2014. Pp. 349–350. DOI: 10.1109/ISMAR.2014.6948483
11. Karsch K., Sunkavalli K., Hadap S. и др. Automatic scene inference for 3D object compositing // ACM Transactions on Graphics. 2014. Vol. 33, no. 3. Pp. 1–15. DOI: 10.1145/2602146
12. Tsunezaki S. Reproducing material appearance of real objects using mobile augmented reality / S. Tsunezaki, R. Nomura, T. Komuro, S. Yamamoto, N. Tsumura // 2018 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct). Germany, Munich, 2018. Pp. 196–197. DOI: 10.1109/ISMAR-Adjunct.2018.00065
13. Reinhard E. Real-time color blending of rendered and captured video / E. Reinhard, A.O. Akyüz, M. Colbert, C. Hughes, M. Oconnor [Электронный ресурс] // Proceedings Interservice/Industry Training, Simulation and Education Conference (I/ITSEC). Orlando, Amerika Birleşik Devletleri, 2004. P. 15021. URL: http://www.ceng.metu.edu.tr/~akyuz/files/blend.pdf (дата обращения: 05.04.2023).
14. Chen W.-S., Huang M.-L., Wang C.-M. Optimizing color transfer using color similarity measurement // 2016 IEEE/ACIS 15th International Conference on Computer and Information Science (ICIS), 2016. Pp. 1–6. DOI: 10.1109/ICIS.2016.7550799
15. Chang Y., Saito S., Nakajima M. Example-Based color transformation of image and video using basic color categories // IEEE Transactions on Image Processing, 2007. Vol. 16, no. 2. Pp. 329–336. DOI: 10.1109/tip.2006.888347
16. Xiao X., Ma L. Gradient-Preserving color transfer // Computer Graphics Forum. 2009. Vol. 28, iss. 7. Pp. 1879–1886. DOI: 10.1111/j.1467-8659.2009.01566.x
17. Oskam T. Fast and stable color balancing for images and augmented reality / T. Oskam, A. Hornung, R.W. Sumner, M. Gross // 2012 Second International Conference on 3D Imaging, Modeling, Processing, Visualization & Transmission (3DIMPVT). Zurich, Switzerland, 13–15 October 2012. Pp. 49–56. DOI: 10.1109/3DIMPVT.2012.36
18. Knecht M. Adaptive camera-based color mapping for mixed-reality applications / M. Knecht, C. Traxler, W. Purgathofer, M. Wimmer // 2011 10th IEEE International Symposium on Mixed and Augmented Reality (ISMAR 2011). Switzerland, Basel, 2011. Pp. 165–168. DOI: 10.1109/ISMAR.2011.6092382
19. Einabadi F., Guillemaut J., Hilton A. Deep neural models for illumination estimation and relighting: A survey // Computer Graphics Forum. 2021. Vol. 40, iss. 6. Pp. 315–331. DOI: 10.1111/cgf.14283
20. Gardner M., Sunkavalli K., Yumer E. и др. Learning to predict indoor illumination from a single image // ACM Transactions on Graphics. 2017. Vol. 36, iss. 6. Article No.: 176. Pp. 1–14. DOI: 10.1145/3130800.3130891
21. Song S., Funkhouser T. Neural illumination: Lighting prediction for indoor environments [Электронный ресурс] // Proceedings 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019. Pp. 6918–6926. DOI: 10.48550/arXiv.1906.07370 (дата обращения: 05.04.2023).
22. Cheng D. Learning scene illumination by pairwise photos from rear and front mobile cameras / D. Cheng, J. Shi, Y. Chen, X. Deng, X. Zhang // Computer Graphics Forum. 2018. Vol. 37, iss. 7. Pp. 213–221. DOI: 10.1111/cgf.13561
23. Hold-Geoffroy Y. Deep outdoor illumination estimation / Y. Hold-Geoffroy, K. Sunkavalli, S. Hadap, E. Gambaretto, J.-F. Lalonde [Электронный ресурс] // Proceedings 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). USA, Honolulu, HI, 2017. Pp. 2373–2382. DOI: 10.1109/CVPR.2017.255 (дата обращения: 05.04.2023).
24. Zhao Y., Guo T. PointAR: Effcient lighting estimation for mobile augmented reality // 16th European Conference on Computer Vision (ECCV'20), 2020. Pp. 678–693. DOI: 10.48550/arXiv.2004.00006
25. Garon M. Fast spatially-varying in-door lighting estimation / M. Garon, K. Sunkavalli, S. Hadap, N. Carr, J. Lalonde [Электронный ресурс] // Proceedings IEEE Conference on Computer Vision and Pattern Recognition, 2019. Pp. 6908–6917. DOI: 10.48550/arXiv.1906.03799 (дата обращения: 05.04.2023).
26. LeGendre C., Ma W., Fyffe G. и др. Deep-light: Learning illumination for unconstrained mobile mixed reality [Электронный ресурс] // Proceedings IEEE Conference on Computer Vision and Pattern Recognition, 2019. Pp. 5918–5928. DOI: 10.48550/arXiv.1904.01175 (дата обращения: 05.04.2023).
27. Srinivasan P. Lighthouse: Predicting lighting volumes for spatially-coherent illumination / P. Srinivasan, B. Mildenhall, M. Tancik, J. Barron, R. Tucker, N. Snavely [Электронный ресурс] // Proceedings IEEE Conference on Computer Vision and Pattern Recognition, 2020. Pp. 8080–8089. DOI: 10.48550/arXiv.2003.08367 (дата обращения: 05.04.2023).
28. Tewari A., Fried O., Thies J. и др. State of the art on neural rendering // Computer Graphics Forum. 2020. Vol. 39, iss. 2. Pp. 701–727. DOI: 10.1111/cgf.14022
29. Goodfellow I., Pouget-Abadie J., Mirza M. и др. Generative adversarial nets // Proceedings of the 27th International Conference on Neural Information Processing Systems, 2014. Vol. 2. Pp. 2672–2680. DOI: 10.5555/2969033.2969125
30. Karras T., Laine S., Aila T. A stylebased generator architecture for generative adversarial networks [Электронный ресурс] // 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). USA, Long Beach, CA, 2019. Pp. 4396–4405. DOI: 10.1109/CVPR.2019.00453 (дата обращения: 05.04.2023).
31. Bi S. Deep CG2Real: Synthetic-to-real translation via image disentanglement / S. Bi, K. Sunkavalli, F. Perazzi, E. Shechtman, V. Kim, R. Ramamoorthi // 2019 IEEE/CVF International Conference on Computer Vision (ICCV), 2019. Pp. 2730–2739. DOI: 10.1109/ICCV.2019.00282
32. Xu Z. Deep view synthesis from sparse photometric images / Z. Xu, S. Bi, K. Sunkavalli, S. Hadap, H. Su, R. Ramamoorthi [Электронный ресурс] // ACM Transactions on Graphics. 2019. Vol. 38, iss. 412. Article No.: 76. Pp. 1–13. DOI: 10.1145/3306346.3323007 (дата обращения: 05.04.2023).
33. Park T. Semantic image synthesis with spatially-adaptive normalization / T. Park, M. Liu, T. Wang, J. Zhu [Электронный ресурс] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019. 19 p. DOI: 10.48550/arXiv.1903.07291 (дата обращения: 05.04.2023).
34. Li Z. Inverse rendering for complex indoor scenes: Shape, spatially-varying lighting and SVBRDF from a single image / Z. Li, M. Shafiei, R. Ramamoorthi, K. Sunkavalli, M. Chandraker [Электронный ресурс] // Proceedings IEEE Conference on Computer Vision and Pattern Recognition, 2020. Pp. 2475–2484. DOI: 10.48550/arXiv.1905.02722 (дата обращения: 05.04.2023).
35. Zhan F., Yu Y., Wu R. и др. Bi-level feature alignment for semantic image translation and manipulation [Электронный ресурс] // Proceedings IEEE Conference on Computer Vision and Pattern Recognition, 2022. 18 p. DOI: 10.48550/arXiv.2107.03021 (дата обращения: 05.04.2023).
36. Ghasemi Y. Deep learning-based object detection in augmented reality: A systematic review / Y. Ghasemi, H. Jeong, S. Choi, J. Lee, K. Park [Электронный ресурс] // Computers in Industry. 2022. Vol. 139. ID: 103661. DOI: 10.1016/j.compind.2022.103661 (дата обращения: 05.04.2023).
Рецензия
Для цитирования:
Горбунов А.Л., Ли Ю. Обеспечение визуальной когерентности в обучающих системах дополненной реальности с учетом авиакосмической специфики. Научный вестник МГТУ ГА. 2023;26(5):30-41. https://doi.org/10.26467/2079-0619-2023-26-5-30-41
For citation:
Gorbunov A.L., Li Yu. Visual coherence in augmented reality training systems considering aerospace specific features. Civil Aviation High Technologies. 2023;26(5):30-41. (In Russ.) https://doi.org/10.26467/2079-0619-2023-26-5-30-41
Просмотров: 118
Послать статью по эл. почте 
