Обеспечение визуальной когерентности в обучающих системах дополненной реальности с учетом авиакосмической специфики

В мае 2022 года саудовская правительственная структура Saudi Arabian Military Industries приобрела обучающую платформу дополненной реальности для летчиков, в сентябре корпорация Boeing начала разработку тренажера пилота дополненной реальности, в ноябре стартовал аналогичный проект ведущего британского разработчика авиационной техники BAE Systems. Эти факты позволяют уверенно говорить о начале новой эпохи авиационных тренажеров – тренажеров с применением технологии дополненной реальности. Одно из перспективных преимуществ данной технологии – возможность безопасного моделирования опасных ситуаций в реальном мире. Необходимым условием использования этого преимущества является обеспечение визуальной когерентности сцен дополненной реальности: виртуальные объекты должны быть неотличимы от реальных. Все мировые IT-лидеры рассматривают дополненную реальность как следующую «большую волну» радикальных изменений в цифровой электронике, поэтому визуальная когерентность становится ключевым вопросом для будущего IT, а в аэрокосмических приложениях визуальная когерентность уже приобрела практическое значение. В РФ имеет место серьезное отставание в изучении проблематики визуальной когерентности в целом и для авиатренажеров дополненной реальности в частности: на момент публикации авторам удалось обнаружить в российском научном пространстве только две работы по теме, тогда как за рубежом их число уже около тысячи. Цель настоящей обзорной статьи – создать условия для купирования проблемы. Визуальная когерентность зависит от многих факторов: освещения, цветового тона, теней от виртуальных объектов на реальных, взаимных отражений, текстур виртуальных поверхностей, оптических аберраций, конвергенции и аккомодации и др. В статье анализируются публикации, посвященные методам оценки условий освещенности и цветового тона реальной сцены и переноса таковых на виртуальные объекты с использованием зондов и по отдельным изображениям, а также по рендерингу виртуальных объектов в сценах дополненной реальности, в том числе с применением нейросетей.

1. Горбунов А.Л. Визуальная когерентность в дополненной реальности // Advanced Engineering Research. 2023. № 2. С. 180–190. DOI: 10.23947/2687-1653-2023-23-2-180-190

2. Горбунов А.Л. Визуальная однородность сцен дополненной реальности // Запись и воспроизведение объемных изображений в кинематографе и других областях: сборник докладов IX Международной научно-практической конференции. Москва, 17–18 апреля 2017 г. М.: ВГИК им. С.А. Герасимова, 2017. С. 235–239.

3. Hughes C. The psychometrics of cybersickness in augmented reality / C. Hughes, C. Fidopiastis, K. Stanney, P. Bailey, E. Ruiz [Электронный ресурс] // Frontiers in Virtual Reality. 2020. Vol. 1. ID: 602954. DOI: 10.3389/frvir.2020.602954 (дата обращения: 05.04.2023).

4. Somanath G., Kurz D. HDR environment map estimation for real-time augmented reality [Электронный ресурс] // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). USA: Nashville, TN, 2021. Pp. 11293–11301. DOI: 10.1109/CVPR46437.2021.01114 (дата обращения: 05.04.2023).

5. Zollmann S. Visualization techniques in augmented reality: A taxonomy, methods and patterns / S. Zollmann, T. Langlotz, R. Grasset, W.H. Lo, S. Mori, H. Regenbrecht // IEEE Transactions on Visualization and Computer Graphics, 2021. Vol. 27, no. 9. Pp. 3808–3825. DOI: 10.1109/TVCG.2020.2986247

6. Kronander J. Photorealistic rendering of mixed reality scenes / J. Kronander, F. Banterle, A. Gardner, E. Miandji, J. Unger // Computer Graphics Forum. 2015. Vol. 34, iss. 2. Pp. 643–665. DOI: 10.1111/cgf.12591

7. Debevec P. A single-shot light probe / P. Debevec, P. Graham, J. Busch, M. Bolas [Электронный ресурс] // SIGGRAPH '12: Special Interest Group on Computer Graphics and Interactive Techniques Conference. California, Los Angeles, 2012. Article No.: 10. Pp. 1–19. DOI: 10.1145/2343045.2343058 (дата обращения: 05.04.2023).

8. Unger J. Capturing and rendering with incident light fields / J. Unger, A. Wenger, T. Hawkins, A. Gardner, P. Debevec // 14th Eurographics Symposium on Rendering, 2003. Pp. 141–149. DOI: 10.2312/EGWR/EGWR03/141-149

9. Alhakamy A., Tuceryan M. CubeMap360: Interactive global illumination for augmented reality in dynamic environment // Proceedings of IEEE SoutheastCon. USA, Huntsville, AL, 2019. Pp. 1–8. DOI: 10.1109/SoutheastCon42311.2019.9020588

10. Knorr S., Kurz D. Real-time illumination estimation from faces for coherent rendering // 2014 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). Germany, Munich, 2014. Pp. 349–350. DOI: 10.1109/ISMAR.2014.6948483

11. Karsch K., Sunkavalli K., Hadap S. и др. Automatic scene inference for 3D object compositing // ACM Transactions on Graphics. 2014. Vol. 33, no. 3. Pp. 1–15. DOI: 10.1145/2602146

12. Tsunezaki S. Reproducing material appearance of real objects using mobile augmented reality / S. Tsunezaki, R. Nomura, T. Komuro, S. Yamamoto, N. Tsumura // 2018 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct). Germany, Munich, 2018. Pp. 196–197. DOI: 10.1109/ISMAR-Adjunct.2018.00065

13. Reinhard E. Real-time color blending of rendered and captured video / E. Reinhard, A.O. Akyüz, M. Colbert, C. Hughes, M. Oconnor [Электронный ресурс] // Proceedings Interservice/Industry Training, Simulation and Education Conference (I/ITSEC). Orlando, Amerika Birleşik Devletleri, 2004. P. 15021. URL: http://www.ceng.metu.edu.tr/~akyuz/files/blend.pdf (дата обращения: 05.04.2023).

14. Chen W.-S., Huang M.-L., Wang C.-M. Optimizing color transfer using color similarity measurement // 2016 IEEE/ACIS 15th International Conference on Computer and Information Science (ICIS), 2016. Pp. 1–6. DOI: 10.1109/ICIS.2016.7550799

15. Chang Y., Saito S., Nakajima M. Example-Based color transformation of image and video using basic color categories // IEEE Transactions on Image Processing, 2007. Vol. 16, no. 2. Pp. 329–336. DOI: 10.1109/tip.2006.888347

16. Xiao X., Ma L. Gradient-Preserving color transfer // Computer Graphics Forum. 2009. Vol. 28, iss. 7. Pp. 1879–1886. DOI: 10.1111/j.1467-8659.2009.01566.x

17. Oskam T. Fast and stable color balancing for images and augmented reality / T. Oskam, A. Hornung, R.W. Sumner, M. Gross // 2012 Second International Conference on 3D Imaging, Modeling, Processing, Visualization & Transmission (3DIMPVT). Zurich, Switzerland, 13–15 October 2012. Pp. 49–56. DOI: 10.1109/3DIMPVT.2012.36

18. Knecht M. Adaptive camera-based color mapping for mixed-reality applications / M. Knecht, C. Traxler, W. Purgathofer, M. Wimmer // 2011 10th IEEE International Symposium on Mixed and Augmented Reality (ISMAR 2011). Switzerland, Basel, 2011. Pp. 165–168. DOI: 10.1109/ISMAR.2011.6092382

19. Einabadi F., Guillemaut J., Hilton A. Deep neural models for illumination estimation and relighting: A survey // Computer Graphics Forum. 2021. Vol. 40, iss. 6. Pp. 315–331. DOI: 10.1111/cgf.14283

20. Gardner M., Sunkavalli K., Yumer E. и др. Learning to predict indoor illumination from a single image // ACM Transactions on Graphics. 2017. Vol. 36, iss. 6. Article No.: 176. Pp. 1–14. DOI: 10.1145/3130800.3130891

21. Song S., Funkhouser T. Neural illumination: Lighting prediction for indoor environments [Электронный ресурс] // Proceedings 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019. Pp. 6918–6926. DOI: 10.48550/arXiv.1906.07370 (дата обращения: 05.04.2023).

22. Cheng D. Learning scene illumination by pairwise photos from rear and front mobile cameras / D. Cheng, J. Shi, Y. Chen, X. Deng, X. Zhang // Computer Graphics Forum. 2018. Vol. 37, iss. 7. Pp. 213–221. DOI: 10.1111/cgf.13561

23. Hold-Geoffroy Y. Deep outdoor illumination estimation / Y. Hold-Geoffroy, K. Sunkavalli, S. Hadap, E. Gambaretto, J.-F. Lalonde [Электронный ресурс] // Proceedings 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). USA, Honolulu, HI, 2017. Pp. 2373–2382. DOI: 10.1109/CVPR.2017.255 (дата обращения: 05.04.2023).

24. Zhao Y., Guo T. PointAR: Effcient lighting estimation for mobile augmented reality // 16th European Conference on Computer Vision (ECCV'20), 2020. Pp. 678–693. DOI: 10.48550/arXiv.2004.00006

25. Garon M. Fast spatially-varying in-door lighting estimation / M. Garon, K. Sunkavalli, S. Hadap, N. Carr, J. Lalonde [Электронный ресурс] // Proceedings IEEE Conference on Computer Vision and Pattern Recognition, 2019. Pp. 6908–6917. DOI: 10.48550/arXiv.1906.03799 (дата обращения: 05.04.2023).

26. LeGendre C., Ma W., Fyffe G. и др. Deep-light: Learning illumination for unconstrained mobile mixed reality [Электронный ресурс] // Proceedings IEEE Conference on Computer Vision and Pattern Recognition, 2019. Pp. 5918–5928. DOI: 10.48550/arXiv.1904.01175 (дата обращения: 05.04.2023).

27. Srinivasan P. Lighthouse: Predicting lighting volumes for spatially-coherent illumination / P. Srinivasan, B. Mildenhall, M. Tancik, J. Barron, R. Tucker, N. Snavely [Электронный ресурс] // Proceedings IEEE Conference on Computer Vision and Pattern Recognition, 2020. Pp. 8080–8089. DOI: 10.48550/arXiv.2003.08367 (дата обращения: 05.04.2023).

28. Tewari A., Fried O., Thies J. и др. State of the art on neural rendering // Computer Graphics Forum. 2020. Vol. 39, iss. 2. Pp. 701–727. DOI: 10.1111/cgf.14022

29. Goodfellow I., Pouget-Abadie J., Mirza M. и др. Generative adversarial nets // Proceedings of the 27th International Conference on Neural Information Processing Systems, 2014. Vol. 2. Pp. 2672–2680. DOI: 10.5555/2969033.2969125

30. Karras T., Laine S., Aila T. A stylebased generator architecture for generative adversarial networks [Электронный ресурс] // 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). USA, Long Beach, CA, 2019. Pp. 4396–4405. DOI: 10.1109/CVPR.2019.00453 (дата обращения: 05.04.2023).

31. Bi S. Deep CG2Real: Synthetic-to-real translation via image disentanglement / S. Bi, K. Sunkavalli, F. Perazzi, E. Shechtman, V. Kim, R. Ramamoorthi // 2019 IEEE/CVF International Conference on Computer Vision (ICCV), 2019. Pp. 2730–2739. DOI: 10.1109/ICCV.2019.00282

32. Xu Z. Deep view synthesis from sparse photometric images / Z. Xu, S. Bi, K. Sunkavalli, S. Hadap, H. Su, R. Ramamoorthi [Электронный ресурс] // ACM Transactions on Graphics. 2019. Vol. 38, iss. 412. Article No.: 76. Pp. 1–13. DOI: 10.1145/3306346.3323007 (дата обращения: 05.04.2023).

33. Park T. Semantic image synthesis with spatially-adaptive normalization / T. Park, M. Liu, T. Wang, J. Zhu [Электронный ресурс] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019. 19 p. DOI: 10.48550/arXiv.1903.07291 (дата обращения: 05.04.2023).

34. Li Z. Inverse rendering for complex indoor scenes: Shape, spatially-varying lighting and SVBRDF from a single image / Z. Li, M. Shafiei, R. Ramamoorthi, K. Sunkavalli, M. Chandraker [Электронный ресурс] // Proceedings IEEE Conference on Computer Vision and Pattern Recognition, 2020. Pp. 2475–2484. DOI: 10.48550/arXiv.1905.02722 (дата обращения: 05.04.2023).

35. Zhan F., Yu Y., Wu R. и др. Bi-level feature alignment for semantic image translation and manipulation [Электронный ресурс] // Proceedings IEEE Conference on Computer Vision and Pattern Recognition, 2022. 18 p. DOI: 10.48550/arXiv.2107.03021 (дата обращения: 05.04.2023).

36. Ghasemi Y. Deep learning-based object detection in augmented reality: A systematic review / Y. Ghasemi, H. Jeong, S. Choi, J. Lee, K. Park [Электронный ресурс] // Computers in Industry. 2022. Vol. 139. ID: 103661. DOI: 10.1016/j.compind.2022.103661 (дата обращения: 05.04.2023).