cahtНаучный вестник МГТУ ГАCivil Aviation High Technologies2079-06192542-0119Moscow State Technical University of Civil Aviation (MSTU CA)10.26467/2079-0619-2022-25-4-20-43caht-2041Research ArticleТРАНСПОРТTRANSPORTТехнология автоматизированного видеонаблюдения конуса-датчика в задаче автоматической дозаправки топливом в полетеTechnology of automated video observation of a drogue-sensor basket in the problem of autonomous aerial refuelingГайденковА. В.GaidenkovA. V.

Андрей Викторович Гайденков , доктор технических наук, профессор, начальник отдела

Москва

Andrey V. Gaidenkov, Doctor of Technical Sciences, Professor, The Head of Department

Moscow

gaidenkov@ians.aeroКаневскийМ. И.KanevskiyM. I.

Михаил Игоревич Каневский, доктор технических наук, профессор, заместитель генерального директора – главный конструктор 

Москва

Mikhail I. Kanevskiy , Doctor of Technical Sciences, Professor, Deputy General Director – Chief Designer

Moscow

ОстровскийА. С.OstrovskiyA. S.

Александр Сергеевич Островский, доктор технических наук, доцент, профессор кафедры

Москва

Alexander S. Ostrovskiy, Doctor of Technical Sciences, Associate Professor, Professor of the Chair

Moscow

oas@bmstu.ruГанякО. И.GanyakO. I.

Олег Иосифович Ганяк, заместитель генерального директора

Жуковский

Oleg I. Ganyak, Deputy General Director

Zhukovsky

oleg.ganyak@tsagi.ruЧижовН. Ю.ChizhovN. Yu.

Николай Юрьевич Чижов , кандидат технических наук, начальник

НИЦ ЦНИИ ВВС

Люберцы

Nikolai Yu. Chizhov, Candidate of Technical Sciences, The Head

Air Force Research Establishment, Central Research Institute

Lyubertsy

gaidenkov@ians.aeroАО «Бортовые аэронавигационные системы»РоссияJSC “Airborne Navigation Systems”Russian FederationМосковский государственный технический университет им. Н. Э. БауманаРоссияBauman Moscow State Technical UniversityRussian FederationФГУП «Центральный аэрогидродинамический институт имени профессора Н. Е. Жуковского»РоссияFSUE “Central Aerohydrodynamic Institute”Russian FederationМинобороны РоссииРоссияMinistry of Defense of the Russian FederationRussian Federation2022060920222542043Copyright © Гайденков А.В., Каневский М.И., Островский А.С., Ганяк О.И., Чижов Н.Ю., 20222022Гайденков А.В., Каневский М.И., Островский А.С., Ганяк О.И., Чижов Н.Ю.Gaidenkov A.V., Kanevskiy M.I., Ostrovskiy A.S., Ganyak O.I., Chizhov N.Y.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://avia.mstuca.ru/jour/article/view/2041

   В работе предложена технология автоматизированного видеонаблюдения конуса-датчика в задаче автоматической дозаправки топливом в полете. Технология основана на использовании пассивной оптико-электронной системы и включает логику автоматизированного наблюдения сцены дозаправки с использованием алгоритмов автоматического обнаружения и сопровождения конуса-датчика, методический аппарат подоптимальной линейной фильтрации наблюдаемого процесса в условиях пространственной и временной нестационарности сцены, алгоритмы автоматического корреляционного обнаружения и сопровождения конуса-датчика с использованием подоптимальной фильтрации. Выполнен анализ построения опытных зарубежных систем автоматической дозаправки топливом в полете. Обоснован выбор алгоритма функционирования системы технического зрения. Установлено, что основные процедуры наблюдения: обнаружение, захват на сопровождение и определение текущих координат конуса с заданным темпом и качеством – должны выполняться автоматически, летчик-оператор принимает участие в работе системы технического зрения при ошибках захвата или срывах сопровождения. Выполнена постановка задачи автоматизированного видеонаблюдения  конуса-датчика.  Предложена  структурно-логическая схема процесса автоматизированного наблюдения, включающая обнаружение и сопровождение конуса, а также принятия решений летчиком в различных ситуациях. Представлен моделирующий комплекс отработки системы технического зрения. Приведены результаты экспериментальных исследований эффективности системы технического зрения. На основе разработанной технологии и по результатам оценки эффективности алгоритмов автоматизированного наблюдения предложена стратегия выполнения автоматизированной дозаправки в условиях различной турбулентности, при этом в условиях слабой турбулентности успешное контактирование обеспечивается сопровождением центра колебаний конуса, в свою очередь в условиях сильной турбулентности успешное контактирование может быть обеспечено сопровождением конуса, управляемого по данным системы технического зрения.

   The paper proposes a technology for automated video-based observation (VBO) of a drogue-sensor in the problem of aerial refueling. The technology is based on the use of a passive optoelectronic system and incorporates the logic of automated refueling observation of a refueling process using algorithms for the automatic detection and tracking of a drogue-sensor, a methodical apparatus for suboptimal linear filtering of the observed process under the conditions of spatial and temporary non-stationarity of the refueling process, algorithms for automatic correlation detection and tracking of a drogue-sensor using suboptimal filtering. An analysis of the design of experimental foreign systems for autonomous aerial refueling is carried out. The choice of the algorithm for the functioning of the synthetic vision system is substantiated. It is established that the main observation procedures: detection, capture for tracking and determination of the current drogue coordinates with a given rate and quality should be performed automatically, the pilot-operator takes part in the operation of the synthetic vision system in case of capture errors or mistracking. The statement of the problem for automated VBO of a drogue-sensor is formulated. A structural-logical diagram of the automated observation process, including the detection and tracking of a drogue, as well as decision-making by the pilot in various situations, is proposed. A modeling complex for a synthetic vision system operation is presented. The results of experimental studies of the synthetic vision system efficiency are presented. Based on the developed technology and the results of evaluating the effectiveness of automated observation algorithms, a strategy for performing autonomous refueling in conditions of various turbulence is proposed, while, during weak turbulence, a successful engagement is provided by tracking the center of drogue oscillations, in turn, under conditions of severe turbulence, a successful engagement can be provided by tracking a drogue controlled according to the synthetic vision system data.

дозаправка топливом в полетевидеонаблюдениесистемы технического зренияоптико-электронные системыобнаружение и распознавание объектаавтомат сопровождения объектаaerial refuelingvideo-based observationsynthetic vision systemsoptoelectronic systemsobject detection and recognitionobject trackerReferencesMartinez C. A Vision-based strategy for autonomous aerial refueling tasks / C. Martinez, T. Richardson, P. Thomas, J. du Bois, P. Campoy // Robotics and Autonomous Systems. 2013. Vol. 61, iss. 8. Pp. 876–895. DOI: 10.1016/j.robot.2013.02.006Martinez, C., Richardson, T., Thomas, P., du Bois, J. & Campoy, P. (2013). A Vision-based strategy for autonomous aerial refueling tasks. Robotics and Autonomous Systems, vol. 61, issue 8, pp. 876–895. DOI: 10.1016/j.robot.2013.02.006Bhandari U. Bow wave effect in probe and drogue aerial refueling / U. Bhandari, P. R. Thomas, S. Bullock, T. S. Richardson, J. L. du Bois [Электронный ресурс] // AAIA Guidance, Navigation and Control Conference, 19–22 August 2013. Pp. 1–21. DOI: 10.2514/6.2013-4695 (дата обращения: 18.09.2021).Bhandari, U., Thomas, P. R., Bullock, S., Richardson, T. S. & du Bois, J. L. (2013). Bow wave effect in probe and drogue aerial refueling. AAIA Guidance, Navigation and Control Conference, 19–22 August, pp. 1–21. DOI: 10.2514/6.2013-4695 (accessed: 18. 09. 2021).Thomas P. R. Advances in air to air refueling / P. R. Thomasa, U. Bhandaria, S. Bullocka, T. S. Richardsona, J. L. du Bois // Progress in Aerospace sciences. 2014. Vol. 71. Pp. 14–35. DOI: 10.1016/j.paerosci.2014.07.001Thomas, P. R., Bhandari, U., Bullock, S., Richardson, T. S. & du Bois, J. (2014). Advances in air to air refueling. Progress in Aerospace sciences, vol. 71, pp. 14–35. DOI: 10.1016/j.paerosci.2014.07.001Thomas P. R. Collaborative control in a flying-boom aerial refueling simulation / P. R. Thomas, S. Bullock, T. S. Richardson, J. Whidborne [Электронный ресурс] // Journal of Guidance, Control and Dynamics. 2015. Vol. 38, no. 7. Pp. 1–16. DOI: 10.2514/1.G000486 (дата обращения: 18. 09. 2021).Thomas, P. R., Bullock, S., Richardson, T. S. & Whidborne, J. (2015). Collaborative control in a flying-boom aerial refueling simulation. Journal of Guidance, Control and Dynamics, vol. 38, no. 7, pp. 1–16. DOI: 10.2514/1.G000486 (accessed: 18. 09. 2021).Fravolini M. L., Campa G., Napolitano M. R. Evaluation of machine vision algorithms for autonomous aerial refueling for unmanned aerial vehicles // Journal of Aerospace Computing, Information and Communication. 2007. Vol. 4, no. 9. Pp. 968–985. DOI: 10.2514/1.17269Fravolini, M. L., Campa, G. & Napolitano, M. R. (2007). Evaluation of machine vision algorithms for autonomous aerial refueling for unmanned aerial vehicles. Journal of Aerospace Computing, Information and Communication, vol. 4, no. 9, pp. 968–985. DOI: 10.2514/1.17269Fravolini M. L. Machine vision algorithms for autonomous aerial refueling for UAVs using the USAF refueling boom method / M. L. Fravolini, M. Mammarella, G. Campa, M. R. Napolitano, M. Perhinschi // Innovations in Defence Support Systems – 1. Studies in Computational Intelligence, in Finn A., Jain L. C. (ed.). Springer, Berlin, Heidelberg, 2010. Vol. 304. Pp. 95–138. DOI: 10.1007/978-3-642-14084-6_5Fravolini, M. L., Mammarella, M., Campa, G., Napolitano, M. R. & Perhinschi, M. (2010). Machine vision algorithms for autonomous aerial refueling for UAVs using the USAF refueling boom method. In book: Innovations in Defence Support Systems–1. Studies in Computational Intelligence, vol. 304, in: Finn A., Jain L. C. (ed.). Springer, Berlin, Heidelberg. DOI: 10.1007/978-3-642-14084-6_5Mammarella M. Comparison of point matching algorithms for the UAV aerial refueling problem / M. Mammarella, G. Campa, M. R. Napolitano, M. Fravolini // Machine Vision and Application. 2010. Vol. 21, no. 3. Pp. 241–251. DOI: 10.1007/s00138-008-0149-8Mammarella, M., Campa, G., Napolitano, M. R. & Fravolini, M. (2010). Comparison of point matching algorithms for the UAV aerial refueling problem. Machine Vision and Application, vol. 21, no. 3, pp. 241–251. DOI: 10.1007/s00138-008-0149-8Campa G., Napolitano M. R., Fravolini M. Simulation environment for machine vision based aerial refueling for UAVs // IEEE Transactions on Aerospace and Electronic Systems. 2009. Vol. 45, no. 1. Pp. 138–151. DOI: 10.1109/TAES.2009.4805269Campa, G., Napolitano, M. R. & Fravolini, M. (2009). Simulation environment for machine vision based aerial refueling for UAVs. IEEE Transactions on Aerospace and Electronic Systems, vol. 45, no. 1, pp. 138–151. DOI: 10.1109/TAES.2009.4805269Василенко Г. И. Голографическое распознавание образов / Г. И. Василенко. – М.: Советское радио, 1977. – 328 с.Vasilenko, G. I. (1977). [Holographic pattern recognition]. Moscow: Sovetskoye radio, 328 p. (in Russian)Колос М. В. Методы оптимальной линейной фильтрации / М. В. Колос, И. В. Колос ; Под ред. В. А. Морозова. – М.: Изд-во МГУ, 2000. – 102 с.Kolos, M. V. & Kolos, I. V. (2000). [Methods of optimal linear filtration], in Morozov V. A. (Ed.). Moscow: Izdatelstvo MGU, 102 p. (in Russian)Гайденков А. В. Исследование возможностей полей корреляционных функций в задаче оптимального обнаружения сигнала известной формы в изображении / А. В. Гайденков, Е. В. Шароватов // Информационно-измерительные и управляющие системы. – 2008. – Т. 6, № 12. – C. 69–76.Gaidenkov, A. V. & Sharovatov, E. V. (2008). Investigation of fields ASF in task of optimum detection in scene of the signal of known form. Information-Measuring and Control Systems, vol. 6, no. 12, pp. 69–76. (in Russian)Вышинский В. В. Моделирование на пилотажном стенде заправки в воздухе с учетом воздействия атмосферной турбулентности и спутного следа / В. В. Вышинский, Л. С. Кукушкин // Научный Вестник МГТУ ГА. – 2011. – № 172. – С. 34–41.Vyshinsky, V. V. & Kukushkin, L. S. (2011). Aerial refueling simulation in flight simulator with taking into account atmospheric and wake turbulence effect. Nauchnyy Vestnik MGTU GA, no. 172, pp. 34–41. (in Russian)Диденко В. П. Фильтрация и регуляризация / В. П. Диденко, О. Е. Цитрицкий. – Киев: КГУ, 1977. – 51 c.Didenko, V. P. & Tsitritsky, O. Ye. (1977). [Filtration and regularization]. Kyiv: KGU, 51 p. (in Russian)Ярославский Л. П. Цифровая обработка сигналов в оптике и голографии: введение в цифровую оптику / Л. П. Ярославский. – М.: Радио и связь, 1987. – 296 c.Yaroslavsky, L. P. (1987). [Digital signal processing in optics and holography: an introduction to digital optics]. Moscow: Radio i svyaz, 296 p. (in Russian)Астапов Ю. М. Теория оптико-электронных следящих систем / Ю. М. Астапов, Д. В. Васильев, Ю. И. Заложнев. – М.: Наука, 1988. – 328 с.Astapov, Yu. M., Vasiliev, D. V. & Zalozhnev, Yu. I. (1988). [Theory of electrooptical tracking systems]. Moscow: Nauka, 328 p. (in Russian)Гайденков А. В. Исследование влияния параметров фильтрации изображения на характеристики корреляционного обнаружения сигнала известной формы / А. В. Гайденков, Е. В. Шароватов // Труды ВВИА. Авиационное радиоэлектронное оборудование. – 2007. – № 1. – С. 124–143.Gaidenkov, A. V. & Sharovatov, Ye. V. (2007). Investigation of the influence of image filtering parameters on the characteristics of the correlation detection of a signal of a known shape. Trudy VVIA. Aviatsionnoye radioelektronnoye oborudovaniye, no. 1, pp. 124–143. (in Russian)Грузман И. С. Цифровая обработка изображений в информационных системах: учеб. пособие / И. С. Грузман [и др.] – Новосибирск: Изд-во НГТУ, 2000. – 168 c.Gruzman, I. S., Kirichuk, V. S., Kosykh, V. P., Peretyagin, G. I. & Spector, A. A. (2000). [Digital image processing in information systems]. Novosibirsk: Izdatelstvo NGTU, 168 p. (in Russian)Гайденков А. В. Синтез и анализ полей корреляционных функций в информационных оптико-электронных системах / А. В. Гайденков // Информационно-измерительные и управляющие системы. – 2007. – Т. 5, № 2. – С. 3–7.Gaidenkov, A. V. (2007). Synthesis and the analysis of fields of correlation functions in optics-electronic information systems. Information-Measuring and Control Systems, vol. 5, no. 2, pp. 3–7. (in Russian)Гайденков А. В. Обнаружение неконтрастных наземных движущихся целей в условиях масштабно-ракурсных преобразований изображения / А. В. Гайденков, А. И. Москальцов // Информационно-измерительные и управляющие системы. – 2007. – Т. 5, № 1. – С. 10–15.Gaidenkov, A. V. & Moskaltsov, A. N. (2007). Detection of the moving ground targets with low-contrast in conditions of turn and scaling of the image. Information-Measuring and Control Systems, vol. 5, no. 1, pp. 10–15. (in Russian)Дуда Р. Распознавание образов и сцен / Р. Дуда, П. Харт ; Пер. с англ. Г. Г. Вайнштейна, А. М. Васьковского ; под ред. В. Л. Стефанюка. – М.: Мир, 1976. – 511 с.Duda, R. O. & Hart, P. E. (1973). Pattern Classification and Scene Analysis. 1st ed. A Wiley-Interscience publication, 512 p.

The authors declare that there are no conflicts of interest present.