cahtНаучный вестник МГТУ ГАCivil Aviation High Technologies2079-06192542-0119Moscow State Technical University of Civil Aviation (MSTU CA)10.26467/2079-0619-2024-27-2-69-79caht-2337Research ArticleМАШИНОСТРОЕНИЕMECHANICAL ENGINEERINGАлгоритм комплексирования изображений при групповом применении беспилотных воздушных судовImage fusion algorithm for the collaborative use of unmanned aerial vehiclesЛевшонковН. В.LevshonkovN. V.

Левшонков Никита Викторович, к.т.н., доцент кафедры конструкций летательных аппаратов

г. Казань

Nikita V. Levshonkov, Candidate of Technical Sciences, Associate Professor of the Aircraft Structures Chair

Kazan

NVLevshonkov@kai.ruНафиковИ. М.NafikоvI. M.

Нафиков Игорь Маратович, аспирант кафедры конструкций летательных аппаратов

г. Казань

Igor M. Nafikov, Postgraduate Student of the Aircraft Structures Chair

Kazan

IMNafikov@kai.ruЛарюхинаЯ. В.LaryukhinaY. V.

Ларюхина Яна Владиславовна, студентка кафедры конструкций летательных аппаратов

г. Казань

Yana V. Laryukhina, Student of the Aircraft Structures Chair

Kazan

LaryukhinaYaV@stud.kai.ruКазанский национальный исследовательский технический университет им. А.Н. ТуполеваРоссияKazan National Research Technical University named after A.N. TupolevRussian Federation2024060520242726979Copyright © Левшонков Н.В., Нафиков И.М., Ларюхина Я.В., 20242024Левшонков Н.В., Нафиков И.М., Ларюхина Я.В.Levshonkov N.V., Nafikоv I.M., Laryukhina Y.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://avia.mstuca.ru/jour/article/view/2337

В настоящее время непрерывно расширяется область применения беспилотных воздушных судов. Перспективной областью совершенствования беспилотных воздушных судов является осуществление при выполнении управляемого полета некоторых групповых действий. В настоящей работе рассмотрены некоторые вопросы группового применения беспилотных воздушных судов, связанные с организацией согласованного планирования и управления беспилотными воздушными судами, выполняющими задачи наблюдения. Выполнение поисковых работ с воздуха технически осложнено необходимостью распознать объект поиска в произвольных условиях, которые могут быть как простыми, так и сложными. Область поиска ограничена техническими возможностями беспилотного воздушного судна, поэтому с целью повышения эффективности поисковых работ беспилотные воздушные суда объединяются в группы. Предлагается алгоритм решения задачи поиска объекта в произвольных условиях группой беспилотных воздушных судов. Преимуществом группового поиска беспилотными воздушными судами является охват района поиска большей площади за условную единицу времени. В настоящей работе рассматривается технический облик беспилотного воздушного судна, содержащий как средства осуществления группового полета, так и систему технического зрения. Изображение, получаемое системой технического зрения, является одновременно источником навигационной информации и средством, достоверно определяющим результат поисковых работ. В зависимости от условий проведения поисковых работ изображение, получаемое системой технического зрения, может потребовать дополнительной обработки для применения по назначению. Предложен алгоритм комплексирования, отличающийся адаптивной настройкой параметров в каждом кадре индивидуально для различных фрагментов изображения. На основе полученных результатов планируется создать новый продукт для коммерческой эксплуатации беспилотных воздушных судов.

Currently, the applicable scope of unmanned aircraft application is increasingly expanding. The promising field of unmanned aircraft enhancement is the implementation of some collaborative actions during controlled flight. This paper considers some issues of the group application of unmanned aerial vehicles (UAV) related to the coordinated planning and control of UAVs performing surveillance missions. Performing aerial search operations is technically complicated by the requirement to recognize a search object in arbitrary conditions, which can be both simple and severe environment. The search area is limited by the UAV capabilities, so, in order to improve the efficiency of search operations, UAVs are combined into groups. An algorithm for solving the problem of object search in arbitrary conditions by a group of unmanned aircraft is proposed. The advantage of search by a group of unmanned aircraft is the coverage of the larger search area in a conventional unit of time. This paper addresses the unmanned aircraft configuration, containing both the means of collaborative flight operation and a synthetic vision system. The image obtained by the synthetic vision system is both a source of navigation information and a means which reliably determines the result of search operations. Depending on the conditions of search operations, the image obtained by the synthetic vision system may require additional processing to use as intended. A fusion algorithm is proposed, which is characterized by adaptive adjustment of parameters in each frame individually for different image fragments. Based on the results obtained, it is planned to create a new product for commercial operation of unmanned aircraft.

беспилотное воздушное судногрупповое применениеавтономное управлениесистемы улучшенного видениякомплексирование изображенийпоисковые работыunmanned aerial vehiclegroup applicationautonomous controlenhanced vision systemsimage fusionsearch operationsReferencesГаинутдинова Т.Ю. Модель формирования стаи для автономных летательных аппаратов / Т.Ю. Гаинутдинова, А.В. Гайнутдинова, М.В. Трусфус, В.Г. Гайнутдинов // Известия высших учебных заведений. Авиационная техника. 2020. № 3. С. 134–138.Gainutdinova, T.Y., Gainutdinova, A.V., Trusfus, M.V., Gainutdinov, V.G. (2020). Flocking model for autonomous aircraft. Russian Aeronautics, vol. 63, no. 3, pp. 134–138. DOI: 10.3103/S1068799820030198Афанасьев В.А., Дегтярев Г.Л., Мещанов А.С. Формирование программных пространственных траекторий полета беспилотных летательных аппаратов // Известия высших учебных заведений. Авиационная техника. 2017. № 3. С. 29–37.Afanas’ev, V.A., Degtyarev, G.L., Meshchanov, A.S. (2017). Formation of programmed spatial flight trajectories of unmanned aerial vehicles. Russian Aeronautics, vol. 60, no. 3, pp. 29–37. DOI: 10.3103/S1068799817030059Ким Н.В., Кузнецов А.Г., Крылов И.Г. Применение систем технического зрения на беспилотных летательных аппаратах в задачах ориентации на местности // Вестник МАИ. 2010. Т. 17, № 3. С. 6.Kim, N.V., Kuznetsov, A.G., Krylov, I.G. (2010). Application of systems of technical vision on pilotless flying machines in problems of orientation to districts. Vestnik MAI, vol. 17, no. 3, p. 6. (in Russian)Zhang Y., Zhang P. Power control algorithm based on a cooperative game in usercentric unmanned aerial vehicle group [Электронный ресурс] // Complexity. 2021. ID: 7108198. 6 p. DOI: 10.1155/2021/7108198 (дата обращения: 08.02.2023).Zhang, Y., Zhang, P. (2021). Power control algorithm based on a cooperative game in user-centric unmanned aerial vehicle group. Complexity, ID: 7108198, 6 p. DOI: 10.1155/2021/7108198 (accessed: 08.02.2023).Бондаренко М.А., Дрынкин В.Н. Оценка информативности комбинированных изображений в мультиспектральных системах технического зрения // Программные системы и вычислительные методы. 2016. № 1. С. 64–79. DOI: 10.7256/2305-6061.2016.1.18047Bondarenko, M.A., Drynkin, V.N. (2016). Assessment of the information content of combined images in multispectral vision systems. Software Systems and Computational Methods, no. 1, pp. 64–79. DOI: 10.7256/2305-6061.2016.1.18047 (in Russian)Гриценко А.Е., Степашкин В.Н., Сельвесюк Н.И. Алгоритм непрерывной автоматической коррекции пилотажно-навигационной системы беспилотного летательного аппарата на основе сквозной стереофотограмметрической обработки изображений от бортового многокадрового датчика // Научный Вестник МГТУ ГА. 2012. № 176. С. 128–133.Gritsenko, A.E., Stepashkin, V.N., Selvesyuk, N.I. (2012). Algorithm for continuous automatic correction of the flight navigation system of an unmanned aircraft based on end-toend stereophotogrammetric image processing from an onboard multi-frame sensor. Nauchnyy Vestnik MGTU GA, no. 176, pp. 128–133. (in Russian)Дрынкин В.Н., Фальков Э.Я., Царева Т.И. Формирование комбинированного изображения в двухзональной бортовой авиационно-космической системе // Механика, управление и информатика. 2012. № 3 (9). С. 33–39.Drynkin, V.N., Falkov, E.Ya., Tsareva, T.I. (2012). Composite image generation in two-spectral onboard airspace system. Mekhanika, upravleniye i informatika, no. 3 (9), pp. 33–39. (in Russian)Зотин А.Г. Улучшение визуального качества изображений, полученных в сложных условиях освещенности на основе инфракрасных данных / А.Г. Зотин, М.В. Дамов, А.И. Пахирка, Е.И. Савчина // Программные продукты и системы. 2016. № 3. С. 109–120.Zotin, A.G., Damov, M.V., Pakhirka, A.I., Savchina, Ye.I. (2016). Improving the visual quality of images captured in difficult lighting conditions using infrared data. Programmnyye produkty i sistemy, no. 3, pp. 109–120. (in Russian)Yilmaz V., Gungor O. Fusion of very high-resolution UAV images with criteria-based image fusion algorithm [Электронный ресурс] // Arabian Journal of Geosciences. 2016. Vol. 9, article number 59. 16 p. DOI: 10.1007/s12517-015-2109-8 (дата обращения: 08.02.2023).Yilmaz, V., Gungor, O. (2016). Fusion of very high-resolution UAV images with criteria-based image fusion algorithm. Arabian Journal of Geosciences, vol. 9, article number 59, 16 p. DOI: 10.1007/s12517-015-2109-8 (accessed: 08.02.2023).Инсаров В.В. Формирование комплексированных телевизионно-тепловизионных изображений в системах переднего обзора летательных аппаратов / В.В. Инсаров, К.В. Обросов, В.Я. Ким, В.М. Лисицын // Вестник компьютерных информационных технологий. 2013. № 4. С. 3–10.Insarov, V.V., Obrosov, K.V., Kim, V.Ja., Lisitsyn, V.M. (2013). IR-TV images fusion in systems of the forward views of aircraft. Vestnik kompyuternykh informatsionnykh tekhnologiy, no. 4, pp. 3–10. (in Russian)Пуртов И.С., Синча Д.П. Исследование методов и разработка алгоритмов обработки видеоинформации в задачах локализации положения беспилотного летательного аппарата на основе распознавания изображений при помехах и искажениях [Электронный ресурс] // Труды МАИ. 2012. № 52. 13 с. URL: https://trudymai.ru/upload/iblock/ac0/issledovanie-metodov-i-razrabotka-algoritmovobrabotki-videoinformatsii-v-zadachakhlokalizatsii-polozheniya-bespilotnogoletatelnogo-apparata-na-osnove-raspoznovaniyaizobrazheniy-pri-pomekhakh-iiskazheniyakh.pdf?lang=ru&issue=52 (дата обращения: 08.02.2023).Purtov, I.S., Sincha, D.P. (2012). Method analysis and development of video information processing alghoritm for UAV coordinates localization based on the recognition of the underlying surface images, Trudy MAI, no. 52, 13 p. Available at: https://trudymai.ru/upload/iblock/ac0/issledovanie-metodov-irazrabotka-algoritmov-obrabotkivideoinformatsii-v-zadachakh-lokalizatsiipolozheniya-bespilotnogo-letatelnogo-apparatana-osnove-raspoznovaniya-izobrazheniy-pripomekhakh-i-iskazheniyakh.pdf?lang=ru&issue=52 (accessed: 08.02.2023). (in Russian)Лунев Е.М. Повышение точности определения навигационных параметров беспилотного летательного аппарата на базе фотограмметрических измерений на этапе посадки // Вестник МАИ. 2011. Т. 18, № 2. С. 150–159.Lunev, Ye.M. (2011). Improving the accuracy of uav navigation parameters during landing on the basis of photogrammetric measurements. Vestnik MAI, vol. 18, no. 2, pp. 150–159. (in Russian)Yu Z. Fusion method of optical image and SAR based on UAV / Z. Yu, F. Wu, X. Ning, L. Pang, Y. He, P. Liu // Journal of Applied Optics. 2017. Vol. 38, no. 2. Pp. 174–179. DOI: 10.5768/JAO201738.0201004Yu, Z., Wu, F., Ning, X., Pang, L., He, Y., Liu, P. (2017). Fusion method of optical image and SAR based on UAV. Journal of Applied Optics, vol. 38, no. 2, pp. 174–179. DOI: 10.5768/JAO201738.0201004Li S. Image fusion employing adaptive spectral-spatial gradient sparse regularization in UAV remote sensing / S. Li, F. Yu, X. Tian, Zh. Ml [Электронный ресурс] // Signal Processing. 2020. Vol. 170, ID: 107434. DOI: 10.1016/j.sigpro.2019.107434 (дата обращения: 08.02.2023).Li, S., Yu, F., Tian, X., Ml, Zh. (2020). Image fusion employing adaptive spectral-spatial gradient sparse regularization in UAV remote sensing. Signal Processing, vol. 170, ID: 107434. DOI: 10.1016/j.sigpro.2019.107434 (accessed: 08.02.2023).Казбеков Б.В., Максимов Н.А., Шаронов А.В. Метод сопоставления изображений с эталонами как метод идентификации подвижных наземных объектов // Научный Вестник МГТУ ГА. 2014. № 207. С. 61–66.Kazbekov, B.V., Maximov, N.A., Sharonov, A.V. (2014). The method of computation images matching with the standard as a method for identification of moving ground objects. Nauchnyy Vestnik MGTU GA, no. 207, pp. 61–66. (in Russian)Павлова Н.В., Лунев Е.М. Программно-алгоритмическое обеспечение для определения навигационных параметров беспилотного летательного аппарата на базе фотоизображения // Вестник МАИ. 2009. Т. 16, № 6. С. 16.Pavlova, N.V., Lunev, Ye.M. (2009). Software and algorithmic maintenance for definition of navigation parameters of the unmanned aerial vehicle on the basis of photographic image. Vestnik MAI, vol. 16, no. 6, p. 16. (in Russian)Shorakaei H. Optimal cooperative path planning of unmanned aerial vehicles by a parallel genetic algorithm / H. Shorakaei, M. Vahdani, B. Imani, A. Gholami // Robotica. 2016. Vol. 34, iss. 4. Pp. 823–836. DOI: 10.1017/S0263574714001878Shorakaei, H., Vahdani, M., Imani, B., Gholami, A. (2016). Optimal cooperative path planning of unmanned aerial vehicles by a parallel genetic algorithm. Robotica, vol. 34, issue 4, pp. 823–836. DOI: 10.1017/S0263574714001878Çaşka S., Gayretli A. An algorithm for collaborative surveillance systems with unmanned aerial and ground vehicles // International journal of engineering trends and technology. 2016. Vol. 33, no. 5. Pp. 208–212. DOI: 10.14445/22315381/IJETT-V33P241Çaşka, S., Gayretli, A. (2016). An algorithm for collaborative surveillance systems with unmanned aerial and ground vehicles. International Journal of Engineering Trends and Technology, vol. 33, no. 5, pp. 208–212. DOI: 10.14445/22315381/IJETT-V33P241Alam M. Topology control algorithms in multi-unmanned aerial vehicle networks: an extensive survey / M. Alam, M.Y. Arafat, S. Moh, J. Shen [Электронный ресурс] // Journal of network and computer applications. 2022. Vol. 207, ID: 103495. DOI: 10.1016/j.jnca.2022. 103495 (дата обращения: 08.02.2023).Alam, M., Arafat, M.Y., Moh, S., Shen, J. (2022). Topology control algorithms in multi-unmanned aerial vehicle networks: an extensive survey. Journal of network and computer applications, vol. 207, ID: 103495. DOI: 10.1016/j.jnca.2022.103495 (accessed: 08.02.2023).Do H. Formation control algorithms for multiple-UAVs: a comprehensive survey / H. Do, H. Hua, M. Nguyen, V.-C. Nguyen, H. Nguyen, N. Nga [Электронный ресурс] // EAI Endorsed transactions on industrial networks and intelligent systems. 2021. Vol. 8, ID: 170230. 13 p. DOI: 10.4108/eai.10-6-2021. 170230 (дата обращения: 08.02.2023).Do, H., Hua, H., Nguyen, M., Nguyen, V.-C., Nguyen, H., Nga, N. (2021). Formation control algorithms for multiple-UAVs: a comprehensive survey. EAI Endorsed transactions on industrial networks and intelligent systems, vol. 8, ID: 170230, 13 p. DOI: 10.4108/eai.10-6-2021.170230 (accessed: 08.02.2023).Balasundaram B., Thirugnanam G. Multiwavelet based unmanned aerial vehicle thermal image fusion for surveillance and target location // ICACDS 2020: Advances in Computing and Data Sciences, 2020. Vol. 1244. Pp 352–361. Singapore: Springer. DOI: 10.1007/978-981-15-6634-9_32Balasundaram, B., Thirugnanam, G. (2020). Multiwavelet based unmanned aerial vehicle thermal image fusion for surveillance and target location. In: ICACDS 2020: Advances in Computing and Data Sciences, vol. 1244, pp. 352–361. Springer, Singapore. DOI: 10.1007/978-981-15-6634-9_32Kaimaris D., Kandylas A. Small multispectral UAV sensor and its image fusion capability in cultural heritage applications // Heritage. 2020. Vol. 3, no. 4. Pp. 1046–1062. DOI: 10.3390/heritage3040057Kaimaris, D., Kandylas, A. (2020). Small multispectral UAV sensor and its image fusion capability in cultural heritage applications. Heritage, vol. 3, no. 4, pp. 1046–1062. DOI: 10.3390/heritage3040057

The authors declare that there are no conflicts of interest present.