Применение предварительно обученных нейронных сетей для решения задачи обратного поиска рентгеновских изображений запрещенных предметов и веществ

В работе рассматриваются вопросы применения предварительно обученных нейронных сетей для решения задачи обратного поиска рентгеновских изображений запрещенных предметов и веществ. Целью работы является проведение анализа и обоснование путей повышения эффективности систем распознавания рентгеновских изображений багажа и ручной клади пассажиров. Представлен анализ существующих отечественных и зарубежных работ в области распознавания рентгеновских изображений багажа и ручной клади пассажиров. Выявлено, что, несмотря на достигнутые результаты по разработке алгоритмов распознавания запрещенных предметов и веществ, они не в полной мере справляются с таким фактором сложности, как наложение предметов. Для решения данной проблемы в работе предлагается дополнительно анализировать те рентгеновские изображения, на которых уверенность в распознавании объектов невысокая. Данный этап включает в себя следующие шаги: сегментация изображений, извлечение признаков сегментированных элементов изображений; поиск схожих изображений по базе данных; принятие решения о классе сегментированных элементов изображений. В данной статье рассматриваются три последних шага. Проанализированы варианты реализации подходов к извлечению признаков из изображений, в частности основанные на применение сверточных автоэнкодеров и предварительно обученных нейронных сетей. Выбран подход, основанный на применении предварительно обученных нейронных сетей. В работе применяется нейронная сеть архитектуры ResNet-50, предварительно обученная на коллекции ImageNet. Для применения данной модели для извлечения векторов признаков изображений, был предварительно удален последний слой классификации. Все предыдущие слои модели кодируют изображение в вектор. ResNet-50 генерирует 2048-мерный вектор признаков изображений. Для понижения размерности векторов признаков изображений используется метод главных компонент. Решение о том, является ли сегментированный элемент изображения запрещенным предметом или веществом, рассматривается как задача обратного поиска с применением алгоритма K‑ближайших соседей. Класс элемента рентгеновского изображения в данном случае – это класс, наиболее часто встречающийся среди k ближайших соседей. В целях апробации предложенного подхода был сформирован обучающий набор данных, включающий 4 635 изображений отдельных предметов и веществ, которые могут встречаться в багаже и ручной клади пассажиров. Представлен сравнительный анализ времени индексации и поиска изображений при различных алгоритмах и количестве признаков. Представлен сравнительный анализ точности модели. Сделан вывод, что наиболее приемлемым является алгоритм Brute force в сочетании с методом главных компонент.

1. Bozinovski S., Ante F. The influence of pattern similarity and transfer learning upon training of a base perceptron B2 // Proceedings of Symposium Informatica. 1976. № 3. Pp. 121–126.

2. Girshick R. Fast R-CNN // 2015 IEEE International Conference on Computer Vision (ICCV). Santiago, Chile, 2015. Pp. 1440–1448. DOI: 10.1109/ICCV.2015.169

3. Krizhevsky A., Sutskever I., Hinton G.E. ImageNet classification with deep convolutional neural networks // Communications of the ACM. 2017. Vol. 60, iss. 6. Pp. 84–90. DOI: 10.1145/3065386

4. Girshick R. Rich feature hierarchies for accurate object detection and semantic segmentation / R. Girshick, J. Donahue, T. Darrell, J. Malik // 2014 IEEE Conference on Computer Vision and Pattern Recognition, USA, Columbus, 2014. Pp. 580–587. DOI: 10.1109/CVPR.2014.81

5. Ren S. Faster R-CNN: Towards realtime object detection with region proposal networks / S. Ren, K. He, R. Girshick, J. Sun // Proceedings of the 28th International Conference on Neural Information Processing Systems (NIPS'15). 2015. Vol. 1. Pp. 91–99.

6. Liu J., Leng X., Liu Y. Deep convolutional neural network based object detector for x-ray baggage security imagery // 2019 IEEE 31st International Conference on Tools with Artificial Intelligence (ICTAI). USA, Portland, 2019. Pp. 1757–1761. DOI: 10.1109/ICTAI.2019.00262

7. Redmon J., Farhadi A. YOLOv3: An incremental improvement [Электронный ресурс] // Computer Vision and Pattern Recognition. 2018. DOI: 10.48550/arXiv.1804.02767 (дата обращения: 19.11.2023).

8. Liu W., Anguelov D., Erhan D. et al. SSD: Single shot multibox detector // Proceedings 14th European Conference: Computer Vision – ECCV 2016. The Netherlands, Amsterdam, October 11–14, 2016. Part 1. Pp. 1–17. DOI: 10.1007/978-3-319-46448-0_2

9. He K. Mask R-CNN / K. He, G. Gkioxari, P. Dollár, R. Girshick [Электронный ресурс] // Computer Vision and Pattern Recognition. 2017. DOI: 10.48550/arXiv.1703.06870 (дата обращения: 19.11.2023).

10. Андриянов Н.А., Дементьев В.Е., Ташлинский А.Г. Обнаружение объектов на изображении: от критериев Байеса и Неймана-Пирсона к детекторам на базе нейронных сетей EfficientDet // Компьютерная оптика. 2022. Т. 46, № 1. С. 139–159. DOI: 10.18287/2412-6179-CO-922

11. Jaccard N. Automated detection of smuggled high-risk security threats using deep learning / N. Jaccard, T. Rogers, E. Morton, L. Griffin [Электронный ресурс] // Computer Vision and Pattern Recognition. 2016. 7 p. DOI: 10.48550/arXiv.1609.02805 (дата обращения: 19.11.2023).

12. Liang K.J., Sigman J.B., Spell G.P. et al. Toward automatic threat recognition for airport x-ray baggage screening with deep convolutional object detection [Электронный ресурс] // Computer Vision and Pattern Recognition. 2019. 11 p. DOI: 10.48550/arXiv.1912.06329 (дата обращения: 19.11.2023).

13. Kolte S., Bhowmik N., Dhiraj. Threat Object-based anomaly detection in X-ray images using GAN-based ensembles [Электронный ресурс] // Neural Computing and Applications. 2023. Vol. 35. Pp. 23025–23040. DOI: 10.1007/s00521-022-08029-z (дата обращения: 19.11.2023).

14. Michel S. Increasing X-ray image interpretation competency of cargo security screeners / S. Michel, M. Mendes, J.C. de Ruiter, C.M. GerKoomen, A. Schwaninger // International Journal of Industrial Ergonomics. 2014. Vol. 44, iss. 4. Pp. 551–560. DOI: 10.1016/j.ergon.2014.03.007

15. Коул А., Ганджу С., Казам М. Искусственный интеллект и компьютерное зрение. Реальные проекты на Python, Keras и TensorFlow. СПб.: Питер, 2023. 608 с.

16. Шолле Ф. Глубокое обучение на Python. СПб.: Питер, 2018. 400 с.

17. Айвазян С.А. Прикладная статистика. Классификация и снижение размерности / С.А. Айвазян, В.М. Бухштабер, И.С. Енюков, Л.Д. Мешалкин. М.: Финансы и статистика, 1989. 607 с.

18. He K. Deep residual learning for image recognition / K. He, X. Zhang, S. Ren, J. Sun // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). USA, Las Vegas, 2016. Pp. 770–778. DOI: 10.1109/CVPR.2016.90

19. Van der Maaten L.J.P., Hinton G.E. Visualizing high-dimensional data using t-SNE // Journal of Machine Learning Research. 2008. Vol. 9. Pp. 2579–2605.