Метод оценки качества работы алгоритмов сжатия видео при передаче по низкоскоростному радиоканалу в условиях воздействия помех

Александр Анатольевич Лянгузов; Александр Васильевич Коробейников

doi:10.22213/2413-1172-2022-3-74-81

Авторы

А. А. Лянгузов ИжГТУ имени М. Т. Калашникова
А. В. Коробейников ИжГТУ имени М. Т. Калашникова

DOI:

https://doi.org/10.22213/2413-1172-2022-3-74-81

Ключевые слова:

сжатие видео, видеокодеки, обработка видео, оценка качества видео, помехоустойчивость передачи видео, семантический анализ видеоданных

Аннотация

Представлен обзор работ, посвященных алгоритмам сжатия видео на основе методов искусственного интеллекта. Выделены два основных направления развития таких алгоритмов - создание модулей для постобработки результатов работы классических алгоритмов и разработка алгоритмов, полностью заменяющих существующие видеокодеки. Рассматриваются проблемы широко используемых критериев оценки качества работы алгоритмов сжатия и передачи видеоданных. Установлено, что критерии на базе вычисления среднеквадратичного отклонения, такие как, например, PSNR, не могут быть применены для оценки качества работы алгоритмов сжатия видеоданных в условиях воздействия радиотехнических помех ввиду сильного влияния на результат оценки артефактов, неизбежно возникающих в результате воздействия такого рода помех. Предложен альтернативный метод оценки качества на основе семантического анализа кадров, который может быть применен для оценки помехоустойчивости алгоритмов передачи видеоданных. Представленный метод оценки использует покадровое сравнение исходного и восстановленного видеоряда аналогично PSNR. Однако в отличие от последнего игнорирует артефакты, возникающие в ходе воздействия радиотехнических помех, за счет использования семантического анализа кадров, заключающегося в поиске объектов на изображении с помощью подходов на основе искусственного интеллекта. Для сравнения найденных объектов на исходном и восстановленном кадре используется оценка, базирующаяся на геометрическом положении найденных объектов на изображении. После чего данный показатель усредняется для всех кадров видеоряда с целью получения результирующего показателя похожести восстановленного видео и оригинала.

Биографии авторов

А. А. Лянгузов, ИжГТУ имени М. Т. Калашникова

аспирант

А. В. Коробейников, ИжГТУ имени М. Т. Калашникова

кандидат технических наук, доцент кафедры программного обеспечения

Библиографические ссылки

Ma S. Image and video compression with neural networks: A review: IEEE Transactions on Circuits and Systems for Video Technology, 2019, vol. 30, no. 6, pp. 1683-1698.

Liu D. Deep learning-based technology in responses to the joint call for proposals on video compression with capability beyond HEVC: IEEE Transactions on Circuits and Systems for Video Technology, 2019, vol. 30, no. 5, pp. 1267-1280.

Cheng Z., Sun H., Takeuchi M., Katto J. Learned image compression with discretized gaussian mixture likelihoods and attention modules: Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020.

Ding D. Advances in video compression system using deep neural network: A review and case studies: Proc. of the IEEE, 2021, vol. 109, no. 9, pp. 1494-1520.

Gorodilov A., Gavrilov D., Schelkunov D. Neural Networks for Image and Video Compression.International Conference on Artificial Intelligence Applications and Innovations (IC-AIAI), 2018, pp. 37-41. URL: https://ieeexplore.ieee.org/document/8674448 (дата обращения: 10.01.2022).

Wiegand T. Overview of the H. 264/AVC video coding standard: IEEE Transactions on circuits and systems for video technology, 2003, vol. 13, no. 7, pp. 560-576.

Li Y. Convolutional Neural Network-Based Block Up-Sampling for Intra Frame Coding: IEEE Transactions on Circuits and Systems for Video Technology, 2018, vol. 28, no. 9, pp. 2316-2330. DOI: 10.1109/ TCSVT.2017.2727682.

Sullivan G.J. Overview of the high efficiency video coding (HEVC) standard: IEEE Transactions on circuits and systems for video technology, 2012, vol. 22, no. 12, pp. 1649-1668.

Li T. A deep learning approach for multi-frame in-loop filter of HEVC: IEEE Transactions on Image Processing, 2019, vol. 28, no. 11, pp. 5663-5678.

Ren Yang, Fabian Mentzer, Luc Van Gool, Radu Timofte. Learning for Video Compression With Hierarchical Quality and Recurrent Enhancement: Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 6628-6637. URL: https://openaccess.thecvf.com/content_CVPR_2020/html/Yang_Learning_for_Video_Compression_With_Hierarchical_Quality_and_Recurrent_Enhancement_CVPR_2020_paper.html (дата обращения: 10.01.2022).

Nicola Giuliani, Biao Wang, Elena Alshina, Laura Leal-Taixé. Frame synthesis for video compression: Proc. SPIE 11842, Applications of Digital Image Proc. XLIV, 118420R (1 August 2021). URL: https://www.spiedigitallibrary.org/conference-proceedings-of-spie/11842/2596884/Frame-synthesis-for-video-compression/10.1117/12.2596884.short?SSO=1 (датаобращения: 10.01.2022).

Chen Z., He T., Jin X., Wu F. Learning for Video Compression: IEEE Transactions on Circuits and Systems for Video Technology, 2020, vol. 30, no. 2, pp. 566-576. URL: https://ieeexplore.ieee.org/abstract/document/8610323 (дата обращения: 10.01.2022).

Lee H., Kim T., Chung T-young., Pak D., Ban Y., Lee S. Adaptive collaboration of flows for video frame interpolation: Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 5316-5325.

Pei Y., Liu Y., Ling N., Liu L., Ren Y. Class-Specific Neural Network for Video Compressed Sensing: IEEE International Symposium on Circuits and Systems (ISCAS), 2021, pp. 1-5. URL: https://ieeexplore.ieee. org/document/9401450 (дата обращения: 10.01.2022).

Bao W., Lai W.-S., Ma C., Zhang X., Gao Z., Yang M.-H. Depth-aware video frame interpolation: Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, pp. 3703-3712.

Choi M. Motion-aware dynamic architecture for efficient frame nterpolation: Proc. of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 13839-13848.

Oren Rippel, Sanjay Nair, Carissa Lew, Steve Branson, Alexander G. Anderson, Lubomir Bourdev. Learned Video Compression. URL: https://doi.org/10.48550/arXiv.1811.06981 (дата обращения: 21.02.2022).

Welstead Stephen T. Fractal and wavelet image compression techniques. SPIE Publication, 2019, pp. 155-156. ISBN 978-0-8194-3503-3 (дата обращения: 02.06.2022).

Erik F. Tjong Kim Sang and Fien De Meulder.Introduction to the CoNLL-2003 shared task: language-independent named entity recognition: Proc. of the seventh conference on Natural language learning at HLT-NAACL, 2003, vol. 4 (CONLL '03). Association for Computational Linguistics, USA, pp. 142-147. https://doi.org/10.3115/1119176.1119195 (дата обращения 02.06.2022).

Girshick R., Donahue J., Darrell T., Malik J. Rich feature hierarchies for accurate object detection and semantic segmentation: CVPR, 2014. URL: https://doi.org/10.48550/arXiv.1311.2524.