ICASSP 2022 | 前沿音视频成果分享：基于可变形卷积的压缩视频质量增强网络

ICASSP 2022 | 前沿音视频成果分享：基于可变形卷积的压缩视频质量增强网络

阿里云视频云视频编码与增强技术团队最新研究成果论文《基于可变形卷积的压缩视频质量增强网络》（Deformable Convolution Dense Network for Compressed Video Quality Enhancement）已被 ICASSP 2022 Image, Video & Multidimensional Signal Processing 主题会议接收，并受邀在今年5月的全球会议上向工业界和学术界进行方案报告。以下为技术成果的核心内容分享。

佳芙｜作者

背景

视频压缩算法是一种广泛应用于视频传播和视频存储的技术，它能够帮助节省带宽和节约存储空间，但同时也带来了视频质量下降的问题。压缩视频质量增强任务的目标便是减少由视频压缩带来的 artifacts，提升视频质量。

近些年来，基于多帧策略的方法成为了压缩视频质量增强任务中的主流，为了融合多帧信息，这些方法大多都严重依赖于光流估计，然而不准确且低效率的光流估计算法限制住了增强算法的性能。为了打破光流估计算法的限制，本文提出了一种结合了可变形卷积的稠密残差连接网络结构，这个网络结构无需在显式光流估计的帮助下就能完成从高质量帧到低质量帧的补偿。利用可变形卷积来实现隐式的运动估计，并通过稠密残差连接来提高模型对误差的容忍度。具体而言，我们所提出的网络结构由两个模块组成，分别是利用可变形卷积来实现隐式估计的运动补偿模块，以及使用稠密残差连接来提高模型误差容忍度和信息保留度的质量增强模块，此外，本文还提出了一个新的边缘增强损失来增强物体边缘结构。在公开数据集上的实验结果表明，该方法显著优于其他 baseline 模型。

方法解析

实验结果

关于窄带高清

窄带高清是一项基于阿里云独家转码技术的媒体处理功能，采用阿里云独有算法，突破视频编码器能力上限，对转码技术进行升级和迭代，持续优化视频播放的流畅度与清晰度，实现在同等画质下更省流、在同等带宽下更高清的观看体验。窄带高清利用其低码高清、画质重生、场景定制、节省 50% 带宽成本等技术特点，为 2022 年北京“云上冬奥”和阿里云聚“Alibaba Cloud ME”提供了重要技术支撑。（窄带高清产品官网）

参考文献

[1]Ren Yang, Mai Xu, Zulin Wang, and Tianyi Li, “Multiframe quality enhancement for compressed video,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 6664–6673.[2]Chao Dong, Yubin Deng, Chen Change Loy, and Xiaoou Tang, “Compression artifacts reduction by a deep convolutional network,” in Proceedings of the IEEE International Conference on Computer Vision, 2015, pp. 576–584.[3]Kai Zhang, Wangmeng Zuo, Yunjin Chen, Deyu Meng, and Lei Zhang, “Beyond a gaussian denoiser: Residual learning of deep cnn for image denoising,” IEEE Transactions on Image Processing, vol. 26, no. 7, pp. 3142–3155, 2017.[4]Yulun Zhang, Kunpeng Li, Kai Li, Bineng Zhong, and Yun Fu, “Residual non-local attention networks for image restoration,” arXiv preprint arXiv:1903.10082, 2019.[5] Zhenyu Guan, Qunliang Xing, Mai Xu, Ren Yang, Tie Liu, and Zulin Wang, “Mfqe 2.0: A new approach for multi-frame quality enhancement on compressed video,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019.

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。