买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川大学

摘要：本发明提出了一种结合空时域上下采样的HEVC视频质量增强框架，所提框架编码前，构建空、时域分辨率下转换模块，将输入的原始视频序列的分辨率和帧率下降为原先的一半；经由基于HEVC标准的HM16.9编码器进行编码，得到码流信息；解码后依靠提出的空域分辨率上转换模块CSVR和空时域分辨率上转换模块STRIB恢复原始的分辨率和帧率，并使用MV信息提升网络性能。实验结果表明，所提算法框架能够显著地提升压缩视频质量。本发明可广泛应用于数字电影拍摄传输、文体活动直播、远程教育培训和目标检测等领域。

主权项：1.一种结合空时域上下采样的HEVC视频质量增强框架，其特征在于：1编码前，将输入的原始视频序列的分辨率和帧率下降为原先的一半，其中空域采用双三次下采方法，时域采用隔帧抽帧方法；2将1中得到的低帧率低分辨率视频经由基于HEVC编码器进行编码，得到码流信息；3基于2中的码流信息进行解码，将得到低帧率低分辨率解码视频进行空域超分得到高分辨率低帧率压缩视频，此过程中使用的空域超分方法为一种基于CNN的超分辨率算法；4将低帧率低分辨率通过空时域联合超分模块进行时域丢弃帧的生成、恢复其分辨率，此过程中使用的方法为基于CNN的空时域联合超分模块STRIB；STRIB的网络结构具体为：将低分辨率低帧率压缩视频中的前后一帧压缩视频帧依次通过基于MV信息的特征提取模块MFEB、卷积核估计模块、像素生成模块得到第一特征图；将前后一帧输入分别通过基于MV信息的运动补偿模块MCB得到第二特征图和第三特征图；将第一特征图、第二特征图和第三特征图在通道层面融合得到第四特征图；将第四特征图经过STDF模块得到第五特征图；将第五特征图经过特征融合模块和上采样层后得到第六特征图；将3中得到的对应的高分辨率低帧率视频帧通过特征融合后得到第七特征图；将第七特征图和第六特征图相加最终得到输出特征图；MFEB的网络结构具体为：MFEB第一路输入为运动矢量权重图，依次通过四个尺度为2的平均池化层分别得到第十五特征图、第十六特征图、第十七特征图、第十八特征图，将前述四个特征图经过两个3×3的卷积层和一个ReLU激活层后得到第十九特征图、第二十特征图、第二十一特征图、第二十二特征图；设MFEB的第二路输入为第八特征图，第八特征图经过第一特征提取块后得到第九特征图，第九特征图经过第二特征提取块后得到第十特征图，第十特征图经过第三特征提取块后得到第十一特征图，第十一特征图经过第四特征提取块后得到第十二特征图，第十二特征图经过第五特征提取块后得到第十三特征图，将第十二特征图与前述第二十二特征图相乘后与第十三特征图相加后输入至第六特征提取块得到第十四特征图，将第十一特征图与前述第二十一特征图相乘后与第十四特征图相加后输入至第七特征提取块得到第十五特征图，将第十特征图与前述第二十特征图相乘后与第十五特征图相加后输入至第八特征提取块得到第二十三特征图，将第九特征图与前述第十九特征图相乘后与第二十三特征图相加后输入至第九特征提取块得到输出特征；MCB模块具体为：基于码流信息中的块级MV信息，求解前后两帧对于当前帧的运动矢量，基于运动矢量将前后两帧进行运动补偿操作；上述模块所使用的MV信息包括码流信息中编码块的水平运动矢量、垂直运动矢量。

全文数据：

权利要求：

百度查询： 四川大学 一种结合空时域上下采样的HEVC视频质量增强框架