申请/专利权人：重庆邮电大学

申请日：2021-10-29

公开（公告）日：2024-04-26

公开（公告）号：CN113947531B

主分类号：G06T3/4053

分类号：G06T3/4053;G06T3/4046;G06V20/40;G06V10/80;G06V10/82;G06N3/0464;G06N3/048;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2022.02.08#实质审查的生效;2022.01.18#公开

摘要：本发明属于计算机视觉领域，具体涉及一种迭代协作的视频超分辨率重构方法及系统，该方法包括：输入低分辨率视频帧序列，提取其特征图；将提取的特征图分别输入对齐网络和分频重构网络，得到时间特征图和空间特征图；利用时空残差融合模块将时间特征图和空间特征图进行融合，得到时空特征图；将得到的时空特征图再次输入到对齐网络和分频重构网络中，将对齐网络与分频重构网络输出的结果输入时空残差模块进行融合；迭代数次直到得到无冗余的时空特征图；将低分辨率视频序列进行上采样后与无冗余的时空特征图相加得到高分辨率图；本发明引入迭代协作网络、分频重构网络和时空残差融合，达到了减小了对齐误差和提升视频超分辨率重构性能的目的。

主权项：1.一种迭代协作的视频超分辨率重构方法，其特征在于，迭代协作的视频超分辨率重构方法引入迭代协作网络，迭代协作网络包括分频重构网络、对齐网络和时空残差融合三个模块，该方法包括：S1、输入低分辨率视频帧序列，提取其特征图；S2、将提取的特征图输入到对齐网络，得到时间特征图；S3、将提取的特征图输入到分频重构网络，得到空间特征图包括：S21、分频重构网络包括高频分支和低频分支，将特征图分别输入到高频分支与低频分支；S22、在高频分支中采用5×5卷积得到高频结构信息，将得到的高频结构信息输入激活函数得到输出结果，将激活函数输出结果送入高频残差块，得到第一高频特征；S23、在低频分支中采用3×3卷积得到低频结构信息；将得到的低频结构信息输入激活函数得到输出结果，将激活函数输出结果送入低频残差块，得到第一低频特征；S24、将高频分支中的第一高频特征与低频分支中的第一低频特征交叉融合后，分别送入高频残差块和低频残差块，得到第二高频特征与第二低频特征；S25、将第二高频特征与第二低频特征再次交叉融合后，分别送入高频残差块和低频残差块，得到第三高频特征和第三低频特征；S26、在高频分支和低频分支中采用扩展的跳跃连接，将两个分支中跳跃连接的结果、第三高频特征和第三低频特征进行1×1卷积，得到最终的空间特征图；S4、预置迭代最大次数为N，令迭代次数为i，i＝1，利用时空残差融合模块将得到的时间特征图和空间特征图进行融合，得到第i时空特征图；利用时空残差融合模块将得到的时间特征图和空间特征图进行融合，得到时空特征图包括：计算时间特征图与低分辨率视频帧特征图的差，然后输入到第一残差块中；计算空间特征图与低分辨率视频帧特征图的差，然后输入到第二残差块中；将两个独立残差块输出的结构进行融合，并进行3×3卷积，得到卷积后的特征图；将目标帧与卷积后的特征图融合得到时空特征图；S5、将第i时空特征图和低分辨率视频帧特征图输入到对齐网络和分频重构网络中，将对齐网络与分频重构网络输出的结果输入时空残差模块进行融合，得到第i+1时空特征图，判断迭代次数i是否小于N-1；若是，则进入步骤S6，否则迭代结束，输出得到的时空特征图，进入步骤S8；S6、令i＝i+1，将第i时空特征图和第i-1时空特征图输入对齐网络和分频重构网络，将对齐网络与分频重构网络输出的结果输入时空残差模块进行融合；S7、得到时空残差模块的输出结果，即第i+1时空特征图，判断迭代次数i是否小于N-1，若是，则返回步骤S6，否则迭代结束，输出得到的时空特征图，进入步骤S8；S8、将得到的时空特征图送入残差块，残差模块获取的特征图先后进行两次精炼操作，每次精炼操作先将特征图进行卷积并在卷积后进行上采样，将进行精炼操作后的特征图与上采样后的低分辨率视频帧相加得到高分辨率图。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种迭代协作的视频超分辨率重构方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD