买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州电子科技大学

摘要：本发明公开了一种全景视频插帧方法。本发明方法通过全局网络和融合网络实现，每个网络完成特定功能，共同完成视频插帧任务。全局网络包括ERP特征提取模块、串并行编解码模块、自适应运动扭曲预测模块和细化网络模块。ERP特征提取模块采用两个单独的多尺度特征提取模块，自适应运动扭曲预测模块包括权重预测层、水平偏移预测层、垂直偏移预测层和掩膜预测层，细化网络模块包括三层编码器和三层解码器。融合网络包括局部中间帧生成模块、纹理提取模块和多通道融合模块。本发明设计的网络结构能更好地捕获全景图像的特征和扭曲运动轨迹，从而显著提高了全景视频插帧算法的性能和效果，以满足不断增长的全景视频应用需求。

主权项：1.一种全景视频插帧方法，通过全局网络和融合网络实现，每个网络完成特定功能，共同完成视频插帧任务；其特征在于：1全局网络：输入三组不同尺寸的ERP图像，每组包含前后两帧ERP图像和，对和进行处理，生成全局生成图；所述的全局网络包括ERP特征提取模块、串并行编解码模块、自适应运动扭曲预测模块和细化网络模块；1-1ERP特征提取模块采用两个单独的多尺度特征提取模块，通过学习ERP图像和，得到对应的扭曲特征和： ，；其中，表示卷积核为3的普通卷积层，表示的卷积核为3的ERP卷积层，表示拼接运算；通过ERP卷积和普通的卷积捕获输入的表层特征，拼接运算后得到的扭曲特征和，表现为两个特征图，输入到串并行编解码模块；1-2串并行编解码模块：首先，提取三组ERP图像不同尺寸的特征图，通过并行网络获得三个并行特征、和，记为并行特征金字塔：，表示缩放倍数，；然后，将原始尺度的扭曲特征和输入到串行网络中，提取串行编解码端的每一层特征，获得三个串行特征、和，记为串行特征金字塔：，表示解码端的层数，；1-3自适应运动扭曲预测模块：将并行特征金字塔的每一层都输入到自适应运动扭曲预测模块中，所述的自适应运动扭曲预测模块包括权重预测层、水平偏移预测层、垂直偏移预测层和掩膜预测层；权重预测层、水平偏移预测层和垂直偏移预测层均由四层构成，输出通道为2，得到并行权重和、水平偏移和、垂直偏移和，生成光流和：；表示自适应运动扭曲预测模块，图像序号，为水平位移参数，表示中间帧序号；掩膜预测层由四层和一层激活函数构成，输出通道为1，得到掩膜；合成不同尺度的并行中间帧：；将串行特征金字塔的每一层都输入到自适应运动扭曲预测模块中，采用相同操作，得到串行权重和；将得到的不同尺度的串行权重和，以及对应尺度的中间帧组成的图像金字塔输入到细化网络模块；1-4细化网络模块包括三层编码器和三层解码器：三层编码器的输出分别为：，，；其中为生成的细化特征层的特征值输出，层数；第三层编码器的输出作为第一层解码器的输入；三层解码器的输出分别为：，，，为解码生成的特征，为第三层解码器的输出，为五通道图像，前两个通道是细化后的光流和，第三四通道是掩膜图和，第五通道是残差中间帧；合成全局生成图：；2融合网络：包括局部中间帧生成模块、纹理提取模块和多通道融合模块；2-1局部中间帧生成模块：对于输入的一组前后两帧ERP图像和，转换为立方体投影格式，得到对应的两组图像，一组包括六张伪平面图像：，伪平面图像序号，表示将ERP投影转换为立方体投影，生成六组帧对；采用生成器，；通过反投影转换，得到合成的中间帧，表示将立方体投影转换为ERP投影；2-2纹理提取模块：将合成的中间帧转换为灰度图，然后将合成全局生成图和灰度图送入多通道融合网络MSRN中，输出通道设置为1，输出纹理预测图：，为灰度图；2-3多通道融合模块：全局生成图、灰度图和纹理预测图送入多通道融合网络MSRN中，输出通道设置为3，得到最终插帧图像。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种全景视频插帧方法