买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明公开了一种基于时空聚合运动感知的视频预测方法。该方法受动物视觉系统中的方向选择性神经元启发,将复杂运动信息分解为垂直和水平两个分量进行独立处理,实现动态信息的有效提取。其中,方向选择性感知单元采用多层感知器结构实现。由于将运动信息进行降维分解会丢失一定时空关联性，提出了时空聚合门控单元以提高时空关联性。在此基础上,该方法建立了多尺度特征融合网络,包含空间编码器、时序转换模块和空间解码器,实现对多尺度时空特征的提取。通过在人工数据集和真实数据集上的测试,证明了该方法可以有效降低运动模糊,提高视频预测的准确性和连贯性。

主权项：1.一种基于时空聚合运动感知的视频预测方法，该方法包括:步骤1：获取用于训练和验证视频帧预测模型的数据集，符合视频帧预测的数据集应该具备4个维度，分别是视频帧帧数S、视频帧通道数C、视频帧图像高度H、视频帧图像宽度W；步骤2：对获取的数据集进行数据预处理；具体步骤如下：步骤2.1：根据视频帧预测模型的输入视频帧帧数和输出视频帧帧数设置滑动窗口，生成模型输入数据和用于计算预测误差的真实数据对；步骤2.2：根据批大小生成用于训练和验证视频帧预测模型的可被迭代的数据集对象；步骤3：设计视频帧预测模型；模型包括3个部分：空间编码器、时空聚合运动感知器以及空间解码器，具体步骤如下：1空间编码器处理方法为：编码器由L个卷积模块串行连接；每个卷积模块依次由卷积单元、组归一化函数、激活函数顺序相连；此外，每个卷积模块的输出不仅纵向输入到更深层的卷积层中，还会横向输出给时空聚合运动感知器；若卷积模块是空间编码器的首个卷积模块，那么该卷积模块的卷积单元的输入通道数为输入视频帧通道数C；否则，该输入通道数为模型超参数Ch，下标h表示隐藏层；编码器中所有卷积模块的卷积核大小均为3×3，分组归一化的分组数均为2；若卷积模块是编码器的第奇数个卷积模块，那么该卷积模块的卷积单元的卷积步长为1，否则卷积步长为2； 其中，代表第i个卷积层的输出，X代表原始视频序列，LeakyReLU·代表激活函数，GroupNorm·代表组归一化，Convi代表第i层的二维卷积运算；将i＝1到i＝L全部进行一次运算，则会得到一个空间编码集将该集合输入到下一层的时空聚合运动感知器进行时间特征提取；该集合包含了空间编码器所提取的不同尺度的空间信息，对这些多尺度的空间信息都进行进一步提取可以提升对不同尺度信息的感知能力；2时空聚合运动感知器的处理方法为：时空聚合运动感知器由L层组成，以对应空间编码器L个卷积模块输出的L个特征；时空聚合运动感知器的每一层都堆叠了多个时空聚合运动感知器单元；具体地，第i层由Ni个时空聚合运动感知器单元STMDAUnit组成；每个STMDAUnit又由三个部分构成：通道缩减，时空聚合运动感知模块，通道扩张； 其中，为经过时空聚合运动感知器提取时间特征后的集合，是STMDAUnit的映射函数，上标Ni代表将该映射函数执行N次；3空间解码器的处理方法为：空间解码器处理流程是空间编码器处理流程的逆过程；所有参数均与空间编码器相同，仅将二维卷积运算换成反卷积运动，以将提取后的特征还原为原始视频序列； 其中，TransConvi·代表反卷积运算，代表预测的视频序列；步骤3.2：设置实验超参数；步骤4：训练步骤3的视频帧预测模型，具体步骤如下：步骤4.1：定义误差函数，采用均方误差作为训练误差函数，如下： 其中，代表预测的视频序列，Y为真实视频序列；T′为视频帧帧数，T为输入视频帧长度，C表示输出视频帧的通道数，H和W分别表示输出视频帧的长和宽；步骤4.2：设置学习率以及迭代轮次；步骤4.3：采用梯度下降法更新视频帧预测模型需要学习的参数，降低模型预测误差；步骤5：对训练完成后的视频帧预测模型进行精度的验证与评估，指标包括均方误差、平均绝对值误差、结构相似性、峰值信噪比指标；步骤6：采用评估通过的视频预测模型进行视频预测。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于时空聚合运动感知的视频预测方法