申请/专利权人：四川都睿感控科技有限公司

申请日：2023-09-11

公开（公告）日：2023-12-15

公开（公告）号：CN116912290B

主分类号：G06T7/246

分类号：G06T7/246;G06V10/774;G06V10/80;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2023.12.15#授权;2023.11.07#实质审查的生效;2023.10.20#公开

摘要：本发明涉及一种记忆增强的难易视频运动小目标检测方法，包括步骤：构建难易视频运动小目标检测模型，包括局部邻域特征聚合模块、全局记忆增强特征聚合模块、特征检测模块；提取视频中连续数帧图像输入局部邻域特征聚合模块，对难易视频运动小目标检测模型进行提取局部特征的训练；将相同连续数帧图像输入全局记忆增强特征聚合模块，对难易视频运动小目标检测模型进行感知全局信息的训练；顺序提取视频中连续数帧图像，重复对局部邻域特征聚合模块、全局记忆增强特征聚合模块进行交叉迭代训练，直到多个视频中所有帧图像都被提取完，得到训练好的难易视频运动小目标检测模型。本发明利用运动小目标的局部特征和全局信息，来提升模型的检测性能。

主权项：1.一种记忆增强的难易视频运动小目标检测方法，其特征在于：包括以下步骤：步骤1，构建难易视频运动小目标检测模型，所述难易视频运动小目标检测模型包括局部邻域特征聚合模块、全局记忆增强特征聚合模块、特征检测模块，所述局部邻域特征聚合模块的输出端、全局记忆增强特征聚合模块的输出端分别与特征检测模块的输入端连接；步骤2，提取视频中连续数帧图像输入局部邻域特征聚合模块，对难易视频运动小目标检测模型进行提取局部特征的训练；在所述步骤2之前，还包括步骤：将目标的难度等级分为n+1个难度等级，分别为难度等级0、难度等级1、...、难度等级n，其中难度等级0为最容易识别的难度等级，难度等级n为最难识别的难度等级；所述步骤2具体包括以下步骤：随机从数据集中选取一个视频片段，对每帧图像中目标的分数进行标注，形成每帧图像对应的标签，依据标签中目标的分数，对目标进行难度等级的划分，一共有n+1个难度等级；在训练时，将难度等级为n的目标视为负样本，顺序地从该视频片段中取出m帧图像，将取出的m帧图像和对应的标签输入局部邻域特征聚合模块，得到局部聚合特征；将局部聚合特征输入特征提取网络，经过前向推理，再经检测头预测，输出难易视频运动小目标检测模型的输出结果；在训练过程中，利用置信度损失函数、类别分类损失函数以及定位回归损失函数计算视频运动小目标难易感知模型与对应标签之间的损失；使用目标的分数对每个目标所对应的损失进行加权，损失反向传播更新视频运动小目标难易感知模型的权重；步骤3，将步骤2中相同连续数帧图像输入全局记忆增强特征聚合模块，对难易视频运动小目标检测模型进行感知全局信息的训练；所述步骤3具体包括以下步骤：对步骤2中所使用的m帧图像中目标的分数进行调整，使得除了难度等级为0的目标外，目标对应的难度等级减1；原本难度等级为n的目标，其难度等级调整为n-1，且在本步骤中视为正样本；将m帧图像和全局特征存储队列中的多帧特征图输入全局记忆增强特征聚合模块，得到全局聚合特征；将全局聚合特征输入特征提取网络，经过前向推理，再经检测头预测，输出难易视频运动小目标检测模型的输出结果；将全局聚合特征存入全局特征存储队列，使得全局特征存储队列中的特征图更新，但特征图的帧数不变；在训练过程中，利用置信度损失函数、类别分类损失函数以及定位回归损失函数计算视频运动小目标难易感知模型与对应标签之间的损失；使用目标的分数对每个目标所对应的损失进行加权，损失反向传播更新视频运动小目标难易感知模型的权重；步骤4，顺序提取视频中连续数帧图像，重复步骤2-步骤3，直到多个视频中所有帧图像都被提取完，得到训练好的难易视频运动小目标检测模型；步骤5，将实时获取的视频图像输入训练好的难易视频运动小目标检测模型，经过难易视频运动小目标检测模型的全局记忆增强特征聚合模块进行特征聚合后，检测出视频图像中的目标。

全文数据：

权利要求：

百度查询： 四川都睿感控科技有限公司 一种记忆增强的难易视频运动小目标检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD