买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江苏源驶科技有限公司

摘要：本发明涉及一种基于多位置协作的时序动作提名生成方法及系统，属于计算机视觉领域。该方法包含如下步骤：1.采用双流网络对视频进行特征提取。2.边界预测模块预测动作的开始与结束时间。3.提名评估模块生成密集提名并提供提名置信度。4.四分之一位置预测模块预测动作的左右四分之一位置。5.进行分数融合，并对冗余提名进行抑制。本发明充分利用到了特征信息，提高了时序动作提名的准确度。

主权项：1.一种基于多位置协作的时序动作提名生成方法，其特征在于，包括以下步骤：步骤1、用固定间隔采样未裁剪的视频帧序列，提取到视频帧段，将视频帧段送入双流网络提取时间特征和空间特征；时间特征和空间特征组成双流特征；所述双流网络包括时间流网络和空间流网络；步骤2、双流特征输入含有多层卷积的开始分支与结束分支来预测动作的开始概率序列和结束概率序列；步骤3、预设用于存储提名特征的矩阵，从双流特征中均匀采样得到提名的特征，将提名的特征存入预设的矩阵中得到特征图，经过卷积层处理特征图得到提名的置信度；步骤4、利用窗口Transformer预测动作持续时间长度的左四分之一位置和右四分之一位置，得到左四分之一位置概率序列和右四分之一位置概率序列；步骤5、对开始概率序列和结束概率序列进行筛选和配对，并结合提名的置信度生成候选提名，对左四分之一位置概率序列和右四分之一位置概率序列进行筛选和配对，生成动作中心区域提名，对于每个候选提名，融合开始位置动作发生的概率、结束位置动作结束的概率与提名的置信度得到总的置信度分数，基于动作中心区域提名对总的置信度分数进行增强，得到候选提名的最终置信度分数，输出最终的提名集，具体为：对开始概率序列和结束概率序列进行筛选，保留大于最大概率的50%和处于概率峰值处的位置，得到开始位置集合与结束位置集合，将开始位置集合中的开始位置与结束位置集合中的结束位置配对，如果满足动作持续时间小于数据集设定的最大持续时间D，则生成一个候选提名，代表开始时间，代表结束时间，代表开始位置动作发生的概率，代表结束位置动作结束的概率，代表提名的分类置信度，从分类置信度图中获得，代表提名的回归置信度，从回归置信度图中获得；对动作的左四分之一位置概率序列和右四分之一位置概率序列进行筛选，保留大于最大概率的70%的位置，将左四分之一位置概率序列中的左四分之一位置和右四分之一位置概率序列中的右四分之一位置配对，生成动作中心区域提名，和分别代表动作的左四分之一时间和右四分之一时间；对于每个候选提名，融合边界概率分数与提名置信度分数得到总的置信度分数，所述边界概率分数包括开始位置动作发生的概率和结束位置动作结束的概率，所述提名置信度分数包括提名的分类置信度和回归置信度，如下式所示： ；为每个候选提名在动作中心区域提名中寻找满足如下条件的中心区域提名： and；如果寻找到一个及以上的中心区域提名，则对总的置信度分数进行倍的增强，得到最终的置信度分数，如下式所示： ；如果未能寻找到满足条件的中心区域提名，则： ；得到最终的提名集合，如下式所示： ；其中，N为最终的提名集合中的提名的数量，为最终的提名集合中的第n个提名。

全文数据：

权利要求：

百度查询： 江苏源驶科技有限公司 一种基于多位置协作的时序动作提名生成方法及系统