申请/专利权人：中国科学院上海微系统与信息技术研究所

申请日：2021-08-30

公开（公告）日：2024-06-14

公开（公告）号：CN113822172B

主分类号：G06V20/40

分类号：G06V20/40;G06V10/25;G06V10/82;G06N3/0464;G06N3/084;G06N3/048

优先权：

专利状态码：有效-授权

法律状态：2024.06.14#授权;2022.01.07#实质审查的生效;2021.12.21#公开

摘要：本发明提供一种视频时空行为检测方法，包括：截取视频图像；检测视频片段中间帧中的所有可能的目标对象及其边框信息，以及提取视频上下文特征和目标对象特征；获取目标对象特征对于上下文特征的依赖，根据依赖更新目标对象特征；根据目标对象特征的最终结果值生成多个行为特征形成的集合；获取各行为特征间的依赖，根据依赖更新行为特征集合；利用行为特征的更新值预测每个目标对象的各行为概率。本发明的视频时空行为检测方法通过获取上下文依赖来更新更新目标对象特征，并且利用行为特征之间的依赖更新行为特征集合，可以提高视频行为检测的准确率。

主权项：1.一种视频时空行为检测方法，其特征在于，包括：步骤S1：将整个原始视频截取为多个相等时长的视频片段，再从每个视频片段中抽取一固定的帧数的静态图像；步骤S2：对每个视频片段均进行目标检测与特征提取；所述步骤S2包括：步骤S21：使用目标检测器对各个视频片段的中间帧的图像进行检测，分别检测出单个视频片段中所有可能的目标对象，并获得每个目标对象对应的边框信息；步骤S22：使用视频图像特征提取骨干网络来提取每个视频片段各自的上下文特征Fc；步骤S23：根据每个目标对象对应的边框信息在上下文特征Fc中截取出各个当前的目标对象特征foi，得到当前的目标对象特征所形成的集合Fo；步骤S3：将当前的目标对象特征foi输入上下文依赖模块，以获取每一个当前的目标对象特征对于上下文特征Fc的依赖，再根据所述依赖更新对应的当前的目标对象特征foi；步骤S4：根据每个目标对象特征的最终结果值fo″i分别生成数量是行为类别的总数量的行为特征，得到当前的行为特征集合Fai；步骤S5：将对应于各个目标对象的当前的行为特征集合Fai均输入行为依赖模块，获取所有各行为特征间的依赖，并根据该行为特征间的依赖更新各当前的行为特征集合Fai；步骤S6：利用对应于某一个目标对象的行为特征集合的最终结果值Fai″中的每个行为特征进行多行为类别的预测，所预测的结果则为该目标对象在这一视频片段中的行为类别；在所述步骤S3中，所述上下文依赖模块为多层的自注意力机制操作，自注意力机制操作采用基于计算Query值到KeyValue映射的注意力模型；所述步骤S3包括：步骤S30：将上下文依赖模块的第一层自注意力机制操作作为当前层的自注意力机制操作；步骤S31：利用上下文依赖模块的当前层的自注意力机制操作，将当前的目标对象特征所形成的集合Fo作为自注意力机制操作的Query，上下文特征Fc作为自注意力机制操作的KeyValue输入，获取每一个当前的目标对象特征foi对于上下文特征Fc的依赖Attfoi,FcFc，i为目标对象的序数，i＝1～z；根据所述依赖更新对应的当前的目标对象特征，得到目标对象特征的更新值f′oi；目标对象特征的更新值f′oi为：f′oi＝Attfoi,FcFc+foi，其中，i为目标对象的序数，i＝1,2,3,…,z；foi为当前的目标对象所对应的当前的目标对象特征，Attfoi,FcFc为当前的目标对象特征对于上下文特征Fc的依赖；步骤S32：利用上下文依赖模块的下一层自注意力机制操作将当前层的自注意力机制操作输出的目标对象特征的更新值f′oi作为当前的目标对象特征foi来形成当前的目标对象特征所形成的集合Fo；步骤S33：不断重复上述步骤S31和步骤S32，直到上下文依赖模块的最后一层自注意力机制操作输出目标对象特征的最终结果值f″oi。

全文数据：

权利要求：

百度查询： 中国科学院上海微系统与信息技术研究所 一种视频时空行为检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD