申请/专利权人：南京信息工程大学

申请日：2024-03-11

公开（公告）日：2024-05-24

公开（公告）号：CN117876939B

主分类号：G06V20/40

分类号：G06V20/40;G06V40/20;G06V10/42;G06V10/44;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06N3/0464;G06N3/048;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.05.24#授权;2024.04.30#实质审查的生效;2024.04.12#公开

摘要：本发明公开了一种基于时空特征增强的实时时空行为检测方法及装置，方法包括：将待检测的视频数据输入训练好的检测网络，得到实时时空行为检测结果；检测网络的训练包括：将原始视频截取为多个等时长的视频片段，将每个视频片段截取固定帧数的图像；对视频片段和其中的关键帧进行特征提取，得到时空特征和空间解耦特征；将时空特征输入到轻量时空扩张增强模块，得到时空增强特征；将时空增强特征进行上采样操作并与空间解耦特征在空间维度上对齐连接，将连接后的特征输入多尺度特征融合模块作为动作分类及定位的依据；优化损失函数并重复训练使得检测网络收敛，得到训练好的检测网络。本发明有效权衡了检测精度和速度，适用于实时行为检测任务。

主权项：1.一种基于时空特征增强的实时时空行为检测方法，其特征在于，包括：将待检测的视频数据输入训练好的检测网络，得到实时时空行为检测结果；其中，检测网络的训练包括：步骤a：将原始视频截取为多个等时长的视频片段，将每个视频片段截取固定帧数的图像；步骤b：对视频片段和其中的关键帧进行特征提取，得到时空特征、空间分类特征和空间回归特征；步骤c：将时空特征划分为g组并分别输入到g个轻量时空扩张增强模块中，提取全局、低噪声的时空增强特征；步骤d：将时空增强特征进行上采样操作并与空间分类特征、空间回归特征在空间维度上对齐并连接，将连接后的特征输入多尺度特征融合模块中作为动作分类及定位的依据；步骤e：优化损失函数，平衡动作识别与动作定位结果，加快网络收敛速度；步骤f：重复步骤a至步骤e使得检测网络收敛，得到训练好的检测网络；轻量时空扩张增强模块包括扩张模块和时空增强模块；将时空特征划分为g组并分别输入到g个轻量时空扩张增强模块中，提取全局、低噪声的时空增强特征，包括：利用时空增强模块中的时间增强模块增强跨时间维度的信息交互，捕获时间帧中的关键信息；利用扩张模块拓展特征图的感受野，增大网络输出特征图上的像素点，将像素点映射到输入视频图像上的区域大小，捕获全局的特征信息；利用时空增强模块中的空间增强模块在空间维度上对跨通道的信息进行交互以及通道压缩，通过Softmax激活函数归一化获取空间位置上的对应权重并与原始特征相乘实现对特征在空间维度加权，捕获到一组分时空增强特征；通过通道连接g个分组的分时空增强特征，得到时空增强特征；其中，时间增强模块的表达式为： ，式中，为时空特征输入轻量时空扩张增强模块中进行时空增强的一组原始特征，，~指在增强过程中的信息，为经过时间增强模块处理后得到的第一中间特征，为全局平均池化，和分别表示卷积核大小为1和3的一维卷积，为批归一化，和均为激活函数，为维度变化函数，表示逐元素相乘；扩张模块的表达式为： ，式中，为经过扩张模块处理后得到的第二中间特征，表示内核大小为3×3、填充为1、组数为、膨胀系数为1的膨胀卷积，表示内核大小为3×3、填充为2、组数为、膨胀系数为2的膨胀卷积，表示内核大小为3×3、填充为3、组数为、膨胀系数为3的膨胀卷积，表示将特征图逐通道连接，为的通道数；空间增强模块的表达式为： ,式中，为经过空间增强模块处理后得到的一组分时空增强特征，为特征增强权重，表示内核大小为3×3、填充为1、组数为的2D卷积层，表示内核大小为3×3、填充为1的最大池化层，是内核大小为1×1、输出通道数为1的逐点卷积，为激活函数，表示逐元素相加。

全文数据：

权利要求：

百度查询： 南京信息工程大学 一种基于时空特征增强的实时时空行为检测方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD