买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京信息工程大学

摘要：本发明公开了一种群体行为识别方法、系统和存储介质，包括：获取待识别的视频帧；根据视频帧，基于预训练好的群体行为识别模型，得到群体行为类别；所述群体行为识别模型包括：骨干网络、融合模块、嵌入层、关系推理模块、图卷积网络、全局平均池化层以及分类器。本发明通过模型中的融合模块将全局特征中包含的场景信息嵌入个体特征中，为个体动作与群体行为类别的推理提供了信息丰富的融合特征，最终提高了群体行为的识别精度。

主权项：1.一种群体行为识别方法，其特征在于，包括：获取待识别的视频帧；根据视频帧，基于预训练好的群体行为识别模型，得到群体行为类别；所述群体行为识别模型包括：骨干网络、融合模块、嵌入层、关系推理模块、图卷积网络、全局平均池化层以及分类器；所述骨干网络为VGG-16或者Inception-v3，利用骨干网络提取图像的全局特征Xg；所述融合模块包括：卷积层、注意力机制模块、线性嵌入层、Softmax层、层归一化层以及前馈网络；针对全局特征Xg和对全局特征Xg进行感兴趣区域映射得到的个体特征Xi分别进行位置编码以添加位置信息，再将位置编码后的个体特征和全局特征通过卷积层进行通道规划，表达式如下：X′＝Conv1×1PEX+X其中，PE表示位置编码，Conv1×1表示1×1卷积核的pointwise卷积层，X表示位置编码后的个体特征或全局特征，X经过上式计算后输出X′，X′对应于个体特征时表示为X′i，对应于全局特征时表示为X′g；基于注意力机制模块，对经过卷积层的个体特征X′i和全局特征X′g添加通道注意机制，表达式如下： 其中，ChannelAtt表示通道注意力机制，为添加通道注意机制后的个体特征或全局特征，对应于个体特征时表示为对应于全局特征时表示为wb×c×1×1表示维度大小为b×c×1×1的权重矩阵；将添加通道注意机制后的个体特征通过线性嵌入层后得到表达式如下： 其中，Linear表示线性嵌入层；将通过线性嵌入层的个体特征和添加通道注意机制后的全局特征进行乘积融合，并通过Softmax层得到中间特征Xtmp，表达式如下： 其中，Softmax表示Softmax层；再将中间特征Xtmp与添加通道注意机制后的全局特征进行乘积融合后再与通过线性嵌入层后的个体特征进行残差计算得到融合特征表达式如下： 再将融合特征进行层归一化后经过前馈网络再进行层归一化得到表征能力增强的融合特征表达式如下： 其中，LN表示层归一化层，FFN表示前馈网络；再将表征能力增强的融合特征经过卷积层得到融合模块最后输出的融合特征Xfused，表达式如下：

全文数据：

权利要求：

百度查询： 南京信息工程大学 群体行为识别方法、系统和存储介质