买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明公开了一种基于时空通道注意力机制的陆地哺乳动物动作识别方法，属于深度学习动作识别技术领域。本发明首先设置动作识别模型，其包括提取视频的时空特征的3D主干网络、提取视频关键帧的空间特征的2D主干网络，对时空特征和空间特征进行特征融合的通道融合模块，其输出经第一卷积块后输入注意力机制模块，注意力机制模块输出的注意力特征图经第二卷积块送入分类层，分类层用于对分类特征图进行动作识别预测，获取动作识别预测结果，包括：陆地哺乳动物动作类别、预测框的置信度和预测框的位置信息；基于采集的训练数据集对动作识别模型进行深度学习训练，当满足预置的收敛条件时，得到用于目标动物的动作识别模型；动作识别模型进行深度学习训练时采用的总损失函数为预测框回归函数、分类函数和置信度函数的加权和。本发明在现有基于深度学习的时空动作识别模型的基础上，对主干网络架构、损失函数组成等进行优化，一定程度上克服了原模型小样本动作、易混淆动作识别困难等问题，增强了模型泛化能力以及对陆地哺乳动物的识别准确率，提升了检测性能。

主权项：1.一种基于时空通道注意力机制的陆地哺乳动物动作识别方法，其特征在于，包括下列步骤：设置动作识别模型该动作识别模型包括：3D主干网络、2D主干网络、通道融合模块、第一卷积块、注意力机制模块、第二卷积块和分类层；其中，3D主干网络以视频多帧图像为输入，用于提取输入视频的时空特征；2D主干网络以视频的关键帧为输入，用于提取当前输入的关键帧的空间特征；通道融合模块用于对时空特征和空间特征进行通道维度的特征融合，再将特征融合经第一卷积块得到最终的融合特征图；注意力机制模块用于对最终的融合特征图进行自注意力计算，得到注意力特征图，再将注意力特征图经第二卷积块后得到输入分类层的分类特征图；分类层用于对分类特征图进行动作识别预测，获取动作识别预测结果，包括：陆地哺乳动物动作类别、预测框的置信度和预测框的位置信息；动作识别模型训练基于采集的训练数据集对动作识别模型进行深度学习训练，当满足预置的收敛条件时，得到用于目标动物的动作识别模型；动作识别模型进行深度学习训练时采用的总损失函数为预测框回归函数、分类函数和置信度函数的加权和。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于时空通道注意力机制的陆地哺乳动物动作识别方法