申请/专利权人：南京师范大学

申请日：2019-12-30

公开（公告）日：2024-04-26

公开（公告）号：CN111199202B

主分类号：G06V40/20

分类号：G06V40/20;G06V10/82;G06N3/0464;G06N3/044

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2020.06.19#实质审查的生效;2020.05.26#公开

摘要：本发明公开了一种基于循环注意力网络的人体动作识别方法及识别装置。所述方法包括以下步骤：S1：利用多轴传感器采集人体各类动作数据；S2：将数据分割为包含多种动作类别的长时间序列段，并给序列段附上序列标签；S3：将处理后的数据输入预先构建的多层的循环注意力神经网络模型，实现特定类别动作的识别。本发明利用循环注意力算法，可以实现传感器数据的自动定位识别与切割，可大大减少传感器数据人为标注所耗费的人力物力。

主权项：1.一种基于循环注意力网络的人体动作识别方法，其特征在于：包括如下步骤：S1：利用多轴传感器采集人体各类动作数据；S2：将数据分割为包含多种动作类别的长时间序列段，并给序列段附上序列标签；S3：将处理后的数据输入预先构建的多层的循环注意力神经网络模型，实现特定类别动作的识别；其中所述循环注意力神经网络模型包括基于注意力机制的卷积神经网络和一个循环神经网络，其中循环神经网络的结构包括一层长短期循环神经网络，所述基于注意力机制的卷积神经网络利用卷积神经网络提取输入序列的特征向量，利用注意力机制算法对卷积神经网络中产生的局部特征向量和全局特征向量计算兼容性分数，将兼容性分数作为输入数据的空间信息权重；基于注意力的卷积神经网络模型的结构包括：五个卷积层、三个最大池化层、一个全连接层和一个分类预测层；所述注意力机制算法包括以下步骤：将定义为从卷积神经网络第s层中提取出的特征向量，称为局部特征向量，将从卷积神经网络全连接层中提取出的特征向量G称为全局特征向量，通过以下公式计算局部特征向量Ls和全局特征向量G的兼容性： 计算得出的被称作兼容性分数，通过以下公式进行标准化： 计算得出的标准化兼容性分数与局部特征向量进行加权运算： 计算得出的g＝[g1,g2,…,gn]代替全局特征向量被输入线性分类层中进行动作类别的识别记为特征zt；根据标准化兼容性分数利用滑动窗口技术计算定位分数： 式中w代表滑动计算窗口的长度；计算得出的定位分数为S＝{s1,s2,…,sn}；长短期循环神经网络在不同时刻的隐状态ht随着时刻t变化，通过计算不同时刻的隐状态ht与经过基于注意力机制的卷积神经网络所提取的特征zt之间的关系，得出当前时刻的识别结果yt，计算方法为：循环神经网络上一时刻的隐状态ht-1经过基于注意力的卷积神经网络计算，得到特征zt，zt与ht-1作为循环神经网络当前时刻的输入，经过循环神经网络计算得到当前时刻的隐状态ht；根据zt和ht，得出当前时刻的识别结果yt；同时利用注意力机制所得出的定位分数进行特定类别动作的定位与切割。

全文数据：

权利要求：

百度查询： 南京师范大学 基于循环注意力网络的人体动作识别方法及识别装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD