买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明提出一种基于多角度特征融合的骨骼点动作识别方法，属于计算机视觉、人工智能领域，便于提取高阶空间运动特征。所提出的角度特征全面捕捉不同身体部位之间的相对运动，同时保持对主体变化的鲁棒性。实验结果表明，角特征是与现有特征的互补，即关节和骨骼表征。通过将角度特征合并到一个简单的动作识别图卷积神经网络中，在几个基准测试上实现了新的最先进的精度，同时保持了更低的计算成本，从而支持在边缘设备上的实时动作识别。

主权项：1.基于多角度特征融合的骨骼点动作识别方法，其特征在于，包括以下步骤：步骤1：采集数据集；具体的，数据集分为静态数据集与动态数据集，静态数据集中包括人体姿态图像，动态数据集中包括人体动作视频；步骤2：提取骨架特征；从图像或者视频中提取关节、骨骼和角度三类特征；对于骨骼特征，如果一个关节有多个相邻节点，使用更靠近身体中心的关节用作矢量特征计算；对于角度特征，使用角编码测量三个身体关节之间的角度来描述身体部位之间的相对运动，为每个关节提取角度特征；对于每个动作构造一个特征张量x∈RC×T×V×M，其中R为实数，C、T、V和M分别对应于通道数、帧数、关节位置信息和参与者数；所述角编码的计算方式具体如下：给定三个关节点u，ω1和ω2，u为目标关节点，用于计算目标关节的角度特征，ω1和ω2是骨架中的端点，表示从关节点u到点ωi,i＝1,2的向量，xk,yk,zk表示关节点k,k＝u、ω1或ω2的坐标，根据输入数据是静态还是动态定义了两种角度特征：静态角编码和速度角编码；假设θ是和之间的夹角，关节u的静态角编码定义为： 动态角编码为连续帧之间的角度特征的时间差异，即 式中，为关节u在帧t+1处的角速度，描述了角度的动态变化；根据关节、骨骼之间的角度特征，将角度分为四类，分别为局部定义的角度、面向中心的角度、基于对的角度和基于手指的角度；具体的，在关节与其相邻关节之间测量局部定义的角度，如果目标关节只有一个相邻的关节，则将其角度特征设为零；当一个关节有两个以上的相邻关节时，选择最活跃的两个关节；目标关节与身体中心关节之间的角距离作为面向中心的角度；给定一个目标关节，使用两个以中心为方向的角度：①颈部-目标-骨盆，称为非固定轴，②颈部-骨盆-目标，称为固定轴；对于表示颈部和骨盆的目标关节，其面向中心的角度为0；目标关节和四对端点之间的角度作为基于对的角度，四对端点具体为手、肘部、膝盖和脚；目标关节和两个手指之间的角度作为基于手指的角度；其中手指积极参与人类的行动；步骤3：将特征张量输入至3个串联的时空块，然后再依次传递到一个全局平均池化层，一个全连接层，一个softmax层，得到输出结构用于动作识别；所述时空块包括一个空间多尺度图卷积模块和三个时间多尺度卷积模块，特征依次经过空间多尺度图卷积模块、三个串联的时间多尺度卷积模块；其中所述空间多尺度卷积模块由图形卷积层的并行组合组成，利用K个并行图形卷积层提取结构骨架信息；所述时间多尺度卷积模块包括7个并行的时间卷积分支；所述时间多尺度卷积模块的每个分支都以1×1卷积开始，具体分为四组；第一组包括4个分支，每个分支在1×1卷积后分别经过4个3×1的时间卷积，应用4个不同的扩张法获得多尺度的时间感受域；第二组只有一个1×1卷积；第三组在1×1卷积后经过一个3×1的最大池化层；第四组只有一个1×1卷积；第一组、第二组、第三组的输出合并后与第四组的输出相加得到最终的输出；步骤4：基于数据集进行训练与测试，得到最终的输出结构；其中使用静态数据集获取静态角编码，然后进行训练与测试，使用动态数据集获取动态角编码，然后进行训练与测试。

全文数据：

权利要求：

百度查询： 电子科技大学 基于多角度特征融合的骨骼点动作识别方法