买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：沈阳大学

摘要：本申请提供一种自适应拓展分区策略的人体骨架行为识别方法。提出自适应拓展邻接策略，该策略包含：拓展原始空间配置分区策略，将骨架图由三类拓展为五类固定长度张量，以包含最大的运动依赖性；提出一种对称邻接机制，以提取大量非相邻节点间的隐式运动联系信息，并根据空间距离设置权重，增大运动联系较强但因距离较远而导致关联较弱节点间的权重。后根据自适应拓展邻接策略构建本文邻接矩阵。融合通道域注意力模块，使模型关注新构建邻接矩阵中更重要的子邻接矩阵，并抑制冗余信息。基于本申请的骨架行为识别方法，不但能够取得优异的识别准确率，而且具备良好的泛化性能。

主权项：1.一种自适应拓展分区策略的人体骨架行为识别方法，其特征在于，包括：S1：获取原始视频样本，对所述原始视频样本进行预处理，获取所述原始视频样本中的骨架信息数据，对其进行预处理，得到可用于模型识别的骨架特征数据，用于训练模型，记作：训练用骨架数据；步骤S1中，获取所述原始视频样本中所述骨架信息数据，详细包括以下步骤：S1-1：对采集到的所述原始视频样本进行分帧处理，将连续视频片段分解为一个包括静态帧的图片序列；S1-2：基于Openpose姿态估计算法进行计算，设置Openpose算法的计算参数，将分解视频得到的所述静态帧的图片输入Openpose，得到所述静态帧中的对应节点数的人体骨架数据；S1-3：依据人体节点与Openpose算法中对于相应关节的编号，构建人体骨架数据的连接关系表示人体的形态特征，即获得所述骨架信息数据；S2：基于原始输入骨架图连接关系，拓展原始分区策略，增添对称邻接，增添可学习自适应邻接关系，并针对上述策略添加注意力模块；步骤S2中，基于所得骨架信息数据，对骨架特征数据进行表示，并通过添加超越相邻节点的连接关系，如拓展分区、对称邻接、自适应邻接等策略构造本专利邻接矩阵，具体包括以下步骤：S2-1：骨架特征数据被表示为一组节点，其中每个节点表示为向量x，y，s，x和y表示节点所在的空间坐标位置，s表示置信度分数，对于有N个节点T个帧的视频序列，骨架特征数据表示为集合V＝{vi,j|i＝1，...，N；j＝1，...，T}，其中vi,j表示第j帧中的第i个节点的联合向量，在输入层，将骨架特征数据转换为骨架图结构，将其表示为G＝V，E，其中，V表示节点的集合，E表示节点间边的集合；S2-2：原始分区策略具体的将远心邻域节点、近心邻域节点、自身节点划分为三个集合，其中，重心的选择为颈部节点；现将空间配置分区策略中的三子集拓展到五子集；该划分可表示为集合ρ＝{0，1，2，3，4}，其中0表示中心点本身；1表示靠近中心点且比中心点更靠近重心的节点；2表示靠近中心点且比中心点离重心更远的节点；3表示远离中心点且比中心点更靠近重心的节点；4表示一个离重心较远且比重心离重心更远的节点；重心选择为骨架中所有节点的坐标平均值；划分方案被表示为： 其中：vtj是相邻节点，ri是从顶点i到重心的距离，rj是从顶点j到重心的距离，dij表示从节点i到节点j的距离；S2-3：以躯干节点为中轴线，将人体划分为左躯节点、中轴节点以及右躯节点三部分；在拓展分区策略的基础上，每个节点将额外与非分区策略内的中轴节及对侧躯体节点连接，以建构人体动作的骨架图；考虑到新添相邻节点之间的联系较远，根据关节空间距离对人体骨架图上两节点间的边进行赋值；节点距离越远，边权重越小；新添边权重表示为W∈{x∈R|0≤x≤1}N×N；Wx,y表示第x个关节和第y个关节之间的连接权重值；其权重值基于关节之间的距离，两节点间权重系数计算如公式所示； 其中：Dx,y表示关节x和y之间的距离；通过归一化处理使该式权重系数处于0-1之间；按照拓展分区策略与对称邻接机制，可构建包含原始骨架信息的邻接矩阵Ak；S2-4：在Ak的基础上，加入一个自适应计算邻接矩阵中不同节点之间连接关系的可学习矩阵Bk；Bk随模型训练自动更新内部元素，通过样本训练建立节点间的动态连接关系；具体表示，当Ak中原先定义的节点间连接权重不变或过小时，通过模型训练，Bk会根据运动参与程度增大或缩小对应节点间的连接权重；S2-5：构建整体维度为5×V×V的邻接矩阵，其中V表示骨架节点的数量；利用全局均值池化和全局最大池化分别提取邻接矩阵中的背景信息和纹理信息,得到两个5×1×1的通道向量；将两个通道向量分别送入由1×1卷积和ReLU激活函数组成的多层感知机MLP，分别得到两个5×1×1输出通道特征向量，两个输出特征向量相加构成未经处理的权重向量，在经过Sigmoid函数处理后，权重系数被映射到0到1之间；邻接矩阵权重向量中每一个元素代表了对应邻接矩阵在所有邻接矩阵中的重要性；最后权重向量与邻接矩阵相乘，得到经过注意力机制加权处理的邻接矩阵；S3：构建出基于自适应拓展邻接策略的ST-GCN人体骨架动作识别方法的时空图卷积神经网络模型，将其命名为拓展邻接时空图卷积神经网络，作为骨架行为识别模型；构建所述自适应拓展邻接时空图卷积网络模型，包括以下步骤：S3-1：基于所述骨架数据，构建输入骨架图，包括空间图与时间图；步骤S3-1中，构造所述拓展邻接图卷积模块的步骤包括：S3101：结合softmax函数计算空间图Sk、时间图Tk，计算公式分别为： 式中，fin代表输入特征，Wθ和分别表示嵌入高斯函数θ和的可训练参数；其中，空间图Sk∈RN×N，时间图Tk∈RT×T；RN×N中的N为骨架节点数，RT×T中的T表示所述骨架信息数据包含总的帧数；S3102：结合拓展连接关系的输入骨架入及根据各种策略构建的拓展邻接邻接矩阵，将根据其变化的采样函数、权重函数、映射策略一起代入传统卷积公式，可得以vi为中心的图卷积公式为： 其中：fin·和fout·分别表示从人体骨架图获得的输入特征矩阵与输出特征矩阵；v表示人体骨架中的顶点图，并且Zij是归一化因子；Si表示顶点图的采样区域；wlivj表示v所属邻接点集合的划分子集的权重向量,是可训练的参数；li表示映射函数，目的是将每个顶点映射到不同的权重矩阵；根据拓展分区策略，将卷积核大小设置为5，如1.2.3节所述，分为五个类型的子集，表示为ρ＝{0，1，2，3，4}；特征图张量为C×T×N,其中C表示通道数量，T表示动作视频中帧的数量，N表示顶点的数量；为在人体骨架图上运用图卷积，可将等式表示为： 其中：Kv内核大小设置为5，邻接矩阵包含两个部分，表示为Ak+Bk，其中，Ak为基于拓展分区策略及对称邻接机制所定义N×N维邻接矩阵，Bk为自适应可学习邻接矩阵；Wk是Cout×Cin×1×1的权重向量；由于划分策略在时间维度上保持相同，所以顶点邻域也保持固定；因此，时域中的图卷积运算类似于经典的图Kt×1卷积，其中Kt为卷积核的大小；GCN传递公式表示为： 其中：表示度矩阵；结合时空维度信息，输入特征图为C×V×T维度，C表示特征通道数，V表示骨架图顶点数，T表示视频帧数；根据拓展分区策略，K被设置为5，而多个输出通道的权重向量被叠加以形成权重矩阵W；S3-2：将所述输入骨架图连接关系根据S2所述策略进行拓展，得到拓展邻接邻接矩阵；基于所述拓展邻接邻接矩阵，构建图卷积模块，记作：拓展邻接图卷积模块；采用原始卷积提取所述骨架数据的时间特征，构建时序卷积模块，记作：时序卷积模块；S3-3：将所述拓展邻接图卷积模块和所述时序卷积模块相结合，构建超连接图卷积层；所述超连接图卷积层包括：依次连接的超连接自适应图卷积模块、BN层、RELU层、DORPOUT正则化层、时序卷积模块、BN层和RELU层；S3-4：构建所述骨架行为识别模型；所述骨架行为识别模型包括：依次连接的BN层、10个连续的所述拓展邻接图卷积层、池化层和softmax层；S4：获取待识别视频数据，提取待识别视频数据组中的骨架数据，记作：待识别骨架数据；将所述待识别骨架数据输入到所构建骨架行为识别模型中，得到最终的骨架行为识别结果。

全文数据：

权利要求：

百度查询： 沈阳大学 一种自适应拓展分区策略的人体骨架行为识别方法