买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东大学;中国科学院自动化研究所;山东科技大学;银河水滴科技(江苏)有限公司;泰华智慧产业集团股份有限公司

摘要：本发明涉及一种基于多尺度骨架时空特征提取的跨视角步态识别方法，属于深度学习和模式识别技术领域，包括骨架数据预处理、全局空间特征提取网络构建、局部空间特征提取网络构建、多尺度时间特征提取网络构建、整体框架训练及跨视角步态识别。构建全局空间特征提取网络提取全局空间特征，构建基于超图表示的局部空间特征提取网络，充分建模关节‑部位、部位‑部位级局部空间关系。为了高效地提取多尺度时间特征，构建了多尺度时间特征提取网络。为了提高整个框架结构的判别能力，联合三元组损失和交叉熵损失对整个模型进行训练。最终利用训练好的模型进行跨视角步态识别。

主权项：1.一种基于多尺度骨架时空特征提取的跨视角步态识别方法，其特征在于，包括步骤如下：A、骨架数据预处理对步态骨架序列数据进行预处理，包括骨架数据增强、骨架描述符计算、多粒度骨架划分策略；B、全局空间特征提取网络构建全局空间特征提取网络用于提取关节点间显式和隐式的全局空间关系；对于经步骤A预处理后得到的骨架序列数据，分别计算基于显式骨骼连接的自然邻接矩阵和基于自注意力机制的自注意力邻接矩阵，将其结合共同作为图卷积网络的邻接矩阵用于全局空间特征提取网络的构建；C、局部空间特征提取网络构建局部空间特征提取网络用于提取不同粒度的身体部位间的相互作用关系；对于经步骤A预处理后得到的骨架序列数据和多粒度骨架划分策略，通过超图表示不同粒度的身体部位划分关系，分别设计了关节-部位注意力邻接矩阵和部位-部位注意力邻接矩阵，将其结合共同作为图卷积网络的邻接矩阵用于局部空间特征提取网络的构建；D、多尺度时间特征提取网络构建多尺度时间特征提取网络用于提取多尺度时间特征；对于经步骤B或步骤C得到的全局或局部空间特征，通过不同扩张率的扩张时间卷积提取多尺度时间特征；另外设计了瓶颈结构；步骤D中，多尺度时间特征提取网络构建，包括步骤如下：j、该网络结构包含三个分支，对于每一分支，采用相同卷积核大小、不同扩张率的1维扩张卷积提取不同尺度的时间特征，引入瓶颈设计，先通过1×1卷积对通道维进行缩减，再将多尺度扩张卷积后的输出按通道维拼接以恢复原始通道数；对于输入局部空间特征提取模块的节点特征CTin表示输入多尺度时间特征提取网络的特征的通道维数；以上过程用公式表示为：fi＝Conv_1DiConvifTin21fTout＝Concatf1,f2,f322其中Convi和Conv_1Di分别表示第i个分支的1×1卷积和不同扩张率的1维扩张卷积；分别表示第i个分支的输出和网络最终的输出，Concat·表示按通道维拼接；E、整体框架训练模型整体框架包括全局分支和若干不同粒度局部分支，全局分支由若干步骤B和步骤D网络交替堆叠提取全局时空特征后，经过池化和全连接映射，作为最后的全局特征表示；局部分支由若干步骤C和步骤D网络交替堆叠提取局部时空特征后，经过池化和全连接映射，作为最后的局部特征表示；每层特征提取网络间都添加了残差连接，各分支每层网络的名称均为Layer-1、Layer-2、Layer-3、Layer-4、池化层、全连接层1、全连接层2，各分支每层网络的特征输出维度T×N×C分别为：60×17×72、60×17×72、60×17×144、60×17×288、1×288、1×74、1×128；独立计算全局特征表示和各局部分支的局部特征表示的三元组损失和交叉熵损失，并使用所有分支损失的平均值来监督模型的训练过程；所述步骤E，整体框架训练，包括步骤如下：k、对每个分支经最后一层步骤D网络提取的特征分别进行时间池化和空间池化操作，Tout表示特征的时间维数、Cinner表示特征的通道维数；池化过程用公式表示为： 其中分别表示第b个分支经时间和空间池化后的输出特征；TP·表示时间维度的池化操作，使用最大池化；NP·和AP·分别表示空间维度的最大和平均池化；最后，将分别通过两个全连接层，得到该分支用于计算三元组损失的输出特征和用于计算交叉熵损失的特征Cclass是即训练集行人身份数，Cout表示用于计算三元组损失的输出特征的通道维数；将每个分支的输出特征拼接得到网络最终的输出特征B表示模型分支数；以上过程用公式表示为： 其中FC1·和FC2·表示全连接层，Concat·表示按分支维拼接；F、跨视角步态识别将注册集和查询集的步态骨架序列送入训练好的基于多尺度骨架时空特征提取的跨视角步态识别网络中提取步态特征，通过将待查询样本特征与注册集特征进行相似性比对完成查询样本的身份识别。

全文数据：

权利要求：

百度查询： 山东大学 中国科学院自动化研究所 山东科技大学 银河水滴科技(江苏)有限公司 泰华智慧产业集团股份有限公司 一种基于多尺度骨架时空特征提取的跨视角步态识别方法