申请/专利权人：南京邮电大学

申请日：2024-04-15

公开（公告）日：2024-06-21

公开（公告）号：CN118038561B

主分类号：G06V40/20

分类号：G06V40/20;G06V10/80;G06V10/82;G06N3/045;G06N3/09

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.05.31#实质审查的生效;2024.05.14#公开

摘要：一种基于时空循环架构的3D人体姿态估计方法，通过分别设计三个图卷积网络来处理这些图数据，最终得到一个融合的特征，充分学习关节之间的空间相关性，同时在一定程度上解决了关节的自遮挡问题；采用了一种全局局部的交替机制，通过结合在建模全局信息方面表现出色的自注意力机制和能够控制注意力机制关注范围的滑动窗口机制，以引导网络在较短的时间内关注局部细节，在较长的时间内关注全局信息，因此本方法成功避免了较长序列的干扰，使改进后的自注意力能够交替关注全局和局部信息，更加全面地捕捉时间特征，并在一定程度上解决关节的深度模糊问题。经过实验，与将自注意力机制引入3D人体姿态估计领域的方法PoseFormer比较，本方法更加准确。

主权项：1.一种基于时空循环架构的3D人体姿态估计方法，其特征在于：所述方法包括如下步骤：步骤1，由2D姿态检测器从视频数据集中捕获提取每个帧的2D关键点；步骤2，对提取到的2D关键点进行统一的数据预处理，得到连续帧的2D关键点序列；步骤3，将2D关键点序列作为模型输入，先将其投影到高维空间，以引入非线性特征以捕捉数据的内在结构；步骤4，与一个可学习的时间位置嵌入相加，让模型感知和利用输入数据中的时序信息；步骤5，先后通过动态空间GCN编码器DSGCE和交错时间自注意力编码器ITTE提取空间和时间特征；所述步骤5中，对于空间特征，通过集成三种自适应邻接矩阵的更新方法来设计动态空间GCN编码器DSGCE；在DSGCE中，通过GCN采用三种自适应邻接矩阵的更新方法从不同的角度更新输入数据Yi；给定第i层的节点特征Yi，后续层的输出特征Yi+1通过如下卷积得到： 参数是一个度矩阵，形状与A均为N*N，N即关节点个数；度矩阵是一个对角矩阵，其中对角线上的每个元素表示该节点的度数，即与该节点相连的边的数量；度矩阵用于归一化邻接矩阵，即该操作通过将左乘和右乘倒数的平方根达到将归一化的目的，以便在图卷积网络GCN中使用； 是添加了自连接的无向图的归一化邻接矩阵，A是自连接的无向图，IN是单位矩阵；W是可训练权重矩阵，根据不同的自适应邻接矩阵有对应的权重矩阵；σ·表示ReLU·激活函数；步骤5中，从三个不同的角度设计邻接矩阵；首先，采用一个基本的邻接矩阵adj，它反映了先验的人体关节之间的基本邻接关系，如果节点i与节点j之间存在一阶邻接关系，则矩阵元素adjij值为1，否则为0；其次，引入静态对称矩阵sym来捕获人体关节的静态对称性，如果节点i和节点j具有静态对称性，则symij为1，否则为0；最后，设计一个动态距离矩阵dsg来动态表征二维空间中每个关节与其他关节之间的距离关系；对于节点i，根据二维坐标计算i与其他节点之间的距离dij，随后为dij设计一个动态的阈值S，如果距离小于S，则dsgij＝1，否则为0；利用三个自适应邻接矩阵，推导出三种GCN更新方法；输入特征分别经过三种包含上述不同邻接矩阵的GCN模块后，得到三个空间特征，随后进行特征拼接融合，形成新的融合特征；再经过一个线性投影层，将融合特征的维度与输入特征的维度对齐，得到DSGCE的输出特征；步骤5中，对于时间特征，引入一种全局局部的交替机制来设计交错时间自注意力编码器ITTE；在ITTE块中，采用经典的transformer来提取时间特征；transformer利用多头自注意力机制同时学习各种关系和表示，同时设计全局局部的交替机制，用于动态地、交错地对全局和局部信息进行提取、聚合；在计算每个注意力头的注意力分数之前引入一个滑动窗口权重矩阵mask；该权重矩阵的关注范围取决于所选的滑动窗口；不同的窗口大小使节点能够在整个时间序列上具有不同的注意力跨度，从而适应不同的情况，缓解冗余信息的干扰；每个包含mask的头中的查询、键和值Q,K,V矩阵的注意力计算如下： dk是每个标记的维度，也是Q,K,V的维度，{Q,K,V}∈RT×C,mask∈RT×T，T表示所使用的时间序列的长度以及标记的数量，C是每个标记的维度；最后经过时间模块的ITTE后得到时间特征，重新进入空间模块，形成一种时空模块的循环；此外，仅在空间特征第一次进入时间块时添加时间位置嵌入矩阵，以保留时间域中的位置信息；步骤6，判断此时的DSGCE和DSGCE的模块层数是否大于预先设定的值dL，若为否，就继续先后进入空间和时间模块；当层数达到dL时，跳出循环，进入步骤7；步骤7，通过一个回归头将学习到的时空特征重新回归到3D序列坐标。

全文数据：

权利要求：

百度查询： 南京邮电大学 一种基于时空循环架构的3D人体姿态估计方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD