买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东南大学

摘要：本发明提供了一种基于自监督时空运动先验的遮挡人体运动序列重建方法，包括以下步骤：S1.人体运动合成与表示；S2.遮挡人体时空先验网络构建；S3.遮挡人体时空先验网络训练；S4.三维运动重建网络构建；S5.三维运动重建网络训练；S6.全局位置估计；S7.实时单视角遮挡人体运动重建。本发明可以快速合成大量遮挡数据，且不影响模型在真实数据上的泛化能力，解决了现有方法对真实遮挡人体数据的强烈依赖。

主权项：1.一种基于自监督时空运动先验的单视角遮挡人体运动重建方法，其特征在于，包括以下步骤：S1.人体运动合成与表示：提出二维遮挡人体运动的关节点图表示和人体遮挡数据生成方法快速合成大量遮挡数据；通过在网络视频中使用实例分割获取遮挡物，并将遮挡物随机覆盖在不带遮挡的人体数据集中的图片上实现合成遮挡，在二维完整人体运动的关节点图上生成二维遮挡人体运动的关节点图，用于网络训练；S2.遮挡人体时空先验网络构建：构造一个包含局部关节点层面时空特征提取网络和全局运动层面时空特征提取网络的编码器分别提取不同层面的时空特征；此外构建一个由全连接网络组成的编码器，从编码器估计的编码中回归二维完整人体运动的关节点图；S3.遮挡人体时空先验网络训练：将合成的二维遮挡人体运动的关节点图作为输入，与之对应的不带遮挡的二维完整人体运动的关节点图作为监督，以自监督的方式训练步骤S2构建的遮挡人体时空先验网络；自监督训练此神经网络直至收敛，学习遮挡二维人体运动的先验知识；S4.三维运动重建网络构建：构建与步骤S2中遮挡人体时空先验网络编码器相同的网络作为编码器，以全连接层和两个Transformer模块作为解码器，用于从二维遮挡人体运动的关节点图中估计三维完整人体运动图；S5.三维运动重建网络训练：将步骤S3中训练完成的遮挡人体时空先验网络编码器的参数作为预训练参数，赋值给步骤S4构建的三位运动重建网络的编码器，使得三维运动重建网络获得遮挡二维人体运动的先验知识；进一步将合成的二维遮挡人体运动的关节点图作为输入，三维完整人体运动图作为监督，进行网络训练；训练过程中，同时对编码器参数进行微调；训练直至收敛；S6.全局位置估计：从步骤S4中估计得到的三维完整人体运动图中采样得到三维人体运动序列；由于采样得到的三维人体运动序列处于局部坐标系，为了获取带有绝对位置的三维人体运动序列，使用三维人体序列骨架的关节点位置和输入的遮挡二维关节点位置构建最小二乘函数，估计全局平移；并将估计得到的平移应用于三维人体运动序列；S7.实时单视角遮挡人体运动重建：完成网络训练后，利用单个RGB相机构建单视角运动捕捉系统，输入一段单视角相机采集到的人体运动视频序列，使用现有开源的二维关节点检测方法对每帧图片检测关节点位置及其置信度，得到二维遮挡人体运动的关节点图；通过三维运动重建网络估计三维完整人体运动图，并利用步骤S6中的方法获取带绝对位置的三维人体运动序列，实现单视角遮挡人体三维运动重建，全局人体运动序列进行进一步蒙皮，获得带形变的人体网络模型；所述步骤S2具体包括：S21.由于在不同的阶段分别考虑时序关系和空间关系会导致信息的丢失，因此构建的编码器包含2个模块：局部关节点层面时空特征提取网络，全局运动层面时空特征提取网络，来分别提取不同层面的时空特征；局部时空关系模块用于建模局部时空特征，其包含4个卷积层，其中前3个卷积层分别是3个膨胀系数为1，2，5的卷积层；将三个膨胀卷积层得输出进行拼接后经过最后一层卷积层融合时空特征；S22.由于卷积层在时序连续性方面的性能有限，进一步构建全局运动层面时空特征提取网络来建模全局时空特征；全局运动层面时空特征提取网络包括全局空间关系模块和全局时序关系模块，并采用Transformer网络结构；对第一个模块的输出添加空间嵌入，对第二个模块的输出添加时序嵌入；S23.构建一个由全连接网络组成的编码器，从编码器估计的编码中回归二维完整人体运动的关节点图。

全文数据：

权利要求：

百度查询： 东南大学 基于自监督时空运动先验的单视角遮挡人体运动重建方法