买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖南大学

摘要：本发明公开一种基于Transformer模型的三维人体重建方法及系统，该方法步骤包括：S01.输入人体图像进行特征提取，得到图像特征；S02.对提取到的图像特征进行上采样得到采样后特征，输入至由多个残差块叠加构成的网络，提取得到关键点的局部特征；以及为网格中每个顶点生成局部特征；S03.对提取的图像特征进行全局特征提取；S04.使用图像特征预测参数化人体模型，得到人体网格以及对应的关键点位置；S05.将局部特征、全局特征与人体网格、关键点位置进行拼接，输入至Transformer模型中，以预测最终的网格顶点以及关键点位置。本发明具有实现方法简单、重建效率以及精度高等优点。

主权项：1.一种基于Transformer模型的三维人体重建方法，其特征在于，步骤包括：S01.图像特征提取：输入人体图像，利用卷积神经网络对输入的所述人体图像进行特征提取，得到图像特征；S02.局部特征提取：对提取到的图像特征进行上采样得到采样后特征，将所述采样后特征输入至由多个残差块叠加构成的网络，提取得到关键点的局部特征；以及为网格中每个顶点生成一个与人体姿势相关的局部特征，得到网格顶点的局部特征；S03.全局特征提取：对提取的所述图像特征进行全局特征提取；S04.空间位置提取：使用所述图像特征预测参数化人体模型，得到人体网格以及所述人体网格对应的关键点位置；S05.将提取的所述局部特征、全局特征与所述人体网格、关键点位置进行拼接，拼接后得到的特征向量序列输入至Transformer模型中，以预测最终的三维人体网格顶点以及关键点位置，实现三维人体重建；所述Transformer模型包括上下两层，每层均包括Transformerblock，下层用于解耦合关键点和网格顶点，使用下层中Transformerblock分别对关键点和人体网格顶点进行编码，得到编码后的关键点与网格顶点；将所述编码后的关键点与网格顶点一起作为上层中Transformerblock的输入，由所述上层中Transformerblock融合关键点和网格顶点的信息；所述步骤S04中，使用误差反馈迭代模型预测所述参数化人体模型，预测出一个初步与输入人体图像对齐的三维人体模型，由预测出的所述三维人体模型得到所述人体网格以及对应的所述关键点位置；所述步骤S05中，通过将所述人体网格以及对应的所述关键点位置作为Transformer模型的位置编码信息，以使得所述位置编码信息与输入人体图像对齐。

全文数据：

权利要求：

百度查询： 湖南大学 一种基于Transformer模型的三维人体重建方法及系统