买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广州趣丸网络科技有限公司

摘要：本申请提供的三维人物建模方法、装置、存储介质及计算机设备，当接收到人物视频后，可以先生成人物视频的目标彩色图像及其对应的三维描述文本，然后通过模型确定目标彩色图像的身体LoRA权重和头部LoRA权重，以描述人物的个性化特征；从而能够利用这两个权重对预先采用样本人物模型训练得到的初始三维映射模型进行权重优化，以使优化后的模型可以基于三维描述文本生成目标法线图像和目标深度图像，以捕捉人物的细节特征；最后采用各个图像对人物建模模型进行双域蒸馏学习，生成个性化的三维建模结果。本申请利用权重优化后的模型对人物建模模型进行身体区域和头部区域的蒸馏学习，可以提升蒸馏学习的质量，进而提升建模结果的个性化效果。

主权项：1.一种三维人物建模方法，其特征在于，所述方法包括：当接收到目标用户输入的人物视频后，根据所述人物视频生成包含身体图像和头部图像的目标彩色图像，以及生成所述目标彩色图像的三维描述文本，并通过预设的初始LoRA模型确定所述身体图像的身体LoRA权重以及所述头部图像的头部LoRA权重；其中，所述三维描述文本表示由图像中人物特征转换得到的文本描述；确定初始三维映射模型，并利用所述身体LoRA权重和所述头部LoRA权重对所述初始三维映射模型进行权重优化，得到目标三维映射模型；将所述三维描述文本输入至所述目标三维映射模型中，得到所述目标三维映射模型输出的目标法线图像和目标深度图像；采用所述目标彩色图像、所述目标法线图像和所述目标深度图像对预设的人物建模模型进行双域蒸馏学习，得到所述人物建模模型输出的所述人物视频的三维建模结果；其中，所述生成所述目标彩色图像的三维描述文本，包括：确定目标图像描述模型；所述目标图像描述模型是以样本彩色图像为训练样本，以所述样本彩色图像对应的真实描述文本为样本标签，并利用目标损失函数对预设的初始图像描述模型进行训练后得到的，所述目标损失函数是由样本彩色图像中的身体图像以及头部图像分别对应的特征损失函数结合而成的；将所述目标彩色图像输入至所述目标图像描述模型中，得到所述目标图像描述模型输出的三维描述文本；所述人物建模模型包括图像渲染层、结构蒸馏层、贴图蒸馏层和人物建模层；所述采用所述目标彩色图像、目标法线图像和所述目标深度图像对预设的人物建模模型进行双域蒸馏学习，得到所述人物建模模型输出的所述人物视频的三维建模结果，包括：利用所述图像渲染层对所述人物视频进行图像渲染，生成标准彩色图像、标准法线图像和标准深度图像；将所述目标法线图像、所述目标深度图像、所述标准法线图像及所述标准深度图像输入至所述结构蒸馏层中，以使所述结构蒸馏层以所述标准法线图像趋近于所述目标法线图像及所述标准深度图像趋近于所述目标深度图像为目标进行双域蒸馏学习，并在蒸馏学习后生成几何结构特征；将所述目标彩色图像和所述标准彩色图像输入至所述贴图蒸馏层中，以使所述贴图蒸馏层以所述标准彩色图像趋近于所述目标彩色图像为目标进行双域蒸馏学习，并在蒸馏学习后生成彩色贴图特征；通过所述人物建模层对所述几何结构特征和所述彩色贴图特征进行人物三维建模，并输出得到人物视频的三维建模结果。

全文数据：

权利要求：

百度查询： 广州趣丸网络科技有限公司 三维人物建模方法、装置、存储介质及计算机设备