买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京字节跳动网络技术有限公司

摘要：本公开实施例公开了一种虚拟人物的合成方法、装置、设备及存储介质。该方法在构建预置形象的三维模型时，先基于包含预置形象的二维图片构建人体模型，在此基础上结合二维图片得到三维网格模型，提高了模型的准确度，而且合成虚拟人物时分为两部分，即利用形象驱动参数和包含关键点检测结果的第一图片合成虚拟人物的表情和头部姿态，得到形象合成结果，同时利用骨骼驱动参数驱动三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片，最后将形象合成结果的图片和第三图片进行融合，得到虚拟人物的合成结果，提高了合成结果的准确性。

主权项：1.一种虚拟人物的合成方法，其特征在于，包括：获取人体驱动参数和包含预置形象的二维图片，所述人体驱动参数包括形象驱动参数和骨骼驱动参数；根据所述二维图片获取包含所述预置形象的关键点检测结果的第一图片，并根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片；根据所述二维图片生成所述预置形象的人体模型，并根据所述人体模型和二维图片生成所述预置形象的三维网格模型，所述三维网格模型包含所述预置形象的服饰信息和纹理特征；根据所述骨骼驱动参数驱动所述三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片，所述三维网格模型呈现与所述骨骼驱动参数对应的身体动作；融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片；所述根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片，包括：将所述形象驱动参数和第一图片输入预先训练的形象合成网络，由所述预先训练的形象合成网络输出包含形象合成结果的第二图片；其中，所述预先训练的形象合成网络包括仿射变换模块、运动估计模块和对抗生成模块；所述仿射变换模块用于根据所述形象驱动参数调整所述第一图片中关键点的位置，得到第一形象图片；所述运动估计模块用于根据所述关键点的位置变化调整所述第一形象图片中除所述关键点之外的其他像素点的位置，得到第二形象图片，所述关键点的位置变化为所述第一形象图片中关键点的位置相对于所述第一图片中关键点的位置的变化；所述对抗生成模块用于修正所述第二形象图片，得到第二图片；所述形象驱动参数包括表情参数和头部姿态参数。

全文数据：

权利要求：

百度查询： 北京字节跳动网络技术有限公司 一种虚拟人物的合成方法、装置、设备及存储介质