买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学;杭州相芯科技有限公司

摘要：本发明公开了一种基于稀疏表情优化人脸关节驱动模型的方法。本发明给出了一种通用的人脸关节驱动模型，并通过优化中性表情下初始关节变换、拟合各目标表情手调面板控制器参数、优化原始表情控制参数和复合表情控制参数到关节变换映射矩阵、优化人脸混合形状，使得对应角色优化过后的人脸关节驱动更加自然。同时，本发明通过设计能量函数和约束条件，并且创新性地设计了优化所需的表情，并通过预置mask的方法将卧蚕、褶皱等人脸细节优化入对应的人脸混合形状。本发明能够高效地解决对应角色人脸关节驱动优化问题，使得美术人员在调整控制器时获得更加真实更加自然的表情，运用在虚拟数字人动画等场景中，应用空间巨大，具有较高的普适性。

主权项：1.一种基于稀疏表情优化人脸关节驱动模型的方法，其特征在于，包括以下步骤：1输入数据：通过采集重建或美术建模的方式获取对应角色对齐且拓扑一致的中性表情三维模型和一系列目标表情三维模型；由美术建模提供的一套模板中性模型及控制该模板中性模型的模板关节驱动参数，该模板中性模型具有与目标中性模型相同的拓扑结构，且模板关节驱动参数能够控制模板中性模型形变出自然的表情；若模板中性模型和目标中性模型网格体未对齐，则需使用最小二乘法，取两者面部特征点计算一个仿射变换来将两者对齐；2优化目标角色模型初始关节变换：根据步骤1的模板中性模型和模板关节驱动参数提供的初始关节变换，计算得到模板中性模型每个顶点在各个关节下的局部坐标；以目标角色中性模型初始关节变换作为优化变量，计算出目标角色中性模型每个顶点在各个目标关节下的局部坐标；将两者差值的平方和作为能量项，使得每个目标角色中性模型顶点在目标角色初始关节的局部坐标和对应的模板中性模型顶点在模板中性模型初始关节的局部坐标距离最小化，以此来优化目标模型每个关节的初始关节变换；3拟合目标角色其余表情手调面板控制器参数gui：对于任意一个目标角色其余表情，设定一组gui参数作为优化变量，使用模板关节驱动参数从目标角色中性模型正向计算出该组gui对应的拟合表情，将拟合表情和对应目标表情逐顶点差值的平方和作为优化能量，拟合出模板驱动参数下最能表达出目标表情的gui；同时需预先设定一个gui阈值，防止过拟合目标表情；4优化原始表情控制参数raw和复合表情控制参数cfe到关节变换的关节映射矩阵：将步骤3中拟合的每个目标表情的一组gui值映射为代表单个控制器移动的原始表情控制参数，以及用于补偿多个存在相互影响的原始表情参数共同作用时产生的形变误差的复合表情控制参数，将两者拼接为一个一维向量，经过关节映射矩阵计算出此表情下每个关节相对初始位置的局部旋转偏移和相对初始位置的局部平移偏移并计算出拟合表情顶点位置；以拟合表情和目标表情顶点位置差作为能量，并在能量项中加入正则项约束防止优化结果产生过拟合和欠约束的现象，同时设定阈值防止优化后对应表情参数影响了不该影响的关节；5优化人脸混合形状基BS：该步骤在步骤4的基础上进一步优化人脸混合形状基；首先通过预置mask分区域优化的方法，将人脸细节优化入指定raw值对应的BS，使得移动对应手调面板控制器时能表达出相应的细节变化；其次通过一个整体的带正则的能量优化将剩余形变细节优化入其余raw值对应的BS，避免采集重建或美术建模中产生的误差被优化入BS。

全文数据：

权利要求：

百度查询： 浙江大学 杭州相芯科技有限公司 一种基于稀疏表情优化人脸关节驱动模型的方法