申请/专利权人：浙江工商大学

申请日：2022-05-13

公开（公告）日：2024-06-04

公开（公告）号：CN114821737B

主分类号：G06V40/16

分类号：G06V40/16;G06V10/774;G06V10/82;G06T19/00;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.06.04#授权;2022.08.16#实质审查的生效;2022.07.29#公开

摘要：本发明公开了一种基于三维人脸对齐的移动端实时假发试戴方法。本发明首先使用关键点损失函数、形状一致损失函数、光度一致损失函数训练教师模型，再通过参数损失由学生模型学习教师模型，并使用顶点损失函数优化学生模型，最后通过增强现实技术绘制实现假发试戴。本发明通过压缩标准3DMM模型大幅度减少了计算量，真正做到了在移动端设备上进行实时的假发试戴，同时具有逼真的效果和流畅的体验，为假发试戴技术的大范围推广提供了技术支持。

主权项：1.一种基于三维人脸对齐的移动端实时假发试戴方法，其特征在于该方法包括以下步骤：步骤1、训练教师模型1-1使用人脸识别算法搜集人脸图片，并经人工筛选，得到人脸角度、人种、性别平衡的数据集；1-2使用所述数据集以resnet50为骨架网络，通过关键点损失函数、形状一致损失函数、光度一致损失函数进行自监督训练教师网络，教师网络类型为参数回归网络；所述教师网络的回归目标为106维的参数向量，其中40维为形状参数，20维为表情参数，40维为纹理参数，余下6维为姿态参数；步骤2、训练学生模型2-1学生网络以GhostNet为骨架网络，学生网络类型同为参数回归网络，使用参数损失对教师网络进行学习；所述学生网络的回归目标为66维，其中40维为形状参数，20维为表情参数，余下6维为姿态参数；2-2使用顶点损失函数对学生网络进行微调，以得到最优的网络参数；步骤3、3DMM模型压缩3-1使用网格压缩算法对3DMM标准中性人脸进行网格压缩；3-2将进行过网格压缩的中性人脸与原始人脸作对比，根据最小距离找出在原始人脸中最接近的顶点；3-3从3DMM模型参数中获取步骤3-2所得到的顶点所对应的参数，并重新组织顶点索引，得到简化的3DMM模型；步骤4、假发试戴4-1制作假发的三维模型，并调整其坐标到统一的范围，保存为obj文件；4-2将采集到的图像作为学生模型输入，进行推理，输出使用经过简化的3DMM模型计算得到重建的三维人脸坐标；4-3使用OPENGLES技术将所计算得到的人脸对假发三维模型进行遮挡，并最终绘制到屏幕上，实现增强现实绘制。

全文数据：

权利要求：

百度查询： 浙江工商大学 一种基于三维人脸对齐的移动端实时假发试戴方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD