买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜复旦大学申请的专利一种从图像和视频中提取三维人脸表征的方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114708586B 。

龙图腾网通过国家知识产权局官网在2025-05-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210427450.3，技术领域涉及：G06V40/16；该发明授权一种从图像和视频中提取三维人脸表征的方法是由颜波;何瑞安;谭伟敏;邢稹设计研发完成，并于2022-04-21向国家知识产权局提交的专利申请。

本一种从图像和视频中提取三维人脸表征的方法在说明书摘要公布了：本发明属于图像与视频理解技术领域，具体为一种从图像和视频中提取三维人脸表征的方法。本发明通过构建一个三维无监督人脸表征学习网络模型来提取三维人脸表征；本发明从没有标签的自然人脸图像和视频中学习，使用表情变换模块从视频序列学习人脸表情的变化。本发明考虑到内部因素和外部环境，利用人脸的三维性质来解耦多达5个影响因素，包括人脸的材质、形状、表情、姿势和光照。本发明可以用于各种下游任务，如人脸表情识别、姿势估计、人脸验证和人脸正面化。

本发明授权一种从图像和视频中提取三维人脸表征的方法在权利要求书中公布了：1.一种从图像和视频中提取三维人脸表征的方法，其中，所述三维人脸表征，包括内部因素和外部因素；内部因素是指：形状、表情、材质；外部因素是指：姿势和光照；其特征在于，通过构建一个三维无监督人脸表征学习网络模型来提取三维人脸表征，具体步骤为：1使用所述网络模型中的编码器从输入图像I分别提取人脸的形状、材质、表情、光照和姿势特征，具体包括：使用形状编码器Es提取人脸形状编码Cshape，使用材质编码器Et提取人脸材质编码Ctexture，使用表情编码器Ee提取人脸表情编码Cexpr，使用光照编码器El提取光照编码Clight，使用姿势编码器Ep提取姿势编码Cpose；2使用所述网络模型中的表情变换模块W来变换估计的人脸材质与形状；包括通过表情变换模块W使得提取到的人脸表情编码Cexpr影响人脸形状编码Cshape和人脸材质编码Ctexture的构成，使得提取出来的材质编码和形状编码根据表情不同而有所差异；3根据提取的编码重构出人脸图像；首先使用所述网络模型中的材质生成器Gt,从提取的材质编码Ctexture生成人脸材质图Mt；使用形状生成器Gs,从提取的人脸形状编码Cshape生成人脸深度图Ms；然后，使用渲染器R来使人脸材质图Mt、人脸深度图Ms、光照编码Clight、姿势编码Cpose合成新的人脸图像渲染器R过程包括光照和投影两个过程；4使用一种损失函数来评估重建图像和输入图像I的差距；首先，使用所述网络模型中的置信度图生成器来预测图像中人脸区域的置信度，该置信度用来指导损失函数关注人脸区域；还使用VGG网络来提取人脸图像的低级和高级语义特征来计算损失；5使用单幅图像对所述网络模型进行预训练；根据构建的网络模型，使用约束条件进行优化，以便从编码器提取形状Cshape、材质Ctexture、光照Clight和姿势Cpose四种因素；最后使用该网络模型输入人脸图像，预测人脸图像的人脸表征，进而对人脸姿势和正面样貌进行判断；6使用视频对所述网络模型继续进行训练；使用约束条件进行优化，从编码器提取表情Cexpr、形状Cshape、材质Ctexture、光照Clight和姿势Cpose五种因素；使用该网络模型输入视频帧序列，预测视频帧中人脸表征，进而对人脸表情、姿势、形状因素进行判断；步骤2中：所述的表情变换模块W，其操作流程为：首先，从步骤1得到的一系列视频帧中采样人脸形状编码Cshape和人脸材质编码Ctexture，在特征空间中对它们进行平均得到和假设中性表情人脸通过采样序列的平均值来估计；然后，用获得的人脸表情编码Cexpr作为形状Cshape和材质Ctexture参数的线性偏差，加入到获取的平均编码中，得到变换后的编码C′shape和C′texture；于是，表情变换模块W的过程表示为以下公式： 其中，符号表示x在批量维度上进行平均；W输入的是材质编码Ctexture或形状编码Cshape，与表情编码Cexpr；W输出的是变换后的形状编码C′shape和材质编码C′texture；这样，将这些特征解分成序列中的序列变异部分和序列不变部分，并分别计算梯度： 其中，第i个材质编码的梯度ΔCtexture,i来自一个序列中所有材质编码的梯度的平均值，同样，第i个形状编码的梯度ΔCshape,i来自一个序列中所有形状编码的梯度的平均值；第i个表情编码的梯度ΔCexpr,i来自对应的形状编码的梯度和对应的材质编码的梯度的加和；λt是材质表达效应的比例因子，λs是形状表达效应的比例因子，通常，取λs＝λt＝1；||V||是输入视频序列V的长度；当生成器固定时，表情变换模块W从人脸形状编码Cshape和人脸材质编码Ctexture在同一视频中的变化中学习表情对材质编码的影响。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人复旦大学，其通讯地址为：200433 上海市杨浦区邯郸路220号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。