申请/专利权人：合肥工业大学

申请日：2024-03-26

公开（公告）日：2024-06-18

公开（公告）号：CN117953165B

主分类号：G06T17/00

分类号：G06T17/00;G06N3/045;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.06.18#授权;2024.05.17#实质审查的生效;2024.04.30#公开

摘要：本发明提供一种基于神经辐射场的人脸新视图合成方法、系统、存储介质和电子设备，涉及图像处理领域。本发明中，首先通过对非目标个体的若干张人脸图像拟合3DMM人脸模型，构建人脸模型到正则空间的映射关系；其次在正则空间中构建第一神经辐射场模型并进行训练；再次对于目标个体，使用其少量人脸图像对训练好的第一神经辐射场模型进行微调，以获取第二神经辐射场模型即目标个体的三维人脸重建模型；最后利用所述第二神经辐射场模型，合成目标个体的人脸新视图。通过设计正则空间的构造与映射方法，使神经辐射场在该正则空间中进行训练，从而提升其泛化性，以满足少量视图输入的要求，并确保获取目标个体的高精度、真实感强的人脸新视角图像。

主权项：1.一种基于神经辐射场的人脸新视图合成方法，其特征在于，包括：通过相机从不同角度拍摄非目标个体于同一表情的人脸图像，构建第一图像序列，并基于所述第一图像序列拟合3DMM人脸模型，以获取每个第一图像对应相机外参数；其中3DMM是指三维形变模型；根据所述每个第一图像对应相机外参数，结合已知的相机内参数，确定相机位置以及任意像素对应的射线方向，以生成若干采样点；根据所述采样点及其所在的采样光线，结合拟合后的3DMM人脸模型，在正则空间中训练第一神经辐射场模型；通过相机从不同角度拍摄目标个体于同一表情的人脸图像，构建第二图像序列，并基于所述第二图像序列对第一神经辐射场模型进行微调，以获取第二神经辐射场模型；根据指定的相机内外参数生成新的采样光线，并利用所述第二神经辐射场模型，合成所述目标个体的人脸新视图；所述基于所述第一图像序列拟合3DMM人脸模型，包括：第一阶段拟合：选取所述第一图像序列中一个第一图像，基于神经网络拟合相应的相机旋转参数、相机平移参数、个体系数、表情系数、纹理系数、所有人脸特征点、投影图像；其中将所述相机旋转参数、相机平移参数作为相机的外参；第二阶段拟合：固定第一阶段拟合获取的个体系数和表情系数，选取所述第一图像序列中除第一阶段使用的第一图像以外的任一个第一图像，基于相同结构的神经网络拟合相应的相机旋转参数、相机平移参数、纹理系数、所有人脸特征点、投影图像；所述第一阶段拟合中选取的第一图像为非目标个体的正脸图像。

全文数据：

权利要求：

百度查询： 合肥工业大学 基于神经辐射场的人脸新视图合成方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD