买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明公开了一种基于三维高斯泼溅的人脸高保真度和可驱动的重建方法。本发明引入了三维高斯泼溅模型，提供了一种基于三维高斯泼溅的人脸高保真度和可驱动的重建方法，实现人脸三维高保真度重建的同时最大保证新奇表情驱动的可用性，并且能够避免表情基和身份基耦合问题，同时能够保证驱动表情表示的准确性。

主权项：1.一种基于三维高斯泼溅的人脸高保真度和可驱动的重建方法，其特征在于，包括以下步骤：S1、获取第一拍摄者通过单目摄像头拍摄的脸部动作视频，其中脸部动作视频的第一帧需要保持脸部无表情，而其余帧需要做出不同的脸部表情；S2、对第一拍摄者的脸部动作视频进行图像处理，从各视频帧中提取去除背景的人脸肖像帧以及人脸掩码图；S3、通过预训练的人脸身份信息提取网络，从第一拍摄者的脸部动作视频的第一帧中提取FLAME框架下的第一拍摄者的身份向量；S4、将第一拍摄者的脸部动作视频中每帧人脸肖像帧内人脸关键点作为监督标签，对基于FLAME框架的人脸表情追踪网络中的FLAME参数和相机参数进行有监督的学习优化，得到每帧脸肖像帧对应的优化后的FLAME参数和相机参数；所述基于FLAME框架的人脸表情追踪网络以拍摄者的FLAME参数和相机参数作为模型输入，所述FLAME参数包括身份向量、人脸表情向量、眼部姿态向量、下巴姿态向量和眼睛闭合向量，以人脸肖像帧的人脸关键点作为模型输出；且在监督学习过程中，FLAME参数中的身份向量保持固定，其余的FLAME参数和相机参数均进行优化，从而实现人脸部表情基和身份基向量的解耦；S5、将第一拍摄者经过有监督学习优化得到的各人脸肖像帧的FLAME参数和相机参数，作为三维高斯泼溅模型的驱动参数输入，以对应的人脸肖像帧和人脸掩码图作为监督标签，对三维高斯泼溅模型进行监督训练；S6、将第一拍摄者替换为第二拍摄者，重新按照S1～S4获得第二拍摄者对应的脸部动作视频中各人脸肖像帧的FLAME参数和相机参数，然后将第一拍摄者对应的身份向量以及第二拍摄者对应的各人脸肖像帧的人脸表情向量、眼部姿态向量、下巴姿态向量、眼睛闭合向量、相机参数作为驱动参数输入到S5中训练得到的三维高斯泼溅模型中，得到由第二拍摄者驱动的第一拍摄者的虚拟人渲染效果。

全文数据：

权利要求：

百度查询： 浙江大学 基于三维高斯泼溅的人脸高保真度和可驱动的重建方法