恭喜中国科学技术大学黄章进获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜中国科学技术大学申请的专利基于高斯泼溅与三平面的单目视频人脸重建与驱动方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119888084B 。
龙图腾网通过国家知识产权局官网在2025-07-04发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510006682.5,技术领域涉及:G06T17/00;该发明授权基于高斯泼溅与三平面的单目视频人脸重建与驱动方法是由黄章进;殷博伟设计研发完成,并于2025-01-03向国家知识产权局提交的专利申请。
本基于高斯泼溅与三平面的单目视频人脸重建与驱动方法在说明书摘要公布了:本发明公开了一种基于高斯泼溅与三平面的单目视频人脸重建与驱动方法,包括如下步骤:S1、3DMM模块从单目人脸视频的每一帧中得到参数化模型显式表达的mesh,3DMM模块带动3D高斯球的位置初步变化;S2、初始化3D高斯球,3D高斯球数量为mesh中点的数量,位置为中性表情下mesh中点的位置,其余3D高斯球的属性做随机初始化;S3、3D高斯球通过优化得到每个球的粗略属性,并通过表情编码器将输入人脸表情图片编码,并通过三平面框架解码得到3D高斯球的各个属性的细节变化;S4、通过循环一致性模块保证表情编码器的结果仅与人脸表情相关;S5、利用若干正则化项约束表情编码器得到的3D高斯球属性变化。本发明提出的单目视频人脸重建和驱动领域具有重要的应用潜力。
本发明授权基于高斯泼溅与三平面的单目视频人脸重建与驱动方法在权利要求书中公布了:1.一种基于高斯泼溅与三平面的单目视频人脸重建与驱动方法,其特征在于,包括如下步骤: S1、3DMM模块从单目人脸视频的每一帧中得到参数化模型显式表达的mesh,3DMM模块带动3D高斯球的位置初步变化; S2、初始化3D高斯球,3D高斯球数量为mesh中点的数量,位置为中性表情下mesh中点的位置,其余3D高斯球的属性做随机初始化; S3、3D高斯球通过优化得到每个球的粗略属性,并通过表情编码器将输入人脸表情图片编码,并通过三平面框架解码得到3D高斯球的各个属性的细节变化; S4、通过循环一致性模块保证表情编码器的结果仅与人脸表情相关; S5、利用若干正则化项约束表情编码器得到的3D高斯球属性细节变化; 所述表情编码器由一个卷积神经网络构成,步幅为2,通道维度为3,32,64,128,256,并在后续添加一个输出维度为128的全连接层: Iface=DeepFaceI θ=fIface; 其中,DeepFace表示分割方法,f表示卷积神经网络和全连接网络; 同时设计一个三平面解码网络,三平面解码网络的表情编码θ输入到基于StyleGAN的2D卷积网络中,生成三平面特征Hxy,Hyz,Hzx,对于规范空间中的每个3D高斯位置,利用位置参数,通过投影到每个三平面上查询三个特征向量Fxy,Fyz,Fzx,将特征向量Fxy,Fyz,Fzx聚合得到一个合并的特征向量F,特征向量F通过轻量级多层感知机进一步处理,生成细节变化μdeltal和sdeltal: μdelta,Sdelta=MLPF U={μi+μdelta,ri,sbase+si,α,SH} I′=3DGSU,πK,E; 所述循环一致性模块中的表情编码器仅与面部表情相关,从新视角渲染出的表情结果输入到表情编码器中,并设计了一个循环一致性损失: I′face=DeepFaceI′ θ′=fI′face Lcycle=MSEθ,θ′; 其中,MSE表示损失函数,I′表示渲染的新视角头像,I'face表示I′通过DeepFace方法得到的仅与表情相关的新视角头像部分,θ′表示从I'face中获得的表情编码; 在最终渲染的新视角头像上执行一个额外编码步骤,并共享表情编码器框架。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国科学技术大学,其通讯地址为:230026 安徽省合肥市包河区金寨路96号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。