恭喜上海积图科技有限公司苏朋杨获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜上海积图科技有限公司申请的专利实现3D人脸与音频同步的方法、装置、设备及介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115063514B 。
龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210588618.9,技术领域涉及:G06T13/40;该发明授权实现3D人脸与音频同步的方法、装置、设备及介质是由苏朋杨;蔡卓君设计研发完成,并于2022-05-26向国家知识产权局提交的专利申请。
本实现3D人脸与音频同步的方法、装置、设备及介质在说明书摘要公布了:本发明涉及人工智能技术领域,公开了实现3D人脸与音频同步的方法、装置、设备及介质。该方法包括获取第一采样视频中各个帧段下音素和3D人脸数据片段,以及得到各个帧段下音素和3D人脸数据片段的对应关系表;输入新音频数据,以及提取新音频数据中各个帧段下的新音素;将各个帧段下的新音素分别对应对应关系表,得到对应帧段下的3D人脸数据片段;将各个帧段下的3D人脸数据片段,按照新音频数据的时间轴进行重新排序以及组合,得到新3D人脸数据;对新3D人脸数据进行图像翻译,得到新2D人脸数据;将新2D人脸数据和新音频数据进行合并,得到目标数据,通过将音素和3D人脸在同一视频帧段下一一对应,来达到3D人脸与音频的同步效果。
本发明授权实现3D人脸与音频同步的方法、装置、设备及介质在权利要求书中公布了:1.一种实现3D人脸与音频同步的方法,其特征在于,包括:获取第一采样视频中各个帧段下音素和3D人脸数据片段,以及得到各个帧段下所述音素和所述3D人脸数据片段的对应关系表;输入新音频数据,以及提取所述新音频数据中各个帧段下的新音素;将各个帧段下的所述新音素分别对应所述对应关系表,得到对应帧段下的所述3D人脸数据片段;将各个帧段下的所述3D人脸数据片段,按照所述新音频数据的时间轴进行重新排序以及组合,得到新3D人脸数据;对所述新3D人脸数据进行图像翻译,得到新2D人脸数据;将所述新2D人脸数据和所述新音频数据进行合并,得到目标数据;其中,所述获取第一采样视频中各个帧段下音素和3D人脸数据片段包括:获取第一采样视频中的音频数据;将所述音频数据进行分片,得到多个音素以及每个所述音素所处的时间段;通过第一采样视频的帧率以及所述音素所处的时间段,计算出每个所述音素所对应的帧段;其中,所述获取第一采样视频中各个帧段下音素和3D人脸数据片段包括:获取第一采样视频中的2D人脸数据;根据每个所述音素所对应的帧段,将所述2D人脸数据进行分片,得到多个2D人脸数据片段;基于Deep3DFaceReconstruction技术,提取出每个所述2D人脸数据片段的向量信息;基于3DMM技术,将每个所述向量信息进行3D重建,得到3D人脸数据片段;其中,所述将各个帧段下的所述3D人脸数据片段,按照所述新音频数据的时间轴进行重新排序以及组合,得到新3D人脸数据包括:在所述新3D人脸数据中的每两个帧段过渡过程中进行平滑处理;其中,所述在所述新3D人脸数据中的每两个帧段过渡过程中进行平滑处理包括:将当前所述向量信息按照1-n比例进行缩减,得到缩减向量信息,其中0n1;将距离当前所述向量信息为1的两个向量信息分别按照n比例进行缩减,得到两个距离向量信息;将所述缩减向量信息和两个所述距离向量信息相加,得到新的向量信息;基于3DMM技术,重新将每个所述新的向量信息进行3D重建,得到多个过渡平滑的3D人脸数据片段;将多个所述过渡平滑的3D人脸数据片段进行组合,得到新3D人脸数据。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人上海积图科技有限公司,其通讯地址为:200030 上海市浦东新区中国(上海)自由贸易试验区临港新片区新杨公路860号10幢;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。