龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：厦门云知芯智能科技有限公司;四川云知声智能科技有限公司;广西桂云通科技有限公司
申请日：2024-03-06
公开（公告）日：2024-06-07
公开（公告）号：CN118154741A
主分类号：G06T13/80
分类号：G06T13/80;G06V40/16;G06V10/774;G06V10/82
优先权：
专利状态码：在审-实质审查的生效
法律状态：2024.06.25#实质审查的生效;2024.06.07#公开
摘要：本申请公开了一种模型训练及多语种二维数字人生成方法、装置及设备。通过获取不同语种的样本说话视频以及对应的标签数据，可以训练一个通用的多语种二维数字人生成模型，从而支持不同发音人的多语种二维数字人生成。基于目标人脸表情网络层，目标人脸运动网络层以及目标人脸渲染网络层所确定的目标多语种二维数字人生成模型，具有通用性，可以满足不同语种以及不同发音人的二维数字人生成需求，后续无需在针对个别用户上传的说话视频进行个性化训练，避免由于用户上传的说话视频的拍摄质量影响二维数字人生成结构，提供了更广泛的应用场景和更好的用户体验。
主权项：1.一种多语种二维数字人生成模型的训练方法，其特征在于，所述方法包括：获取不同语种的包含有发音人的样本说话视频以及所述样本说话视频对应的标签数据；其中，所述标签数据包括所述样本说话视频包含的各视频帧分别对应的标准人脸表情特征、所述各视频帧分别对应的标准人脸运动特征以及所述各视频帧分别对应的标准二维数字人脸；获取所述各视频帧分别对应的语音特征；基于所述各视频帧分别对应的语音特征以及所述各视频帧分别对应的标准人脸表情特征，对原始多语种二维数字人生成模型的人脸表情网络层进行训练，得到训练完成的目标人脸表情网络层；基于所述各视频帧分别对应的标准人脸表情特征以及所述各视频帧分别对应的标准人脸运动特征，对所述原始多语种二维数字人生成模型的人脸运动网络层进行训练，得到训练完成的目标人脸运动网络层；基于所述各视频帧、所述各视频帧分别对应的标准人脸运动特征以及所述各视频帧分别对应的标准二维数字人脸，对所述原始多语种二维数字人生成模型的人脸渲染网络层进行训练，得到训练完成的目标人脸渲染网络层；基于所述目标人脸表情网络层，所述目标人脸运动网络层以及所述目标人脸渲染网络层，确定目标多语种二维数字人生成模型，以通过所述目标多语种二维数字人生成模型支持不同发音人的多语种二维数字人生成。
全文数据：
权利要求：
百度查询： 厦门云知芯智能科技有限公司;四川云知声智能科技有限公司;广西桂云通科技有限公司 模型训练及多语种二维数字人生成方法、装置及设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号