申请/专利权人：云知声智能科技股份有限公司

申请日：2024-03-21

公开（公告）日：2024-06-21

公开（公告）号：CN118230756A

主分类号：G10L21/10

分类号：G10L21/10;G06T13/40;G06F17/10;G06N3/0455;G06N3/08;G06F18/10;G06F18/213;G10L21/0232;G10L25/24;G10L25/30;G10L25/57;G10L25/63

优先权：

专利状态码：在审-公开

法律状态：2024.06.21#公开

摘要：基于深度回归网络的语音3D驱动数字人脸的方法和系统，该方法调用语音特征处理模块，采用预加重、分帧、加窗、傅立叶变换、梅尔频率滤波器、对数运算、离散余弦变换方式对语音信号进行处理，得到语音的梅尔倒谱特征；采用ASR的模型提取方式对语音的梅尔倒谱特征进行处理，去掉语音梅尔倒谱特征中的身份信息；调用3D人脸blendshape参数转化模块，采用基于transformer结构的网络来提取语音特征参数，把语音特征参数转换成3D人脸blendshape参数；调用人脸表情控制模块，将语音特征参数和相应的所述语音模型预测的情感特征进行合并，控制人脸表情信息，输出相应的3D人脸运动信息。本发明解决了实现困难，口型单一，鲁棒性差，人脸表情僵硬的问题。

主权项：1.基于深度回归网络的语音3D驱动数字人脸的方法，其特征在于，包括：调用语音特征处理模块，采用预加重方式对语音信号进行处理，恢复语音信号中音频的高频；采用加权窗方式对语音信号进行帧处理，采用滑动窗口方式使语音信号前后帧平滑；采用傅立叶变换方式对加窗后的语音信号进行处理，得到语音信号的频域信号；采用梅尔频率滤波器对语音信号进行滤波处理，去掉语音信号中的高频信息；对去掉高频信息的语音信号进行对数变换处理，得到语音信号的梅尔频谱倒谱；对具备梅尔特征的语音信号进行离散余弦变换处理，得到梅尔倒谱特征；采用ASR的模型提取方式对语音的梅尔倒谱特征进行处理，去掉语音梅尔倒谱特征中的身份信息；调用3D人脸blendshape参数转化模块，采用基于transformer结构的网络来提取语音特征参数，把语音特征参数转换成3D人脸blendshape参数；调用人脸表情控制模块，采用语音模型预测输入语音的情感特征，对语音数据进行自动化标记；采用所述语音模型提取语音中的情感特征；将语音特征参数和相应的所述语音模型预测的情感特征进行合并，控制人脸表情信息，输出相应的3D人脸运动信息。

全文数据：

权利要求：

百度查询： 云知声智能科技股份有限公司 基于深度回归网络的语音3D驱动数字人脸的方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD