恭喜四川启睿克科技有限公司朱海获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜四川启睿克科技有限公司申请的专利一种少样本微调的个性化语音合成方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114360486B 。
龙图腾网通过国家知识产权局官网在2025-03-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111628385.2,技术领域涉及:G10L13/02;该发明授权一种少样本微调的个性化语音合成方法及系统是由朱海设计研发完成,并于2021-12-28向国家知识产权局提交的专利申请。
本一种少样本微调的个性化语音合成方法及系统在说明书摘要公布了:本发明公开了一种少样本微调的个性化语音合成方法及系统,所述方法包括了预训练阶段、微调阶段以及推理阶段,所述系统包括文本处理模块,用于对文本进行规范化处理,并生成文本向量;说话人识别模块,用于对说话人生成粗粒度识别向量及细粒度识别向量;说话人记忆模块,用于记忆说话人识别特征;参数微调模块,用目标说话人的少量语料对说话人记忆模块进行参数微调;频谱预测模块,用于生成目标说话人的预测频谱;声码器模块,用于对输入的频谱生成合成音频。避免了样本过少时带来的模型过拟合问题,只需要极少量目标说话人样本,就能得到高质量的个性化语音合成模型。
本发明授权一种少样本微调的个性化语音合成方法及系统在权利要求书中公布了:1.一种少样本微调的个性化语音合成方法,其特征在于,包括了训练阶段、微调阶段和推理阶段,在训练阶段包括以下步骤:S11.获取多说话人的训练语料,包括不同说话人的音频及对应的文本;S12.对步骤S11的获取的音频提取真实频谱特征,对S11获取的文本进行规范化处理并生成文本向量;S13.对S12中的说话人构建说话人嵌入层并生成说话人识别向量,对S12的文本构建语言嵌入层并生成语言识别向量,对S12中的真实频谱特征构建说话人细粒度特征预测器,得到细粒度识别特征;S14.将步骤S13得到的说话人识别及语言识别向量输入到粗粒度特征记忆层并输出粗粒度识别向量,将S13得到的细粒度识别特征输入到细粒度特征记忆层并输出细粒度识别向量;S15.用文本向量、粗粒度识别向量、细粒度识别向量与真实频谱特征对语音合成模型进行训练得到预训练语音合成模型;微调阶段包括以下步骤:S21.获取少量目标说话人的训练语料,包括目标说话人的音频及对应文本;S22.与步骤S12-S13相同,从步骤S21的训练语料中得到目标说话人的文本向量、说话人识别向量、语言识别向量、细粒度识别向量以及真实频谱特征;S23.固定步骤S15的预训练语音合成模型中除说话人嵌入层、语言嵌入层、粗粒度特征记忆层、细粒度特征记忆层以外的所有参数;S24.使用步骤S22提取的文本向量、说话人识别向量、语言识别向量、细粒度识别向量以及真实频谱特征对步骤S23中语音合成模型的参数进行微调,得到目标说话人的个性化语音合成模型;推理阶段包括以下步骤:S31.对待合成文本进行规范化处理并生成文本向量;S32.从步骤S23个性化语音合成模型中的说话人嵌入层、语言嵌入层、细粒度特征预测器生成说话人识别向量、语言识别向量、细粒度识别特征;S33.将步骤S32得到的说话人识别及语言识别向量输入到粗粒度特征记忆层并输出粗粒度识别向量,将S32得到的细粒度识别特征输入到细粒度特征记忆层并输出细粒度识别向量;S34.将步骤S31的文本向量、步骤S33的粗粒度识别向量、细粒度识别向量输入到步骤S23的个性化语音合成模型,得到预测频谱;S35.将步骤S34得到的预测频谱通过声码器得到合成音频。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人四川启睿克科技有限公司,其通讯地址为:610000 四川省成都市中国(四川)自由贸易试验区成都高新区天府四街199号1栋33层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。