龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：广州九四智能科技有限公司
申请日：2023-04-11
公开（公告）日：2023-12-05
公开（公告）号：CN116403562B
主分类号：G10L13/027
分类号：G10L13/027;G10L15/18;G10L15/05;G10L21/013;G10L25/24;G10L25/90;G10L25/87
优先权：
专利状态码：有效-授权
法律状态：2023.12.05#授权;2023.07.25#实质审查的生效;2023.07.07#公开
摘要：本发明提供一种基于融合语义信息的语音合成的方法，包括如下步骤：搜集对应的语音数据，生成真实语音的能量、音高、音素持续时长、字停顿等级标签以及梅尔频谱数据，然后进行模型的构建与训练，再进行模型的测试与评估。本发明在模型中增加了停顿预测器，进行大量的数据来训练模型去更好地预测句子中的停顿。采用本申请的技术方案能模拟人说话的停顿，提升韵律自然度。
主权项：1.一种基于语义信息自动预测停顿的语音合成方法，其特征在于，包括如下步骤：获取训练数据集并处理；构建语音合成模型；将音素序列输入到合成模型中的音素编码器，生成音素隐藏特征；将字序列输入到合成模型中的字编码器，生成字隐藏特征；将生成的字隐藏特征输入到停顿预测器中，再投影到N类停顿等级上，取每个位置最大概率的停顿等级，得到每个字后的停顿等级标签序列；将得到的停顿等级标签序列经过嵌入层，得到停顿等级的嵌入序列，再把嵌入序列和字隐藏特征拼接并投影到与原来字隐藏特征相同的维度上，得到新的字隐藏特征；根据音素与字的对应关系，将字隐藏特征扩展到与音素隐藏特征相同长度，将两者相加，得到总的语义隐藏特征；将语义隐藏特征分别送入音高预测器和能量预测器，持续时长预测器得到音高嵌入，能量嵌入和每个音素持续的时间，将语义隐藏特征与音高嵌入，能量嵌入相加，再根据预测出的音素持续时间将语义隐藏特征扩充到对应的长度，得到最终的隐藏特征；将上述隐藏特征输入到声学特征解码器，最终得到预测的声学特征；利用预测的声学特征、音高、能量、持续时间和真实语音提取的声学特征、音高、能量、持续时间计算模型损失，用此损失更新模型参数，对模型进行训练直至收敛；将预测的声学特征输入到预训练好的声码器，输出最终的语音数据。
全文数据：
权利要求：
百度查询： 广州九四智能科技有限公司 一种基于语义信息自动预测停顿的语音合成方法、系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号