申请/专利权人：平安科技(深圳)有限公司

申请日：2021-04-30

公开（公告）日：2024-06-28

公开（公告）号：CN113178201B

主分类号：G10L21/007

分类号：G10L21/007;G10L25/30

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2021.11.19#实质审查的生效;2021.07.27#公开

摘要：本发明实施例公开了一种基于无监督的语音转换方法、装置、设备及介质，该方法通过获取第一说话人的第一语音的梅尔谱；根据样本分类网络从第二说话人的第二语音中获取第二说话人的风格特征并将第一说话人的第一语音的梅尔谱输入至内容编码器中，得到音素特征；基于第一说话人的第一语音的梅尔谱的长度，在解码器中将第二说话人的风格特征进行扩展并将扩展后的风格特征与音素特征进行拼接，通过解码器对拼接后的特征进行解码并采用声码器生成第二说话人的第一语音。本发明基于语音转换技术，通过无监督学习进行语音转换，不仅极大的减少了语音转换步骤，而且提高了转换后的语音的质量。

主权项：1.一种基于无监督的语音转换方法，其特征在于，包括以下步骤：获取多个样本语音，并依次对所述样本语音的语音信号进行预加重、分帧处理、加窗处理与快速傅里叶变换，以及将快速傅里叶变换后的语音信号输入至梅尔滤波器中，得到每个样本语音的梅尔谱；将所述样本语音的梅尔谱输入至样本分类网络中并根据生成的风格特征调用预置的交叉熵损失函数生成所述样本分类网络的交叉熵损失；将所述样本语音的梅尔谱输入至内容编码器中并根据生成的音素特征调用预置的互信息误差函数生成所述内容编码器的互信息误差；将所述样本语音的风格特征、音素特征拼接后输入至解码器中并根据生成的预测梅尔谱调用预置的重构误差函数、预置的说话人一致误差函数生成所述解码器的重构误差、说话人一致误差；根据所述交叉熵损失、所述互信息误差、所述重构误差以及所述说话人一致误差优化语音转换模型的参数，直至所述语音转换模型收敛；接收第一说话人的第一语音并对所述第一语音进行预处理，得到所述第一说话人的第一语音的梅尔谱；根据预置的所述语音转换模型的样本分类网络从第二说话人的第二语音中获取所述第二说话人的风格特征；将所述第一说话人的第一语音的梅尔谱输入至所述语音转换模型的内容编码器中，得到所述第一语音的音素特征；基于所述第一说话人的第一语音的梅尔谱的长度，在所述语音转换模型的解码器中将所述第二说话人的风格特征进行扩展并将扩展后的风格特征与所述第一语音的音素特征进行拼接，得到拼接后的特征；根据所述解码器对所述拼接后的特征进行解码，得到所述第二说话人的第一语音的梅尔谱；将所述第二说话人的第一语音的梅尔谱输入至预置的声码器中，得到所述第二说话人的第一语音。

全文数据：

权利要求：

百度查询： 平安科技(深圳)有限公司 基于无监督的语音转换方法、装置、设备及介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD