买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：摩尔线程智能科技(北京)有限责任公司

摘要：本公开涉及语音处理技术领域，尤其涉及一种音色转换方法、装置、电子设备、存储介质和程序产品。所述方法包括：对于第一训练音频集中的任一第一训练音频，通过第一音色转换模型中的第一内容编码器对第一训练音频进行字符识别和字符预测，得到第一训练音频对应的第一文本识别结果；根据第一文本识别结果和第一训练音频对应的标注文本，训练第一内容编码器；响应于第一内容编码器训练至满足第一预设训练条件，基于第一训练音频集和所述第二训练音频集，训练第一音色转换模型。本公开训练得到的第一音色转换模型可以用于将带口音的音频转换为标准说话人的音频，并能够对带口音的音频中发音不标准的部分进行自动修复。

主权项：1.一种音色转换模型的训练方法，其特征在于，第一音色转换模型包括第一内容编码器和第一说话人编码器，所述方法包括：获取第一训练音频集和第二训练音频集，其中，所述第一训练音频集包括多个说话人对应的多个第一训练音频，所述第二训练音频集包括标准说话人对应的多个第二训练音频，所述标准说话人表示发音标准的说话人；对于所述第一训练音频集中的任一第一训练音频，获得所述第一训练音频对应的第一音频特征向量序列；通过所述第一内容编码器对所述第一音频特征向量序列进行编码，得到所述第一训练音频对应的第二音频特征向量序列；通过所述第一内容编码器基于所述第二音频特征向量序列进行字符识别和字符预测，得到所述第一训练音频对应的第一文本识别结果；其中，所述通过所述第一内容编码器基于所述第二音频特征向量序列进行字符识别和字符预测，得到所述第一训练音频对应的第一文本识别结果，包括：对于所述第二音频特征向量序列中的待处理音频特征向量，通过所述第一内容编码器基于所述待处理音频特征向量和所述待处理音频特征向量对应的字符预测结果进行字符识别，得到所述待处理音频特征向量对应的字符识别结果，其中，所述待处理音频特征向量表示所述第二音频特征向量序列中尚未进行字符识别的音频特征向量中、排序最前的音频特征向量；通过所述第一内容编码器基于所述第二音频特征向量序列对应的已识别出的字符进行字符预测，得到所述第二音频特征向量序列对应的字符预测结果；根据所述第一文本识别结果和所述第一训练音频对应的标注文本，训练所述第一内容编码器；响应于所述第一内容编码器训练至满足第一预设训练条件，基于所述第一训练音频集和所述第二训练音频集，训练所述第一音色转换模型；其中，所述基于所述第一训练音频集和所述第二训练音频集，训练所述第一音色转换模型，包括：对于所述第一训练音频集中的任一第一训练音频和所述第二训练音频集中的任一第二训练音频，通过所述第一内容编码器提取所述第一训练音频对应的第一内容特征向量序列，并通过所述第一说话人编码器提取所述第二训练音频对应的第一说话人特征向量；基于所述第一内容特征向量序列和所述第一说话人特征向量，生成所述第一训练音频和所述第二训练音频对应的第一合成音频；将所述第一合成音频输入鉴别器，通过所述鉴别器输出所述第一合成音频对应的音频类别预测结果，其中，音频类别包括真实音频和合成音频；根据所述第一合成音频对应的音频类别预测结果，训练所述第一音色转换模型。

全文数据：

权利要求：

百度查询： 摩尔线程智能科技(北京)有限责任公司 音色转换方法、装置、电子设备、存储介质和程序产品