申请/专利权人：北京家瑞科技有限公司

申请日：2023-06-08

公开（公告）日：2024-05-14

公开（公告）号：CN116741149B

主分类号：G10L15/02

分类号：G10L15/02;G10L15/06;G10L17/04;G10L25/27;G10L25/48

优先权：

专利状态码：有效-授权

法律状态：2024.05.14#授权;2023.09.29#实质审查的生效;2023.09.12#公开

摘要：本申请公开了一种跨语言语音转换方法、训练方法及相关装置，该方法包括：将第一媒体文件输入跨语言语音转换模型，其中该第一媒体文件包括背景特征和由第一角色使用第一语言发出的第一源语音，基于该跨语言语音转换模型输出第二媒体文件。本申请基于跨语言语音转换模型针对媒体文件的背景特征和目标受众根据源语音的语音内容生成与源语音对应的目标语音内容及目标语音，使得用户更易理解媒体文件的内容，从而提高跨语言语音转换的质量，有效地提高用户体验。

主权项：1.一种跨语言语音转换方法，其特征在于，包括：将第一媒体文件输入跨语言语音转换模型，其中所述第一媒体文件包括背景特征和由第一角色使用第一语言发出的第一源语音，所述跨语言语音转换模型是基于神经网络对历史媒体文件集进行训练得到的，所述跨语言语音转换模型包括分类器和生成式预训练变换器GPT神经网络，所述GPT神经网络包括嵌入层、N个解码模块和输出层，其中所述N个解码模块中每个解码模块包括依次连接的掩码注意力层、第一归一化层、前向反馈层和第二归一化层，所述N为大于1的整数；将所述第一媒体文件输入所述分类器获取所述第一媒体文件的分类信息，其中所述第一媒体文件的分类信息包括所述第一媒体文件的受众群体、以及目标受众的认知水平、媒体类型、文化特征和或所述第一角色的人物特征；将所述第一媒体文件进行位置编码得到位置向量且将所述第一媒体文件输入所述嵌入层得到嵌入向量；将所述位置向量和所述嵌入向量输入所述N个解码模块中第一个解码模块的掩码注意力层；以及，经过所述N个解码模块后在所述输出层输出第二媒体文件，其中所述第一媒体文件的分类信息用于生成所述第二媒体文件的第一目标语音，所述第二媒体文件是通过所述第一媒体文件的背景特征和使用第二语言的所述第一目标语音合成的；所述第一目标语音是基于所述背景特征、所述第一媒体文件的目标受众和所述第一源语音的语音内容生成的；以及所述第一目标语音的声纹特征取决于所述媒体文件的目标受众和或所述第一源语音的声纹特征；其中，所述分类器与所述嵌入层连接，所述分类器的输出作为所述嵌入层输入的一部分；或者所述分类器与所述输出层连接，所述分类器的输出作为所述输出层输入的一部分；或者所述分类器与所述第一个解码模块的掩码注意力层连接，所述分类器的输出作为所述第一个解码模块的掩码注意力层输入的一部分。

全文数据：

权利要求：

百度查询： 北京家瑞科技有限公司 跨语言语音转换方法、训练方法及相关装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD