申请/专利权人：平安科技(深圳)有限公司

申请日：2021-09-27

公开（公告）日：2024-06-25

公开（公告）号：CN113870876B

主分类号：G10L21/013

分类号：G10L21/013;G10L25/27

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2022.01.21#实质审查的生效;2021.12.31#公开

摘要：本发明涉及一种人工智能技术领域，提供一种基于自监督模型的歌声转换方法、设备及可读存储介质，其中方法包括：通过自监督模型的编码器对歌声语音进行编码处理，获取歌声嵌入；根据所述歌声嵌入分别构建歌手分类损失函数和回归损失函数；根据所述歌手分类损失函数和回归损失函数，构建对抗损失函数；根据所述对抗损失函数、重构损失函数，构建最终损失函数；通过所述最终损失函数对所述自监督模型进行迭代训练，当所述最终损失函数收敛至预设范围，完成对所述自监督模型的训练；通过训练后的自监督模型对待转换歌声进行转换，获取目标歌声。本发明主要目的在于解决目前转换歌声容易跑调等问题。

主权项：1.一种基于自监督模型的歌声转换方法，应用于电子设备，其特征在于，所述方法包括：通过自监督模型的编码器对歌声语音进行编码处理，获取歌声嵌入；根据所述歌声嵌入分别构建歌手分类损失函数和回归损失函数；根据所述歌手分类损失函数和回归损失函数，构建对抗损失函数；根据所述对抗损失函数、重构损失函数，构建最终损失函数；通过所述最终损失函数对所述自监督模型进行迭代训练，当所述最终损失函数值收敛至预设范围，完成对所述自监督模型的训练；通过训练后的自监督模型对待转换歌声进行转换，获取目标歌声；所述歌声嵌入包括真实歌手类别和真实pitch值，根据所述歌声嵌入构建回归损失函数的过程包括：通过所述自监督模型的pitch回归预测器对所述歌声嵌入进行回归预测，获取预测pitch值；根据所述真实pitch值、所述预测pitch值，构建用于训练所述pitch回归预测器的所述回归损失函数；其中，通过所述回归损失函数对所述pitch回归预测器进行迭代训练，当所述回归损失函数值收敛至预设范围，完成对所述pitch回归预测器的训练；其中，所述回归损失函数为：其中，表示回归损失函数，Lmse（）表示均方根误差函数，Cp表示回归预测器，表示对获取的真实pitch值，表示歌手j的输入语音，E表示编码器；所述重构损失函数获取过程为：通过时频转换将所述歌声语音转换成输入频谱图；通过所述自监督模型的解码器对所述歌声嵌入进行解码处理，获取输出频谱图；根据所述输入频谱图、所述输出频谱图，构建所述重构损失函数；所述重构损失函数为：其中，表示重构损失函数，Lce（）表示交叉熵损失，E表示编码器，D表示解码器，Cs表示歌手分类器，表示歌手j的输入语音，Cp表示回归预测器，表示对获取的真实pitch值。

全文数据：

权利要求：

百度查询： 平安科技(深圳)有限公司 基于自监督模型的歌声转换方法、设备及可读存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD