买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州网易云音乐科技有限公司

申请日：2022-05-30

公开（公告）日：2025-01-14

公开（公告）号：CN114882859B

专利技术分类：

专利摘要：本申请实施例提供了一种旋律与歌词对齐方法、装置、电子设备及存储介质，旋律与歌词对齐方法包括：将歌曲音频输入旋律提取多任务模型，获得主旋律音高序列、主旋律音高序列中各音高为人声的概率以及歌词中每个字的开始时间，旋律提取多任务模型是对样本歌曲音频集合中的每一样本歌曲音频按照预设多任务神经网络模型进行训练获得的；根据主旋律音高序列和主旋律音高序列中各音高为人声的概率获得人声主旋律音高序列；根据人声主旋律音高序列中各音高的开始时间、歌词中每个字的开始时间与参考歌词文件，确定歌词中每个字的目标开始时间；根据人声主旋律音高序列中各音高的开始时间与歌词中每个字的目标开始时间进行旋律与歌词对齐，获得对齐结果。

专利权项：1.一种旋律与歌词对齐方法，其特征在于，包括：将歌曲音频输入旋律提取多任务模型，获得主旋律音高序列、所述主旋律音高序列中各音高为人声的概率以及歌词中每个字的开始时间，所述旋律提取多任务模型是对样本歌曲音频集合中的每一样本歌曲音频的主旋律音高、人声主旋律音高以及样本歌词中字的开始时间按照预设多任务神经网络模型进行训练获得的；根据所述主旋律音高序列和所述主旋律音高序列中各音高为人声的概率获得人声主旋律音高序列；根据所述人声主旋律音高序列中各音高的开始时间、所述歌词中每个字的开始时间与参考歌词文件，确定所述歌词中每个字的目标开始时间，具体包括：将所述人声主旋律音高序列中各音高的开始时间与所述歌词中每个字的开始时间进行匹配，确定所述歌词中每个字的候选开始时间；将所述歌词中每个字的候选开始时间与参考歌词文件进行匹配，获得歌词中每个字的目标开始时间；将所述人声主旋律音高序列中各音高的开始时间与所述歌词中每个字的开始时间进行匹配，确定所述歌词中每个字的候选开始时间，具体包括：将所述人声主旋律音高序列中各音高的开始时间与所述歌词中每个字的开始时间，按照第一预设时间误差范围进行匹配；若在所述第一预设时间误差范围内，任一音高的开始时间匹配到所述歌词中的任一字的开始时间，则确定所述任一音高的开始时间为音高切换点与歌词切换点，将所述音高的开始时间确定为匹配到的所述任一字的候选开始时间；若在所述第一预设时间误差范围内，任一音高的开始时间未匹配到所述歌词中的任一字的开始时间，则确定所述任一音高的开始时间为一字多音下的音高切换点；若在所述第一预设时间误差范围内，所述歌词中的任一字的开始时间未匹配到任一音高的开始时间，则确定所述任一字的开始时间为一音多字下的歌词切换点，将所述任一字的开始时间确定为所述任一字的候选开始时间；根据所述人声主旋律音高序列中各音高的开始时间与所述歌词中每个字的目标开始时间进行旋律与歌词对齐，获得对齐结果。

百度查询： 杭州网易云音乐科技有限公司 一种旋律与歌词对齐方法、装置、电子设备及存储介质