买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳前海知行科技有限公司

摘要：本发明涉及人工智能领域，公开了一种基于人工智能的字幕生成方法、装置、设备及存储介质。该方法包括：获取待生成字幕的视频数据，其中，视频数据包括：时间序列、时间序列对应的语音数据、时间序列对应的图像数据；读取语音语言种类和目标语言种类，以及调取语音语言种类对应的机器学习转换算法，对语音数据进行转换处理，生成目标语言种类的字符串数据，其中，字符串数据包括：文字字符串、文字字符串对应的声纹标签序列；根据声纹标签序列中的标签种类，对文字字符串进行染色处理，生成声纹标签序列对应的目标语言染色字幕；根据时间序列，将目标语言染色字幕与图像数据进行合并处理，生成附带字幕的视频数据。

主权项：1.一种基于人工智能的字幕生成方法，其特征在于，包括步骤：获取待生成字幕的视频数据，其中，所述视频数据包括：时间序列、所述时间序列对应的语音数据、所述时间序列对应的图像数据；读取语音语言种类和目标语言种类，以及调取所述语音语言种类和所述目标语言种类对应的机器学习转换算法，对所述语音数据进行转换处理，生成所述目标语言种类的字符串数据，其中，所述字符串数据包括：文字字符串、所述文字字符串对应的声纹标签序列；根据所述声纹标签序列中的标签种类，对所述文字字符串进行染色处理，生成所述声纹标签序列对应的目标语言染色字幕；根据所述时间序列，将所述目标语言染色字幕与所述图像数据进行合并处理，生成附带字幕的视频数据；其中，所述调取所述语音语言种类对应的机器学习转换算法，对所述语音数据进行转换处理，生成所述目标语言种类的字符串数据包括：对所述语音数据的声纹特征进行提取，生成所述语音数据对应的特征矩阵；根据所述语音语言种类，调取所述语音语言种类对应的识别算法，以及根据所述识别算法，对所述特征矩阵进行识别处理，得到文字字符串；根据所述时间序列，将所述文字字符串与所述特征矩阵进行嵌入处理，得到标签特征矩阵；根据所述语音语言种类，调取所述语音语言种类对应的声纹分类算法，以及根据所述声纹分类算法，对所述标签特征矩阵进行分类标记处理，得到所述文字字符串对应的声纹标签序列；将所述声纹标签序列与所述文字字符串进行组合处理，得到字符串数据；其中，所述根据所述识别算法，对所述特征矩阵进行识别处理，得到文字字符串包括：将所述特征矩阵与预置初始矩阵进行卷积处理，得到第一识别矩阵；对所述第一识别矩阵进行分批归一化处理，得到第二识别矩阵；对所述第二识别矩阵进行映射转换处理，得到第三识别矩阵；将所述第三识别矩阵与预置深度矩阵进行卷积处理，得到第四识别矩阵；根据预置激活函数，对所述第四识别矩阵进行激活判定，得到文字字符串。

全文数据：

权利要求：

百度查询： 深圳前海知行科技有限公司 基于人工智能的字幕生成方法、装置、设备及存储介质