买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：平安科技(深圳)有限公司

摘要：本发明提供了一种基于人工智能的字幕提取方法、装置、设备和存储介质，包括：获取目标文本框图像；将目标文本框图像输入至训练好的识别模型，以识别得到目标文本框图像中的目标文本，识别模型包括文本图像信息提取网络、语言模型信息提取网络和联合前馈神经网络，文本图像信息提取网络由样本文本框图像预训练得到，语言模型信息提取网络由样本视频文本预训练得到，联合前馈神经网络用于将两者提取网络在预训练之后的权重参数进行结合。本发明能够将文本图像信息提取和语言模型信息提取的结果通过联合前馈神经网络将二者结合，弥补CTC条件独立性假设带来的问题，在预测时能够利用图像纹理特征和语言特征，减少了替换错误，提高了文字识别准确度。

主权项：1.一种基于人工智能的字幕提取方法，其特征在于，包括：获取目标视频，并从所述目标视频中提取出若干帧目标图像；基于DB算法对所述目标图像进行文本框提取，以提取得到所述目标图像中的目标文本框图像；将所述目标文本框图像输入至训练好的识别模型，其中，训练好的所述识别模型包括文本图像信息提取网络、语言模型信息提取网络和联合前馈神经网络，所述文本图像信息提取网络由样本文本框图像预训练得到，所述语言模型信息提取网络由样本视频文本预训练得到，所述联合前馈神经网络用于将所述文本图像信息提取网络和所述语言模型信息提取网络在预训练之后的权重参数进行结合，所述权重参数包括所述文本图像信息提取网络的图像纹理特征信息以及所述语言模型信息提取网络的语言特征信息，其中，所述语言特征信息为文字语言的习惯；通过所述识别模型基于所述图像纹理特征信息和所述语言特征信息对所述目标文本框图像进行识别，以输出得到所述目标文本框图像中的目标文本；其中，当目标文本框图像为多个，所述目标文本对应为多个，在所述通过所述识别模型基于所述图像纹理特征信息和所述语言特征信息对所述目标文本框图像进行识别，以输出得到所述目标文本框图像中的目标文本之后，所述字幕提取方法还包括：获取所述目标文本框图像在目标视频中的时间信息；根据所述时间信息，按照时间先后顺序对多个所述目标文本进行排序；当相邻的两个所述目标文本的内容一致并且相邻的两个所述目标文本之间的间隔时间小于预设间隔时间，删去相邻的两个所述目标文本中的其中一个；其中，所述文本图像信息提取网络包括第一LSTM网络、第二LSTM网络和第三LSTM网络，其中，所述第一LSTM网络、所述第二LSTM网络、所述第三LSTM网络和所述联合前馈神经网络依次连接，所述第一LSTM网络和所述第二LSTM网络的层数均为六层，所述第三LSTM网络的层数为两层；其中，所述语言模型信息提取网络包括GoogleBert网络和第四LSTM网络，其中，所述GoogleBert网络、所述第四LSTM网络和所述联合前馈神经网络依次连接，所述第四LSTM网络的层数为两层。

全文数据：

权利要求：

百度查询： 平安科技(深圳)有限公司 基于人工智能的字幕提取方法、装置、设备和存储介质