买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：京华信息科技股份有限公司

摘要：本发明提供了一种基于算法模型的演讲文稿生成方法及系统，包括：获取训练时的第一演讲音视频文件，并对第一演讲音视频文件解析，第一图像结果和音频结果；除去第一图像结果的背景，并对得到待检测第一图像结果进行分类，得到文字区、表格区和图片区；根据初始的第一增强权重对分类结果进行增强，得到增强特征，并获取对应的扩写文本，将扩写文本作为第一孪生网络模型输入；对音频结果进行识别，得到演讲人的演讲文本，并将演讲文本作为第一孪生网络模型的第二个输入进行训练，得到训练好的第二扩写网络模型后对测试时的演讲素材，生成演讲文稿；采用本发明能够提高扩写文本有侧重的生成质量。

主权项：1.一种基于算法模型的演讲文稿生成方法，其特征在于，包括：获取训练时的第一演讲音视频文件，并对所述第一演讲音视频文件解析，得到第一音视频结果，并对所述第一音视频结果进行预处理，得到第二音视频结果；其中，所述第二音视频结果包括：若干帧的第一图像结果和音频结果；根据所述第一图像结果的灰度直方图，生成第一掩膜图层，并根据所述第一掩膜图层除去所述第一图像结果的背景，得到以灰度图显示的待检测第一图像结果，对所述待检测第一图像结果进行分类，得到文字区、表格区和图片区；根据初始的第一增强权重对所述文字区、所述表格区和所述图片区对应的特征做相同的增强，得到增强特征，并将所述增强特征作为初始的第一扩写网络模型的输入，将输出的扩写文本作为初始的第一孪生网络模型的第一输入；根据训练好的第一语音识别网络模型对所述音频结果进行识别，得到演讲人的演讲文本，并按照所述增强特征对应的时段，从所述演讲文本中截取目标演讲片段，将得到的演讲片段作为标签输入到所述第一孪生网络模型的第二输入中；根据所述第一孪生网络模型，分别得到所述第一输入的特征意图评分和所述第二输入的标签意图评分，根据所述特征意图评分与所述标签意图评分，得到第一损失函数，并根据所述第一损失函数对所述第一孪生网络模型和所述第一扩写网络模型进行训练；其中，同时根据所述特征意图评分与所述标签意图评分对所述第一增强权重进行更新，以使下次训练时，以更新后的第二增强权重进行特征增强；经过若干次训练后，得到训练好的第二扩写网络模型，并根据所述第二扩写网络模型对测试时的演讲素材处理，生成演讲文稿；所述特征意图评分包括：文字特征意图评分、表格特征意图评分和图片特征意图评分；所述标签意图评分包括：文字标签意图评分、表格标签意图评分和图片标签意图评分；所述同时根据所述特征意图评分与所述标签意图评分对所述第一增强权重进行更新，包括：分别获取所述文字特征意图评分与所述文字标签意图评分的第一均方差，所述表格特征意图评分与所述表格标签意图评分的第二均方差，以及所述图片特征意图评分与所述图片标签意图评分的第三均方差；获取所述第一均方差与所述第二均方差和所述第三均方差的误差总和，并根据所述误差总与预设的评分阈值的差值，对所述第一增强权重进行更新。

全文数据：

权利要求：

百度查询： 京华信息科技股份有限公司 一种基于算法模型的演讲文稿生成方法及系统