申请/专利权人：腾讯科技(深圳)有限公司

申请日：2020-11-13

公开（公告）日：2024-04-26

公开（公告）号：CN112257472B

主分类号：G06F40/58

分类号：G06F40/58;G06F40/45

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2022.10.14#实质审查的生效;2021.01.22#公开

摘要：本申请公开了一种基于人工智能技术实现的文本翻译模型训练方法和文本翻译方法，具体涉及自然语言处理领域以及机器学习领域，文本翻译模型训练方法包括：获取第一文本以及第二文本；若第一文本以及第二文本满足文本对齐条件，则获取第一待训练平行文本；基于第一待训练平行文本所包括的第一句子，通过文本翻译模型获取第一翻译文本；根据第一翻译文本以及第二句子，对文本翻译模型进行训练。本申请实施例还提供了一种相关装置，本申请能够将自动抓取到的文本进行对齐处理，从而生成用于模型训练的平行语料，由此实现模型的自我训练。

主权项：1.一种文本翻译模型的训练方法，其特征在于，包括：获取第一文本以及第二文本，其中，所述第一文本对应于源语种，所述第二文本对应于目标语种，所述源语种与所述目标语种属于不同的语种；获取所述第一文本所对应的第一标题信息以及所述第二文本所对应的第二标题信息；基于多语种标题集合，对所述第一标题信息以及所述第二标题信息进行匹配，得到标题匹配结果，其中，所述多语种标题集合包括至少一组标题信息，每组标题信息至少包括所述源语种所对应的标题信息以及所述目标语种所对应的标题信息；获取所述第一文本的第一章节信息以及所述第二文本的第二章节信息，其中，所述第一章节信息包括第一词语以及第一章节编号，所述第二章节信息包括第二词语以及第二章节编号；基于多语种词语集合，对所述第一章节信息所包括的所述第一词语以及所述第二章节信息所包括的第二词语进行匹配，得到第一匹配子结果；对所述第一章节信息所包括的所述第一章节编号以及所述第二章节信息所包括的第二章节编号进行匹配，得到第二匹配子结果；根据所述第一匹配子结果以及所述第二匹配子结果，确定章节匹配结果；若所述标题匹配结果以及所述章节匹配结果均为第一匹配结果，则确定所述第一文本以及所述第二文本满足文本对齐条件，其中，所述第一匹配结果表示匹配成功；若所述标题匹配结果以及所述章节匹配结果中的至少一项为第二匹配结果，则确定所述第一文本以及所述第二文本未满足所述文本对齐条件，其中，所述第二匹配结果表示匹配失败；若所述第一文本以及所述第二文本满足所述文本对齐条件，则获取第一待训练平行文本，其中，所述第一待训练平行文本包括第一句子以及第二句子，所述第一句子来源于所述第一文本，所述第二句子来源于所述第二文本，且所述第二句子为所述第一句子对应的翻译结果；基于所述第一待训练平行文本所包括的所述第一句子，通过文本翻译模型获取第一翻译文本；根据所述第一翻译文本以及所述第二句子，对所述文本翻译模型进行训练；其中，所述获取第一待训练平行文本，包括：获取所述第一文本中的源端句子；基于所述源端句子，通过所述文本翻译模型获取第一待匹配句子；获取所述第一待匹配句子以及所述第二文本中的K个第二待匹配句子，其中，所述K为大于或等于1的整数；根据所述第一待匹配句子以及所述K个第二待匹配句子，确定K个匹配分值，其中，每个匹配分值对应于一个第二待匹配句子与所述第一待匹配句子；若所述K个匹配分值中的最大值大于或等于匹配分阈值，则将所述第一待匹配句子确定为所述第一句子，并将所述最大值所对应的第二待匹配句子确定为所述第二句子；根据所述第一句子以及所述第二句子，获取所述第一待训练平行文本。

全文数据：

权利要求：

百度查询： 腾讯科技(深圳)有限公司 一种文本翻译模型的训练方法、文本翻译的方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD