买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:百舜信息技术有限公司
摘要:本发明涉及一种结合语言模型和智能体的翻译方法,涉及机器翻译领域。本申请中构建并利用通用领域大规模平行语料和垂直领域平行语料训练包含领域适配前馈网络的语言模型;在翻译时:确定待翻译的目标文本所属的垂直领域范围,基于所述垂直领域范围选择适配相应垂直领域的若干语言模型作为提供翻译方案的翻译博弈智能体;多个所述翻译博弈智能体依次在提示词控制下,针对目标文本中任意的原文,翻译博弈智能体根据原文和原文前序的翻译,给出的原文的译文;对于每个翻译博弈智能体提供的译文,预训练的评审智能体根据原文及原文的上文、原文及原文的上文的联合译文进行评估,获取评分最高的译文作为原文最终的翻译结果。
主权项:1.一种结合语言模型和智能体的翻译方法,其特征在于,包括:构建并利用通用领域大规模平行语料和垂直领域平行语料训练包含领域适配前馈网络的语言模型,得到适配不同垂直领域的机器翻译的语言模型,其中,所述领域适配前馈网络支持语言模型适配多种垂直领域的机器翻译;构建并训练包含领域适配前馈网络的语言模型包括:创建编解码器架构的Transformer语言模型,将Transformer语言模型中的前馈网络配合可训练的记忆掩码得到领域适配前馈网络;训练时,先使用通用领域大规模平行语料库对所构建的语言模型进行预训练,再通过垂直领域平行语料库对所构建的语言模型进行微调得到适配相应垂直领域的语言模型;训练过程中,各种记忆掩码与所述领域适配前馈网络的全连接层进行哈达玛积实现领域适配前馈网络中记忆单元的分配;训练过程中,所述记忆掩码分配前馈网络的部分目标记忆单元记录通用领域的平行语料内容;并在添加额外垂直领域的平行语料时,基于通用领域的记忆掩码,将被分配记忆通用领域平行语料的记忆单元的后向传播过程锁死,利用额外垂直领域的记忆掩码从领域适配前馈网络的未分配记忆的记忆单元中选取目标主要记忆单元,学习垂直领域平行语料的前向传播过程全部记忆单元均参与,而后向传播过程仅更新目标主要记忆单元参数,以使目标主要记忆单元记忆额外垂直领域的平行语料;在翻译时:确定待翻译的目标文本所属的垂直领域范围,基于所述垂直领域范围选择适配相应垂直领域的若干语言模型作为提供翻译方案的翻译博弈智能体,多个所述翻译博弈智能体依次在提示词控制下,针对目标文本中任意的原文,翻译博弈智能体根据原文和原文前序的翻译,给出的原文的译文;对于每个翻译博弈智能体提供的译文,预训练的评审智能体根据原文及原文的上文、原文及原文的上文的联合译文进行评估,获取评分最高的译文作为原文最终的翻译结果。
全文数据:
权利要求:
百度查询: 百舜信息技术有限公司 一种结合语言模型和智能体的翻译方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。