首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于检索增强和知识蒸馏的汉越跨语言查询扩展方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:昆明理工大学

摘要:本发明涉及基于检索增强和知识蒸馏的汉越跨语言查询扩展方法,属于自然语言处理技术领域。本发明通过知识蒸馏和检索增强,将大规模语言模型的思维链生成能力和检索到的外部知识注入参数较少的多语言预训练模型中,从而提升其思维链生成能力。本发明相比查询扩展,跨语言查询扩展在多语言预训练模型在低资源语言场景下推理和生成能力表现能力。在汉越跨语言问答、汉越跨语言信息检索等下游任务中发挥着重要的作用。在MLQA、XQuAD公共数据集和构建的汉越跨语言查询扩展数据集上的实验结果表明,本发明的性能指标优于基线模型,MAP、Recall、NDCG、MRR分别提高了3.4%、1.6%、2.9%和3.4%。

主权项:1.基于检索增强和知识蒸馏的汉越跨语言查询扩展方法,其特征在于:所述基于检索增强和知识蒸馏的汉越跨语言查询扩展方法的具体步骤如下:Step1采集查询文档数据,并收集汉越跨语言问答公共数据集,随后对数据进行预处理,构成实验数据集;Step2、在Step1的基础上,通过知识蒸馏和检索增强,将大规模语言模型的思维链生成能力和检索到的外部知识注入参数少的多语言预训练模型中,从而提升其思维链生成能力;Step3、在Step2的基础上,将多语言预训练模型在汉越检索数据集上进行微调,以提升模型在汉越跨语言检索上的性能,改善汉越跨语言查询扩展任务的检索效果。

全文数据:

权利要求:

百度查询: 昆明理工大学 基于检索增强和知识蒸馏的汉越跨语言查询扩展方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

相关技术
相关技术
相关技术
相关技术