首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于对偶对比学习框架和交叉注意模块的零样本关系抽取方法及模型 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:浙江科技大学

摘要:本发明属于自然语言处理领域,公开了一种基于对偶对比学习框架和交叉注意模块的零样本关系抽取方法及模型,首先,设计了一个对偶对比学习框架,从不同的角度对输入句子和关系描述进行比较;该过程旨在实现表示空间中不同关系类别之间更好的分离。此外,从计算机视觉领域引入了模型中的交叉注意力网络,以增强输入实例对关系描述的相关信息的关注。在Wiki‑ZSL和FewRel数据集上获得的实验结果充分证明了该方法及模型的有效性。

主权项:1.一种基于对偶对比学习框架和交叉注意模块的零样本关系抽取方法,其特征在于包括以下步骤:步骤1、利用预训练语言模型Bert生成每个标识符的上下文表示;步骤2、通过交叉注意力网络接收输入句子嵌入向量的特征图Vv1,v2,...,vh和关系属性向量的特征图其中h是最后一个隐藏层的维度,表示每个特征图上的空间位置数,同时vi和是分别在V和Vd中的i位置处的特征向量;步骤3、从输入句子Xi和对应的关系描述Di中获得表示和当嵌入的每个句子与关系属性向量共享相同的关系标签时,最小化它们之间的距离;当它们具有不同的关系标签时,增加嵌入的每个句子与其属性向量之间的距离;步骤4、从输入句子编码器获得的[CLS]标识符H′0与通过实体位置信息获得的实体表示和实体表示步骤5、通过Sentence-BERT生成关系属性向量通过句子编码器为输入句子X′生成嵌入向量V′,对于句子嵌入向量V′,通过交叉注意力网络获得改进后的嵌入向量对于改进后的嵌入向量通过找到向量距离最接近的作为最终预测。

全文数据:

权利要求:

百度查询: 浙江科技大学 一种基于对偶对比学习框架和交叉注意模块的零样本关系抽取方法及模型

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。