龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：中国人民解放军国防科技大学
申请日：2024-03-07
公开（公告）日：2024-06-14
公开（公告）号：CN118194972A
主分类号：G06N3/096
分类号：G06N3/096;G06N3/045;G06N3/042;G06N3/0455;G06N5/04;G16B40/00
优先权：
专利状态码：在审-公开
法律状态：2024.06.14#公开
摘要：本发明公开了一种基于知识蒸馏和预训练模型的知识图谱嵌入方法，包括以下步骤：使用知识图谱嵌入方法将事实三元组中的头部实体，相关，尾部实体作为正三元组，根据三元组向量的评分函数计算知识蒸馏框架中学生模型的硬标签损失；在知识蒸馏过程中计算第一次软标签损失；将预训练语言模型作为学生模型的第二个教师模型，从预训练语言模型中得到学生模型的第二次软标签损失；将硬标签损失、第一次软标签损失和第二次软标签损失进行加权，得到总损失。本申请知识蒸馏与预训练语言模型相结合，丰富了低维学生模型；本申请基于专门的损失函数将传统的高维教师模型与基于PLM的教师模型进行了协同，提高了学生模型培训的效率。
主权项：1.一种基于知识蒸馏和预训练模型的知识图谱嵌入方法，其特征在于，包括以下步骤：从蛋白质交互网络数据集中提取实体E和关系R，组成多个事实三元组；使用知识图谱嵌入方法将事实三元组中的头部实体h，相关r，尾部实体t作为正三元组将头部实体h或尾部实体t随机替换为负三元组根据三元组向量的评分函数计算知识蒸馏框架中学生模型的硬标签损失；在知识蒸馏过程中计算第一次软标签损失；将预训练语言模型作为学生模型的第二个教师模型，包括：通过BERT对语义描述进行编码；通过线性变换将实体和关系投影到两个独立的向量空间；在预训练时，预训练语言模型利用负样本的最大边界损失函数对模型参数进行微调；计算预训练语言模型的分数；根据蒸馏过程中的软标签损失计算方法，从预训练语言模型中得到学生模型的第二次软标签损失；将硬标签损失、第一次软标签损失和第二次软标签损失进行加权，得到总损失；经过多轮迭代训练后，得到经过训练的模型；将真实的蛋白质交互网络的节点数据输入训练后的模型，输出节点之间的相互作用。
全文数据：
权利要求：
百度查询： 中国人民解放军国防科技大学 一种基于知识蒸馏和预训练模型的知识图谱嵌入方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号