买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜清华大学申请的专利面向链接预测的交互式多模态融合方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114297402B 。

龙图腾网通过国家知识产权局官网在2025-03-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111553153.5，技术领域涉及：G06F16/36；该发明授权面向链接预测的交互式多模态融合方法及装置是由张勇;邢春晓;李昕航;李超;王霞;盛明设计研发完成，并于2021-12-17向国家知识产权局提交的专利申请。

本面向链接预测的交互式多模态融合方法及装置在说明书摘要公布了：本发明提供一种面向链接预测的交互式多模态融合方法及装置，方法通过获取待预测知识图谱，包括结构化模态、可视化模态和文本模态；分别提取结构化模态、可视化模态和文本模态的高层次特征信息，得到结构化模态嵌入表示、可视化模态嵌入表示和文本模态嵌入表示；对结构化模态嵌入表示、可视化模态嵌入表示和文本模态嵌入表示进行聚合，通过双线性矩阵计算得到多模态嵌入表示；分别通过各个不同的表示预测目标实体，得到结构化预测结果、可视化预测结果、文本预测结果和多模态预测结果；调整各个预测结果的权重，得到目标预测结果，通过多模态融合能够有效地保留各模态中的专有知识实现互补性链接预测，极大地提高链接预测的准确度。

本发明授权面向链接预测的交互式多模态融合方法及装置在权利要求书中公布了：1.一种面向链接预测的交互式多模态融合方法，其特征在于，包括：获取待预测知识图谱，所述待预测知识图谱包括结构化模态、可视化模态和文本模态；分别提取所述结构化模态、所述可视化模态和所述文本模态的高层次特征信息，得到结构化模态嵌入表示、可视化模态嵌入表示和文本模态嵌入表示；其中，所述结构化模态、所述可视化模态和所述文本模态中各个模态的原始特征至少包括：描述性文本、图像；所述高层次特征信息至少包括：BERT的特征、VGG的特征；对所述结构化模态嵌入表示、所述可视化模态嵌入表示和所述文本模态嵌入表示进行聚合，通过双线性矩阵计算得到多模态嵌入表示；分别通过所述结构化模态嵌入表示、所述可视化模态嵌入表示、所述文本模态嵌入表示和所述多模态嵌入表示预测目标实体，得到结构化预测结果、可视化预测结果、文本预测结果和多模态预测结果；具体包括：通过关系为所述结构化模态嵌入表示、所述可视化模态嵌入表示、所述文本模态嵌入表示和所述多模态嵌入表示提供上下文变换矩阵；通过所述上下文变换矩阵分别与所述结构化模态嵌入表示、所述可视化模态嵌入表示、所述文本模态嵌入表示和所述多模态嵌入表示相乘，预测候选实体的相似性，得到结构化预测结果、可视化预测结果、文本预测结果和多模态预测结果；调整所述结构化预测结果、所述可视化预测结果、所述文本预测结果和所述多模态预测结果的权重，得到目标预测结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人清华大学，其通讯地址为：100084 北京市海淀区双清路30号清华大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。