买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜南京信息工程大学申请的专利一种基于动态提示学习和多粒度聚合的多模态知识图谱补全方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119783799B 。

龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510296663.0，技术领域涉及：G06N5/022；该发明授权一种基于动态提示学习和多粒度聚合的多模态知识图谱补全方法是由黄施远;刘琳;韩铭佳;戴宇宸;陈丽瑾;李志钢设计研发完成，并于2025-03-13向国家知识产权局提交的专利申请。

本一种基于动态提示学习和多粒度聚合的多模态知识图谱补全方法在说明书摘要公布了：本发明提供了一种基于动态提示学习和多粒度聚合的多模态知识图谱补全方法，包括以下步骤：步骤1，生成动态提示模板：根据任务需求选择合适的模板结构并使用自适应引导机制动态调整模板结构；步骤2，建立多模态特征编码器，将文本和图像数据转换为用于本模型训练的特征向量；步骤3，多粒度跨模态聚合MCA：将不同模态和不同粒度的特征进行融合；步骤4，设计多任务联合损失函数，优化模型在两个以上多模态任务中的性能并进行训练。本发明方法能够更全面地理解图像内容，从而提高推理准确性。

本发明授权一种基于动态提示学习和多粒度聚合的多模态知识图谱补全方法在权利要求书中公布了：1.一种基于动态提示学习和多粒度聚合的多模态知识图谱补全方法，其特征在于，对Transformer架构进行优化，加入动态提示模板和多粒度跨模态聚合，得到改进的Transformer模型，用于多模态知识图谱补全，具体包括以下步骤：步骤1，生成动态提示模板：根据任务需求选择合适的模板结构并使用自适应引导机制动态调整模板结构；步骤2，建立多模态特征编码器，将文本和图像数据转换为用于本模型训练的特征向量；步骤3，多粒度跨模态聚合MCA：将不同模态和不同粒度的特征进行融合；步骤4，设计多任务联合损失函数，优化模型在两个以上多模态任务中的性能并进行训练；步骤1包括：给定一个实体描述T＝{V1，V2，…，Vn}和关联图像I＝{I1，I2，…，In}，设计如下动态提示学习模板ti：ti＝[CLS][Entiry1][SEP][Relation][SEP][Entity2][SEP][V1][V2]...[Vn][SEP][MASK][SEP]，其中[CLS]是一个特殊的标记token，用于表示整个输入序列的分类信息；[Entity1]表示第一个实体，适用于实体识别的命名实体识别NER、头部实体的关系提取RE和头部实体的链接预测任务；[SEP]用于分隔句子中的不同部分；[Relation]表示实体之间的关系，在RE任务中用于关系识别，在链接预测中用于关系识别；[Entity2]表示第二个实体在RE任务中作为尾实体，在链路预测中作为尾实体；Vn表示实体描述中第n个元素,In表示关联图像中第n个元素；令牌[MASK]用来表示改进的Transformer模型需要预测的信息；采用自适应任务引导机制来动态调整改进的Transformer模型的提示设计，所述机制根据任务需求修改提示模板的结构，在NER任务中，根据上下文细节重构[Entity1]部分的结构，对实体属性进行重新排序或扩展描述；在关系提取任务中，通过调整[relation]部分的表示和定位进行重组；步骤3中，所述多粒度跨模态聚合MCA包括：应用两个线性层将粗粒度和细粒度的视觉特征以及文本特征映射到统一的维度空间中，对于原始的粗粒度的视觉特征Zcoarse、细粒度的视觉特征Zfine和文本特征Tl，应用以下公式转换：z′coarse＝f1zcoarse，z′fine＝f2zfine，x′T＝f3Tl，其中f1是第一个线性变换函数，它将zcoarse映射到目标维度空间；z′coarse是变换后的粗粒度视觉特征；f2是第二个线性变换函数，它将zcoarse映射到目标维度空间；z′fine是变换后的细粒度视觉特征；f3是第三个线性变换函数，它将zcoarse映射到目标维度空间；x′T是变换后的文本特征；然后，通过全局池化操作，从文本特征x′T、粗粒度特征z′coarse和细粒度特征z′fine中提取全局上下文GT：GT＝GlobalPoolx′T,z′coarse,z′fine，其中x′T∈Rm×d，z′coarse∈Rn×d，z′fine∈RkeyN×d分别是查询向量、键向量和值向量，m是查询的数量，keyN是键的数量，d是特征的维度；GlobalPool表示全局池化操作；将全局上下文添加到查询向量x′T和键向量z′coarse特征中，得到注意力权重A： 其中T表示转置；计算值向量z′fine的加权和Z：Z＝A·z′fime，使用一个可学习的参数α来调节全局上下文的影响，得到最终的注意力权重Af：

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京信息工程大学，其通讯地址为：211899 江苏省南京市江北新区华富路1号数智溪谷4号楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。