买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京大数据集团有限公司

摘要：本发明公开了一种基于异质图神经网络的图文摘要方法及系统，所述方法包括：构建细粒度多模态图并初始化；基于异质图注意力机制进行节点融合表征学习；基于融合的节点向量表征构建多模态图像‑句子选择器，通过构建抽取式文本摘要和抽取式图像摘要的损失函数进行训练；构建文本解码器，将全图表征作为文本解码器的上下文向量，并构建生成式文本摘要的损失函数进行训练；基于多任务学习机制，联合抽取式文本摘要、抽取式图像摘要和生成式文本摘要三个子任务构建目标函数进行模型训练。本发明能够充分利用多模态先验关系缩小多视觉与文本模态之间的语义鸿沟，有效编码多模态关系信息来增强图文摘要的质量。

主权项：1.一种基于异质图神经网络的图文摘要方法，其特征在于，包括以下步骤：构建多模态图到序列的MMGraph2Seq图文摘要模型，所述MMGraph2Seq图文摘要模型包括基于文本和图像的目标对象、单词、句子和图像节点，通过不同类型节点的边连接构建细粒度多模态图并进行初始化；基于异质图注意力机制进行节点融合表征学习，引入异质图注意力网络学习不同模态的节点特征，分别通过基于元路径的邻居的多级聚合机制学习高阶多模态语义信息，同时编码元路径上的节点和关系实例；所述基于异质图注意力机制进行节点融合表征学习包括：（a）分别将节点的特征向量和节点之间边的特征向量映射成对应类型的隐藏表征；对于不同模态类型的节点的初始表征计算公式为： 其中，代表节点的原始隐藏表征，表示第个节点，为节点类型；表示不同节点类型的线性投影矩阵；对于不同模态之间边的初始表征计算公式为： 其中，代表第个节点和第个节点间无向边的原始隐藏表征，表示第个节点和第个节点间无向边，为边类型；表示不同边类型的线性投影矩阵；（b）对于给定长度为的元路径的一条元路径实例，其中元路径初值始，元路径末尾，将沿着该特定元路径的所有节点和边特征编码成对应的元路径实例隐藏表征： 其中，表示节点与节点之间的关系隐藏表征，表示哈达玛积操作，、、分别表示编码过程的中间变量；（c）利用注意力机制聚合基于元路径实例的邻居更新节点表征，包括第个节点的关于元路径的嵌入向量计算如下： 其中，表示元路径的注意力参数向量，表示基于元路径实例的邻居节点对于节点的重要性；表示节点的基于元路径的所有邻居节点集；表示节点与其基于元路径实例的邻居节点间的归一化重要性权重；表示非线性激活函数；对于每一种元路径，聚合该元路径所有元路径实例上的节点和边信息；（d）融合节点的所有元路径的节点嵌入特征得到节点的隐藏表征： 其中，表示所有元路径类型集合，和分别表示可学习参数矩阵；（e）基于门控机制学习控制初始节点特征的传递程度，节点的最终向量表征计算如下： 式中，、分别表示可学习的参数矩阵；基于融合的节点向量表征构建多模态图像-句子选择器，通过构建抽取式文本摘要和抽取式图像摘要的损失函数进行训练；构建文本解码器，将全图表征作为文本解码器的上下文向量，并构建生成式文本摘要的损失函数进行训练；基于多任务学习机制，联合抽取式文本摘要、抽取式图像摘要和生成式文本摘要三个子任务构建目标函数进行图文摘要模型训练。

全文数据：

权利要求：

百度查询： 南京大数据集团有限公司 一种基于异质图神经网络的图文摘要方法及系统