买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华中科技大学;武汉烽火技术服务有限公司

摘要：本发明公开了一种基于多层注意力机制的跨模态检索模型的构建方法及应用，包括：S1、搭建跨模态检索模型；S2、计算图像模态和文本模态间的不变性损失、标签空间损失、以及公共表示空间中不同模态间和各个模态内的判别损失，加以不同的权重，得到跨模态检索模型的损失函数；S3、通过最小化跨模态检索模型的损失函数对跨模态检索模型进行训练。本发明在训练过程中，通过考虑不同模态之间的相互影响，分别对各图像文本数据对基于多层注意力机制学习其文本特征和图像特征内细粒度的上下文局部信息，以及学习其文本特征和图像特征之间的全局特征对应关系，充分利用了原始数据中的语义信息，将多模态特征进行融合，大大提高了跨模态检索的准确度。

主权项：1.一种基于多层注意力机制的跨模态检索模型的构建方法，其特征在于，包括以下步骤：S1、搭建跨模态检索模型；所述跨模态检索模型包括级联的特征提取模块、多模态融合模块和公共表示模块；在训练阶段，所述特征提取模块用于分别对预采集的图文数据集中各图像文本数据对的图像模态和文本模态的数据进行特征提取，得到各图像文本数据对的文本特征和图像特征；其中，所述图文数据集包括多个图像文本数据对及其对应的语义标签矢量；所述图像文本数据对包括图像模态的数据及其对应的文本模态的数据；所述多模态融合模块用于分别对各图像文本数据对，基于多层注意力机制学习其文本特征和图像特征内细粒度的上下文局部信息，以及学习其文本特征和图像特征之间的全局特征对应关系，以实现其文本特征和图像特征的进一步提取，并输出至所述公共表示模块中；所述公共表示模块用于将所述多模态融合模块输入的文本特征和图像特征分别映射至公共表示空间，得到各图像文本数据对的语义表示矢量；图像文本数据对的语义表示矢量包括图像模态数据的语义表示矢量和文本模态数据的语义表示矢量；所述特征提取模块包括第一输入端和第二输入端，图像模态的数据经所述第一输入端输入到所述跨模态检索模型中，文本模态的数据经所述第二输入端输入到所述跨模态检索模型中；所述公共表示模块包括第一输出端和第二输出端，所述图像文本数据对的语义表示矢量经所述第一输出端从所述跨模态检索模型输出，所述文本模态数据的语义表示矢量经所述第二输出端从所述跨模态检索模型输出；S2、基于各图像文本数据对的语义标签矢量和语义表示矢量，计算图像模态和文本模态间的不变性损失、标签空间损失、以及公共表示空间中不同模态间和各个模态内的判别损失，加以不同的权重，得到所述跨模态检索模型的损失函数；S3、通过最小化所述跨模态检索模型的损失函数来对所述跨模态检索模型进行训练，得到训练好的所述跨模态检索模型；所述多模态融合模块包括多个级联的MCA层以及位于最后一级MCA层之后的降维单元；所述MCA层用于基于协同注意力机制学习文本特征和图像特征之间的全局特征对应关系，以及基于自注意力机制学习文本特征和图像特征内细粒度的上下文局部信息；所述降维单元用于分别对最后一级MCA层输入的文本特征和图像特征进行降维；所述MCA层包括第一自注意力单元、第一全连接层、第二自注意力单元、协同注意力单元和第二全连接层；所述第一自注意力单元的输出端与所述第一全连接层的输入端相连；所述第二自注意力单元的输出端与所述协同注意力单元的输入端相连；所述协同注意力单元的输出端与所述第二全连接层的输入端相连；所述第一自注意力单元用于基于自注意力机制提取文本模态内部的潜在语义关系，以学习文本特征内细粒度的上下文局部信息，从而进一步对文本特征进行提取；所述第二自注意力单元用于基于自注意力机制提取图像模态内部的潜在语义关系，以学习图像特征内细粒度的上下文局部信息，从而进一步对图像特征进行提取；所述协同注意力单元用于基于协同注意力机制提取图像模态和文本模态之间的语义关系，实现文本特征引导图像特征的学习过程，从而学习文本特征和图像特征之间的全局特征对应关系，以将文本特征融合到图像特征中。

全文数据：

权利要求：

百度查询： 华中科技大学 武汉烽火技术服务有限公司 基于多层注意力机制的跨模态检索模型的构建方法及应用