买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中国石油大学(华东)申请的专利基于动态路由的跨模态注意力筛选网络的跨模态匹配方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114676228B 。

龙图腾网通过国家知识产权局官网在2025-03-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210364577.5，技术领域涉及：G06F16/334；该发明授权基于动态路由的跨模态注意力筛选网络的跨模态匹配方法是由吴杰;吴春雷;宫法明;张立强;路静设计研发完成，并于2022-04-08向国家知识产权局提交的专利申请。

本基于动态路由的跨模态注意力筛选网络的跨模态匹配方法在说明书摘要公布了：本发明公开了基于动态路由的跨模态注意力筛选网络的跨模态匹配方法。该任务在局部对齐方面已取得显著的进展。它们通常对每幅图像检测置信度排名前36位的显著区域进行建模。但这些区域通常包含不相关的冗余区域，可能会给建模过程引入噪声干扰模型推理。根据我们对该任务中最广泛使用数据集的统计，区域数量远大于单词数量。因此，我们提出一种具有动态路由的跨模态注意力筛选网络，为每个输入图像自动配置适当数量的区域。该网络具有区域数量决策的能力，能够根据不同的数据动态学习不同的激活区域，从而减少冗余计算。此外，设计了跨模态筛选模块，通过过滤无关信息保留有意义的交互特征，抑制无意义对齐的干扰，同时自适应调整全局和局部依赖。

本发明授权基于动态路由的跨模态注意力筛选网络的跨模态匹配方法在权利要求书中公布了：1.基于动态路由的跨模态注意力筛选网络的跨模态匹配方法，其特征在于，所述方法包括以下步骤：S1.构建动态路由器，根据图像的复杂程度选择相应的注意力区域块，从而具有区域数量决策的能力；S2.结合S1中的动态路由器，设计一个动态路由注意力模块，通过对定义的注意力区域数量构造不同的邻接掩码来解决参数冗余和计算问题；S3.构建跨模态筛选模块，保留有意义的交互特征，过滤不相关的信息，抑制无意义的图像-文本对的干扰，学习图像和文本之间的语义关系；S4.结合S2中的模块和S3中的模块构建基于动态路由的跨模态注意力筛选网络的跨模态匹配方法的整体架构；S5.基于动态路由的跨模态注意力筛选网络的跨模态匹配方法的训练；所述S1的具体过程为：为了实现对每个图像的动态选择，我们考虑了一个由多块结构组成的网络，其中每个块都配有不同设置的模块，具体地说,给定图像特征V∈Rd×m，路由空间可以定义为A＝[A0,...,Ab],b表示注意力区域块的数量，d是图像特征的维度,经过路由后的特征可以定义为： 其中α为路由器预测的选择概率，A为单元操作的集合，在每个节点内设计一个基本单元和相应的路由来选择特定的区域特征，对于每幅图像，我们设计了3种不同数量的候选区域块，分别选择置信度分数排名最高的前g个区域，图像特征将用于单元内部和路线内部的特征转换；我们提出的软路由器可以看作是一个块决策过程，根据图像的全局含义生成每条路径的路由概率，给定图像特征V∈Rd×m，对每个注意力块的选择预测概率α∈Rb可以由下式得到：V*＝softmaxFC2VV2α＝relutanhFC1V*3其中，FC为全连接函数；所述S2的具体过程为：在动态路由注意力模块中，我们采用自注意力和身份映射作为每个单元的实现，然而，自我关注的点积操作会产生昂贵的计算和巨大的内存占用，在这种情况下，减少大量的计算量是至关重要的，因此，我们调整了每个输入图像的注意区域数量，这是与现有的基于自我注意的方法的关键区别，通过重新审视标准自我注意的定义，可以得到区域注意力权重： 其中，ηij测量第j个位置对第i个位置的影响，m表示图像中区域的个数，ηij可以看作是一个图像种不同区域间的完全连接图，为了获得不同的关注区域的特点,我们需要限制每个输入图像的区域连接，因此通过引入一个邻接maskM∈Rm×m,可以得到新的区域注意力权重： M是二进制的值，当它在目标元素的注意区域内时，将其设置为1，因此，将注意力操作限制在一定数量的图像区域内，以探讨模内语义关系，最后给出了路由器注意模块的输出，如下式所示： 其中，这样，图像中区域的数量就受到了限制，这将大大降低计算复杂度和数据冗余带来的误差。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国石油大学(华东)，其通讯地址为：266580 山东省青岛市黄岛区长江西路66号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。