申请/专利权人：哈尔滨工业大学;中国电子科技集团公司第五十四研究所

申请日：2021-09-13

公开（公告）日：2024-06-21

公开（公告）号：CN113920303B

主分类号：G06V10/25

分类号：G06V10/25;G06V10/74;G06V10/82;G06N3/0464;G06N3/0895

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2022.01.28#实质审查的生效;2022.01.11#公开

摘要：本发明提出一种基于卷积神经网络弱监督类别无关的图像相似性检索系统及其控制方法，当系统处于离线阶段，输入端传输数据库图像，对数据库图像进行预处理ROI提取模块，将图像的兴趣区域ROI与背景信息分离提取，并通过K‑means和Canopy结合的方式对离线数据库中的ROI对象进行聚类存储；当系统处于在线阶段，输入端传输查询图像，对查询图像进行预处理，使用ROI提取模块将图像的兴趣区域ROI与背景信息分离提取；通过相似度比较模块，将在线阶段提取的数据与离线阶段聚类存储的数据库图像的ROI进行相似性比较，找到最相似的图像；本发明降低相似度比较过程中的运算量且不需要支持集来进行训练，性能上限高，鲁棒性好。

主权项：1.一种基于卷积神经网络弱监督类别无关的图像相似性检索系统，其特征在于：所述系统包括输入端，ROI提取模块和相似度比较模块；所述输入端输入两种数据，分别为查询图像和数据库图像；图像数据不含标签信息，两种数据的网络权重相同；所述ROI提取模块接收输入端数据，利用区域提议网络RPN生成输入图像的ROI候选提议，生成的候选提议作为相似度比较模块的输入；ROI提取模块用于生成候选提议，所述ROI提取模块包含两个区域提议网络，分别用于处理查询图像和数据库图像；两个RPN共享相同的网络结构和学习权重，对于每幅图像，RPN的损失函数定义为：LI＝L1RSA,S+λ1rSL2RpA,G1其中，L1·为分类损失，L2·用于候选框的回归，λ1用于平衡这两种损失，rS是标识函数来标记背景类别的回归损失，S是ground-truth类集合，A表示archor，G是ground-truth位置，RSA是类别分数，RpA是定位框的位置；S由两个类组成，即背景或ROI；所述相似度比较模块对输入的候选提议通过卷积神经网络进行相似度比较，得出相似度比较结果；相似度比较模块对输入数据的损失函数定义为： L3o＝L1RSA,S+λ2rSL2RpA,G3其中，表示两张输入图像的位置细化损失，L4表示提议对的匹配损失，λ是结合这两种损失的超参数；处于离线阶段，对于数据库图像Id进行预处理；利用ROI提取模块将Id中的目标提取出来并聚类存储；处于在线阶段，对于查询图像Iq进行预处理；利用ROI提取模块从Iq提取目标处于在线阶段，得到查询图像Iq的ROI集之后，将其与数据库图像Id的聚类过的ROI集的簇心子集进行相似度比较；在此过程中，通过计算Oq和的笛卡尔积来构建ROI对的集合 当确定了相似度最高的簇心之后，再进行簇内的相似度比较，这一过程与簇间相似度比较过程相同；执行完簇内的相似度比较后，网络输出与查询图像中的ROI目标最相似的数据库目标，进而确定最相似的原始图像；所述相似度比较模块有三个卷积层和两个全连接层组成；每个卷积层具有512个滤波器，同时卷积核大小为3×3；进行批量归一化；选用非线性ReLu，采用2×2最大池化；第1个全连接层是128维的ReLu；第2个全连接层是1维函数用于生成0到1之间的关系得分；首先，ROI提取模块生成候选提议对，并且每个候选提议对被输入到ROI池化层中获取2个7×7×512的特征映射；然后将这两个特征图连接起来并输入到相似度比较模块，计算他们之间的相似度：相似度比较模块的损失函数定义为： 其中，R·是相似度分数，使用均方损失作为目标函数。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学;中国电子科技集团公司第五十四研究所 一种基于卷积神经网络弱监督类别无关的图像相似性检索系统及其控制方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD