买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：齐鲁工业大学(山东省科学院);山东省人工智能研究院

摘要：本发明涉及目标检测与图像识别技术领域，具体设计一种基于多特征交互学习的高分辨率图像目标识别方法，步骤如下：本发明先对数据集进行预处理；使用目标检测器定位到每张图片的可疑区域并映射到原图裁剪下来，形成多个子区域图像；然后原图和子图像共同输入到特征提取模块1得到整体特征和子区域特征；之后再经过特征交互模块的各个阶段得到交互增强后的特征，特征交互模块是指整体特征和多个子区域特征经过多头自注意力进行交互学习；最后此特征输入到特征提取模块2得到最终特征，最终特征再输入到分类层得到识别结果。本发明更好地考虑了图像其他部分对于整体图像的补充作用，进一步提高了高分辨率图像识别的性能。

主权项：1.一种基于多特征交互学习的高分辨率图像目标识别方法，其特征是，包括以下步骤：a）将原始的高分辨率图像数据集划分为训练集和验证集，然后对训练集和验证集进行数据预处理，增强原始的高分率图像缩放和目标检测的数据；b）将预处理后的数据输入到FasterR-CNN目标检测网络中，检测图片中感兴趣的目标区域并进行目标区域的定位，经过目标检测网络定位到子区域，将子区域映射回原始的高分辨率图像，并将此区域裁剪得到高分辨率的三个子区域图像，；c）对训练集中的原始的高分辨率图像和子区域图像进行处理，在图像分类方面进行数据增强；d）将处理后的训练集中的原始的高分辨率图像和子区域图像输入到识别网络的特征提取模块1，得到整体特征和子区域特征；特征提取模块1包括下采样层、第一分支和第二分支；下采样层由卷积层、批归一化层和Swish激活函数层组成；第一分支由第一卷积注意块、第二卷积注意块组成，其中第一卷积注意块和第二卷积注意块均由第一卷积层、深度可分离卷积层、SE注意力层、第二卷积层、恒等映射层组成；第二分支由第一卷积注意块、第二卷积注意块、第三卷积注意块组成，其中第一卷积注意块、第二卷积注意块和第三卷积注意块均由第一卷积层、深度可分离卷积层、SE注意力层、第二卷积层、恒等映射层组成；其中，下采样层的卷积核大小为，步长为2，填充为1；第一分支的第一卷积注意块和第二卷积注意块以及第二分支的第一卷积注意块、第二卷积注意块和第三卷积注意块中的第一卷积层和第二卷积层的卷积核大小为1×1，步长为1，填充为0；第一分支的第一卷积注意块中的深度可分离卷积的卷积核大小为，步长为2，填充为1，第二卷积注意块中的深度可分离卷积的卷积核大小为，步长为1，填充为1；第二分支的第一卷积注意块中的深度可分离卷积的卷积核大小为，步长为2，填充为2，第二卷积注意块中的深度可分离卷积的卷积核大小为，步长为1，填充为2，第三卷积注意块中的深度可分离卷积的卷积核大小为，步长为1，填充为2；e）将整体特征和子区域特征输入到特征交互模块MIS得到交互特征；特征交互模块MIS包括特征细化阶段、交互注意阶段和融合阶段；特征细化阶段由第一BCD-Block和第二BCD-Block组成；第一BCD-Block和第二BCD-Block均由中心差分卷积层、第一卷积层、第二卷积层和恒等映射层组成，中心差分卷积包括采样和聚合，其中采样是在输入特征图中采样一个patch，聚合是将patch中的每个元素减去中心元素，然后经过中心差分卷积层的普通卷积得到输出特征，该普通卷积由卷积层、批归一化层和SiLU激活函数层组成；第一卷积层和第二卷积层均由卷积层、批归一化层和ReLU激活函数层组成，中心差分卷积层由中心差分卷积和普通卷积构成；其中，第一BCD-Block的第一卷积层和第二卷积层的卷积核大小均为，步长为1，填充为1，第一BCD-Block的中心差分卷积层中的第一卷积层的卷积核大小为，步长为1，填充为1；第二BCD-Block的第一卷积层和第二卷积层的卷积核大小为，步长为1，填充为1；第二BCD-Block的中心差分卷积层中的第一卷积层的卷积核大小为，步长为1，填充为1；交互注意层包括深度可分离卷积和多头注意力层：深度可分离卷积层包括深度卷积层和逐点卷积层，深度卷积层和逐点卷积层均由卷积层、批归一化层和LeakyReLU激活函数层组成，深度可分离卷积层的深度卷积层卷积核大小为，步长为1，填充为1，深度可分离卷积层的逐点卷积层卷积核大小为，步长为1，填充为0；将输入特征经过深度可分离卷积层的映射得到注意力机制所需的查询Q、键K、值V向量，多头注意力层将每个Q、K、V分出多个分支，分支数就相当于头数，整体特征为键和值，子区域特征为查询；融合阶段由第一逐点卷积层、第二逐点卷积层、空间金字塔池化层SPP、激活函数层和第三逐点卷积层组成，融合阶段的第一逐点卷积层、第二逐点卷积层和第三逐点卷积层的卷积核大小均为，步长为1，填充为0；f）将交互特征输入到识别网络的特征提取模块2得到特征，经过全连接层得到图像的识别结果；特征提取模块2由第一分支、第二分支和第三分支构成；第一分支由第一卷积注意块、第二卷积注意块、第三卷积注意块组成，第一卷积注意块、第二卷积注意块和第三卷积注意块均由第一卷积层、深度可分离卷积层、SE注意力层、第二卷积层、恒等映射层组成；第二分支由第一卷积注意块、第二卷积注意块、第三卷积注意块和第四卷积注意块组成，第一卷积注意块、第二卷积注意块、第三卷积注意块和第四卷积注意块均由第一卷积层、深度可分离卷积层、SE注意力层、第二卷积层、恒等映射层组成；第三分支由第一卷积注意块组成，第一卷积注意块由第一卷积层、深度可分离卷积层、SE注意力层、第二卷积层、恒等映射层组成；其中，第一分支的第一卷积注意块、第二卷积注意块和第三卷积注意块、第二分支的第一卷积注意块、第二卷积注意块、第三卷积注意块和第四卷积注意块以及第三分支的第一卷积注意块中的第一卷积层和第二卷积层的卷积核大小为，步长为1，填充为0，第一分支的第一卷积注意块中的深度可分离卷积的卷积核大小为，步长为2，填充为1，第二卷积注意块和第三卷积注意块中的深度可分离卷积的卷积核大小为，步长为1，填充为1；第二分支的第一卷积注意块中的深度可分离卷积的卷积核大小为，步长为2，填充为2，第二卷积注意块、第三卷积注意块和第四卷积注意块中的深度可分离卷积的卷积核大小为，步长为1，填充为2；第三分支中的第一卷积注意块的深度可分离卷积的卷积核大小为，步长为2，填充为1。

全文数据：

权利要求：

百度查询： 齐鲁工业大学(山东省科学院) 山东省人工智能研究院 一种基于多特征交互学习的高分辨率图像目标识别方法