买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：河海大学;国网江苏省电力有限公司盐城供电分公司;常州工学院;江苏优埃唯智能科技有限公司;东海县消防救援大队

摘要：本发明公开了一种面向恶劣环境的仿生复眼型多光谱目标检测系统及方法。该方法首先利用仿生复眼型多光谱成像装置拍摄具有恶劣环境的目标区域，获得包括5个滤光波段的可见光成像图像和1个红外热成像图像组成的多视角异谱图像序列；再对采集到的多视角异谱图像序列进行处理获取像素对齐的异谱图像序列；然后将获得的6个谱段的图像序列进行融合，获取一张在恶劣环境中的清晰图像；最后利用可适应点采样转换模型，从编码特征中捕获步骤三获得的图像的目标边界区域的稀疏监督信号，快速定位隐蔽目标的位置。本发明解决了恶劣环境中的目标快速检测难题，具有较高的工程应用价值。

主权项：1.一种面向恶劣环境的仿生复眼型多光谱目标检测方法，其特征在于，包括以下步骤：步骤一、利用仿生复眼型多光谱成像装置拍摄具有恶劣环境的目标区域，获得包括5个滤光波段的可见光成像图像和1个红外热成像图像组成的多视角异谱图像序列；步骤二、对步骤一采集到的多视角异谱图像序列进行像素级结构一致性增强，然后根据多视角异谱图像序列的结构相似性，对其进行仿射变换；再以图像的平方差之和为量度，对仿射变换处理后的异谱图像序列进行像素级图像配准，获取像素对齐的6个谱段的图像序列；步骤三、将步骤二获得的6个谱段的图像序列进行融合，获取一张在恶劣环境中的清晰图像；步骤四、利用可适应点采样转换模型，从编码特征中捕获步骤三获得的图像的目标边界区域的稀疏监督信号，快速定位隐蔽目标的位置；步骤二所述对多视角异谱图像序列进行像素级结构一致性增强，具体包含以下步骤：步骤201：将步骤一采集到的多视角异谱图像序列统一为单通道图像，其中对于红外热成像图像是单通道的，无需对该图像进行处理；而可见光成像图像是三通道的，需要将采集到的可见光成像图像原图像由RGB空间转换为YCbCr空间，YCbCr颜色模型是非绝对颜色模型，其中的Y通道表示亮度信息，即结构细节和亮度变化，而Cb和Cr通道表示色度信息，即图像的颜色和饱和度，Cb通道表示蓝色与亮度之间的差值，Cr通道表示红色与亮度之间的差值，三个通道的取值范围分别为：Y∈[0，255]，Cb，Cr∈[-128，127]；进行通道提取，提取表示结构细节和亮度变化的Y通道以供后续处理，由RGB空间转换为YCbCr空间的具体转换公式为：步骤202：利用固有边缘结构的相对显著性，对经过通道提取的异谱图像序列I进行整体的固有边缘结构强度一致性增强变换，步骤如下：202a.一组经过通道提取的异谱图像序列I包含6张不同视角的图像Iii∈{1，2，...，6}，令像素p的邻域窗口Np的大小为3×3，图像Ii中的像素，与像素q之间的梯度定义为δp，q＝|Iip-Iiq|，q∈Np；计算每张图像Ii的每个像素，分别与其邻域窗口Np所包含的像素q之间的梯度δp，q；202b.计算每张图像Iii∈{1，2，...，6}在任意像素，处的梯度-强度相关性指标该指标定义为其中，表示像素p的邻域窗口内的9个像素的强度平均值，0.5为增强变换的图像梯度-强度相关性先验分布的对称轴经验观测值，c为梯度-强度相关性指标的整体大小控制参数，α为梯度-强度相关性分布从中央对称轴的峰值向下衰减的速率控制参数，β为梯度-强度相关性分布的尺度因子；202c.根据步骤202a和步骤202b所计算的梯度δp，q和梯度-强度相关性指标将原本的异谱图像序列I变换为结构一致性增强的异谱图像序列S，对于每一张图像Iii∈{1，2，...，6}，任意像素，的变换结果定义为：其中，N代表邻域窗口所含像素数量；将梯度-强度相关性指标的定义式代入，得到固有边缘结构强度一致性增强变换的完整形式Sip：根据上式，将每张经过通道提取的异谱图像Iii∈{1，2，...，6}进行固有边缘结构强度一致性增强变换，获得变换结果Sii∈{1，2，...，6}；在步骤202b中，计算每张图像对应的梯度-强度相关性指标需要用到差分进化算法预先训练好的最优固有边缘结构一致性增强变换参数c，α，β；步骤二所述仿射变换以及对仿射变换处理后的异谱图像序列进行像素级图像配准，具体包含以下步骤：203a.对于序列S中包含的6张图像Sii∈{1，2，...，6}，选定其中一张作为参考图像SR，其余5张图像为待配准图像SFjj∈{1，2，...，5}；203b.任意一张待配准图像SFjj∈{1，2，...，5}与参考图像SR进行配准时，利用梯度下降法搜索最优配准参数使得利用仿射变换得到的配准图像将设定的目标函数JSSD最小化，最优配准参数的计算过程如下：待配准图像SFj的像素，仿射变换的过程表示为：其中，像素，的坐标为x，yT，像素，仿射变换之后的坐标为u，vT，为待优化的配准参数；定义梯度下降的目标函数J为参考图像SR与待配准图像SFj经过仿射变换后的差异，使用平方差之和JSSD作为目标函数的量度，具体公式为：其中，表示参考图像SR与经过仿射变换后的待配准图像SFj之间的重叠区域，即经过仿射变换后包含有效强度值的像素位置集合，和S′Rp分别表示经过仿射变换后的待配准图像S′Fj和参考图像S′R在像素坐标p处的强度；由此，利用梯度下降法寻找使目标函数JSSD最小化的最佳仿射变换参数即可实现图像配准，即步骤四具体包括：步骤401：利用RGB编码器对步骤三中获得的融合图像M进行四次下采样编码，获得四种不同尺度的编码结果E1，E2，E3，E4，便于后续提取图像的多尺度特征；步骤402：利用多尺度特征融合模块，简称MFFM模块，从编码结果中提取和集成多尺度特征：将E1，E2，E3，E4四种不同尺度的编码结果分别通过MFFM模块，得到对应的四个多尺度特征图F1，F2，F3，F4；步骤403：利用可适应点采样转换模块来提取目标对象的全局特征和局部特征，并将两者进行聚合；所述可适应点采样转换模块为目标预测模型的核心模块，包括全局提取器、局部提取器、聚合器和相关图生成器四部分，其中：所述全局提取器负责从输入特征中框定近似目标区域，其通过对每个多尺度特征图Fimim∈{1，2，3，4}中的掩码区域应用全局平均池化，基于语义上下文来提取目标对象的全局特征，全局提取器的具体实现如下：首先，分离输入的每个多尺度特征图Fimim∈{1，2，3，4}∈RC×H×W的每个通道，将Fim的第k个通道定义为fck∈RH×W，其中H和W代表Fim的高度和宽度，R表示实数集；其次，利用通道间Softmax操作生成每个通道的近似目标区域代表目标对象的区域；接着，以近似目标区域为加权掩码，对多尺度特征图Fim进行全局加权平均池化操作，得到全局模板C表示通道数，即其中GAP·表示全局最大池化操作，表示多尺度特征图Fim近似目标区域fsk的集合，其中k表示多尺度特征图Fim的第kk＝0，1，...C个通道；最后，将每个通道对应的近似目标区域fsk得到的全局模板合并，即可得到最终的全局模板块Tg∈RC×C；所述局部提取器负责从可变性采样点中提取目标对象的详细局部信息和显著特征，仅采样有用信息用于提高模型的计算效率，它的具体实现如下：首先，将输入的多尺度特征图Fim分割成Np×Np块，其中第z块定义为其次，在每个块上均匀初始化Nr×Nr个参考点，输入偏移编码器进行偏移处理；该偏移编码器包含两个卷积层，两个卷积层之后分别使用GeLu和Tanh作为激活函数，经过偏移编码器后，得到每个参考点的相对变化量；最后，根据编码器结果移动每个参考点，并对4个相邻像素应用双线性插值来采样局部特征，由此，块得到的局部模板定义为将每个块得到的局部模板合并，即得到最终的局部模板块所述聚合器负责聚合生成的局部特征和全局特征，该聚合器是根据输入的全局模板Tg和局部模板Tl的尺寸和关系设计的，其具体实现如下：首先，分别使用多头注意力模块MHA来增强Tg内部的相关性以及Tl内部的相关性；其次，对于沿两个维度方向进行注意力池化操作，沿长度为Np×Np的方向操作得到块内局部特征沿长度为Nr×Nr的方向操作得到块间局部特征接着，将Tg、Tlinter与Tlintra分别通过多层感知器模块MLP，再将Tlinter与Tlintra分别于Tg进行矩阵乘法和Softmax激活，生成两个相关性得分图和两个相关性得分图分别与Tlinter和Tlintra经过MLP操作后的结果进行矩阵相乘操作，获得两类聚合特征和最后，利用MLP层对两类聚合特征和进行融合，得到最终的聚合器输出结果Ta∈RC×L：所述相关图生成器负责从聚合器输出结果中生成相关特征，其具体实现如下：将聚合器输出结果Ta∈RC×C的每个特征作为一个核尺寸为1×1的卷积核，对最初输入的多尺度特征图Fi进行卷积；对于包含C个特征的Ta，卷积操作会生成相关特征Ca∈RC×H×W，将相关特征Ca与多尺度特征图Fi进行合并，并通过核尺寸为1×1的卷积层，即可得到最终的可适应点采样转换模块输出特征向可适应点采样转换模块分别输入四个多尺度特征图Fimim∈{1，2，3，4}，即可得到对应的四个聚合特征步骤404：利用基于特征金字塔的边界解码器预测目标边界；该基于特征金字塔的边界解码器具体实现为：将四个聚合特征分别通过3×3的卷积层和上采样层，得到尺寸相同的特征并合并，再传递到1×1卷积层和Sigmoid层，生成单通道的边界预测图Epred；步骤405：利用边界融合模块BFM融合边界解码器的输出结果与四个聚合特征，生成边界融合特征其具体实现如下：首先，向BFM模块输入边界解码器生成的边界预测图Epred和一个聚合特征两者的分辨率调整为一致后，相乘并通过1×1卷积层得到矩阵Fm；其次，对Fm进行全局加权平均池化操作和多层感知器操作，使用Sigmoid函数激活，生成注意力向量fa；接着，将向量fa与矩阵Fm进行矩阵相乘，提取边界引导的全局上下文信息FG；最后，将边界引导的全局上下文信息FG与聚合特征相加并通过1×1卷积层，生成边界融合特征步骤406：将上一步骤获得的边界融合特征沿上采样顺序依次进行降维与矩阵相加，综合全局信息与局部细节，识别图像的整体趋势，捕获其中代表目标边界区域的稀疏监督信号，得到最终的目标区域预测图Ipred。

全文数据：

权利要求：

百度查询： 河海大学 国网江苏省电力有限公司盐城供电分公司 常州工学院 江苏优埃唯智能科技有限公司 东海县消防救援大队 面向恶劣环境的仿生复眼型多光谱目标检测系统及方法