买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江西理工大学

摘要：本发明公开一种基于新型区域特征融合规则的红外与可见光图像融合方法，主要解决红外与可见光图像融合时所存在的边缘信息缺失、目标特征不够突出的问题。本发明的具体实现步骤为：对已配准的红外图像与可见光图像分别进行NSST分解，得到相应的低频子带系数和高频子带系数；对于低频子带系数，采用基于优化PCNN模型的融合规则进行融合；对于高频子带系数，采用新型区域特征融合规则进行融合；最后对融合后的低频子带系数和高频子带系数进行NSST逆变换，获得最终的融合图像。本发明能够充分突出红外与可见光图像的目标特征，同时有效地保护红外与可见光图像的纹理细节与边缘信息，获得对比度和清晰度强、视觉信息保真度高的融合图像。

主权项：1.一种基于新型区域特征融合规则的红外与可见光图像融合方法，其特征是包括以下步骤：步骤1，对已配准的红外图像A与可见光图像B分别进行NSST分解，具体为：对已配准的红外图像A与可见光图像B分别进行NSST分解，得到相应的低频子带系数和高频子带系数其中为红外图像A的低频子带系数，为红外图像A的高频子带系数，为可见光图像B的低频子带系数，为可见光图像B的高频子带系数，k表示NSST分解尺度，l表示分解尺度k下的方向数；步骤2，对由步骤1得到的低频子带系数，采用基于优化PCNN模型的融合规则进行融合，具体为：对于由步骤1得到的低频子带系数采用基于优化PCNN模型的融合规则进行融合，得到融合后的低频子带系数前述步骤2中涉及到的优化PCNN模型的数学表达式为：Fij[n]＝Dij1 Uij[n]＝Fij[n]1+βijLij[n]3Tij[n]＝Tij[n-1]-Δ+VTYij[n-1]4 Zij[n]＝Zij[n-1]+Yij[n]6式1～6中的i,j为神经元位置，Fij表示第i,j个神经元的反馈输入，Dij表示第i,j个神经元的外部输入激励，Lij表示第i,j个神经元的链接项输入，βij表示第i,j个神经元的链接强度，Uij表示第i,j个神经元的内部活动项，Tij表示第i,j个神经元的动态门限阈值，p,q表示神经元与周围连接的范围，αL为链接输入衰减时间常数，Δ为阈值下降程度因子，VL、VT分别为链接输入放大系数和阈值放大系数；Wijpq表示第i,j个神经元与周围p,q神经元之间的突触连接权值矩阵；Yij表示第i,j个神经元的脉冲输出，其值1或0表示神经元成功点火与否；Zij表示迭代之后第i,j个神经元的点火总次数；n为迭代次数；优化PCNN模型的数学表达式中的外部输入激励Dij由反应图像局部清晰度的SML来表征，即Dij＝SMLi,j，SMLi,j定义如下式： 式7～8中，P×Q表示区域窗口的大小，表示改进拉普拉斯变换，的上标I可取A和B，分别表示红外图像中像素经NSST分解后对应点i,j处的低频子带系数与可见光图像中像素经NSST分解后对应点i,j处的低频子带系数，d表示可变空间距离；优化PCNN模型的数学表达式中的链接强度βij由表征图像纹理变化等细微信息的区域平均梯度自适应调整，具体的自适应调整方式由下式定义： 式9中，β0表示初始链接强度，表示对应点i,j处的区域平均梯度；式9中的区域平均梯度由下式定义： 式10中，P×Q表示区域窗口的大小，的上标I可取A和B，分别表示红外图像中像素经NSST分解对应点i,j处的低频子带系数与可见光图像中像素经NSST分解对应点i,j处的低频子带系数；前述步骤2中涉及到的基于优化PCNN模型的融合规则由步骤2.1至步骤2.4定义：步骤2.1，计算红外与可见光低频子带P×Q区域内的改进拉普拉斯能量和以及区域平均梯度，具体为：利用红外图像A与可见光图像B经NSST分解后对应点i,j处的低频子带系数与式7、式8及式10计算出P×Q窗口内各自的SMLi,j和并将SMLi,j作为优化PCNN模型的输入激励Dij，再由与式9确定链接强度βij；步骤2.2，对优化PCNN模型的参数进行初始化设置，具体为：Lij[0]＝Uij[0]＝0，Tij[0]＝Yij[0]＝0，Zij[0]＝0，模型最大迭代次数设为Nmax；步骤2.3，运用优化PCNN模型进行n次迭代，直至达到所设最大的迭代次数，获得最终红外与可见光低频子带的点火次数矩阵，具体为：根据式1～6进行迭代，分别得到红外图像低频子带与可见光图像低频子带的点火次数矩阵当迭代次数n＜Nmax时，重复执行步骤2.3，直至达到模型的最大迭代次数Nmax；步骤2.4，根据红外与可见光低频子带的点火次数矩阵对应元素取大的融合规则进行融合，具体为：当优化PCNN模型迭代次数达到模型的最大迭代次数Nmax时，采取如下式定义的规则对系数和进行融合处理； 式11中，表示对应点i,j处的低频子带融合系数；步骤3，对由步骤1得到的高频子带系数，采用新型区域特征融合规则进行融合，具体为：对于由步骤1得到的高频子带系数采用新型区域特征融合规则进行融合，得到融合后的高频子带系数前述步骤3中涉及到的新型区域特征融合规则由步骤3.1至步骤3.4定义：步骤3.1，计算红外与可见光高频子带P×Q区域内的区域能量，改进空间频率以及区域方差匹配度，具体为：计算出对应点i,j处的高频子带系数在P×Q窗口内的区域能量对应点i,j处的改进空间频率以及区域方差匹配度前述步骤3.1中所述的区域能量上标I可取A和B，分别表示红外图像的高频区域能量与可见光图像的高频区域能量由下式定义： 式12中，的上标I可取A和B，分别表示红外图像经NSST分解第k层中第l个方向对应点i+x,j+y处的高频子带系数与可见光图像经NSST分解第k层中第l个方向对应点i+x,j+y处的高频子带系数，ω为窗口掩膜矩阵，越靠近中心点其权值越大，大小为P×Q；对应点i,j处的改进空间频率上标I可取A和B，分别表示红外图像的高频改进空间频率与可见光图像的高频改进空间频率表示为： 式13～17中，的上标I可取A和B，分别表示红外图像经NSST分解第k层中第l个方向对应点i,j处的高频子带系数与可见光图像经NSST分解第k层中第l个方向对应点i,j处的高频子带系数，分别表示对应点i,j处的P×Q区域内的行、列、主对角和副对角频率，η1、η2为距离因子；对应点i,j处的区域方差匹配度由下式定义： 式18中，和分别表示红外图像高频子带与可见光图像的第k层中第l个方向高频子带在对应点i,j处的当前区域P×Q内的方差，R0为一较小常数，可以避免式18出现分母为0的情况；步骤3.2，计算红外与可见光高频子带P×Q区域内的区域能量比例之差的绝对值以及改进空间频率比例之差的绝对值，并将计算结果分别与所设的关联性阈值比较，具体为：首先计算出对应点i,j处的与之间的差值绝对值与之间的差值绝对值然后分别将与高频子带间的关联性阈值θ比较，θ是介于0和1之间的确定值，具体取值可根据融合效果调整确定；步骤3.3，若全小于关联性阈值，表明红外与可见光高频子带系数之间的关联性较强，采用当前步骤3.3规定的融合规则进行融合，具体为：若全小于θ，表明与之间的关联性较强，融合规则由下式定义： 式19中，表示第k层中第l个方向对应点i,j处的高频子带融合系数，分别表示红外图像经NSST分解后第k层中第l个方向对应点i,j处的高频子带系数和可见光图像经NSST分解后第k层中第l个方向对应点i,j处的高频子带系数，λ1为红外图像调节因子、λ2为可见光图像调节因子，λ1与λ2满足条件λ1+λ2＝1，且λ2＞λ1，由可见光图像比红外图像有更多的细节信息，设定可见光图像调节因子λ2大于红外图像调节因子λ1，可以保证融合图像具有更多的细节信息；前述步骤3.3中的红外图像调节因子λ1、可见光图像调节因子λ2的具体值，取决于自适应的区域方差匹配度阈值自适应的区域方差匹配度阈值表示为： 式20中，表示红外与可见光图像经NSST分解后第k层中第l个方向的方差匹配度阈值，表示红外与可见光图像经NSST分解后第k层中第l个方向的对应点i,j处的区域方差匹配度，表示红外与可见光图像经NSST分解后第k层中第l个方向所有对应点i,j处的区域方差匹配度的均值，表示红外与可见光图像经NSST分解后第k层中第l个方向所有对应点i,j处的区域方差匹配度的标准差，K表示标准差系数；由自适应的区域方差匹配度阈值决定红外图像调节因子λ1和可见光图像调节因子λ2的过程，由步骤3.3.1和3.3.2定义：步骤3.3.1，由前述步骤3.1确定的大于由前述步骤3.3确定的时，可见光图像调节因子λ2等价于较大的自适应因子Wmax，可见光图像调节因子λ2表示为： 式21确保可见光图像调节因子λ2总是大于0.5，而且大于红外图像调节因子λ1；由前述步骤3.1确定的不大于由前述步骤3.3确定的时，可见光图像调节因子λ2表示为： 式22是由式21启发而来，目的同样是确保可见光图像调节因子λ2总是大于0.5，从而大于红外图像调节因子λ1；步骤3.3.2，由前述步骤3.3.1确定了可见光图像调节因子λ2后，根据条件λ1+λ2＝1获得相应的红外图像调节因子λ1；步骤3.4，若不全小于关联性阈值，表明红外与可见光高频子带系数之间的关联性较弱，采用当前步骤3.4规定的融合规则进行融合，具体为：若不全小于关联性阈值θ，表明与之间的关联性不强，此时融合规则为： 式23中，表示第k层中第l个方向对应点i,j处的高频子带融合系数，分别表示红外图像经NSST分解后第k层中第l个方向对应点i,j处的高频子带系数与可见光图像经NSST分解后第k层中第l个方向对应点i,j处的高频子带系数；式23中的α1与α2为选择因子，初始α1＝α2＝0，Ωi,j为权重系数，α1与α2的取值随着高频子带的区域特征不同而变化，具体变化规则为：若α1＝α1+1，否则α2＝α2+1；若α1＝α1+1，否则α2＝α2+1；式23中的权重系数Ωi,j计算公式为： 步骤4，对由步骤2得到的低频子带融合系数和由步骤3得到的高频子带融合系数进行NSST逆变换，获得最终的融合图像F，具体为：对于由步骤2得到的低频子带融合系数和由步骤3得到的高频子带融合系数进行NSST逆变换，获得最终的融合图像F。

全文数据：

权利要求：

百度查询： 江西理工大学 基于新型区域特征融合规则的红外与可见光图像融合方法