买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：桂林电子科技大学

摘要：本发明公开了一种基于RPF‑CAM的低照度目标检测方法，其特征在于，包括如下步骤：1）制作合成数据源，建立来源图像；2）特征提取网络模块的训练；3）通道注意力机制网络模块的训练；4）目标检测网络的训练；5）对整个卷积神经网络进行构造与训练。这种方法使得目标检测的特征图的特征表达能力更好、目标检测的精度高。

主权项：1.一种基于RPF-CAM的低照度目标检测方法，其特征在于，包括如下步骤：1制作合成数据源，建立来源图像：将正常日光照度下获取的正常照度图像Nor-images、模拟低照度环境下的成像特点获取的低照度图像Dark-images和图像标注数据Images_Annotation进行整合构造成一个Dark-Nor-Data数据集，数据集的分组情况如下表1所示：表1： 2特征提取网络模块的训练：过程包括：2-1将所有低照度图像Dark-images和正常照度图像Nor-images进行预处理，缩放到统一的宽度和高度；2-2采用Lab颜色模型将低照度图像Dark-images和正常照度图像Nor-images分解成光照分量和颜色分量两个部分，分别对两个部分进行降采样，参考ResNet50进行设计，Lab颜色是由RGB三基色转换而来的，它与RGB色彩模式转化公式如下： a＝500*fX-fY，b＝200*fY-fZ，其中，2-3将原RGB图像经过Lab颜色模型转换后的图像进行卷积下采样，得到各个阶段各种尺寸大小的特征图，然后将最后一个阶段的特征图经过1×1卷积，改变成与上一阶段的特征图同样的通道数，再经过双线性插值，变成与上一阶段的特征图同等尺寸大小的特征图，最后通过逐像素相加，融合两个阶段的特征图，同理，将各个阶段的特征经过逐级融合，得到多尺度、多层级的能代表图像细节的特征图；2-4将低照度图像进行卷积下采样得到的特征图跟正常光照图像经过卷积下采样得到的特征图进行逐像素的内容损失函数的计算，损失函数采用MSE损失函数，MSE损失函数是预测值与目标值之间差值取平方和的均值，具体为公式1： 其中n为统计的数据量总数，yiy'i表示真实值和输出的预测值，依据所用数据进行公式的更改，更改后的均方误差MSE损失函数为公式2： 其中W、H分别表示预处理过后的图像的宽度和高度，表示真实正常光照的可见光图像特征图的像素值，GIDark-imagesx,y表示低照度图像IDark-images进行卷积下采样后得到的特征图的像素值；3通道注意力机制网络模块的训练，包括：3-1将光照分量和颜色分量得到的特征图进行通道间的连接操作，得到具有光照和颜色分量两个部分的高级特征图，然后经过全局平局池化将庞大的特征图压缩成1×1×C的特征向量，C为通道数，再经过挤压全连接操作，对每个通道的特征值进行激励学习，再通过全连接操作把特征向量放大成与特征图相同的通道数，其中，挤压函数为公式3： 激励函数为公式4：s＝Fexz,W＝σgz,W＝σW2δW1z4，δ函数是ReLu，而σ是一个sigmoid激活函数，W1和W2的维度分别是第一层全连接的维度和第二层全连接的维度，通过训练学习这两个权重，得到一个一维的激励权重来激活每一层通道，尺度函数为公式5： 3-2将经过2-3融合后的特征图和3-1最后得到的特征向量进行通道间的相乘操作；4目标检测网络的训练，包括：4-1将特征提取网络模块中的下采样的各个阶段对应的光照分量和颜色分量得到的特征图进行连接操作，其中光照分量和颜色分量在下采样过程中，对每一阶段的特征图进行横向连接操作，组成特征金字塔；4-2将经过注意力机制引导过后的总体特征图送进区域建议网络，用于生成建议框anchors，通过softmax即归一化指数函数判断建议框anchors属于正样本还是属于负样本，再利用边框回归修正建议框anchors获得精确的建议框，建议框的窗口采用四维向量x,y,w,h表示，分别表示窗口的中心点坐标和宽高，框A代表原始的前景建议框anchors，框G代表目标的真实框GT，目标是寻找一种关系，使得输入原始的anchorA经过映射得到一个跟真实窗口G更接近的回归窗口G'，即：4-2-1给定：anchorA＝Ax,Ay,Aw,Ah和GT＝[Gx,Gy,Gw,Gh]；4-2-2寻找一种F,使得：FAx,Ay,Aw,Ah＝G'x,G'y,G'w,G'h，其中G'x,G'y,G'w,G'h≈Gx,Gy,Gw,Gh，经过变换F从anchorA变为G′的就是如下过程：依据公式6、公式7先做平移：G′x＝Aw·dxA+Ax6，G′y＝Ah·dyA+Ay7依据公式8、公式9再做缩放：G′w＝Aw·expdwA8，G′h＝Ah·expdhA9，依据公式6、公式7、公式8、公式9，需要学习的是dxA，dyA，dwA，dhA这四个变换，当输入的anchorA与GT相差较小时，把这种变换当作一种线性变换，那么就可以用线性回归来建模对窗口进行微调，线性回归就是给定输入的特征向量X，学习一组参数W，使得经过线性回归后的值跟真实值Y非常接近，即Y＝WX，输入X是卷积特征图，定义为同时还有训练传入A与GT之间的变换量，即tx,ty,tw,th，输出是dxA，dyA，dwA，dhA四个变换，目标函数可以表示为公式10： 其中是对用anchor的特征图组成的特征向量，是需要学习的参数，d*A是得到的预测值，让预测值tx，ty，tw，th与真实值差距最小，设计损失函数为公式11： 函数优化目标为： 对于训练边框回归函数网络回归分支，输入是卷积特征监督信号是anchor与GT的差距tx,ty,tw,th，即训练目标是：输入使网络输出与监督信号尽可能相近，当边框回归工作时，再输入时，回归网络分支的输出就是每个anchor的平移量和变换尺度tx,ty,tw,th，即可用来修正anchor位置；4-3建议框层负责综合所有[dxA,dyA,dwA,dhA]变换量和前景anchors，计算出精确的目标框proposal，送入后续的ROI池化层；4-4将步骤4-1得到的特征图和步骤4-3生成的建议框送入到ROI池化层，综合这些信息后提取建议框特征图，送入后续的卷积层判定目标分类；4-5采用建议框特征图计算建议框的类别，同时再次边框回归获得检测框最终的精确位置；5对整个卷积神经网络进行构造与训练，包括：5-1对特征提取部分网络进行构造，特征提取网络的输入、输出数据如下：输入为模拟的低照度图像和正常光照图像，输出为融合过的高级特征图，对目标检测网络进行构造，检测网络的输入、输出数据如下：融合的光照分量和颜色分量的特征图，检测的目标的正确边框位置和类别数值；5-2对检测部分网络进行训练。

全文数据：

权利要求：

百度查询： 桂林电子科技大学 基于RPF-CAM的低照度目标检测方法