买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：桂林电子科技大学

摘要：本发明申请公开了一种基于多尺度风格解耦网络MSD‑Net的低光照图像语义分割的方法，该网络能在光照较差的环境且不需要额外的人工标注或模拟生成训练数据的情况下，根据风格迁移理论将低光照图像分解成风格分量、内容分量和噪音分量，在添加随机噪音的情况下，对解耦后的分量进行不同尺度的特征提取，实现低光照图像的语义分割，包括如下步骤：1构建模型训练数据集MSD‑Train和测试数据集MSD‑Test，2构造解耦模块IDM，从图像中分解出风格分量、内容分量和噪音分量，3构造随机噪声选取模块RNSM，将图像的噪音分量添加额外的随机干扰噪音之后与风格分量融合，4构造内容分量特征提取网络CCFEN，提取内容分量不同尺度的语义特征，5构造风格分量特征提取模块SCFEM和风格导向分割头SGSegHead，将风格分量通过SCFEM进一步提取特征之后，作用于内容分量，以实现对低光照图像进行语义分割。

主权项：1.一种基于多尺度风格解耦网络MSD-Net的低光照图像语义分割的方法，其特征包括以下方法步骤：1通过在公开数据集NightCity的基础上构建增强数据集NightCity-plus和公开数据集BDD100K作为模型的数据集MSD-Train和MSD-Test。2构建图像解耦模块IDM，分别通过池化模块、行列注意力模块RC_attention、风格注意力模块Style_attention、双分支通道注意力模块BCAM和上采样模块从低光照图像中分解出风格分量、内容分量和噪音分量，关于图像解耦模块IDM的结构如步骤1至步骤7所示，步骤8构建平滑损失函数，包括下述步骤：1每次从MSD-Train数据集选取两张低光照图像进行输入，分别记作图像A和图像B，每当接受低光照图像时，首先将原图像转换成标准向量格式，再将标准化图像输入进一个7*7，填充p为3的卷积进行初步的特征提取，接着输入进由两个大小3*3，填充p为3，步长为2的卷积所构成的下采样层，通过下采样层逐步将图像宽和高减小，同时增加通道数，用于捕捉低光照图像更高层次的特征，得到图像的初步特征feats。2将1提取到的初步特征feats进行一个并行的操作，并行操作包括三个分支，其中分支一：输入进池化层，通过平均池化层对feats进行池化，随后输入进一个1*1的卷积和ReLU激活函数当中，得到特征图feats1。3分支二：将低层次图像特征feats输入到行列注意力模块，得到feats2。4分支三：将低层次图像特征feats，输入进风格注意力模块Style_attention当中，得到特征图feats3。5将步骤2至步骤4得到的feats1，feats2，feats3在通道维度上通过Concat进行拼接得到拼接后的特征Confeat，将拼接完成后的特征Confeat通过双分支空间注意力模块BCAM。6将5融合了空间和通道注意力之后的特征图通过一个大小为3*3，填充p为3，步长S为1的卷积，进行通道降维。在模型训练时，为帮助缓解梯度消失问题，通过远程跳跃连接的方式设计2个残差模块，使得网络能够更好地训练。7最后分别通过风格分量上采样层、内容分量上采样层、噪音分量上采样层，运用不同的损失函数，得到风格分量style、内容分量context和噪音分量noise。图像A最后得到风格分量styleA、内容分量contextA和噪音分量noiseA，图像B最后得到风格分量styleB、内容分量contextB和噪音分量noiseB。8在IDM模块当中，对于低光照图像所提取的风格分量style、内容分量context之间，通过建立平滑损失函数loss_smooth，衡量风格和内容特征之间的平滑性。3构造随机噪声选取模块RNSM，对噪音分量添加随机干扰噪声，增加模型的鲁棒性，包括下述步骤：1将解耦模块所得到的噪音分量noise输入到随机噪声选取模块RNSM当中，首先根据噪音分量，噪音选择模块生成随机干扰噪音rnoise，通过一个Concat层将图像B的噪音分量noise和rnoise进行融合，得到合成噪音Snoise。将合成的噪声Snoise调整到与图像A的内容分量相同的尺寸，通过disturb函数将合成噪声Snoise添加到图像B的风格表示中，得到一个新的风格分量NSB，最后将图像A的内容分量contextA和图像B新生成风格分量NSB进行逐像素相乘，生成一个新扰动图像im_CASB，与im_CASB对应的再次通过图像解耦模块IDM解耦之后的风格分量S_CASB，内容分量为C_CASB，噪音分量为N_CASB。2重复步骤1，将图像A的融合了噪音分量的风格分量应用到图像B的内容分量上生成的扰动图像im_CBSA，与其对应的将扰动图像再次通过图像解耦模块IDM解耦的风格分量S_CBSA，内容分量为C_CBSA，噪音分量为N_CBSA。4构造内容分量特征提取网络CCFEN，提取内容分量的语义特征，包括下述步骤：1内容分量特征提取网络包括四个阶段，在第一阶段首先将图像的内容分量特征图输入到嵌入层PathEmbading，得到的输出再进入线性层，之后将得到的输出输入进卷积前馈神经网络ConvFFN当中，其中ConvFFN包括一个批归一化层Norm、一个线性层、一个1*1的卷积，并采用跳跃连接来提高模型的学习能力，最终第一阶段输出4倍下采样率的特征图像。第二阶段将4倍下采样率的特征图像通过一个可变形注意力模块DTM和ConvFFN得到8倍下采样率的特征图像。第三阶段将8倍下采样率的特征图像输入到可变形注意力模块DTM、批归一化和IFAformer模块，同样采用跳跃连接的方式增加模型的学习能力，得到的输出再输入进一个1*1的卷积和一个ConvFFN当中，得到16倍下采样率的特征图像。第四阶段与第三阶段一样，最终得到32倍下采样率的特征图像。2频率特征提取模块IFAformer为双分支结构，分为高频注意力分支和低频注意力分支。高频注意分支捕获具有局部窗口自注意的细粒度高频特征，其中窗口大小为2*2，并采用了简单的非重叠窗口分区方法，计算窗口内Q，K，V的自注意力矩阵。低频注意分支采用高频的特征图，首先对每个窗口进行平均池化，得到输入图像中的低频信息，然后将平均池化的特征映射投影到键K和值V。低频注意分支中的Q仍然来自原始的特征图。最后将高频分支和低频分支的输出特征图进行拼融合。3将图像A和图像B分解出来的内容分量contextA、contextB、C_CASB、C_CBSA分别输入进CCFEN中进行内容分量的进一步特征提取，得到他们的内容分量特征：Feat_A、Feat_B、Feat_CASB和Feats_CBSA。5构造风格导向分割头SGSegHead和风格分量特征提取模块SCFEM，风格分量特征提取模块对风格分量进行特征提取，并输入风格导向分割头当中进行图像分割，包括下述步骤：1构造风格分量特征提取模块SCFEM，将提取出来的风格分量styleA和styleB输入风格分量特征提取模块，提取得到风格特征FStyleA和FStyleB。2构造风格导向分割头SGSegHead，在风格导向分割头SGSegHead当中，首先将Feat_CASB或Feats_CBSA通过一个金字塔池化模块，得到内容特征feats_contextA或feats_contextB。将风格特征FStyleA或FStyleB通过一个Reshape模块将其调整为与内容分量特征feats_contextA和feats_contextB一样的大小，再通过一个3*3卷积，将输入的风格特征转换为更高维度的特征表示。将更高维度的特征表示通过一个空间金字塔池化模块，提取1*1，3*3，5*5，7*7池化尺度的风格特征，最后使用一个3*3卷积模块，得到分割风格特征seg_feats_styleA或seg_feats_styleB。之后将分割风格特征通过一个1*1的卷积层，生成逻辑风格特征logits_styleA或logits_styleB。将逻辑风格特征和内容特征相加，结果输入进风格掩码层，得到风格掩码Mask_styleA或Mask_styleB。风格掩码层由一个3*3的卷积，一个1*1的卷积和一个sigmoid激活函数构成。最后将内容特征加上分割风格特征与风格掩码的乘积输入进1*1的卷积分割器当中，得到最终的分割结果SegmentationA或SegmentationB。

全文数据：

权利要求：

百度查询： 桂林电子科技大学 一种基于多尺度风格解耦网络MSD-Net的低光照图像语义分割的方法