买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山西大学

摘要：本发明公开了一种基于多特征融合的显著性目标检测方法，属于计算机数字图像处理技术领域。通过对深度卷积神经网络的不同层次特征信息进行融合，以获取更加有效的图像显著性特征，从而解决复杂场景下的显著性目标检测问题。本发明第一步构建深度神经网络获取图像的浅层特征信息；第二步构建深度神经网络获取图像的深层特征信息；第三步将两部分特征信息进行融合；第四步构建神经网络损失函数，训练深度神经网络；第五步输入图像进行显著性目标检测。与现有基于深度学习的图像显著性检测方法相比，在不包含预处理和后处理的前提下，本发明方法得到的显著图像明显优于其它的网络结构，尤其是对于复杂场景图像的检测具有优越的鲁棒性和识别性。

主权项：1.一种基于多特征融合的显著性检测方法，其特征在于：包括以下步骤：步骤1，构建深度神经网络获取图像浅层特征；步骤1.1，构造U型深度神经网络；步骤1.2，构造Z型残差模块；步骤2，构建深度神经网络获取图像深层特征；步骤2.1构造I型深度神经网络；步骤2.2构造编码模块DE；步骤3，双层特征融合；步骤3.1构造特征融合模块；步骤4，构建神经网络损失函数，训练深度神经网络；步骤4.1构建神经网络损失函数；步骤4.2使用公开的、自然场景下的图像数据集，训练构造好的神经网络步骤5，利用训练好的网络模型，对输入图像进行显著性目标检测；步骤5.1构造测试图像数据集，使用训练好的神经网络进行显著性目标检测；步骤5.2使用三种评价指标，对训练好的神经网络进行性能评估；所述步骤1.1构造U型深度神经网络，还包括以下步骤：步骤1.1.1构造编码模块SE：包含6个编码块即SE1~SE6，编码块之间顺序连接，其中每一个编码块均包括Z型残差模块和最大池化层；步骤1.1.2构造连接模块L：包含1个连接块，连接块由顺序连接的3个Z型残差模块组成；步骤1.1.3构造解码模块DM：包含6个解码块即DM1~DM6，每个解码块由顺序连接的通道连接层、Z型残差模块和双线性上采样层组成；步骤1.1.4构造多尺度输出模块，包含1个卷积层和1个双线性上采样层；所述步骤1.1.1构造编码模块SE，其具体过程如下：步骤1.1.1.1构造Z型残差模块；步骤1.1.1.2构造最大池化层；步骤1.1.1.3将Z型残差模块和最大池化层顺序连接起来组成编码块；步骤1.1.1.4将构造好的6个编码块SE1~SE6顺序连接起来；步骤1.1.1.5编码块输出的特征映射通道数从16开始，不断翻倍，直至最后一个编码块变为1024，即为32，64，128，256，512，1024；所述步骤1.1.2构造L连接模块，其具体过程如下：步骤1.1.2.1构造Z型残差模块；步骤1.1.2.2将3个相同的Z型残差模块顺序连接起来；所述步骤1.1.3中所述构造解码模块DM，其具体过程如下：步骤1.1.3.1构造通道连接层；步骤1.1.3.2构造双线性上采样层；步骤1.1.3.3将6个解码块连接起来；步骤1.1.3.4将每个编码块的输出作为输入传到对应的解码块进行连接；所述步骤1.1.4中所述构造多尺度输出模块，其具体过程如下：步骤1.1.4.1定义卷积层；卷积层的卷积核大小为3×3，步长为1，Padding为1，输出的特征映射通道数对应连接模块和解码模块的输出为1024，512，512，512，256，128，64；步骤1.1.4.2定义双线性上采样层，对应其输出模块的通道为2，64，32，16，8，4，2；步骤1.1.4.3将卷积层和双线性上采样层顺序连接；步骤1.1.4.4将输出模块连接到对应的解码模块；所述步骤1.1.1.1、步骤1.1.2.1和步骤1.2中构造Z型残差模块的方法相同，其具体过程如下：步骤A定义卷积层，总共有3个卷积层，第一个卷积层的卷积核大小为1×1，步长为1，Padding为0；第二个卷积层的卷积核大小为3×3，步长为1，Padding为1；第三个卷积层的卷积核大小为1×1，步长为1，Padding为0；步骤B定义批标准化层；步骤C定义激活函数；步骤D将卷积层，批标准化层，激活函数顺序连接，通过残差连接组成Z型残差模块；所述步骤2.1中所述构造I型深度神经网络，其具体过程如下：步骤2.1.1定义6个I型残差模块；步骤2.1.2将I型残差模块顺序连接；所述步骤2.1.1中所述构造I型残差模块，其具体过程如下：步骤2.1.1.1定义卷积层，总共有3个卷积层，第一个卷积层的卷积核大小为1×1，步长为1，Padding为0；第二个卷积层的卷积核大小为3×3，步长为1，Padding为1；第三个卷积层的卷积核大小为1×1，步长为1，Padding为0；步骤2.1.1.2定义批标准化层；步骤2.1.1.3定义激活函数；步骤2.1.1.4将卷积层，批标准化层顺序连接，最后增加激活函数，通过残差连接组成I型残差模块；所述步骤2.2构造编码模块DE：包括依次连接的输入层、深层编码块DE1、深层编码块DE2、深层编码块DE3、深层编码块DE4、深层编码块DE5和深层编码块DE6，其具体步骤如下：步骤2.2.1构造I型残差模块，构造方法和步骤2.1相同；步骤2.2.2构造深层编码块DE1~DE6：均包括1个I型残差模块；所述步骤3.1中所述构造特征融合模块，其具体过程如下：步骤3.1.1定义6个分支残差融合块部分；步骤3.1.2对编码模块所提取的特征进行融合，融合块为CF1~CF6；所述步骤4.1中所述构建神经网络损失函数，其具体过程如下：步骤4.1.1定义三个不同类型的损失函数、和，分别为交叉熵损失函数、结构损失函数和交并比损失函数；步骤4.1.2构造网络的损失函数，具体形式为：,为结构损失函数的对比系数，为交并比损失函数的对比系数；所述步骤4.2中所述使用公开的、真实场景下的图像数据集，训练构造好的神经网络，其具体过程如下：步骤4.2.1获取公开的、真实场景下的图像数据集；步骤4.2.2调整网络的损失函数，训练神经网络；步骤4.2.3不断重复步骤4.2.2，直至模型收敛。

全文数据：

权利要求：

百度查询： 山西大学 一种多特征融合的显著性检测方法