买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京师范大学

摘要：本发明公开了一种基于优化交并比函数的道路抛洒物检测与识别方法，包括如下步骤：搭建基于优化交并比函数的道路抛洒物检测与识别模型；采集道路交通监控视频并进行分帧处理生成道路抛洒物数据集，对训练集图像进行标注，生成标签文件；将训练集全部图像和标签文件输入道路抛洒物检测与识别模型中进行训练，得到训练好的模型；将测试集图像输入训练好的道路抛洒物检测与识别模型进行检测识别，输出对于道路抛洒物的检测识别结果。本发明能够在复杂道路交通背景下对道路抛洒物进行检测和识别，能够输出道路抛洒物位置信息、类别信息以及大致形状特征，对于小目标有较好的检测识别效果，检测速度快、识别精度高。

主权项：1.一种基于优化交并比函数的道路抛洒物检测与识别方法，其特征在于：包括如下步骤：S1：搭建基于优化交并比函数的道路抛洒物检测与识别模型；S2：采集道路交通监控视频并进行分帧处理生成道路抛洒物数据集，对道路抛洒物数据集中的图像按比例划分存储为测试集图像和训练集图像，对训练集图像进行标注，生成标签文件；S3：将训练集全部图像和标签文件输入步骤S1的道路抛洒物检测与识别模型中进行训练，得到训练好的模型；S4：将道路交通监控视频分帧处理得到的测试集图像输入训练好的道路抛洒物检测与识别模型进行检测识别，输出对于道路抛洒物的检测识别结果；所述步骤S1中基于优化交并比函数的道路抛洒物检测与识别模型的搭建方法包括如下步骤：A1：构建基于空洞卷积优化的主干神经网络，主干神经网络通过对输入的训练集中的图像进行卷积得到输入图像中的特征图，提取出的特征图作为后续处理的输入；A2：构建多尺度处理模块，使用特征金字塔网络FPN进行多尺度处理；A3：构建基于优化交并比函数的目标检测与识别算法，目标检测与识别算法通过对经过多尺度处理的特征图进行目标检测与识别，得到边界框boundingbox信息与目标的类别信息；A4：构建掩膜分割分支：使用空间注意力引导掩膜生成空间注意力特征描述子，通过空间注意力引导特征去加强原始输入特征并对每一目标生成掩膜；所述步骤A3中基于优化交并比函数的目标检测与识别算法，由分类、边界框预测和中心度centerness三个分支构成；所述步骤A1具体为：主干神经网络使用残差网络ResNet50，残差卷积网络通过引入残差块，残差块的输入数据通过跳跃连接shortcutconnection进行直接映射，同时将输入数据进行卷积操作并通过线性修正单元ReLU进行激活运算，输出残差部分，ResNet50包括1个7x7x64的输入卷积和16个残差块，最后有一层用于分类输出的全卷积层，其中每一残差块包含3层卷积层，卷积时采用空洞卷积的方法进行优化，设定卷积核扩张率为3，最终输出5个不同阶段的特征图C1、C2、C3、C4、C5；所述步骤A2具体为：采用特征金字塔网络FPN进行多尺度处理，将经过主干神经网络卷积后得到的特征图C3、C4、C5进行1×1卷积得到F3、F4、F5，并将F5、F6再次进行步长为2的卷积得到F6、F7，输出5个阶段的特征图F3、F4、F5、F6、F7；所述步骤A3具体包括如下步骤：B1：令为经过主干神经网络和多尺度处理后第i层的特征图，其中H、W分别表示特征图的高度和宽度，Q表示所有待检测目标的类别数；通过4组卷积操作，其中每组包括步长为1的3×3卷积、群组归一化GroupNormalization和线性修正单元ReLU，对特征图进行边界框回归并使用优化交并比函数DIoU进行优化，生成边界框回归损失函数；B2：通过4组步长为1的3×3卷积对特征图进行分类，生成分类损失函数；同时通过中心度centerness分支来抑制低质量的检测边界框；B3：目标识别算法输出目标损失函数并通过自适应的感兴趣区域RoI分配机制来保证目标检测器对于小尺度目标的检测精度；所述步骤B1中边界框回归损失函数的计算过程为： 式中，B表示预测框，Bgt表示真实检测框，b、bgt分别表示预测框和真实框的中心点位置，ρ表示计算这两个中心点之间的欧式距离，l表示同时包含了预测检测框和真实检测框的最小闭包区域的对角线距离；所述步骤B2中中心度centerness的定义如下： 其中，minl*,r*表示取l*,r*中的最小值，maxl*,r*表示取l*,r*中的最大值，mint*,b*表示取t*,b*中的最小值，maxt*,b*表示取t*,b*中的最大值，中心度使用二值交叉熵进行训练，中心度的值在0到1范围内；所述步骤B3中输出的目标损失函数L{qx,y},{sx,y}所示如下： 式中，qx,y表示位置x,y预测得出的分类标签，表示位置x,y的真实类别，sx,y表示位置x,y所在的边界框坐标，表示位置x,y于回归的偏移向量，Npos表示正样本数量，Lcls表示分类损失函数，使用了焦点损失，Lreg表示边界框回归损失函数，λ设置为1用于平衡两类损失，Ι表示指示函数； 式5表示一种自适应的RoI分配机制，式中K表示感兴趣区域的映射关系，kmax表示对应的FPN层级，Ainput表示输入图像数据的面积，ARoI表示感兴趣区域的面积；所述步骤A4中掩膜分割分支的构建过程为：C1：将经过自适应的RoI区域分配机制预测得到的特征图馈送到四个3×3卷积转换层和空间注意模块中依次处理，得到空间注意力特征描述子，计算过程如下所示： 将经过目标检测输入掩膜分支的特征图定义为Xi，对输入特征图进行最大池化和平均池化之后得到的特征进行连接聚合，聚合后输入一个3×3的卷积层，并使用sigmoid函数进行归一化，式中，AsagXi表示输出的空间注意力特征描述子，C3×3表示进行3×3的卷积，符号表示进行连接聚合，σ表示sigmoid函数；C2：利用C1得到的空间注意力特征描述子生成空间注意力引导特征图，并使用2×2的卷积进行上采样，通过一个1×1卷积层预测特定类的掩膜； 空间注意力引导特征图Xsag的公式如上所示，其中，表示对元素进行对应乘积计算；C3：计算道路抛洒物检测与识别模型的损失函数：L＝Lcls+Lcenter+Lreg+Lmask8其中，L表示道路抛洒物检测与识别模型整体的损失函数，Lcls表示分类损失，Lcenter表示中心度损失，Lreg表示边界框回归损失，Lmask表示掩膜损失，采用二值交叉熵进行计算。

全文数据：

权利要求：

百度查询： 南京师范大学 一种基于优化交并比函数的道路抛洒物检测与识别方法