买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京工业大学

摘要：本发明公开了基于双自注意力机制的监控视频卡车分割方法，本方法充分利用特征图的空间信息与通道信息，采用EM算法减少计算量，同时在分割效果上提升性能，实现目标的像素级别分割。将本方法运用于重型卡车数据集上，对比其他方法，平均分割准确率提高了2.07％；将本方法运用于公开数据集PascalVOC2012上，平均分割准确率也高于其他方法，体现了本方法的优越性。本方法提出的空间注意力模块中融合了全局上下文信息，减少了空间维度的信息损失；通道注意力模块采用低秩重建的方式重构特征图，减少重复无用特征图的干扰。实验证明，双自注意力机制在卡车分割上精度上有一定提升。

主权项：1.基于双自注意力机制的监控视频卡车分割方法，其特征在于：本方法充分利用特征图的空间信息与通道信息，采用EM算法减少计算量，同时在分割效果上提升性能，实现目标的像素级别分割；具体实现步骤如下：1图像数据获取及标注处理；1a利用监控摄像头SDK，获取采集到的待分割的原始道路场景图像；1b从监控视频中获取原始的道路场景图，采用手工标注方式标注出卡车的位置；1c根据待分割的原始道路场景图像和预设的场景语义分割模型获得对应的预测语义分割图像；2模型构建与训练训练模型由三部分组成；第一部分采用Resnet101为骨干网络实现特征提取；第二部分是通道自注意力模块，该模块将第一部分得到的特征图reshape成N×C后，与预设的通道基相乘，之后通过softmax层获得通道自注意力图Z1，将Z1与通道基相乘更新特征图；第三部分是空间自注意力模块，该模块分为两个分支，上分支用于计算全局上下文信息，下分支用于计算空间注意力信息；将第一部分得到的特征图输入两个分支，上分支将经由自适应全局平均池化层获得特征图的全局上下文信息，下分支将特征图reshape成N×C后，与预设的空间基相乘，之后通过softmax层获得空间自注意力图Z2，将Z2、通道基和全局上下文信息相乘更新特征图；通道自注意力图与通道基、空间自注意力图与空间基的更新过程中借鉴EM算法的思想，加速自注意力网络的收敛；最后将第一、二、三部分的特征图融合，输入全连接网络获得最终的分割结果；训练过程中，将步骤1获得的原始图像和语义分割图像输入到网络训练即可；3图像分割结果展示与分割图像显示；运用预测值与真实值进行比对，从而得到分割结果，计算出分割准确率，并将分割图像实时显示；通道注意力模块的损失函数为Loss1，空间注意力模块的损失函数为Loss2，Loss1跟Loss2均为SoftMaxCrossEntropy损失函数所定义，公式如下： 其中，i∈{1，2，3…，21}，为标签图像中属于第i类的概率值，即真实分布值，yi为语义分割模型输出预测属于第i类的概率值，即预测分布值，yi由SoftMax函数定义，如下所示 其中，j∈{1，2，3…，21}；最终训练网络的损失函数为Loss合，如下公式

全文数据：

权利要求：

百度查询： 北京工业大学 基于双自注意力机制的监控视频卡车分割方法