申请/专利权人：江苏大学

申请日：2021-10-12

公开（公告）日：2024-06-11

公开（公告）号：CN113902915B

主分类号：G06V10/26

分类号：G06V10/26;G06V10/774;G06V20/56;G06V10/82;G06N3/0464;G06N3/08;G06F30/27;G06N3/045;G06N3/0475;G06N3/094

优先权：

专利状态码：有效-授权

法律状态：2024.06.11#授权;2022.01.25#实质审查的生效;2022.01.07#公开

摘要：本发明公开了一种基于低光照复杂道路场景下的语义分割方法及系统，本发明通过自动驾驶仿真平台和生成对抗网络分别进行合成数据采集和良好光照下的数据风格迁移工作，从而构建了不同的低光照数据集；本发明在SFNet网络的基础上,提出了一种新的语义分割算法来改善低光照场景下的分割性能，主要通过改进的Resnet50+结构作为骨干网络进行特征提取，在每一个Resnetblock引入通道‑空间注意力机制增强像素的表征能力并在上采样时，考虑到分辨率不同造成的差异引入特征对齐模块FAM，该模块可以学习高层低分辨率特征到浅层高分辨率的像素偏移从而实现像素的精准变化，从而最大可能避免细节丢失问题，最后通过引入多尺度注意力模块来进一步提高分割性能。本发明采用离线方法预训练语义分割网络从而提高系统的安全性。

主权项：1.一种基于低光照复杂道路场景下的语义分割系统，其特征在于，包括低光照数据集构建模块，语义分割网络模块，离线端对端训练模块和车载摄像头实时分割模块；所述的低光照数据集构建模块，用于获取复杂的低光照道路场景图片，该模块构建的低光照数据集包括基于仿真平台合成虚拟数据和真实场景数据风格转化后的数据，其中，基于仿真平台合成虚拟数据是利用仿真平台CRALA所采集的低光照数据，所述真实场景数据风格转化后的数据是使用CycleaGAN算法对现有的白天数据集CitySacpes进行低光照风格转换得到；所述的语义分割网络模块用于获取最后的标签图，即按照像素所属类别赋予其相应的类别标签，得到像素级别的分割结果；该模块采用改进的Resnet50+作为骨干特征提取网络，并在后面上采样时加入特征对齐模块，学习每个像素点的运动方向，在保留细节的同时逐层恢复图像的高分辨率避免像素的细节丢失问题，最后通过多尺度注意力模块进一步改善语义分割结果；所述的离线端对端训练模块用于根据像素级标注图片，对搭建的语义分割网络进行训练，使得损失函数最小，得到最佳的分割权重；所述的车载摄像头实时分割模块，通过车载摄像头获取实时的道路场景图片，并将其送入已经训练好的语义分割神经网络中，获取实时的低光照道路场景分割结果；所述语义分割网络模块中：编码器部分包括改进的骨干网络部分和金字塔池化部分，在逐层降低图片分辨率的同时获得更高层的特征图，并通过PPM扩大感受野得到全局的上下文信息；解码器部分包括4个带有特征对齐模块的解码器模块，根据给定的高维特征图和低维特征图，网络通过特征对齐模块学习每个像素点的运动方向，在尽可能保留细节的同时逐层恢复图像的高分辨率；原始图片经过该语义分割网络模块的编码器和解码器之后，通过由多个卷积层组成的且最后一层卷积通道数为类别数的分割头部分得到初始的分割结果；所述多尺度语义分割网络的注意力模块在训练时引入另外一个尺度图片作为网络模块的原始输入部分，并通过注意力机制允许网络学习相邻尺度间的相对注意力权重，然后将多个尺度的分割结果进行最佳融合；其中，针对该模块采取的分层操作，训练时只需要单独训练一个额外尺寸，额外尺寸选取为r＝0.5，训练过程表示为：L”r＝1＝UpLr＝0.5×Ar＝0.5+1-Ar＝0.5×Lr＝11 由于训练学习的是相邻尺度间的相对权重，模型的推理过程表示为： 其中r是缩放因子，r＝0.5表示缩小2倍，r＝2表示放大两倍；Up·表示上采样，Do·表示下采样；Attnα，Attnβ为学习到的注意力图；A·表示某尺度下的注意力图，为Attn·的某一维度；NormZ表示Z对于Attnβ的相对权重；L”·和L”'·分别表示两个尺度和三个尺度下位于Softmax函数前的logit概率值；X·表示某尺度下语义头之前的特征图；F3×3·、F1×1·分别表示3×3和1×1卷积。

全文数据：

权利要求：

百度查询： 江苏大学 一种基于低光照复杂道路场景下的语义分割方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD