申请/专利权人：江西财经大学;盛景智能科技(嘉兴)有限公司

申请日：2024-04-18

公开（公告）日：2024-06-28

公开（公告）号：CN118072026B

主分类号：G06V10/26

分类号：G06V10/26;G06V10/44;G06V10/52;G06V10/82;G06V20/58;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2024.06.11#实质审查的生效;2024.05.24#公开

摘要：本发明提出一种基于多尺度上下文的全景图像分割方法与系统，该方法以彩色全景图像作为输入，基于局部卷积进行特征提取，并同时在特征提取过程中引入全局上下文信息，得到带有场景上下文的基础特征从带有上下文的基础特征中获取尺度不变的稳定语义信息，并通过保留语义信息中的空间结构而形成稳定语义特征图；从稳定语义特征图中计算出全局注意力信息，并编码为类别信息；利用类别信息引导稳定语义特征图分割，获取粗分割图，再对粗分割图进行上采样，得到精细全景分割图。本发明能够从较为广角的全景图像中获取较精确的语义分割结果，可为自动驾驶、场景分析等应用任务提供技术支持。

主权项：1.一种基于多尺度上下文的全景图像分割方法，其特征在于，所述方法包括如下步骤：步骤1、以彩色全景图像作为输入，基于局部卷积进行特征提取，并同时在特征提取过程中引入全局上下文信息，得到带有场景上下文的基础特征；步骤2、从带有上下文的基础特征中获取尺度不变的稳定语义信息，并通过保留语义信息中的空间结构而形成稳定语义特征图；步骤3、从稳定语义特征图中计算出全局注意力信息，并编码为类别信息；步骤4、利用类别信息引导稳定语义特征图分割，获取粗分割图，再对粗分割图进行上采样，得到精细全景分割图；稳定语义特征图包括第一稳定语义特征图和第二稳定语义特征图，获取第一稳定语义特征图的方法具体包括如下步骤：将带有场景上下文的基础特征输入卷积金字塔进行多尺度信息提取；利用普通卷积从多尺度信息中计算出跨尺度的第一稳定语义特征图，第一稳定语义特征图的计算过程存在如下关系式： ；其中，分别代表膨胀率不同输出通道数相等的空洞卷积层，代表全局池化，代表沿着特征通道联结后进行卷积操作，代表第一稳定语义特征图，代表基础特征；获取第二稳定语义特征图的方法具体包括如下步骤：获取多尺度信息中的小尺度特征和大尺度特征，其过程存在如下关系式： ；其中，代表小尺度特征，代表大尺度特征；对小尺度特征进行注意力计算，以获取小尺度注意力图，其过程存在如下关系式： ；其中，分别代表参数个数相同但扩张率不同的空洞卷积层，代表矩阵转置，代表基于矩阵乘法与矩阵变形的关系计算操作，代表小尺度注意力图，代表沿着通道的归一化，用于将所得的关系矩阵映射到0~1之间成为注意力；通过将小尺度注意力图应用于大尺度特征，进而从多尺度特征中提取出跨尺度的第二稳定语义特征图，第二稳定语义特征图的计算过程存在如下关系式： ；其中，代表第二稳定语义特征图，代表逐元素相加，代表1×1卷积，代表逐点相乘；通过逐点相乘，以将中小尺度特征中算出的注意力图应用于大尺度特征，从而得到第二稳定语义特征图；在所述步骤3中，从稳定语义特征图中计算出全局注意力信息，并编码为类别信息的方法具体包括如下步骤：通过池化操作将第二稳定语义特征图对齐，并映射为类别编码，具体计算方法如下所示： ；其中，代表类别编码，代表一维池化操作，用于将特征向类别空间对齐；代表基于可分离卷积的特征映射，由一个逐深度卷积、一个逐点卷积、批归一化与非线性激活组成；对类别编码中进行类别粗计算，得到类别信息，具体计算方法如下： ；其中，代表类别信息，分别代表的批索引、编码数索引、编码维度索引，代表特征总数，代表特征维度数，代表类别的第类索引，代表将第维特征编码到第个类别的编码层参数；在所述步骤4中，利用类别信息引导稳定语义特征图分割，获取粗分割图的方法具体包括如下步骤：对类别信息进行映射，获取分类输出，对类别信息进行映射的过程存在如下关系式： ；其中，代表全连接层；代表分类输出，将维度为的类别信息映射为维度的分类输出；代表批中的样本数，代表输出类别，代表类别信息的维度，且；通过逐点相乘将分类输出的类别信息与第一稳定语义特征图进行融合，以将分类结果作为稳定语义的校正掩码，从而获得粗分割图，获取粗分割图的计算过程存在如下关系式： ；其中，代表在宽和高方向复制，使得维度匹配能够相加；代表逐元素相加，与分别代表特征图的高与宽，代表融合了类别信息与稳定语义的粗分割图，且，通过将的维度复制扩展为与的维度一致。

全文数据：

权利要求：

百度查询： 江西财经大学;盛景智能科技(嘉兴)有限公司 基于多尺度上下文的全景图像分割方法与系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD