买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜福州大学申请的专利基于困难类别感知机制的夜间街景语义分割方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116883667B 。

龙图腾网通过国家知识产权局官网在2025-05-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310958101.9，技术领域涉及：G06V10/26；该发明授权基于困难类别感知机制的夜间街景语义分割方法是由刘文犀;蔡家鑫;李琦;林心代;于元隆设计研发完成，并于2023-08-01向国家知识产权局提交的专利申请。

本基于困难类别感知机制的夜间街景语义分割方法在说明书摘要公布了：本发明的目的是提出基于困难类别感知机制的夜间街景语义分割方法。利用曝光纹理图，通过梯度反向传播，使得编码器隐式的学习图像中的曝光特征和纹理特征，同时使用困难类别感知模块加强困难类别语义分割网络对困难类别的识别和定位能力，有效地提高了夜间街景语义分割算法的性能。

本发明授权基于困难类别感知机制的夜间街景语义分割方法在权利要求书中公布了：1.一种基于困难类别感知机制的夜间街景语义分割方法，其特征在于，通过基于困难类别感知机制的夜间街景语义分割模型输出的语义分割掩码图进行夜间街景语义分割，包括以下步骤：步骤S1：将夜间街景数据集划分为训练集和测试集，对数据集中的夜间城市景观图像和对应标签进行数据预处理；步骤S2：在主体语义分割网络的基础上，构建隐式感知曝光纹理的辅助分支，通过梯度反向传播，使得网络中的编码器隐式地学习图像中的曝光特征和纹理特征；步骤S3：构建困难类别语义分割网络和困难类别感知模块，其中困难类别感知模块利用主体语义分割网络的特征以加强困难类别语义分割网络编码器对困难类别的识别和定位能力，最后将两个网络的分割结果融合；步骤S4：构建基于困难类别感知机制的夜间街景语义分割的训练管道，使用该管道和训练集图像训练基于困难类别感知机制的夜间街景语义分割模型；步骤S5：将夜间街景的测试图像输入到训练好的基于困难类别感知机制的夜间街景语义分割模型中，输出对应的语义分割掩码图；步骤S3具体包括以下步骤：步骤S31：将主体语义分割网络的编码器中的四层特征图与来自困难类别语义分割网络的编码器中的四层特征图作为困难类别感知模块的输入，分别为主体语义分割网络与困难类别语义分割网络第i层编码器提取的特征；步骤S32：在困难类别语义分割网络的每层编码器前加入困难类别感知模块，对第i层的特征计算亲和力矩阵以增强对困难类别的识别和定位，模块的输出为增强感知困难类别的特征具体表达式如下： 其中⊙表示矩阵逐元素乘法，Si表示第i层特征计算的亲和力矩阵；步骤S4具体包括以下步骤：步骤S41：以SwinTransformer-UperNet语义分割网络作为基础，分别构建主体语义分割网络和困难类别语义分割网络：对于主体语义分割分支，以SwinTransformer作为编码器，以对步骤S1预处理之后的夜间街景图像进行特征提取，得到四个尺度不同、通道数不同的特征图{F1,F2,F3,F4}；将四个特征作为输入送入UperNet解码器中，将特征解码为语义分割掩码图，并将S2步骤中构建的曝光纹理辅助分支插入到网络的编码器之后，以得到曝光纹理图，使编码器隐式地学习图像中的曝光特征和纹理特征；网络的输入为夜间街景图像I以及对应的标签Lall，网络的输出为两张图像：夜间街景语义分割掩码图Pall和曝光纹理分割图I；步骤S42：记步骤S41中构建的网络为M，为了进一步加强模型对困难类别的语义分割能力，增加困难类别语义分割网络H，网络H的网络结构在网络M的基础上，为了增强对困难类别的感知能力，增加S3步骤中构建的困难类别感知模块，困难样本语义分割网络H的输入为夜间街景图像I以及对应的标签Lhard，其中Lhard代表标签中仅含有困难类别，非困难类别均被设置为背景类别；困难类别语义分割网络H的输出为夜间街景语义分割困难类别掩码图Phard；步骤S43：将经过步骤S1的训练集中的某个批次的图像和对应的标签先输入至S41步骤的网络中进行训练，预测得到夜间街景语义分割掩码图和曝光纹理图，接着冻结住S41步骤的网络参数联合训练S42步骤中的网络，得到夜间街景困难类别语义分割掩码图；步骤S44：根据主体语义分割网络M的损失函数，利用反向传播方法计算网络中各参数的梯度，并利用随机梯度下降方法更新参数；网络的损失函数Lmain如下：Lmain＝lossce+lossaux lossaux＝lossexp+lossspa+losssem 其中，Lmain为网络M的损失函数，lossce代表交叉熵损失函数；lossaux代表曝光纹理辅助损失函数，由曝光损失lossexp、空间一致性损失lossspa、语义亮度一致性损失losssem组成；对于曝光损失lossexp，M表示非重叠局部区域的数量，Yk表示曝光纹理分割图中局部区域的平均强度值，E为假定的良好曝光水平的平均强度值；对于空间一致性损失lossspa，K是局部区域的数量，ωi是以区域i为中心的上、下、左、右四个相邻区域，Y、I分别表示为增强图像和普通图像中局部区域的平均强度值；对于语义亮度一致性损失losssem，S表示语义预测的类别数，θs表示为属于类别s的像素索引集合，表示曝光纹理分割图像IH在像素点i的强度水平，Bs表示类别s的平均强度水平；步骤S45：根据困难类别语义分割网络H的损失函数，利用反向传播方法计算网络中各参数的梯度，并利用随机梯度下降方法更新参数；网络的损失函数L如下：Lhard＝lossce步骤S46：以批次为单位重复步骤S43至步骤S45，直至步骤S35中计算得到的损失值收敛并趋于稳定，保存网络参数，完成困难类别感知机制的夜间街景语义分割网络的训练过程。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人福州大学，其通讯地址为：350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。