买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东锋士信息技术有限公司

摘要：本发明涉及一种基于样本混合和对比学习的弱监督图像语义分割方法，属于图像处理与识别、人工智能技术领域。将图像块特征序列输入Transformer网络中，训练阶段取第t层编码器的输出特征计算注意力传播权重，用得到的注意力分数对图像执行对偶图像混合，混合后输入后续的编码器得到最终的特征，计算总损失训练模型网络；测试阶段将测试样本输入各层编码器，计算所有层的注意力传播权重，将最后一层的输出特征分类，计算输出的图像块特征的类激活图，将注意力传播权重与类激活图融合优化，将优化后的类激活图转化成语义分割标签完成分割。本发明可以帮助模型有效降低噪声的影响，产生更强的鲁棒性，从而提高弱监督图像语义分割的性能。

主权项：1.一种基于样本混合和对比学习的弱监督图像语义分割方法，其特征是，包括步骤如下：S1.将图像预处理为图像块特征序列，划分数据集；S2.将图像块特征序列输入到有N层编码器的Transformer网络中，图像块特征序列每经过一层编码器则使用注意力传播算法计算每一层的注意力权重，得到每层注意力权重后计算获得注意力传播权重，根据注意力传播权重中分类向量与图像块特征的相关性分数得到图像块特征的注意力分数；每一层的注意力权重计算如下： ，其中是图像块特征序列Zl通过线性映射得到的特征表示，D是图像块特征的维度；得到注意力权重后将所有多头自注意力每个头的注意力值进行平均，通过如下方法计算注意力传播权重： ，其中I是单位矩阵，得到，t是随机确定的层数，Al+I是模拟的该层知识的传递，I代表了残差链接的知识流动，然后取出W中分类向量的分数，即第1行中除了第一个值之外的分数，得到计算的注意力传播权重中分类向量与其他图像块特征的相关性分数，即注意力分数；S3.在训练阶段，训练集输入后取第t层编码器的输出特征，将输出的每个样本的图像块特征序列进行随机打乱，并根据图像块特征的注意力分数对图像执行对偶图像混合；对偶图像混合为：首先获取到第t层的输出特征Zt以及其特征序列的注意力分数St，然后将一个批次的Zt平均分成两份Zt1和Zt2，St同样分成两份得到St1和St2，然后将Zt1和Zt2中每个样本的图像特征块序列进行随机打乱变为Zt1’和Zt2’，St1和St2按同样的打乱顺序得到St1’和St2’；接下来，将Zt1和Zt2’进行混合，混合的方式为在序列的同一个位置上，依据St1和St2’在该位置上大小，保留分数大的图像块特征，从而形成Zt12’，然后反过来，Zt1’和Zt2进行融合得到Zt1’2；S4.将样本对偶图像混合后的特征图在批次维度拼接起来并输入到后续的N−t层编码器中使其执行完编码过程，得到最终的特征表示Z’L，然后将Z’L中的第一个特征向量即分类向量CLStoken取出，输入到分类器并计算全局特征的交叉熵损失Lg；S5.Z’L中取出第一个特征向量后剩余的图像块特征，经全局平均池化后进入分类器并计算这些特征的交叉熵损失Lp；S6.Z’L中取出第一个特征向量后剩余的图像块特征，执行对比学习，计算图像块特征之间的余弦相似度，利用余弦相似度计算对抗损失；计算总损失，迭代更新模型网络；S7.在测试阶段，将测试样本输入训练后的模型网络中的各层编码器，计算所有层的注意力传播权重；将最后一层的输出特征线性处理平均池化后进行分类，计算输出的图像块特征的类激活图；将注意力传播权重与类激活图融合得到优化后的类激活图；通过二值化将优化后的类激活图转化成语义分割标签完成分割。

全文数据：

权利要求：

百度查询： 山东锋士信息技术有限公司 一种基于样本混合和对比学习的弱监督图像语义分割方法