买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院自动化研究所

摘要：本发明提供一种半监督的红外图像分割方法，包括：搭建图像分割子网络，该图像分割子网络以红外图像作为输入，提取特征，并将特征变换为像素级的类别预测；搭建辅助分割子网络，该辅助分割子网络直接使用预训练的SAM构建，以无标注的红外图像以及提示信息作为输入，预测伪标签；训练红外图像分割网络，在少量的有标注数据以及较多的无标注数据上定义整体优化目标，并通过梯度下降算法优化红外图像分割网络参数；所述红外图像分割网络包括步骤1的图像分割子网络和步骤2的辅助分割子网络；评估红外图像分割网络效果，在测试集上对每一张红外图像进行推理，并根据真实标注信息计算分割精度。本发明提供能够节约数据标注的成本。

主权项：1.一种半监督的红外图像分割方法，其特征在于，包括如下步骤：步骤1：搭建图像分割子网络，该图像分割子网络以红外图像作为输入，提取特征，并将特征变换为像素级的类别预测；对于有标注的红外图像，定义图像分割损失，用于该图像分割子网络的训练；步骤2：搭建辅助分割子网络，该辅助分割子网络直接使用预训练的SAM构建，以无标注的红外图像以及提示信息作为输入，预测伪标签；所述伪标签将用于辅助分割子网络的训练；所述辅助分割子网络为无标注的红外图像生成一个伪标签，该伪标签用作图像分割子网络的辅助监督信号；采用SAM作为辅助分割子网络；所述SAM具有一个图像编码器、一个提示编码器和一个掩码解码器；图像编码器以图像为输入，抽取图像的视觉特征；提示编码器以用户提示为输入，得到提示的表征；采用框提示表征提示；掩码解码器以图像特征和提示表征作为输入，通过多层交叉注意力机制，预测目标的分割掩码；所述步骤2包括伪标签的生成和使用，具体包括：步骤2.1图像扩充：对于原始的输入图像，利用种图像扩充操作得到一系列的扩充图像：，；对于扩充图像，分别使用图像编码器提取特征：；给定一组提示框，假设第个提示框表示为，经过提示编码器之后的表征表示为；将特征和表征一同送入掩码解码器得到个预测掩码，n；步骤2.2框提示生成：对于无标注的输入图像，基于步骤1得到其预测分割图；对于第类，得到其对应的二值预测图，其第个位置的值定义为：如果满足，则=1，否则=0；其中，表示预测分割图在像素位置处预测为第l类的概率；对于每个二值预测图依次进行如下处理：1使用连通区域搜索算法找到二值预测图中的全部连通区域；2计算每个连通区域的面积，删掉面积小于预设值的连通区域；3计算每个连通区域中全部像素预测为类别的概率的平均，表示为该连通区域属于类别的概率；删掉概率小于预设值的连通区域，剩余的连通区域的集合记为；4对连通区域的集合中的每个连通区域进行膨胀操作，膨胀核的半径为；经过上述操作，最终得到全部连通区域，表示为集合；排除掉背景类即的情况；对于集合中的第个连通区域，计算其最紧的包围盒，得到框提示，其中，、、、和分别表示该提示框中心点的水平坐标、垂直坐标、框的宽度、框的高度和框所属的类别；表示并集；步骤2.3伪标签融合：对于原始的输入图像的扩充图像，在输入框提示为的情况下，SAM输出预测掩码；基于，使用均值融合的方式，得到更为精确的掩码预测作为伪标签： ；其中，是与图像扩充变换相反的操作，用于从扩充图像的伪标签恢复出原图对应的伪标签；的第像素的值表示该像素属于框提示所包含的目标的概率；为扩充图像的数量；表示扩充图像的序号；步骤2.4对于无标注的红外图像，使用伪标签作为训练目标，并引入如下损失函数： ；其中，表示预测分割图的第个通道；表示从预测分割图中截取出框提示所对应的空间区域；表示集合中元素的数量；表示二值交叉熵损失，定义为： ；其中，和分别表示二维矩阵和的第位置的值；步骤3：训练红外图像分割网络，在少量的有标注数据以及较多的无标注数据上定义整体优化目标，并通过梯度下降算法优化红外图像分割网络参数；所述红外图像分割网络包括步骤1的图像分割子网络和步骤2的辅助分割子网络；步骤4：评估红外图像分割网络效果，在测试集上对每一张红外图像进行推理，并根据真实标注信息计算分割精度。

全文数据：

权利要求：

百度查询： 中国科学院自动化研究所 一种半监督的红外图像分割方法