买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门大学

摘要：本发明提供一种面向指向性目标分割的半监督学习方法，包括：将RES的三个主流数据集分别拆分为有标数据和无标数据，有标数据包含图文对和分割的真实掩码，无标数据只包含图文对；利用SAM离线地构建了一个分割掩码候选库，分割掩码候选库包含了对无标数据中无标图片的多尺度候选分割；在预热阶段：使用带标签的数据对预训练模型进行训练，训练结束后保存模型参数赋值给教师和学生模型；在师生迭代互相学习阶段：将无标图像输入教师模型得到伪标签，从分割掩码候选库中获取与伪标签最匹配的分割掩码替换伪标签，得到优化后的伪标签，以监督学生的训练；同时，有标数据继续有监督学习。本发明有效提高伪标签掩码质量，同时提高未标注数据的利用率。

主权项：1.一种面向指向性目标分割的半监督学习方法，其特征在于：所述方法包括：步骤S1、在数据拆分阶段：将RES的三个基准数据集分别拆分为有标数据和无标数据，所述有标数据包含图文对和分割的真实掩码，无标数据只包含图文对；步骤S2、利用SAM离线地构建了一个分割掩码候选库，所述分割掩码候选库包含了对无标数据中无标图片的多尺度候选分割；步骤S3、在预热阶段：使用带标签的数据对预训练模型进行训练，训练结束后保存模型参数，并赋值给教师模型和学生模型进行模型的初始化；步骤S4、在教师模型与学生模型迭代互相学习阶段：将无标图像输入教师模型得到伪标签，从分割掩码候选库中获取与伪标签最匹配的分割掩码，将其替换伪标签中掩码，得到优化后的伪标签，以监督学生模型的训练，将无标图像输入学生模型得到学生模型预测；同时，对有标数据继续进行有监督学习，教师模型与学生模型同时训练、相互学习、共同进步；所述步骤S3中预热阶段模型训练过程的优化目标定义如下： 其中，表示模型对第i张带标签图像的第j个像素的预测掩码，表示相应的真实掩码值，表示二元交叉熵损失，H和W表示第i张有标图像的高度和宽度；在完成预热阶段之后，将训练好的模型参数赋值到互相学习阶段的教师模型和学生模型中，为后续的训练过程做好准备，如下所示：θt←θ,θS←θ其中，θt，θs，θ分别表示教师模型、学生模型和预热阶段模型的参数；所述步骤S4中的“从分割掩码候选库中获取与伪标签最匹配的分割掩码”具体方式如下：预先设置对应的优化伪标签的策略，根据原始伪标签从分割掩码候选库中选择合适的由SAM生成的候选掩码去优化伪标签；所述优化伪标签的策略包括基于IoU的最优匹配策略和合成部分集成策略CPI；对于伪标签中存在噪声的情况，采用所述基于IoU的最优匹配策略进行伪标签优化，对于伪标签中存在欠分割和过分割问题，采用合成部分集成策略CPI；所述基于IoU的最优匹配策略进行伪标签优化，具体包括：计算伪标签与SAM生成的每个分割之间的相似性，识别具有最高相似性得分的分割，确保它与整体目标掩码紧密对齐，相似性度量使用交并比度量IoU，用于量化两个区域之间的重叠程度： 其中，表示教师模型对第i张无标签图像的第j个像素生成的预测掩码；表示SAM对第i张无标签图像生成的第k个掩码上第j个像素的标签值，当分数sk超过特定的阈值IoUrate时，匹配的最佳掩码将替换伪标签；所述合成部分集成策略CPI，具体包括：当伪标签存在欠分割问题时，即对目标实例覆盖不完整，存在部分区域像素缺少激活时，在候选库中识别较大的区域，以修正伪标签，此时选择基于伪标签与候选掩码的重叠区域占伪标签的比率，计算如下： 其中，∈是平滑因子，用于防止分母为零，当重叠比率超过预定义的阈值inter1时，选择由SAM生成的第k个分割表示为SAM对第i张无标签图像生成的第k个掩码上的标签值，然后和第k-1个分割构建的细化后的伪标签求并集以替换原始伪标签，这种方法称为CPI-U；相反，当伪标签存在过分割问题时，即引入了错误的区域到分割掩码中，此时利用SAM的分割功能来过滤掉额外的噪声，选择基于伪标签与候选掩码的重叠区域占候选掩码的比率，计算如下： 当比率超过设定的阈值inter2时，选择由SAM生成的第k个分割并将其整合以细化伪标签，这种方法称为CPI-O；当两种优化伪标签的策略计算出的候选的分数都未达到一定阈值时，表明SAM生成的分割与当前伪标签不匹配，则使用原始伪标签，并采用基于像素级别的调整策略PWA根据像素置信水平分配不同权重，具体如下：将像素置信度转化为权重的映射函数Ψ的定义如下： 其中，γ、σ2和μ是超参数，分别设置为1.3、0.1和0.5，因此，第i张无标签图像的损失定义如下： 其中，和分别表示学生模型和教师模型对第i张无标图像的第j个像素的预测掩码。

全文数据：

权利要求：

百度查询： 厦门大学 一种面向指向性目标分割的半监督学习方法