申请/专利权人:江苏开放大学(江苏城市职业学院)
申请日:2024-02-02
公开(公告)日:2024-04-30
公开(公告)号:CN117952184A
主分类号:G06N3/0895
分类号:G06N3/0895;G06N3/096
优先权:
专利状态码:在审-实质审查的生效
法律状态:2024.05.17#实质审查的生效;2024.04.30#公开
摘要:本发明提出一种基于对比损失的两步骤带噪标签样本学习方法,该方法针对现有两步骤噪声样本学习方法LongReMix存在的问题,如类别数较多的噪声数据集表现较差,对噪声类型敏感等,首先引入鲁棒性损失函数预训练两个模型以减轻对噪声类别的敏感性,其次在两个步骤中均引入对比损失与SSL技术结合,使模型可以学习更多无标签样本的特征信息从而提高模型鲁棒性。
主权项:1.一种基于对比损失的两步骤带噪标签样本学习方法,其特征在于,包括:步骤1、选择相同结构的两个DNN模型,定义其为第一DNN模型和第二DNN模型;基于给定的初始噪声标签数据集对两个DNN模型进行第一次预训练和第一次正式训练;所述初始噪声标签数据集由图片样本和图片样本的含噪声标签组成;通过第一次预训练得到具有初步判别能力的第一DNN模型和第二DNN模型后,在第一次正式训练中,利用所述第一DNN模型和第二DNN模型从初始噪声标签数据集中筛选干净样本,以构建干净样本集,并将干净样本的索引标记为True值;步骤2、重新初始化所述的两个DNN模型,基于给定的初始噪声标签数据集对初始化后的两个DNN模型进行第二次预训练和第二次正式训练;通过第二次预训练得到具有初步判别能力的第一DNN模型和第二DNN模型后,在第二次正式训练的每轮迭代中:利用第一DNN模型标记初始噪声标签数据集的样本,将在第一DNN模型的标记结果中索引为True值或属于所述干净样本集的样本均放入第一有标签集合,将初始噪声标签数据集的其余样本放入第一无标签集合;利用第二DNN模型重新标记初始噪声标签数据集的样本,将在第二DNN模型的标记结果中索引标记为True或属于所述干净样本集的样本放入第二有标签集合,将初始噪声标签数据集的其余样本放入第二无标签集合;对第一DNN模型,基于第二有标签集合和第二无标签集合进行半监督及对比损失计算后,进行后向传播更新第一DNN模型参数;对第二DNN模型,基于第一有标签集合和第一无标签集合进行半监督及对比损失计算后,进行后向传播更新第二DNN模型参数;训练结束,获得两个最终的DNN模型。
全文数据:
权利要求:
百度查询: 江苏开放大学(江苏城市职业学院) 一种基于对比损失的两步骤带噪标签样本学习方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。