申请/专利权人:浙江工业大学
申请日:2024-03-22
公开(公告)日:2024-06-25
公开(公告)号:CN118247598A
主分类号:G06V10/774
分类号:G06V10/774;G06V10/143;G06V10/25;G06V10/74;G06V10/764;G06V10/766;G06V10/80;G06V10/82;G06N3/045;G06N3/0464;G06N3/0895;G06N3/094;G06N3/126
优先权:
专利状态码:在审-公开
法律状态:2024.06.25#公开
摘要:本发明公开了一种基于交叉对比学习的后融合伪装方法和装置,方法包括以下步骤:预训练对比学习模型并提取其优化后的骨干网络构建目标检测模型;结合差分进化算法生成对抗性补丁,将添加对抗性补丁的多模态的图像分别输入多模态的目标检测模型,构建包括对比损失、目标检测损失和感知损失及正则项的总对抗性损失,优化对抗性补丁;基于优化后的对抗性补丁生成对抗样本输入目标检测模型得到多模态的检测结果,再将多模态的检测结果输入后融合模型中得到最终检测结果并对隐身效果进行评估。本发明在提高对抗样本隐身效果的同时也能够揭示后融合模型在安全性和鲁棒性方面的弱点,适用于自动驾驶、机器人技术、安防、隐私保护领域等多种应用场景。
主权项:1.一种基于交叉对比学习的后融合伪装方法,其特征在于,包括以下步骤:预训练用于学习图像特征的对比学习模型,构建对比损失度量正样本对的相似性和负样本对的差异,基于对比损失优化对比学习模型,提取优化后对比学习模型的骨干网络构建用于图像识别的目标检测模型;基于目标检测模型和差分进化算法生成对抗性补丁对图像中的目标进行伪装,将添加对抗性补丁的多模态的图像分别输入多模态的目标检测模型得到目标的置信度分数,构建包括对比损失、基于置信度分数的目标检测损失和基于对抗性补丁的感知损失及正则项的总对抗性损失,基于总对抗性损失优化对抗性补丁;将优化后的对抗性补丁添加到多模态的图像上生成对抗样本,将对抗样本输入多模态的目标检测模型得到多模态的检测结果,再将多模态的检测结果输入后融合模型中进行融合得到最终检测结果,根据多模态的检测结果和最终检测结果对对抗样本中目标的隐身效果进行评估。
全文数据:
权利要求:
百度查询: 浙江工业大学 一种基于交叉对比学习的后融合伪装方法和装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。