申请/专利权人：西北工业大学

申请日：2024-05-22

公开（公告）日：2024-06-21

公开（公告）号：CN118230362A

主分类号：G06V40/10

分类号：G06V40/10;G06N3/0455;G06N3/088;G06V10/44;G06V10/762;G06V10/776

优先权：

专利状态码：在审-公开

法律状态：2024.06.21#公开

摘要：本发明提供了一种基于视角自适应机制的目标重识别方法，首先在训练阶段将图像送到使用低秩适应调优Transformer，通过领域可泛化重识别算法和预训练模型的知识利用，结合低秩适应调优和注意力机制，实现视角自适应的目标重识别技术，利用视觉的空间信息，采用卷积运算将视觉特征嵌入到查询向量、键向量和值向量中，再对经过注意力机制的特征进行伪标签的生成，使用伪标签对进行训练，动态更新整个模型。本发明将低秩调优和独立的注意力分支相结合，以保持预训练的知识并减少过拟合，解决了现有模型在交叉视角行人匹配方面由于姿态和视角的多样性带来的困难。

主权项：1.一种基于视角自适应机制的目标重识别方法，其特征在于包括下述步骤：步骤1：构建重识别的基准网络；步骤2：构建低秩适应调优模块；步骤3：注意力分支；在预训练模型后加入独立注意力分支，用于适应训练数据并进行伪标签的预测，注意力分支包括一个自注意力模块和多层感知器模块；采用卷积将视觉特征嵌入到查询向量Q，键向量K和值向量V中，给定从Transformer主干提取的特征，注意力分支进行的特征提取写为： ； ； 为卷积投影运算，是被注意力分支提取的特征，scale是标度参数，Softmax是一个激活函数，将任一实数转换成0到1之间的一个概率，MLP为多层感知器，然后使用预定义伪标签，并使用生成的伪标签指导经过低秩适应调优的主干网络；步骤4：伪标签生成并二次调优；首先利用步骤3生成的特征预测伪标签，采用密度聚类算法对特征进行聚类，由于域泛化重识别模型在同一相机拍摄的行人图像具有很强的匹配能力；相同相机视图捕获的图像准确聚类，在匹配不同相机的行人图像方面有显著的局限性，导致不同相机的同一行人图像被错误的分配到不同的伪标签；二次优化是缓解这种情况的，达到对齐由不同相机捕获的同一个体的图像，确保它们是一致的；步骤5：损失函数和模型的整体调优；损失函数的计算过程为，在主干网络最后一层提取的特征经过一个平均池化层，将步骤4生成的伪标签和主干网络提取的图像特征计算三元组损失；并且将经过注意力机制的特征用于计算三元组损失；每十轮计算一次经过注意力机制的特征的伪标签的预测；仅对低秩适应模块和注意力模块的参数进行调优，其余的模块都被冷冻；总损失的计算函数表示为： ；其中表示三元组损失；表示主干网络最后一层提取的特征，表示从注意力模块提取的特征；步骤6：模型的测试经过步骤1-步骤5，对预训练的DG-ReID模型完成二次优化，提高了模型的跨视角能力；在测试阶段直接丢弃注意力分支模块，用训练阶段优化后的DG-ReID模型对不同数据集或场景进行测试，以评估其性能和泛化能力，即使用主干网络最后一层提取的特征进行测试。

全文数据：

权利要求：

百度查询： 西北工业大学 基于视角自适应机制的目标重识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD