买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京大学

摘要：本发明公布了一种基于稀疏预测的端到端的行人搜索方法，构建行人搜索模型，基于目标检测模型设计行人重识别分支，使用行人边界框在特征金字塔网络中进行感兴趣区对齐操作，得到对应行人的固定大小的特征图，再采用线性层从特征图中抽取出用于行人重识别的特征；且在目标检测中使用特征金字塔网络的所有输出特征，而在行人重识别中则只使用特征金字塔网络中分辨率最高的最底层的输出特征，使得行人搜索效果达到最优；利用训练图像数据集训练行人搜索模型；使用训练好的行人搜索模型对待搜索的图像进行行人搜索。本发明方法流程简单、方法高效，且行人搜索实时性良好。

主权项：1.一种基于稀疏预测的端到端的行人搜索方法，构建行人搜索模型，基于目标检测模型设计行人重识别分支，使用行人边界框在特征金字塔网络中进行感兴趣区对齐操作，得到对应行人的固定大小的特征图，再采用线性层从特征图中抽取出用于行人重识别的特征；且在目标检测中使用特征金字塔网络的所有输出特征，而在行人重识别中则只使用特征金字塔网络中分辨率最高的最底层的输出特征，使得行人搜索效果达到最优；利用训练图像数据集训练行人搜索模型；使用训练好的行人搜索模型对待搜索的图像进行行人搜索；包括如下步骤：1）构建行人搜索模型；行人搜索模型的输入为图像，模型输出为图像中每个行人的边界框和重识别特征；构建模型结构包括：骨干网络、特征金字塔网络、检测分支和重识别分支；重识别分支包含感兴趣区对齐和线性层结构；使用SwinTransformer作为骨干网络，从输入的图像中抽取多层次的特征图，得到的特征图，记为{F1,F2,F3,F4}；将特征图{F1,F2,F3,F4}在特征金字塔网络中进行融合，得到与{F1,F2,F3,F4}尺寸相同的新的特征图，记作{P1,P2,P3,P4}；使用SparseR-CNN作为检测分支，对特征图{P1,P2,P3,P4}进行回归预测，得出图像中的行人的边界框；SparseR-CNN检测分支中每个查询向量和每个查询框一一对应；查询向量和查询框内的图像特征通过SparseR-CNN中的动态卷积进行交互，即使用查询框对应的图像特征动态地生成卷积核，再对每个查询向量进行加权；11）骨干网络用于从输入的图像中抽取得到多层次的特征图；12特征金字塔网络用于将特征图进行进一步的融合，得到新的特征图：13）检测分支使用一组查询向量和查询框对特征图进行行人检测，输出图像中每个行人的边界框；14）重识别分支根据行人边界框从特征金字塔网络的输出特征中提取和输出用于重识别的行人特征；包括如下过程：141）首先，对于特征金字塔网络输出的特征图的某层中的行人边界框进行感兴趣区对齐操作，得到对应于每个行人的固定尺寸的二维特征；然后将二维特征拉平，变成一维特征；再使用线性层压缩维度，得到每个行人在该层的重识别特征；142）扩展到多层特征图：在两层特征图上分别采用步骤141）的方法，抽取出两层特征图相应的两个重识别特征，再将两个重识别特征求和、归一化，作为输出的重识别特征；2）利用训练图像数据集训练步骤1）构建的行人搜索模型，采用在线实例匹配OIM作为模型训练的损失函数；训练行人搜索模型中的重识别分支时，包括：在模型训练的前半周期，同时使用输入图像中真实标注的行人边界框和经模型检测分支输出的行人边界框训练重识别分支；在模型训练的后半周期，只使用检测分支输出的行人边界框作为重识别分支的输入，来训练重识别分支；3）使用训练好的行人搜索模型对待测搜索的图像进行行人搜索，包括：31）通过行人搜索模型中的检测分支进行行人检测：32）使用行人搜索模型中的独立的重识别分支进行行人重识别特征的抽取；4）使用模型输出的行人边界框和行人重识别特征，通过计算行人重识别特征之间的余弦相似度，判定相应的行人边界框内是否为同一个行人，从而实现行人搜索。

全文数据：

权利要求：

百度查询： 北京大学 一种基于稀疏检测的端到端的行人搜索方法