买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：芜湖辛巴网络科技有限公司

摘要：本发明公开一种基于属性信息和大型基础模型的车辆目标检测方法，主干网络获取图像的原始特征；使用区域建议模块生成候选区域，由感兴趣区域对齐模块将候选区域与原始特征图对齐获得视觉特征；基于候选区域从原始图像中裁剪候选区域图像；通过视觉特征增强模块来提取各个候选区域图像的特征，得到增强特征；将视觉特征与增强特征拼接获得最终视觉表示；通过损失约束视觉表示和语义表示更相似，从而对齐视觉表示和语义表示来弥补语义的差异。本发明通过视觉特征增强模块增强主干网络提取的原始图像特征，通过属性表示学习模块将候选区域的属性向量组融合统一，最后采用利用对比学习方法来对齐视觉表示和语义表示来弥补语义的差异。

主权项：1.一种基于属性信息和大型基础模型的车辆目标检测方法，其特征在于，包括以下步骤：步骤1、获取原始图像，并将原始图像输入主干网络，由主干网络提取获得原始特征图；步骤2、对于步骤1所得原始特征图，先使用区域建议模块生成一组候选区域，然后通过感兴趣区域对齐模块将候选区域的位置坐标在原始特征图中对应的区域进行池化，池化为固定尺寸，获得视觉特征Fr；对于区域建议模块生成的一组候选区域，同时从原始图像中裁剪出候选区域图像，得到候选区域图像集；步骤3、对于步骤2所得候选区域图像集，通过视觉特征增强模块来提取各个候选区域图像的特征，进而增强步骤1所得原始特征图，得到候选区域图像对应的增强特征步骤4、使用属性表示学习模块获得候选区域的属性表示，具体方法为：步骤4.1、使用大语言模型T5对车辆的属性词进行编码，得到文本特征；步骤4.2、将增强特征和文本特征共同输入预训练的属性预测网络，预测得到每个候选区域图像对应的属性信息，即候选区域的预测属性；步骤4.3、通过门控循环单元将每个候选区域的属性特征转换为统一的语义属性表示Va，即属性向量；步骤5、将视觉特征Fr与增强特征沿通道拼接，获得最终视觉表示Fv，将最终视觉表示Fv输入到分类头和回归头，获得检测结果；然后，计算每个候选区域的最终视觉表示Fv和语义属性表示Va之间的余弦嵌入损失，通过余弦嵌入损失约束视觉表示和语义表示更相似，从而对齐视觉表示和语义表示来弥补语义的差异。

全文数据：

权利要求：

百度查询： 芜湖辛巴网络科技有限公司 基于属性信息和大型基础模型的车辆目标检测方法