买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明涉及一种基于多尺度局部描述符聚合网络的跨视角跨模态地理定位方法，属于定位技术领域。设计了一种跨视角地理定位网络模型，首先，坐标注意力对输入特征图行列加权优化特征细节，特征压缩模块负责压缩特征图尺寸，去除冗余的通道信息，并压缩编码长度，多尺度注意力融合模块则将两个不同尺度的特征利用注意力加权后融合，提升了多尺度融合效果。针对三元组损失训练中后期小批量内缺少有价值的难样本导致训练停滞的问题，设计了一个跨批量难样本挖掘方法，根据当前网络状态从队列中挖掘最难的负样本，扩大了难样本挖掘范围，并实时更新队列描述符，使得网络可以更加关注卫星图像和街景图中难以区分的局部特征细节，提升最终的检索精度。

主权项：1.一种基于多尺度局部描述符聚合网络的跨视角跨模态地理定位方法，其特征在于步骤如下：步骤1：图像预处理并输入网络步骤1.1：对卫星图像S进行极坐标变换，并将其转换为与地面图像相同尺寸，得到Spolar；步骤1.2：将极坐标卫星图像Spolar和地面图像G输入两个并行的类孪生VGG16主干网络的第四个块和第五个块，通过第四个块提取高低层图像特征通过第五个块提取高低层图像特征步骤2：将特征图输入局部多尺度特征注意力模块步骤2.1：将和分别输入到特征压缩模块，即经过一个2×2最大池化和3×3卷积减少特征图尺寸，再经过一个1×1卷积减少冗余的通道信息，得到和步骤2.2：将和沿通道方向拼接后，送入多尺度注意力融合模块学习到各自的空间权重后，再对进行和加权相加后得到最终的特征图Fs，将Fs展开拉成向量，即可得到最终的描述符Ds；和也按相同操作输入到另一个不共享权重的多尺度注意力融合模块，进行相同操作后，可得到Dg；步骤3：进行批量内难样本挖掘步骤3.1：进行批量内难样本挖掘，初始网络参数设为θ0，网络训练损失函数采用软间隔加权三元组损失，训练初期只进行小批量内的难样本挖掘，设置四个难样本挖掘阶段，每个阶段的难样本挖掘比例不同，随着训练的深入，不断减少难样本挖掘比例；根据当前训练损失值的大小判断是否进入难样本挖掘的下一个阶段，每个阶段通过网络反向传播改变网络参数，四个阶段网络参数变化依次记为θ0→θ1→θ2→θ3→θ4；步骤4：实现跨批量难样本挖掘步骤4.1：开辟两个队列Qsat和Qgrd，Qsat存储每个小批量生成的卫星描述符Ds和对应的图像类别标签Ls,Qgrd则存储每个小批量生成的地面描述符Dg和对应的图像类别标签Lg；步骤4.2：当最后一个批量内难样本挖掘阶段结束时，进行跨批量的难样本挖掘来更新此时的参数θ4，此时每个小批量的样本生成的描述符Ds和Dg将会被存储进队列Qsat和Qgrd；利用当前小批量内的正样本和锚样本描述符和队列中的所有负样本描述符计算相似度，据此为当前小批量内的每个正样本在队列中挖掘最难的负样本并获取对应的标签Ls和Lg，将对应的卫星和地面图像重新加载进网络作为负样本，生成新的描述符，与小批量内正样本和锚样本的描述符计算三元组损失；步骤4.3：将重新加载进网络的负样本所生成的描述符放到对应队列Qsat和Qgrd中，更新队列Qsat和Qgrd；步骤4.4：重复以上步骤，当队列满时，出队最早进队的描述符，更新队列Qsat和Qgrd；步骤4.5：按照以上步骤遍历训练数据集中所有图像，计算损失并反向传播，更新网络权重，得到最终的网络参数θf；步骤5：进行推理测试步骤5.1：利用训练得到的网络参数θf进行推理实现跨视角地理定位，将测试集中的查询图像和参考图像输入训练好的网络进行测试，得到查询图像描述符集合和参考图像描述符集合；步骤5.2：为每一张查询图像按照其描述符寻找与其描述符最为相似的卫星图像描述符，并用卫星图像描述符的地理位置作为查询图像的地理位置实现地理定位。

全文数据：

权利要求：

百度查询： 西北工业大学 基于多尺度局部描述符聚合网络的跨视角跨模态地理定位方法