买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本申请是关于一种适用于边缘部署的类注意力跨域景象匹配方法，属于图像处理技术领域。包括：构建跨域景象匹配模型，包括相连接的特征提取网络和回归约束网络；利用公开图像数据集对特征提取网络进行预训练，得到特征提取网络的预训练权重；获取多个跨域图像，并进行数据增强处理，得到跨域景象数据集；利用跨域景象数据集对跨域景象匹配模型进行训练和验证，得到最终输出结果；根据最终输出结果，进行图像匹配算法推理，得到实时景象图和卫星影像图的跨域景象匹配结果。本申请能够提高无人机在应对全天候景象匹配时的稳定性，尤其提高了无人机在应对红外光和可见光之间进行跨域景象匹配时的鲁棒性，降低了边缘端部署难度，提升了实时解算速度。

主权项：1.一种适用于边缘部署的类注意力跨域景象匹配方法，其特征在于，包括以下步骤：构建跨域景象匹配模型，所述跨域景象匹配模型包括相连接的特征提取网络和回归约束网络；利用公开图像数据集对所述特征提取网络进行预训练，得到所述特征提取网络的预训练权重；获取多个跨域图像，并对所有所述跨域图像进行数据增强处理，得到跨域景象数据集，所述跨域景象数据集包括跨域景象训练集和跨域景象测试集，所述跨域景象训练集和所述跨域景象测试集分别包含多张实时景象图和多张卫星影像图；利用所述跨域景象训练集对所述跨域景象匹配模型进行训练，对所述预训练权重进行微调，并利用所述跨域景象测试集对训练后的所述跨域景象匹配模型进行验证，得到最终输出结果；根据所述最终输出结果，进行图像匹配算法推理，得到所述实时景象图和所述卫星影像图的跨域景象匹配结果；构建所述特征提取网络的步骤包括：将多个尺寸为k×k的大核卷积分别拆分为依次连接的DConv卷积核、Conv卷积核和Conv1×1卷积核；在所述Conv1×1卷积核的后面依次添加批归一化层、激活函数GELU和裁剪层；所述Conv1×1卷积核、所述批归一化层、所述激活函数GELU、所述裁剪层、所述DConv卷积核，以及所述Conv卷积核共同构建成类注意力模块；所述特征提取网络包括具有相同结构和参数的两路网络，其中，每一路所述网络均包括多个所述类注意力模块；所述DConv卷积核表示尺寸为kd×kd的空洞卷积核，其中，d表示膨胀系数，k表示卷积系数；所述Conv卷积核表示尺寸为2d-1×2d-1的局部卷积核；所述Conv1×1卷积核表示尺寸为1×1的点卷积核；所述特征提取网络中每一路所述网络的表达式均为：{CNN3,7,1,2BR}-{LKA64,13,3,1BGC}-{LKA128,13,3,1BGC}-{LKA320,9,2,1BGC}-{LKA512,9,2,1BGC}其中，CNN表示CNN卷积层，LKA表示大核卷积拆分所构建的类注意力模块，小括号中的四个数字依次表示通道数量、卷积系数、膨胀系数和步长，B表示批归一化层，R表示激活函数RELU，G表示激活函数GELU，C表示裁剪层；所述类注意力模块的表达式为：LKAx＝Conv1×1DConvConvFn，其中，LKAx表示大核卷积拆分所构建的类注意力模块输出的第x个特征图，Fn表示类注意力模块输入的第n个特征向量，Conv·表示计算局部卷积核，DConv·表示计算空洞卷积核，Conv1×1·表示计算点卷积核。

全文数据：

权利要求：

百度查询： 西北工业大学 一种适用于边缘部署的类注意力跨域景象匹配方法