申请/专利权人：武汉大学

申请日：2022-04-21

公开（公告）日：2024-04-26

公开（公告）号：CN114862732B

主分类号：G06T5/50

分类号：G06T5/50;G06T5/60;G06N3/0464;G06N3/0455;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2022.08.23#实质审查的生效;2022.08.05#公开

摘要：本发提供了一种融合事件相机与传统光学相机的合成孔径成像方法，该方法融合了两种相机在合成孔径成像应用中的优势，通过构建基于脉冲神经网络和卷积神经网络的神经网络架构，构建事件流与图像帧之间的桥梁，并重建出高质量的无遮挡目标图像帧，完成在多种密集程度遮挡场景中的高质量穿透成像任务。本发明综合利用了事件相机与传统光学相机的优势，以及使用了神经网络强大的的学习能力，从而实现目标在多种密集遮挡场景中的高质量图像重建，进一步增强了合成孔径成像技术的鲁棒性与可应用性。

主权项：1.一种融合事件相机与传统光学相机的合成孔径成像方法，其特征在于，包含以下步骤：步骤1，在有遮挡场景中构建多视角事件流与图像帧数据集，并在无遮挡场景中构建图像帧数据集；步骤2，选定参考相机位置，根据多视图几何原理，将多视角事件流和图像帧映射至参考相机位置，对被遮挡目标进行重聚焦，得到重聚焦后的事件流与图像帧数据集；步骤3，构建混合神经网络模型，将重聚焦后的事件流进行压帧得到事件帧，将未聚焦的事件流进行预重建处理得到预重建事件帧并进行重聚焦，与重聚焦后的图像帧数据集一同作为训练集输入至混合神经网络模型中，得到网络预测后的目标重建图像，并结合目标的无遮挡图像以及网络学习损失函数，通过ADAM优化器迭代优化网络参数，得到训练后的混合神经网络模型；步骤3中所述的混合神经网络模型包括以下几个模块：多模态编码模块，跨注意力增强模块，密度感知模块以及多模态解码模块；其中多模态编码模块包括多个卷积层或脉冲层，用于进行特征提取；跨注意力增强模块包括多个交叉注意力的Transformer模块，用于对提取的特征进行多次增强；密度感知模块包括对增强的特征与原始的特征进行特征级联，然后经过卷积层、全局平均池化、全局最大池化、全连接层，最后进行加权求和输出融合后的特征；多模态解码模块为现有的卷积神经网络架构，用于根据融合后的特征进行图像重建；步骤4，将待重建的被遮挡目标事件流与图像帧输入训练后的混合神经网络模型进行预测，得到被遮挡目标对应的去遮挡重建图像；混合神经网络模型输入的压帧后的重聚焦事件帧FE，r，重聚焦图像帧Fr以及重聚焦事件流预重建事件帧FE→F，r将首先以三条支路输入多模态编码模块进行粗特征提取：fF，0，fE，0，fE→F，0＝MF-EncoderFr，FE，r，FE→F，r其中，fF，0，fE，0，fE→F，0分别代表从Fr，FE，r，FE→F，r中提取得到的粗特征，MF-Encoder·代表多模态编码操作，其分别对三路信号进行特征提取；对于Fr，FE→F，r两路信号，均使用包含跳跃连接的三层卷积层架构进行特征提取；对于FE，r信号，使用包含跳跃链接的三层脉冲层进行特征提取；接下来，使用跨注意力增强模块对特征进行增强：fF，M，fE，M，fE→F，M＝CMEfF，0，fE，0，fE→F，0其中，fF，0，fE，0，fE→F，0为多模态编码模块输出的三路特征，fF，M，fE，M，fE→F，M为跨注意力增强后的三路特征，CME·为跨模态增强操作，包含M个交叉注意力的Transformer模块对特征进行多次增强，该过程表示为：fF，m，fE，m，fE→F，m＝C-TransformerfF，m-1，fE，m-1，fE→F，m-1，m∈[1，M]其中，fF，m-1，fE，m-1，fE→F，m-1为输入第m个交叉注意力Transformer模块的三路特征，fF，m，fE，m，fE→F，m为输出的三路特征，C-Transformer·代表交叉注意力Transformer的特征增强操作，其分别对每一路信号首先进行归一化，并计算各自的注意力信息，通过将三路信号的注意力信息相加融合实现跨模态信息增强，并利用多层感知机进行特征增强，输出增强后的特征fF，m，fE，m，fE→F，m；接下来，使用密度感知模块对三路特征进行加权融合：fALL＝DAFfF，M，fE，M，fE→F，M，Fr，FE，r，FE→F，r其中，fF，M，fE，M，fE→F，M为跨注意力增强模块中输出的三路已增强特征，Fr，FE，r，FE→F，r为输入的三路原始信号，fALL为融合后输出的特征，DAF·为密度感知融合操作，输入的特征将首先和对应的原始输入在特征维度上级联，并输入单层卷积层中进行特征提取，然后使用全局平均池化和全局最大池化分别对三路特征提取均值和最大值，并输入到全连接层中计算权值，最后对三路信号进行加权求和，输出融合后的特征fALL；最后，使用多模态解码模块对特征进行解码，输出最终的亮度重建图像：Irecon＝MF-DecodefALL其中，fALL为密度感知模块输出的融合后特征，Irecon为重建得到的亮度图像，MF-Decoder·为多模态特征解码操作。

全文数据：

权利要求：

百度查询： 武汉大学 一种融合事件相机与传统光学相机的合成孔径成像方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD