申请/专利权人：武汉工程大学

申请日：2024-04-02

公开（公告）日：2024-06-25

公开（公告）号：CN117974478B

主分类号：G06T5/60

分类号：G06T5/60;G06T5/50;G06N3/0455;G01J3/28;G02B27/00

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2024.05.21#实质审查的生效;2024.05.03#公开

摘要：本发明提供一种可见光至近红外高光谱图像重构方法及系统，涉及计算成像技术领域；方法包括：构建的数字棱镜模型和补偿网络，通过反向设计网络对液晶微透镜阵列参数进行更新和优化，制备优化液晶微透镜阵列，并通过优化液晶微透镜阵列和基础成像部件搭建优化光场成像装置，通过优化光场成像装置采集目标场景的图像，通过反向设计网络、补偿网络和数字棱镜模型得到软硬件协同优化的高光谱重构网络，通过高光谱重构网络对目标场景的图像进行重构，生成可见光至近红外高光谱图像。通过对目标场景的图像进行光谱重构，将光谱从可见光范围扩展到近红外范围，能够在降低成本的同时，高效率且高精度的重构出可见光至近红外高光谱图像。

主权项：1.一种可见光至近红外高光谱图像重构方法，其特征在于，包括如下步骤：通过液晶微透镜阵列和基础成像部件搭建光场成像装置，通过所述光场成像装置对目标场景进行图像采集，得到初始光场图像和初始偏振图像；基于波动光学理论模拟光通过棱镜的传播过程构建数字棱镜模型，基于transformer架构构建补偿网络；通过所述数字棱镜模型和所述补偿网络对所述初始光场图像和所述初始偏振图像进行重构，生成高光谱图像；构建反向设计网络，通过所述反向设计网络对所述高光谱图像进行反向预测，得到液晶微透镜阵列参数，所述液晶微透镜阵列参数用于作为制备优化液晶微透镜阵列的参数，并通过所述优化液晶微透镜阵列和所述基础成像部件搭建优化光场成像装置；通过所述优化光场成像装置对目标场景进行图像采集，得到光场图像和偏振图像，通过所述数字棱镜模型和所述补偿网络对所述光场图像和所述偏振图像进行重构，生成可见光至近红外高光谱图像；所述基于波动光学理论模拟光通过棱镜的传播过程构建数字棱镜模型，具体为：通过卷积神经网络构建初始数字棱镜模型，所述初始数字棱镜模型包括用于并行处理数据的卷积层和归一化层；基于波动光学理论模拟光通过棱镜的传播过程，得到棱镜相位变化函数、入射波前函数和出射波前函数，通过所述棱镜相位变化函数、所述入射波前函数和所述出射波前函数对所述卷积层进行改进，得到由光谱卷积核组成的光谱卷积层，并将所述光谱卷积层替换所述卷积层，最终得到数字棱镜模型；所述通过所述数字棱镜模型和所述补偿网络对所述初始光场图像和所述初始偏振图像进行重构，生成高光谱图像，具体为：通过所述光谱卷积层对所述初始光场图像进行光谱特征提取，生成初始光谱特征图，通过所述归一化层对所述初始偏振图像进行纹理特征提取，得到归一化层的缩放系数与偏置项，将所述缩放系数与所述偏置项加入到所述初始光谱特征图中，生成初始高光谱图像；通过所述补偿网络对所述初始高光谱图像进行优化，生成高光谱图像；所述基于transformer架构构建补偿网络，具体为：将自注意力模块、残差模块和横向规范化层依次连接，得到transformer层；所述transformer架构包括五个transformer层、两个下采样层和两个上采样层，构建补偿网络的过程为：将第一transformer层与第一下采样层连接，将所述第一下采样层与第二transformer层连接，将所述第二transformer层与第二下采样层连接，将所述第二下采样层与第三transformer层连接，将所述第三transformer层与第一上采样层连接，将所述第一上采样层与第四transformer层连接，将所述第四transformer层与第二上采样层连接，将所述第二上采样层与第五transformer层连接，最终得到补偿网络；所述通过所述补偿网络对所述初始高光谱图像进行优化，生成高光谱图像，具体为：通过所述第一transformer层对所述初始高光谱图像进行向量特征提取，得到第一光谱特征图，通过所述第一下采样层对所述第一光谱特征图进行下采样操作，通过所述第二transformer层对第一下采样层得到的特征图进行向量特征提取，得到第二光谱特征图，通过所述第二下采样层对所述第二光谱特征图进行下采样操作，通过所述第三transformer层对第二下采样层得到的特征图进行向量特征提取，得到第三光谱特征图，通过所述第一上采样层对所述第三光谱特征图进行上采样操作，通过所述第四transformer层对第一上采样层得到的特征图进行向量特征提取，得到第四光谱特征图，通过所述第二上采样层对所述第四光谱特征图进行上采样操作，所述第五transformer层对第二上采样层得到的特征图进行向量特征提取，得到高光谱图像，其中，每层transformer层对输入的图像的处理过程为：通过自注意力模块对输入的图像进行加权求和，得到光谱权重特征图像，通过残差模块对所述光谱权重特征图像进行残差特征提取，得到光谱残差特征图像，通过横向规范化层对所述光谱残差特征图像进行标准化处理，得到每层transformer层对应的光谱特征图。

全文数据：

权利要求：

百度查询： 武汉工程大学 一种可见光至近红外高光谱图像重构方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD