申请/专利权人：天津大学

申请日：2024-04-19

公开（公告）日：2024-06-18

公开（公告）号：CN118212134A

主分类号：G06T3/4053

分类号：G06T3/4053;G06T3/4046;G06N3/0464;G06N3/096

优先权：

专利状态码：在审-公开

法律状态：2024.06.18#公开

摘要：本发明公开了一种基于自适应特征迁移的混合镜头光场重建方法，属于图像信号处理技术领域；一种基于自适应特征迁移的混合镜头光场重建方法，具体包括如下步骤：S1、建立训练的测试混合镜头光场图像数据集；S2、设计基于S1混合镜头光场重建算法；S3、训练模型；S4、将测试集中低分辨率的混合镜头光场图像输入到模型中，得到相应的高分辨率的重建结果；本发明提出了一种基于自适应特征迁移的混合镜头光场重建方法，实现了高性能的端到端混合镜头的光场高分辨率重建，一定程度上缓解了光场图像空间和角度分辨率受限的问题。

主权项：1.一种基于自适应特征迁移的混合镜头光场重建方法，其特征在于，包括以下步骤：S1、建立用于训练和测试的混合镜头的低分辨率-高分辨率光场图像数据对：选择公开的光场数据集，用于合成混合镜头的光场数据，并生成用于测试和训练的数据对；选择真实的混合镜头光场数据，用于验证模型性能；S2、设计方案：设计混合镜头光场图像超分辨率重建方案，具体包括如下内容：A1、浅层特征提取模块设计：浅层特征提取模块将输入的混合镜头光场图像的中心视角和边缘视角分别映射到高维特征空间；对于中新高分辨率视角，所述浅层特征提取模块由一个卷积核为1×1的卷积层、一个LeakyReLU激活函数、两个残差块和一个3×3卷积层组成；对于边缘低分辨率视角，所述渐层特征提取模块由一个卷积层和LeakyReLU激活函数组成；A2、自适应特征迁移模块设计：通过双线性插值算法提高边缘视角特征FLRu,v的分辨率，其中u，v代表角度坐标；将边缘视角特征FLRu,v与中心视角特征FHR级联，经过一个3×3卷积层、一个LeakyReLU函数和一个1×1卷积层得到一组偏移Ou,v，利用Ou,v从FHR采样高频特征；将采样后的特征进行聚合，聚合后的特征通过像素重排操作降低分辨率，然后与FLRu,v在通道维度级联之后进行特征融合；假设φ是自适应特征迁移策略，则上述过程表示为： 将基于偏移的采样和聚合操作看作为一个卷积核的采样偏移和偏移后的像素的卷积操作，具体公式表示如下： 其中，p表示中心视角特征FHR的任意空间位置，pn∈{-1,-1,-1,0,…,1,1}为卷积操作的采样方格；表示Ou,v上p位置对应的偏移；w表示卷积核权重；表示u,v坐标下采样和聚合后得到的特征；A3、空间角度交叉注意力模块设计：对将A2中自适应迁移后的特征进行细化，将分别重排为空间特征LS∈RU×V×C×H×W，角度特征LA∈RH×W×C×U×V，并在相应的特征上做卷积进行特征提取，然后利用空间特征学习一系列注意力图，与角度特征进行点积运算；所述角度特征也学习一系列注意图与空间特征进行点积运算，具体操作如下公式所示：LS’＝ConvSLA×LS+LS3LA’＝ConvALS×LA+LA4其中,ConvS和ConvA分别表示由两个1×1卷积和一个LeakyReLU函数组成的权重学习网络；两个输出特征LS’和LA’级联之后通过一个1×1的卷积层进行融合；A4、分别部署两次A2和A3所述的步骤，进行渐进式的特征迁移和细化；A5、高分辨率光场重建模块设计：将A2中所得的输出特征送入一个卷积层，一个像素重排层和一个卷积层后输出高空间角度的分辨率光场图像；对于8倍率的重建任务，利用中间层特征进行一次2倍率的上采样。S3、搭建、训练模型：基于S2中所设计的重建方案来搭建重建模型，利用深度学习框架Pytorch编写代码，在数据集上进行训练，训练结束保存测试性能最优的模型；S4、输出结果：将测试集中的低分辨率的光场图像输入到S3中训练完的重建模型中，得到相应的高分辨的输出结果。

全文数据：

权利要求：

百度查询： 天津大学 一种基于自适应特征迁移的混合镜头光场重建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD