申请/专利权人：电子科技大学

申请日：2024-04-10

公开（公告）日：2024-06-28

公开（公告）号：CN118261797A

主分类号：G06T3/4053

分类号：G06T3/4053;G06T7/10;G06N3/045;G06N3/0464;G06V10/44;G06V10/74;G06V10/80

优先权：

专利状态码：在审-公开

法律状态：2024.06.28#公开

摘要：基于融合神经网络的光场图像超分辨率模型训练方法，包括如下步骤：步骤1.准备训练数据集；步骤2.对训练数据集中的图片进行分割；步骤3.得到预处理后的图像数据；步骤4.通过非局部信息提取网络提取图像非局部信息；步骤5.通过局部信息提取网络，提取图像局部信息；步骤6.将步骤4输出输入到局部信息提取网络中进行交互；步骤7.将步骤4至6的输出结果叠加，得到神经网络最终输出的光场图像；步骤8.更换训练数据和神经网络参数，直至达到训练目标。本发明通过兼顾两种模型的各自优势，使得局部特征和全局特征进行交互，改善了单一神经网络模型细节缺失或峰值信噪比和结构相似性数据指标上表现不佳的问题。

主权项：1.基于融合神经网络的光场图像超分辨率模型训练方法，其特征在于，包括如下步骤：步骤1.准备训练数据集，所述训练数据集包括多个真实场景光场图像数据和合成光场图像数据；步骤2.对训练数据集中的原始光场图像场景图片进行分割，分割后的图像块降低分辨率；步骤3.将降低分辨率的图像块进行数量扩充后，得到预处理后的图像数据；步骤4.通过基于Transformer的非局部信息提取网络提取图像非局部信息，具体为：步骤41.将步骤3预处理后的训练数据输入到初始特征提取模块，进行初始特征提取，得到提取后的第一初始特征F1；步骤42.将得到的第一初始特征F1输入到顺序连接的多个非局部信息提取模块中，在第一初始特征F1上提取沿不同方向的四个极线图像的堆栈，包括θ＝0度、θ＝90度、θ＝45度和θ＝135度；步骤43.将提取到的沿不同方向的四个极线图像的堆栈输入到共享权值卷积层，提取出EPI信息；步骤44.将提取到的EPI信息连接到一个通道维度上，并对这些EPI特征进行上采样，生成输出的第一EPI特征；步骤45.将输出的第一EPI特征输入到水平极线特征深度提取模块中的水平极线模式重塑层中进行重塑；步骤46.将步骤45重塑得到的特征输入到基本Transformer模块中，通过第一线性化层来转换为标记序列Thor；步骤47.将标记序列Thor输入到基本Transformer模块中的第一归一化层中，得到归一化标记即LN表示归一化层计算；步骤48.将归一化标记输入到基本Transformer模块中的第一自注意力机制层，分别乘以查询矩阵WQ、键矩阵WK和值矩阵WV以生成相应的查询序列、键序列和值序列，即得到查询序列键序列与值序列步骤48.对查询序列Qhor和键序列Khor进行点乘，再通过Softmax函数来获得在水平EPI标记序列上的响应Ahor，即步骤49.响应Ahor的值，计算自注意力层输出Th'or，T'hor＝AhorVhor+Thor；步骤410.将自注意力层输出T'hor输入到基本Transformer模块中顺序连接的第二归一化层和第一多层感知层MLP中，再将第一多层感知层的输出与自注意力层输出T'hor相加，得到合并空间角度序列步骤411.将合并空间角度序列输入到基本Transformer模块中的第二线性化层中进行排布方式上的重塑；步骤412.将重塑后的特征输入到水平极线特征深度提取模块中的空间卷积模块进行深层次空间特征提取；步骤412.将重塑后的特征输入到水平极线特征深度提取模块中的空间卷积模块进行深层次空间特征提取，并将输出与步骤42中多方向极线特征提取模块的输入做跳跃连接；步骤413.将步骤45中“水平极线特征深度提取模块中的水平极线模式重塑层”替换为“垂直极线特征深度提取模块中的垂直极线模式重塑层”；将步骤412中的“水平极线特征深度提取模块”替换为“垂直极线特征深度提取模块”，重复步骤45至步骤412；并将步骤412的输出结果与上一次进行步骤41的输出结果做跳跃连接后作为非局部信息提取模块的输出；步骤414.将非局部信息提取模块的输出输入到基于空间-角度相关性的深层次特征提取模块中的下一个非局部信息提取模块中，并重复步骤42至步骤413的操作；步骤415.重复步骤414，直到最后一个非局部信息提取模块；步骤416.将步骤415的输出输入到基于Transformer的非局部信息提取模块中的上采样模块中，得到图像非局部信息；以步骤416得到的图像非局部信息，作为步骤4的输出结果；步骤5.通过第一基于卷积神经网络的局部信息提取网络，提取图像局部信息；具体为：步骤51.将步骤3预处理后的训练数据通过图像排布变换层由原始的子孔径图像排布方式转换为宏像素图像排布方式；步骤52.将宏像素图像输入到3×3卷积层中做空间特征的初始提取，得到第二初始特征F2；步骤53.将第二初始特征F2与步骤415中的输出做跳跃连接并融合，得到融合后的特征；步骤54.将融合后的特征输入到第一个混合特征提取模块中，所述混合特征提取模块中各个模块的作用如下：空间间特征提取模块，提取多个子孔径图像中空间像素的相关性；空间内特征提取模块，提取单个子孔径图像内部空间像素间的相似性；角度间特征提取模块，先通过角度间特征提取模块内的卷积层来提取多个宏像素区域内各角度像素的相关性，再通过二维像素变换层将生成的中间特征的尺寸还原为原始输入的光场图像大小；角度内特征提取模块，先通过角度内特征提取模块内的卷积层来提取单个宏像素区域内各角度像素的相似性，再通过二维像素变换层将生成的中间特征的尺寸还原为原始输入的光场图像大小；多方向极线特征提取模块，先通过光场图像排布变换层将宏像素图像转换为子孔径图像阵列，再在子孔径图像阵列上提取沿不同方向的四个极线图像堆栈，所述不同方向包括方位角θ＝0度、θ＝90度、θ＝45度和θ＝135度，将提取到的四个极线图像堆栈输入到共享权值卷积层，提取出EPI信息；再将提取到的EPI信息连接到一个通道维度上，最后利用二维像素变换层生成输出的第二EPI特征；步骤55.将步骤54中得到的第二EPI特征包含的各个特征分支输入到注意力融合模块中；得到重塑后特征F∈RAH×AW×5C；其中，A为光场图像的角分辨率；H和W分别为光场图像的空间分辨率，C为经过卷积得到的光场图像特征的层数；步骤56.将步骤55得到的重塑后特征F∈RAH×AW×5C输入到空间特征跳跃连接组中的第一个空间特征跳跃连接模块，空间特征跳跃连接模块内部数据处理过程为：步骤561.输入的重塑后特征F∈RAH×AW×5C先依次经过第一个步幅为1，膨胀为A的第六卷积层、ReLU函数激活层、第二个步幅为1，膨胀为A的第七卷积层；再使用全局平均池化层为每个特征图生成唯一的信道值；步骤562.使用第八和第九卷积层创建步骤561生成的信道值的交互，并将创建结果输入到sigmod函数层中；步骤563.最后将sigmod函数层的输出与步骤561中第二个步幅为1，膨胀为A的第七卷积层的输出做点乘，并将点乘的结果与步骤561中输入的重塑后特征F∈RAH×AW×5C做跳跃连接；步骤563跳跃连接后的结果作为步骤56的输出；步骤57.将第一个空间特征跳跃连接模块的输出输入到空间特征跳跃连接组中的下一个空间特征跳跃连接模块，并重复步骤56；步骤58.重复步骤57，直到最后一个空间特征跳跃连接模块；步骤59.将步骤58的输出结果，即最后一个空间特征跳跃连接模块的输出结果输入到下一个混合特征提取模块中，并重复步骤54至步骤58的操作；步骤510.重复步骤59的操作，直到最后一个混合特征提取模块，并将输出结果与步骤53的融合后的特征做跳跃连接并输出；步骤511.将步骤510的输出结果，即空间特征跳跃连接组的输出结果输入到基于卷积神经网络的局部信息提取模块的上采样模块中；以步骤511中上采样模块输出数据作为步骤5的输出结果；步骤6.将步骤415中的输出输入到第二基于卷积神经网络的局部信息提取网络的第四卷积层中，并与步骤510的输出结果做跳跃连接并融合，再重复步骤54至步骤511的操作；以步骤6中的步骤511上采样模块输出数据作为步骤6的输出结果；步骤7.分别将步骤4、步骤5和步骤6的输出结果，即赋予不同的权重并进行叠加，叠加后将叠加结果从YCbCr空间转化到RGB彩色空间，得到神经网络最终输出的光场图像；步骤8.将步骤7得到的光场图像与对应的训练数据集中的原始光场图像计算损失函数，更换训练数据和神经网络参数，直至达到训练目标。

全文数据：

权利要求：

百度查询： 电子科技大学 基于融合神经网络的光场图像超分辨率模型及其训练方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD