买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南昌航空大学

摘要：本发明公开了基于生成对抗网络用于不规则遮挡的虹膜图像修复方法，方法包括：设计虹膜图像数据集预处理算法；对虹膜图像数据集进行无交叉的划分；设计用于融合虹膜图像高级语义特征和低级语义特征模块；设计关注虹膜图像全局上下文信息模块；设计不规则遮挡虹膜图像修复模型；基于融合虹膜图像高级语义特征和低级语义特征模块和关注虹膜图像全局上下文信息模块，并结合虹膜图像的特征，设计不规则遮挡虹膜图像修复模型；训练不规则遮挡虹膜图像修复模型并进行虹膜图像修复。本发明能够扩充虹膜图像中有限的信息，且能有效提高对不规则遮挡的虹膜图像的修复性能。

主权项：1.一种基于生成对抗网络用于不规则遮挡的虹膜图像修复方法，其特征在于：具体步骤如下：步骤S1：设计虹膜图像数据集预处理算法；步骤S2：对虹膜图像数据集进行无交叉的划分；步骤S3：设计用于融合虹膜图像高级语义特征和低级语义特征模块；步骤S4：设计关注虹膜图像全局上下文信息模块；步骤S5：设计不规则遮挡虹膜图像修复模型：基于步骤S3中融合虹膜图像高级语义特征和低级语义特征模块和步骤S4中关注虹膜图像全局上下文信息模块，并结合虹膜图像的特征，设计不规则遮挡虹膜图像修复模型；步骤S6：训练不规则遮挡虹膜图像修复模型并进行虹膜图像修复；步骤S3中设计用于融合虹膜图像高级语义特征和低级语义特征模块，具体做法是：步骤S31，由通道注意力和空间注意力作为基础结构，通道注意力通过全局平均池化和全局最大池化将输入的低级语义特征进行压缩，以获得每个通道的全局信息；步骤S32，通过多层感知机和S型激活函数，与低级语义特征相乘来加权不同通道的特征图，获得关注重要通道的特征图，其公式如1所示； 1；其中，为低级语义特征的重要通道特征图，为低级语义特征，为S型激活函数，和分别为平均池化操作和最大池化操作，和分别为两个卷积层权重；步骤S33，空间注意力将低级语义特征的重要通道特征图在通道维度上进行最大池化和平均池化，通过一个卷积层和S型激活函数与低级语义特征的重要通道特征图相乘得到具有重要空间位置的低级注意力特征，其公式如2所示； 2；其中，为重要空间位置特征图，为卷积核为大小的卷积操作，为特征图合并操作；步骤S34，同时，高级语义特征通过一个卷积层和S型激活函数得到高级注意力特征，最后将低级语义特征与高级语义特征处理后的数据相乘融合得到高低语义特征，其公式如3所示； 3；其中，为融合虹膜图像高级语义特征和低级语义特征模块输出，为卷积核为大小的卷积操作，为高级语义特征；步骤S4中设计关注虹膜图像全局上下文信息模块，具体做法为：步骤S41，关注虹膜图像全局上下文信息模块包含一个计算结构，计算结构由两条相互连接的路径组成：一条路径在部分输入特征信道上进行普通卷积的局部路径，另外一条路径在频谱域中工作的全局路径；步骤S42，计算结构将输入数据的信道划分为两个分支：局部分支和全局分支，对应为局部路径和全局路径的输入；步骤S43，关注虹膜图像全局上下文信息模块对编码层特征和解码层特征分别进行计算结构处理，将编码层特征和解码层特征进行特征图合并操作之后进行一个卷积操作，得到包含虹膜图像全局上下文信息的输出；所述步骤S5中设计不规则遮挡虹膜图像修复模型；根据挑选出的训练集训练得到不规则遮挡虹膜图像修复模型；不规则遮挡虹膜图像修复模型由生成器和鉴别器组成，生成器包含步骤S3中融合虹膜图像高级语义特征和低级语义特征模块和步骤S4中关注虹膜图像全局上下文信息模块，生成器通过编码器-门控残差层-双路高低注意力连接-解码器的形式对不规则遮挡的虹膜图像进行修复，鉴别器对生成器修复的不规则遮挡的虹膜图像进行鉴别，具体为：步骤S51，生成器中编码器由六层下采样门控卷积组成，下采样门控卷积的激活函数为泄露修正线性单元，输入图像经过一次普通卷积将图像卷积为含有多通道的初始特征，随后将初始特征经过下采样和实例归一化，剩余2-5层的每一层皆由下采样门控卷积和实例归一化组成，依次对上一层的输出数据进行特征提取，第六层对第五层的输出数据进行卷积得到编码器的输出数据；步骤S52，生成器中门控残差层由4组门控残差组成，门控残差首先对编码器的输出数据进行两次卷积核大小为3×3的门控卷积操作和实例归一化操作，最后将编码器的输出数据和经过卷积和归一化操作后的结果进行相加得到输出；步骤S53，生成器中双路高低注意力连接由编码层特征、解码层特征和融合虹膜图像高低级语义特征模块组成，融合虹膜图像高低级语义特征模块将编码层特征计算通道注意力值和空间注意力值，得到包含通道注意力和空间注意力的特征，融合虹膜图像高低级语义特征模块同时将解码层特征进行3×3卷积核大小的卷积操作和激活操作，并与包含通道注意力和空间注意力的特征相乘得到最后的输出；步骤S54，生成器中解码器含有六层，每一层由上采样卷积和关注虹膜图像全局上下文信息模块组成，关注虹膜图像全局上下文信息模块首先将双路高低注意力连接的输出进行分路卷积计算得到包含全局上下文信息的第一输出，同时关注虹膜图像全局上下文信息模块对上一层的解码层输出进行同样操作得到第二输出，最后特征图合并操作第一输出和第二输出并进行卷积核大小为3×3的卷积操作得到关注虹膜图像全局上下文信息模块的最后输出，随后上采样卷积将关注虹膜图像全局上下文信息模块的输出卷积大小为输入特征大小两倍的特征并作为输出；解码器的每一层不断重复此操作以完成虹膜图像的修复；步骤S55，鉴别器对生成器修复的不规则遮挡的虹膜图像进行鉴别，鉴别器共有七层，前六层中每一层分别由卷积核大小为3×3、步长为1，卷积核大小为4×4、步长为2以及泄露修正线性单元激活函数对输入特征进行特征提取，最后一层使用卷积核大小3×3的卷积操作、修正线性单元激活函数和平均池化操作，将提取的特征的宽高限制为1，同时使用全连接对输入图像进行最终判定。

全文数据：

权利要求：

百度查询： 南昌航空大学 基于生成对抗网络用于不规则遮挡的虹膜图像修复方法