买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国矿业大学

摘要：本发明公开了一种基于跨模态生成的缺失模态下掌纹掌静脉融合识别方法，针对像素空间缺失模态生成困难和多模态融合信息冗余的问题，本发明提出了两个创新点：1提出半监督的跨模态生成方法，逐步实现跨模态图像之间的纹理风格迁移和纹路结构生成，完成任意缺失模态图像生成。2提出自适应稀疏模态融合模型，减少多模态融合特征的冗余信息，增强模型对模态特征质量动态变化的鲁棒性。在测试集中任意模态图像缺失的情况下，通过由掌静脉图像生成掌纹图像的生成器Gvp和由掌静脉图像生成掌纹图像的生成器Gpv与自适应稀疏模态融合模型的联合作用，形成掌静脉和掌纹双模态手部生物特征在任意模态缺失下的鲁棒识别方法。

主权项：1.一种基于跨模态生成的缺失模态下掌纹掌静脉融合识别方法，其特征在于，包括以下步骤：步骤1、对n个个体的掌纹和掌静脉图像进行采集，建立掌纹和掌静脉图像数据库，将上述数据库按1：1分成训练集和测试集，测试集中掌纹图像和掌静脉图像均有缺失，缺失率为β，转入步骤2；步骤2、构建由掌静脉图像生成掌纹图像的生成器Gvp、由掌静脉图像生成掌纹图像的生成器Gpv、跨模态掌纹生成器Gp、掌纹判别器Dp、掌静脉生成器Gv和掌静脉判别器Dv，转入步骤3；步骤3、以半监督的方式训练由掌静脉图像生成掌纹图像的生成器Gvp和由掌纹图像生成掌静脉图像的生成器Gpv，以有监督的方式结合内容、纹理、颜色一致性损失和模态内对比损失，训练有监督跨模态掌纹生成器Gp，以无监督的方式结合模态间对比损失结合内容一致性损失，训练由掌静脉图像生成掌纹图像的生成器Gvp和掌纹判别器Dp，其中Gp和Gvp共享权值，整体以半监督的方式并行训练由掌静脉图像生成掌纹图像的生成器Gvp；同时，以有监督的方式结合内容、纹理、颜色一致性损失和模态内对比损失，训练有监督跨模态掌静脉生成器Gv，以无监督的方式结合模态间对比损失结合内容一致性损失，训练由掌纹图像生成掌静脉图像的生成器Gpv和掌静脉判别器Dv，其中Gv和Gpv共享权值，整体以半监督的方式并行训练由掌纹图像生成掌静脉图像的生成器Gpv，转入步骤4；步骤4、构建并训练自适应稀疏模态融合模型Fr，首先以VGG16结合时空注意力机制对掌纹图像和掌静脉图像进行特征提得到掌纹模态特征fp和掌静脉模态特征fv，再对掌纹模态特征fp和掌静脉模态特征fv自适应稀疏融合得到掌纹和掌静脉的融合特征f，最后采用均方差损失和交叉熵损失来训练自适应稀疏模态融合模型Fr，以确保分类器的最大概率等于其对应标签的概率，通过这一训练过程，获得经过训练的自适应稀疏模态融合模块模型Fr，以转入步骤5；步骤5、结合训练好的由掌静脉图像生成掌纹图像的生成器Gvp和由掌静脉图像生成掌纹图像的生成器Gpv与自适应稀疏模态融合模型Fr，构建整体掌纹和掌静脉融合识别模型F，转入步骤6；步骤6、输入测试集中的掌纹图像和掌静脉图像到训练好的整体掌纹和掌静脉融合识别模型F，以CRR来验证该网络的准确性，以PSNR和SSIM来验证跨模态生成的缺失模态图像的质量。

全文数据：

权利要求：

百度查询： 中国矿业大学 一种基于跨模态生成的缺失模态下掌纹掌静脉融合识别方法