买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国矿业大学

摘要：本发明公开了一种基于特征解耦的缺失模态下掌纹掌静脉融合识别方法，针对目前模态缺失下多模态融合方法存在的问题：1利用生成式的方法，对于每一种缺失模态都需要设计一个生成模型，导致整体模型庞大，不太适用于实际应用；2大多数模态缺失方法是指定缺失模态的，限制了灵活性。针对上述问题，本发明使用简单的网络模型，设计对比学习损失和模态间身份一致性损失解耦共享特征和特定特征并构建在特征层的掌纹跨模态生成器或掌静脉跨模态生成器，利用已知模态特征补全对缺失模态特征。不同于现有方法，本发明提出的多模态融合方法具有卓越的鲁棒性，对于在测试集任意模态缺失的情况，仍能取得准确的识别结果，满足多样化应用场景的需求。

主权项：1.一种基于特征解耦的缺失模态下掌纹掌静脉融合识别方法，其特征在于，包括以下步骤：步骤1、对n个个体的掌纹和掌静脉图像进行采集，每个个体采集2a张掌纹图像和2a张掌静脉图像，建立掌纹和掌静脉图像数据库；掌纹和掌静脉图像数据库按1:1划分为训练集和测试集，设测试集中掌纹图像和掌静脉图像部分缺失，缺失率为β，转入步骤2；步骤2、利用VGG16结合时空注意力机制，分别构建掌纹特征提取网络Fp和掌静脉特征提取网络Fv，以对应提取掌纹特征fp和掌静脉特征fv，转入步骤3；步骤3、利用设计的对比学习损失和模态间身份一致性损失充分解耦掌纹特征fp，得到掌纹模态的特有特征和掌纹模态的共享特征同时，利用设计的对比学习损失和模态间身份一致性损失充分解耦掌静脉特征fv，得到掌静脉模态的特有特征和掌静脉模态的共享特征转入步骤4；步骤4、利用均方差损失和设计的模态内身份一致性损失结合训练集有监督的训练掌纹跨模态生成器Gp和掌静脉跨模态生成器Gv，其中Gp利用掌静脉模态的特有特征生成掌纹的特有特征fs′p，Gv利用掌纹模态的特有特征生成掌静脉的特有特征fs′v，转入步骤5；步骤5、利用Gp生成的掌纹的特有特征fs′p结合掌静脉的共享特征得到由掌静脉特征补全的掌纹特征f′p；同时利用Gv生成的掌静脉的特有特征fs′v结合掌纹的共享特征得到由掌纹特征补全的掌静脉特征f′v，转入步骤6；步骤6、将掌纹特征fp和掌静脉特征fv融合得到掌纹特征和掌静脉特征的融合特征f；将掌纹特征fp和由掌纹特征补全的掌静脉特征f′v融合得到掌纹特征和补全的掌静脉特征的融合特征fv′；同时将由掌静脉特征补全的掌纹特征f′p和掌静脉特征fv融合得到补全的掌纹特征和掌静脉特征的融合特征f′p，通过交叉熵损失训练掌纹和掌静脉融合识别网络，以确保分类器的最大概率等于其对应标签的概率，进而获得训练好的掌纹和掌静脉融合识别网络模型F，转入步骤7；步骤7、利用测试集来评估训练好的掌纹和掌静脉融合识别网络模型F的准确性。

全文数据：

权利要求：

百度查询： 中国矿业大学 一种基于特征解耦的缺失模态下掌纹掌静脉融合识别方法