申请/专利权人：中国矿业大学

申请日：2023-11-15

公开（公告）日：2024-07-09

公开（公告）号：CN117523685B

主分类号：G06V40/70

分类号：G06V40/70;G06V40/12;G06V10/80;G06N3/045;G06N3/0464;G06V10/774;G06N3/09;G06N3/088

优先权：

专利状态码：有效-授权

法律状态：2024.07.09#授权;2024.02.27#实质审查的生效;2024.02.06#公开

摘要：本发明公开了一种基于非对称对比融合的双模态生物特征识别方法，涉及生物识别技术领域。本发明创新性地提出了基于非对称对比融合的双模态生物特征识别模型，在掌纹掌静脉融合网络的基础上，设计了一种新的非对称对比学习策略，在单模态的输入级和多模态融合的输出级进行互信息最大化和语义一致性信息的对比学习，该模型结合有监督和无监督的表征学习方法，可以更为灵活和充分地利用数据，减少模型训练对数据标注的依赖，减少任务相关信息的丢失，使模型学习鲁棒性的多模态特征表示，提高身份信息的识别精度。

主权项：1.一种基于非对称对比融合的双模态生物特征识别方法，其特征在于，包括以下步骤：步骤1、采集n个人的手掌图像，每个人分别采集2a幅掌纹图像和2a幅掌静脉图像，建立图像数据库，并将数据库分为训练集和测试集，训练集和测试集中的手掌图像数量比例为1:1，转入步骤2；步骤2、构建第一卷积神经网络E1和第二卷积神经网络E2，第一卷积神经网络E1用于提取掌纹图像的卷积特征图，第二卷积神经网络E2用于提取掌静脉图像的卷积特征图，转入步骤3；步骤3、构建深度融合网络，将掌纹图像的卷积特征图和掌静脉图像的卷积特征图输入深度融合网络，得到融合后的卷积特征图，并构建损失函数LCLS，具体如下：步骤3-1、构建深度融合网络，分别对掌纹图像的卷积特征图p1和掌静脉图像的卷积特征图v1进行一次自适应的平均池化操作，然后使用元素级求和来完成初始的特征融合得到多模态特征图f：f＝AddAvgPoolp1,AvgPoolv13其中，AvgPool是自适应平均池化操作，Add是元素级求和操作；步骤3-2、多模态特征图f通过通道注意力模块得到相应的通道注意力融合系数f1：f1＝SigmoidConvδConvAvgPoolf,1+ConvδConvMaxPoolf,14其中MaxPool是自适应最大池化操作，δ是Relu函数；步骤3-3、将通道注意力融合系数f1作为权重分别与掌纹的卷积特征图p1、掌静脉的卷积特征图v1相乘，对应得到掌纹的二次卷积特征图p2和掌静脉的二次卷积特征图v2：p2＝f1*p15v2＝f1*v16步骤3-4、将通道注意力融合系数f1输入空间注意模块，得到相应的空间注意力融合系数f2：f2＝f1*SigmoidConvConcateMeanf1,Maxf1,17其中Mean是在通道维度上求特征的平均值，Max是通道维度上求特征的最大值；步骤3-5、将空间注意力融合系数f2作为权重分别与掌纹的二次卷积特征图p2、掌静脉的二次卷积特征图相乘v2相乘，得到掌纹的三次卷积特征图p3、掌静脉的三次卷积特征图v3：p3＝f2*p28v3＝f2*v29步骤3-6、将掌纹的三次卷积特征图p3、掌静脉的三次卷积特征图v3进行元素级求和，得到融合后的卷积特征图z：z＝Addp3,v310步骤3-7、构建损失函数LCLS： 其中LCLS是融合后的卷积特征图z输入全连接层分类的交叉熵损失函数，ql是卷积特征图z输入到全连接层后输出的分类结果，yl是符号函数，如果ql的真实类别等于c，yl取1，否则yl取0，K是类别数量；转入步骤4；步骤4、构建掌纹的卷积特征图与融合后的卷积特征图对应的正样本对和负样本对，同时构建掌静脉的卷积特征图与融合后的卷积特征图对应的正样本对和负样本对，转入步骤5；步骤5、构建非对称对比模块，将构建的所有正样本对和负样本对输入非对称对比模块中，并对所有的正样本对和负样本对构建第一损失函数Lil，同时对所有的正样本对和负样本对构建第二损失函数Lcl，得到整体网络模型，具体如下：步骤5-1、构建非对称对比模块，包括第一对比模块P.和第二对比模块g.，其中P.由全连接层组成，g.为类别预测分布网络，由全局平均池化层和Softmax激活函数组成；步骤5-2、将所有正样本对和负样本对通过P.映射到同一空间进行互信息最大化操作： 其中Sim,表示余弦相似度，a,b均表示映射到同一空间的特征向量，T表示转置；构建第一损失函数Lil如下： 其中是单模态的卷积特征图，M表示所属模态，M＝1时，代表掌纹的卷积特征图，M＝2时，代表掌静脉的卷积特征图；步骤5-3、将所有正样本对和负样本对通过g.映射到同一空间，进行预测类别分布的对比学习，构建第二损失函数Lcl： 步骤5-4、结合第一损失函数Lil、第二损失函数Lcl和损失函数LCLS，得到整体网络模型；转入步骤6；步骤6、构建整体损失函数L，训练整体网络模型，得到训练好的的整体网络模型，转入步骤7；步骤7、将测试集输入训练好的整体网络模型，得到测试集准确度。

全文数据：

权利要求：

百度查询： 中国矿业大学 基于非对称对比融合的双模态生物特征识别方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD