买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州名光微电子科技有限公司

摘要：公开了一种融合人脸和掌静脉的多模态识别系统及其方法。其首先获取待验证用户的人脸图像和掌静脉血管分布图像，接着，对所述人脸图像和所述掌静脉血管分布图像进行图像特征提取以得到人脸特征向量和掌静脉血管分布特征向量，然后，对所述人脸特征向量和所述掌静脉血管分布特征向量进行特征交互以得到多模态生物特征向量，最后，基于所述多模态生物特征向量，确定所述待验证用户是否为授权用户。这样，可以充分利用两种生物特征的互补性来进行多模态识别，避免单一生物特征受到环境或个体变化的影响而导致的识别失败。

主权项：1.一种融合人脸和掌静脉的多模态识别方法，其特征在于，包括：获取待验证用户的人脸图像和掌静脉血管分布图像；对所述人脸图像和所述掌静脉血管分布图像进行图像特征提取以得到人脸特征向量和掌静脉血管分布特征向量；对所述人脸特征向量和所述掌静脉血管分布特征向量进行特征交互以得到多模态生物特征向量；以及基于所述多模态生物特征向量，确定所述待验证用户是否为授权用户；其中，还包括训练步骤：对基于卷积神经网络模型的人脸特征提取器、基于ViT模型的掌静脉血管分布特征提取器、基于双向注意力机制的特征融合模块和分类器进行训练；其中，所述训练步骤，包括：获取训练数据，所述训练数据包括待验证用户的训练人脸图像和训练掌静脉血管分布图像，以及，所述待验证用户是否为授权用户的真实值；将所述训练人脸图像通过所述基于卷积神经网络模型的人脸特征提取器以得到训练人脸特征向量；将所述训练掌静脉血管分布图像通过所述基于ViT模型的掌静脉血管分布特征提取器以得到训练掌静脉血管分布特征向量；将所述训练人脸特征向量和所述训练掌静脉血管分布特征向量通过所述基于双向注意力机制的特征融合模块以得到包含人脸特征的训练掌静脉血管分布特征向量和包含血管分布特征的训练人脸特征向量；融合所述包含人脸特征的训练掌静脉血管分布特征向量和所述包含血管分布特征的训练人脸特征向量以得到训练多模态生物特征向量；将所述训练多模态生物特征向量通过分类器以得到分类损失函数值；以及以所述分类损失函数值来对所述基于卷积神经网络模型的人脸特征提取器、所述基于ViT模型的掌静脉血管分布特征提取器、所述基于双向注意力机制的特征融合模块和所述分类器进行训练，其中，在所述训练的每一轮迭代中，对所述训练多模态生物特征向量进行基于类度矩阵正则化的权重空间探索约束迭代；其中，在所述训练的每一轮迭代中，对所述训练多模态生物特征向量进行基于类度矩阵正则化的权重空间探索约束迭代，包括：在所述训练的每一轮迭代中，以如下优化公式对所述训练多模态生物特征向量进行基于类度矩阵正则化的权重空间探索约束迭代以得到优化训练多模态生物特征向量；其中，所述优化公式为： ,其中，是所述训练多模态生物特征向量，具体表示为列向量，是所述优化训练多模态生物特征向量，是行向量，是上一次迭代的权重矩阵，为可学习的域转移矩阵，表示矩阵乘法，表示转置操作，表示迭代后的权重矩阵。

全文数据：

权利要求：

百度查询： 杭州名光微电子科技有限公司 一种融合人脸和掌静脉的多模态识别系统及其方法