买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南昌大学

摘要：本发明涉及数据处理技术领域，特别涉及一种基于VAE‑GAN框架的多模态人脸识别与原型重建方法，旨在解决多模态情况下的人脸识别问题，其中注册人脸来自域A，而待检索目标人脸可能涵盖域A、域B和域C。同时，该方法具备多模态人脸原型重建功能，即接受“污染”人脸数据来自域A、域B和域C，并能够根据需求重建其在特定域域A、域B或域C中的脸部原型图像。本发明可提升人脸识别系统的安全性和适用范围。

主权项：1.一种基于VAE-GAN框架的多模态人脸识别与原型重建方法，其特征在于，包括以下步骤：S1、模型训练集准备：假设一个训练集包含来自域A、域B和域C的N个身份类别样本；每张图片x在训练集中被标记为其中表示x的域信息标签，表示图片x属于域A，即x～PdataA，同理值为2或3分别表示属于域B、域C；表示x的身份标签，而表示图片x是否存在面部变化，表示存在面部变化，表示图片x不存在面部变化即为正常人脸图片；随后，根据的值从训练数据集中挑选那些未带有面部变化的人脸样本构建原型库，原型库中的图片记为xrp，其中表示xrp的域信息标签，表示xrp的身份标签，表示xrp是否带有面部变化；S2、模型结构：S2.1、生成器G：G由一个编码器Genc和一个解码器Gdec组成；Genc负责从输入x中解耦出与模态无关的身份特征信息Px；Gdec接收Px和控制掩码v，将其拼接后作为输入，然后生成与v中控制信息相符合的输出xv；S2.2、判别器D和特征向量域分类器Dc：D包括三个子判别器Dgan、Ddom和Dvar；Dgan是一个与GAN相关的子判别器，用于区分真实原型和生成的原型；Ddom是一个域信息相关的子判别器，用于推断输入图片所属的域；Dvar用于检测输入图片是否存在变化；特征向量域分类器Dc用于进一步去除Genc所解耦的身份特征信息Px中可能存在的域信息，Dc接收Px作为输入，并输出其所预测的域；S3、模型训练：S3.1、阶段1：提取与模态无关的身份特征信息Px；首先将人脸图片x输入到Genc从中解耦出身份特征信息Px＝Gencx，并将Px输入到特征向量域分类器Dc中，Dc的目标是预测域代码，即所以Dc的目标函数如下： 其中pre为Dc所预测的域代码，为人脸图片x的域代码，P是域pre上的概率分布；相比之下编码器Genc则旨在混淆Dc正确预测域代码；S3.2、阶段2：重构学习保持生成原型的身份特征信息；解码器Gdec学习通过解码以原始属性掩码vp为条件的Px来重建输入人脸图像x，即其中vp与控制掩码v一样，也是用来控制解码器Gdec生成的图像内容，vp值由和确定；重构学习保持生成原型的身份特征信息在于其与后续的原型学习共用解码器Gdec，这会使得在后续原型学习生成原型的过程中也能保持输入图像x中的特征信息；重构学习的目标函数如下： S3.3、阶段3：原型学习生成指定域人脸原型；在这个阶段中生成器G和判别器D进行对抗性训练，通过相互竞争来提升彼此的性能；使得生成器能够进行多模态人脸原型重构；对于判别器D＝[Dgan，Ddom，Dvar],它有三个训练目标：1给定的生成器G所生成的虚假原型和原型库中的真实原型xrp,Dgan期望将归类为虚假原型，同时将xrp归类为真实原型，因此Dgan的目标函数如下： 2给定某个域的真实原型图片xrp，Ddom期望正确预测其域信息标签因此Ddom的目标函数如下： 其中pdom为Ddom所预测的域代码；3给定输入图片x,Dvar期待正确预测其标签，判断人脸图片是否存在变化；因此Dvar的目标函数如下： 所以判别器D的最终目标函数如下： 其中分别对应上述公式345；对于生成器G，它同样有三个训练目标：1欺骗Dgan使其将生成的虚假原型分类为真实原型；2使Ddom将的域标签预测为与控制掩码v所指定的域标签相同；3使Dvar将判定为不存在变化的正常人脸图片；因此，训练生成器G的目标函数如下： 其中，α1和α2为动态平衡超参数根据训练步数调整；各自定义为其中pdom为Ddom所预测的的域标签，表示控制掩码v中所指定的域标签；

全文数据：

权利要求：

百度查询： 南昌大学 一种基于VAE-GAN框架的多模态人脸识别与原型重建方法