买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海大学

摘要：本发明涉及一种基于SwinTransformer的双流人脸伪造检测方法，利用深度学习来进行人脸伪造图像的检测。整体搭建一个深度学习网络模型，网络模型分为三部分：双流网络、特征提取网络和分类器。由于现在公开的人脸伪造数据集全部是视频，因此需要利用OpenCV将视频裁剪成帧图片。此外，由于帧图片包含了大量的背景信息，因此需要利用人脸定位算法将人脸区域裁剪出来。然后将得到的人脸区域图像输入到双流网络和特征提取网络中提取并学习特征。最后将学习到的特征输入到分类器中，进行人脸图像真假的识别。本发明应用于解决现有人脸伪造检测方案的部分局限性即泛化能力弱的问题，同时还通过双流框架提升模型抗压缩能力，使其更符合日常生活中常见的人脸视频质量。

主权项：1.一种基于SwinTransformer的双流人脸伪造检测方法，其特征在于，包括以下步骤：1准备人脸视频数据集：准备人脸伪造视频数据集，选择了公共的人脸伪造视频数据集:FaceForensics++；2将视频裁剪为帧：考虑到训练目标是判断人脸图像的真假，将视频数据集进行处理，具体为：对于所有真实或伪造的人脸视频，采用OpenCV工具库将其划分为不重叠的视频帧，具体做法是每秒至少截取15帧；3提取人脸区域：通过人脸检测器来定位人脸区域，去掉周围不相关的背景信息，提取人脸区域，得到人脸区域图片数据集；4数据集的划分：使用上一步得到的人脸区域图片数据集进行训练、验证和测试任务，使用了7-2-1的划分方式，训练集占70％，验证集占20％，测试集占10％；将测试集的预测结果作为评判模型的好坏的标准；5经双流网络检测人脸图像：采用双流网络，包括RGB流和噪声流；RGB流的输入是原始的RGB图像，用于直接提取原始图像特征，通过对比度差异、不自然边界找出伪造的痕迹；噪声流的输入是噪声图片，噪声图像是将RGB图像通过SRM卷积核得到的噪声特征图像；6特征提取和分类：对于上述双流网络得到了两种不一样的图像-RGB图像和噪声图像，首先将这两种图像结合起来一起训练，学习到更丰富的特征；使用SwinTransformer作为特征提取网络对图像进行端对端的训练，最后将由Transformer学习的特征送到最后的分类器中，分类器是一层全连接层，由两个神经元组成，用以生成目标图像被识别为真与假的概率值；特征提取和分类，从而检测出人脸图像的真假。

全文数据：

权利要求：

百度查询： 上海大学 一种基于Swin Transformer的双流人脸伪造检测方法