买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国人民解放军国防科技大学

摘要：本发明公开了一种联合多尺度特征的深度伪造图像检测方法，具体来说，首先，基于反事实因果推理来扩充数据集，并生成反事实和事实样本，以防止模型受到伪相关特征的干扰，确保模型学习到无偏的特征表达。随后，构建了一个双流预测网络，该网络使用足够底层的和较高级的卷积特征来捕获不同类型的伪造痕迹。在每个流中利用基于特征金字塔的多尺度特征提取模块来丰富特征表示，每个流的末端分别设置了一个分类器。经多特征融合后，利用更深层的卷积模块，从之前学习到的组合特征中学习更高级的语义信息，然后使用分类器进行预测。最后，将设置在网络不同位置处的三个分类器的结果组合起来得到最终的预测结果。

主权项：1.一种联合多尺度特征的深度伪造图像检测方法，其特征在于，所述方法包括：对输入视频进行数据预处理得到输入图像，并对输入图像进行基于反事实因果推理的数据增强，生成反事实和事实增强样本；构建双流预测网络，所述双流预测网络包括浅层伪造特征提取及分类子网络和深层伪造特征提取及分类子网络，所述浅层伪造特征提取及分类子网络将所述反事实和事实增强样本依次输入第一卷积模块、全局平均池化层、第一多尺度特征提取模块得到特征图fmul_tex，将所述特征图fmul_tex喂入第一分类器，得到预测值S1；所述深层伪造特征提取及分类子网络将所述反事实和事实增强样本依次输入第一卷积模块、第二卷积模块、第三卷积模块、第二多尺度特征提取模块得到特征图fmul_sem，将所述特征图fmul_sem喂入第二分类器，得到预测值S2；进行多特征融合与分类，将特征图fmul_tex和特征图fmul_sem串联起来，得到特征表达ftotal，将所述ftotal依次通过第四卷积模块、第五卷积模块、第三分类器，得到预测值S3；采用少数服从多数的原则，通过对预测值S1、S2、S3进行投票来决定输入图像是否真实；所述对输入图像进行基于反事实因果推理的数据增强，具体包括，生成的反事实样本为： 生成的事实样本为： 其中，i是具有Ω像素的输入图像，为因果相关区域，0表示非因果，1表示因果，表示因果区域中的填充图像，⊙表示逐元素点乘，表示非因果区域中的填充图像。

全文数据：

权利要求：

百度查询： 中国人民解放军国防科技大学 一种联合多尺度特征的深度伪造图像检测方法及系统