申请/专利权人：山东省人工智能研究院;山东大学;青岛海尔智能技术研发有限公司;泰华智慧产业集团股份有限公司

申请日：2022-06-24

公开（公告）日：2024-06-28

公开（公告）号：CN115063373B

主分类号：G06T7/00

分类号：G06T7/00;G06T7/13;G06T7/181;G06T7/73;G06V10/80;G06T3/4007;G06T3/04;G06T5/70;G06T5/90;G06N3/0464;G06N3/048;G06N3/09

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2022.10.04#实质审查的生效;2022.09.16#公开

摘要：本发明公开了一种基于多尺度特征智能感知的社交网络的图像篡改定位方法，实现了基于对所有的图像篡改定位数据集的高效篡改定位；方法的具体步骤如下：对篡改图像预处理，提取边缘Groundtrhth图像，利用由sobel算子引导提取边缘特征然后采用多尺度边缘导向的注意力机制，在边缘伪影不一致的基础上挖掘篡改的粗略定位信息；构建多尺度上下文感知融合模块，利用此模块在不同的由边缘监督的尺度上进行局部和全局的搜寻，突出篡改和非篡改之间的差异；进行篡改信息的融合，输出的特征图通过样本不平衡损失来实现篡改区域的定位。本发明基于已知数据集可对其他数据集进行高效的篡改定位，能够有效地在不同篡改数据集上获得改善，并且获得极高的精度。

主权项：1.一种基于多尺度特征智能感知的社交网络图像篡改定位方法；其特征在于，该方法具体包含以下步骤：步骤1对篡改图像预处理，采用Imagenet对图像预训练，同时在篡改数据集中采用图像增强方法增强篡改区域的识别；将图像以及地面真值双线性插值成512×512大小的尺寸作为输入，提取边缘地面真值图像；步骤2将resnet50深度神经网络作为特征提取器，利用sobel算子引导提取边缘特征，然后采用多尺度边缘导向的注意力机制，在边缘伪影不一致的基础上挖掘篡改的粗略定位信息；所述多尺度边缘导向的注意力机制包括两个部分，边缘提取和边缘融合，具体步骤如下：2-1resnet各自不同残差块的特征通过sobel层进行增强后，得到相关的边缘特征，并通过3×3卷积将通道统一为256，再经过1×1卷积和Sigmoid后得到生成第i分支的边缘预测图ei,i表示分支数，并与通过地面真值生成的mask进行监督，其中每一分支的尺度ri特征操作如下：ei＝{Conv2Conv1sobelri}2-2求取最终融合边缘能力的特征；将有着边缘监督感知的特征拼接后，通过1×1卷积得到B1，主体特征通过1×1卷积得到A1，使用一个边缘感知注意力的方式来增强特征主体的边缘，聚合边缘方面的上下文信息，其中公式如下所示： 其中F是边界篡改感知的注意力图，B1c表示B1的第c个位置，T表示转置，N表示所有的像素；主体特征上每个位置j都受到边缘特征位置c的影响,确保更正确的定位篡改的区域；2-3将此注意力图F乘到原来的特征通过另外1×1卷积得到特征A2，改变形状然后与主体特征进行相加，得到最终融合边缘能力粗略定位篡改区域的特征；步骤3构建多尺度上下文感知融合模块，利用此模块在不同的由边缘监督的尺度上进行局部和全局的搜寻，突出篡改和非篡改之间的差异；所述多尺度上下文感知融合模块，具体如下：3-1上下文感知具体由四个多尺度探索分支组合而成，上下文感知需要在每级特征上进行操作，每个分支都首先包含了一个3×3卷积得到ri′；采取用于局部特征提取的3个卷积进行卷积，分别是非对称卷积1×ki,ki×1和对称卷积ki×ki，再将特征进行相加来增强非语义信息的提取能力，表示如下： ki表示第i个分支的卷积核大小，Relu表示非线性操作，BN表示批次正则化处理，最终输出第i个分支的特征si；最后通过第i个分支空洞率di的3×3卷积进行输出，当i属于1、2、3、4四个分支时，将ki分别设置为1、3、5、7，空洞率di分别设置为1、2、4、8，每个卷积过后经过批处理归一化层和Relu非线性操作，得到局部和全局的特征；3-2将每一分支出来的特征与下一分支的相加寻找全局特征，得到的每个分支的四个特征通过拼接得到经过局部和全局搜寻后的特征，表示如下： 步骤4进行篡改信息的融合，输出的特征图通过样本不平衡损失来实现篡改区域的定位；将多尺度边缘导向特征通过残差学习将并没有注意到的多尺度细节特征进行添加，逐步细化特征输出，得到最终预测图；具体步骤如下：4-1从最深处多尺度边缘导向的粗糙特征开始，将多尺度中已经预测好的粗篡改区域删除，然后引导网络依次发现不同尺度上补充的目标区域和细节，进行相加，补充第i个分支的反向注意权重Wi是通过减去i+1分支的上采样预测图获得，具体表示如下： 4-2将反向注意权重和分支上充分搜寻的特征进行相乘的操作，在浅层特征中将粗预测图上篡改显著注意的区域进行移除，再将上一级分支的特征加回到粗特征上；4-3使用残差学习来弥补预测的篡改图和地面真实之间的误差，具体来说，对每一个补充后的分支进行上采样得到原图大小，然后进行深度监督来学习残差特征，其中深度监督表示为： 式中：G为地面真值。

全文数据：

权利要求：

百度查询： 山东省人工智能研究院;山东大学;青岛海尔智能技术研发有限公司;泰华智慧产业集团股份有限公司 基于多尺度特征智能感知的社交网络图像篡改定位方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD