买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明公开了一种基于Transformer的孪生网络图像去噪方法、系统、介质及设备，设计两个孪生的网络提取互补的特征，使获得的去噪器鲁棒性更强。将Transformer应用到孪生网络中，提取显著性特征，将前景和背景进行分离，移除噪声，预测干净图像；设计交叉交互机制提高深度网络的记忆能力，并提高去噪的性能；将批量归一化、层归一化、实例归一化、Swish函数和线性整流函数激活函数组件用到孪生网络中，提高去噪网络的学习能力，有利于提取多样化的特征，增强去噪效果并提高去噪效率。此外，仅通过12层的网络进行去噪，极大地减少网络的计算代价，非常满足移动设备的要求。能根据不同的场景自适应地提取显著性的特征，具有盲去噪功能和较强的实际应用价值。

主权项：1.一种基于Transformer的孪生网络图像去噪方法，其特征在于，构建基于Transformer的孪生图像去噪网络，基于Transformer的孪生图像去噪网络包括两个孪生的子网络；然后将受损图像输入基于Transformer的孪生图像去噪网络中；通过两个孪生的子网络对应的Transformer模块得到受损图像的显著性信息；将受损图像的显著性信息以及两个孪生的子网络第10层的输出经过增强机制，获得两个显著性特征；随后将两个显著性特征经过增强机制融合，然后经过2个卷积层进行特征提纯，获得处理后的噪声特征，利用残差操作从受损图像中移除处理后的噪声特征，获得干净的图像；孪生的子网络结构如下：第1层由卷积层、层归一化操作LN和激活函数ReLU组成；第2层由卷积层和激活函数ReLU组成；第3层由卷积层、实例归一化操作IN和激活函数PReLU组成；第4层为单一的卷积层；第5层、6层和7层由Transformer模块组成；第8层由卷积层、批量归一化操作BN和激活函数Swish组成；第9层由卷积层和激活函数ReLU组成；第10层由单一的卷积层组成；第11层由卷积层和激活函数ReLU组成；第12层由单一的卷积层组成，两个孪生的子网络共用第11层和第12层；Transformer模块的编码器采用3个Block叠加组成，每一个Block包含多头注意力层和前馈神经网络层，编码器中的残差机制为：将多头注意力层的输入和输出以及前馈神经网络层的输出进行一次残差操作；Transformer模块的解码器采用3个Block叠加组成，每一个Block包含多头注意力层、遮挡多头注意力层和前馈神经网络层，解码器中的残差机制为：将遮挡多头注意力层的输入和输出，以及多头注意力层的输出和前馈神经网络层的输出进行一次残差操作；受损图像的显著性特征具体为：通过残差学习操作将两个孪生子网络第7层分别输出的特征相加得到特征F1，再通过残差学习操作将特征F1分别和每个孪生子网络第10层输出的特征相融合，得到特征F2和特征F3，再通过残差学习将特征F2和特征F3相融合得到受损图像的显著性特征，将受损图像的显著性特征经过两个孪生子网络共用的第11层和第12层后得到受损图像的噪声特征，通过将受损图像与受损图像的噪声特征进行残差操作后得到干净图像。

全文数据：

权利要求：

百度查询： 西北工业大学 一种基于Transformer的孪生网络图像去噪方法、系统、介质及设备