买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：济南大学

摘要：本发明提出了基于CNN和Transformer的车辆图像增强方法及系统，涉及计算机视觉领域。本发明提出一种特征调制Transformer模块，模块由L个交叉精炼融合块组成，每个交叉精炼融合块由高频增强残差块、矩形窗口注意力块、混合融合块组成。其中，高频增强残差块用于从输入特征中提取高频特征，矩形窗口注意力块用于捕捉输入特征的长距离依赖关系，然后通过混合融合块整合高频增强残差块和矩形窗口注意力块的输出。最后交叉提炼全局特征以获得最佳效果。

主权项：1.基于CNN和Transformer的车辆图像增强方法，其特征在于，包括以下步骤：S1、获取车辆监控摄像头视频，每秒对摄像头进行抽帧，获得车辆待检测图像；S2、构建特征调制Transformer模块，输入图像特征到该模块，图像特征通过L个交叉精炼融合块学习深层特征，交叉精炼融合块由提取高频信息的高频增强残差块、捕获全局信息的矩形窗口注意力块、以及精炼全局表示的混合融合块组成，在最后一个交叉精炼融合块之后，使用一个3×3的卷积层聚合特征，并在其输出与图像特征之间建立残差连接，便于训练图像特征，并进行输出；S21、高频增强残差块由局部特征提取分支和高频增强分支组成，如果输入图像特征为Fin，将Fin分成两部分然后由两个分支分别处理，对于局部特征提取分支，使用3×3卷积层和GELU激活函数来提取局部高频特征Conv3×3表示3×3卷积层，fa表示GELU激活函数，对于高频增强分支，采用最大池化层从输入特征中提取高频信息，然后使用1×1卷积层和GELU激活函数来增强高频特征MaxPooling表示最大池化层，然后将两个分支的输出进行连接，连接后的结果通过1×1卷积层彻底融合信息，同时，为了使网络从多尺度信息中获益并保持训练的稳定性，引入了残差连接，Concat表示连接操作；S22、对于矩形窗口注意力块，给定一个输入Xin，将其划分为个矩形窗口，其中rh和rw指矩形窗口的高度和宽度，为了捕捉不同轴向的信息，使用了两种矩形窗口：水平窗口和垂直窗口，因此，将Xin分成两部分，并分别计算自注意力值，然后，将两个结果进行连接，并使用多层感知器进行特征转换，整个过程可表述为V-Rwin和H-Rwin表示垂直和水平矩形窗口注意力，MLP表示多层感知操作；S23、混合融合块为了更好地整合高频增强残差块和矩形窗口注意力块的优点，对于高频增强残差块的输出XH，首先使用1×1卷积层来降低特征图的通道数，然后使用3×3深度卷积层生成高频Query，对于矩形窗口注意力块的输出XS，首先通过批归一化层对特征进行归一化处理，然后使用与Query相同的操作得到Key和Value，对Query、Key、Value进行自注意力计算，将计算结果与XS进行残差连接，得到输出XHFB，整个过程可表述为XHFB＝Inter-AttenConv3×3Conv1×1LNXS，Conv3×3Conv1×1XH+XS，Inter-Atten代表自注意力计算，XHFB作为下一个交叉精炼融合块的输入学习深层特征，在最后一个交叉精炼融合块之后，使用一个3×3的卷积层聚合特征，并在其输出与图像特征之间建立残差连接；S3、构建车辆图像增强模型，模型由浅层特征提取模块、特征调制Transformer模块、重构模块组成；S4、将车辆图像输入进车辆图像增强模型，获得超分辨率车辆图像。

全文数据：

权利要求：

百度查询： 济南大学 基于CNN和Transformer的车辆图像增强方法及系统