买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：暨南大学

摘要：本发明公开了一种轻量级瓶颈注意力机制的深度学习方法，该注意力机制分成通道注意力分支和空间注意力分支；通道注意力分支通过全局平均池化和最大值池化获取中间特征图的空间信息，卷积聚合以该通道为中心的左右邻域内的k个通道的信息，将得到的两个特征图按元素相加，生成通道注意力；空间注意力分支使用卷积进行降维，通过两个的空洞卷积进行上下文获取，最后使用卷积将通道数压缩到一维，生成空间注意力；融合两个分支注意力，先将通道注意力按空间的两个维度广播扩充，然后将空间注意力按通道维度广播扩充，将扩充后的两个注意力分支按元素相加，并通过Sigmoid函数运算，生成轻量级瓶颈注意力。本发明计算代价小、模型学习能力强。

主权项：1.一种轻量级瓶颈注意力机制的深度学习方法，该轻量级瓶颈注意力机制用于嵌入完成图像分类、目标检测和语义分割任务的卷积神经网络，实现图像分类、目标检测和语义分割，其特征在于，所述深度学习方法包括以下步骤：S1、将前一层卷积神经网络输出的特征图Fin∈RC×H×W输入轻量级瓶颈注意力机制，其中，C表示特征图通道的数量，H和W为特征图的高和宽，上述输出特征图由分类图像、目标检测图像、原始语义数据输入卷积神经网络生成，所述轻量级瓶颈注意力机制包括两个平行的通道注意力分支、空间注意力分支；S2、所述输出特征图输入通道注意力分支，通过全局平均池化和最大值池化获取中间特征图的空间信息，后使用一维卷积聚合以该通道为中心的左右邻域内的k个通道的信息，将卷积后得到的两个特征图按元素相加，生成通道注意力McF∈RC×1×1；其中，所述步骤S2中通道注意力分支的处理过程如下：S21、使用全局平均池化和最大值池化获取特征图Fin的空间信息，生成两个不同的通道描述符和分别表示最大值池化特征和平均值池化特征；S22、选择使用卷积核大小为k的一维卷积分别聚合以全局平均池化通道和最大值池化通道该通道为中心的左右邻域内的k个通道的信息；S23、将卷积后的全局平均池化通道和最大值池化通道描述符相加，生成通道注意力McF∈RC×1×1，相加计算过程如下：式中表示卷积核大小为k的一维卷积操作；S3、所述输出特征图输入空间注意力分支，先使用1×1的卷积进行降维，后使用两个3×3的空洞卷积进行上下文获取，最后使用1×1卷积将通道数压缩到一维，生成空间注意力MsF∈RC×H×W；其中，所述步骤S3中空间注意力分支的处理过程如下：S31、使用1×1的卷积对前一层卷积神经网络输出的特征图Fin进行降维，得到第一特征图F1∈RCr×H×W，r为压缩率；S32、使用两个3×3的空洞卷积对第一特征图F1进行上下文获取，生成第二特征图F2∈RCr×H×W；S33、使用1×1卷积，将第二特征图F2的通道数压缩到一维，生成空间注意力MsF∈RC×H×W，计算过程如下其中，和是1×1的卷积，f13×3和是卷积核大小为3，空洞率为2的空洞卷积；S4、融合通道注意力McF和空间注意力MsF，先将通道注意力McF按空间的两个维度广播扩充成满足C×H×W的维度，然后将空间注意力MsF按通道维度广播扩充成满足C×H×W的维度，最后将扩充后的两个分支按元素相加，并通过Sigmoid函数运算，最后生成轻量级瓶颈注意力Fout∈RC×H×W，该轻量级瓶颈注意力Fout用于实现图像分类、目标检测和语义分割。

全文数据：

权利要求：

百度查询： 暨南大学 一种轻量级瓶颈注意力机制的深度学习方法