买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院软件研究所

摘要：本发明公开了一种基于Transformer的细粒度图像分类方法。本方法为：1将样本图像输入线性映射和编码器层中提取多层令牌特征；2通过令牌特征选择模块作用于编码器提取的多层令牌特征；3通过语义部件生成模块作用于第一层令牌特征，获取包含辨识性视觉图案的局部区域，利用局部分支学习该区域内对象的细节信息；4将两个分支的分类令牌交换，编码器作用于交换后的分类令牌与当前分支的图像块令牌，融合全局分支提取的图像完整信息与局部分支获取的关键区域的细节信息；5通过中心损失函数约束细粒度对象类内特征距离，间接地增大类间特征距离；6连接两个分支的分类令牌，输入到分类器，从而实现对输入图像的分类。

主权项：1.一种基于Transformer的细粒度图像分类方法，其步骤包括：构建图像分类模型，包括局部分支、全局分支、语义部件生成模块、特征融合模块和分类器，所述局部分支、全局分支均包括线性映射和编码器层、令牌特征选择模块；训练所述图像分类模型：线性映射和编码器层对输入的样本图像进行特征提取，得到多层令牌特征{Z1,…,Zn-2}；其中，线性映射和编码器层包括对输入数据依次处理的线性映射单元和n个编码器，Zn-2为第n-2个编码器输出的特征，即第n-2层令牌特征；令牌特征选择模块从所述多层令牌特征{Z1,…,Zn-2}中选取具有区分度的多层级特征；语义部件生成模块从第1个编码器输出的第一层令牌特征Z1中获取包含辨识性视觉图案的局部区域，然后利用所述局部分支学习该局部区域内对象的细节信息；特征融合模块将所述局部分支中第n-1个编码器输出的令牌特征中的分类令牌与所述全局分支中第n-1个编码器输出的令牌特征中的分类令牌进行交换；然后所述局部分支将交换所得分类令牌与所述局部分支第n-1个编码器输出的令牌特征中的图像块令牌特征拼接后输入第n个编码器，所述全局分支将交换所得分类令牌与所述全局分支第n-1个编码器输出的令牌特征中的图像块令牌特征拼接后输入第n个编码器；然后将所述全局分支中第n个编码器输出的全局分类令牌特征与所述局部分支中第n个编码器输出的局部分类令牌特征拼接后输入分类器，得到输入样本图像的类别；通过设定的损失函数约束所述样本图像中的对象类内特征距离；图像分类模型应用阶段：将待分类的目标图像输入训练后的图像分类模型中，得到目标图像的类别标签。

全文数据：

权利要求：

百度查询： 中国科学院软件研究所 一种基于Transformer的细粒度图像分类方法