买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：暨南大学

摘要：本发明公开了一种基于模型融合的交替训练方法，包括下述步骤：模型融合步骤；交替训练方法的初始化；交替训练步骤，该步骤包含多次融合卷积神经网络分类器的交替训练，每次融合卷积神经网络分类器的交替训练包括两个阶段，分别是借助辅助任务学习阶段和融合卷积神经网络整体训练阶段。本发明利用模型融合技术结合现有的动量对比的自监督学习技术的优点，融合卷积神经网络分类器在交替训练时相比现有技术算法增加了训练时的负样本的个数，有效提升了模型的泛化能力。

主权项：1.一种基于模型融合的交替训练方法，其特征在于，所述交替训练方法包括以下步骤：S1、构建两个结构和参数相同的第一卷积神经分类网络和第二卷积神经分类网络，利用注意力机制对第一卷积神经分类网络和第二卷积神经分类网络进行模型融合得到融合卷积神经网络分类器，在融合过程中保留所述第一卷积神经分类网络的线性分类层，去除所述第二卷积神经分类网络的线性分类层，分别对所述第一卷积神经分类网络和第二卷积神经分类网络增加特征表示线性层；S2、初始化交替训练方法，对交替训练方法中训练参数进行初始化处理；S3、进行多次交替训练每次交替训练包括两个阶段，分别是借助辅助任务学习阶段和融合卷积神经网络整体训练阶段；通过借助辅助任务学习阶段和融合卷积神经网络整体训练阶段对所述融合卷积神经网络分类器进行交替训练，得到交替训练后的融合卷积神经网络分类器，该融合卷积神经网络分类器用于图像分类；其中，所述步骤S1过程如下：构建两个结构和参数相同的第一卷积神经分类网络和第二卷积神经分类网络，将第一卷积神经分类网络和第二卷积神经分类网络进行模型融合技术得到融合卷积神经网络分类器，以下第一卷积神经分类网络简称M0，第二卷积神经分类网络简称M1，融合卷积神经网络分类器简称EM；对M0和M1结构进行划分，M0和M1结构包括卷积层，池化层和线性分类层，除了线性分类层，将M0的结构依次划分为输入卷积层和若干个卷积模块，输入卷积层和卷积模块内包括卷积层和批正则化层，卷积模块的个数定义为Nconv，M1的结构的划分与M0相同；通过模型融合技术对M0和M1的每一个卷积模块的特征图输出利用注意力机制进行融合，EM的第i个卷积模块由M0的第i个卷积模块和M1的第i个卷积模块组成，其中i＝1,2，…,Nconv，EM的第i个卷积模块的输入定义为inpi，输出定义为oupi，EM的第j个卷积模块的输出作为EM的第j+1个卷积模块的输入，其中j＝1,2，…,Nconv-1，通过以下公式计算oupi：oupi＝λ×fM0inpi+1-λ×fM1inpi其中，λ为注意力机制的超参数，fM0,i·和fM1,i·分别为M0的第i个卷积模块的前向传播函数和M1的第i个卷积模块的前向传播函数；EM的线性分类层保留M0的线性分类层，同时去除M1的线性分类层，在EM中，针对M0和M1分别增加一个特征表示线性层R0和R1，同时，M1的输入卷积层参数与M0的输入卷积层参数采取参数共享的形式。

全文数据：

权利要求：

百度查询： 暨南大学 一种基于模型融合的交替训练方法