买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：辽宁师范大学

摘要：本发明公开了一种基于半监督学习的多源遥感影像融合分类方法，采用基于伪标签的半监督学习算法架构，通过引入特征聚合模块并与主动遥感结合来增强特征的质量以间接提高伪标签的质量；在伪标签获取阶段，计算出各个类别的学习难度，并为其分配相应的动态阈值，为困难类别提供相对公平的训练机会，通过将标记样本表示为高斯分布的形式，能够有效地捕捉样本空间中标记样本和未标记样本之间的相似性，得到类别平衡且高置信度的伪标记样本；通过构建半监督学习框架，扩充训练样本的数量。本发明在标记样本有限的情况下实现了多源遥感图像的精准分类，成功将多源遥感图像分类任务从监督学习范式转变为半监督学习范式。

主权项：1.一种基于半监督学习的多源遥感影像融合分类方法，其特征在于按如下步骤进行：步骤1.建立并初始化用于多源遥感影像分类的卷积神经网络NTBF，所述NTBF由2个用于特征提取的子网络Nfeaturehsi_1和Nfeaturelidar_1和1个用于提高特征质量及分类的子网络Nfgm构成；步骤1.1建立并初始化子网络Nfeaturehsi_1，所述子网络Nfeaturehsi_1有3组卷积层和一组平均池化层，分别为Conv3_1_H0、Conv3_1_H1、Conv3_1_H2和AvgPool1_1；所述Conv3_1_H0包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有24个大小为1×1×1的卷积核，每个卷积核以步长为1×1×2的大小进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算；所述Conv3_1_H1包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有128个大小为1×1×输入数据集波段2的卷积核，每个卷积核以步长为1×1×1的大小进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算；所述Conv3_1_H2包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有24个大小为3×3×128的卷积核，每个卷积核以步长为1×1×1的大小进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算；将Conv3_1_H0得到的结果与Conv3_1_H2得到的结果进行跳跃连接，并且通过ReLU激活函数进行非线性处理；所述AvgPool1_1包含一层池化操作，池化层以大小为5×5×1的池化核进行平均池化运算；步骤1.2建立并初始化子网络Nfeaturelidar_1，并采取密集连接的方式，将每一个卷积层得到的特征分别与前面所有卷积层得到的特征进行连接，共含有5组卷积层和1组平均池化层，分别为Conv3_1_L0、Conv3_1_L1、Conv3_1_L2，Conv3_1_L3，Conv3_1_L4，AvgPool2_1；所述Conv3_1_L0包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有24个大小为1×1×输入数据集波段2的卷积核，每个卷积核以步长为1×1×1的大小进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算；所述Conv3_1_L1包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有12个大小为3×3×1的卷积核，每个卷积核以步长为1×1×1的大小进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算；所述Conv3_1_L2包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有12个大小为3×3×1的卷积核，每个卷积核以步长为1×1×1的大小进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算；所述Conv3_1_L3包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有12个大小为3×3×1的卷积核，每个卷积核以步长为1×1×1的大小进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算；所述Conv3_1_L4包含1层卷积操作，其中，卷积层含有24个大小为3×3×1的卷积核，每个卷积核以步长为1×1×1的大小进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算；所述AvgPool2_1包含一层池化操作，池化层以大小为5×5×1的池化核进行平均池化运算；步骤1.3建立并初始化子网络Nfgm以及一组自定义模块Lfgm，所述Nfgm含有4个全连接层，分别为Center_1_H、Full_connection_1_H、Center_1_L和Full_connection_1_L。所述Center_1_H包含一层线性变换操作，将输出特征映射到2维空间中；所述Full_connection_1_H包含一层概率为0.5的Dropout操作以及一层线性变换操作，输出映射到具体的类别数量并生成最终的输出结果Result_1_H，共有num个分类单元，其中num代表待分类的地物类别总数；所述Center_1_L包含一层线性变换操作，将输出特征映射到2维空间中；所述Full_connection_1_L包含一层概率为0.5的Dropout操作以及一层线性变换操作，输出映射到具体的类别数量并生成最终的输出结果Result_1_L，共有num个分类单元，其中num代表待分类的地物类别总数；根据公式1得到所述子网络Nfgm的最终预测结果Result_1；Result_1＝ωhResult_1_H+ωlResult_1_L1其中，ωh和ωl为权重参数；所述Lfgm模块包含以下4个步骤：a利用concat操作将Center_1_H中得到的高光谱特征与Center_1_L中得到的LiDAR特征融合，得到融合后特征FF；b根据公式2计算a中融合特征的中心损失 其中，m表示样本的数量，表示第个类别的特征中心，表示第i1个样本的特征向量；c利用Full_connection_1_H和Full_connection_1_L得到的结果利用公式3计算交叉熵损失 其中，A表示每个batch中样本的数量，C代表类别，表示样本第i1个样本的真实标签，若样本属于类别j1，则为1，否则为0，表示模型预测第i1个样本属于类别j1的概率；d根据公式4计算联合监督损失 步骤2.建立并初始化用于多传感器遥感影像分类的卷积神经网络NTB，所述NTB包含2个用于特征提取的子网络Nfeaturehsi_2和Nfeaturelidar_2，另包含1个用于分类的子网络Ncls；步骤2.1建立并初始化子网络Nfeaturehsi_2，含有3组卷积层和一组平均池化层，分别为Conv3_2_H0、Conv3_2_H1、Conv3_2_H2和AvgPool1_2；所述Conv3_2_H0包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有24个大小为1×1×1的卷积核，每个卷积核以步长为1×1×2的大小进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算；所述Conv3_2_H1包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有128个大小为1×1×输入数据集波段2的卷积核，每个卷积核以步长为1×1×1的大小进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算；所述Conv3_2_H2包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有24个大小为3×3×128的卷积核，每个卷积核以步长为1×1×1的大小进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算；将Conv3_2_H0得到的结果与Conv3_2_H2得到的结果进行跳跃连接，并且通过ReLU激活函数进行非线性处理；所述AvgPool1_2包含一层池化操作，池化层以大小为5×5×1的池化核进行平均池化运算；步骤2.2建立并初始化子网络Nfeaturelidar_2，并采取密集连接的方式，将每一个卷积层得到的特征分别与前面所有卷积层得到的特征进行连接，共含有5组卷积层和1组平均池化层，分别为Conv3_2_L0、Conv3_2_L1、Conv3_2_L2、Conv3_2_L3、Conv3_2_L4和AvgPool2_2；所述Conv3_2_L0包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有24个大小为1×1×输入数据集波段2的卷积核，每个卷积核以步长为1×1×1的大小进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算；所述Conv3_2_L1包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有12个大小为3×3×1的卷积核，每个卷积核以步长为1×1×1的大小进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算；所述Conv3_2_L2包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有12个大小为3×3×1的卷积核，每个卷积核以步长为1×1×1的大小进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算；所述Conv3_2_L3包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有12个大小为3×3×1的卷积核，每个卷积核以步长为1×1×1的大小进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算；所述Conv3_2_L4包含1层卷积操作,其中，卷积层含有24个大小为3×3×1的卷积核，每个卷积核以步长为1×1×1的大小进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算；所述AvgPool2_2包含一层池化操作，池化层以大小为5×5×1的池化核进行平均池化运算；步骤2.3建立并初始化子网络Ncls，所述Ncls含有2个全连接层，分别为Full_connection_2_H和Full_connection_2_L。所述Full_connection_2_H包含一层概率为0.5的Dropout操作以及一层线性变换操作，输出映射到具体的类别数量并生成最终的输出结果Result_2_H，共有num个分类单元，其中num代表待分类的地物类别总数；所述Full_connection_2_L包含一层概率为0.5的Dropout操作以及一层线性变换操作，输出映射到具体的类别数量并生成最终的输出结果Result_2_L，共有num个分类单元，其中num代表待分类的地物类别总数；根据公式5得到所述子网络Ncls的最终预测结果Result_2；Result_2＝ωhResult_2_H+ωlResult_2_L5其中，ωh和ωl为权重参数，ωh+ωl＝1；步骤2.4利用公式3计算交叉熵损失步骤3输入高光谱影像的训练集H、LiDAR数据的训练集L、人工已标注的像元点坐标集和标签集，对NTBF进行训练；步骤3.1.根据人工已标注的像元点坐标集，在高光谱影像的训练集H中每类提取10个具有标签的像元点集合并在LiDAR数据的训练集L中每类提取10个具有标签的像元点集合其中，表示XH中的第i2个像元点，表示XL中的第i2个像元点，M表示具有标签的像元点总数；步骤3.2.根据公式6和公式7的定义对XH和XL进行标准化处理，得到和其中，表示标准化后的具有标签的高光谱影像像元点集合，表示的第i2个像元点，表示标准化后的具有标签的LiDAR像元点集合，表示的第i2个像元点； 步骤3.3.以的每个像元点为中心将H分割成一系列大小为9×9的高光谱像元块集合并以的每个像元点为中心将L分割成一系列大小为9×9的LiDAR像元块集合步骤3.4.将和作为融合分类神经网络的训练集，并将训练集中的样本整合为三元组的形式作为网络数据输入，其中，表示训练集中高光谱影像和LiDAR数据所组成的像元对，且和的空间坐标相同，Yi表示和对应的真实类别标签，令迭代次数iter←1，执行步骤3.5至步骤3.8；步骤3.5利用子网络Nfeaturehsi_1和Nfeaturelidar_1提取训练集的特征；步骤3.5.1利用子网络Nfeaturehsi_1对高光谱影像的训练集进行特征提取，得到高光谱影像的特征FH；步骤3.5.2利用子网络Nfeaturelidar_1对LiDAR数据的训练集进行特征提取，得到LiDAR数据的特征FL；步骤3.6利用自定义模块Lfgm计算交叉熵损失，并得到融合后的特征FHL；步骤3.7将特征FHL送入嵌入特征空间Feature_space；步骤3.8令iter←iter+1，若迭代次数iterTotal_iter，则得到了已训练好的卷积神经网络NTBF，转入步骤3.9，否则，利用基于随机梯度下降法的反向误差传播算法和联合监督损失更新NTBF的参数，所述Total_iter表示预设的迭代次数；步骤3.9利用子网络Nfgm得到对未标记样本的预测py|Du；步骤3.10根据公式8计算未标记样本中预测为该类别且概率高于固定阈值的计数σC； 其中，C代表类别，Du代表未标记样本，I代表未标记样本的总数，τ代表固定阈值；步骤3.11根据公式9计算各类别的学习难度βC； 其中，nC为该类别的样本总数；步骤3.12根据各类别的学习难度βC，为其分配相应的动态阈值，将学习难度划分为[0.8,1、[0.6,0.8、[0.4,0.6、[0,0.4四个区间，数值越低代表学习难度越高，对于分别在这四个学习难度区间的类别分别分配从高至低的阈值用于伪标签分配任务；步骤3.13将嵌入特征空间Feature_space中的有标记样本根据公式10计算得出特征均值向量； 其中，N表示有标记样本的总数，E′表示样本特征的维度，D′c表示编码特征的标记样本集，表示对应于第n个编码样本的第k个特征值；所述n＝1,…,N，所述k＝1,…,E′；步骤3.14根据公式11和公式12通过皮尔逊相关系数来量化每个类别的第n个标记样本与该类别特征均值向量之间的线性相关程度其中是Sc中第n个元素； 其中，ρ为量化相似性分数的皮尔逊相关系数；步骤3.15根据公式13估计出概率密度函数的均值和方差 其中，是概率密度函数；步骤3.16根据公式14计算各类别的概率分布； 其中，yc得到各类别的概率分布，即表示为该类的参考分布；步骤3.17定义标记样本为中心样本，对中心样本周围α距离的空间邻域中所有未标记样本点拟分配该类的标签；步骤3.18根据步骤3.12的动态阈值策略，定义每个类别的置信区间为Rc，c＝1,…,C；步骤3.19根据公式12和15计算每个未标记样本的特征与中心样本的参考分布yc的匹配“相似性”分数； 步骤3.20根据公式16筛选出“相似性”分数在置信水平范围内的未标记样本并为其分配与中心样本类别一致的伪标签，其中，Rc为； 其中，表示为伪标记样本的集合，Rc为各类别的置信区间；步骤3.21将筛选出合格的伪标记样本与最初的有标记样本合并，形成一个扩充的训练数据集；步骤3.22输入扩充后的高光谱影像的训练集H_add、LiDAR数据的训练集L_add、人工已标注的像元点坐标集和标签集，对NTB进行训练；步骤3.23在高光谱影像的训练集H_add中提取全部具有标签的像元点集合并在LiDAR数据的训练集L_add中提取全部具有标签的像元点集合其中，表示XH_add中的第i5个像元点，表示XL_add中的第i5个像元点，S表示具有标签的像元点总数；步骤3.24根据公式17和公式18的定义对XH_add和XL_add进行标准化处理，得到和其中，表示标准化后的具有标签的高光谱影像像元点集合，表示的第i5个像元点，表示标准化后的具有标签的LiDAR像元点集合，表示的第i5个像元点； 步骤3.25以的每个像元点为中心将H_add分割成一系列大小为9×9的高光谱像元块集合并以的每个像元点为中心将L_add分割成一系列大小为9×9的LiDAR像元块集合步骤3.26将和作为融合分类神经网络的训练集，并将训练集中的样本整合为三元组的形式作为网络数据输入，其中，表示训练集中高光谱影像和LiDAR数据所组成的像元对，且和的空间坐标相同，表示和对应的真实类别标签，令迭代次数iter←1，执行步骤3.27至步骤3.31；步骤3.27利用子网络Nfeaturehsi_2和Nfeaturelidar_2提取训练集的特征；步骤3.28利用子网络Nfeaturehsi_2对高光谱影像的训练集进行特征提取，得到高光谱影像的特征FH′；步骤3.29利用子网络Nfeaturelidar_2对LiDAR数据的训练集进行特征提取，得到LiDAR数据的特征FL′；步骤3.30利用子网络Ncls计算交叉熵损失步骤3.31令iter←iter+1，若迭代次数iterTotal_iter，则得到了已训练好的卷积神经网络NTB，否则，利用基于随机梯度下降法的反向误差传播算法和交叉熵损失更新NTB的参数，所述Total_iter表示预设的迭代次数；步骤4输入待测高光谱影像H′和LiDAR数据L′，对H′和L′的全部像元进行数据预处理，并采用已完成训练的网络NTB完成像元分类；步骤4.1在H′中提取全部像元点组成集合在L′中提取全部像元点组成集合其中，tH,i表示TH的第i6个像元，表示TL的第i6个像元，U表示全部像元的总数；步骤4.2根据公式19和公式20的定义对TH和TL进行标准化处理，得到和其中，表示标准化后的待测高光谱影像像元点集合，表示的第i6个像元点，表示标准化后待测LiDAR像元点集合，表示的第i6个像元点； 步骤4.3以的每个像元点为中心将H′分割成一系列大小为9×9的高光谱像元块集合，组成待测高光谱影像集合再并以的每个像元点为中心将L′分割成一系列大小为9×9的LiDAR像元块集合，组成待测LiDAR数据集合步骤4.4采用训练完备的子网络Nfeaturehsi_2和Nfeaturelidar_2提取待测影像集合的特征；步骤4.5采用训练完备的子网络NTB对待测高光谱影像集合进行特征提取，得到高光谱影像的特征FTH；步骤4.6采用训练完备的子网络NTB对待测LiDAR数据集合进行特征提取，得到LiDAR数据的特征FTL；步骤4.7采用子网络Ncls对特征进行分类，从而计算得出分类预测结果TEpred。

全文数据：

权利要求：

百度查询： 辽宁师范大学 一种基于半监督学习的多源遥感影像融合分类方法