买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国农业大学

摘要：本发明公开了一种基于无人机多源数据和自监督对比学习的作物产量估测与倒伏判别方法，所述方法如下：一、野外数据收集；二、无人机多传感器图像采集；三、原始数据预处理；四、多模态数据融合对比学习模型构建；五、冠层光谱、结构与纹理信息提取；六、传统表型特征与对比学习特征融合用于表型估测。本发明通过轻型无人机搭载RGB与多光谱镜头，以创新的交叉环绕路线，采集多时相下田间作物高精度的RGB图像、多光谱与点云数据。同时，基于自监督对比学习策略，提出多模态数据融合深度学习模型，在微调模型之后对作物种质资源进行产量估测与倒伏判别。该方法的预测结果可以为作物育种计划提供决策依据，辅助加快育种进程，优化育种方案。

主权项：1.一种基于无人机多源数据和自监督对比学习的作物产量估测与倒伏判别方法，其特征在于所述方法包括如下步骤：步骤一、野外数据收集：在野外数据采集中，对不同小区品种的作物进行株高、底荚高的测量，并统计小区内作物的主茎节数、有效分枝数、单株荚数、单株粒数、百粒重；通过农学知识对作物倒伏等级进行准确判断，并对每个小区作物单独收获、脱粒和晾晒，在作物水分含量低于13％时称重和测量产量；步骤二、无人机多传感器图像采集：无人机通过配备高分辨率RGB与多光谱镜头，在作物不同时期进行空中调查；步骤三、原始数据预处理：在无人机空中作业完成后，将采集得到的4种类型的图片数据进行导出与预处理，其中：通过对无人机获取的4种类型的图片数据分别是：RGB影像、多光谱影像、DSM以及高精度的点云；步骤四、多模态数据融合对比学习模型构建：步骤四一、在对比学习特征提取阶段，对于二维数据和三维数据特征提取采用两种不同的网络结构：1在二维信息特征提取中，采用卷积神经网络对RGB、多光谱和DSM数据进行特征提取；2在三维信息特征提取中，采用PointNet模型作为点云数据特征提取方法；步骤四二、在获取完二维与三维特征信息后，将两种信息进行融合投影ξ·，获得一组批量为N的特征表达，通过NT-Xent损失函数，将不同品种的作物特征进行比较使得模型不断学习与迭代，目的是使得相同品种作物的特征表达相似度提高，而不同品种的作物特征表达相似度降低： 其中，z为特征表达，Sλzi,zj表示第i个作物品种特征表达与第j个作物品种特征表达的余弦相似性计算方法，τ为温度系数，实验中设置为0.1，li,j表示第i个作物品种特征表达与第j个作物品种特征表达的损失值，N表示一组训练批次数量，L表示该组批次的损失值；步骤四三、通过多任务学习的方法，采用弱训练对模型进行微调，即以一定量的标签样本进行少量的训练，从而达到适用于新的任务目的；对于产量估测或生物量估测，损失函数设置为MSELoss，对于倒伏或病虫害分类任务，损失函数为交叉熵损失函数，在不同任务损失函数计算完后，对所有损失函数值进行融合；步骤五、冠层光谱、结构与纹理信息提取：步骤五一、冠层光谱信息提取：采用RGB和多光谱图像提取每个小区冠层光谱信息，其中冠层光谱信息包括RGB图像植被指数与多光谱植被指数，采用支持向量机在RGB图像上构建作物植被与土壤掩膜，采用二元掩膜图像将土壤背景设置为空值，仅计算小区内冠层植被区域光谱信息；步骤五二、冠层纹理信息提取：采用灰度共生矩阵作为RGB纹理特征信息提取的方法，将RGB图像转化为灰度图像后，分别提取均匀性、对比度、不同性、熵、第二矩与相关性；步骤五三、冠层结构信息提取：通过无人机倾斜摄影获取高分辨率RGB图像并进行拼接，从而构建数字高程模型；采用作物不同时期DSM与早期裸土表面DEM进行像素相减，从而获得冠层高度；对高精度点云进行结构特征提取，其中包括点云凸包面积，95％与90％点云高度以及点云体积密度；步骤六、传统表型特征与对比学习特征融合用于表型估测：基于无人机和多源传感器获取的图像提取作物冠层光谱、纹理、结构特征被定义为传统表型特征方法，通过对比学习以及对模型进行微调之后，所获取一维特征被定义为对比学习所学特征；通过提取单个小区的传统表型特征与对比学习特征后，将两种特征用于产量估计或倒伏判别。

全文数据：

权利要求：

百度查询： 中国农业大学 基于无人机多源数据和自监督对比学习的作物产量估测与倒伏判别方法