申请/专利权人：贵州大学;贵州慧控农耀科技有限公司

申请日：2024-05-22

公开（公告）日：2024-06-18

公开（公告）号：CN118212540A

主分类号：G06V20/10

分类号：G06V20/10;G06V10/25;G06V10/26;G06V10/44;G06V10/80;G06V10/82;G06N3/0475;G06N3/045

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.07.05#实质审查的生效;2024.06.18#公开

摘要：本发明公开了一种基于多模态图像融合的杂草侵扰率预测方法，属于人工智能辅助精准农业检测技术领域，通过融合多模态图像，增加图像的信息量从而提高融合图像的质量。并基于融合图进行植被分割和杂草侵扰率预测。本发明由图像配准，图像融合，植被分割和杂草侵扰率预测四个模块组成。在图像配准和图像融合阶段，主要使用卷积进行特征提取和局部的细粒度对齐。而在杂草侵扰率预测模块，依赖于多层感知机良好的全局计算力，并结合多种注意力模块进行侵扰率的回归预测。本发明提出的一种基于多模态图像融合的杂草侵扰率预测方法，能重构出高质量的融合图像，并得到高精度的杂草侵扰率预测结果。

主权项：1.一种基于多模态图像融合的杂草侵扰率预测方法，其特征在于，包括以下步骤：步骤1、读入未对齐的RGB图像和红外图像进行图像转换和图像匹配，生成基于RGB图像的伪红外图像和红外配准图像；步骤2、对步骤1生成的红外配准图像和未对齐的RGB图像进行多模态图像融合，获得融合图像；步骤3、根据步骤2得到融合图像，进行植被分割，得到二值化的植被mask图像；步骤4、对得到二值化的植被mask图像进行杂草侵扰率预测，获得最终预测的杂草侵扰率；步骤2的具体过程如下：S21、接收S12中得到红外配准图像和S11中未对齐的RGB图像，使用参数共享的密集卷积模块进行特征提取，得到红外图像的特征和未对齐的RGB图像的特征；S22、根据S21中提取到的特征，计算RGB图像与红外图像融合的权重参数，得到最后的融合图像，并使用融合图像分别与RGB图像和红外配准图像的对比结果的和为MS-SSIM损失函数衡量融合图像的质量，其中MS-SSIM损失函数的具体表达式如下： ；步骤3的具体过程如下：S31、将未处理的RGB图像进行YCbCr空间映射，分离出Y、Cb与Cr通道，使用融合图像的信息替换分离出来的Y通道，然后把分离的三通道数据重新堆叠在一起重新映射到RGB空间，重构出新的融合RGB图像；S32、使用归一化植被指数NDVI对重构出新的融合RGB图像进行植被分割，具体表达式如下： ；其中，表示近红外波段，表示红色波段。

全文数据：

权利要求：

百度查询： 贵州大学;贵州慧控农耀科技有限公司 一种基于多模态图像融合的杂草侵扰率预测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD