买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学技术大学

摘要：本申请涉及一种基于可见光图像与近红外图像的火焰检测方法和装置，其中，该火焰检测方法包括：将待检测的多模态图像输入训练后的基于深度学习的火焰检测模型中，所述多模态图像包括可见光图像和近红外图像且通过双目相机得到，所述双目相机包括可见光相机和近红外相机；通过所述火焰检测模型得到所述多模态图像的第一火焰检测结果。本发明通过改进火焰检测模型，同时实现了多模态图像的特征级融合和决策级融合，进而提高了多模态图像的火焰检测准确率，解决了目前基于深度学习的可见光近红外融合的火焰检测方法存在检测准确度较低的问题。

主权项：1.一种基于可见光图像与近红外图像的火焰检测方法，其特征在于，包括：将待检测的多模态图像输入训练后的基于深度学习的火焰检测模型中，所述多模态图像包括可见光图像和近红外图像且通过双目相机得到，所述双目相机包括可见光相机和近红外相机；通过所述火焰检测模型得到所述多模态图像的第一火焰检测结果；其中，所述火焰检测模型包括可见光检测通道、近红外检测通道和融合检测通道；所述可见光检测通道包括第一骨干网络和第一特征检测模块，所述近红外检测通道包括第二骨干网络和第二特征检测模块，所述第一骨干网络和所述第二骨干网络分别用于对所述可见光图像和所述近红外图像的特征进行提取，所述第一特征检测模块用于对所述第一骨干网络提取的特征进行检测并输出所述可见光图像的火焰检测结果，所述第二特征检测模块用于对所述第二骨干网络提取的特征进行检测并输出所述近红外图像的火焰检测结果，所述融合检测通道用于对所述第一骨干网络和所述第二骨干网络提取的特征进行融合检测并输出所述多模态图像的第二火焰检测结果；所述多模态图像的第一火焰检测结果通过对所述可见光图像的火焰检测结果、所述近红外图像的火焰检测结果和所述多模态图像的第二火焰检测结果进行综合决策得到；所述第一特征检测模块包括第一Transformer编码器、第一Transformer解码器和第一Detr检测头，所述第二特征检测模块包括第二Transformer编码器、第二Transformer解码器和第二Detr检测头；所述第一骨干网络的输出为所述第一Transformer编码器的输入，所述第一Transformer编码器的输出为所述第一Transformer解码器和所述融合检测通道的输入，所述第一Transformer解码器的输出为所述第一Detr检测头的输入，所述第一Detr检测头的输出为所述可见光图像的火焰检测结果；所述第二骨干网络的输出为所述第二Transformer编码器的输入，所述第二Transformer编码器的输出为所述第二Transformer解码器和所述融合检测通道的输入，所述第二Transformer解码器的输出为所述第二Detr检测头的输入，所述第二Detr检测头的输出为所述近红外图像的火焰检测结果；所述融合检测通道包括交叉注意力跨模态融合模块、第三Transformer解码器、第三Detr检测头；所述第一Transformer编码器和所述第二Transformer编码器的输出为所述交叉注意力跨模态融合模块的输入，所述交叉注意力跨模态融合模块的输出为所述第三Transformer解码器的输入，所述第三Transformer解码器的输出为所述第三Detr检测头的输入，所述第三Detr检测头的输出为所述多模态图像的第二火焰检测结果。

全文数据：

权利要求：

百度查询： 中国科学技术大学 基于可见光图像与近红外图像的火焰检测方法和装置