买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西南交通大学

摘要：本发明公开了一种基于高点监控视频的森林火灾检测和定位方法及系统，属于森林火灾检测和定位技术领域，解决在背景复杂的情况下，针对早期森林火灾，易造成森林火灾烟雾提取及定位精度差、效率低的问题。本发明基于获取的高点监控视频进行森林火灾检测数据集构建，并训练构建的融合视频空间特征与时序特征的多尺度及多维度特征提取网络，以识别待识别的高点监控视频中的烟雾和火焰的检测框，最终得到烟雾对象和火焰对象的检测框以及火焰对象在各帧图像中的中心二维像素坐标；基于烟雾对象和火焰对象的检测框以及火焰对象在各帧图像中的中心二维像素坐标对视频立体网格驱动的森林火灾精准定位。本发明用于基于高点监控视频早期森林火灾的精确检测。

主权项：1.一种基于高点监控视频的森林火灾检测和定位方法，其特征在于，包括如下步骤：步骤1、基于获取的高点监控视频进行森林火灾检测数据集构建，并训练构建的融合视频空间特征与时序特征的多尺度及多维度特征提取网络，以识别待识别的高点监控视频中的烟雾和火焰的检测框，最终得到烟雾对象和火焰对象的检测框以及火焰对象在各帧图像中的中心二维像素坐标；步骤2、基于烟雾对象和火焰对象的检测框以及火焰对象在各帧图像中的中心二维像素坐标对视频立体网格驱动的森林火灾精准定位；所述步骤1中构建的融合视频空间特征与时序特征的多尺度及多维度特征提取网络包括依次相连接的输入层、Focus模块、第一Conv模块、全局-局部特征提取模块、第二Conv模块、深层-浅层特征提取模块、第三Conv模块、时序神经单元、第四Conv模块、池化模块、深度与感受野增强模块和输出层，其中，第一Conv模块、第二Conv模块、第三Conv模块和第四Conv模块分别为依次相连接的Conv2d、BN层和SILU组成的卷积模块；所述全局-局部特征提取模块包括与第一Conv模块分别相连接的局部特征提取模块和全局特征提取模块，接收局部特征提取模块和全局特征提取模块输出并进行加操作后的结果的3×3卷积层，与3×3卷积层依次相连接的1×1卷积层，其中，局部特征提取模块包括分别对输入的特征图进行卷积处理的3×3卷积层和1×1卷积层，分别与3×3卷积层和1×1卷积层相连接的批标准化层，对两批标准化层输出的结果进行加操作得到局部特征，全局特征提取模块包括对输入的特征图依次进行尺寸大小的变换、线性化操作和投影层映射操作，得到特征图Q、特征图K和特征图V，再分别对特征图Q和特征图K进行深度归一化处理后得到的结果进行乘操作，乘操作后得到的结果再与特征图V进行乘操作后进行尺寸大小的变换和对变换后得到的特征图的每个像素点等价于原始输入图像中几个像素点，最终得到全局特征；所述深层-浅层特征提取模块包括与第二Conv模块相连接的第五Conv模块，与第五Conv模块分别依次相连接的两个步长为1的3×3卷积层、步长为2的3×3卷积层和步长为5的3×3卷积层，分别将两个步长为5的3×3卷积层与第五Conv模块的输出结果进行乘操作，再将乘操作得到的结果与第五Conv模块的输出结果进行加操作，将两个加操作得到的结果串联得到输出结果，其中，第五Conv模块为依次相连接的Conv2d、BN层和SILU组成的卷积模块；所述时序神经单元接收第三Conv模块输出的激活后的t-1时刻隐含层状态向量at-1和t时刻向量xt，并分别将at-1和xt与Vah和Vxh进行乘操作，再将两个乘操作得到结果与bh进行加操作得到隐含层状态ht，再将隐含层状态进行双曲正切函数tanh处理得到激活后的t时刻隐含层状态向量at并输出，同时将at与Vao进行乘操作，乘操作得到的结果与bo进行加操作得到输出节点的状态向量ct，ct经softmax计算后转换为输出标签向量其中，Vxh表示K个输入节点到N个隐含节点的权重矩阵，Vah表示是连接t-1时刻N个隐含节点到t时刻N个隐含节点的权重矩阵，bh表示激活前的隐含层权重矩阵，bo表示激活后的隐含层权重矩阵，Vao表示激活后的输入节点到隐含节点的权重矩阵；所述步骤2的具体步骤为：步骤2.1、基于不同森林火灾烟雾和火焰的扩散特征建立不同的起火点初步定位方法，具体步骤为：步骤2.11、采用光流法对森林火灾检测数据集中的烟雾及火焰的扩散特征进行分析，即通过计算光流强度和光流方向角的直方分布图来将森林火灾烟雾和火焰的扩散模型分为三角扩散模型、弥漫扩散模型和辐射扩散模型；光流强度和光流方向角的公式为：Li,j＝ui,j2+vi,j2 其中，Li,j表示光流强度，αi,j表示光流方向角，ui,j、vi,j分别表示在像素点i,j上的横向和纵向光流矢量，光流强度和光流方向角均出现集中分布则为三角扩散模型，不规则分布则为弥漫扩散模型、均匀分布则为辐射扩散模型；步骤2.12、针对不同的扩散模型，建立不同的起火点初步定位方法，包括三角扩散模型建立边界-中心线特征线定位方法，弥漫扩散模型建立质心移动偏移定位方法，辐射扩散模型建立离散种子点定位方法；步骤2.2、提出联合森林火灾烟雾扩散模型与视频立体网格的森林火灾定位方法，具体步骤为：步骤2.21、针对不同的扩散模型，模拟并建立不同的仿真运动模型，从扩散速度及方向、扩散方式、空间拓扑关系约束方面将真实世界的烟雾和火焰的扩散映射到数字三维模型，即通过数学计算结合图像处理技术，得到仿真运动模型的扩散速度和方向，然后结合不同扩散模型的扩散方式和空间拓扑关系约束，将真实世界的森林火灾的烟雾和火焰映射到数字三维模型中；步骤2.22、基于地理空间拓扑关系分析法分析数字三维模型中烟雾、火焰与森林本身结构的邻接、关联和包含的空间拓扑关系，并对其进行空间拓扑语义描述；步骤2.23、根据高点监控相机参数，进行相机标定及畸变校正，在烟雾对象和火焰对象的检测框约束的前提下，采用Bwboundaries边缘提取函数提取烟雾对象和火焰对象的边界，再结合获取烟雾中心线，利用扩散模型和不同的起火点初步定位方法，在二维图像空间实现烟雾对象的初步定位，同时基于火焰对象的中心点二维坐标进行初步定位，其中，相机参数包括相机的俯仰角、偏航角和相机高度，其中，烟雾中心线是在提取烟雾边缘及确定烟雾扩散运动趋势后，计算出森林火灾烟雾所有边缘点的中点，将中点与烟雾运动方向的斜率够成一条直线，再将烟雾边缘点分离为左右两部拟合边缘，即得到最终的直线为烟雾的中心线；步骤2.24、利用高点监控相机从三维空间至二维平面的成像机制，结合数字高程模型，对图像坐标系进行转换，得到在相机和世界坐标系下的位置信息，在物理空间中设置参考点，通过参考坐标建立像素-图像-相机-世界坐标系的坐标反算模型，并联合空间拓扑语义描述的约束和初步定位得到的烟雾对象和火焰对象的初步定位，实现森林火灾烟和火焰对象的三维空间定位；步骤2.25、基于森林火灾烟雾对象和火焰对象的三维空间定位，建立烟雾对象和火焰对象经纬度、高度到立体网格位置码的映射，即实现视频像素坐标到立体位置编码的对应关系及相互转换，转换后对视频立体网格驱动的森林火灾精准定位。

全文数据：

权利要求：

百度查询： 西南交通大学 基于高点监控视频的森林火灾检测和定位方法及系统