申请/专利权人：北京航空航天大学

申请日：2022-02-23

公开（公告）日：2024-06-25

公开（公告）号：CN114913472B

主分类号：G06V20/52

分类号：G06V20/52;G06V20/40;G06V10/26;G06V10/762;G06T7/11;G06T7/136;G06T7/187;G06T7/246;G06T7/269

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2022.09.02#实质审查的生效;2022.08.16#公开

摘要：本发明公开了一种联合图学习与概率传播的红外视频行人显著性检测方法，能够在红外视频中自动定位红外行人区域，并准确地将行人与背景区分开。其步骤如下：一：基于布尔图的候选区域生成；二：计算各帧图像的运动显著性；三：构建多视角时空图结构；四：构建结合图自学习和显著性传播的能量函数并求解。通过以上步骤，本方法能够从杂乱背景及多重复杂运动中准确且鲁棒地提取出红外行人目标的时空显著性，并将背景几乎完全抑制，在其他图像处理领域如目标分割、目标跟踪和目标检索等都有实际应用价值。

主权项：1.一种联合图学习与概率传播的红外视频行人显著性检测方法，其特征在于，包括以下步骤：步骤一：基于布尔图的候选区域生成：首先，对红外视频的各帧图像进行超像素分割；然后构建布尔图并将各级布尔图级联，得到一系列的三维区域；最后对各三维区域的子区域计算似物性算子，并归一化；步骤二：计算各帧图像的运动显著性：首先提取视频序列的光流场；然后根据图像的运动梯度计算各区域基于局部梯度的运动显著性；其次通过提取背景运动主方向计算基于运动方向的运动显著性；最后将运动显著性与似物性算子相结合得到各超像素属于前景背景的概率；步骤三：构建多视角时空图结构：首先构建图结构各节点的空间邻域关系，分别从灰度、边缘、运动三方面构建空间相关性矩阵；然后构建相邻帧节点之间的时间相关性矩阵；最后将时间相关性矩阵与空间相关性矩阵结合得到不同视角的时空相关性矩阵；步骤四：构建结合图自学习和显著性传播的能量函数并求解：在图结构的基础上构建包含图学习、显著性传播及联合学习项的能量函数，并利用交替优化的方法对其中的变量依次求解，从而得到优化的图相关性矩阵和显著性检测结果；在步骤一中所述的“构建布尔图并将各级布尔图级联，得到一系列的三维区域”，其作法如下：将超像素分割后的第t帧红外图像利用255到0的整数作为阈值进行分割，则可得到一系列二值图构成布尔图Bt＝{Bt,255,Bt,254,…,Bt,0}：Bt,θ＝ξSPt,θ，其中ξ为分割操作，将SPt中小于阈值θ的超像素标记为0，反之标记为1，Bt,θ为阈值θ下的布尔图；根据红外图像灰度分布特性可知，Bt,255是全黑图像或者含有个别白色区域，随着阈值减小，Bt,θ中这些白色区域不断增大，知道全部融为一体成为全白图像；然后，将从Bt,255中出现的连通区域从1开始标号，用连续整数对其中的所有连通区域分配不同编号；在其后的Bt,θ中，出现与之前已编号的区域完全无重叠的全新区域时，则对新区域继续分配新编号；与唯一的已编号区域重叠时，则继承该区域的编号；与多个已编号区域重叠时，则继承其中面积最大的区域的编号；根据此规则实现对整个布尔图序列中的所有连通区域的编号操作，存在于不同布尔图层中具有相同编号的一系列区域则可构成一个三维区域Nr为图像It得到的三维区域的个数，三维区域则由多个子区域图层构成l为各子区域所处图层；在步骤二中所述的“将运动显著性与似物性算子相结合得到各超像素属于前景背景的概率”其计算方法如下：首先将超像素在所有候选区域的运动梯度显著值与似物性值累加得到该超像素的前景概率，其计算公式如下： 则为超像素spt,i的前景概率值；然后将超像素在所有候选区域的运动方向显著值与似物性值累加得到该超像素的背景概率，其计算公式如下： 则为超像素spt,i的背景概率值；在步骤三中所述的“构建相邻帧节点之间的时间相关性矩阵”，其作法如下：首先将相邻连续两帧It和It+1分别通过向前和向后的光流相互映射，其计算公式如下： posp，posq，分别是图像It中像素p和图像It+1中像素q的位置坐标向量，是将posp利用ft,p映射到后一帧It+1中的位置向量，则是将posq利用bt+1,q映射到前一帧It中的位置向量；然后分别计算各像素与其映射像素的运动差得到前向与后向运动概率： 其中为前向运动概率，为后向运动概率；最后通过积累对超像素与其相邻帧的映射超像素重叠部分内的前向和后向运动概率衡量他们的运动一致性，从而构建时间相关性矩阵其计算公式如下： 为矩阵中超像素spt,i中与spt+1,j之间的相关性值。

全文数据：

权利要求：

百度查询： 北京航空航天大学 一种联合图学习与概率传播的红外视频行人显著性检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD