申请/专利权人：江苏诚创信息技术研发有限公司

申请日：2015-07-31

公开（公告）日：2018-04-10

公开（公告）号：CN105184815B

主分类号：G06T7/223(2017.01)I

分类号：G06T7/223(2017.01)I

优先权：

专利状态码：失效-未缴年费专利权终止

法律状态：2020.07.17#未缴年费专利权终止;2018.09.21#专利申请权、专利权的转移;2018.04.10#授权;2016.01.20#实质审查的生效;2015.12.23#公开

摘要：本发明公开一种聚众事件检测方法，包括：对视频帧图像进行行为描述和构建行为建模，获取聚众识别指标；对指标进行判断，当指标大于预定阀值时，确定发生聚众事件；其中，对图像进行行为描述和构建行为建模，获取聚众识别指标包括：获取视频帧图像中运动目标的团块；计算视频帧图像的视频帧能量；对视频帧图像中每个像素点建立基于核密度估算的背景模型；根据背景模型获取视频帧图像的信息熵；根据视频帧能量和信息熵构建聚众事件识别指标模型，获取聚众识别指标。通过本发明的方法，能够方便快捷的对聚众异常事件进行检测，大力降低视频监控人员的工作量，大幅提高工作效率，降低在安保领域的人力和财力投入。

主权项：聚众事件检测方法，包括：对视频帧图像进行行为描述和构建行为建模，获取聚众识别指标；对所述指标进行判断，当所述指标大于预定阈值时，确定发生聚众事件；其中，所述对图像进行行为描述和构建行为建模，获取聚众识别指标包括：获取所述视频帧图像中运动目标的团块；计算所述视频帧图像的视频帧能量；对所述视频帧图像中每个像素点建立基于核密度估算的背景模型；根据所述背景模型获取所述视频帧图像的信息熵；根据所述视频帧能量和信息熵构建聚众事件识别指标模型，获取聚众识别指标；其中，所述获取所述视频帧图像中的运动目标的团块包括：通过运动物体检测算法获取二值化后的运动目标；对所述二值化后的运动目标进行图像形态学处理，得到完整无空洞的团块；提取所述无空洞的团块的封闭区域边界；其中，所述提取所述无空洞的团块的封闭区域边界包括：确定二值化后的图像中的目标点和非目标点，根据所述目标点和非目标点获取目标区域；根据所述目标区域，获取所述团块的沿X轴和Y轴方向的最大刻度和确定坐标原点；以所述坐标原点为左上角，选取2*2大小的窗口作为观察窗，遍历所述目标区域，获取边界观察窗，将所述边界观察窗的编号按顺时针排列的方式存入边界数组中；依次读取所述边界数组中的编号，将对应编号的观察窗的中心像素点相连接，生成封闭区域边界。

全文数据：聚众事件检测方法及系统技术领域[0001]本发明涉及智能视频处理及图像处理领域，尤其涉及一种聚众事件检测方法及系统。背景技术[0002]随着社会对安全监控的强烈需求和智能视频监控系统的发展，基于视频流对异常行为进行检测视频事件检测）显得尤为重要。其核心的概念即利用计算机技术以及图像处理方法从监控视频图像中识别出我们感兴趣的事件，这是一个综合的、复杂的问题。目前异常行为的识别主要包含对监控视频图像进行运动目标检测、跟踪和异常行为的识别和判断。聚众行为识别是异常行为中最为重要的一个方面。其中，聚众行为识别是复杂场景中多人参与的一种异常事件，也是事件检测研究中的一个难点，目前，国内研究相对较少，还处于起步阶段。[0003]—些研究者试图建立精确的虚拟模型来模拟真实聚众场景但是虚拟环境人的运动行为与真实环境有很大不同，且虚拟环境的图像和视频质量都远远好于真实场景，因此这种方法很难应用于实际监控系统。有的研究者提出了基于跟踪的方法，从运动物体进去监控场景开始获得他们的运动轨迹，从而判断异常情况是否发生，这种方法提高了异常行为监控的效率，但是当聚众行为较为复杂，有互相遮挡和重合的情况下实时监控的效果不够准确。有的研究者提出了基于特征的密度估计方法，这种方法对聚众检测非常重要，但是密度估计是一个不变量而实时检测是一个动态过程，后来又引入了方向、速度和加速度等重要的特征进行估计识别，然而该方法需要关注运动物体的动态信息，如光流量变化、运动速度变化、方向变化和角度变化等，计算复杂度很高。非参数的方法实现虽然简单，计算复杂度低，但是易受噪声干扰，仅仅适用于对简单动作的分析。[0004]申请号为201110359433.2的专利文件公开了一种事件检测方法及系统，提出通过统计二值化图像运动目标图像块个数和运动目标历史判断斗殴暴力事件。但由于在计算图像块个数时，由于运动目标距离摄像头的距离不同，使得同一目标远近会得到不同的图像块。而且，历史样本的获取比较困难，通过获取运动目标历史，也增加了计算量。[0005]故视频事件异常检测领域急需一种能快速分析聚众行为、多人互殴的技术方案。发明内容[0006]根据本发明的一个方面，提供了一种聚众事件检测方法，本发明的检测方法无需关注运动目标的动态信息，引入熵的概念，通过计算二值化图像的熵和运动物体像素的“能量”识别聚众行为，降低计算量，能够更有效准确快速的检测出聚众异常事件。该方法包括：[0007]对视频帧图像进行行为描述和构建行为建模，获取聚众识别指标；[0008]对所述指标进行判断，当所述指标大于预定阀值时，确定发生聚众事件；[0009]其中，所述对图像进行行为描述和构建行为建模，获取聚众识别指标包括：[0010]获取所述视频帧图像中运动目标的团块；[0011]计算所述视频桢图像的视频桢能量；[0012]对所述视频帧图像中每个像素点建立基于核密度估算的背景模型；[0013]根据所述背景模型获取所述视频帧图像的信息熵；[0014]根据所述视频帧能量和信息熵构建聚众事件识别指标模型，获取聚众识别指标。[0015]在一些实施方式中，所述获取所述视频帧图像中的运动目标的团块包括:通过运动物体检测算法获取二值化后的运动目标;对所述二值化后的运动目标进行图像形态学处理，得到完整无空洞的团块;提取所述无空洞的团块的封闭区域边界。由此，可以获取运动目标的团块，通过团块反应运动目标的形态信息，从而提取一些具有统计特性的特征对运动目标进行描述，对聚众行为进行有效识别。[0016]在一些实施方式中，所述提取所述无空洞的团块的封闭区域边界包括:确定二值化后的图像中的目标点和非目标点，根据所述目标点和非目标点获取目标区域;根据所述目标区域，获取所述团块的沿X轴和Y轴方向的最大刻度和确定坐标原点；以所述坐标原点为左上角，选取2*2大小的窗口作为观察窗，遍历所述目标区域，获取边界观察窗，将所述边界观察窗的编号按顺时针排列的方式存入边界数组中；依次读取所述边界数组中的编号，将对应编号的观察窗的中心像素点相连接，生成封闭区域边界。由此，即可获得团块的封闭区域边界，以对运动目标进行能量、长宽比等的计算。[0017]在一些实施方式中，所述计算所述视频帧图像的视频帧能量包括:根据摄像头的位置和视频帧的大小为所述团块内每一个像素点赋值一个权重Aij=a-byij;通过公式eij=XijKUj计算每个像素点的能量;通过公式计算每一帧视频帧中运动目标的能量。由此，能够通过能力来检测运动目标的运动特征，当物体运动速度增大或密度增大时，其具有的能量也随之增强，可用于判断斗殴、聚众等事件，从而无需关注运动目标的动态信息，更加快捷方便，降低计算的复杂度。[0018]在一些实施方式中，为像素点（i，j的纵坐标，b设置为视频帧的宽除以高，a设置为根据训练集学习计算，Hllj为像素点的值，当为前景像素点时取值为1，当为背景像素点时取值为0。由此，可以实现每个运动物体无论距离摄像头远近，其自身的固有能量保持不变。[0019]在一些实施方式中，所述对所述视频帧图像中每个像素点建立基于核密度估算的背景模型包括:沿时间轴方向获取视频帧图像中每点的N个样本;依据样本点构造核函数，创建一个基于核密度估算的背景模型；其中，所述核函数为K。，所述背景模型为，所述背景模型中的σ为窗宽。由此，可以基于核密度估计运动目标的概率分布，实现对运动目标离散特性描述信息熵的获取。[0020]在一些实施方式中，所述对所述视频帧图像中每个像素点建立基于核密度估算的背景模型还包括:采用样本方差计算所述窗宽。由此，计算上无需保存样本绝对差和排序绝对差来得到中位数，时间消耗上要小得多。并且，传统采用样本方差来计算核窗宽更符合实际情况。[0021]在一些实施方式中，所述根据所述背景模型获取所述视频帧图像的信息熵包括：通过公式计算所述视频帧图像中的前景目标在X轴方向上的信息熵;通过公式计算所述视频帧图像中的前景目标在y轴方向上的信息熵;通过计算所述H⑻和所述H⑺的乘积得到所述视频帧图像的信息熵;其中，pxz和pyZ是根据所述背景模型获取的核密度概率分布。由此，可以获取运动目标在整个图像中的离散分布特性，以根据离散分布特性识别聚众事件。[0022]在一些实施方式中，所述根据所述视频帧能量和信息熵构建聚众事件识别指标模型，获取聚众识别指标包括:根据获取的运动目标的能量和运动目标的信息熵构建聚众事件指标模型，其中Ef为所述运动目标的能量，H为所述运动目标的信息熵;根据所述聚众事件指标模型计算获得所述聚众识别指标I。由此，即可获取聚众识别指标，并根据指标值的大小进行聚众程度的识别，从而根据预设阀值检测出聚众异常事件。[0023]根据本发明的一个方面，还提供了一种聚众事件检测系统，包括行为描述模块和行为建模模块，其中，所述行为描述模块包括团块获取单元和能量计算单元，所述行为建模模块包括背景建模单元、聚众识别指标建模单元和聚众事件检测单元；[0024]所述团块获取单元设置为通过运动物体检测算法得到二值化的运动目标，并进行图像形态学处理得到完整无空洞的团块，提取所述团块的边界；[0025]所述能量计算单元设置为为视频帧图像中的每一个像素点设置权值，计算每个像素点的能量，根据每个像素点的能量和所述团块边界计算每一帧视频帧中运动目标的能量；[0026]所述背景建模单元设置为沿时间轴方向获取视频帧图像中每个像素点的N个样本，依据所述样本对所述视频帧图像中的像素点构造核函数，以建立一个背景模型；[0027]所述聚众识别指标建模单元设置为根据所述建立的背景模型获取离散描述信息熵，并根据所述运动目标的能量和信息熵构建聚众识别指标模型；[0028]所述聚众事件检测单元设置为根据所述聚众识别指标模型计算获取聚众识别指标，当所述聚众识别指标大于预定阀值时，确定为聚众事件。[0029]本发明的检测系统基于运动目标能量和信息熵，能够快速准确检测出视频中的聚众事件，在智能视频技术领域具有重大影响，能有效降低安保投入成本，提高监控效率。[0030]通过本发明提供的系统和方法，能够实现快速有效分析聚众行为和多人互殴的异常事件，大力降低视频监控人员的工作量，大幅提高工作效率，降低在安保领域的人力和财力投入。且，通过计算二值化图像的熵和运动物体像素的能量，就可以识别聚众行为，降低计算的复杂度。同时，由于对每个像素点引入权值，能够有效克服摄像头距离远近对像素分布的不良影响。附图说明[0031]图1为本发明一实施方式的聚众事件检测方法的流程图；[0032]图2为图1所示方法中的一帧视频帧图像；[0033]图3为图2所示视频帧图像的二值化后的运动目标团块；[0034]图4为图3的二值化运动目标团块对应的完整无空洞的团块；[0035]图5为图1所示方法中提取团块边界的方法流程图；[0036]图6为图1所示方法中另一帧的视频帧图像；[0037]图7为对图6所不的视频图像的团块检测后获取的团块；[0038]图8为对图7所示的团块进行人体检测后获取的人体团块；[0039]图9为本发明一实施方式的聚众事件检测系统的框架示意图；[0040]图10为按图5所示的方法提取团块边界的应用实例的示意图。具体实施方式[0041]下面结合附图对本发明作进一步详细的说明。[0042]图1示意性地显示了根据本发明的一种实施方式的聚众事件检测方法。如图1所示，该方法包括：[0043]步骤SlOl:对视频帧图像进行运动目标检测获取二值化的运动目标。[0044]聚众事件是一种由多个人相互聚拢的异常事件，在其检测中需要考虑两个关键问题:行为描述和行为建模。其中，行为描述即选择合适的特征描述事件，一般对特征的选择包括:人体目标、团块、轨迹、能量和变化的灰度级数。本发明选取团块和能量作为聚众异常事件行为描述的特征。在通过对视频中的一帧视频图像进行运动物体检测算法（如Verilook算法，为现有技术的内容，故不详述后，即可得到视频中二值化后的运动目标，如对图2中所示的原始视频帧图像，进行运动物体检测算法如Verilook算法后即可得到如图3中所示的二值化后的运动目标。[0045]步骤S102:对二值化的运动目标运用形态学操作得到无空洞的二值目标团块。[0046]得到二值化后的运动目标后，对其进行图像形态学处理通过现有技术即可实现，故不详述），即可得到完整而空洞的团块，如对图3中的二值化运动目标进行图像形态学处理，即可提取视频帧序列的运动目标的二值化前景帧，得到如图4所示的完整无空洞的团块。需要说明的是，团块可以较好的反映运动目标的形态等信息，从中提取一些具有统计特性的特征来表示对象，如团块的面积、团块的长宽比等，即可用于行为识别。如对图6中的原始帧图像经过运动目标检测和图像形态学处理提取运动目标的二值化前景帧，得到图7所示的运动目标的无空洞团块。之后，使用背景差分法获得前景图像，提取前景中目标轮廓的长宽比，将长宽比不满足条件的（如人的长宽比大于2,设置长宽比为大于2的条件值前景目标去掉，以排除其他物体如图7中的汽车）的影响，从而得到图8所示的场景目标（即只有行人的前景团块）。由此，就可以方便准确的在运动目标中检测出人，从而提高聚众事件检测目标群体的精准性。[0047]步骤S103:对无空洞的团块提取边界，获取封闭区域边界。[0048]对团块进行边界提取后，有了团块边界，就可以通过简单的统计边界内部的像素数，获取团块的面积和团块的长宽比。图5示意性地显示了团块边界的提取过程，如图5所示，该过程包括：[0049]步骤S501:对无空洞的团块的二值图像设置目标点和非目标点取值，将非目标点取值为1，目标点取值为〇。[0050]对二值化后的无空洞团块，设置前景像素点（即目标点）取值为1，对背景像素点即非目标点取值为0。[0051]步骤S502:根据目标点和非目标点获取目标区域，并分别获取X轴和Y轴的最大刻度MaxX、MaxY及坐标原点。[0052]以从左到右为X轴方向，从上到下为Y轴方向，对二值化后的图形分别沿X轴方向水平和沿Y轴方向竖直扫描图像中的像素点，当第一次扫描到目标点时，标记水平线和竖直线，从而获取无空洞团块的矩形目标区域。将矩形目标区域的左上角向左平移一个单位，再向上平移一个单位，取平移后的点为坐标原点，设定原点坐标为X=l，y=l。从原点出发，以矩形目标区域的最右边的竖直边界线确定X轴的最大刻度MaxX，以矩形目标区域的最下面的水平边界线确定Y轴的最大刻度MaxY。[0053]步骤S503:以坐标原点为左上角起始点，获取2*2的窗口作为观察窗。[0054]以坐标原点（X=I，y=1为左上角，取2*2以像素点为单位，1代表一个像素点，2代表两个像素点大小的矩形窗口作为观察窗，并对每个观察窗以序号1为起始编号依次进行顺序编号。[0055]步骤S504:判断观察窗是否既包含目标像素又包含背景像素，根据判断结果获取边界观察窗。[0056]获取观察窗内的像素点进行目标像素点和非目标像素点的判断，如果观察窗既包含目标像素又包含背景像素，则记为边界观察窗，并依次记录边界观察窗编号，将观察窗编号分为左右两端，分别记录在临时数组变量L和R中，L为左端的观察窗编号，R为右端的观察窗编号。在进行左右段分割时依据观察窗编号的连续性进行左右端分配（即R和L分割点就是编号不连续处），将同一行中相连续的编号较小的观察窗编号放入L中，把接着发生断点的顺序编号的观察窗编号放入R中，即如果当前的观察窗编号与上一次获取的同行（即观察窗左上角的X值相等的观察窗编号是连续编号的，则放在同一个数组即L或R数组中）。[0057]步骤S505:以坐标为x=x+l，y=y的点作为观察窗的左上角，平移观察窗。[0058]在X大于等于1小于等于MaxX、y大于等于1小于等于MaxY的范围内，先沿X轴再沿Y轴平移观察窗，遍历目标区域以获取全部边界观察窗，通过边界观察窗提取区域边界。[0059]从坐标原点出发，进行步骤S504的判断后，需要沿X轴方向平移观察窗继续进行判断。平移时，以x=l为单位进行平移，具体为将观察窗左上角的坐标x，y的X坐标加一，y坐标保持不变，将得到的新的坐标点x+l，y作为平移后观察窗的左上角。[0060]步骤S506:判断窗口的左上角的坐标X是否大于X轴方向的最大刻度MaxX，如果大于则进行步骤S507，否则进行步骤S504。[0061]通过步骤S502获取了运动目标的矩形目标区域，对边界观察窗的获取在该矩形目标区域内进行才更快效率更高，所以在平移观察窗时，要在矩形目标区域的边界区域内进行，也即是观察窗的左上角的X和y坐标不大于最大刻度MaxX和MaxY。此步骤进行X坐标是否大于MaxX的判断，即判断坐标为X的行的遍历是否结束，如果大于说明该行已遍历结束，则跳转到步骤S507进行边界观察窗的存放，否则跳转至步骤S504判断平移后的观察窗是否为边界观察窗。[0062]步骤S507:将获取的边界观察窗的编号按顺时针连续的方向存入数组Z。[0063]在每行遍历结束后，将该行中获取的边界观察窗的编号存入到边界数组Z中，然后再进行下一行（即y+Ι的遍历。具体为，首先在每行遍历结束后，将数组Z的中间剩余的空间区段分为左中右三个区段，在起始行即第一行遍历结束后，将步骤S504记录的数组L中的编号存入数组Z中间区段的左段，R中的编号存入数组Z中间区段的右端，在第二行至第MaxY行结束后，将数组R中的编号存入数组Z中间区段的左段，L中的编号存入数组Z中间区段的右段。需要说明的是，在存放的过程中，需要将编号按顺时针方向排列的顺序进行存放，并且在存入前，还要检查前一次存储的R和L与当前要存放的边界观察窗编号的顺序关系（即是否是按顺时针方向顺序依次存放），以保证边界点的光滑性。这样存储后，在依次读取数组Z中的编号时，提取出的就是按顺时针方向排列的边界观察窗。[0064]步骤S508:设置X为坐标原点的X值即x=l，以坐标为x=l，y=y+l的点作为左上角，平移观察窗。[0065]当观察窗的左上角在X轴方向的坐标值大于MaxX时，说明该行的遍历结束，需要转到下一行进行遍历，此时将y的值设置为y=y+l，即将观察窗的左上角的y坐标加一，以将观察窗平移到下一行。同时，将X的值设置为坐标原点的值即χ=1，将观察窗平移到左上角为I，y+l的位置，在下一行从X轴方向的坐标始点开始遍历目标区域。[0066]步骤S509:判断窗口的左上角的坐标y是否大于MaxY，大于则进行步骤S510,否则进行步骤S504。[0067]在开始新一行的遍历前，首先判断此时左上角坐标y的值是否大于MaxY，即在Y轴方向的遍历是否结束，如果大于则说明对目标区域的遍历已经结束，已获取了全部的边界观察窗，此时进行步骤S510,否则，跳转至步骤S504在新的行（S卩y=y+l的行进行目标区域的遍历。[0068]步骤S510:将数组Z依次取出，生成区域边界。[0069]通过以上步骤，当目标区域遍历完成后，数组Z中存储的即是按顺时针方向依次存储的边界观察窗的编号，依次取出观察窗编号，取这些边界观察窗的中心（即矩形的中心）为像素点，将所有的像素点连接起来，即可得到团块的区域边界。[0070]图10是根据图5的边界提取过程的边界提取示例，如图10对运动目标团块M提取团块边界，根据图5的步骤S502获得坐标轴、坐标原点（1，1图中小黑原点）、观察窗（图中2*2大小的矩形窗口，其中观察窗内的数字为观察窗的编号及矩形目标区域（图中虚线所围区域）。之后，根据步骤S503选取编号为1的观察窗1作为初始观察窗先沿X轴后沿Y轴进行遍历。如图10所示的MaxX为10，1^«¥为9，根据图5中步骤3504至步骤3506可得在遍历第一行时，图10中既包含目标像素又包含背景像素的边界观察窗的编号为6、7、8,在得到第一个边界观察窗6时，将其放入数组L中，得到第二个边界观察窗7时，由于跟前一个边界观察窗编号连续，则顺序放入数组L中，同理编号为8的边界观察窗的编号也放入数组L中，当第一行遍历完成后，根据步骤S507将数组Z分为左中右三段，将数组L中的6、7、8即起始边界观察窗放入数组Z的左段，然后进行第二行的遍历。由步骤S504至步骤S506可得在第二行遍历时，图10中的边界观察窗的编号为13、14、15、17、18、19，进行临时存放时，首先遍历到的第一个边界观察窗13放入数组L中，14和15因为与前一个边界观察窗编号连续，所以顺序依次放入数组L中，17由于与前一个边界观察窗编号中断，所以放入数组R中，同理18和19也放入数组R中。当第二行遍历完成后，根据步骤S507将数组Z中剩余的空间进行左中右三段的分段，将编号数组R放入数组Z的左段，数组L放入数组Z的右段。以此类推，直至第MaxY行遍历完成。此时，数组Z中存放的边界观察窗的编号依次为包括6、7、8、17、18、19、29、39、49、58、57、56、55、65、76、86、95、94、93、92、91、81、71、61、51、41、31、21、22、13、14、15。需要注意的是，在存放55、56、57、58时，通过检查前一次存放的编号49，可以知道边界观察窗按顺时针的连续性应该是49、58、57、56、55相连接，才能保证边界曲线的光滑性，因而将当前要存放的数组R中的编号，按从大到小的顺序存放如数组Z的左段。通过该方法即可完成对团块的封闭区域边界观察窗的提取，将数组Z中存放的编号对应的观察窗的中心像素点依次连接，即得到完整无空洞团块的边界。完成对团块边界的提取后，就可以对边界内的区域进行团块面积、长宽比及像素点的计算。[0071]这里，需要进一步说明的是，本方法中用到的数组L、R及Z可以是一维数组，也可以是二维或多维数组，甚至可以是其他方式如栈或列表，主要是为了实现将获取到的边界观察窗的编号按顺时针方向排列，从而根据顺时针方向上的边界观察窗编号勾勒出区域边界。因此，凡是能够通过将边界观察窗编号顺时针依次存放的实现手段，都属于本发明的保护范围。[0072]步骤S104:对每个团块内的像素点根据目标距离摄像头的远近赋值一个权重。[0073]目前大部分的聚众异常行为检测方法需要对运动物体进行跟踪，基于单个运动目标或者一组运动目标，关注其动态信息，如光流量变化、运动速度变化、方向变化和角度变化等。本发明将动力学能量用来检测运动目标的行为特征，当物体运动速度增大或密度增大时，其具有的动力学能量也随之增强，可用于判断打架、斗殴、聚众等场合。[0074]传统计算视频中帧的能量的方式是通过统计二值化图像运动目标像素点的个数，但由于运动目标距离摄像头的远近不同，二值化图像运动目标的像素点的个数不同。为了保证每个运动物体无论距离摄像头远近，其自身的固有能量大小保持不变，本发明为每一个像素点引入一个权值Mj=a-byij其中，yij为像素点（i，j的纵坐标，a和b为常量，取决于摄像头的位置和视频帧的大小。本发明的实施例中，设置b为视频帧的宽除以高，a的值根据训练集学习计算。[0075]步骤S105:计算像素点的能量。[0076]通过公式eij=AijIHij计算每个像素点的能量。其中，mij为像素点的值，如果我们只关注检测出的二值化前景运动目标，则对前景像素点my取值为1，对于背景像素点取值为0。[0077]步骤S106:计算视频桢能量。[0078]每一帧视频帧的能量为由此即可计算获得每一帧视频帧的能量也即运动目标的能量）。[0079]步骤S107:沿时间轴方向获取视频帧图像中每点的N个样本。[0080]从视频序列中提取出有效的运动特征（团块的面积、长宽比和能量后，要进行行为建模，包括背景建模和聚众识别指标建模。本发明采用基于核密度估计的背景建模方法，首先选定N帧视频图像序列帧图像作为样本，然后沿着时间轴方向，图像中每点都存在N个样本，利用这些历史样本信息就能针对全图中的每个像素点建立一个背景模型。[0081]步骤S108:依据样本点构造核函数。[0082]使用xl，x2，···，组成的一个像素的样本集合{xi}ί=1，2，···，Ν来估计像素的像素强度的总体概率分布。由此，像素强度X的概率描述可表示为。其中，K。为核函数，其窗宽为0。从非参数核密度估计理论可知pX是以样本集合为中心的核函数的均值。若样本数量满足足够多时，那么对该点的核密度估计最终可以收敛于该点的实际概率密度函数。由像素强度X的概率描述公式可以说明，估计像素强度X的概率的过程可认为是X和Xi的函数的一种平均，每一样本对像素强度的估计所起的作用依赖于它到X的距离，由此也可看出此时核函数的本质作用是内积。[0083]步骤S109:采用样本方差来计算核函数的窗宽。[0084]从像素强度X的概率描述表示可以看出在进行背景建模时，还有一个重要的变量核窗宽〇需要确定。统计理论中可知，当一个像素点的历史样本数目趋向无穷多时，这时对该点的样本估计会接近总体分布。但是实际中，我们取的样本数目不会无限多，那么在样本有限的情况下，就应该在对应情况下选择合适的窗宽。窗宽σ的选取会对分布造成不同的影响，如果窗宽的取值太小，就会使样本的概率密度分布比较尖突，产生欠光滑的现象;如果取值太大，相对应又会使分布过于平滑。[0085]为了选取适当的窗宽，本发明通过计算全部相邻样本差的绝对值IXi+1_XiI，对其取中值作为带宽，并假定样本服从了正态分布，即X〜Nμ，〇2，则从正态分布的性质，可以得出（Xl+1-Xl〜Nμ，〇2。由此，通过正态分布的对称性和中值特性可得丨ρ:通过查正态分布表，可知上侧0.25处分位数Φμ〇.25=0.68,再由样本中位数m得到窗宽σ为：[0086]由此估计得出的核窗宽，计算上无需保存样本绝对差和排序绝对差来得到中位数，时间消耗上要小的多。并且，在实际应用中，所有样本并不是都是服从正态分布的，故采用样本方差来计算核窗宽更符合实际情况。[0087]步骤S110:计算视频帧所有运动目标的离散程度Η。[0088]根据信息熵的定义，X轴方向和Y轴方向的熵分别表示为H⑻和H⑺，则其计算公式分别为t其中，Pxζ和pyZ是通过步骤S108的公式估计得到的概率。H⑵和H⑺分别描述前景目标在X轴方向和Y轴方向的离散特性。而整幅图像的离散特性通过联合熵H表示，前景运动目标分布越离散，则联合熵H越大。由于X轴方向和Y轴方向的变量相对独立，因此图像的联合熵为H〇和H〇〇的乘积。[0089]步骤Slll:依据E和H构建聚众事件指标模型I。[0090]本发明通过运动目标能量Ef和运动目标的离散描述信息熵H表示聚众识别指标I。由于能量越大，表示聚集程度越大，越趋近于聚众行为，则可知指标I与能量Ef成正比。而信息熵越大，表示离散程度越大，运动目标分布越分散，则可知指标I与信息熵H成反比。又，能量Ef对聚众行为影响较大，且熵可能为0或者小于1，据此构建计算聚众识别指标的公式为[0091]步骤S112:获取聚众指标I的值，判断I的值是否大于预定阀值，大于阀值则确定为聚众事件，小于则获取下一帧视频图像，进行步骤SlOl至步骤Slll的检测处理，直至所有帧都处理完毕。[0092]通过步骤Slll构建聚众事件指标模型后，即可通过公式计算获取聚众指标I的值。之后，将指标I与预定的阀值进行比较，如果大于阀值即确定为聚众事件，进行聚众异常事件报警（如将异常信息通过手机客户端软件或手机短信推送相关人员等）。如果不大于阀值，则结束当前帧的检测，继续对下一帧视频图像进行步骤SlOl至步骤Slll的检测处理，直至所有的视频帧都处理完毕。[0093]本发明通过提供一种基于信息熵和团块能量的检测方法，引入熵的概念，对聚众异常事件进行分析检测和异常报警，在视频检测处理中无需关注运动目标的动态信息，仅通过计算二值化图像的熵和运动物体像素的能量，就可以识别聚众行为，降低计算的复杂度，且克服摄像头距离远近对像素分布的不良影响，能够实现快速有效分析聚众行为和多人互殴的异常事件。并且，智能视频处理技术中对聚众行为事件的检测和识别，将对视频监控行业产生重大影响，尤其能够大力降低视频监控人员的工作量，大幅提高工作效率，降低在安保领域的人力和财力投入。[0094]根据本发明的一个方面，还提供了一种聚众事件检测系统，图9为本发明一实施方式的聚众事件检测系统的框架示意图。如图9所示，该系统9包括行为描述模块91和行为建模模块92,其中，行为描述模块91包括团块获取单元910和能量计算单元911，用于获取团块和能量作为聚众事件行为描述的特征，对聚众事件进行标识。行为建模模块92包括背景建模单元920、聚众识别指标建模单元921和聚众事件检测单元922,用于根据提取出的有效的运动特征，构建函数模型，通过指标值计算实现对聚众事件的检测。[0095]具体地，团块获取单元910设置为通过运动物体检测算法得到二值化的运动目标，并对得到的二值化运动目标进一步进行图像形态学处理，从而得到完整无空洞的团块，并提取无空洞团块的封闭区域边界。在本发明中，运动物体检测算法和图像形态学处理都是智能视频技术和图像处理技术中的现有技术，因此不再详述。能量计算单元911设置为为视频帧图像中的每一个像素点设置权值Xij=a-byij，通过公式eijiAijnuj计算每个像素点的能量，根据每个像素点的能量和团块边界，通过公式计算每一帧视频帧中运动目标的能量。其中，为像素点（i，j的纵坐标，a和b为常量，取决于摄像头的位置和视频帧的大小。本发明的实施例中，设置b为视频帧的宽除以高，a的值根据训练集学习计算。Hilj为像素点的值，如果我们只关注检测出的二值化前景运动目标，则对前景像素点my取值为1，对于背景像素点取值为0。背景建模单元920设置为沿时间轴方向获取视频帧图像中每个像素点的N个样本，由此，图像中每个像素点都存在N个样本，依据获取的样本对全图中的每个像素点构造核函数，建立一个背景模型。例如，使用xl，x2，···，组成的一个像素的样本集合{xi}i=1，2，…，Ν来估计像素的像素强度的总体概率分布，则像素强度X的概率描述可表示为1。其中，Κ。为核函数，其窗宽为〇。对窗宽的估计前文已详细叙述，在此不再赘述，具体可参看前文。聚众识别指标建模单元921设置为根据建立的背景模型获取离散描述信息熵，并根据运动目标的能量和信息熵构建聚众识别指标模型。由于信息熵描述前景运动目标的离散分布特性，则通过背景建模单元920构造的核密度函数，即可获取运动目标沿X轴和Y轴方向的离散分布为通过H〇〇和H〇〇的乘积计算获得整幅视频帧图像的信息熵，通过能量计算单元911获取运动目标的能量，之后，根据运动目标能量和运动目标的离散描述信息熵对聚众指标的影响，即能量越大，聚众程度越大，越趋近于聚众行为，离散特性越高，聚众程度越低，即可构建聚众识别指标函数模型，聚众事件检测单元922设置为根据聚众识别指标模型计算获取聚众识别指标，当聚众识别指标大于预定阀值时，确定为聚众事件，发出聚众异常事件警报。根据构建好的聚众识别指标模型，将计算获得的能量和信息熵代入，即可计算获得聚众识别指标I的值，将I与预设的阀值进行比较，当大于则确定为聚众事件，进行聚众异常事件报警，从而实现对聚众事件的检测和监控。[0096]本发明的聚众事件检测系统能够实现快速有效分析聚众行为和多人互殴的异常事件，大力降低视频监控人员的工作量，大幅提高工作效率，降低在安保领域的人力和财力投入。且，通过计算二值化图像的熵和运动物体像素的能量，就可以识别聚众行为，降低计算的复杂度。同时，由于对每个像素点引入权值，能够有效克服摄像头距离远近对像素分布的不良影响。[0097]以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

权利要求：1.聚众事件检测方法，包括：对视频帧图像进行行为描述和构建行为建模，获取聚众识别指标；对所述指标进行判断，当所述指标大于预定阈值时，确定发生聚众事件；其中，所述对图像进行行为描述和构建行为建模，获取聚众识别指标包括：获取所述视频帧图像中运动目标的团块；计算所述视频帧图像的视频帧能量；对所述视频帧图像中每个像素点建立基于核密度估算的背景模型；根据所述背景模型获取所述视频帧图像的信息熵；根据所述视频帧能量和信息熵构建聚众事件识别指标模型，获取聚众识别指标；其中，所述获取所述视频帧图像中的运动目标的团块包括：通过运动物体检测算法获取二值化后的运动目标；对所述二值化后的运动目标进行图像形态学处理，得到完整无空洞的团块；提取所述无空洞的团块的封闭区域边界；其中，所述提取所述无空洞的团块的封闭区域边界包括：确定二值化后的图像中的目标点和非目标点，根据所述目标点和非目标点获取目标区域；根据所述目标区域，获取所述团块的沿X轴和Y轴方向的最大刻度和确定坐标原点；以所述坐标原点为左上角，选取2*2大小的窗口作为观察窗，遍历所述目标区域，获取边界观察窗，将所述边界观察窗的编号按顺时针排列的方式存入边界数组中；依次读取所述边界数组中的编号，将对应编号的观察窗的中心像素点相连接，生成封闭区域边界。2.根据权利要求1所述的方法，其中，所述计算所述视频帧图像的视频帧能量包括：根据摄像头的位置和视频帧的大小为所述团块内每一个像素点赋值一个权重A^=a-byij；通过公式eij=AijIiiij计算每个像素点的能量；通过公式计算每一帧视频帧中运动目标的能量；其中，yu为像素点（i，j的纵坐标，b设置为视频帧的宽除以高，a设置为根据训练集学习计算，Hllj为像素点的值，当为前景像素点时取值为1，当为背景像素点时取值为0。3.根据权利要求1所述的方法，其中，所述对所述视频帧图像中每个像素点建立基于核密度估算的背景模型包括：沿时间轴方向获取视频帧图像中每点的N个样本；依据样本点构造核函数，创建一个基于核密度估算的背景模型；其中，所述核函数为K。，所述背景模型为所述背景模型中的σ为窗宽，X表示像素，X1表示组成像素的样本集合的任一元素。4.根据权利要求3所述的方法，其中，所述对所述视频帧图像中每个像素点建立基于核密度估算的背景模型还包括：采用样本方差计算所述窗宽。5.根据权利要求1所述的方法，其中，所述根据所述背景模型获取所述视频帧图像的信息熵包括：通过公式计算所述视频帧图像中的前景目标在X轴方向上的信息熵；通过公式计算所述视频帧图像中的前景目标在y轴方向上的信息熵；通过计算所述H⑻和所述H⑺的乘积得到所述视频帧图像的信息熵；其中，pxZ和pyZ是根据所述背景模型获取的核密度概率分布。6.根据权利要求1所述的方法，其中，所述根据所述视频帧能量和信息熵构建聚众事件识别指标模型，获取聚众识别指标包括：根据获取的运动目标的能量和运动目标的信息熵构建聚众事件指标模型，.其中Ef为所述运动目标的能量，H为所述运动目标的信息熵；根据所述聚众事件指标模型计算获得所述聚众识别指标I。

百度查询： 江苏诚创信息技术研发有限公司 聚众事件检测方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD