申请/专利权人：嘉兴学院;浙江省电子信息产品检验研究院(浙江省信息化和工业化融合促进中心)

申请日：2020-12-15

公开（公告）日：2024-06-18

公开（公告）号：CN113158720B

主分类号：G06V20/40

分类号：G06V20/40;G06V20/52;G06V10/80;G06V40/20;G06V10/82;G06N3/0464;G06V10/774

优先权：

专利状态码：有效-授权

法律状态：2024.06.18#授权;2021.08.10#实质审查的生效;2021.07.23#公开

摘要：本发明公开一种基于双模特征和注意力机制的视频摘要方法及装置，该方法包括：通过马尔科夫随机场模型和自适应阈值法对视频数据进行预处理；对预处理后的视频数据进行双模特征提取；对该短时声音能量特征和视觉运动强度特征的融合结果进行平滑处理，以获取针对于该视频数据的用户注意力曲线；根据预先设定的目标视频片段确定策略，在该用户注意力曲线中确定出用户注意力高于预设的注意力阈值的目标视频片段；通过预先训练好的异常行为识别模型获取该目标视频片段中的异常行为。能够对冗长的监控视频进行自动浓缩，提取出其中用户感兴趣的片段，自动识别视频中运动目标和异常行为，实现监控视频的智能高效浏览，减轻工作人员负担，提高监控效率。

主权项：1.一种基于双模特征和注意力机制的视频摘要方法，其特征在于，所述方法包括：通过马尔科夫随机场模型和自适应阈值法对视频监控器在第一时间段内拍摄到的视频数据进行预处理，其中，通过马尔科夫随机场模型对拍摄到的视频数据中的视频背景进行建模，包括：将输入视频帧X＝{xs|s∈S}从RGB颜色空间转换为YcbCr空间，忽略其亮度分量，其中S表示输入视频帧中的像素点集，xs表示视频帧上像素点的观测值；初始化视频帧的分类数K、固定势函数β以及算法最大迭代次数T；利用K-均值算法计算视频帧初始分割结果；根据下式估计特征场均值参数μ： 其中，Nm是视频帧中被标记为第m类的像素的个数，ys表示视频帧中像素点s对应的标号；根据下式估计特征场方差参数σ2： 将μ和σ2代入下式计算特征场能量： 其中，Y＝{ys|s∈S}表示标号场；根据下式计算标号场能量：E2Y＝∑c∈CVcYc，其中VcYc是定义在标号场Y的势团c上的势能函数，采用二阶邻域模型：计算标号场和特征场总能量，更新像素点标号，并遍历计算，与上次迭代后的总量相比较，直至能量差值小于设定的阈值或迭代次数为T为止；通过自适应阈值法对镜头的边界进行检测，包括：将输入视频帧从RGB颜色空间转换为HSV空间；将视频帧大小调整为S×S，划分成大小为B×B的帧块，其中BS；对视频帧进行维纳滤波；根据下式计算每个图像块的局部二值模式特征LBP； 其中，P是圆形邻域中的像素点的个数，R是邻域半径，Ix,y表示圆形邻域中心点的亮度值，L为门限函数，计算输入视频帧的局部二值模式特征直方图，并对该直方图进行归一化处理，将每个帧块的局部二值模式特征直方图连接得到输入视频帧LBP特征向量；计算相邻视频帧LBP特征向量的欧式距离，得到相邻视频帧间差Δ＝Δ1,Δ2,…,ΔN，N为视频帧总数；如果相邻视频帧间差Δi大于阈值ρ，则认为该处产生突变，为镜头边界，其中ρ是自适应阈值，ρ＝μΔ+σΔ×γ，μΔ为Δ的均值，σΔ为Δ的方差，γ为取值范围[1,3]的常数；对预处理后的视频数据进行双模特征提取，其中，所述双模特征包括短时声音能量特征和视觉运动强度特征；对所述短时声音能量特征和视觉运动强度特征的融合结果进行平滑处理，以获取针对于所述视频数据的用户注意力曲线；根据预先设定的目标视频片段确定策略，在所述用户注意力曲线中确定出用户注意力高于预设的注意力阈值的目标视频片段；通过预先训练好的异常行为识别模型获取所述目标视频片段中的异常行为；所述通过预先训练好的异常行为识别模型获取所述目标视频片段中的异常行为，包括：分别对每个目标视频片段进行均匀采样，获取长度为N的视频帧序列；通过预先训练好的卷积神经网络模型提取所述视频帧序列的特征向量F＝{f1,f2,…,fN}；将所述视频帧序列的特征向量F输入长短时记忆网络，获取长度为N的隐状态序列H＝{h1,h2,…,hN}；将隐状态序列H输入注意力网络，通过注意力值确定公式计算每个隐状态的注意力值；其中所述通过注意力值确定公式为：αn＝softmaxWThn+b，其中，αn为第n个隐状态的注意力值，W和b分别为多层感知机的权重和偏置；通过注意力机制结合公式将特征向量F与注意力值向量α加权，得到结合注意力机制的特征向量Fatt；其中，所述注意力机制结合公式为： 将所述结合注意力机制的特征向量Fatt作为softmax分类器的输入，根据所述softmax分类器输出的结果确定所述异常行为。

全文数据：

权利要求：

百度查询： 嘉兴学院;浙江省电子信息产品检验研究院(浙江省信息化和工业化融合促进中心) 一种基于双模特征和注意力机制的视频摘要方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD