申请/专利权人：北京工业大学

申请日：2021-04-27

公开（公告）日：2024-06-25

公开（公告）号：CN113536035B

主分类号：G06V20/40

分类号：G06V20/40;G06V10/762;G06V10/56;G06V10/50;G06V10/82;G06V20/52;G06N3/0464;G06N3/088

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2021.11.09#实质审查的生效;2021.10.22#公开

摘要：本发明涉及一种基于代表性和特异性得分的非监督监控视频摘要生成方法及生成器。具体包括：针对监控视频，每隔一定的时间抽取帧，并使用卷积神经网络提取得到视频帧组的视觉特征组；使用图像直方图找到视频帧组断点以设置聚群数量，对视频帧组进行分类；利用聚类得到的视频帧组聚群，分聚群进行备选帧的筛选；计算每个聚群的所有备选帧的代表性得分；计算每个聚群的特异性得分；根据特异性得分高低舍弃一部分聚群，剩余聚群中按群分别将备选帧由高到低选择一部分备选帧做为选定帧，并按其在原始视频的时序进行排列生成视频摘要。

主权项：1.基于代表性和特异性得分的非监督监控视频摘要生成方法，其特征在于包括以下步骤：步骤一，针对一个需要生成摘要的监控视频，每间隔固定时间抽取视频帧，形成视频帧组，并使用卷积神经网络提取得到视频帧组的视觉特征组；步骤二，使用图像直方图找到视频帧组的断点，利用这些断点将视频帧组分为n段，将n设置为聚群数量，使用聚类方法对视频帧组进行分类得到n个聚群，在全局范围内完成对视觉特征组的学习；步骤三，对每一个聚群进行备选帧组的筛选，其中第i个聚群的备选帧组由距离第i个聚群中心最近的m个视频帧组成；步骤四，计算每个聚群对应的备选帧组内的所有备选帧的代表性得分，其中任意一个备选帧组内的第i个备选帧的代表性得分的计算方法为：针对该备选帧组中的第i个备选帧，根据其在原视频时间轴上的位置，计算与其相邻预设时间范围内的视频帧的相似度平均值，该平均值即为第i个备选帧的代表性得分；步骤五，计算每个聚群对应的特异性得分，其中第i个聚群特异性得分的计算方法为：针对该聚群中的聚心帧的视觉特征xi，计算其与除此帧所在聚群外的其余所有聚群中的聚心帧的不相似度平均值，该平均值即为第i个聚群的特异性得分；步骤六，根据特异性得分，舍弃一部分得分低的聚群；从剩余聚群的备选帧组中选择用于生成视频摘要的选定帧，其中第n个剩余聚群的选定帧选取方法具体为：根据代表性得分大小，对第n个聚群对应的备选帧组中的所有备选帧排序，分数高的前j个备选帧即为该备选帧组的选定帧；对剩余聚群的选定帧，按照选定帧在原视频的时间顺序重新组合，最终形成视频摘要;所述断点的确定方法为：将视频帧转换为HSV色彩空间，提取视频帧在H,S,V三个通道的图像直方图，按照时序从前向后比较相邻两帧的图像直方图差异性，若差值超过阈值则认为此处为一个断点。

全文数据：

权利要求：

百度查询： 北京工业大学 基于代表性和特异性得分的非监督监控视频摘要生成方法及生成器

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD