买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：金纪科技有限公司

摘要：本申请涉及视频图像处理技术领域，具体涉及一种基于视频算法的留置实时监测预警系统及方法，该方法包括：采集面部表情视频数据，获取每帧图像；计算每帧图像的面部特征点位移状态系数；构建情绪波动帧集合；计算情绪波动帧集合中每帧图像的各特征点的局部微表情变化指数；计算情绪波动帧集合中每帧图像的情绪波动显著指数；获取稠密光流算法的图像金字塔层数，计算待测人员的情绪波动状态值，对待测人员的情绪状态实时监测预警。本申请可提高捕捉面部表情变化的准确性，增加依据表情变化来实时监测预警的可靠性。

主权项：1.一种基于视频算法的留置实时监测预警方法，其特征在于，该方法包括以下步骤：采集待测人员的面部表情视频数据，获取每帧图像；基于Dlib库的面部特征点检测方法，获取每帧图像的各特征点；根据不同帧图像的各特征点的坐标位置与位移距离之间变化趋势的差异情况，以及特征点的局部离散程度，计算每帧图像的面部特征点位移状态系数；基于每帧图像的面部特征点位移状态系数，构建情绪波动帧集合；根据情绪波动帧集合中每帧图像各特征点的局部特征变化情况，以及相邻帧图像中特征点的局部相似程度，计算情绪波动帧集合中每帧图像的各特征点的局部微表情变化指数；根据各特征点的所述局部微表情变化指数和对应特征点的离散程度，计算情绪波动帧集合中每帧图像的情绪波动显著指数；根据情绪波动帧集合中每帧图像的情绪波动显著指数，并结合稠密光流算法，计算待测人员的情绪波动状态值，对待测人员的情绪状态实时监测预警；所述计算每帧图像的面部特征点位移状态系数，包括：基于相邻两帧图像中同一特征点的坐标位置和距离，构建每帧图像的各特征点的位置状态序列和局部波动序列；计算每帧图像的各特征点的位置状态序列和局部波动序列之间的差异，记为特征差异度；计算每帧图像的各特征点的局部波动序列的变异系数，记为每帧图像的各特征点的局部离散度；每帧图像的各特征点的位置偏移量分别与所述特征差异度和所述局部离散度呈正相关关系；每帧图像的面部特征点位移状态系数与每帧图像中所有特征点的所述位置偏移量呈正相关关系；所述每帧图像的各特征点的位置状态序列的构建方法为：将每帧图像邻域内的多帧图像组成每帧图像的近邻图像帧序列；对每帧图像建立以像素为单位的直角坐标系，得到每个特征点的像素坐标；将每帧图像的近邻图像帧序列中所有图像的同一个特征点的像素坐标构成序列，记为每帧图像的各特征点的位置状态序列；所述每帧图像的各特征点的局部波动序列的构建方法为：计算每帧图像的近邻图像帧序列中各帧图像内相邻两个特征点的像素坐标之间的距离，记为各帧图像的各特征点的波动变化；将每帧图像的近邻图像帧序列中所有图像的同一个特征点的所述波动变化构成的序列，记为每帧图像的各特征点的局部波动序列；所述情绪波动帧集合的构建方法为：采用聚类算法，对所有图像的面部特征点位移状态系数进行聚类，获得多个聚类簇；将中心值最大的聚类簇中对应的所有图像组成的集合作为情绪波动帧集合；所述计算情绪波动帧集合中每帧图像的各特征点的局部微表情变化指数，包括：以情绪波动帧集合中每帧图像的各特征点为中心，构建各特征点的局部窗口；采用特征提取算法，获取情绪波动帧集合中每帧图像的各特征点对应局部窗口的特征向量，记为各特征点的局部图像特征向量；计算情绪波动帧集合中相邻两帧图像的同一特征点的局部图像特征向量之间的相似性，记为各特征点的向量相似度；对不同面部部位的特征点预设不同的权值系数，作为情绪波动帧集合中每帧图像的各特征点的权值系数，其中眉毛、嘴唇和眼睛部位上特征点的预设的权值系数大于面部轮廓、鼻子部位上特征点的预设的权值系数；情绪波动帧集合中每帧图像的各特征点的局部微表情变化指数分别与所述向量相似度和所述权值系数呈正相关关系；所述计算情绪波动帧集合中每帧图像的情绪波动显著指数，包括：情绪波动帧集合中每帧图像的各特征点的波动系数分别与各特征点的局部微表情变化指数和对应特征点的局部离散度呈正相关关系；情绪波动帧集合中每帧图像的情绪波动显著指数与所有特征点的所述波动系数呈正相关关系；所述计算待测人员的情绪波动状态值，实现情绪状态的实时监测预警，包括：基于情绪波动帧集合中每帧图像的情绪波动显著指数，获取稠密光流算法的图像金字塔层数；基于相邻两帧图像的同一像素点，采用稠密光流算法，计算相邻两帧图像中同一像素点的运动向量；将所有图像内同一像素点的位置记为各元素，将所有相邻两帧图像的同一像素点的所述运动向量的模构成的序列记为各元素的像素运行序列；将所述像素运行序列的离散程度作为各元素的情绪特征值；对所有元素的情绪特征值进行归一化处理，将归一化结果的均值作为待测人员的情绪波动状态值；将情绪波动状态的不同范围划分为多个区间，根据待测人员的情绪波动状态值所处的区间范围，监测待测人员的情绪状态。

全文数据：

权利要求：

百度查询： 金纪科技有限公司 一种基于视频算法的留置实时监测预警系统及方法