申请/专利权人：中邮消费金融有限公司

申请日：2023-10-11

公开（公告）日：2024-06-18

公开（公告）号：CN117275070B

主分类号：G06V40/16

分类号：G06V40/16;G06N3/0464;G06N3/084;G06V10/80;G06V10/82;G06V20/40

优先权：

专利状态码：有效-授权

法律状态：2024.06.18#授权;2024.01.09#实质审查的生效;2023.12.22#公开

摘要：本发明属于人工智能技术领域，具体涉及基于微表情的视频面签处理方法及系统。基于微表情的视频面签处理方法，其包括如下步骤：S1、接收视频流；S2、对视频流中的帧图像进行微表情识别；获取视频流中包含人脸区域的关键帧图像；S3、对关键帧图像进行脸部局部特征提取处理和时间特征提取处理；将具有微表情的脸部局部变化特征图和时序特征图进行特征融合，得到最终的微表情识别结果。本发明针对线上视频面签的客户微表情进行识别，即识别出客户在视频中伪装的虚假表情，分析出客户的真实情绪意图以规避欺诈行为，该方法可以显著提高审核的准确度和效率，并降低审核成本。

主权项：1.基于微表情的视频面签处理方法，其特征在于，包括如下步骤：S1：接收视频流；S2：对所述视频流中的帧图像进行微表情识别；获取所述视频流中包含人脸区域的关键帧图像；S3：对关键帧图像进行脸部局部特征提取处理和时间特征提取处理；将具有微表情的脸部局部变化特征图和时序特征图进行特征融合，得到最终的微表情识别结果；在步骤S3中，通过预先训练完成的图像处理模型对关键帧图像进行处理和特征融合得到最终的微表情识别结果；所述图像处理模型在训练中，包括如下步骤：假设所述关键帧图像的数量为n，分别用frame_0、frame_1、frame_2……frame_n-2、frame_n-1表示，将以上关键帧经过预处理后得到特征后，再用frame_n-1分别与frame_n-3、frame_4……frame_2和frame_0依次作差得到脸部局部变化特征图feature_0；空间特征提取模块通过处理feature_0特征图，将考虑运动前后两张图像的信息，并充分利用位置信息；空间特征提取模块在残差模块中，引入了一个注意力模块，用于位置感知的注意力计算；在注意力计算中，将脸部局部变化特征图feature_0分别进行平均池化和最大池化，得到两个代表通道权重的向量；然后将这两个向量加起来并经过Softmax归一化处理，得到一个代表每个通道权重的标量值；然后将这个通道权重与原始的特征图相乘得到的新特征图；在残差块中还加入了空洞卷积，在主干网络的最后一层，引入了位置嵌入的融合，最终得到微表情的脸部局部变化特征图；将位置信息嵌入到特征图中，通过一个卷积层进行通道数的压缩，得到经过位置嵌入的特征图，这种位置感知的设计可以进一步增强模型对不同运动轨迹的分类能力，最终得到微表情的脸部局部变化特征图；在时间特征提取处理获得时序特征图中，采用双向LSTM提取frame_1、frame_3、frame_5……frame_n-4和frame_n-2的时间序列特征作为补充，引入1*1卷积下采样层；使用Bi-LSTM作为补充，原始未经处理的关键帧时间图作为输入；第一层和第二层的Bi-LSTM分别用BL-1、BL-2表示，即将BL-1与BL-2层堆叠在一起，BL-1的输出作为BL-2的输入；具体通过如下公式表示： ，其中，为第二层Bi-LSTM的输出；为第一层Bi-LSTM的特征提取函数；为第二层Bi-LSTM的特征提取函数；W1、W2分别表示BL-1与BL-2层的权重参数；通过上述公式得到时序特征图，并与微表情的脸部局部变化特征图进行特征融合后，输入到分类层，得到微表情识别结果。

全文数据：

权利要求：

百度查询： 中邮消费金融有限公司 基于微表情的视频面签处理方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD