申请/专利权人：平安科技(深圳)有限公司

申请日：2021-09-28

公开（公告）日：2024-06-21

公开（公告）号：CN113869212B

主分类号：G06V40/70

分类号：G06V40/70;G06V40/40;G06V10/82;G10L17/24;G10L25/24;G10L25/51;G06N3/0455;G06N3/082

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2022.01.21#实质审查的生效;2021.12.31#公开

摘要：本发明涉及人工智能技术领域，尤其涉及一种多模态活体检测方法、装置、计算机设备及存储介质。该多模态活体检测方法包括采集活体检测视频流中的语音帧以及所述语音帧对应的帧图像；将所述语音帧以及所述帧图像输入至活体检测模型中进行活体检测，所述活体检测模型包括嘴部定位模块、语音特征提取模块以及活体检测模块；通过所述嘴部定位模块定位所述帧图像中的口型图像；以及，通过所述语音特征提取模块提取所述语音帧对应的语音特征；通过所述活体检测模块基于所述多模态特征进行活体检测，得到活体检测结果；其中，所述多模态特征包括所述口型图像特征与所述语音特征。该方法可通过结合帧图像和语音帧进行活体检测，提高活体检测的准确性。

主权项：1.一种多模态活体检测方法，其特征在于，包括：采集活体检测视频流中的语音帧以及所述语音帧对应的帧图像；将所述语音帧以及所述帧图像输入至活体检测模型中进行活体检测，所述活体检测模型包括嘴部定位模块、语音特征提取模块以及活体检测模块；通过所述嘴部定位模块定位所述帧图像中的口型图像；以及，通过所述语音特征提取模块提取所述语音帧对应的语音特征；其中，所述口型图像对应一口型图像特征；所述活体检测模型包括组合编码模块；在所述通过所述活体检测模块基于多模态特征进行活体检测之前，所述多模态活体检测方法还包括：通过所述组合编码模块对多模态特征进行组合编码，得到组合编码特征；所述通过所述活体检测模块基于所述多模态特征进行活体检测，得到活体检测结果包括：通过所述活体检测模块基于所述组合编码特征进行活体检测，得到活体检测结果;通过所述活体检测模块基于所述多模态特征进行活体检测，得到活体检测结果；其中，所述多模态特征包括所述口型图像特征与所述语音特征;通过所述组合编码模块对多模态特征进行组合编码，得到组合编码特征，包括：对所述多模态特征进行线性变换，得到第一编码特征；对所述多模态特征进行位置编码，得到第二编码特征；将所述第一编码特征与所述第二编码特征相加，得到所述组合编码特征;所述活体检测模块包括特征编码模块以及分类器；所述特征编码模块包括多个级联的编码单元；每一所述编码单元均包括第一归一化层、多头注意力机制层、第二归一化层以及全连接层；所述通过所述活体检测模块基于所述组合编码特征进行活体检测，得到活体检测结果，包括：将所述组合编码特征输入至所述第一归一化层进行归一化处理，得到所述第一归一化层的第一输出；将所述第一输出输入至所述多头注意力机制层进行注意力计算，得到所述多头注意力机制层输出的注意力向量；将所述注意力向量输入至所述第二归一化层进行归一化处理，得到所述第一归一化层的第二输出；将所述第二输出输入至所述全连接层，得到所述编码单元的输出；将所述编码单元的输出输入至下一级联的编码单元，以使所述下一级联的编码单元将所述编码单元的输出输入至所述第一归一化层进行归一化处理，得到所述第一归一化层的第一输出；重复执行所述将所述第一输出输入至所述多头注意力机制层进行注意力计算，得到所述多头注意力机制层输出的注意力向量的步骤，直至得到最后一个编码单元的输出作为所述特征编码模块的输出；通过所述分类器对所述特征编码模块的输出进行分类，得到所述活体检测结果。

全文数据：

权利要求：

百度查询： 平安科技(深圳)有限公司 多模态活体检测方法、装置、计算机设备及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD