买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州优航信息技术有限公司

摘要：本申请涉及一种基于深度学习的唇动识别方法。该方法包括：对人脸图像的时间序列进行人脸识别和关键点检测以得到人脸关键点参数集合的时间序列；从人脸关键点参数集合的时间序列提取唇动参数集合的时间序列；对唇动参数集合的时间序列进行唇动参数嵌入编码和时序上下文特征提取以得到上下文唇动参数语义编码特征向量的时间序列；将上下文唇动参数语义编码特征向量的时间序列输入特征分布反向掩码聚类分析网络以得到唇动特征时序聚合表示向量，进而确定识别结果，所述识别结果用于表示嘴部是否在动。这样，可以对于嘴部是否在动进行识别和检测，以帮助确定何时进行语音分析。

主权项：1.一种基于深度学习的唇动识别方法，其特征在于，包括：获取由摄像头采集的人脸图像的时间序列；对所述人脸图像的时间序列进行人脸识别和关键点检测以得到人脸关键点参数集合的时间序列；从所述人脸关键点参数集合的时间序列提取唇动参数集合的时间序列，其中，所述唇动参数集合包括嘴唇开闭分数、俯仰角、偏航角和滚动角；对所述唇动参数集合的时间序列进行唇动参数嵌入编码和时序上下文特征提取以得到上下文唇动参数语义编码特征向量的时间序列；将所述上下文唇动参数语义编码特征向量的时间序列输入特征分布反向掩码聚类分析网络以得到唇动特征时序聚合表示向量；基于所述唇动特征时序聚合表示向量，确定识别结果，所述识别结果用于表示嘴部是否在动；将所述上下文唇动参数语义编码特征向量的时间序列输入特征分布反向掩码聚类分析网络以得到唇动特征时序聚合表示向量，包括：对所述上下文唇动参数语义编码特征向量的时间序列进行聚类以得到上下文唇动参数语义聚类中心特征向量；计算所述上下文唇动参数语义编码特征向量的序列中的各个上下文唇动参数语义编码特征向量与所述上下文唇动参数语义聚类中心特征向量之间的语义相关系数以得到上下文唇动参数聚类中心语义相关系数的序列；取所述上下文唇动参数聚类中心语义相关系数的序列中的各个上下文唇动参数聚类中心语义相关系数的倒数以得到上下文唇动参数聚类中心语义反相关系数的序列；使用Sigmoid函数对所述上下文唇动参数聚类中心语义反相关系数的序列进行归一化处理以得到上下文唇动参数聚类中心语义反相关权重系数的序列；以所述上下文唇动参数聚类中心语义反相关权重系数的序列中的各个上下文唇动参数聚类中心语义反相关权重系数作为权重，对所述上下文唇动参数语义编码特征向量的序列中的各个上下文唇动参数语义编码特征向量进行加权以得到抑制上下文唇动参数语义编码特征向量的序列；计算所述上下文唇动参数语义编码特征向量的序列与所述抑制上下文唇动参数语义编码特征向量的序列之间的按位置差分以得到强化上下文唇动参数语义编码特征向量的序列；计算所述强化上下文唇动参数语义编码特征向量的序列的按位置均值向量以得到融合特征向量。

全文数据：

权利要求：

百度查询： 杭州优航信息技术有限公司 基于深度学习的唇动识别方法