买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东大学;北京中科汇联科技股份有限公司

摘要：本发明涉及一种基于多时态信息熵跨时域的微表情识别方法，旨在全面建模微表情在不同尺度上的特征。首先，引入非对称变分自编码器，通过生成方式对微表情短时域特征分布进行无监督建模，克服了微表情瞬时特性难以捕获的问题。其次，设计时域脉冲矩阵，利用脉冲神经元构建新的时域空间，融合和筛选两个不同时态的微表情特征，确保模型有效提取特征。最后，提出自适应阈值函数，基于特征图互信息熵设计激活阈值，增强模型对不同数据集、样本和尺度特征的自适应选择能力。

主权项：1.一种基于多时态信息熵跨时域的微表情识别方法，其特征在于，包括：A、对微表情视频进行预处理，包括：获取视频帧序列、人脸检测与定位、人脸对齐；B、从步骤A预处理后视频序列中挑出峰值帧与起始帧，并对峰值帧与起始帧进行像素差运算，得到面部关键帧差异,同时采样邻近顶峰帧的微表情帧集C、构建长间隔时域微表情运动特性建模的残差网络，利用步骤B得到的面部关键帧差异，通过长时间域放大微表情变化的细微性，提取出细微且具有表征能力的运动模式特征并建模；D、构建对短间隔时域微表情连续帧建模的非对称自编码器网络，输入微表情帧集重建峰值帧，编码极短时间尺度连续且细微的数据，增强其对时间维度信息的编码能力；E、构造对长短时域进行联合筛选的脉冲时域矩阵模块，将微表情在长时间域上提取的特征和短时间域上提取的特征都映射到新的时域空间，进行统一的特征建模；F、根据特征图互信息量自适应的计算脉冲阈值δ构造自适应函数，自适应地对不同样本和不同网络尺度下的长短时域的微表情表征产生新时域的脉冲信号；G、模型训练，利用交叉熵损失、峰值帧重构损失、KL散度损失、分类损失对步骤C、D构建的长间隔时域微表情运动特性建模的残差网络、短间隔时域微表情连续帧建模的非对称自编码器网络进行迭代更新；H、对待识别的微表情视频预处理后得到的面部关键帧差异,输入训练好的长间隔时域微表情运动特性建模的残差网络、输入微表情帧集至短间隔时域微表情连续帧建模的非对称自编码器网络，实现微表情分类识别。

全文数据：

权利要求：

百度查询： 山东大学 北京中科汇联科技股份有限公司 一种基于多时态信息熵跨时域的微表情识别方法