买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明属于计算机视觉中的情绪识别，具体为基于脉冲神经网络和多模态协同知识蒸馏的单眼情绪识别方法。本发明为单模态学生网络设计了一个框架，该框架能从事件增强的多模态教师网络中提取知识。同时，本发明提出了两种新的一致性损失函数：命中一致性知识蒸馏损失HCKD和时间一致性知识蒸馏损失TCKD，这两种函数都增强了知识蒸馏方案的有效性。HCKD确保了教师网络和学生网络在正确预测分布上的匹配，而TCKD则覆盖了所有时间步的预测结果，包括正确和不正确的预测。本发明在SER任务的准确率和效率上都取得了至今最好的结果。

主权项：1.基于脉冲神经网络和多模态协同知识蒸馏的单眼情绪识别方法，其特征在于；训练过程分为预训练和正式训练两个阶段：在预训练阶段，仅训练教师网络；在正式训练阶段，固定教师网络的权重，训练学生网络，保持教师网络和学生网络的输入数据一致，通过二者的输出结果计算协同蒸馏损失，使用分类损失和协同蒸馏损失共同优化学生网络的参数；推理过程仅使用学生网络执行推理，最终的情绪识别结果为学生网络的推理结果；具体步骤如下：首先，构建一个教师网络，教师网络将仅包含右眼区域的事件帧序列和灰度帧序列作为输入；事件帧序列是指事件模态的数据，包括真实数据和仿真数据，真实数据为将事件相机从右眼区域采集的原始事件数据进行堆叠后得到的帧序列；仿真数据是指使用V2E转换器将灰度帧转换为原始事件数据，再将原始事件数据进行堆叠后得到的帧序列；真实数据集与仿真数据的堆叠方法为按时间堆叠，具体为：首先获取事件的开始和结束时间戳，给定总的堆叠图片数量，将连续的事件数据分割成多个事件段，并将每个时间段内的事件堆叠成一张图片；对于每个事件，根据其坐标和极性来更新图片对应位置的像素值；灰度帧序列为对RGB相机采集的序列进行灰度图转换得到的数据，包括直接从右眼区域采集的序列以及从整个面部区域采集的序列经过裁剪后得到的右眼区域的序列；教师网络在执行推理时，首先使用基于脉冲神经网络SNN的SEW-Resnet-18和基于人工神经网络ANN的Resnet-18分别从事件帧序列和灰度帧序列中提取事件特征和灰度特征，然后，对事件特征和灰度特征两个矩阵进行逐个元素相加，得到混合特征；最后，将混合特征输入全连接分类器，分类器输出七种标准情绪悲伤、恶心、惊讶、高兴、生气、恐惧和中性的置信度，其中置信度最高的情绪被选为识别结果；然后，构建一个轻量级的学生网络，由五个连续的SNN特征提取层和一个全连接分类器组成，SNN特征提取层的结构为3C3-64C3-128C3-256C3-512C3，其中C表示卷积层，C前面的数字表示这一层所接收的通道数，C后面的数字表示卷积核的大小；学生网络在执行推理时，输入数据为灰度帧序列，使用五个连续的SNN特征提取层从灰度帧序列中提取嵌入特征，再将嵌入特征输入全连接分类器，全连接分类器的结构和最终结果的选取过程与教师网络相同；教师网络仅使用交叉熵损失进行优化，教师网络损失函数的形式化定义为： 其中，Output表示教师网络的全连接分类器输出的特征向量，y表示标签向量，表示交叉熵损失；学生网络同时使用时间效率训练TET交叉熵损失和两个协同蒸馏损失进行优化，以确保预测分布在粒度和广度上与教师网络预测分布的匹配度；学生网络损失函数的形式化定义为： 其中，在每个时间步计算接近真实标签输出的TET交叉熵损失，为分类损失；和为蒸馏损失，分别是HCKD损失和TCKD损失；α是平衡分类损失和蒸馏损失的权重参数；TET交叉熵损失考虑了每个时刻的电压，利用交叉熵损失优化每个时刻的突触膜电压；TET交叉熵损失使学生网络的训练过程收敛到更平坦的最小值，具有更好的泛化性，其形式化定义为： 其中，Ostut表示学生网络的分类器在第t个时间步的突触膜电压，表示交叉熵损失，T是总时间步长；HCKD损失在正确预测的时间步上对学生网络和教师网络的预测分布差异进行了惩罚，其形式化定义如下： 其中，衡量学生网络的正确预测信号Sstu和教师网络的正确预测信号Stea之间的均方误差，通过在学生网络预测正确的时间步cstu用学生网络的预测分布Ostucstu对Cstu求平均值得到Sstu，Cstu表示学生预测正确的时间步总数；同理，通过在教师网络预测正确的时间步ctea用教师网络的预测分布Oteactea对Ctea求平均值得到Stea，Ctea表示教师网络预测正确的时间步总数，当Cstu或Ctea等于零时，将1Nc作为信号值赋值给Sstu或Stea，Nc是情绪类别的总数；引入了TCKD损失；通过计算每个时间步的预测分布之间的均方误差，TCKD损失量化时间动态中的差异，从而强制学生网络从教师网络中学习时间模式和动态；其形式化定义如下： 其中，T是所有时间步长的个数，Oteat表示教师网络的分类器在第t个时间步的突触膜电压。

全文数据：

权利要求：

百度查询： 大连理工大学 基于脉冲神经网络和多模态协同知识蒸馏的单眼情绪识别方法