买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海大学

摘要：本发明公开的一种基于自注意力的卒中患者表情识别方法及系统，包括：获取卒中患者表情数据集，构建基于ViT的表情识别模型，通过人脸表情数据集和所述卒中患者表情数据集对所述基于ViT的表情识别模型进行训练，通过训练好的基于ViT的表情识别模型识别卒中患者表情的类别。本发明通过构建基于ViT的表情识别模型，以人脸表情数据集作为输入进行预训练得到预训练模型后，再以卒中患者表情数据集增强后的数据集为输入对预训练模型进行训练，使得基于ViT的表情识别模型能够识别轻量级卒中患者表情。

主权项：1.一种基于自注意力的卒中患者表情识别方法，其特征在于，所述方法包括：获取卒中患者表情数据集；构建基于ViT的表情识别模型，所述基于ViT的表情识别模型包括：依次连接的卷积嵌入模块、Transformer模块、多通道特征提取模块以及输出模块；其中，卷积嵌入模块具体包括：模型输入为三通道像素为128*128的灰度图像，经过卷积嵌入模块通过卷积将图像转换为Transformer网络所需要的块特征向量，卷积嵌入模块分为特征卷积和块嵌入两部分；特征卷积通过64*7*7的卷积核进行步长为2的卷积，通过2*2的池化层，输出64*64*64的图像特征图；块嵌入使用多个64*2*2的卷积核进行步长为2的卷积，将输入压缩成序列长度为16*16的Patch输入TF网络；Transformer模块具体包括：Transformer模块分为TransformerEncoder和块整合两部分；其中，TransformerEncoder将输入特征块通过线性变换转化为3×k×d的特征向量后，经过维度变换分割成特征矩阵Q、K和V，d为每个注意力头的参数量，自注意力模块计算公式为： 其中，DK为K的纬度值，k为设定的注意力头个数，A为自注意力矩阵；TransformerEncoder的输出通过由1*1卷积和高斯误差线性整流函数组成的前向反馈网络进行整合传递到块整合；其中，块整合压缩块特征数据量，网络包含3*3的卷积，步长为2的卷积，BN层，大小为2*2的池化层；经过两轮的TF网络后输出特征向量为576*4*4，其中，di为输入通道数，do为输出通道数，h为特征块的长，w为特征块的宽；多通道特征提取模块具体包括：包括块重建和通道特征池化，其中，块重建将特征向量经过上采样提升空间维度至4*48*48，并使用12*12的卷积核对每一层特征单独进行步长为14的卷积，获得4*10*10的特征图；通道特征池化输出1*10*10的通道特征向量，计算公式为： 其中分别为位置为i，j通道的平均值和最大值，a为最大值权重；通过人脸表情数据集和所述卒中患者表情数据集对所述基于ViT的表情识别模型进行训练；通过训练好的基于ViT的表情识别模型识别卒中患者表情的类别。

全文数据：

权利要求：

百度查询： 上海大学 一种基于自注意力的卒中患者表情识别方法及系统