申请/专利权人：华南理工大学

申请日：2024-01-18

公开（公告）日：2024-04-30

公开（公告）号：CN117582227B

主分类号：A61B5/16

分类号：A61B5/16;A61B5/1455;A61B5/00;G06F18/2431;G06N3/0464;G06F18/214

优先权：

专利状态码：有效-授权

法律状态：2024.04.30#授权;2024.03.12#实质审查的生效;2024.02.23#公开

摘要：本发明涉及情绪识别领域，为基于概率分布标签和脑区特征的fNIRS情绪识别方法及系统，其方法包括：构建情绪诱发数据集，采集受试者不同脑区的近红外数据，获取受试者的主观情绪评分；将不同脑区的近红外数据转化为多通道△HbO2数据，将主观情绪评分映射为情绪类别标签和情绪概率分布标签；将多通道△HbO2数据分脑区通过时序卷积模型得到不同脑区特征向量，结合自注意力机制融合不同脑区特征向量，构建初始情绪识别模型；设计结合情绪概率分布标签和情绪类别标签的联合损失函数，对初始情绪识别模型进行训练，获得训练后的情绪识别模型，用于输出情绪识别分类结果。本发明能反应实场景中个体所产生的多元性和复杂性的情绪变化。

主权项：1.一种基于概率分布标签和脑区特征的fNIRS情绪识别方法，其特征在于，包括以下步骤：S1、构建情绪诱发数据集，用于诱发受试者情绪；同步采集受试者不同脑区的近红外数据，获取受试者的主观情绪评分；S2、进行数据处理，将不同脑区的近红外数据转化为多通道△HbO2数据，将主观情绪评分映射为情绪类别标签和情绪概率分布标签；S3、将多通道△HbO2数据分脑区通过时序卷积模型得到不同脑区特征向量，结合自注意力机制融合不同脑区特征向量，构建初始的脑区注意力情绪识别模型；S4、设计结合情绪概率分布标签和情绪类别标签的联合损失函数，对初始的脑区注意力情绪识别模型进行训练，获得训练后的脑区注意力情绪识别模型；通过训练后的脑区注意力情绪识别模型输出情绪识别分类结果；步骤S3包括以下步骤：S301、将多通道△HbO2数据xall按脑区切分为不同脑区△HbO2数据，其中M表示采集数据分布的脑区数量；不同脑区△HbO2数据包括前额、左颞、右颞的△HbO2数据；S302、将切分得到的不同脑区△HbO2数据，分别输入时序卷积模块中；每个时序卷积模块应用于相应的脑区，模拟不同脑区的作用机制，获得各脑区的隐藏向量zm： ；每个时序卷积模块ConvNetm由高度为通道数量、宽度为不同整数的卷积核组成，以获得多个时间尺度的特征；各脑区隐藏向量zm构成特征向量序列Z，特征向量序列Z包括前额特征向量、左颞特征向量、右颞特征向量；S303、将特征向量序列Z通过多头自注意力模块进行融合处理，得到加权后的各脑区特征向量序列，再经过包含两层线性变换网络和残差连接的FFN模块，最终得到综合考虑各脑区特征的情绪向量H： ； ； ；其中，LayerNorm表示层间规范化，FFN为含有两个线性层的前馈神经网络，MSA代表多头自注意力机制；对于输入序列Z，通过多头自注意力机制计算时首先通过如下线性变换： ； ； ；其中、、都是权重矩阵，分别用于将输入序列经过线性变换后得到第i个注意力头的Queryi矩阵、Keyi矩阵和Valuei矩阵；每个注意力头的自注意力计算公式如下： ； d k 表示每个注意力头的输入特征向量长度，用于缓解点积的放大效应；通过计算得到的注意力分数矩阵Attentioni，该注意力分数矩阵中（p，q）位置的值为第i个注意力头下脑区p对脑区q的关注程度；将注意力分数矩阵和输入序列经过线性变换后得到的Valuei矩阵进行点乘计算，最终输出该注意力头综合考虑了每个脑区作用和交互的情绪向量；通过合并多个注意力头的输出结果，得到综合考虑了不同子空间的注意力权重的最终输出向量Multihead： ；其中Concat表示拼接操作，h表示多头注意力中注意力头的数量，1≤i≤h，Wo是用于将多头注意力结果合并的权重矩阵。

全文数据：

权利要求：

百度查询： 华南理工大学 基于概率分布标签和脑区特征的fNIRS情绪识别方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD