买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜杭州电子科技大学申请的专利未对齐行为信息动态调整单词表示的多模态情感识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114936552B 。

龙图腾网通过国家知识产权局官网在2025-06-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210624963.3，技术领域涉及：G06F40/284；该发明授权未对齐行为信息动态调整单词表示的多模态情感识别方法是由孔万增;郭继伟;唐佳佳;戴玮辰;刘栋军设计研发完成，并于2022-06-02向国家知识产权局提交的专利申请。

本未对齐行为信息动态调整单词表示的多模态情感识别方法在说明书摘要公布了：本发明公开一种未对齐行为信息动态调整单词表示的多模态情感识别方法。本发明利用跨模态注意力机制，挖掘与文本模态相关的行为信息由视觉是听觉模态组成，然后利用行为信息来动态的修改文本模态中的单词在语义空间中的位置，从而得到经过多模态信息调整后的单词表示。同时，跨模态注意力机制能够在长距离范围内关注到与文本模态相关的行为信息，因此能够很好的解决多模态学习中存在的固有问题—各个模态信息之间的频率不匹配。其次，在此基础上构建若干个多模态Transformer层，能够进一步挖掘经过多模态信息调整后的单词表示在上下文环境中的高级特征信息，是对当前情感识别领域的多模态融合框架的有效补充。

本发明授权未对齐行为信息动态调整单词表示的多模态情感识别方法在权利要求书中公布了：1.未对齐行为信息动态调整单词表示的多模态情感识别方法，其特征在于：包括以下步骤： 步骤1、数据采集； 获取含有不同情感类别下采集的多模态数据集； 步骤2、多模态信息数据预处理； 分别将文本模态、视觉模态、听觉模态数据转化为初级表征，并对听觉和视觉模态数据进行预融合操作，降低听觉和视觉模态数据的时域维度尺寸以及特征向量长度大小； 采用长短期记忆网络抽取视觉和听觉数据的初级特征如下： 其中，Fm为视觉或听觉数据的初级特征，为模态m的初级表征；v、a分别表示视觉、听觉模态；Im为模态m的原始数据；为模态m的重矩阵；Tm为时域维度的尺寸；dm为每一个时刻的特征向量的长度； 听觉或视觉模态数据的预融合的结果X{m}的表达式如下： 其中，{m}为模态m的初级表征；Tm为时域维度的尺寸，dm为每一个时刻的特征向量的长度；k{m}为模态m的卷积核的大小； 步骤3、跨超模态融合； 3-1.获取超模态信息 将经过预融合操作的视觉和听觉模态的初级表征在时域维度上拼接在一起，得到超模态信息Xβ； 3-2.动态调整单词表示； 将超模态信息分别经过两个线性转换网络，得到关键矩阵Kβ以及实值矩阵Vβ；将文本模态信息经过一个线性转换网络，得到对应的查询矩阵Ql； 基于查询矩阵Ql和关键矩阵Kβ计算得到行为信息在文本模态中的注意力因子矩阵e如下： e＝softmaxa公式6 其中，a为未归一化的注意力因子矩阵；dk为查询矩阵Ql的特征长度； 提取超模态信息中与文本相关的信息H如下： H＝eVβ公式7 获取融入了未对齐行为信息的文本信息； 利用上述得到的超模态信息中与文本相关的信息H动态调整文本模态中的每一个单词表示如下： 其中，表示融入了超模态信息的文本信息；Xl表示文本模态的初始表征；α为比例系数；λ为预设的超参数； 以文本信息输入情感识别模型中进行训练； 步骤四、情感识别输出 采集被测对象的多模态数据送入步骤三获取的情感识别模型，识别被测对象的情感类别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市下沙高教园区2号大街；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。