买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中山大学申请的专利一种基于跨模态注意力机制的多模态个性识别方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114549946B 。

龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210159056.6，技术领域涉及：G06V10/80；该发明授权一种基于跨模态注意力机制的多模态个性识别方法及系统是由王甲海;王继武设计研发完成，并于2022-02-21向国家知识产权局提交的专利申请。

本一种基于跨模态注意力机制的多模态个性识别方法及系统在说明书摘要公布了：本发明公开了一种基于跨模态注意力机制的多模态个性识别方法及系统，方法包括以下步骤：S1：对视频数据进行预处理，分别得到视频数据中的音频文件和视频帧中的人脸图像和场景图像；S2：从音频文件中提取声音特征；S3：分别对人脸图像和场景图像进行图像特征提取；S4：利用跨模注意力机制对提取的声音特征和图像特征进行深层特征提取；S5：将不同模态的深层特征进行加权特征融合，利用预设的全连接层计算个性分数，得到个性结果；S6：将预准备的视频数据划分为训练集、验证集和测试集，重复步骤S1‑S5迭代训练，利用验证集对训练后的模型进行验证，保存验证效果最好的模型用于个性识别。本发明提高了多模态个性识别的准确率。

本发明授权一种基于跨模态注意力机制的多模态个性识别方法及系统在权利要求书中公布了：1.一种基于跨模态注意力机制的多模态个性识别方法，其特征在于，包括以下步骤：S1：对视频数据进行预处理，分别得到视频数据中的音频文件和视频帧中的人脸图像和场景图像；S2：从音频文件中提取声音特征；S3：分别对人脸图像和场景图像进行图像特征提取；S4：利用跨模态注意力机制对提取的声音特征和图像特征进行深层特征提取；所述步骤S4中的具体过程为：S401：分别将声音特征、人脸图像特征、场景图像特征三个模态特征通过双向的GRU得到三个模态特征的上下文特征表示；S402：将三个模态特征的上下文特征表示利用跨模态注意力机制进行特征提取；S403：将通过跨模态注意力机制提取的各模态特征通过LSTM+attention层提取时序特征；所述跨模态注意力机制的数学表达式如下： Wf＝γ·αm+1-γ·βaWm＝SoftmaxWfXAtt＝WmXm其中，αm表示主模态的注意力矩阵，βa表示辅助模态的注意力矩阵，Wf表示经过超参γ调制后的注意力矩阵，Wm经过Softmax激活的权重矩阵，Qm和Km表示主模态的特征序列，Qa和Ka表示辅助模态的特征序列，tanh表示正切函数激活，γ表示辅助模态引入的权重，XAtt表示经过跨模态注意力机制后的得到的特征序列；所述通过LSTM+attention层提取时序特征，其数学表达式如下：Ot，Ht＝biLSTMXAtt Wl＝SoftmaxWtZ＝Wl·Ot其中，Ot、Ht分别表示为LSTM的最后一层输出和所有隐层输出，Wt表示时序特征的注意力矩阵，Wl表示为每一个隐层特征对应的权重，Z表示经过加权后的序列特征，即每个模态提取的最终特征；S5：将不同模态的深层特征进行加权特征融合，利用预设的全连接层计算个性分数，得到个性结果；所述步骤S5中的具体过程为：S501：将步骤S4提取得到的三个模态的特征进行拼接；S502：通过两层全连接激活和Softmax激活得到权重向量；S503：将拼接后的特征和权重向量相乘后输入至预设的全连接层，输出预测的个性分数；S6：将预准备的视频数据划分为训练集、验证集和测试集，重复步骤S1-S5迭代训练，利用验证集对训练后的模型进行验证，保存验证效果最好的模型用于个性识别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中山大学，其通讯地址为：510275 广东省广州市海珠区新港西路135号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。