龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：北京科技大学;青岛市妇女儿童医院(青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心)
申请日：2024-04-02
公开（公告）日：2024-06-21
公开（公告）号：CN118228194A
主分类号：G06F18/25
分类号：G06F18/25;G06F18/241;G06F18/2431;G06N3/042;G06N3/0442;G06N3/0455;G06N3/0464;G06N3/082
优先权：
专利状态码：在审-公开
法律状态：2024.06.21#公开
摘要：本发明公开了一种融合时空图注意力网络的多模态人格预测方法和系统，涉及情感计算技术领域，包括：基于卷积神经网络模型，提取目标视频中的场景时空外观特征、人脸时空外观特征和音频特征；基于图注意力网络模型，提取目标视频中的人脸时空几何结构特征；基于预训练语言模型，提取目标视频的文本特征；将场景时空外观特征、人脸时空外观特征、人脸时空几何结构特征、音频特征和文本特征进行特征融合，得到多模态融合特征；基于多模态融合特征和训练好的人格预测模型，对被试者进行人格预测，得到被试者的人格特质分数。本发明缓解了现有技术中存在的对人脸的特征为挖掘不细致、模态间权重分配不合理的技术问题。
主权项：1.一种融合时空图注意力网络的多模态人格预测方法，其特征在于，所述方法包括：基于第一卷积神经网络模型，提取目标视频中的场景时空外观特征；所述目标视频为包括被试者对话的视频；基于第二卷积神经网络模型，提取所述目标视频中的人脸时空外观特征；基于图注意力网络模型，提取所述目标视频中的人脸时空几何结构特征；基于第三卷积神经网络模型，提取所述目标视频的音频特征；基于预训练语言模型，提取所述目标视频的文本特征；将所述场景时空外观特征、所述人脸时空外观特征、所述人脸时空几何结构特征、所述音频特征和所述文本特征进行特征融合，得到多模态融合特征；基于所述多模态融合特征和训练好的人格预测模型，对所述被试者进行人格预测，得到所述被试者的人格特质分数。
全文数据：
权利要求：
百度查询： 北京科技大学;青岛市妇女儿童医院(青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心) 一种融合时空图注意力网络的多模态人格预测方法和系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号