龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：山东海量信息技术研究院
摘要：本发明公开一种人物关系检测方法、模型、程序产品、装置及介质，涉及深度学习技术领域，针对面向视频会议场景下难以实现人物关系检测的问题，提供了一种人物关系检测方法，通过获取包含时序特征的视频数据、音频数据和文本数据，以根据时序特征同步三种模态数据，建立模态数据之间的联系；此外，本方法还通过时序顺序，利用自注意力机制聚焦于多模态特征数据的上下文信息，建立起上下文信息之间的联系。也即，本方法通过建立多模态数据与上下文信息之间的联系，实现更深层挖掘每一人物的语义信息，从而根据语义信息判断人物之间的关系，可以有效地解决面向视频会议场景下可以表征语义的信息更少、挖掘难度更高的问题。
主权项：1.一种人物关系检测方法，其特征在于，包括：获取各人物包含时序特征的视频数据、音频数据和文本数据；针对每一人物对应的所述视频数据、所述音频数据和所述文本数据，进行同步时序融合，得到包含时序方向的多模态特征数据；通过自注意力机制聚焦于上下文信息对每一人物对应的所述多模态特征数据进行建模，以生成各人物对应的人物表征；其中，所述通过自注意力机制聚焦于上下文信息对每一人物对应的所述多模态特征数据进行建模，以生成各人物对应的人物表征包括：通过N层编码模块组成的多层编码器，聚焦于所述多模态特征数据上下文之间的相关性进行建模，以生成各人物对应的人物表征；根据所述人物表征，确定各人物之间的人物关系；其中，所述根据所述人物表征，确定各人物之间的人物关系包括：对各所述人物进行排列组合，得到一组或多组人物组合；其中，所述人物组合包含两个人物，且各所述人物组合所包含的人物不完全相同；针对每一人物组合，根据两个人物对应的所述人物表征，确定对应的人物对交互序列；通过M层编码模块组成的多层编码器，聚焦于所述人物对交互序列上下文之间的相关性进行建模，以得到各人物之间的交互关系表征；其中，M小于N；根据所述交互关系表征确定当前所述人物组合中两个人物之间的人物关系。
全文数据：
权利要求：
百度查询： 山东海量信息技术研究院 一种人物关系检测方法、模型、程序产品、装置及介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号