龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：中国人民解放军国防科技大学
摘要：本发明公开了一种多模态认知信息与知识库动态整合方法及系统，本发明方法包括将多模态认知信息利用动态集成多模式认知信息提取网络DIMC以提取融合特征g：将提及表示、句子表示拼接后输入文本编码器再经过多头注意力提取文本特征；将图像输入图像编码器再经过多头注意力提取图像特征，将图像输入专家模型提取信息后经文本编码器得到专家特征；将文本特征、图像特征以及专家特征融合得到融合特征并分别计算与知识库中实体的文本特征的相似度，将相似度最高的实体作为预测结果输出。本发明旨在实现对多模态认知实体信息的动态性收集，将知识库中的实体与现实世界的信息进行动态化的整合和链接。
主权项：1.一种多模态认知信息与知识库动态整合方法，其特征在于，包括下述步骤：S101，获取多模态认知信息，包括提及表示、句子表示和图像；S102，将多模态认知信息利用预先训练好的动态集成多模式认知信息提取网络DIMC以提取融合特征g，包括：将提及表示、句子表示拼接后输入文本编码器，再经过多头注意力提取得到文本特征；将图像输入图像编码器，再经过多头注意力提取得到图像特征，同时将图像输入用于从图像中提取信息的专家模型提取信息后输入文本编码器得到专家特征；然后将文本特征、图像特征以及专家特征融合得到融合特征；S103，分别计算融合特征与知识库中各个实体的文本特征之间的相似度，所述知识库中各个实体的文本特征为知识库中各个实体输入大语言模型得到的输出文本通过文本编码器编码得到，将相似度最高的指定数量个实体作为预测结果输出。
全文数据：
权利要求：
百度查询： 中国人民解放军国防科技大学 一种多模态认知信息与知识库动态整合方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号