龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：彩讯科技股份有限公司
摘要：本申请涉及人工智能技术领域，公开一种基于多模态大模型的视觉问答方法及相关装置。该方法包括：获取原始图像和针对原始图像的提问信息；对原始图像进行视觉特征编码处理，得到第一特征向量序列；对第一特征向量序列进行图像特征提取处理和基于图像特征提取结果的图像特征压缩处理，得到第二特征向量序列；采用残差矢量量化方法，利用语义特征向量集对第二特征向量序列进行特征替换处理，得到第三特征向量序列；对第三特征向量序列进行特征解码处理，得到重构图像；结合多模态知识库中的知识内容信息，对重构图像和提问信息进行问答预测处理，得到提问信息对应的回答结果。本申请实施例可以提高视觉问答的问答精度和知识推理精度。
主权项：1.一种基于多模态大模型的视觉问答方法，其特征在于，包括：获取原始图像和针对所述原始图像的提问信息；对所述原始图像进行视觉特征编码处理，得到第一特征向量序列；对所述第一特征向量序列进行图像特征提取处理和基于图像特征提取结果的图像特征压缩处理，得到第二特征向量序列；采用残差矢量量化方法，利用语义特征向量集对所述第二特征向量序列进行特征替换处理，得到第三特征向量序列；对所述第三特征向量序列进行特征解码处理，得到重构图像；结合多模态知识库中的知识内容信息，对所述重构图像和所述提问信息进行问答预测处理，得到所述提问信息对应的回答结果。
全文数据：
权利要求：
百度查询： 彩讯科技股份有限公司 基于多模态大模型的视觉问答方法及相关装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号