买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜亚信科技(南京)有限公司申请的专利一种应用于垂直领域的多模态RAG知识问答方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119150998B 。

龙图腾网通过国家知识产权局官网在2025-05-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411660708.X，技术领域涉及：G06N5/04；该发明授权一种应用于垂直领域的多模态RAG知识问答方法及装置是由严志伟;宋勇;滕泽宇;张钰涵;叶晓舟;欧阳晔设计研发完成，并于2024-11-20向国家知识产权局提交的专利申请。

本一种应用于垂直领域的多模态RAG知识问答方法及装置在说明书摘要公布了：本发明提供一种应用于垂直领域的多模态RAG知识问答方法及装置，涉及人工智能技术领域，本发明支持多模态输入待解答文本，包括文本、图片、音频和视频，充分利用多模态数据的语义信息。利用多个预设检索模型检索待解答文本对应的知识片段，得到多种检索结果。通过RRF算法融合多种检索结果，并用目标重排序模型计算得分进行重排，从而提高了召回率。基于检索内容及预设知识频率信息，进一步微调排序，使其更加精准，符合用户期望。结合大语言模型的自然语言理解能力和目标奖励模型，以及RAG召回的相关信息，生成最优解答数据，同时利用目标打分模型和领域专家知识，提供更专业且符合实际需求的高质量解答数据。

本发明授权一种应用于垂直领域的多模态RAG知识问答方法及装置在权利要求书中公布了：1.一种应用于垂直领域的多模态RAG知识问答方法，其特征在于，所述方法包括：接收多个多模态类型数据，利用预设的转换模型将所有多模态类型数据转换为文本类型数据并进行汇总，得到待解答文本；利用多个预设检索模型从知识库中检索所述待解答文本对应的知识片段，得到多个包含所述待解答文本和多个知识片段的排序列表；所述知识库预先基于问答对数据和纯文本数据进行构建；根据倒数排序融合算法将所有排序列表中的所述知识片段进行融合；利用目标重排序模型计算融合后的列表中每个知识片段相应的得分，基于所述得分对所述融合后的列表中每个知识片段进行排序，得到第一排序列表；所述目标重排序模型由预先利用预设垂直领域数据集对开源重排序模型进行微调训练得到；根据预设知识频率信息计算所述第一排序列表中每个知识片段的权重，结合所述得分和所述权重计算所述第一排序列表中每个知识片段的目标得分并进行排序，得到第二排序列表；从所述第二排序列表中提取k个所述知识片段进行排列组合，得到排列结果，每个所述排列结果和所述待解答文本构建提示组合，得到k个提示组合；利用目标奖励模型计算所有提示组合的分数，根据所述分数从大到小的顺序提取出n个所述提示组合，标记为目标提示组合；所述目标奖励模型由预先利用预设LLM问答的偏好数据集对开源奖励模型进行训练得到；利用大语言模型生成每个所述目标提示组合相应的解答数据，并利用目标打分模型计算所有解答数据的分数，将分数最大的所述解答数据进行输出；所述目标打分模型由预先利用预设问答对训练集对基于Transformer编码器的打分模型进行训练得到。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人亚信科技(南京)有限公司，其通讯地址为：210009 江苏省南京市鼓楼区古平岗4号鼓楼紫金智梦园B座；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。