买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:北京谷器数据科技有限公司
摘要:本发明公开了一种基于语义理解下的高级搜索方法,涉及信息搜索技术领域,包括使用知识图谱构建语义关联词表,支持智能提示辅助查询构建;输入多模态信息进行综合查询,结合语音、图像和文本进行语义匹配;建立个性化用户模型,理解并记忆用户搜索意图;对查询进行智能扩展建议,组合涵盖不同语义细节的子查询;进行多源异构图谱融合,丰富潜在语义联想,扩大匹配范围;展示匹配词条之间的语义路径,可视化语义理解过程。本发明支持多模态查询输入,可以更全面捕获用户意图,可以学习用户长期偏好,做出自适应推断。
主权项:1.一种基于语义理解下的高级搜索方法,其特征在于:包括:使用知识图谱构建语义关联词表;输入多模态信息进行综合搜索,结合语音、图像和文本进行语义匹配;建立个性化用户模型,理解并记忆用户搜索意图;对搜索进行智能扩展建议,组合涵盖不同语义细节的子搜索;进行多源异构图谱融合,丰富潜在语义联想,扩大匹配范围;展示匹配词条之间的语义路径,可视化语义理解过程;所述输入多模态信息进行综合搜索,结合语音、图像和文本进行语义匹的步骤如下:支持语音搜索;支持上传或拍摄图像进行视觉搜索;对文本使用BERT模型编码得到文本语义向量、对语音使用Wav2Vec语音模型编码、对图像用视觉模型提取图像语义向量;将不同模态的语义向量映射到共同语义空间,进行跨模态相似度计算;返回多模态关联度最高的搜索结果;所述将不同模态的语义向量映射到共同语义空间,进行跨模态相似度计算包括,构建一个跨模态对抗网络,包括编码器、映射器和判别器三部分,每个编码器有独立预训练的功能;三个映射器分别将文本、语音和图像特征映射到共享空间,训练判别器判断映射向量的模态源,通过对抗过程逼近语义空间的模态分布;进行跨模态语义空间匹配:计算空间内向量间的相似度;构建相似度分数矩阵,得到归一化的条件概率;定义权重向量,计算文本匹配分数,返回匹配度最高的结果。
全文数据:
权利要求:
百度查询: 北京谷器数据科技有限公司 一种基于语义理解下的高级搜索方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。