买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：成都优卡数信信息科技有限公司

摘要：本发明公开一种基于分布式引擎实现数据检索的方法及系统，涉及数据检索技术领域，所述方法包括：将检索池内的文档数据映射到若干个检索切片中；将检索切片存放于分布式引擎中的各个服务节点；测试分布式引擎的检索效率，并根据测试结果对分布式引擎调优；使用调优后的分布式引擎对用户发出的检索请求并行处理，返回检索结果；当检索池数据变更时同步更新分布式引擎。通过多台计算机协同工作，即使部分节点发生故障，系统整体仍能继续运行，提高了系统的可靠性，利用多台计算机的并行处理能力，提高数据检索速度和效率。

主权项：1.一种基于分布式引擎实现数据检索的方法，其特征在于，所述方法包括：Step1、将检索池内的文档数据映射到若干个检索切片中，具体包括以下子步骤：提取检索池内文档数据的特征向量；使用分词器将文档切分为一个词元序列，通过预训练好的大语言模型把词元序列转化为一个向量序列，最后将这些词元向量融合为一个特征向量，词元向量融合公式表示为： 其中fi表示第i个文档的特征向量，Tik表示第i个文档中的第k个词元向量，k取值1～iw，iw表示第i个文档中词元向量的数量，Tikcount表示Tik在第i个文档中出现的次数，Titotal表示第i个文档中词元的总数量，Tiother表示第i个文档中无关词的数量，Di表示第i个文档的唯一标识向量，τ为可调节参数；创建若干个检索切片，并为每个检索切片设置一个中心向量；单个检索切片的中心向量计算公式为： 其中Cj为第j个检索切片的中心向量，m为检索切片的总数量，fip为第i个文档特征向量fi的第p个分量，i取值1～n，n为检索池中文档的总数量，p取值1～w，w为第i个文档特征向量fi中分量的个数；选择与文档的特征向量关联度最高的中心向量所代表的检索切片，与文档建立映射关系；计算文档特征向量与中心向量之间关联度的函数表示为： 其中Gfi,Cj返回文档特征向量fi与中心向量Cj的关联度，fip表示文档特征向量fi的第p个分量，Cjp表示中心向量Cj的第p个分量，p取值1～w，w为向量fi中分量的个数，分别为fi、Cj的均值；Step2、将检索切片存放于分布式引擎中的各个服务节点；Step3、测试分布式引擎的检索效率，并根据测试结果对分布式引擎调优；Step4、使用调优后的分布式引擎对用户发出的检索请求并行处理，返回检索结果；Step5、当检索池数据变更时同步更新分布式引擎。

全文数据：

权利要求：

百度查询： 成都优卡数信信息科技有限公司 一种基于分布式引擎实现数据检索的方法及系统