申请/专利权人：一网互通(北京)科技有限公司

申请日：2024-04-25

公开（公告）日：2024-06-21

公开（公告）号：CN118069675B

主分类号：G06F16/23

分类号：G06F16/23;G06F16/27

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.06.11#实质审查的生效;2024.05.24#公开

摘要：本发明实施例中提供了一种Elasticsearch双向策略订阅数据更新方法、装置及电子设备，属于数据处理技术领域，该方法包括：将数据分为数仓库和业务订阅库两部分；构建针对订阅数据的策略表；通过评估函数G对数据量评估值P1、更新频率评估值P2和命中率评估值P3进行计算，得到评估值GP1,P2,P3，所述评估值GP1,P2,P3用于确定所述订阅数据更新采用推送和拉取两种双向数据更新策略中的一种进行数据更新；当采用推送数据更新策略时，在数仓库中建立一个temp库，将temp库中的数据分发给订阅库；当采用拉取数据更新策略时，定期对所述数仓库执行全量查询，获取所述数仓库中的最新数据，并将获取到的最新数据同步到订阅库中。本方案能够提高订阅数据更新的效率。

主权项：1.一种Elasticsearch双向策略订阅数据更新方法，其特征在于，包括：将数据分为数仓库和业务订阅库两部分，所述数仓库用于存储所有的原始数据，所述业务订阅库存储按照预设规则从数仓库中同步业务订阅库需要的订阅数据；构建针对订阅数据的策略表，所述策略表对订阅库的数据量进行估算的得到数据量评估值P1，所述策略表对所述订阅库的更新频率进行计算，得到更新频率评估值P2，所述策略表对所述订阅库的数据命中率进行评估，得到命中率评估值P3；通过评估函数G对数据量评估值P1、更新频率评估值P2和命中率评估值P3进行计算，得到评估值GP1,P2,P3，所述评估值GP1,P2,P3用于确定所述订阅数据更新采用推送和拉取两种双向数据更新策略中的一种进行数据更新；当采用推送数据更新策略时，在数仓库中建立一个temp库，并且限制所述temp库存储的数据量，当有新的数据需要同步时，将数据存储到temp库中，并实时统计temp库存储的数据量，一旦temp库存储的数据量达到了限制的数量，就将temp库中的数据分发给订阅库；当采用拉取数据更新策略时，定期对所述数仓库执行全量查询，获取所述数仓库中的最新数据，并将获取到的最新数据同步到订阅库中；所述构建针对订阅数据的策略表，所述策略表对订阅库的数据量进行估算的得到数据量评估值P1，所述策略表对所述订阅库的更新频率进行计算，得到更新频率评估值P2，所述策略表对所述订阅库的数据命中率进行评估，得到命中率评估值P3，包括：获取数据源生成数据的频率fy、业务订阅库所订阅的数据范围Df、订阅库中数据的保留期限De以及数仓库同步到订阅库过程中数据清洗和转换所需的时间Tz；基于数据源生成数据的频率fy、业务订阅库所订阅的数据范围Df、订阅库中数据的保留期限De以及数仓库同步到订阅库过程中数据清洗和转换所需的时间Tz，生成数据量评估值P1： 其中，为第一修正参数；获取数仓库的数据更新速度Sf、数据从数仓库同步到订阅库所需的处理时间Tf；基于数仓库的数据更新速度Sf、数据从数仓库同步到订阅库所需的处理时间Tf以及数据量评估值P1，计算更新频率评估值P2： 其中，为第二修正参数；获取查询请求从订阅库中查询数据的实际查询命中次数Ns和总查询次数Nz、请求查询的数据范围与订阅库实际存储的数据范围的重合度Dc、订阅库中数据的时效性Tx以及订阅库中数据完整性Wz；计算命中率评估值P3： 其中，为第三修正参数；所述通过评估函数G对数据量评估值P1、更新频率评估值P2和命中率评估值P3进行计算，得到评估值GP1,P2,P3，包括：构建评估函数G： 其中，w1、w2、w3是权重系数，用于调整各个部分对整体评估值的影响程度,α1、β1、γ1、δ1、ζ1是调整参数，e是自然对数的底数。

全文数据：

权利要求：

百度查询： 一网互通(北京)科技有限公司 Elasticsearch双向策略订阅数据更新方法、装置及电子设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD