申请/专利权人：上海沄熹科技有限公司

申请日：2021-11-29

公开（公告）日：2024-06-11

公开（公告）号：CN114328598B

主分类号：G06F16/2452

分类号：G06F16/2452;G06F16/2453;G06F16/2455;G06F16/22

优先权：

专利状态码：有效-授权

法律状态：2024.06.11#授权;2022.12.27#专利申请权的转移;2022.04.29#实质审查的生效;2022.04.12#公开

摘要：本发明公开了基于ClickHouse数据库的pipeline的缓存优化方法及系统，属于数据缓存技术领域，本发明要解决的技术问题为如何优化缓存，进而提高sql的执行效率，采用的技术方案为：该方法是将每一条的sql首次生成的interpreter解释器与sql本身保存下来，在每次执行sql流程前，比较是不是与缓存的sql是同一条sql；再采用缓存的interpreter解释器修改后，进行查询，并用所对应的sql作为索引进行查找替换操作；再生成QueryPlan逻辑计划及生成pipeline物理计划的流程，并通过与Mergetree存储引擎进行交互，读取数据后返回请求结果。该系统包括客户端、分析选择查询模块、AST抽象语法树、interpreter解释器、QueryPlan逻辑计划模块及pipeline物理计划模块。

主权项：1.一种基于ClickHouse数据库的pipeline的缓存优化方法，其特征在于，该方法是将每一条的sql首次生成的interpreter解释器与sql本身保存下来，在每次执行sql流程前，比较是不是与缓存的sql是同一条sql；再采用缓存的interpreter解释器修改后，进行查询，并用所对应的sql作为索引进行查找替换操作；再生成QueryPlan逻辑计划及生成pipeline物理计划的流程，并通过与Mergetree存储引擎进行交互，读取数据后返回请求结果；具体如下：S1、每次查询时，在context的map结构中查找是否有已保存的相同的sql：①、若有相同的sql，则跳转至步骤S7；②、若无相同的sql，则执行步骤S2；S2、进行生成AST抽象语法树及生成interpreter解释器，下一步执行步骤S3；S3、判断本次sql的startkey是否为空值：①、若不为空值，则执行步骤S4；②、若为空值，则不保留startkey为空值时的interpreter解释器，下一步跳转至步骤S9；S4、将生成的interpreter解释器保存进map结构中，下一步执行步骤S5；S5、判断map结构中是否达到了设置的上限数量：若是，则执行步骤S6；S6、用一个最近最少使用LRU的算法替换掉context中保留的interpreter解释器，执行步骤S7；S7、使用map结构保存不同sql查询生成的interpreter解释器，下一步执行步骤S8；S8、用相应sql保存的interpreter解释器结构中的starkey替代为本次查询新的starkey即可，下一步执行步骤S9；S9、生成QueryPlan逻辑计划及生成pipeline物理计划的流程。

全文数据：

权利要求：

百度查询： 上海沄熹科技有限公司 基于ClickHouse数据库的pipeline的缓存优化方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD