申请/专利权人：北京镜舟科技有限公司

申请日：2023-12-13

公开（公告）日：2024-06-18

公开（公告）号：CN117688032B

主分类号：G06F16/2453

分类号：G06F16/2453

优先权：

专利状态码：有效-授权

法律状态：2024.06.18#授权;2024.03.29#实质审查的生效;2024.03.12#公开

摘要：本申请涉及数据处理技术领域，尤其是涉及一种基于物化视图的查询加速方法、装置、电子设备及介质。基于物化视图的查询加速方法包括：接收查询发起请求并解析，确定对应的查询主体数据、计算过程，并对计算过程进行优化，生成初始执行计划；基于查询主体数据，检索确定可用物化视图；根据可用物化视图和查询主体数据，从外置数据湖中提取查询发起请求对应的原始需求数据，并基于原始需求数据和可用物化视图，改写初始执行计划，确定逻辑执行计划；根据查询执行引擎的设备属性，将逻辑执行计划转换为可执行物理计划，并将可执行物理计划发送到查询执行引擎，以使查询执行引擎根据可执行物理计划对可用物化视图和原始需求数据执行计算过程。

主权项：1.一种基于物化视图的查询加速方法，其特征在于，包括：接收查询发起请求并解析，确定对应的查询主体数据、计算过程，并对所述计算过程进行优化，生成初始执行计划；基于所述查询主体数据，检索确定可用物化视图；根据所述可用物化视图和所述查询主体数据，从外置数据湖中提取所述查询发起请求对应的原始需求数据，并基于所述原始需求数据和所述可用物化视图，改写所述初始执行计划，确定逻辑执行计划；根据查询执行引擎的设备属性，将所述逻辑执行计划转换为可执行物理计划，并将所述可执行物理计划发送到所述查询执行引擎，以使所述查询执行引擎根据所述可执行物理计划对所述可用物化视图和所述原始需求数据执行计算过程；还包括：接收业务人员发送的预计算需求信息；分析所述预计算需求信息，确定每一条预计算需求对应的预计算原始数据、需求计算方式和维护属性；从所述外置数据湖中调用所述预计算原始数据，按照所述需求计算方式进行计算，确定预计算中间数据；将所述预计算中间数据存储到内置存储区域中，将所述预计算中间数据与所述预计算原始数据关联，得到目标物化视图；根据所述维护属性设置所述目标物化视图的物化维护间隔，以按照所述物化维护间隔定时扫描所述外置数据湖，在发生原始数据的更新时，更新内置存储区域中对应的中间数据；所述基于所述查询主体数据，检索确定可用物化视图，包括：查找所述查询主体数据对应的原始数据表，所述原始数据表存储在所述外置数据湖中；根据所述外置数据湖与若干目标物化视图之间的映射关系、所述内置存储区域中的若干目标物化视图之间的依赖关系，对所述若干目标物化视图进行检索，确定相关物化视图；根据所述初始执行计划，从所述相关物化视图中确定用于进行所述查询发起请求对应的改写过程的相关物化视图，作为可用物化视图；所述查询发起请求还包括原始投影表达式；所述基于所述原始需求数据和所述可用物化视图，改写所述初始执行计划，确定逻辑执行计划，包括：分析所述初始执行计划，确定初步改写方式，所述初步改写方式包括谓词补偿改写、多表连接改写、可读增强改写和操作符改写；所述谓词补偿改写是指在查询优化过程中,对原始查询语句中的谓词进行补充和优化的改写方式；所述多表连接改写是指在查询优化过程中,对多个表之间的连接条件进行优化的改写方式；所述可读增强改写是指在保持语义不变的前提下,通过调整语句结构、使用同义词的方式，增强查询语句的可读性的改写方式；所述操作符改写是指在查询优化过程中,对原始查询语句中的操作符进行优化和调整的改写方式；根据所述原始需求数据和所述可用物化视图之间的数据关系，对所述初步改写方式进行筛选，确定目标改写方式；按照所述目标改写方式对所述初始执行计划进行改写，确定第一逻辑执行计划；分析所述第一逻辑执行计划，确定所述原始需求数据和所述可用物化视图对应的数据执行类型，所述数据执行类型包括数值型数据和文本型数据；对所述第一逻辑执行计划进行聚合改写，确定第二逻辑执行计划；根据所述数据执行类型和所述查询主体数据，确定所述原始投影表达式的改写方式，并对第二逻辑执行计划进行改写，确定第三逻辑执行计划；对所述初始执行计划和所述第三逻辑执行计划分别进行模拟运行，确定所述第三逻辑执行计划对应的查询加速收益；若所述查询加速收益大于改写过程的数据运算收益，则将所述第三逻辑执行计划确定为逻辑执行计划；所述查询加速收益表现在使用第三逻辑执行计划相比较初始执行计划能节省的计算资源在相同处理环境下能处理的数据量；所述数据运算收益体现在将初始执行计划改写为第三逻辑执行计划时使用的计算资源在相同处理环境下能处理的数据量。

全文数据：

权利要求：

百度查询： 北京镜舟科技有限公司 基于物化视图的查询加速方法、装置、电子设备及介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD