买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：魏域星

摘要：本申请的批处理融合流处理的大数据搜索计算引擎，采用新的查询语句,实现对应的查询优化价值计算模型和查询计算搜索算法，同时支持批处理和流处理应用场景。通过对SQL进行扩展，采用一种新的双向扩展查询语句，将流处理和批处理统一到同一个架构中，满足对流数据和批数据的双向查询需求；采用基于成本的融合查询优化模型，针对不同数据类型算子的特征,采用不同的价值计算方法，并对分布式的查询计算采用评分的方式进行评估，搜索效率大幅提高，采用两段式搜索算法，在多项式时间内找到最优的分布式查询，延迟小；构建了一个完整的大数据查询搜索引擎，大数据搜索效率高，质量好，为大数据查询提供一种高效解决方案。

主权项：1.批处理融合流处理的大数据搜索计算引擎，其特征在于，一是通过对SQL进行扩展，增加流数据相关的选择、分离、连接、投影、窗口函数查询，采用一种新的双向扩展查询语句，满足对流数据和批数据的双向查询需求；二是采用一种基于成本的融合查询优化模型，包括价值计算模型及对应的查询计算搜索算法，价值计算模型进行扩展后,针对不同的数据类型算子的特征,采用不同的价值计算方法，并对分布式的查询计算采用评分的方式进行评估，同时，采用一种两段式的搜索算法，通过对空间进行剪枝，实现在多项式时间内找到最优的分布式查询；三是基于新的查询语句和查询优化算法，构建一个完整的大数据查询搜索引擎；1大数据双向扩展查询语句：通过解析流数据的特征，定义一种可以同时处理两种类型数据的统一查询语句，所述查询语句是一种基于标准SQL的双向扩展查询语句，改进标准SQL并建立与流处理相关的操作语句，包括流数据的子查询、视图、窗口以及连接语句，窗口把数据流上的记录按照时间范围与记录数量的方式划分成一个个的数据集，同时，窗口内的数据基于时间变化同步变化，基于窗口函数完成数据流上的聚类处理任务；2批流融合查询整合价值计算模式：考虑分布式环境下的网络通信开销，构建批流融合查询整合器，针对不同的数据类型，在价值计算的过程中动态调整IO代价、CPU价值以及网络通信价值的权重；3两段式的查询计算搜索算法：首先搜索最优的集中式查询计算模型，然后由该计算模型来生成分布式查询计算,接着对生成的分布式查询计算进行搜索,在多项式时间内找到最优的查询计算结果；4建立大数据计算引擎核心模块：将查询语句，以及查询优化算法引入应用在大数据搜索计算引擎中，包括：融合查询整合器模块、词法语法解析模块、预处理模块、逻辑计算模块、物理计算模块、大数据执行引擎模块。

全文数据：

权利要求：

百度查询： 魏域星 批处理融合流处理的大数据搜索计算引擎