首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于DAG交互的流式计算方法与装置 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:北京百度网讯科技有限公司

摘要:本公开涉及一种基于DAG交互的流式计算方法与装置,涉及数据处理与云计算领域。一种基于有向无环图DAG交互的流式计算方法包括:根据由属于第一类型集合的DAG节点组成的第一DAG节点图,生成第一DAG作业流描述信息;通过将属于第一类型集合的DAG节点适配成适于Flink引擎的属于第二类型集合的DAG节点,将第一DAG作业流描述信息转换为第二DAG作业流描述信息;将第二DAG作业流描述信息封装为DAG执行包,DAG执行包包括第二DAG作业流描述信息和第二DAG作业流描述信息中的节点的运算逻辑;以及将DAG执行包发送到作业运行集群。

主权项:1.一种基于有向无环图DAG交互的流式计算方法,包括:根据由属于第一类型集合的DAG节点组成的第一DAG节点图,生成第一DAG作业流描述信息;通过将属于第一类型集合的DAG节点适配成适于Flink引擎的属于第二类型集合的DAG节点,将所述第一DAG作业流描述信息转换为第二DAG作业流描述信息;将所述第二DAG作业流描述信息封装为DAG执行包,所述DAG执行包包括所述第二DAG作业流描述信息和所述第二DAG作业流描述信息中的节点的运算逻辑;以及,将所述DAG执行包发送到作业运行集群,其中,所述属于第一类型集合的DAG节点至少包括数据源端节点、数据转换节点、数据关联节点、数据聚合节点和目的端节点,并且所述将属于第一类型集合的DAG节点适配成适于Flink引擎的属于第二类型集合的DAG节点包括将所述属于第一类型集合的DAG节点中的不同类型的节点以相同的数据结构分别适配成相应的Flink算子,并且所述方法还包括针对所述第二DAG作业流描述信息中所有的不同节点类型,仅生成一个DAG执行包。

全文数据:

权利要求:

百度查询: 北京百度网讯科技有限公司 基于DAG交互的流式计算方法与装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。