龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：中国地质大学(北京)
摘要：本发明提供一种数据流模式感知的流应用节点调度方法，涉及分布式流计算技术领域。所述一种数据流模式感知的流应用节点调度方法由指标监控节点、预测节点、初始调度节点以及自适应度节点实现；指标监控节点收集拓扑的指标数据；根据拓扑的指标数据对LSTM神经网络模型进行训练，获得系统拓扑的总延迟和算子负载；将数据处理任务上传到分布式流计算系统，采用启发式装箱算法，进行初始调度，确定拓扑算子放置方案；采用贪心算法以及马尔可夫迭代过程，对深度强化学习模型进行训练，生成新的调度方案。采用本发明，提高分布式流计算系统的吞吐量，降低延迟以及提高负载的稳定性。
主权项：1.一种数据流模式感知的流应用节点调度方法，其特征在于，所述数据流模式感知的流应用节点调度方法由分布式流计算系统的结构中的指标监控节点、预测节点、初始调度节点以及自适应度节点实现；所述方法包括：S1、所述指标监控节点从所述分布式流计算系统中的Nimbus组件中，收集拓扑的指标数据；S2、所述指标监控节点将所述拓扑的指标数据传输至所述预测节点中，所述预测节点根据拓扑的指标数据，对初始的LSTM神经网络模型进行训练，获得训练好的LSTM神经网络模型；S3、当所述分布式流计算系统接收数据处理任务时，所述初始调度节点通过启发式装箱算法，对数据处理任务进行初始调度，获得数据流速率和拓扑算子放置方案；S4、所述初始调度节点将所述数据流速率和拓扑算子放置方案传输至所述预测节点中，所述预测节点通过所述训练好的LSTM神经网络模型，获得所述分布式流计算系统的拓扑的总延迟和算子负载；S5、所述预测节点将所述分布式流计算系统的拓扑的总延迟和算子负载传输至所述自适应度节点中，所述自适应度节点通过采用贪心算法以及马尔可夫迭代过程，对所述自适应度节点中初始的深度强化学习模型进行训练，获得训练好的深度强化学习模型；S6、当所述预测节点预测到所述分布式流计算系统的拓扑的指标数据下降时，所述预测节点将所述数据流速率和拓扑算子放置方案传输至所述自适应度节点中，所述自适应度节点通过所述训练好的深度强化学习模型，生成新的调度方案。
全文数据：
权利要求：
百度查询： 中国地质大学(北京) 一种数据流模式感知的流应用节点调度方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号