买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:中船重工信息科技有限公司;中国船舶集团有限公司第七一六研究所;江苏杰瑞信息科技有限公司
摘要:本发明公开了一种基于使用量预测的容器资源动态调度方法及系统,采用基于Transformer的容器资源使用量预测模型对应用资源的使用进行预测,程序应用在不同时间节点对于CPU的使用率、内存使用量、网络使用量、磁盘使用量的需求也不相同,将这些资源的使用情况按时间序列进行采集,将其标准化后按合适的时间窗口整理成时序特征序列并将其输入到预测模型行中进行容器资源使用量预测;然后在预测结果的基础上计算出下一个周期期望的副本数,并与响应式的伸缩算法计算出当前期望的副本数进行比较,根据HPA策略进行容器资源动态调度,在保证可靠性的同时,达到提高系统的资源使用率、降低系统宕机风险的目的。
主权项:1.一种基于使用量预测的容器资源动态调度方法,其特征在于,包括步骤:设置扩容或者缩容的阈值,并且设置缩容判断次数的阈值以及监控周期;监控集群中的容器和每一个节点的资源使用情况,对每个节点的机器上的资源及容器进行实时的监控和性能数据采集,获取应用所有副本的资源指标及使用率;基于资源指标及使用率聚合系统状态、系统资源指标和应用程序性能指标,并将聚合好的数据保存到对应的文件中;计算应用历史的负载序列数据,通过深度学习算法搭建容器资源使用量预测模型,对未来时刻的容器资源使用量进行预测;根据预测得到的负载数据计算出下一周期期望的副本数,同时采用响应式的伸缩算法计算出当前期望的副本数,两者比较后确定最终的副本数作为HPA策略的输入,进行容器资源的动态收缩;所述容器资源使用量预测模型的输入为CPU使用率、内存使用量、网络使用量和磁盘使用量,输出为容器负载,其包括编码器和解码器;所述编码器由6个同构的网络层堆叠而成,每一个网络层包含有多头注意力子层和基于位置的前馈神经网络;所述解码器和编码器结构一致,在输入序列提取特征时采用的是Masked多头注意力层,整个模型使用残差连接和规范化处理对各层输出优化;所述容器资源使用量预测模型将模型输入数据预处理,得到输入X=[x1,x2,…,xn]T∈Rn×d,其中,n表示时间窗口长度,d表示输入量维度,xi表示第i个时间点的系统性能数据,i=1,2,...,n,则每个时间点的系统性能数据的位置向量为: 其中,pos表示输入序列X中每个时间序列数据的具体位置,i表示维度;每个系统性能数据的向量化为:rei=wei+pei其中,wei表示输入X中第i个数据的值,pei表示X中第i个数据的位置向量;所述多头注意力子层为:MultiHeadQ,K,V=Concathead1,head2,...,headhWo 其中,Q为查询向量,K为键向量,V为值向量,Q、K和V通过输入向量矩阵X乘以3个不同的权值矩阵WQ,WK,WV得到:Q=X·WQK=X·WKV=X·WV所述前馈神经网络由两个线性变换组成,即FFNx=max0,xW1+b1W2+b2其中,W1和W2为状态矩阵,b1和b2为补偿参数;两个线性变换之间有一个ReLU的激活函数;所述编码器输出序列特征向量Z=za1,za2,...,zan;FFNx=max0,xW1+b1W2+b2所述解码器解码时,首先使用Masked多头注意力层得到连续表征向量Z=zb1,zb2,...,zbn,利用编码器输出序列特征向量得到的Queries、Keys和Masked多头注意力层的连续表征向量的Values进行多头注意力计算与翻译对齐,将源序列与目标序列的高层特征进行关联;所述两者比较后将最终预测的副本数作为HPA策略的输入,进行容器资源的动态收缩具体为:如果当前期望的副本数大于当前应用的副本数,则将下一周期期望的副本数和当前期望的副本数中最大的一个作为HPA策略的输入;否则如果下一周期期望的副本数大于当前应用的副本数,则将下一周期期望的副本数作为HPA策略的输入;当下一周期期望的副本数和当前期望的副本数连续多次都小于当前应用的副本数,则将最后一次下一周期期望的副本数作为HPA策略的输入,进行容器资源的动态收缩。
全文数据:
权利要求:
百度查询: 中船重工信息科技有限公司 中国船舶集团有限公司第七一六研究所 江苏杰瑞信息科技有限公司 一种基于使用量预测的容器资源动态调度方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。