申请/专利权人：融鼎岳(北京)科技有限公司

申请日：2023-12-27

公开（公告）日：2024-06-25

公开（公告）号：CN117749625B

主分类号：H04L41/0823

分类号：H04L41/0823;H04L41/16

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2024.04.09#实质审查的生效;2024.03.22#公开

摘要：基于深度Q网络的网络性能优化系统和方法用于网络性能的自动优化，具体包括：模型构建单元构建深度Q网络模型，得到DQN模型；模型训练单元训练所述DQN模型，得到优化DQN模型；性能优化单元使用优化DQN模型预测指定网络状态下所有可能执行动作的预期收益Q值；性能优化单元选择预期收益Q值最大的执行动作作为优化操作，并进行网络性能的优化。本发明学习网络状态到优化操作的映射关系，实现网络性能的自动优化，避免了人工设定规则和参数；根据实时的网络状态，动态选择最优的动作，实现网络性能的动态优化，具有很强的泛化能力，可以应对各种网络环境和变化；适用当前网络环境，易于实现。

主权项：1.基于深度Q网络的网络性能优化方法，用于网络性能的自动优化，其特征在于，包括以下步骤，步骤A、构建深度Q网络模型，得到DQN模型；步骤B、训练所述DQN模型，得到优化DQN模型；步骤C、使用优化DQN模型预测指定网络状态下所有可能执行动作的预期收益Q值；步骤D、选择预期收益Q值最大的执行动作作为优化操作，并进行网络性能的优化；所述步骤B具体包括以下步骤，步骤b1、创建目标DQN模型；步骤b2、训练DQN模型，更新深度Q网络权重；步骤b3、将DQN模型更新的深度Q网络权重复制至目标DQN模型；所述步骤b1创建的目标DQN模型与步骤A得到的DQN模型相同，是由DQN模型复制得到，目标DQN模型用于稳定训练过程；所述步骤b3中，当深度Q网络权重更新次数为指定次数时，将DQN模型更新的深度Q网络权重复制至目标DQN模型；所述步骤b2中，更新的深度Q网络权重包括学习率和折扣因子，在对DQN模型进行训练，更新深度Q网络权重的过程是一个多次训练更新的过程；在训练DQN模型前，所述模型训练单元初始化一个经验回放缓存，经验回放缓存用来存储模型训练单元的经验，用于后续的训练；对于每一个训练周期，使用当前的网络状态S和DQN模型，使用ε-greedy策略选择一个执行动作A，并执行该执行动作，观察新的网络状态S’和收益R，然后使用以下公式更新深度Q网络权重：QS,A-QS,A+α*[R+γ*max_aQS',a-QS,A]α是学习率，γ是折扣因子，max_aQS',a是在新网络状态S'下所有可能执行动作的最大Q值；所述步骤b2具体实现方式如下，b21，从当前网络状态S开始，使用ε-greedy策略选择一个执行动作A；b22，执行动作A，观察新的网络状态S'和收益R；收益R为满足服务水平协议SLA要求的程度，具体是网络服务提供商与客户之间协商的性能指标，包括最大延迟SLA_delay和或最小吞吐量SLA_throughput；当SLA要求的延迟为SLA_delay，吞吐量为SLA_throughput，收益函数为R=-absSLA_delay-S[0]-absSLA_throughput-S[1]；S[0]和S[1]分别代表观察到的延迟和吞吐量的具体值；SLA_delay和SLA_throughput是对应于延迟和吞吐量这两个指标的SLA要求；b23，将每个元组S,A,R,S'存储到经验回放缓存中；b24，从经验回放缓存中随机抽取一批元组，使用DQN模型进行训练更新深度Q网络权重，使得预测的Q值更接近实际的Q值：QS,A≈R+γ*max_aQS',a；使用深度学习的优化算法更新深度Q网络权重具体是使用Adam优化算法来更新深度Q网络权重；b25，将网络状态S更新为新的网络状态S'；所述步骤b22中，收益R=-absSLA_req-current_performance，用于强化学习中的奖励信号，奖励信号反映当前行为表现与服务水平协议要求之间的差距；SLA_req代表了SLA定义的性能要求，current_performance代表了网络当前的性能表现，收益R的公式通过计算两者之间的绝对差值并取负值，来生成一个奖励值R。

全文数据：

权利要求：

百度查询： 融鼎岳(北京)科技有限公司 基于深度Q网络的网络性能优化系统和方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD