申请/专利权人：西安理工大学

申请日：2022-08-23

公开（公告）日：2024-06-21

公开（公告）号：CN115767562B

主分类号：H04W16/18

分类号：H04W16/18;H04W16/28;H04L41/40

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2023.03.24#实质审查的生效;2023.03.07#公开

摘要：本发明公开了一种基于强化学习联合协作多点传输的服务功能链部署方法，首先描述边缘网络模型，描述边缘网络中服务器与用户的信道特征，使用波束赋形消除多个服务器与用户之间的通信干扰；建立服务器VNF实例化数量限制、服务器处理容量、物理链路带宽、VNF路由和VNF迁移预算限制下的数学模型；对长期优化问题进行建模；将长期优化问题解耦为逐时隙优化问题；最后建立奖励函数求解的子优化问题，降低动作空间搜索复杂度。本发明利用基于CoMP的迫零波束赋形技术来消除用户之间的无线链路干扰，然后使用基于自然梯度法的Actor‑Critic算法将长期动态SFC部署问题解耦为逐时隙的优化问题，从而进行在线求解。

主权项：1.基于强化学习联合协作多点传输的服务功能链部署方法，其特征在于，具体按照以下步骤实施：步骤1、描述边缘网络模型，包括边缘服务器、网络虚拟功能、用户和服务功能链的特征；步骤2、描述边缘网络中服务器与用户的信道特征，使用波束赋形消除多个服务器与用户之间的通信干扰；所述步骤2具体按照以下步骤实施：2.1、用户m和RRH之间存在瑞利衰落和路径损耗，用表示用户m和编号为n的RRH之间的信道矩阵，其中，表示一个Ln×Lm维复数矩阵，Ln表示编号为n的RRH的发送天线数目，Lm表示用户m的接收天线数，则在时隙t中用户m接收到的信号um,t可表示为： 其中，表示在时隙t中用户m和边缘网络中所有RRH之间的信道矩阵，其中表示用户m和编号为n的RRH之间的信道矩阵，其中·H表示矩阵的共轭转置，表示所有RRH的天线总数；表示为所有RRH对用户m的波束赋形矩阵，dm为用户m接收的数据流个数；用I表示单位矩阵，表示均值为零、协方差为的高斯随机码本；nm,t为协方差为的高斯白噪声；2.2、对步骤2.1中用户m接收信号um,t通过基于高斯随机码本的连续编码，可以去掉公式第二项，则时隙t中用户m的接收数据率Rm,t可表示为: 2.3、设定和Pm,n分别表示边缘服务器n提供给用户m的服务功能处理功耗和无线传输功耗，令表示用户m是否使用边缘服务器n的VNF实例vBBU；则所有RRH对用户m的波束赋形矩阵应满足： 其中Tr·表示对矩阵进行求迹操作；2.4、利用RRH的迫零波束赋形技术成消除SFC之间的无线干扰，即将所有用户的信道矩阵堆栈，然后进行QR分解： 其中，中的每一项可以表示为：是一组正交基，且是满秩上三角矩阵，上三角的其余矩阵块为任意非零矩阵，由此，用户m的波束赋形矩阵可以表示为其中2.5、为消除干扰须满足条件：和在公式中，Sm,t的前Lm行与接收数据率有关，因此可以简化为其中Hm,t可以简化为Hm,t＝Qm,tRm,m,t，有效的波束赋形矩阵∑m,t可定义为：令矩阵则步骤2.3建立约束等价于：约束1：约束2：2.6、步骤2.2中的接收数据率Rm,t需要大于等于数据率阈值Rm,th，以于进行正确的数据解码，即：约束3:Rm,t＝log2|ILm+∑m,t|≥Rm,th；步骤3、建立服务器VNF实例化数量限制、服务器处理容量、物理链路带宽、VNF路由和VNF迁移预算限制下的数学模型；所述步骤3具体按照以下步骤实施：3.1、设表示能够提供服务功能f的边缘服务器集合，假设每个服务功能只能部署到一台边缘服务器上，即：约束4：其中表示服务功能flm是否部署在边缘服务器n上，表示在时隙t中边缘服务器n中是否提供服务功能f，且和满足：约束5：3.2、某个VNF实例所处理的服务流总数据率，不能超过该VNF实例的处理容量即：约束6：3.3、某条链路上所流经的服务流总数据率，不能超过其链路带宽即:约束7：其中，表示flm和是否分别部署在边缘服务器n和s上；3.4、在时隙t中只有当和同时为1时，才可取1；则和之间的关系可以描述为：约束8：3.5、定义为边缘服务器n和s的服务迁移代价，则系统总服务迁移代价，不能超过迁移阈值Cmig,th，即：约束9：步骤4、根据步骤1-3建立的资源约束，对长期优化问题进行建模；所述步骤4具体按照以下步骤实施：4.1、定义系统总开销包括数据流开销和功耗开销；4.2、首先定义则RRH无线传输功耗为 然后定义Pf,n为边缘服务器n开启服务功能f的能量消耗,为边缘服务器n维持服务功能flm的能量消耗，则时隙t中系统部署SFC的总开销为： 其中，η为数据流开销与功耗开销之间的折中系数，上式中，第一项表示边缘服务器之间的数据流开销，第二项表示开启服务功能的功耗开销，第三项表示为用户提供服务功能的功耗开销，第四项表示RRH进行波束赋形的无线传输功耗；4.3、步骤4.2建立了单个时隙t中系统部署SFC的开销，在此基础上，长期动态的SFC部署开销定义为整个部署过程中各个时隙系统开销的平均值，用T表示部署过程中时隙总数，用表示求解长期动态的SFC部署开销的最小值，即： 其中，Ct中的变量Pf,n和∑m,t受到步骤3和步骤2建立的约束条件1-9的约束，通过求解得到每个时隙SFC的具体部署结果步骤5、构建马尔可夫决策过程模型MDP，将长期优化问题解耦为逐时隙优化问题；步骤6、使用基于自然梯度的Actor-Critic强化学习算法，逐时隙在线学习SFC最优部署策略；步骤7、在搜索动作空间时，建立奖励函数求解的子优化问题，降低动作空间搜索复杂度，最终得到最优解。

全文数据：

权利要求：

百度查询： 西安理工大学 基于强化学习联合协作多点传输的服务功能链部署方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD