申请/专利权人：北京新源恒远科技发展有限公司

申请日：2024-03-22

公开（公告）日：2024-06-14

公开（公告）号：CN117956523B

主分类号：H04W28/084

分类号：H04W28/084;H04W4/44;H04W4/46;G06F9/50;G06N3/006;G06N3/045;G06N3/092

优先权：

专利状态码：有效-授权

法律状态：2024.06.14#授权;2024.05.17#实质审查的生效;2024.04.30#公开

摘要：本发明提供一种面向车联网边缘计算的任务处理方法，其属于移动边缘计算技术领域，将车联网边缘计算建模为马尔可夫决策过程，利用深度强化学习算法多智能体双延迟深度确定性策略梯度策略进行车辆边缘计算；其车联网任务处理系统包括基站、辅助计算车辆和任务车辆，基站位于车行道两侧并配备了基站服务器，基站服务器为该基站服务器所在侧行驶的任务车辆提供计算服务；辅助计算车辆作为移动的边缘服务器，为周围的任务车辆提供计算服务，且辅助计算车辆的计算资源小于基站的计算资源；任务车辆产生任务，交付辅助计算车辆或者基站进行处理并得到处理的结果。本发明所提出的一种车辆与基站协作的任务处理模式解决了计算密集型和延迟敏感的问题。

主权项：1.一种面向车联网边缘计算的任务处理方法，其特征在于，针对车联网场景下的任务处理场景，将车联网边缘计算建模为马尔可夫决策过程，利用深度强化学习算法多智能体双延迟深度确定性策略梯度策略进行车辆边缘计算；所述面向车联网边缘计算的任务处理方法的车联网任务处理系统包括基站、辅助计算车辆和任务车辆，基站位于车行道两侧并配备基站服务器，基站服务器为该基站服务器所在侧行驶的任务车辆提供计算服务；辅助计算车辆作为移动的边缘服务器，为周围的任务车辆提供计算服务，且辅助计算车辆的计算资源小于基站的计算资源；任务车辆产生任务，任务车辆将所产生的任务交付辅助计算车辆或者基站进行处理并得到处理的结果；所述面向车联网边缘计算的任务处理方法为一种具有V2V和V2I两种模式的基于车联网的边缘计算方法，所述基于车联网的边缘计算方法包括以下步骤：步骤S1，在每一个时隙，基站根据自身对环境的局部观测状态，基站决定该区域下的任务车辆的任务卸载决策；步骤S1包含步骤S101和步骤S102，步骤S101：每一时隙，任务车辆产生任务，其中代表该时隙的任务车辆的任务数据大小，代表该时隙的任务车辆处理一位数据所需要的CPU周期数，代表该任务的时延阈值；辅助计算车辆和任务车辆的位置使用二维坐标表示，以两侧基站的连线为Y轴，以车道的中心线为X轴；辅助计算车辆的位置坐标为，任务车辆的位置坐标为；步骤S102，各基站根据观测状态为每个区域内的任务车辆确定任务卸载地点，其中代表在时隙基站侧下的任务车辆的集合，表示时隙下基站侧下的辅助计算车辆的集合，其中代表在基站侧的任务车辆的坐标集合，其中代表在基站侧的辅助计算车辆的坐标集合，表示任务车辆的任务数据大小的集合，表示任务车辆的每一位数据所需CPU资源的集合，表示任务车辆的任务时延阈值的集合，表示时隙辅助计算车辆所具有的任务队列的集合，表示时隙该基站所具有的任务队列，表示辅助计算车辆当前任务队列已被完全处理的时间段与当前时间段之间的差值的集合，表示基站当前任务队列已被完全处理的时间段与当前时间段之间的差值，和分别表示基站的索引以及时隙的索引；步骤S2，基站根据任务卸载决策方案和环境状态通过得到通信资源和计算资源的分配方案，并根据通信资源和计算资源的分配计算得到奖励，其中代表该时隙所有到来任务的服务时延和，表示时隙的所有任务的服务成功率；步骤S2包含步骤201、步骤S202和步骤S203，步骤S201：针对于带宽分配，V2I下采用5G通信，V2V模式下采用WAVE通信；当任务同时上传至基站或者辅助计算车辆时，将其转化为拉格朗日对偶问题，通过KKT条件进行求解；步骤S2包含步骤S202，当确定了任务的处理位置，任务的总时延如下所示： 在总时延的计算中忽略任务的回传时延；在V2I模式下，即将任务卸载至基站处处理，存在任务上传时延，任务等待时延以及任务处理时延；在V2V模式下，即将任务卸载至辅助计算车辆处处理，存在任务上传时延，任务等待时延以及任务处理时延；步骤S203，根据任务卸载决策以及资源的分配得到所有智能体的奖励，其中服务成功率的计算公式为：，其中代表该时隙系统具有的所有的任务；如果，即如果任务满足时延阈值，则，否则；步骤S3，基站之间进行信息交互，训练中心得到整个路况状态，以及基站对本侧任务车辆的任务卸载决策方案，根据得到的奖励对评论家网络和表演者网络进行集中式训练；根据第一目标评论家网络计算得到值，根据第二目标评论家网络计算得到值，选取和之中的较小值得到，第一评论家网络和第二评论家网络根据自己实际的和和估计的值进行训练，表演者网络通过目标评论家网络的反馈来更新策略，由得到的实际奖励指导目标评论家网络训练；步骤S3包含步骤S301和步骤S302；步骤S301，我们将集中训练的中心设置在地面控制站，可以获取整个环境的状态以及所有基站的动作和奖励，其中整个环境的观测状态；所有基站的任务决策集合为；所获得的奖励，为基站集合，、代表二者所占比重，介于0和1之间且包括0和1；步骤S302，将整个环境状态以及动作作为评论家网络的输入，通过奖励指导训练评论家网络，使用评论家网络得到的输出结果对基站的表演者网络进行指导训练；步骤S4，基站根据已经部署的训练模型，利用表演者网络对任务进行卸载决策，不需要评论家网络的反馈。

全文数据：

权利要求：

百度查询： 北京新源恒远科技发展有限公司 一种面向车联网边缘计算的任务处理方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD