申请/专利权人：浙江绿色慧联有限公司

申请日：2022-08-30

公开（公告）日：2024-06-07

公开（公告）号：CN115424429B

主分类号：G08G1/00

分类号：G08G1/00;G08G1/01

优先权：

专利状态码：有效-授权

法律状态：2024.06.07#授权;2022.12.20#实质审查的生效;2022.12.02#公开

摘要：本发明公开了一种基于深度强化学习的ECO‑CACC系统控制方法，包括以下步骤：获取信息采集模块采集的道路交通环境数据，并对采集的数据进行预处理，得到道路交通环境数据包；基于时空图卷积的交通时空特征提取机制，将道路交通环境数据包从时间和空间两个角度获取道路交通环境信息特征；构建ECO‑CACC系统跟驰模型；建立基于深度确定性策略梯度算法速度协同控制器，将道路交通环境信息特征输入基于深度确定性策略梯度算法速度协同控制器，求解出自适应生态速度控制策略。该方法根据道路交通环境信息特征生成自适应生态速度控制策略，降低CACC跟驰间距，最大限度地减少CACC运行不同阶段的能源消耗和污染物排放。

主权项：1.一种基于深度强化学习的ECO-CACC系统控制方法，其特征在于，包括以下步骤：获取信息采集模块采集的道路交通环境数据，并对采集的数据进行预处理，得到道路交通环境数据包；基于时空图卷积的交通时空特征提取机制，将道路交通环境数据包从时间和空间两个角度获取道路交通环境信息特征；构建ECO-CACC系统跟驰模型，构建ECO-CACC系统跟驰模型的具体方法包括：ECO-CACC系统队列中n辆车依次协同巡航行驶，车间通过5G技术完成信息传输及通讯交互，自车安装车载单元，通过信息采集模块的摄像头、传感器和激光雷达技术采集与周边车辆的相对距离sr,it，相对速度和加速度车辆i在t时刻的位置为sit，车长为Li，t时刻与前车i-1的间距误差计算为：ei＝si-1t-si,t-Li-hvi,t-dr,it；式中，dr,it为车辆i在相应跟车策略下的期望跟车间距，h为时间间隙，vi,t，表示当前车辆的速度；ECO-CACC系统跟驰模型及状态空间由相对车距、相对车速及加速度建立： 式中，qt表示ECO-CACC系统的状态空间，ai-1,t-ai,t表示前车与当前车辆的加速度，A和B分别为状态矩阵，T为车头时距；建立基于深度确定性策略梯度算法速度协同控制器，将道路交通环境信息特征输入基于深度确定性策略梯度算法速度协同控制器，求解出自适应生态速度控制策略；所述基于时空图卷积的交通时空特征提取机制，将道路交通环境数据包从时间和空间两个角度获取道路交通环境信息特征的具体方法包括：在时间维度上，基于功能相似性建立静态邻接矩阵，获取道路交通环境局部特征，首先计算两个节点之间的欧氏距离 式中，表示两节点变量，为特征变量，基于欧氏距离计算偏相关系数量化功能相似度 基于欧式距离与功能相似度构建固定邻接矩阵Rh： 式中，超参数σ控制邻接矩阵分布和稀疏性的阈值，α为比例系数；在空间维度上，基于双向随机游走方式建立动态邻接矩阵，获取道路交通环境全局特征，动态邻接矩阵构建依据状态扩散过程理论，表示为一个转移矩阵的幂级数，给出每一步从一个道路节点跳到另一个节点的概率，经过多步扩散传播后，马尔可夫过程收敛于一个稳态分布，交通状态扩散过程p用公式表示为： 式中，k为扩散步数，β∈[0,1]表示重启概率，Tij表示与邻接矩阵有关的状态转移矩阵，用来表示动态交通路网环境节点之间的转移概率，基于交通状态扩散过程，采用双向随机游走方式，分别考虑道路交通节点i→jj→i两种方式，建立空间动态邻接矩阵Rq，动态邻接矩阵Rq的表达式： 式中，Tij与Tji分别表示双向游走方向的转移矩阵，参数Wk1与Wk2表示随机游走的训练权重；基于深度图卷积网络对道路交通环境局部特征和道路交通环境全局特征进行加权融合，得到道路交通环境信息特征，公式为：R＝λRh+1-λRq；式中，λ为可学习的特征参数，用于加权融合道路交通环境局部特征与道路交通环境全局特征；所述根据道路交通环境信息特征输入基于深度确定性策略梯度算法速度协同控制器，求解出自适应生态速度控制策略的具体方法包括：基于深度确定性策略梯度算法速度协同控制器包括顶层控制器和底层控制器，顶层控制器对车辆速度和加速度进行控制，底层控制器生成相应的气门开度或踏板开度控制车辆，顶层控制器根据信息采集模块采集的车辆状态信息，利用深度确定性策略梯度算法计算最优控制策略，底层控制器执行最优控制策略并将控制结果反馈给顶层控制器以更新最优控制策略。

全文数据：

权利要求：

百度查询： 浙江绿色慧联有限公司 基于深度强化学习的ECO-CACC控制方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD