买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：交控科技股份有限公司

摘要：本发明提供一种列车时刻表确定方法、装置、设备及介质，涉及轨道交通技术领域，该方法包括：获取当前发车间隔及下一发车间隔；输入当前车次状态组以及当前发车间隔至价值网络模型，获取第一评价值及第二评价值；根据当前发车间隔及第一评价值对策略网络模型进行更新，根据第一评价值及第二评价值对价值网络模型进行更新；在满足预设条件后，输入目标车次状态组至策略网络模型，获取目标发车间隔；根据初始发车时刻及目标发车间隔确定列车时刻表。本发明采用强化学习算法进行学习和优化，模拟列车运行情况，得到列车时刻表，本发明可操作性强，鲁棒性高，极大提高长交路模式下列车时刻表优化效率，并有效的降低地铁运营成本和乘客等待成本。

主权项：1.一种列车时刻表确定方法，其特征在于，包括：重复执行以下步骤，直至满足预设条件：输入当前车次状态组至策略网络模型，获取所述策略网络模型输出的当前发车间隔；输入下一车次状态组至所述策略网络模型，获取所述策略网络模型输出的下一发车间隔；输入所述当前车次状态组以及所述当前发车间隔至价值网络模型，获取所述价值网络模型输出的第一评价值；输入所述下一车次状态组以及所述下一发车间隔至所述价值网络模型，获取所述价值网络模型输出的第二评价值；根据所述当前发车间隔以及所述第一评价值对所述策略网络模型进行更新，根据所述第一评价值以及所述第二评价值对所述价值网络模型进行更新；在满足预设条件后，输入目标车次状态组至所述策略网络模型，获取所述策略网络模型输出的目标发车间隔；根据目标车次的初始发车时刻以及所述目标发车间隔确定所述目标车次的列车时刻表；其中，所述状态组是根据所述状态组对应的车次的初始发车时刻以及在所述状态组对应的车次沿线的所有车站中无法乘坐所述状态组对应的车次列车的总遗留人数而确定的；所述根据所述当前发车间隔以及所述第一评价值对所述策略网络模型进行更新，包括：根据第一学习参数、当前发车间隔的影响梯度以及第一评价值的影响梯度确定第一更新值；根据所述策略网络模型所对应的策略网络参数以及所述第一更新值确定更新后策略网络参数，以根据所述更新后策略网络参数对所述策略网络模型进行更新；所述根据所述第一评价值以及所述第二评价值对所述价值网络模型进行更新，包括：根据乘客等待成本以及企业运营成本确定当前车次的奖励函数；根据奖励函数以及所述第二评价值确定奖励目标；根据所述第一评价值以及所述奖励目标确定奖励误差；根据第二学习参数、所述奖励误差、第一评价值的影响梯度确定第二更新值；根据所述价值网络模型所对应的价值网络参数以及所述第二更新值确定更新后价值网络参数，以根据所述更新后价值网络参数对所述价值网络模型进行更新；所述乘客等待成本是根据当前车次中所有车站中乘客所花费的总等待时间而确定的。

全文数据：

权利要求：

百度查询： 交控科技股份有限公司 列车时刻表确定方法、装置、设备及介质