买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：沈阳建筑大学;中国科学院沈阳自动化研究所

摘要：基于Q学习的流程制造车间滚揉结扎工序段生产优化方法涉及流程制造业生产优化领域，通过建立流程制造车间滚揉结扎工序段模型，可以对实际的生产车间滚揉结扎工序段情况进行模拟生产；获取流程制造车间的生产数据，定义Q学习参数，生成记录动作‑时间‑Q值的自增长式Q表，每当遇到新状态时，将此状态记录在Q表中；基于Q学习的生产优化方法，针对其动态生产线的特点提出的，通过Q学习不断与制造车间模型进行交互训练得到的Q表来控制滚揉工序中滚揉锅的开启命令，解决了流程制造车间滚揉结扎工序段生产优化问题。

主权项：1.一种基于Q学习的流程制造车间滚揉结扎工序段生产优化方法，其特征在于：包括以下步骤步骤1、建立流程制造车间滚揉结扎工序段模型，对实际的生产车间滚揉结扎工序段情况进行模拟生产；步骤2获取流程制造车间的生产数据；步骤3定义Q学习参数；步骤4初始化Q表，生成记录动作-时间-Q值的自增长式Q表，每当遇到新状态时，将此状态记录在Q表中；步骤5根据步骤3所定义的流程制造车间状态S初始化状态并生成其对应的动作、初始化时间t为0；步骤6对于当前生产线状态St，根据Q表选择滚揉工序开工哪一个工位的回报R高，若在回报的最高值中，存在多个动作A，则在这些动作A构建的动作集合中进行随机选择，得到At；步骤7通过建立的流程车间模型根据在t时刻时对应的状态St所选的动作At对流程车间环境进行访问，即模拟生产，得到下一个时刻的状态St+1；步骤8判断滚揉锅的工作状态，若在t+1时刻的状态St+1中，若滚揉锅全为工作状态，则返回至步骤7；若存在空闲的滚揉锅，则跳至步骤9；步骤9判断状态St+1是否为终止状态，即滚揉工序的所有设备均达到生产任务量并且滚揉工序的出料仓均无法向结扎工序进行供料，若状态St+1为终止状态，给出步骤3中定义的反馈值R、记录将迭代次数加1并跳至步骤12；若状态St+1不为终止状态，跳至步骤10；步骤10判断t+1时刻的流程车间状态St+1在Q表记录的状态中是否存在，若不存在，则将此状态St+1记录在Q表中并存入其对应的动作At+1，若存在，则返回至步骤6；步骤11根据步骤7选择的动作At根据St+1找到对应的动作Q值中最大的Q值作为其反馈值R；步骤12根据步骤9或步骤11得到的回报R对St选择的动作At对应的Q值进行更新，记录时间t加1，其回报根据下列公式进行回馈更新； 其中，RSt,at为当前状态-动作对本身的Q值，为采取动作到达下一个状态时所有动作回报的最高值；若为步骤9跳至此步骤，则跳至步骤13，若为步骤11跳至此步骤，则返回至步骤6；步骤13判断迭代次数是否达到预先设定值，若未达到，返回至步骤5，若达到，则将此时的Q表作为Q学习的流程制造车间滚揉结扎工序段生产优化结果输出。

全文数据：

权利要求：

百度查询： 沈阳建筑大学 中国科学院沈阳自动化研究所 基于Q学习的流程制造车间滚揉结扎工序段生产优化方法