买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东北大学

摘要：本发明属于作战技术领域，且公开了一种能够快速且安全地利用对手的改进CFR算法，该方法首先通过MCCFR算法生成大量均匀分布在策略空间中的对手，并通过交互数据训练神经网络。在应用阶段，通过神经网络进行对手类别推理，然后结合贝叶斯推理计算类别内权重参数，最后将二者输入LagrCFR算法并结合纳什均衡策略完成隐式对手建模，从而实现安全、快速、可解释的对手利用。平衡了收益和计算复杂度，同时最大限度地提高安全性，通过在Transit和LeducHold'em等游戏中进行反复测试，表现出了优越的性能，特别是在利用不同的未知对手获得更高的平均回报方面，不仅减少了后续贝叶斯推理的计算负荷，而且为评估对手模型的安全利用信心提供了关键参考。

主权项：1.一种能够快速且安全地利用对手的改进CFR算法，其特征在于：包括如下步骤：S1：存在分层次的对手时，在与真实对手Z的实际博弈中，收集其对局轨迹IZ，并整理成网络输入的标准格式，调用在S1中训练至收敛的分层推理神经网络M，将IZ输入M，得到预测层次L，并计算轨迹IZ与层次L的策略池中策略的相似性权重weight；S2：初始化四个策略，安全利用优化前策略Seb、安全利用优化后策略Sea、虚拟对手优化前策略Sob、虚拟对手优化后策略Soa，四个策略均初始化为空字典，初始化四个字典安全利用策略的动作历史概率和字典Ae、安全利用策略的遗憾值字典Re、虚拟对手的动作历史概率和字典Ao、虚拟对手的遗憾值字典Ro，四个字典都记录了博弈对局各信息集下的对应变量，并初始化为空字典；初始化三个变量分别统计安全利用策略的历史行动概率pi_e、虚拟对手的历史行动概率pi_o、策略集SLK的历史行动概率数组pi_theta，其中pi_e和pi_o是概率标量，pi_theta是由k个概率元素组成的数组，每个元素代表一个策略集策略的历史行动概率，pi_e、pi_o及pi_theta的各元素均初始化为1；固定Sob、Seb，令对手策略为先手玩家，更新Soa，令对手策略为后手玩家，更新Soa；令Sob＝Soa，固定Sob、Seb，令安全利用策略为先手玩家，更新Sea，令安全利用策略为后手玩家，更新Sea；令Seb＝Sea，其中四次对策略的更新是通过LagrCFR算法不断递归调用实现，LagrCFR算法函数的输入参数包括要更新的策略玩家类型type，更新策略是否为先手flag、当前游戏节点node、Sob、Seb、Soa、Sea、SLK、weight、pi_e、pi_o、pi_theta、Ao、Ro、Ae、Re、融合权重参数λ＝0.7。

全文数据：

权利要求：

百度查询： 东北大学 一种能够快速且安全地利用对手的改进CFR算法