申请/专利权人：深圳市腾讯网域计算机网络有限公司

申请日：2019-06-03

公开（公告）日：2024-06-25

公开（公告）号：CN110193192B

主分类号：A63F13/52

分类号：A63F13/52;A63F13/56

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2021.10.29#实质审查的生效;2019.09.03#公开

摘要：本申请实施例公开了一种自动化游戏方法和装置，在对目标游戏进行自动化游戏时，将当前游戏画面作为目标游戏的第一游戏画面，根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配，所述人工样本包括游戏画面和对应的游戏动作。若所述第一游戏画面与所述人工样本中的第二游戏画面符合匹配关系，根据所述第二游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第一动作序列，在所述目标游戏中根据所述第一动作序列实施游戏动作。由此可以通过少量人工录制的游戏样本实现游戏的自动化，提高了实现游戏AI的效率。

主权项：1.一种自动化游戏方法，其特征在于，所述方法包括：获取目标游戏的第一游戏画面；根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配，所述人工样本包括游戏画面和对应的游戏动作；若所述第一游戏画面与所述人工样本中的第二游戏画面符合匹配关系，根据所述第二游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第一动作序列；在所述目标游戏中根据所述第一动作序列实施游戏动作；获取所述目标游戏的第三游戏画面；根据所述第二游戏画面的时序位置，从所述人工样本中确定候选游戏画面集，所述候选游戏画面集中的游戏画面的时序位置与所述第二游戏画面的时序位置满足预设条件；根据所述第三游戏画面与所述候选游戏画面集进行匹配，若所述第三游戏画面与所述候选游戏画面集中的第四游戏画面符合匹配关系，根据所述第四游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第二动作序列；在所述目标游戏中根据所述第二动作序列实施游戏动作。

全文数据：一种自动化游戏方法和装置技术领域本申请涉及数据处理领域，特别是涉及一种自动化游戏方法和装置。背景技术随着人工智能ArtificialIntelligence，AI的发展，可以将人工智能应用于智能终端侧的游戏中，通过人工智能自动化进行游戏，从而实现陪玩、查找游戏bug等各类游戏辅助功能，以提高真实用户的游戏体验。目前主流的人工智能游戏自动化方法是通过强化学习网络，例如通过构建基于深度Q网络算法的强化学习网络，根据采集的游戏画面返回游戏动作，随后得到动作对应的奖励，通过游戏奖励来调整网络参数，以响应出更合理的游戏动作。这种方式需要对游戏逻辑、游戏方式等进行不断的探索，导致整个网络训练过程消耗大量时间和投入大量数据处理设备，短时间内很难得到很好的效果，难以适应层出不穷的游戏需求。发明内容为了解决上述技术问题，本申请提供了一种自动化游戏方法和装置，可以通过少量人工录制的游戏样本实现游戏的自动化，提高了实现游戏AI的效率。本申请实施例公开了如下技术方案：第一方面，本申请实施例提供了一种自动化游戏方法，所述方法包括：获取目标游戏的第一游戏画面；根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配，所述人工样本包括游戏画面和对应的游戏动作；若所述第一游戏画面与所述人工样本中的第二游戏画面符合匹配关系，根据所述第二游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第一动作序列；在所述目标游戏中根据所述第一动作序列实施游戏动作。第二方面，本申请实施例提供了一种自动化游戏装置，所述装置包括获取单元、匹配单元、生成单元和实施单元：所述获取单元，用于获取目标游戏的第一游戏画面；所述匹配单元，用于根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配，所述人工样本包括游戏画面和对应的游戏动作；所述生成单元，用于若所述第一游戏画面与所述人工样本中的第二游戏画面符合匹配关系，根据所述第二游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第一动作序列；所述实施单元，用于在所述目标游戏中根据所述第一动作序列实施游戏动作。第三方面，本申请实施例提供了一种用于自动化游戏的设备，所述设备包括处理器以及存储器：所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令执行如第一方面所述的自动化游戏方法。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行如第一方面所述的自动化游戏方法。由上述技术方案可以看出，在对目标游戏进行自动化游戏时，将当前游戏画面作为目标游戏的第一游戏画面，根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配，所述人工样本包括游戏画面和对应的游戏动作。若所述第一游戏画面与所述人工样本中的第二游戏画面符合匹配关系，根据所述第二游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第一动作序列，在所述目标游戏中根据所述第一动作序列实施游戏动作。由此可以通过少量人工录制的游戏样本实现游戏的自动化，提高了实现游戏AI的效率。另外，根据包括多个连续游戏动作的动作序列进行自动化游戏的方式，利用了玩家短时间内游戏动作之间的潜在联系，能更好模拟玩家的游戏行为。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1a为一种枪战游戏的游戏画面示意图；图1b为两种不同时刻下的枪战游戏的游戏画面示意图；图2为本申请实施例提供的一种自动化游戏方法的应用场景示意图；图3为本申请实施例提供的一种自动化游戏方法的流程图；图4为本申请实施例提供的一种录制游戏样本的场景示意图；图5为本申请实施例提供的一种游戏画面和对应的游戏动作的示意图；图6为本申请实施例提供的一种生成第一动作序列的方法示意图；图7为本申请实施例提供的一种自动化游戏方法的流程图；图8为本申请实施例提供的一种自动化游戏装置的结构图；图9为本申请实施例提供的一种用于自动化游戏的设备的结构图；图10为本申请实施例提供的一种服务器的结构图。具体实施方式下面结合附图，对本申请的实施例进行描述。目前，主要通过强化学习网络来实现游戏自动化。由于该方式需要对游戏逻辑等进行不断的探索，从而导致整个网络的训练过程需要消耗大量时间和投入大量数据处理设备，由此很难在短时间内得到很好的效果。实际上，针对于快速实现自动化游戏，是一个具有挑战的难题。比如：针对于自动化枪战游戏，参见图1a，该图示出了一种枪战游戏的游戏画面示意图，在枪战游戏的游戏画面中，通常会出现较大的尺度、光影、视角等变化，即枪战游戏的游戏画面通常较为复杂，参见图1b，该图示出了两种不同时刻下的枪战游戏的游戏画面示意图，如图1b所示，可以看到，这两张游戏画面中的光照和敌人所占的比例大小都有较大变化。此外，在终端设备中也很少有为游戏提供的应用程序编程接口ApplicationProgrammingInterface，API，即很难在自动化游戏时直接从接口获得当前的游戏状态。可见，很难快速实现游戏的自动化。为此，本申请实施例提供了一种自动化游戏方法，其核心思想为：基于少量人工录制的游戏样本，通过游戏画面匹配的方式，以将游戏样本中的动作序列传递至游戏自动化过程中，使得在自动化游戏时，尽量学习游戏样本中的游戏动作来实现自动化游戏，从而提高了实现游戏AI的效率。此外，在游戏画面匹配时会传递包括多个连续游戏动作的动作序列，通过实施所述动作序列进行自动化游戏的方式，利用了玩家短时间内游戏动作之间的潜在联系，能更好模拟玩家的游戏行为。首先，对本申请实施例的应用场景进行介绍。该方法可以应用到终端设备中，终端设备例如可以是智能终端、计算机、个人数字助理PersonalDigitalAssistant，简称PDA、平板电脑等设备。该自动化游戏方法还可以应用到服务器中，服务器是向终端设备提供自动化游戏服务的设备，终端设备可以将目标游戏的第一游戏画面上传给服务器，服务器利用本申请实施例提供的自动化游戏方法，以控制所述终端设备实施游戏动作。其中，服务器可以是独立的服务器，也可以是集群中的服务器。为了便于理解本申请的技术方案，下面结合实际应用场景，以服务器为例对本申请实施例提供的自动化游戏方法进行介绍。参见图2，图2为本申请实施例提供的一种自动化游戏方法的应用场景示意图。该应用场景中包括服务器201，其中，该服务器201中可以保存有目标游戏对应的人工样本。该人工样本中可以包括游戏画面和对应的游戏动作。其中，针对于该人工样本，比如它可以是根据预先录制的真人玩家进行目标游戏的视频游戏样本获取的，这样，该人工样本中包括的游戏画面可以是真人玩家进行目标游戏时生成的游戏画面，游戏画面对应的游戏动作可以是在目标游戏显示所述游戏画面时真人玩家实施的游戏动作。此外，该人工样本包括游戏时序，也就是说，该人工样本的游戏画面具有相应的时序位置，所述游戏画面的时序位置可以是基于生成游戏画面的时间确定的。举例说明：玩家在面对目标游戏当前显示的游戏画面A时，可以实施游戏动作a’，然后，目标游戏根据游戏动作a’进行响应后，该目标游戏的游戏画面比如可以转换为新的游戏画面B。可见，人工样本包括游戏时序，游戏画面B是基于玩家对游戏画面A实施游戏动作a’生成的。且游戏画面A的时序位置先于游戏画面B的时序位置。此外，在人工样本中，相邻时序位置的游戏画面所对应的游戏动可以为连续的游戏动作。在自动化游戏时，服务器201可以获取目标游戏当前显示的第一游戏画面。并针对于该第一游戏画面，可以为其与该目标游戏对应的人工样本中的游戏画面进行匹配。其中，如果第一游戏画面与人工样本中的某一游戏画面符合匹配关系，可以将该人工样本中的成功匹配的游戏画面作为第二游戏画面，并根据该第二游戏画面对应的游戏动作、以及该人工样本的游戏时序即人工样本中游戏画面的时序位置生成第一动作序列。其中，所述第一动作序列中可以包括多个连续的游戏动作。下面对第一动作序列的生成方式进行举例说明：针对于在人工样本中的与第一游戏画面匹配的第二游戏画面A，其对应游戏动作a’，且根据人工样本的游戏时序，在第二游戏画面之后的游戏画面依次为游戏画面X、游戏画面Y和游戏画面Z，且这三个游戏画面分别对应于游戏动作x’、游戏动作y’和游戏动作z’。则，可以根据第二游戏画面A、游戏画面X、游戏画面Y和游戏画面Z分别对应的游戏动作，生成第一动作序列为：游戏动作a’、游戏动作x’、游戏动作y’和游戏动作z’。由此，可以将生成的第一动作序列传递给当前自动化的目标游戏，从而可以根据该第一动作序列实施游戏动作。由此可见，本申请实施例提供的自动化游戏方法，可以通过少量人工录制的游戏样本实现游戏的自动化，提高了实现游戏AI的效率。另外，根据包括多个连续游戏动作的动作序列进行自动化游戏的方式，利用了玩家短时间内游戏动作之间的潜在联系，能更好模拟玩家的游戏行为。接下来，将结合附图对本申请实施例提供的自动化游戏方法进行介绍。参见图3，该图示出了本申请实施例提供的一种自动化游戏方法的流程图，所述方法包括：S301：获取目标游戏的第一游戏画面。其中，所述目标游戏可以是当前正在进行自动化的游戏。在自动化目标游戏的过程中，可以获取该目标游戏的第一游戏画面。所述第一游戏画面可以是当前目标游戏的游戏画面。S302：根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配。在本申请实施例中，可以预先为目标游戏设置对应的人工样本。其中，人工样本中可以包括游戏画面和对应的游戏动作，且人工样本中的游戏画面具有相应的时序位置。针对于人工样本中游戏画面对应的游戏动作，在一种可能的实现方式中，所述游戏动作可以包括动作类型和动作时间。其中，所述动作类型可以是目标游戏可提供的可操作的动作种类，比如动作类型可以是左移、射击等。所述动作时间可以是实施某种游戏类型所持续的时间，比如在进行左移时持续了3秒，则这3秒可以为进行左移这一动作类型的动作时间。具体实现中，针对于目标游戏对应的人工样本的获得方式比如可以包括：首先，可以人工录制真人玩家进行目标游戏的视频，以作为游戏样本。参见图4，该图示出了本申请实施例提供的一种录制游戏样本的场景示意图，如图4所示，其中，为了保证游戏样本中游戏动作的可重复性，可以固定目标游戏中每种动作类型的动作时间，以及将每种动作类型映射至键盘的按键。比如：玩家按压一下键盘上的w按键可以对应于在目标游戏执行0.2秒动作时间向上移动的动作类型；玩家按压一下键盘上的a按键可以对应于在目标游戏执行0.2秒动作时间向左移动的动作类型；玩家按压一下键盘上的s按键可以对应于在目标游戏执行0.2秒动作时间向后移动的动作类型；玩家按压一下键盘上的d按键可以对应于在目标游戏执行0.2秒动作时间向右移动的动作类型。从而，对于录制的游戏样本，通过根据玩家的按键方式、按键次数以及按键的间隔时间，可以确定出玩家实施的动作类型、实施所述动作类型持续的动作时间，以及实施相邻游戏动作之间的间隔时间。接下来，可以根据录制的游戏样本，从中整理出游戏画面、游戏画面对应的游戏动作即游戏画面对应的动作类型和动作时间、实施相邻游戏动作之间的间隔时间，以作为该目标游戏的人工样本。其中，参见图5，该图示出了本申请实施例提供的一种游戏画面和对应的游戏动作的示意图。如图5所示，人工样本中的每个游戏画面对应有游戏动作，该游戏动作中可以包括动作类型、动作时间，以及还对应有实施该游戏动作与下个游戏动作时的间隔时间。由此，在通过S301完成获取第一游戏画面之后，可以根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配。可以理解，对于第一游戏画面，可以为其分别与人工样本中的每一张游戏画面进行匹配。在本申请实施例中，为两张游戏画面进行匹配的方式比如可以是确定第两张游戏画面的相似性，并预设有相应的相似性阈值，将高于相似性阈值所对应的情形作为确定符合匹配关系的标准。可以理解，如果两张游戏画面的相似性越高，可以表明两张游戏画面越匹配。如果两张游戏画面的相似性低，可以表明这两张游戏画面不相匹配。具体实现中，比如可以根据两张游戏画面中颜色通道的欧式距离来确定它们的相似性；或者，根据两张游戏画面的深度信息来确定它们的相似性；以及，针对于枪战这一目标游戏，还可以通过对比两张游戏画面的小地图中玩家的位置和视角，来确定它们的相似性。为了提升匹配效率，在本申请实施例中，可以根据游戏画面中颜色通道的欧式距离，以确定第一游戏画面与人工样本中的游戏画面的相似性，从而完成第一游戏画面与人工样本中的游戏画面的匹配。针对于第一游戏画面与人工样本中的每张游戏画面，为它们计算颜色通道的欧式距离的方式可以是：首先，为了避免第一游戏画面与人工样本中的游戏画面的尺寸不同，可以将第一游戏画面与人工样本中的游戏画面尺寸都缩放至相同的像素尺寸和像素大小，比如将它们都缩放至100*100的像素大小。然后，可以将游戏画面中红绿蓝颜色通道的数值动态范围0-255进行归一化0-1。最后，根据如下公式计算第一游戏画面与人工样本中的游戏画面在红绿蓝三个颜色通道上的欧式距离:其中，RC表示第一游戏画面在红色通道的数值，RT表示人工样本中的游戏画面在红色通道的数值；GC表示第一游戏画面在绿色通道的数值，GT表示人工样本中的游戏画面在绿色通道的数值；BC表示第一游戏画面在蓝色通道的数值，BT表示人工样本中的游戏画面在蓝色通道的数值。由此，计算出的d即为第一游戏画面与人工样本中的游戏画面在红绿蓝三个颜色通道上的欧式距离。其中，游戏画面间的相似性与欧氏距离呈反比，距离越大，游戏画面间的相似性越低。S303：若所述第一游戏画面与所述人工样本中的第二游戏画面符合匹配关系，根据所述第二游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第一动作序列。在本申请实施例中，在将第一游戏画面与人工样本中的游戏画面进行匹配后，如果第一游戏画面与人工样本中的某一张游戏画面符合匹配关系，可以将人工样本中的该张游戏画面作为第二游戏画面。在实际场景中，如果第一游戏画面与人工样本中的多个游戏画面符合匹配关系，可以将与第一游戏画面匹配度最高的游戏画面作为第二游戏画面。在具体实现中，基于前述示例，在确定第一游戏画面与人工样本中的每个游戏画面的相似性后，可以从该人工样本中确定出相似性最高的游戏画面，并确定该游戏画面是否满足预设的相似性阈值，若满足，则可以将该游戏画面作为第二游戏画面。具体的，比如在为第一游戏画面与人工样本中的每张游戏画面确定出欧式距离后，可以从该人工样本中确定出与第一游戏画面的欧式距离最小相似性最大的游戏画面，并确定该游戏画面是否满足预设的欧式距离阈值，若满足，则可以将该游戏画面作为第二游戏画面。由此，可以根据第二游戏画面对应的游戏动作，以及人工样本的游戏时序，生成包括多个游戏动作的第一动作序列。其中，所述第一动作序列中可以包括多个连续的游戏动作。需要说明，由于动作序列中可以包括多个游戏动作，在一种可能的实现方式中，一个动作序列中可以包括游戏动作的顺序和间隔信息。其中，所述游戏动作的顺序可以是实施所述多个游戏动作中每个游戏动作的先后顺序，比如针对于一个动作序列，其中包括游戏动作x’、游戏动作y’和游戏动作z’，则所述游戏动作的顺序比如可以是：依次实施戏动作y’、游戏动作x’和游戏动作z’。所述间隔信息可以是在实施相邻的游戏动作时的间隔信息，比如间隔信息可以是实施实施戏动作y’与实施游戏动作x’之间间隔的3秒。可以理解，自动化游戏的游戏环境与设置游戏样本的游戏环境可能存在偏差，比如：自动化游戏的智能终端的性能响应速度等优于采集游戏样本时的智能终端。这样，随着游戏自动化的不断进行，如果传递的动作序列的游戏动作的数量过多，可能会导致自动化游戏中的游戏画面与人工样本中的游戏画面之间的偏差不断加大，即执行误差越来越大，其中，所述执行误差可以是，由于不断执行所述游戏自动化方法导致的自动化游戏与人工样本之间的游戏画面的偏差。由此，为了减小执行误差，在一种可能的实现方式中，可以将执行误差这一因素作为确定动作序列中游戏动作的数量的因素。在具体场景中，为了减小执行误差，可以尽量减小动作序列中游戏动作的数量。此外，由于玩家在短时间内实施的游戏动作之间具有潜在联系，比如玩家在实施装子弹的游戏动作后会紧接着实施射击的游戏动作。因此，为了充分利用玩家短时间内游戏动作之间的潜在联系，能更好模拟玩家的游戏行为，在一种可能的实现方式中，还可以将动作时序信息这一因素作为确定动作序列中游戏动作的数量的因素。其中，所述动作时序信息可以是游戏动作之间在实施的时间方面的顺序信息。比如：射击的游戏动作通常会在装子弹的游戏动作之后实施。因此，可以根据执行误差和动作时序信息确定一个动作序列中游戏动作的数量，使得在自动化游戏时，可以尽量减小执行误差，以及利用玩家短时间内游戏动作之间的潜在联系，以更好模拟玩家的游戏行为。在实际场景中，基于执行误差和动作时序信息，以及根据目标游戏的游戏经验，可以将第一动作序列中游戏动作的数量设置为5。可以理解，动作序列中游戏动作的数量可以根据实际的游戏效果进行更改。在具体实现中，参见图6，该图示出了本申请实施例提供的一种生成第一动作序列的方法示意图。如图6所示，首先，针对于第一游戏画面，可以根据人工样本的游戏时序，以及第一动作序列包括的游戏动作的数量，从第二游戏画面的时序位置D开始，确定出包括第二游戏画面在内的相同数量的连续游戏画面。其中，确定出的游戏画面的数量可以与第一动作序列需要包括的游戏动作的数量相同。假设第一动作序列中包括3个游戏动作，确定出的游戏画面分别为第一游戏画面、对应时序位置D+1的游戏画面以及对应时序位置D+2的游戏画面。然后，根据这些确定出的游戏画面对应的游戏动作包括动作类型和动作时间、以及所述游戏画面对应的游戏动作与下一个相邻游戏动作的间隔时间，以确定出第一动作序列。S304：在所述目标游戏中根据所述第一动作序列实施游戏动作。在确定出第一动作序列后，可以在目标游戏中，根据所述第一动作序列实施相应的游戏动作。即：将所述第一动作序列中的游戏动作传递给目标游戏。综上所述，在对目标游戏进行自动化游戏时，将当前游戏画面作为目标游戏的第一游戏画面，根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配，所述人工样本包括游戏画面和对应的游戏动作。若所述第一游戏画面与所述人工样本中的第二游戏画面符合匹配关系，根据所述第二游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第一动作序列，在所述目标游戏中根据所述第一动作序列实施游戏动作。由此可以通过少量人工录制的游戏样本实现游戏的自动化，提高了实现游戏AI的效率。另外，根据包括多个连续游戏动作的动作序列进行自动化游戏的方式，利用了玩家短时间内游戏动作之间的潜在联系，能更好模拟玩家的游戏行为。在本申请实施例中，如果为第一游戏画面成功进行匹配，且根据人工样本中的游戏动作生成第一动作序列，并以此实施游戏操作。那么，在为当前的目标游戏实施所述游戏操作后，针对于该目标游戏接下来所显示的游戏画面，其与人工样本中的与第二游戏画面的时序位置接近的游戏画面相匹配的可能性较大。基于此，在进行S304之后，在一种可能的实现方式中，所述方法还包括：S401：获取所述目标游戏的第三游戏画面。在根据第一动作序列为目标游戏实施游戏操作之后，目标游戏可以响应该游戏操作，以及可以显示新的游戏画面，则，可以将所述新的游戏画面作为第三游戏画面。在本申请实施例中，可以获取该目标游戏的第三游戏画面。S402：根据所述第二游戏画面的时序位置，从所述人工样本中确定候选游戏画面集。在本申请实施例中，可以根据第二游戏画面在人工样本中的时序位置，从人工样本中确定出与第二游戏画面的时序位置满足预设条件的其他的游戏画面，并根据这些游戏画面作为候选游戏画面集。也就是说，候选游戏画面集中的游戏画面的时序位置与所述第二游戏画面的时序位置满足预设条件。可以理解，所述候选游戏画面集是根据人工样本中的第二游戏画面的时序位置确定的，因此其中包括与第三游戏画面符合匹配关系的游戏画面的可能性更大。其中，所述预设条件可以是预设的条件，所述预设条件比如可以是：与第三游戏画面符合匹配关系的可能性较大的游戏界画面，其与第二游戏画面在序列位置方面需要满足的条件。该预设条件可以根据实际经验确定，比如所述预设条件可以为，游戏画面与第二游戏画面之间的时序位置间隔小于10个游戏画面。在实际场景中，可以根据经验，确定出人工样本中的游戏画面与第二游戏画面在时序位置上的关系，并基于该关系，设置一个预设条件。S403：根据所述第三游戏画面与所述候选游戏画面集进行匹配，若所述第三游戏画面与所述候选游戏画面集中的第四游戏画面符合匹配关系，根据所述第四游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第二动作序列。由此，可以根据第三游戏画面与候选游戏画面集中的游戏画面进行匹配，如果确定出第三游戏画面与候选游戏画面集中的某一游戏画面符合匹配关系，可以将该游戏画面作为第四游戏画面，则，可以根据第四游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第二动作序列。其中，针对于第三游戏画面与候选游戏画面集中的游戏画面进行匹配的方法，可参照上述S302所对应的匹配方法。针对于第二动作序列的生成方法，可参照上述S303所对应的第一动作序列的生成方法，此处不再赘述。S404：在所述目标游戏中根据所述第二动作序列实施游戏动作。从而，可以根据生成的第二动作序列，为所述目标游戏实施游戏动作。可见，通过在人工样本确定出候选游戏画面集，由于该候选游戏画面集中的游戏画面与第三游戏画面相匹配的机会更大，因此，可以仅将第三游戏画面与候选游戏画面集进行匹配，而无需与完整的人工样本中的游戏画面进行匹配，从而可以提高匹配效率。可以理解，基于自动化游戏过程中的执行误差的问题，在S302中，在根据第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配后，可能会出现第一游戏画面与人工样本中的游戏画面均不符合匹配关系的情形，因此，针对于S302的方法，可以包括：S501：若所述第一游戏画面与所述人工样本中的游戏画面均不符合所述匹配关系，在所述目标游戏中实施预定游戏动作。在本申请实施例中，可以预设有预定游戏动作，所述预设游戏动作可以用于第一游戏画面与人工样本中的游戏画面均不符合匹配关系的场景下。其中，所述预定游戏动作比如可以是玩家进行旋转或者随机移动等游戏动作。由此，如果在S302中的第一游戏画面与人工样本中的游戏画面均不符合匹配关系，可以为在当前第一游戏画面下的目标游戏实施所述预定游戏动作。S502：将实施了所述预定游戏动作后的游戏画面作为所述第一游戏画面，执行所述根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配的步骤。在为目标游戏实施预定游戏动作之后，可以使得目标游戏的游戏画面发生变化，即生成新的游戏画面。因此，可以将在实施了预定游戏动作后的游戏画面即新生成的游戏画面作为所述第一游戏画面，并执行S302的步骤。由此，通过为未匹配成功的第一游戏画面实施预定游戏动作的方式，在目标游戏响应预定游戏动作后，使得该目标游戏显示的新的游戏画面可以更接近人工样本中的游戏画面，从而提高新生成的游戏画面与人工样本的成功匹配的机会。接下来，将结合实际应用场景对本申请实施例提供的自动化游戏方法进行介绍。参见图7，该图示出了本申请实施例提供的一种自动化游戏方法的流程图。如图7所示，在该应用场景中，首先，针对于目标游戏，可以预先为其录制游戏样本，其中，所述游戏样本可以是真人玩家进行目标游戏的视频。然后，根据该录制的游戏样本，确定出目标游戏对应的人工样本。其中，所述人工样本中可以包括游戏画面和对应的游戏动作、以及实施相邻游戏动作的间隔时间。在确定人工样本后，可以进行目标游戏的自动化，其中，可以获取目标游戏的第一游戏画面，并计算所述第一游戏画面与人工样本中的游戏画面的相似性。接着，可以从人工样本中确定出与第一游戏画面相似性最高的游戏画面。并确定所述相似性最高的游戏画面的相似性是否高于相似性阈值，如果满足，可以将该与第一游戏画面相似性最高的游戏画面确定为第二游戏画面。并基于所述第二游戏画面对应的动作以及人工样本的游戏时序，确定出第一动作序列。最后，将所述第一动作序列传递至目标游戏中，以实现目标游戏的自动化。如果确定所述相似性最高的游戏画面的相似性不高于相似性阈值，则可以为目标游戏试试预定的游戏操作。基于前述实施例提供的一种自动化游戏方法，本申请实施例还提供一种自动化游戏装置，参见图8，该图示出了本申请实施例提供的一种自动化游戏装置的结构示意图，所述装置800包括获取单元801、匹配单元802、生成单元803和实施单元804：所述获取单元801，用于获取目标游戏的第一游戏画面；所述匹配单元802，用于根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配，所述人工样本包括游戏画面和对应的游戏动作；所述生成单元803，用于若所述第一游戏画面与所述人工样本中的第二游戏画面符合匹配关系，根据所述第二游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第一动作序列；所述实施单元804，用于在所述目标游戏中根据所述第一动作序列实施游戏动作。可选的，所述获取单元801，还用于：在所述目标游戏中根据所述第一动作序列实施游戏动作之后，获取所述目标游戏的第三游戏画面；所述匹配单元802，还用于根据所述第二游戏画面的时序位置，从所述人工样本中确定候选游戏画面集，所述候选游戏画面集中的游戏画面的时序位置与所述第二游戏画面的时序位置满足预设条件；所述生成单元803，用于根据所述第三游戏画面与所述候选游戏画面集进行匹配，若所述第三游戏画面与所述候选游戏画面集中的第四游戏画面符合匹配关系，根据所述第四游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第二动作序列；所述实施单元804，用于在所述目标游戏中根据所述第二动作序列实施游戏动作。可选的，所述匹配单元802，还具体用于：若所述第一游戏画面与所述人工样本中的游戏画面均不符合所述匹配关系，在所述目标游戏中实施预定游戏动作；将实施了所述预定游戏动作后的游戏画面作为所述第一游戏画面，执行所述根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配的步骤。可选的，一个人工样本中的游戏动作包括动作类型和动作时间，一个动作序列包括游戏动作的顺序和间隔信息。可选的，一个动作序列中游戏动作的数量是根据执行误差和动作时序信息确定的。由上述技术方案可以看出，在对目标游戏进行自动化游戏时，将当前游戏画面作为目标游戏的第一游戏画面，根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配，所述人工样本包括游戏画面和对应的游戏动作。若所述第一游戏画面与所述人工样本中的第二游戏画面符合匹配关系，根据所述第二游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第一动作序列，在所述目标游戏中根据所述第一动作序列实施游戏动作。由此可以通过少量人工录制的游戏样本实现游戏的自动化，提高了实现游戏AI的效率。另外，根据包括多个连续游戏动作的动作序列进行自动化游戏的方式，利用了玩家短时间内游戏动作之间的潜在联系，能更好模拟玩家的游戏行为。本申请实施例还提供了一种用于自动化游戏的设备，下面结合附图对用于自动化游戏的设备进行介绍。请参见图9所示，本申请实施例提供了一种用于自动化游戏的设备900，该设备900还可以是终端设备，该终端设备可以为包括智能电视、智能音响、手机、平板电脑、个人数字助理PersonalDigitalAssistant，简称PDA、销售终端PointofSales，简称POS、车载电脑等任意智能终端，以终端设备为手机为例：图9示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图9，手机包括：射频RadioFrequency，简称RF电路910、存储器920、输入单元930、显示单元940、传感器950、音频电路960、无线保真wirelessfidelity，简称WiFi模块970、处理器980、以及电源990等部件。本领域技术人员可以理解，图9中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。下面结合图9对手机的各个构成部件进行具体的介绍：RF电路910可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器980处理；另外，将设计上行的数据发送给基站。通常，RF电路910包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器LowNoiseAmplifier，简称LNA、双工器等。此外，RF电路910还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统GlobalSystemofMobilecommunication，简称GSM、通用分组无线服务GeneralPacketRadioService，简称GPRS、码分多址CodeDivisionMultipleAccess，简称CDMA、宽带码分多址WidebandCodeDivisionMultipleAccess，简称WCDMA、长期演进LongTermEvolution，简称LTE、电子邮件、短消息服务ShortMessagingService，简称SMS等。存储器920可用于存储软件程序以及模块，处理器980通过运行存储在存储器920的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器920可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序比如声音播放功能、图像播放功能等等；存储数据区可存储根据手机的使用所创建的数据比如音频数据、电话本等等。此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。输入单元930可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元930可包括触控面板931以及其他输入设备932。触控面板931，也称为触摸屏，可收集用户在其上或附近的触摸操作比如用户使用手指、触笔等任何适合的物体或附件在触控面板931上或在触控面板931附近的操作，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板931可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器980，并能接收处理器980发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板931。除了触控面板931，输入单元930还可以包括其他输入设备932。具体地，其他输入设备932可以包括但不限于物理键盘、功能键比如音量控制按键、开关按键等、轨迹球、鼠标、操作杆等中的一种或多种。显示单元940可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元940可包括显示面板941，可选的，可以采用液晶显示器LiquidCrystalDisplay，简称LCD、有机发光二极管OrganicLight-EmittingDiode，简称OLED等形式来配置显示面板941。进一步的，触控面板931可覆盖显示面板941，当触控面板931检测到在其上或附近的触摸操作后，传送给处理器980以确定触摸事件的类型，随后处理器980根据触摸事件的类型在显示面板941上提供相应的视觉输出。虽然在图9中，触控面板931与显示面板941是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板931与显示面板941集成而实现手机的输入和输出功能。手机还可包括至少一种传感器950，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板941的亮度，接近传感器可在手机移动到耳边时，关闭显示面板941和或背光。作为运动传感器的一种，加速计传感器可检测各个方向上一般为三轴加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用比如横竖屏切换、相关游戏、磁力计姿态校准、振动识别相关功能比如计步器、敲击等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。音频电路960、扬声器961，传声器962可提供用户与手机之间的音频接口。音频电路960可将接收到的音频数据转换后的电信号，传输到扬声器961，由扬声器961转换为声音信号输出；另一方面，传声器962将收集的声音信号转换为电信号，由音频电路960接收后转换为音频数据，再将音频数据输出处理器980处理后，经RF电路910以发送给比如另一手机，或者将音频数据输出至存储器920以便进一步处理。WiFi属于短距离无线传输技术，手机通过WiFi模块970可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图9示出了WiFi模块970，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。处理器980是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器920内的软件程序和或模块，以及调用存储在存储器920内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器980可包括一个或多个处理单元；优选的，处理器980可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器980中。手机还包括给各个部件供电的电源990比如电池，优选的，电源可以通过电源管理系统与处理器980逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。在本实施例中，该终端设备所包括的处理器980还具有以下功能：获取目标游戏的第一游戏画面；根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配，所述人工样本包括游戏画面和对应的游戏动作；若所述第一游戏画面与所述人工样本中的第二游戏画面符合匹配关系，根据所述第二游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第一动作序列；在所述目标游戏中根据所述第一动作序列实施游戏动作。本申请实施例提供的用于自动化游戏的设备可以是服务器，请参见图10所示，图10为本申请实施例提供的服务器1000的结构图，服务器1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器CentralProcessingUnits，简称CPU1022例如，一个或一个以上处理器和存储器1032，一个或一个以上存储应用程序1042或数据1044的存储介质1030例如一个或一个以上海量存储设备。其中，存储器1032和存储介质1030可以是短暂存储或持久存储。存储在存储介质1030的程序可以包括一个或一个以上模块图示没标出，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1022可以设置为与存储介质1030通信，在服务器1000上执行存储介质1030中的一系列指令操作。服务器1000还可以包括一个或一个以上电源1026，一个或一个以上有线或无线网络接口1050，一个或一个以上输入输出接口1058，和或，一个或一个以上操作系统1041，例如WindowsServerTM，MacOSXTM，UnixTM,LinuxTM，FreeBSDTM等等。上述实施例中由服务器所执行的步骤可以基于该图10所示的服务器结构。其中，CPU1022用于执行如下步骤：获取目标游戏的第一游戏画面；根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配，所述人工样本包括游戏画面和对应的游戏动作；若所述第一游戏画面与所述人工样本中的第二游戏画面符合匹配关系，根据所述第二游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第一动作序列；在所述目标游戏中根据所述第一动作序列实施游戏动作。本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等如果存在是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。应当理解，在本申请中，“至少一个项”是指一个或者多个，“多个”是指两个或两个以上。“和或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“”一般表示前后关联对象是一种“或”的关系。“以下至少一项个”或其类似表达，是指这些项中的任意组合，包括单项个或复数项个的任意组合。例如，a，b或c中的至少一项个，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备可以是个人计算机，服务器，或者网络设备等执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器Read-OnlyMemory，简称ROM、随机存取存储器RandomAccessMemory，简称RAM、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

权利要求：1.一种自动化游戏方法，其特征在于，所述方法包括：获取目标游戏的第一游戏画面；根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配，所述人工样本包括游戏画面和对应的游戏动作；若所述第一游戏画面与所述人工样本中的第二游戏画面符合匹配关系，根据所述第二游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第一动作序列；在所述目标游戏中根据所述第一动作序列实施游戏动作。2.根据权利要求1所述的方法，其特征在于，在所述目标游戏中根据所述第一动作序列实施游戏动作之后，所述方法还包括：获取所述目标游戏的第三游戏画面；根据所述第二游戏画面的时序位置，从所述人工样本中确定候选游戏画面集，所述候选游戏画面集中的游戏画面的时序位置与所述第二游戏画面的时序位置满足预设条件；根据所述第三游戏画面与所述候选游戏画面集进行匹配，若所述第三游戏画面与所述候选游戏画面集中的第四游戏画面符合匹配关系，根据所述第四游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第二动作序列；在所述目标游戏中根据所述第二动作序列实施游戏动作。3.根据权利要求1所述的方法，其特征在于，所述根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配，包括：若所述第一游戏画面与所述人工样本中的游戏画面均不符合所述匹配关系，在所述目标游戏中实施预定游戏动作；将实施了所述预定游戏动作后的游戏画面作为所述第一游戏画面，执行所述根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配的步骤。4.根据权利要求1-3任意一项所述的方法，其特征在于，一个人工样本中的游戏动作包括动作类型和动作时间，一个动作序列包括游戏动作的顺序和间隔信息。5.根据权利要求1-3任意一项所述的方法，其特征在于，一个动作序列中游戏动作的数量是根据执行误差和动作时序信息确定的。6.一种自动化游戏装置，其特征在于，所述装置包括获取单元、匹配单元、生成单元和实施单元：所述获取单元，用于获取目标游戏的第一游戏画面；所述匹配单元，用于根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配，所述人工样本包括游戏画面和对应的游戏动作；所述生成单元，用于若所述第一游戏画面与所述人工样本中的第二游戏画面符合匹配关系，根据所述第二游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第一动作序列；所述实施单元，用于在所述目标游戏中根据所述第一动作序列实施游戏动作。7.根据权利要求6所述的装置，其特征在于，所述获取单元，还用于：在所述目标游戏中根据所述第一动作序列实施游戏动作之后，获取所述目标游戏的第三游戏画面；所述匹配单元，还用于根据所述第二游戏画面的时序位置，从所述人工样本中确定候选游戏画面集，所述候选游戏画面集中的游戏画面的时序位置与所述第二游戏画面的时序位置满足预设条件；所述生成单元，用于根据所述第三游戏画面与所述候选游戏画面集进行匹配，若所述第三游戏画面与所述候选游戏画面集中的第四游戏画面符合匹配关系，根据所述第四游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第二动作序列；所述实施单元，用于在所述目标游戏中根据所述第二动作序列实施游戏动作。8.根据权利要求6所述的装置，其特征在于，所述匹配单元，还具体用于：若所述第一游戏画面与所述人工样本中的游戏画面均不符合所述匹配关系，在所述目标游戏中实施预定游戏动作；将实施了所述预定游戏动作后的游戏画面作为所述第一游戏画面，执行所述根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配的步骤。9.根据权利要求6-8任意一项所述的装置，其特征在于，一个人工样本中的游戏动作包括动作类型和动作时间，一个动作序列包括游戏动作的顺序和间隔信息。10.根据权利要求6-8任意一项所述的装置，其特征在于，一个动作序列中游戏动作的数量是根据执行误差和动作时序信息确定的。

百度查询： 深圳市腾讯网域计算机网络有限公司 一种自动化游戏方法和装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD