申请/专利权人：平安科技(深圳)有限公司

申请日：2019-06-20

公开（公告）日：2024-06-28

公开（公告）号：CN110399794B

主分类号：G06V40/20

分类号：G06V40/20;G06V40/16;G06V10/74;A63F13/428

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2021.04.30#实质审查的生效;2019.11.01#公开

摘要：本发明公开了一种基于人体的姿态识别方法、装置、设备及存储介质，涉及互联网技术领域，在多个样本动作中确定与待识别行为动作最为相近的目标样本动作，从而实现图案的消除，无需装备指定的硬件设备，降低游戏的局限性，提高用户粘度。所述方法包括：获取待识别图案，进行识别，得到多个人体关键点；对多个人体关键点进行连线，生成待识别行为动作；计算待识别动作与多个样本动作的多个动作相似度；根据多个动作相似度，在多个样本动作中确定目标样本动作。

主权项：1.一种基于人体的姿态识别方法，其特征在于，包括：获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点；按照人体构造对所述多个人体关键点进行连线，生成待识别动作，所述待识别动作由所述多个人体关键点以及所述多个人体关键点之间的连线构成；确定多个样本动作，计算所述待识别动作与所述多个样本动作的多个动作相似度，所述多个样本动作中的每个样本动作由所述样本动作的多个样本关键点和所述多个样本关键点之间的连线构成；根据所述多个动作相似度，在所述多个样本动作中确定目标样本动作，所述目标样本动作的动作相似度符合识别标准；其中，如果所述目标样本动作在游戏界面中的相邻样本动作与所述目标样本动作相同，则将所述目标样本动作和所述相邻样本动作在所述游戏界面中对应的图案消除；如果所述目标样本动作在所述游戏界面中的相邻样本动作与所述目标样本动作不相同，则生成并展示失败响应。

全文数据：基于人体的姿态识别方法、装置、设备及存储介质技术领域本发明涉及互联网技术领域，特别是涉及一种基于人体的姿态识别方法、装置、设备及存储介质。背景技术随着互联网技术的不断发展，智能终端日益普及，成为人们生活和工作中必不可少的一部分。为了提升用户在生活中的乐趣，将智能终端的趣味性也作为智能终端的一种特性，从而吸引用户，智能终端通常可提供一些休闲游戏。其中，以图案消除为基本玩法的消消乐游戏即为智能终端提供的一种网络休闲游戏。相关技术中，消消乐游戏画面精美、上手简单，包括平面类和体感类的消消乐。在平面类消消乐中，玩家通过智能终端滑动手指或者鼠标点击或者将两个或多个相同的图案横竖相连即可消除；在体感类消消乐中，玩家手持指定的硬件设备做出存在两个或多个相同的图案所示的姿势即可消除该图案，并完成每关的指定消除目标便可以通过并进入下一关。在实现本发明的过程中，发明人发现相关技术至少存在以下问题：在体感消消乐中，需要装备指定的硬件设备才可以实现图案的消除，否则无法进行正常的游戏，导致游戏的局限性较高，用户粘度较低。发明内容有鉴于此，本发明提供了一种基于人体的姿态识别方法、装置、设备及存储介质，主要目的在于解决目前需要装备指定的硬件设备才可以实现图案的消除，否则无法进行正常的游戏的问题。依据本发明第一方面，提供了一种基于人体的姿态识别方法，该方法包括：获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点；按照人体构造对所述多个人体关键点进行连线，生成待识别行为动作，所述待识别行为动作由所述多个人体关键点以及所述多个人体关键点之间的连线构成；确定多个样本动作，计算所述待识别动作与所述多个样本动作的多个动作相似度，所述多个样本动作中的每个样本动作由所述样本动作的多个样本关键点和所述多个样本关键点之间的连线构成；根据所述多个动作相似度，在所述多个样本动作中确定目标样本动作，所述目标样本动作的动作相似度符合识别标准。在另一个实施例中，所述获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点之前，包括：接收游戏开始指令，确定所述待识别区域，并启动计时器；当所述计时器的计时时长达到时长阈值时，对所述待识别区域进行图像采集，得到所述待识别图案。在另一个实施例中，所述获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点，包括：获取多个预设关节，将所述多个预设关节映射至所述待识别图案中；提取所述多个预设关节在所述待识别图案中的多个映射点，将所述多个映射点作为所述多个人体关键点。在另一个实施例中，所述确定多个样本动作，计算所述待识别动作与所述多个样本动作的多个动作相似度，包括：对于所述多个样本动作中的每个样本动作，确定预设比例，将所述样本动作和所述待识别动作调整至所述预设比例指示的大小；分别为所述样本动作和所述待识别动作选取中心点，采用中心点重合的方式将所述样本动作和所述待识别动作叠加；统计所述样本动作的多个样本关键点与所述待识别动作的人体关键点重合的点的第一个数，并统计所述多个人体关键点的第二个数；计算所述第一个数与所述第二个数的个数比值，将所述个数比值作为所述样本动作与所述待识别动作的动作相似度；重复执行上述计算动作相似度的过程，得到所述待识别动作与所述多个样本动作的多个动作相似度。在另一个实施例中，所述根据所述多个动作相似度，在所述多个样本动作中确定目标样本动作，包括：按照所述多个动作相似度从大到小的顺序，对所述多个样本动作进行排序，得到排序结果；将所述排序结果中排在首位的样本动作作为所述目标样本动作。在另一个实施例中，所述根据所述多个动作相似度，在所述多个样本动作中确定目标样本动作之后，所述方法还包括：获取标准梯度，所述标准梯度指示了动作相似度区间与标准等级之间的对应关系；按照所述标准梯度，确定所述目标样本动作对应的目标动作相似度区间，所述目标动作相似度区间指示的范围包括所述目标样本动作的动作相似度；获取所述目标动作相似度区间对应的目标标准等级，将所述目标标准等级展示给用户。在另一个实施例中，所述方法还包括：如果所述目标样本动作在游戏界面中的相邻样本动作与所述目标样本动作相同，则将所述目标样本动作和所述相邻样本动作在所述游戏界面中对应的图案消除；如果所述目标样本动作在所述游戏界面中的相邻样本动作与所述目标样本动作不相同，则生成并展示失败响应。在另一个实施例中，所述方法还包括：在所述待识别图案中确定表情区域，提取所述表情区域的表情特征，所述表情特征至少包括眉头特征、鼻子特征和嘴唇特征；确定多个样本特征，计算所述多个样本特征与所述表情特征的表情相似度；如果所述表情相似度大于相似度阈值，则生成休息提醒，将所述休息提醒展示给用户；如果所述表情相似度小于所述相似度阈值，则保持当前的游戏进程。依据本发明第二方面，提供了一种基于人体的姿态识别装置，该装置包括：识别模块，用于获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点；第一生成模块，用于按照人体构造对所述多个人体关键点进行连线，生成待识别行为动作，所述待识别行为动作由所述多个人体关键点以及所述多个人体关键点之间的连线构成；第一计算模块，用于确定多个样本动作，计算所述待识别动作与所述多个样本动作的多个动作相似度，所述多个样本动作中的每个样本动作由所述样本动作的多个样本关键点和所述多个样本关键点之间的连线构成；第一确定模块，用于根据所述多个动作相似度，在所述多个样本动作中确定目标样本动作，所述目标样本动作的动作相似度符合识别标准。在另一个实施例中，所述装置还包括：接收模块，用于接收游戏开始指令，确定所述待识别区域，并启动计时器；采集模块，用于当所述计时器的计时时长达到时长阈值时，对所述待识别区域进行图像采集，得到所述待识别图案。在另一个实施例中，所述识别模块，包括：获取单元，用于获取多个预设关节，将所述多个预设关节映射至所述待识别图案中；提取单元，用于提取所述多个预设关节在所述待识别图案中的多个映射点，将所述多个映射点作为所述多个人体关键点。在另一个实施例中，所述第一计算模块，包括：调整单元，用于对于所述多个样本动作中的每个样本动作，确定预设比例，将所述样本动作和所述待识别动作调整至所述预设比例指示的大小；选取单元，用于分别为所述样本动作和所述待识别动作选取中心点，采用中心点重合的方式将所述样本动作和所述待识别动作叠加；统计单元，用于统计所述样本动作的多个样本关键点与所述待识别动作的人体关键点重合的点的第一个数，并统计所述多个人体关键点的第二个数；计算单元，用于计算所述第一个数与所述第二个数的个数比值，将所述个数比值作为所述样本动作与所述待识别动作的动作相似度；所述调整单元，还用于重复执行上述计算动作相似度的过程，得到所述待识别动作与所述多个样本动作的多个动作相似度。在另一个实施例中，所述第一确定模块，包括：排序单元，用于按照所述多个动作相似度从大到小的顺序，对所述多个样本动作进行排序，得到排序结果；确定单元，用于将所述排序结果中排在首位的样本动作作为所述目标样本动作。在另一个实施例中，所述装置还包括：获取模块，用于获取标准梯度，所述标准梯度指示了动作相似度区间与标准等级之间的对应关系；第二确定模块，用于按照所述标准梯度，确定所述目标样本动作对应的目标动作相似度区间，所述目标动作相似度区间指示的范围包括所述目标样本动作的动作相似度；展示模块，用于获取所述目标动作相似度区间对应的目标标准等级，将所述目标标准等级展示给用户。在另一个实施例中，所述装置还包括：消除模块，如果所述目标样本动作在游戏界面中的相邻样本动作与所述目标样本动作相同，则将所述目标样本动作和所述相邻样本动作在所述游戏界面中对应的图案消除；第二生成模块，用于如果所述目标样本动作在所述游戏界面中的相邻样本动作与所述目标样本动作不相同，则生成并展示失败响应。在另一个实施例中，所述装置还包括：提取模块，用于在所述待识别图案中确定表情区域，提取所述表情区域的表情特征，所述表情特征至少包括眉头特征、鼻子特征和嘴唇特征；第二计算模块，用于确定多个样本特征，计算所述多个样本特征与所述表情特征的表情相似度；第三生成模块，用于如果所述表情相似度大于相似度阈值，则生成休息提醒，将所述休息提醒展示给用户；运行模块，用于如果所述表情相似度小于所述相似度阈值，则保持当前的游戏进程。依据本发明第三方面，提供了一种设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。依据本发明第四方面，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。借由上述技术方案，本发明提供的一种基于人体的姿态识别方法、装置、设备及存储介质，与目前需要装备指定的硬件设备才可以实现图案的消除的方式相比，本发明通过对待识别图案的识别，生成待识别行为动作，并在多个样本动作中确定与待识别行为动作最为相近的目标样本动作，从而实现游戏界面中图案的消除，无需装备指定的硬件设备即可实现图案消除，降低游戏的局限性，提高用户粘度。上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本发明实施例提供的一种基于人体的姿态识别方法流程示意图；图2示出了本发明实施例提供的一种基于人体的姿态识别方法流程示意图；图3A示出了本发明实施例提供的一种基于人体的姿态识别装置的结构示意图；图3B示出了本发明实施例提供的一种基于人体的姿态识别装置的结构示意图；图3C示出了本发明实施例提供的一种基于人体的姿态识别装置的结构示意图；图3D示出了本发明实施例提供的一种基于人体的姿态识别装置的结构示意图；图3E示出了本发明实施例提供的一种基于人体的姿态识别装置的结构示意图；图3F示出了本发明实施例提供的一种基于人体的姿态识别装置的结构示意图；图3G示出了本发明实施例提供的一种基于人体的姿态识别装置的结构示意图；图3H示出了本发明实施例提供的一种基于人体的姿态识别装置的结构示意图；图4示出了本发明实施例提供的一种设备的装置结构示意图。具体实施方式下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。本发明实施例提供了一种基于人体的姿态识别方法，可以通过对待识别图案的识别，生成待识别行为动作，并在多个样本动作中确定与待识别行为动作最为相近的目标样本动作，从而实现游戏界面中图案的消除，达到了无需装备指定的硬件设备即可实现图案消除，降低游戏的局限性，提高用户粘度的目的，如图1所示，该方法包括：101、获取待识别区域中的待识别图案，对待识别图案进行识别，得到多个人体关键点。102、按照人体构造对多个人体关键点进行连线，生成待识别行为动作，待识别行为动作由多个人体关键点以及多个人体关键点之间的连线构成。103、确定多个样本动作，计算待识别动作与多个样本动作的多个动作相似度，多个样本动作中的每个样本动作由样本动作的多个样本关键点和多个样本关键点之间的连线构成。104、根据多个动作相似度，在多个样本动作中确定目标样本动作，目标样本动作的动作相似度符合识别标准。本发明实施例提供的方法，可以通过对待识别图案的识别，生成待识别行为动作，并在多个样本动作中确定与待识别行为动作最为相近的目标样本动作，从而实现游戏界面中图案的消除，无需装备指定的硬件设备即可实现图案消除，降低游戏的局限性，提高用户粘度。本发明实施例提供了一种基于人体的姿态识别方法，可以通过对待识别图案的识别，生成待识别行为动作，并在多个样本动作中确定与待识别行为动作最为相近的目标样本动作，从而实现游戏界面中图案的消除，达到了无需装备指定的硬件设备即可实现图案消除，降低游戏的局限性，提高用户粘度的目的，如图2所示，该方法包括：201、接收游戏开始指令，确定待识别区域，并启动计时器，当计时器的计时时长达到时长阈值时，对待识别区域进行图像采集，得到待识别图案。在本发明实施例中，目标市面上的游戏都是由用户控制游戏的开始与结束的，用户通过向游戏下发指令来控制游戏。由于本方案提供了一款体感的游戏模式，因此，在本发明中用户可以使用人体动作对游戏的开始与结束进行控制，这样，便需要在游戏中设置开始动作和结束动作。当用户启动游戏时，游戏所在的设备启动摄像头，基于摄像头采集用户做出的动作，并在采集到用户做出开始动作时，确定接收到游戏开始指令。其中，判断采集到的行为动作与开始动作是否一致的过程与下述步骤202至步骤205中所示的识别待识别图案中动作的过程一致，此处不再进行赘述。当确定接收到游戏开始指令时，便可以开始当前的游戏，由于摄像头可以拍摄的位置是固定的，考虑到用户所处的位置与摄像头之间的距离是会影响摄像头拍摄的画面中用户的大小的，因此，为了避免对摄像头拍摄的整个图像进行识别，无形中增加识别负担，在接收到游戏开始指令时，确定用户所在的区域作为待识别区域，并在后续仅对待识别区域中的动作进行识别。其中，在确定待识别区域时，可以通过目标检测算法来确定。具体过程为：对采集到的图像数据中的目标物进行识别，从而提取到至少一个目标物；随后，基于目标检测算法，对提取到的至少一个目标物进行识别，将识别得到的具有人体特征的目标物所在的区域作为待识别区域。其中，可以根据识别得到的具有人体特征的目标物的边缘进行划分，从而得到待识别区域。例如，选取具有人体特征的目标物在上下左右四个方向最边缘的点，分别沿着左右两侧的点作垂直的直线，沿着上下两侧的点作平行的直线，基于四条直线组成待识别区域。考虑到用户可能不会在第一时间做出相应的动作，每一个动作都需要设定反应时间，因此，设置计时器，当游戏开始时启动计时器，并在后续计时器的计时时长达到时长阈值时，开始对待识别区域进行图像采集。当计时器的计时时长达到时长阈值时，对待识别区域进行图像采集，将待识别区域中的目标物作为待识别图案，以便在后续对待识别图案进行识别。202、对待识别图案进行识别，得到多个人体关键点。在本发明实施例中，由于待识别图案是用户按照游戏的指示做出的动作，而实际上人体的构造是一成不变的，只是用户通过人体关节改变身体的姿势实现动作的呈现的，因此，不同的动作是存在不同的关键点的，通过提取待识别图案中的人体关键点，实现对待识别图案的识别。其中，在提取人体关键点时，可以采用下述两种方法：第一种方法，将待识别图案输入至STNSpatialTransformNetworks，空间变换网络+SPPESinglePersonPoseEstimation，单人姿态估计模块中，由该模块自动检测该待识别图案中的人体姿态；随后，通过PP-NMSParametricPose-NonMaximumSuppression，参数化姿态非最大抑制模块对人体姿态进行训练，从而得到该人体姿态中的至少一个人体关键点。需要说明的是，在训练的过程中，可以使用Parallel平行SPPE来避免局部最优并进一步提升STN的效果。第二种方法，设置多个预设关节。在对待识别图案进行识别时，获取多个预设关节，将多个预设关节映射至待识别图案中，并提取多个预设关节在待识别图案中的多个映射点，将多个映射点作为多个人体关键点。例如，预设关节可为头、左肩关节、右肩关节、颈关节、腰关节、膝关节、左手腕关节、右手腕关键、左手肘关节、右手肘关节、左脚腕关节、右脚腕关节，并依次在待识别图片的动作中提取上述关节映射的点作为人体关键点。通过上述两种方法中的任一种方法，便可以提取到多个人体关键点。随后，便可以按照人体构造对多个人体关键点进行连线，从而得到待识别行为动作。203、按照人体构造对多个人体关键点进行连线，生成待识别行为动作。在本发明实施例中，当提取到待识别图案中的多个人体关键点后，便可以通过对人体关键点的连线来还原出用户所做的动作，也即待识别行为动作由多个人体关键点以及多个人体关键点之间的连线构成。其中，在对多个人体关键点进行连线时，由于多个点之间是可以建立多种连线方式的，但是符合人体的构造，保证连线是可以表示人体的某个结构的连线方式只有一种，例如，只有将腕关节的人体关键点和肘关节的人体关键点连线才可以表示人体的胳膊，因此，按照人体构造对多个人体关键点进行连线只会有一种方式，这样，在连线后，便可以基于人体关键点和连线表现出待识别行为动作。204、确定多个样本动作，计算待识别动作与多个样本动作的多个动作相似度。在本发明实施例中，由于用户所做的动作都是按照游戏界面中提供的样本动作做出来的，因此，在提取到待识别行为动作后，便可以将待识别行为动作与多个样本动作进行比对，从而实现对待识别动作的识别。在实际应用的过程中，样本动作可为瑜伽动作、健美操动作、缓解肩部颈椎腰椎等动作，达到在游戏中锻炼身体的目的。其中，由于待识别动作是基于至少一个人体关键点表现出来的，因此，可以基于至少一个人体关键点来计算待识别动作与多个样本动作之间的动作相似度，以便后续基于动作相似度来确定用户做的是哪一个动作。需要说明的是，多个样本动作中的每个样本动作由样本动作的多个样本关键点和多个样本关键点之间的连线构成，这样，便可通过人体关键点和样本关键点来计算动作相似度。具体地，在计算动作相似度时，对于多个样本动作中的每个样本动作，都可以采用下述步骤一至步骤三中的过程来计算样本动作与待识别动作之间的动作相似度。步骤一、确定预设比例，将样本动作和待识别动作调整至预设比例指示的大小。考虑到用户与摄像头之间的距离不是固定的，用户是不断移动的，因此，在将识别到的用户的待识别动作与样本动作进行比对时，需要对待识别动作的大小进行调整，保证待识别动作与样本动作是一样大的，从而保证对待识别动作进行识别的准确性。其中，可以设置预设比例，将样本动作和待识别动作都调整至预设比例指示的大小。步骤二、分别为样本动作和待识别动作选取中心点，采用中心点重合的方式将样本动作和待识别动作叠加，统计样本动作的多个样本关键点与待识别动作的人体关键点重合的点的第一个数，并统计多个人体关键点的第二个数。由于确定样本动作与待识别动作的相似程度最直观的方法是将样本动作与待识别动作叠加，根据叠加的具体情况来判断，因此，为了保证叠加时的准确定，可以分别为样本动作和待识别动作选取中心点，采用中心点重合的方式将样本动作和待识别动作叠加。其中，还可以设置一个平面直角坐标系，将待识别动作的中心点和样本动作的中心点置于该平面直角坐标系中的相同坐标点，使得待识别动作与样本动作叠加起来。在选取中心点时，可以按照动作的边缘将动作置于四边形中，并将四边形的中心点作为该动作的中心点。随后，为了计算样本动作与待识别动作之间的动作相似度，可以统计样本动作的多个样本关键点与待识别动作的人体关键点重合的点的第一个数，并统计多个人体关键点的第二个数，并在后续基于代表重合情况的第一个数，来计算待识别动作与样本动作的动作相似度。步骤三、计算第一个数与第二个数的个数比值，将个数比值作为样本动作与待识别动作的动作相似度。当统计得到第一个数和第二个数后，便可以计算第一个数与第二个数的个数比值，将个数比值作为样本动作与待识别动作的动作相似度。例如，设第一个数为6，第二个数为10，则计算得到的动作相似度便可为610＝0.6。重复执行上述计算动作相似度的过程，得到待识别动作与多个样本动作的多个动作相似度，这样，后续便可以根据待识别动作与每个样本动作之间的动作相似度确定用户当前正在做的动作是哪一个样本动作，保证游戏的正常运行。205、按照多个动作相似度从大到小的顺序，对多个样本动作进行排序，得到排序结果，将排序结果中排在首位的样本动作作为目标样本动作。在本发明实施例中，当计算得到待识别动作与多个样本动作的多个动作相似度后，便可以基于动作相似度对待识别动作进行识别。由于动作相似度越高的样本动作也即用户正在做的动作，因此，可以按照多个动作相似度从大到小的顺序，对多个样本动作进行排序，得到排序结果，将排序结果中排在首位的样本动作作为目标样本动作，从而在后续基于该目标样本动作判断是否可以执行图案的消除操作。206、获取标准梯度，按照标准梯度，确定目标样本动作对应的目标动作相似度区间，获取目标动作相似度区间对应的目标标准等级，将目标标准等级展示给用户。在本发明实施例中，考虑到用户做出的动作可能并不是很标准的，需要对用户及时进行纠正，而将相似度展示给用户可能导致用户无法明确自己所做的动作的标准程度，可以设置一个标准梯度，用标准梯度规定动作相似度区间与标准等级之间的对应关系，并根据工作相似度确定该待识别行为动作所属的目标标准等级，将该目标标准等级展示给用户，从而使用户知晓动作的标准性，使得用户可以基于该目标标准梯度知晓动作哪里不标准，实现对动作的纠正。具体地，标准梯度可以包括精准、中级、及格以及不及格；其中，动作相似度在【100％-90％】之间可为精准；动作相似度在【90％至70％】可为中级；动作相似度在【70％至60％】可为及格；动作相似度在【60％至0】可为不及格。需要说明的是，该标准梯度可由游戏默认设置，也可由用户自行设置。这样，便可以按照标准梯度，确定目标样本动作对应的目标动作相似度区间，获取目标动作相似度区间对应的目标标准等级，将目标标准等级展示给用户。其中，目标动作相似度区间指示的范围也即包括目标样本动作的动作相似度。根据标准梯度可以确定用户所做的待识别动作的标准程度。需要说明的是，游戏中还可以设置标准度较低时需要用户重新做动作的机制，以便将对用户的动作进行纠正的操作落实，提高执行力。例如，可以设置如果根据动作相似度确定待识别动作所在梯度为精准或中级，则显示精准提醒或中级提醒，用户可以继续游戏的操作；如果根据动作相似度确定待识别动作所在梯度为及格或不及格，则显示及格提醒或者不及格提醒，提示用户不能消除，需要重新做出相应的动作。207、确定目标样本动作在游戏界面中的相邻样本动作与目标样本动作是否相同，如果目标样本动作在游戏界面中的相邻样本动作与目标样本动作相同，则执行下述步骤208；如果目标样本动作在游戏界面中的相邻样本动作与目标样本动作不相同，则执行下述步骤209。在本发明实施例中，由于图案消除所遵循的规则是诸如消消乐游戏的消除规则，也即需要图案相邻才可以消除，因此，在确定了目标样本动作后，需要确定目标样本动作在游戏界面中的相邻样本动作与目标样本动作是否相同，进而判断是否可以将目标样本动作和与其相邻的样本动作一起消除。需要说明的是，与目标样本动作相邻表示可以在目标样本动作的右侧相邻、左侧相邻、上面相邻以及下面相邻，本发明对此不进行具体限定。如果目标样本动作在游戏界面中的相邻样本动作与目标样本动作相同，则表示该目标样本动作在游戏界面中是满足被消除的条件的，因此，可以执行该目标样本动作的消除，也即执行下述步骤208。如果目标样本动作在游戏界面中的相邻样本动作与目标样本动作不相同，则表示该目标样本动作在游戏界面中是不满足被消除的条件的，不能进行目标样本动作的消除，需要用户再做其他的动作，也即执行下述步骤209。208、如果目标样本动作在游戏界面中的相邻样本动作与目标样本动作相同，则将目标样本动作和相邻样本动作在游戏界面中对应的图案消除。在本发明实施例中，如果目标样本动作在游戏界面中的相邻样本动作与目标样本动作相同，则表示该目标样本动作在游戏界面中是满足被消除的条件的，因此，可以执行该目标样本动作的消除，这样，将目标样本动作和相邻样本动作在游戏界面中对应的图案消除即可。209、如果目标样本动作在游戏界面中的相邻样本动作与目标样本动作不相同，则生成并展示失败响应。在本发明实施例中，如果目标样本动作在游戏界面中的相邻样本动作与目标样本动作不相同，则表示该目标样本动作在游戏界面中是不满足被消除的条件的，不能进行目标样本动作的消除，需要用户再做其他的动作，因此，生成并展示失败响应，以便提醒用户做其他的动作，并继续执行上述过程，对用户的动作进行识别。在实际应用的过程中，为了提醒用户进行休息，避免用户的运动过量，可设置多个样本特征，通过将用户当前的表情与样本特征进行比对，来确定用户是否疲惫，是否需要休息。其中，在对用户的表情进行识别时，首先，在待识别图案中确定表情区域，提取表情区域的表情特征，表情特征至少包括眉头特征、鼻子特征和嘴唇特征；随后，确定多个样本特征，计算多个样本特征与表情特征的表情相似度。如果表情相似度大于相似度阈值，则表示用户当前已经疲惫，需要休息，生成休息提醒，将休息提醒展示给用户；如果表情相似度小于相似度阈值，则表示用户当前状态良好，可以继续进行游戏，因此，保持当前的游戏进程。在进行比对并计算相似度时，可以采用上述步骤204中所示方式进行比对和计算，此处不再进行赘述。需要说明的是，游戏中还可以设置结束动作，这样，当识别到用户做出的待识别动作为结束动作时，即可结束游戏。本发明实施例提供的方法，通过对待识别图案的识别，生成待识别行为动作，并在多个样本动作中确定与待识别行为动作最为相近的目标样本动作，当目标样本动作在游戏界面中的相邻样本动作与目标样本动作相同时，实现游戏界面中图案的消除，无需装备指定的硬件设备即可实现图案消除，降低游戏的局限性，提高用户粘度。进一步地，作为图1所述方法的具体实现，本发明实施例提供了一种基于人体的姿态识别装置，如图3A所示，所述装置包括：识别模块301，第一生成模块302，第一计算模块303和第一确定模块304。该识别模块301，用于获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点；该第一生成模块302，用于按照人体构造对所述多个人体关键点进行连线，生成待识别行为动作，所述待识别行为动作由所述多个人体关键点以及所述多个人体关键点之间的连线构成；该第一计算模块303，用于确定多个样本动作，计算所述待识别动作与所述多个样本动作的多个动作相似度，所述多个样本动作中的每个样本动作由所述样本动作的多个样本关键点和所述多个样本关键点之间的连线构成；该第一确定模块304，用于根据所述多个动作相似度，在所述多个样本动作中确定目标样本动作，所述目标样本动作的动作相似度符合识别标准。在具体的应用场景中，如图3B所示，该装置还包括：接收模块305和采集模块306。该接收模块305，用于接收游戏开始指令，确定所述待识别区域，并启动计时器；该采集模块306，用于当所述计时器的计时时长达到时长阈值时，对所述待识别区域进行图像采集，得到所述待识别图案。在具体的应用场景中，如图3C所示，该识别模块301，包括：获取单元3011和提取单元3012。该获取单元3011，用于获取多个预设关节，将所述多个预设关节映射至所述待识别图案中；该提取单元3012，用于提取所述多个预设关节在所述待识别图案中的多个映射点，将所述多个映射点作为所述多个人体关键点。在具体的应用场景中，如图3D所示，该第一计算模块303，包括：调整单元3031，选取单元3032，统计单元3033，计算单元3034。该调整单元3031，用于对于所述多个样本动作中的每个样本动作，确定预设比例，将所述样本动作和所述待识别动作调整至所述预设比例指示的大小；该选取单元3032，用于分别为所述样本动作和所述待识别动作选取中心点，采用中心点重合的方式将所述样本动作和所述待识别动作叠加；该统计单元3033，用于统计所述样本动作的多个样本关键点与所述待识别动作的人体关键点重合的点的第一个数，并统计所述多个人体关键点的第二个数；该计算单元3034，用于计算所述第一个数与所述第二个数的个数比值，将所述个数比值作为所述样本动作与所述待识别动作的动作相似度；该调整单元3031，还用于重复执行上述计算动作相似度的过程，得到所述待识别动作与所述多个样本动作的多个动作相似度。在具体的应用场景中，如图3E所示，该第一确定模块304，包括：排序单元3041和确定单元3042。该排序单元3041，用于按照所述多个动作相似度从大到小的顺序，对所述多个样本动作进行排序，得到排序结果；该确定单元3042，用于将所述排序结果中排在首位的样本动作作为所述目标样本动作。在具体的应用场景中，如图3F所示，该装置还包括：获取模块307，第二确定模块308和展示模块309。该获取模块307，用于获取标准梯度，所述标准梯度指示了动作相似度区间与标准等级之间的对应关系；该第二确定模块308，用于按照所述标准梯度，确定所述目标样本动作对应的目标动作相似度区间，所述目标动作相似度区间指示的范围包括所述目标样本动作的动作相似度；该展示模块309，用于获取所述目标动作相似度区间对应的目标标准等级，将所述目标标准等级展示给用户。在具体的应用场景中，如图3G所示，该装置还包括：消除模块310和第二生成模块311。该消除模块310，用于如果所述目标样本动作在游戏界面中的相邻样本动作与所述目标样本动作相同，则将所述目标样本动作和所述相邻样本动作在所述游戏界面中对应的图案消除；该第二生成模块311，用于如果所述目标样本动作在所述游戏界面中的相邻样本动作与所述目标样本动作不相同，则生成并展示失败响应。在具体的应用场景中，如图3H所示，该装置还包括：提取模块312，第二计算模块313，第三生成模块314和运行模块315。该提取模块312，用于在所述待识别图案中确定表情区域，提取所述表情区域的表情特征，所述表情特征至少包括眉头特征、鼻子特征和嘴唇特征；该第二计算模块313，用于确定多个样本特征，计算所述多个样本特征与所述表情特征的表情相似度；该第三生成模块314，用于如果所述表情相似度大于相似度阈值，则生成休息提醒，将所述休息提醒展示给用户；该运行模块315，用于如果所述表情相似度小于所述相似度阈值，则保持当前的游戏进程。本发明实施例提供的装置，通过对待识别图案的识别，生成待识别行为动作，并在多个样本动作中确定与待识别行为动作最为相近的目标样本动作，当目标样本动作在游戏界面中的相邻样本动作与目标样本动作相同时，实现游戏界面中图案的消除，无需装备指定的硬件设备即可实现图案消除，降低游戏的局限性，提高用户粘度。需要说明的是，本发明实施例提供的一种基于人体的姿态识别装置所涉及各功能单元的其他相应描述，可以参考图1和图2中的对应描述，在此不再赘述。在示例性实施例中，参见图4，还提供了一种设备，该设备400包括通信总线、处理器、存储器和通信接口，还可以包括、输入输出接口和显示设备，其中，各个功能单元之间可以通过总线完成相互间的通信。该存储器存储有计算机程序，处理器，用于执行存储器上所存放的程序，执行上述实施例中的基于人体的姿态识别方法。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于人体的姿态识别方法的步骤。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质可以是CD-ROM，U盘，移动硬盘等中，包括若干指令用以使得一台计算机设备可以是个人计算机，服务器，或者网络设备等执行本申请各个实施场景所述的方法。本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

权利要求：1.一种基于人体的姿态识别方法，其特征在于，包括：获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点；按照人体构造对所述多个人体关键点进行连线，生成待识别行为动作，所述待识别行为动作由所述多个人体关键点以及所述多个人体关键点之间的连线构成；确定多个样本动作，计算所述待识别动作与所述多个样本动作的多个动作相似度，所述多个样本动作中的每个样本动作由所述样本动作的多个样本关键点和所述多个样本关键点之间的连线构成；根据所述多个动作相似度，在所述多个样本动作中确定目标样本动作，所述目标样本动作的动作相似度符合识别标准。2.根据权利要求1所述的方法，其特征在于，所述获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点之前，包括：接收游戏开始指令，确定所述待识别区域，并启动计时器；当所述计时器的计时时长达到时长阈值时，对所述待识别区域进行图像采集，得到所述待识别图案。3.根据权利要求1所述的方法，其特征在于，所述获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点，包括：获取多个预设关节，将所述多个预设关节映射至所述待识别图案中；提取所述多个预设关节在所述待识别图案中的多个映射点，将所述多个映射点作为所述多个人体关键点。4.根据权利要求1所述的方法，其特征在于，所述确定多个样本动作，计算所述待识别动作与所述多个样本动作的多个动作相似度，包括：对于所述多个样本动作中的每个样本动作，确定预设比例，将所述样本动作和所述待识别动作调整至所述预设比例指示的大小；分别为所述样本动作和所述待识别动作选取中心点，采用中心点重合的方式将所述样本动作和所述待识别动作叠加；统计所述样本动作的多个样本关键点与所述待识别动作的人体关键点重合的点的第一个数，并统计所述多个人体关键点的第二个数；计算所述第一个数与所述第二个数的个数比值，将所述个数比值作为所述样本动作与所述待识别动作的动作相似度；重复执行上述计算动作相似度的过程，得到所述待识别动作与所述多个样本动作的多个动作相似度。5.根据权利要求1所述的方法，其特征在于，所述根据所述多个动作相似度，在所述多个样本动作中确定目标样本动作，包括：按照所述多个动作相似度从大到小的顺序，对所述多个样本动作进行排序，得到排序结果；将所述排序结果中排在首位的样本动作作为所述目标样本动作。6.根据权利要求1所述的方法，其特征在于，所述根据所述多个动作相似度，在所述多个样本动作中确定目标样本动作之后，所述方法还包括：获取标准梯度，所述标准梯度指示了动作相似度区间与标准等级之间的对应关系；按照所述标准梯度，确定所述目标样本动作对应的目标动作相似度区间，所述目标动作相似度区间指示的范围包括所述目标样本动作的动作相似度；获取所述目标动作相似度区间对应的目标标准等级，将所述目标标准等级展示给用户。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：如果所述目标样本动作在游戏界面中的相邻样本动作与所述目标样本动作相同，则将所述目标样本动作和所述相邻样本动作在所述游戏界面中对应的图案消除；如果所述目标样本动作在所述游戏界面中的相邻样本动作与所述目标样本动作不相同，则生成并展示失败响应。8.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述待识别图案中确定表情区域，提取所述表情区域的表情特征，所述表情特征至少包括眉头特征、鼻子特征和嘴唇特征；确定多个样本特征，计算所述多个样本特征与所述表情特征的表情相似度；如果所述表情相似度大于相似度阈值，则生成休息提醒，将所述休息提醒展示给用户；如果所述表情相似度小于所述相似度阈值，则保持当前的游戏进程。9.一种基于人体的姿态识别装置，其特征在于，包括：识别模块，用于获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点；第一生成模块，用于按照人体构造对所述多个人体关键点进行连线，生成待识别行为动作，所述待识别行为动作由所述多个人体关键点以及所述多个人体关键点之间的连线构成；第一计算模块，用于确定多个样本动作，计算所述待识别动作与所述多个样本动作的多个动作相似度，所述多个样本动作中的每个样本动作由所述样本动作的多个样本关键点和所述多个样本关键点之间的连线构成；第一确定模块，用于根据所述多个动作相似度，在所述多个样本动作中确定目标样本动作，所述目标样本动作的动作相似度符合识别标准。10.一种设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

百度查询： 平安科技(深圳)有限公司 基于人体的姿态识别方法、装置、设备及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD