申请/专利权人：平安科技(深圳)有限公司

申请日：2019-05-13

公开（公告）日：2024-06-21

公开（公告）号：CN110263634B

主分类号：G06V20/52

分类号：G06V20/52;G06V20/40;G06V40/20;G06V40/16;G06V10/74;G06V10/82;G08B21/04;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2021.05.07#实质审查的生效;2019.09.20#公开

摘要：本发明公开了一种监控目标的监控方法、装置、计算机设备及存储介质，所述方法包括：采集包含待识别目标的初始视频；获取初始视频中的初始图像以及初始图像的采集时间；获取包含监测目标的初始图像，将包含监测目标的初始图像记录为目标图像，并将目标图像以及与目标图像对应的采集时间关联存储；获取预设的VGG卷积神经网络模型；将目标图像输入至VGG卷积神经网络模型，获取输出的肢体图像；根据肢体图像以及与肢体图像对应的采集时间，通过预设的跌倒规则检测监测目标是否跌倒，在监测目标跌倒时，对预设的管理方进行预警。本发明可以精准的判定出监测目标是否处于跌倒状态，以便于更高效的对管理方进行预警，避免监测目标的损伤，提升用户体验。

主权项：1.一种监控目标的监控方法，其特征在于，包括：采集包含待识别目标的初始视频，并记录开始采集所述初始视频的开始时间，和结束采集所述初始视频的结束时间；其中，所述采集包含待识别目标的初始视频具体为：通过监控设备实时拍摄监控设备的监控区域下的视频，预先获取监控终端的监控区域在无待识别目标时的原始像素，再获取拍摄的视频的当前像素，比对所述当前像素和所述原始像素之间的相差是否超过预设的差异阈值，当所述当前像素和所述原始像素之间的差异超过差异阈值时，确定拍摄的视频中出现待识别目标；通过对所述初始视频进行预处理，获取所述初始视频中的初始图像以及所述初始图像在所述初始视频中对应的播放时间，并根据所述开始时间、所述结束时间和所述播放时间，获取所述初始图像的采集时间；提取所述初始图像中的待识别目标的人脸特征，并将所述人脸特征与自数据库中调取的监测目标的人脸特征进行比对，获取包含监测目标的初始图像，将所述包含监测目标的初始图像记录为目标图像，并将所述目标图像以及与所述目标图像对应的所述采集时间关联存储；获取预设的VGG卷积神经网络模型；将所述目标图像输入至所述VGG卷积神经网络模型，获取输出的肢体图像；根据所述肢体图像以及与所述肢体图像对应的所述采集时间，通过预设的跌倒规则检测所述监测目标是否跌倒，并在所述监测目标跌倒时，对预设的管理方进行预警；所述根据所述肢体图像以及与所述肢体图像对应的所述采集时间，通过预设的跌倒规则检测所述监测目标是否跌倒，包括：获取所述肢体图像中的人体各关节点或和各肢体之间的位置关系；检测所述跌倒规则中是否存在与所述肢体图像中的人体各关节点或和各肢体之间的位置关系相匹配的跌倒位置关系；当所述跌倒规则中存在与所述肢体图像中的人体各关节点或和各肢体之间的位置关系相匹配的跌倒位置关系时，获取在所述肢体图像对应的所述采集时间之后的预设时间段内的所有肢体图像，并将获取的所有肢体图像作为判断图像；遍历所有所述判断图像，检测人体各关节点或和各肢体之间的位置关系与所述跌倒规则中的跌倒位置关系相匹配的所述判断图像是否大于预设比例；当人体各关节点或和各肢体之间的位置关系与所述跌倒规则中的跌倒位置关系相匹配的所述判断图像大于所述预设比例时，确认所述监测目标跌倒。

全文数据：监控目标的监控方法、装置、计算机设备及存储介质技术领域本发明涉及图像检测领域，尤其涉及一种监控目标的监控方法、装置、计算机设备及存储介质。背景技术现今大多数老人或行动不便的人大部分时间都是独自生活，或有比较多的时间处于无人监管的状态下，此时若他们出现跌倒等状况时，若不能及时发现并通知相关的人对他们进行帮助，可能会导致无法挽回的后果，而如何监测老人等是否出现跌倒等状况，则需要快速且准确的监测方法。发明内容基于此，本发明提供一种监控目标的监控方法、装置、计算机设备及存储介质，用于精准的判定出监测目标是否处于跌倒状态，以便于更高效的对管理方进行预警，避免监测目标的损伤，提升用户体验。一种监控目标的监控方法，包括：采集包含待识别目标的初始视频，并记录开始采集所述初始视频的开始时间，和结束采集所述初始视频的结束时间；通过对所述初始视频进行预处理，获取所述初始视频中的初始图像以及所述初始图像在所述初始视频中对应的播放时间，并根据所述开始时间、所述结束时间和所述播放时间，获取所述初始图像的采集时间；提取所述初始图像中的待识别目标的人脸特征，并将所述人脸特征与自数据库中调取的监测目标的人脸特征进行比对，获取包含监测目标的初始图像，将所述包含监测目标的初始图像记录为目标图像，并将所述目标图像以及与所述目标图像对应的所述采集时间关联存储；获取预设的VGG卷积神经网络模型；将所述目标图像输入至所述VGG卷积神经网络模型，获取输出的肢体图像；根据所述肢体图像以及与所述肢体图像对应的所述采集时间，通过预设的跌倒规则检测所述监测目标是否跌倒，并在所述检测目标跌倒时，对预设的管理方进行预警。一种跌倒监测装置，包括：采集模块，用于采集包含待识别目标的初始视频，并记录开始采集所述初始视频的开始时间，和结束采集所述初始视频的结束时间；预处理模块，用于通过对所述初始视频进行预处理，获取所述初始视频中的初始图像以及所述初始图像在所述初始视频中对应的播放时间，并根据所述开始时间、所述结束时间和所述播放时间，获取所述初始图像的采集时间；筛选模块，用于提取所述初始图像中的待识别目标的人脸特征，并将所述人脸特征与自数据库中调取的监测目标的人脸特征进行比对，获取包含监测目标的初始图像，将所述包含监测目标的初始图像记录为目标图像，并将所述目标图像以及与所述目标图像对应的所述采集时间关联存储；模型获取模块，用于获取预设的VGG卷积神经网络模型；肢体识别模块，用于将所述目标图像输入至所述VGG卷积神经网络模型，获取输出的肢体图像；判定模块，用于根据所述肢体图像以及与所述肢体图像对应的所述采集时间，通过预设的跌倒规则检测所述监测目标是否跌倒，并在所述检测目标跌倒时，对预设的管理方进行预警。一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述监控目标的监控方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述监控目标的监控方法的步骤。上述监控目标的监控方法、装置、计算机设备及存储介质，通过引入VGG卷积神经网络模型，对所采集到的包含监测目标的初始图像进行人体关节点和肢体的识别，进而获得记录人体关节点和肢体的肢体图像，且引入所述跌倒规则和肢体图像对应的采集时间对肢体图像进行判断，可以更精准的判定出监测目标是否处于跌倒状态，以便于更高效的对管理方进行预警，避免监测目标的损伤，提升用户体验。附图说明为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本发明一实施例中监控目标的监控方法的一应用环境示意图；图2是本发明一实施例中监控目标的监控方法的流程图；图3是本发明一实施例中监控目标的监控方法的步骤S40的流程图；图4是本发明一实施例中监控目标的监控方法的步骤S404的流程图；图5是本发明一实施例中监控目标的监控方法的步骤S60的流程图；图6是本发明另一实施例中监控目标的监控方法的步骤S60的流程图；图7是本发明一实施例中跌倒监测装置的示意图；图8是本发明一实施例中跌倒监测装置的模型获取模块的示意图；图9是本发明一实施例中跌倒监测装置的判定模块的示意图；图10是本发明一实施例中计算机设备的一示意图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明提供的监控目标的监控方法，可应用在如图1的应用环境中，其中，客户端计算机设备终端设备通过网络与服务器服务端进行通信。首先对初始视频进行处理获取目标图像，然后，通过引入VGG卷积神经网络模型，对所采集到的包含监测目标的初始图像进行人体关节点和肢体的识别，进而获得记录人体关节点和肢体的肢体图像，且引入所述跌倒规则和肢体图像对应的采集时间对肢体图像进行判断，判断监测目标是否跌倒。其中，客户端计算机设备终端设备包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在一实施例中，如图2所示，提供一种监控目标的监控方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：S10，采集包含待识别目标的初始视频，并记录开始采集所述初始视频的开始时间，和结束采集所述初始视频的结束时间。所述待识别目标是指出现在所述初始视频中的人，可能为第三人非监测目标或是监测目标，所述监测目标为预先设定的需要实时监测其行动状况的人，如老人院中的老人，又如家庭中的老人或和小孩；可理解地，所述第三人即为没有设定进行监测的人。在一实施例中，所述监测目标为老人院中的老人，采集包含监测目标的初始视频包括：首先与老人院中预先设立的监控设备进行通讯连接可以使用有线连接，亦可以通过蓝牙，WiFi等无线网络技术与所述监控设备进行连接，然后通过所述监控设备实时拍摄所述监控设备的监控区域下的视频，接着，检测拍摄的视频中是否出现待识别目标，当拍摄的视频中出现所述待识别目标时，即代表拍摄的视频可能包含有监测目标，此时，获取所述初始视频，以供在后续步骤中获取目标图像。所述开始时间是指所述终端设备开始采集到所述初始视频的时间，所述结束时间是指所述终端设备结束采集所述初始视频的时间。在本应用场景下，所述监控设备包括但不限于摄像机、手动或电动镜头、或能传导和记录音频信号的设备；所述检测拍摄的视频中是否出现待识别目标，可以利用比对像素的方法，即预先获取所述监控终端的监控区域在无待识别目标时的原始像素，然后获取拍摄的视频的当前像素，比对所述当前像素和所述原始像素是否相差超过预设的差异阈值，当二者之间的差异超过所述差异阈值时，即证明所述拍摄的视频中出现了待识别目标。S20，通过对所述初始视频进行预处理，获取所述初始视频中的初始图像以及所述初始图像在所述初始视频中对应的播放时间，并根据所述开始时间、所述结束时间和所述播放时间，获取所述初始图像的采集时间。所述对所述初始图像或和初始视频进行预处理，可以包括以下处理的一种或多种：对所述初始视频进行分帧，获取分帧之后的图像，并将分帧之后的图像作为初始图像；按照预设的分辨率或清晰度，从所述初始图像中选取满足所述分辨率或和清晰度的初始图像；从在预设时间段内比如2秒内采集的多张初始图像中选取分辨率或和清晰度最高的图像；从初始图像中按照预设的规格截取待识别目标的人体图像等。必须说明的是，上述预处理的步骤可以根据实际情况选取一种或多种来对所述初始图像或和初始视频进行预处理，举例说明，可以先从在预设时间段内采集的多张初始图像中选取分辨率和清晰度最高的图像，接着，从选取的所述图像中按照预设的规格截取监测目标的人体图像；也可以只从所有的所述初始图像中选取满足预设的分辨率或和清晰度的图像。如上所述，初始图像是由初始视频通过分帧获得多个帧、然后再对所述帧进行处理获得的，故初始图像均对应于初始视频中的一个帧。其中，所述采集时间是指所述终端设备采集到所述初始图像对应于所述初始视频中的帧的时间，而非采集到整个初始视频的最后时间，比如，所述初始视频有10帧，每一帧对应一个初始图像，则所述采集时间为采集到每一帧对应的时间。为便于理解，下面对如何获取所述初始图像的采集时间进行说明：首先获取所述初始视频的开始时间和结束时间，然后所述初始图像在所述初始视频中对应的播放时间，然后，将该播放时间加上初始视频的开始时间即可获得初始图像的采集时间。比如，初始视频的开始时间为10:00，结束时间为10:05，则可知该初始视频的时长为5分钟，假设我们需要获取的一个初始图像的采集时间，该初始图像对应于初始视频中的帧的播放时间为3分钟整，那么该初始图像的采集时间即为开始时间加上3分钟，也即采集时间为10:03。在一些实施例中，为了减少运算负荷，提高效率，可以近似认定初始视频中的每50帧为相同的时间所采集，比如，近似认定初始视频中的每50帧为相同的时间所采集，即设定每50帧所对应的初始图像的采集时间均为同一时间，以便用于后续的跌倒判定流程。S30，提取所述初始图像中的待识别目标的人脸特征，并将所述人脸特征与自数据库中调取的监测目标的人脸特征进行比对，获取包含监测目标的初始图像，将所述包含监测目标的初始图像记录为目标图像，并将所述目标图像以及与所述目标图像对应的所述采集时间关联存储。如上所述，所述待识别目标包括没有设定为监测目标的人和设定为需要进行监测的监测目标，故需要对所述初始图像中的待识别目标进行人脸识别，以便筛选出包含有监测目标的初始图像。具体地，对所述初始图像中的待识别目标进行人脸识别，首先提取所述初始图像中的待识别目标的人脸特征，并将所述人脸特征与自数据库中调取的监测目标的人脸特征进行比对，当二者之间的相似度大于预设的相似阈值时，即可认为所述初始图像中的待识别目标为监测目标；接着，获取包含监测目标的初始图像，确认所述包含监测目标的初始图像为目标图像，最后，将所述目标图像与其对应的采集时间关联存储。本实施例通过引入人脸识别，将包含有监测目标的目标图像从所有所述初始图像中筛选出来，减轻后续过程中服务器的运算量，提升效率，增强了用户体验。S40，获取预设的VGG卷积神经网络模型。所述VGG卷积神经网络模型是一种基于深度卷积神经网络的模型，所述VGG卷积神经网络模型利用了卷积神经网络的深度与其性能之间的关系，即利用不断加深网络结构来提升性能，通过反复堆叠3*3的小卷积核和2*2的最大池化层，构建16-19层深的卷积神经网络。所述VGG卷积神经网络模型可接受的输入有多种，可以是图片、视频等，其输出亦有多种，如PNG、JPG、AVI、JSON、XML和YML等，输入和输出的形式或和参数可以根据需求进行调整。在一实施例中，获取的所述VGG卷积神经网络模型为经过历史样本训练后的模型，也即该VGG卷积神经网路模型经过大量训练，可以准确的将输入的目标图像输出为人体的肢体图像。S50，将所述目标图像输入至所述VGG卷积神经网络模型，获取输出的肢体图像。其中，所述肢体图像为记录所述目标图像中所述监测目标的人体关节点和与所述人体关节点连接的肢体的图像。首先将所述目标图像转化为所述VGG卷积神经网络模型可接收的输入形式比如矩阵、序列、特征向量等，接着，经过所述VGG卷积神经网络模型中预设层数的循环网络获得特征度，在一实施例中，所述VGG卷积神经网络模型识别的是目标图像的人体关节点和肢体，则此应用场景下，所述VGG卷积神经网络模型分为两个循环分支，一个分支用于识别人体关节点，该分支的第一次循环以特征度作为输入，得到输出的初始人体关节点，将所述初始人体关节点和特征度一起作为输入，输入至该循环分支的下一循环，后续循环过程为如上述，即下一循环的输入为特征度和上一循环的输出，如此循环直至获取到最终输出的人体关节点；另一个分支用于识别肢体，与上述识别人体关节点的过程类似，该分支的第一次循环以特征度作为输入，得到输出的初始肢体，接着，将所述初始肢体和特征度一起作为输入，输入至该循环分支的下一循环，后续循环过程如上述，即下一循环的输入为特征度和上一循环的输出，如此循环直至获取到最终输出的肢体。最终，获取所述VGG卷积神经网络模型输出的所述监测目标的肢体图像，以供在步骤S60中根据所述肢体图像判定所述检测目标是否跌倒。S60，根据所述肢体图像以及与所述肢体图像对应的所述采集时间，通过预设的跌倒规则检测所述监测目标是否跌倒，并在所述检测目标跌倒时，对预设的管理方进行预警。其中，所述跌倒规则可以根据需求预先设定。所述管理方即为用户预设的第三方，如在老人院中，该管理方可以应急救援部的人，又如在一个家庭中，该管理方可以为该家庭的成年人或邻居等。可理解地，每一所述目标图像与其对应的所述采集时间预先已经关联，故每一所述肢体图像也对应关联一个所述采集时间。具体地，检测所述肢体图像是否与所述跌倒规则中设定的监测目标处于跌倒状态的情形相匹配，当所述肢体图像与所述跌倒规则中设定的检测目标处于跌倒状态的情形相匹配时，检测在所述肢体图像对应的所述采集时间之后的预设时间段内的肢体图像，是否也与所述跌倒规则中设定的监测目标处于跌倒状态的情形相匹配，若结果为匹配，则代表所述监测目标处于跌倒状态，此时，确认所述检测目标跌倒，并对所述管理方进行预警，以便所述管理方可以快速作出反应，对所述监测目标进行救助，防止对造成所述监测目标不可挽回的损失；若结果为不匹配，则确认所述监测目标没有跌倒。在一实施例中，如图3所示，所述步骤S40包括：S401，获取样本图像以及与所述样本图像对应的真实肢体图像。所述样本图像为包含有所述监测目标的图像，所述样本图像可以从历史采集的所述目标图像或和所述初始图像初始视频中获得，也可以从第三方数据库中获取，只要所述样本图像中包含有所述监测目标即可。获取所述样本图像，以便用于对所述VGG卷积神经网络模型进行训练。可理解地，所述样本图像的数量应尽可能大，以保证训练的完整度。所述真实肢体图像是指所述样本图像中人体的关节点和肢体的图像。S402，将所述样本图像输入至包含初始参数的VGG卷积神经网络模型，获取输出的样本肢体图像，并获取所有所述样本肢体图像与所述真实肢体图像之间的整体相似度。其中，所述样本肢体图像为所述VGG卷积神经网络模型对所述样本图像中的人体关节点和肢体进行识别后输出的人体的关节和肢体的图像。可理解地，初始的VGG卷积神经网络模型也即所述包含初始参数的VGG卷积神经网络模型，只是从开源数据库中获取的基础模型，将其用于识别目标图像中的人体关节点和肢体，所获取到的肢体图像通常不能满足本发明的应用需求。此时，需要通过所述样本图像对其进行训练。在本实施例中，分别将每一样本图像输入至包含初始参数的VGG卷积神经网络模型中进行人体关节点和肢体的识别，获取输出的样本肢体图像，并获取每一所述样本肢体图像与其对应的样本图像的真实肢体图像之间的样本相似度，将所有所述样本相似度之和的平均值的算术平方根作为所述整体相似度。所述整体相似度用于在后续步骤中判定所述VGG卷积神经网络模型是否达到了适用于本发明的各应用场景的要求。S403，检测所述整体相似度是否大于预设的相似阈值。其中，所述相似阈值可以根据需求和实际情况预先设定。所述整体相似度可以从侧面反映初始的VGG卷积神经网络模型和本发明下的各应用场景所实际需求的模型之间的差异，即所述整体相似度越高，则代表该VGG卷积神经网络模型与本发明所实际需求的模型的差异越小，也即该VGG卷积神经网络模型与本发明所实际需求的模型越接近；反之，则代表二者之间的差异越大，也即该VGG卷积神经网络模型与本发明实际需求的模型相差越远。故在本实施例中，检测所述整体相似度是否大于所述相似阈值，以判定所述VGG卷积神经网络模型与本发明所实际需求的模型之间的相似程度是否达到设定的值。S404，当所述整体相似度小于或等于所述相似阈值时，调整所述VGG卷积神经网络模型的初始参数，并继续执行获取所述整体相似度及其后续步骤，直至所述整体相似度大于所述相似阈值。当所述整体相似度小于或等于所述相似阈值时，代表所述VGG卷积神经网络模型与本发明实际需求的模型之间的相似程度未达到预设的值，也即未达到要求，此时，需要调整所述VGG卷积神经网络模型的初始参数，以使该VGG卷积神经网络模型与本发明实际需求的模型之间的相似程度越来越高。S405，当所述整体相似度大于所述相似阈值时，确认所述VGG卷积神经网络模型训练完成，并获取所述VGG卷积神经网络模型。当所述整体相似度大于所述相似阈值时，代表所述VGG卷积神经网络模型经过训练后，与本发明实际需求的模型的相似程度达到要求，此时，确认所述VGG卷积神经网络模型训练完成，并获取训练完成的所述VGG卷积神经网络模型，以供在后续步骤中对目标图像进行人体关节点和肢体的识别。在一实施例中，如图4所示，所述步骤S404中，所述调整所述VGG卷积神经网络模型的初始参数，包括：S4041，通过损失函数计算所述样本肢体图像与其对应的真实肢体图像之间的调整权数。其中，所述调整权数为一种用于对所述VGG卷积神经网络模型的参数进行调整的权数；在一实施例中，所述VGG卷积神经网络模型对样本图像的肢体识别分别通过如下两个参数进行：人体关节点S，肢体L。下面对损失函数的公式进行列举：一层循环网络对应于人体关节点S的第一损失函数为：其中，S代表样本肢体图像的人体关节点，S*代表真实肢体图像的人体关节点，t为循环网络的层数，j和p为常数。一层循环网络对应于肢体L的第二损失函数为：其中，L代表样本肢体图像的肢体，L*代表真实肢体图像的肢体，t为循环网络的层数，c和p为常数。所述损失函数即为每一层循环网路的第一损失函数和第二损失函数之和：通过所述损失函数计算出所述样本肢体图像与其对应的真实肢体图像之间的调整权数，以供在后续步骤中对所述初始参数进行调整。S4042，根据所述调整权数对所述VGG卷积神经网络模型的初始参数进行调整。所述调整即为将所述VGG卷积神经网络模型的每一个初始参数加减或乘除所述调整权数与权重之积，其中，所述权重根据不同的参数来设定不同的权重。在一实施例中，所述跌倒规则中包含至少一种人体各关节点或和各肢体之间的跌倒位置关系，如图5所示，所述步骤S60包括：S601，获取所述肢体图像中的人体各关节点或和各肢体之间的位置关系。在本实施例中，可以直接从所述肢体图像中通过图像识别比如通过预先训练好的，且可以用于识别肢体图像中的人体各关节点或和各肢体之间的位置关系的图像识别模型进行识别对所述至图图像中的人体各关节点或和各肢体之间的位置关系进行识别。所述人体各关节点包括：鼻节点、颈节点、胸节点、左右手节点、左右肘节点、臀节点、左右膝盖节点、左右脚节点等；所述人体各肢体包括：头肢、躯干、左右手肢、和左右脚肢等。以下对所述位置关系进行举例说明：以地面或水平面为参照系，鼻节点颈节点胸节点左右肘节点左右手节点臀节点左右膝盖节点的高度与左右脚节点之间的高度差；将肢体中的脚肢以膝盖节点为中心，分为上脚肢与臀部相邻的部分，和下脚肢与脚关节相邻的部分，上脚肢和下脚肢之间的距离；以地面或水平面为参照系，脚节点的高度要高于臀节点的高度。获取所述肢体图像中的人体各关节点或和各肢体之间的位置关系，用于在后续步骤中判定所述监测目标是否处于跌倒状态。S602，检测所述跌倒规则中是否存在与所述肢体图像中的人体各关节点或和各肢体之间的位置关系相匹配的所述跌倒位置关系。其中，所述跌倒位置关系是指在监测目标处于跌倒状态的情形下，其人体各关节点或和各肢体之间的位置关系。所述跌倒规则中至少包含一种人体各关节点或和各肢体之间的跌倒位置关系，以下对几种所述跌倒规则中的跌倒位置关系进行举例：以地面或水平面为参照系，鼻节点颈节点胸节点左右肘节点左右手节点臀节点左右膝盖节点的高度与左右脚节点之间的高度差小于预设的高度阈值，则此种关节点的位置关系即为跌倒位置关系；将肢体中的脚肢以膝盖节点为中心，分为上脚肢与臀部相邻的部分，和下脚肢与脚关节相邻的部分，当上脚肢和下脚肢之间发生堆叠，即上脚肢和下脚肢大部分肢体之间的距离小于预设的距离阈值，此种肢体之间的位置关系即为跌倒位置关系；以地面或水平面为参照系，脚节点的高度要高于臀节点的高度，此种位置关系即为跌倒位置关系。在本实施例中，检测所述跌倒规则中是否存在与所述肢体图像中的人体各关节点或和各肢体之间的位置关系相匹配的跌倒位置关系，当结果为存在时，代表所述监测目标有可能处于跌倒状态，此时，进入步骤S602进一步判断所述监测目标是否处于跌倒状态；当结果为不存在时，确认所述监测目标无跌倒。S603，当所述跌倒规则中存在与所述肢体图像中的人体各关节点或和各肢体之间的位置关系相匹配的所述跌倒位置关系时，获取在所述肢体图像对应的所述采集时间之后的预设时间段内的所有肢体图像，并将获取的所有肢体图像作为判断图像。其中，所述预设时间段可以根据实际情况预先设定，比如设定为5秒。当所述跌倒规则中存在与所述肢体图像中的人体各关节点或和各肢体之间的位置关系相匹配的所述跌倒位置关系时，代表所述监测目标可能处于跌倒状态，此时即需要对所述监测目标是否跌倒作进一步判断，即检测在所述肢体图像对应的所述采集时间之后的预设时间段内，所述监测目标的肢体图像中的人体各节点或和各肢体之间的位置关系是否依然为所述跌倒位置关系。具体地，根据每一肢体图像与采集时间之间的关联关系，获取在所述肢体图像对应的所述采集时间之后的预设时间段内的所有肢体图像，然后，将所有获取到的肢体图像作为判断图像，用于在后续步骤中对所述监测目标是否跌倒作进一步判断。S604，遍历所有所述判断图像，检测人体各关节点或和各肢体之间的位置关系与所述跌倒规则中的跌倒位置关系相匹配的所述判断图像是否大于预设比例。其中，所述预设比例可以根据实际情况预先设定。具体地，选取一未进行检测的所述判断图像，检测所述跌倒规则中是否存在与所述判断图像中的人体各关节点或和各肢体之间的位置关系相匹配的跌倒位置关系，当结果为存在时，记录此次检测结果；并接着选取下一未进行检测的所述判断图像进行上述检测过程，直至所有所述判断图像均被检测完毕，然后，判断是否有大于预设比例的所述判断图像中的人体各关节点或和各肢体之间的位置关系与所述跌倒规则中的跌倒位置关系相匹配，以供在后续步骤中进一步判定是否所述监测目标是否跌倒。S605，当人体各关节点或和各肢体之间的位置关系与所述跌倒规则中的跌倒位置关系相匹配的所述判断图像大于所述预设比例时，确认所述监测目标跌倒。当有大于预设比例的所述判断图像中的人体各关节点或和各肢体之间的位置关系与所述跌倒规则中的跌倒位置关系相匹配时，代表所述监测目标在一预设时间段内大部分时间均处于跌倒状态下，此时，确认所述监测目标跌倒，以便于及时的对预设的管理方进行预警，避免损伤，增强用户体验。在一实施例中，如图6所示，所述步骤S604之后，还包括：S606，当人体各关节点或和各肢体之间的位置关系与所述跌倒规则中的跌倒位置关系相匹配的所述判断图像小于或等于所述预设比例时，确认所述监测目标无跌倒。当不存在有大于预设比例的所述判断图像中的人体各关节点或和各肢体之间的位置关系与所述跌倒规则中的跌倒位置关系相匹配，即代表在一个连续时间段内，所述监测目标并非大部分时间均处于跌倒状态，即证明所述监测目标有可能只是坐下，或做出蹲下拾起东西等动作，而并非是违背自身意志的跌倒，此时，确认所述检测目标无跌倒。本发明通过引入VGG卷积神经网络模型，对所采集到的包含监测目标的初始图像进行人体关节点和肢体的识别，进而获得记录人体关节点和肢体的肢体图像，且引入所述跌倒规则和肢体图像对应的采集时间对肢体图像进行判断，可以更精准的判定出监测目标是否处于跌倒状态，以便于更高效的对管理方进行预警，避免监测目标的损伤，提升用户体验。应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。在一实施例中，提供一种跌倒监测装置，该跌倒监测装置与上述实施例中监控目标的监控方法一一对应。如图7所示，该跌倒监测装置包括采集模块11、预处理模块12、筛选模块13、模型获取模块14、肢体识别模块15和判定模块16。各功能模块详细说明如下：所述采集模块11，用于采集包含待识别目标的初始视频，并记录开始采集所述初始视频的开始时间，和结束采集所述初始视频的结束时间；所述预处理模块12，用于通过对所述初始视频进行预处理，获取所述初始视频中的初始图像以及所述初始图像在所述初始视频中对应的播放时间，并根据所述开始时间、所述结束时间和所述播放时间，获取所述初始图像的采集时间；所述筛选模块13，用于提取所述初始图像中的待识别目标的人脸特征，并将所述人脸特征与自数据库中调取的监测目标的人脸特征进行比对，获取包含监测目标的初始图像，将所述包含监测目标的初始图像记录为目标图像，并将所述目标图像以及与所述目标图像对应的所述采集时间关联存储；所述模型获取模块14，用于获取预设的VGG卷积神经网络模型；所述肢体识别模块15，用于将所述目标图像输入至所述VGG卷积神经网络模型，获取输出的肢体图像；所述判定模块16，用于根据所述肢体图像以及与所述肢体图像对应的所述采集时间，通过预设的跌倒规则检测所述监测目标是否跌倒，并在所述检测目标跌倒时，对预设的管理方进行预警。在一实施例中，如图8所示，所述模型获取模块14包括：样本获取单元141，用于获取样本图像以及与所述样本图像对应的真实肢体图像；第一获取单元142，用于将所述样本图像输入至包含初始参数的VGG卷积神经网络模型，获取输出的样本肢体图像，并获取所有所述样本肢体图像与所述真实肢体图像之间的整体相似度；检测单元143，用于检测所述整体相似度是否大于预设的相似阈值；调整单元144，用于当所述整体相似度小于或等于所述相似阈值时，调整所述VGG卷积神经网络模型的初始参数，并继续执行获取所述整体相似度及其后续步骤，直至所述整体相似度大于所述相似阈值；确认单元145，用于当所述整体相似度大于所述相似阈值时，确认所述VGG卷积神经网络模型训练完成，并获取所述VGG卷积神经网络模型。在一实施例中，如图9所示，所述判定模块16包括：位置获取单元161，用于获取所述肢体图像中的人体各关节点或和各肢体之间的位置关系；位置检测单元162，用于检测所述跌倒规则中是否存在与所述肢体图像中的人体各关节点或和各肢体之间的位置关系相匹配的所述跌倒位置关系；图像获取单元163，用于当所述跌倒规则中存在与所述肢体图像中的人体各关节点或和各肢体之间的位置关系相匹配的所述跌倒位置关系时，获取在所述肢体图像对应的所述采集时间之后的预设时间段内的所有肢体图像，并将获取的所有肢体图像作为判断图像；图像检测单元164，用于遍历所有所述判断图像，检测人体各关节点或和各肢体之间的位置关系与所述跌倒规则中的跌倒位置关系相匹配的所述判断图像是否大于预设比例；第一判定单元165，用于当人体各关节点或和各肢体之间的位置关系与所述跌倒规则中的跌倒位置关系相匹配的所述判断图像大于所述预设比例时，确认所述监测目标跌倒。在一实施例中，所述调整单元144包括：计算子单元，用于通过损失函数计算所述样本肢体图像与其对应的真实肢体图像之间的调整权数；调整子单元，用于根据所述调整权数对所述VGG卷积神经网络模型的初始参数进行调整。在一实施例中，所述判定模块16还包括：第二判定单元，用于当人体各关节点或和各肢体之间的位置关系与所述跌倒规则中的跌倒位置关系相匹配的所述判断图像小于或等于所述预设比例时，确认所述监测目标无跌倒。关于跌倒监测装置的具体限定可以参见上文中对于监控目标的监控方法的限定，在此不再赘述。上述跌倒监测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种监控目标的监控方法。在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：采集包含待识别目标的初始视频，并记录开始采集所述初始视频的开始时间，和结束采集所述初始视频的结束时间；通过对所述初始视频进行预处理，获取所述初始视频中的初始图像以及所述初始图像在所述初始视频中对应的播放时间，并根据所述开始时间、所述结束时间和所述播放时间，获取所述初始图像的采集时间；提取所述初始图像中的待识别目标的人脸特征，并将所述人脸特征与自数据库中调取的监测目标的人脸特征进行比对，获取包含监测目标的初始图像，将所述包含监测目标的初始图像记录为目标图像，并将所述目标图像以及与所述目标图像对应的所述采集时间关联存储；获取预设的VGG卷积神经网络模型；将所述目标图像输入至所述VGG卷积神经网络模型，获取输出的肢体图像；根据所述肢体图像以及与所述肢体图像对应的所述采集时间，通过预设的跌倒规则检测所述监测目标是否跌倒，并在所述检测目标跌倒时，对预设的管理方进行预警。在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：采集包含待识别目标的初始视频，并记录开始采集所述初始视频的开始时间，和结束采集所述初始视频的结束时间；通过对所述初始视频进行预处理，获取所述初始视频中的初始图像以及所述初始图像在所述初始视频中对应的播放时间，并根据所述开始时间、所述结束时间和所述播放时间，获取所述初始图像的采集时间；提取所述初始图像中的待识别目标的人脸特征，并将所述人脸特征与自数据库中调取的监测目标的人脸特征进行比对，获取包含监测目标的初始图像，将所述包含监测目标的初始图像记录为目标图像，并将所述目标图像以及与所述目标图像对应的所述采集时间关联存储；获取预设的VGG卷积神经网络模型；将所述目标图像输入至所述VGG卷积神经网络模型，获取输出的肢体图像；根据所述肢体图像以及与所述肢体图像对应的所述采集时间，通过预设的跌倒规则检测所述监测目标是否跌倒，并在所述检测目标跌倒时，对预设的管理方进行预警。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和或易失性存储器。非易失性存储器可包括只读存储器ROM、可编程ROMPROM、电可编程ROMEPROM、电可擦除可编程ROMEEPROM或闪存。易失性存储器可包括随机存取存储器RAM或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAMSRAM、动态RAMDRAM、同步DRAMSDRAM、双数据率SDRAMDDRSDRAM、增强型SDRAMESDRAM、同步链路SynchlinkDRAMSLDRAM、存储器总线Rambus直接RAMRDRAM、直接存储器总线动态RAMDRDRAM、以及存储器总线动态RAMRDRAM等。所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

权利要求：1.一种监控目标的监控方法，其特征在于，包括：采集包含待识别目标的初始视频，并记录开始采集所述初始视频的开始时间，和结束采集所述初始视频的结束时间；通过对所述初始视频进行预处理，获取所述初始视频中的初始图像以及所述初始图像在所述初始视频中对应的播放时间，并根据所述开始时间、所述结束时间和所述播放时间，获取所述初始图像的采集时间；提取所述初始图像中的待识别目标的人脸特征，并将所述人脸特征与自数据库中调取的监测目标的人脸特征进行比对，获取包含监测目标的初始图像，将所述包含监测目标的初始图像记录为目标图像，并将所述目标图像以及与所述目标图像对应的所述采集时间关联存储；获取预设的VGG卷积神经网络模型；将所述目标图像输入至所述VGG卷积神经网络模型，获取输出的肢体图像；根据所述肢体图像以及与所述肢体图像对应的所述采集时间，通过预设的跌倒规则检测所述监测目标是否跌倒，并在所述检测目标跌倒时，对预设的管理方进行预警。2.如权利要求1所述的监控目标的监控方法，其特征在于，所述获取预设的VGG卷积神经网络模型，包括：获取样本图像以及与所述样本图像对应的真实肢体图像；将所述样本图像输入至包含初始参数的VGG卷积神经网络模型，获取输出的样本肢体图像，并获取所有所述样本肢体图像与所述真实肢体图像之间的整体相似度；检测所述整体相似度是否大于预设的相似阈值；当所述整体相似度小于或等于所述相似阈值时，调整所述VGG卷积神经网络模型的初始参数，并继续执行获取所述整体相似度及其后续步骤，直至所述整体相似度大于所述相似阈值；当所述整体相似度大于所述相似阈值时，确认所述VGG卷积神经网络模型训练完成，并获取所述VGG卷积神经网络模型。3.如权利要求2所述的监控目标的监控方法，其特征在于，所述调整所述VGG卷积神经网络模型的初始参数，包括：通过损失函数计算所述样本肢体图像与其对应的真实肢体图像之间的调整权数；根据所述调整权数对所述VGG卷积神经网络模型的初始参数进行调整。4.如权利要求1所述的监控目标的监控方法，其特征在于，所述根据所述肢体图像以及与所述肢体图像对应的所述采集时间，通过预设的跌倒规则检测所述监测目标是否跌倒，包括：获取所述肢体图像中的人体各关节点或和各肢体之间的位置关系；检测所述跌倒规则中是否存在与所述肢体图像中的人体各关节点或和各肢体之间的位置关系相匹配的所述跌倒位置关系；当所述跌倒规则中存在与所述肢体图像中的人体各关节点或和各肢体之间的位置关系相匹配的所述跌倒位置关系时，获取在所述肢体图像对应的所述采集时间之后的预设时间段内的所有肢体图像，并将获取的所有肢体图像作为判断图像；遍历所有所述判断图像，检测人体各关节点或和各肢体之间的位置关系与所述跌倒规则中的跌倒位置关系相匹配的所述判断图像是否大于预设比例；当人体各关节点或和各肢体之间的位置关系与所述跌倒规则中的跌倒位置关系相匹配的所述判断图像大于所述预设比例时，确认所述监测目标跌倒。5.如权利要求4所述的监控目标的监控方法，其特征在于，所述遍历所有所述判断图像，检测人体各关节点或和各肢体之间的位置关系与所述跌倒规则中的跌倒位置关系相匹配的所述判断图像是否大于预设比例之后，还包括：当人体各关节点或和各肢体之间的位置关系与所述跌倒规则中的跌倒位置关系相匹配的所述判断图像小于或等于所述预设比例时，确认所述监测目标无跌倒。6.一种跌倒监测装置，其特征在于，包括：采集模块，用于采集包含待识别目标的初始视频，并记录开始采集所述初始视频的开始时间，和结束采集所述初始视频的结束时间；预处理模块，用于通过对所述初始视频进行预处理，获取所述初始视频中的初始图像以及所述初始图像在所述初始视频中对应的播放时间，并根据所述开始时间、所述结束时间和所述播放时间，获取所述初始图像的采集时间；筛选模块，用于提取所述初始图像中的待识别目标的人脸特征，并将所述人脸特征与自数据库中调取的监测目标的人脸特征进行比对，获取包含监测目标的初始图像，将所述包含监测目标的初始图像记录为目标图像，并将所述目标图像以及与所述目标图像对应的所述采集时间关联存储；模型获取模块，用于获取预设的VGG卷积神经网络模型；肢体识别模块，用于将所述目标图像输入至所述VGG卷积神经网络模型，获取输出的肢体图像；判定模块，用于根据所述肢体图像以及与所述肢体图像对应的所述采集时间，通过预设的跌倒规则检测所述监测目标是否跌倒，并在所述检测目标跌倒时，对预设的管理方进行预警。7.如权利要求6所述的跌倒监测装置，其特征在于，所述模型获取模块包括：样本获取单元，用于获取样本图像以及与所述样本图像对应的真实肢体图像；第一获取单元，用于将所述样本图像输入至包含初始参数的VGG卷积神经网络模型，获取输出的样本肢体图像，并获取所有所述样本肢体图像与所述真实肢体图像之间的整体相似度；检测单元，用于检测所述整体相似度是否大于预设的相似阈值；调整单元，用于当所述整体相似度小于或等于所述相似阈值时，调整所述VGG卷积神经网络模型的初始参数，并继续执行获取所述整体相似度及其后续步骤，直至所述整体相似度大于所述相似阈值；确认单元，用于当所述整体相似度大于所述相似阈值时，确认所述VGG卷积神经网络模型训练完成，并获取所述VGG卷积神经网络模型。8.如权利要求6所述的跌倒监测装置，其特征在于，所述判定模块包括：位置获取单元，用于获取所述肢体图像中的人体各关节点或和各肢体之间的位置关系；位置检测单元，用于检测所述跌倒规则中是否存在与所述肢体图像中的人体各关节点或和各肢体之间的位置关系相匹配的所述跌倒位置关系；图像获取单元，用于当所述跌倒规则中存在与所述肢体图像中的人体各关节点或和各肢体之间的位置关系相匹配的所述跌倒位置关系时，获取在所述肢体图像对应的所述采集时间之后的预设时间段内的所有肢体图像，并将获取的所有肢体图像作为判断图像；图像检测单元，用于遍历所有所述判断图像，检测人体各关节点或和各肢体之间的位置关系与所述跌倒规则中的跌倒位置关系相匹配的所述判断图像是否大于预设比例；跌倒判定单元，用于当人体各关节点或和各肢体之间的位置关系与所述跌倒规则中的跌倒位置关系相匹配的所述判断图像大于所述预设比例时，确认所述监测目标跌倒。9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述监控目标的监控方法的步骤。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述监控目标的监控方法的步骤。

百度查询： 平安科技(深圳)有限公司 监控目标的监控方法、装置、计算机设备及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD