买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨工业大学

摘要：本发明公开了一种老年人居家行为识别方法，所述方法包括如下步骤：步骤一、人脸数据库准备；步骤二、视频数据收集；步骤三、人脸识别；步骤四、目标识别；步骤五、动作识别；步骤六、引入场景获取具体行为；步骤七、关联身份与行为；步骤八、存储具体行为信息。本发明借助物联网技术通过网络摄像头对老年人行为进行图像捕捉，利用计算机视觉技术进行人脸和行为分析，将可能含有多人的图像转化为指定人员的行为输出。人员身份的确定和行为的记录为后续老年人日常行为流程抽取、异常行为检测等打下基础，有助于完善老年人远程监护体系。

主权项：1.一种老年人居家行为识别方法，其特征在于所述方法包括如下步骤：步骤一、人脸数据库准备：收集用户正脸照并存入指定文件夹，遍历文件夹下图像，通过MTCNN模型进行人脸检测，选取检测结果中人脸目标框面积最大的进行人脸对齐，并输入训练好的FaceNet模型完成特征提取，将所有人脸特征数据和对应姓名按照npy格式分别存储到face_encoding.npy文件和names.npy文件中；步骤二、视频数据收集：通过网络摄像头捕捉实时画面，每分钟进行一次图像收集，收集完成后将收集到的图像数据拼接转化为视频存入队列Videos＝v1，v2，...，vi，...，vf中，并将收集完成时间按照指定格式拼接存入队列Dates＝d1，d2，...，di，...，df中，其中vi是队列Videos中的第i个视频，di是队列Dates中的第i个日期时间，f为队列Videos和队列Dates的长度；步骤三、人脸识别：获得视频队列Videos中头元素视频v1，对其中间帧img依次进行检测人脸、对齐人脸、提取人脸数据特征、匹配人脸数据库后得到其中所有人脸目标框集合{box1，box2，...，boxj，...，boxp}和对应身份信息集合{name1，name2，...，namej，...，namep}，其中boxj为中间帧检测到且与数据库匹配成功的第j张人脸的目标框信息，namej为boxj对应人脸与数据库匹配得到的身份信息，p为与数据匹配成功的人脸总数；步骤四、目标识别：对v1进行帧分割获得帧图像集合imgs，依次进行目标检测、目标过滤后得到人物目标检测结果集合{person1，person2，...，personi，...，personn}和指定场景物品目标检测结果集合{itemi，item2，...，itemi，...，itemn}，personi为imgs中第i张图片检测到的所有人物目标结果，itemi为imgs中第i张图片检测到的所有指定场景物品目标结果，n为v1的总帧数；步骤五、动作识别：对人物进行目标追踪分配id获得运动轨迹，对v1视频数据进行处理后进行快慢通道均匀子采样并完成运动轨迹更新，依据每个id更新后的运动轨迹和采样信息判断其动作类别，得到动作集合{action1，action2，...，actioni，...，actionm}，actioni是由id为i的运动轨迹对应的动作，m为目标追踪分配的id总数；步骤六、引入场景获取具体行为：若id为i的运动轨迹对应的动作actioni属于特殊动作则进行场景研判，获得动作更新后的行为acti，不属于则保留原动作作为行为acti；步骤七、关联身份与行为：步骤七一、重复步骤六得到行为集合{act1，act2，...，acti，...，actm}，acti是id为i的运动轨迹对应的行为，m为目标追踪分配的id总数；步骤七二、计算步骤三得到的身份信息namei对应的人脸目标框boxi和中间帧中所有id未处理轨迹目标框重合面积在boxi面积的占比作为重合度，选取重合度最大的id对应行为作为匹配行为是重合度最大的id；步骤七三、对步骤三得到身份信息均进行步骤七二的操作，得到所有身份信息和行为行为信息的关联集合namei第i个身份信息，为namei的匹配行为，p为与数据库匹配成功的人脸总数，满足p≤m，m为目标追踪分配的id总数；步骤八、存储具体行为信息：取出日期队列Dates的头字符串d1，将其分割为“日期”和“时：分”，遍历关联集合，将行为信息按照“时：分-动作”的格式存入名为“日期-身份信息.cvs”的文件中用于指定人物实时行为记录。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学 一种老年人居家行为识别方法