买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：天津大学温州安全(应急)研究院

摘要：本发明涉及一种智能心肺复苏培训系统，属于线上培训领域。学员在人机交互设备上选择自主练习或自主考核，并获取对应内容后在仿真人上进行急救操作，仿真人采集学员的急救操作数据，摄像设备拍摄学员进行急救操作的视频图像，主机能够对急救操作评判准确度并打分，评判急救动作的正确性并打分。本发明为线上培训系统，不受场所与时间的限制，学员可以多次练习，并对教学和考核标准进行了统一化和规范化，能够有效提高心肺复苏培训的培训质量。

主权项：1.一种智能心肺复苏培训系统，其特征在于，所述系统包括：人机交互设备、主机、摄像设备和仿真人；人机交互设备与主机连接，所述人机交互设备用于接收学员的自主练习请求或自主考核请求，根据所述请求从主机中获取心肺复苏培训内容或心肺复苏考核内容并显示；学员根据心肺复苏培训内容或心肺复苏考核内容在仿真人上进行急救操作；所述仿真人用于采集学员的急救操作数据，并将所述急救操作数据传输至主机；所述摄像设备用于拍摄学员进行急救操作的视频图像，并将所述视频图像传输至主机；所述主机用于在学员进行自主练习时根据所述急救操作数据评判急救操作的准确度，根据所述视频信号进行动作识别后评判动作的正确性，并在学员进行自主考核时根据所述急救操作数据对急救操作进行打分，根据所述视频信号进行动作识别后对动作打分，最终获得考核分数；仿真人中的多个传感器包括电阻式压敏传感器、压力传感器、气体流量传感器和光电门传感器；所述主机包括：处理单元；所述处理单元用于根据所述急救操作数据评判急救操作的准确度，根据所述视频信号进行动作识别后评判动作的正确性，并在评判急救操作出现失误时，在人机交互设备上显示错误操作提示；所述处理单元还用于根据所述急救操作数据对急救操作进行打分，根据所述视频信号进行动作识别后对动作打分，最终获得考核分数；其中，将学员模拟操作的准确度进行评判，包括检测手部触摸、触碰位置、人工呼吸和按压频率是否符合要求；所述处理单元包括：动作识别子单元，用于根据人体骨架模型，利用时空图卷积神经网络进行动作识别；所述时空图卷积神经网络包括9层依次连接的ST-GCN模块，前三层ST-GCN模块的最后一层输出64维特征，中间3层ST-GCN模块的最后一层输出128维特征，最后3层ST-GCN模块的最后一层输出256维特征，每一层ST-GCN模块的时间核Γ均为9，且每一层ST-GCN模块都设置resnet机制；对时空图卷积神经网络进行训练的过程为：在摄像设备拍摄的历史视频图像中随机抽取片段，并采用OpenPose方法在随机抽取的片段中提取学员的人体骨骼关键点，获得人体骨架模型序列；对所述人体骨架模型序列进行仿射变换；确定时空图卷积神经网络的卷积公式为式中，foutvti为卷积输出，finvij为卷积输入，vtj为vti直接相邻的节点坐标，ltivtj为vtj节点所在的特征集合，Ztivtj为标准化项，Ztivtj＝|{vtk|ltivtk＝ltivtj}|，vtk为标准化后的节点坐标；确定时空图卷积神经网络的权重矩阵为式中，ri、rj分别表示vti节点、vtj节点到骨骼图重心的平均距离；根据仿射变换后的人体骨架模型序列，基于卷积公式和权重矩阵，对时空图卷积神经网络进行训练；处理单元从双目摄像头视频提取每一帧图像在立体三维空间中人体各个关键点之间的相对位置关系，并根据视频中人体关键点空间位置变化进行人体动作识别；具体步骤包括人体关键点提取和动作识别；处理单元具体包括：骨骼点提取子单元，用于采用OpenPose方法在视频图像中提取学员的18个人体骨骼关键点，并连接人体骨骼关键点构成人体骨架模型；动作识别子单元，用于根据人体骨架模型，利用时空图卷积神经网络进行动作识别；评判子单元，用于根据预设的动作判断标准识别动作的正确性；动作识别的判断标准由专业医疗急救人员制定并给出相应打分标准，由主机根据该标准对动作正确性进行判断；其中OpenPose使用了自下而上的人体关键点信息识别，即找出人体的各个部位，再通过部分亲和域PartAffinityFields连接各部分；而对于OpenPose识别输出的人体关键点信息可以被视为一种拓扑结构，于是最终采用时空图卷积神经网络spatial-temporalgraphneuralnetwork，STGCN来提取拓扑图的空间特征，它是将时域卷积神经网络Temporalconvolutionalnetwork，TCN和图神经网络GraphNeuralNetwork，GCN结合，处理有时序关系的图结构数据，可在时序和空间两个维度上进行卷积并提取特征，从而得出模型；管理单元：管理单元用于数据统计、人员管理、教学视频管理、急救流程管理、考核记录管理，对数据进行增、删、改、查，并将学员的位置信息标记在地图中；统计的数据包括学员信息、年龄段通过率、班次通过率、学员通过率和单个动作错误率；具体的，人员管理，每个学员的个人信息会在人员管理选项卡显示；教学视频管理，可以上传、编辑和删除教学视频，并对教学的文字提示进行修改；急救流程管理，可编辑心肺复苏中的模块信息；考核记录管理，可对每个学员的考核记录进行查看与编辑；个人信息包含个人基本信息、学习进度、练习记录和考核记录；学员的信息都会保存至管理端；在人机交互设备上即显示的前端页面，含有三个模块，分别为学员端、考核端和管理端，其中这三个模块的网页搭建均采用BS架构；学员端可在显示器观看教学视频以及进行自主练习，练习时会显示教学视频、文字版操作提示和操作异常记录，学员可根据提示进行适当的调整；考核端包括自主考核以及成绩发放功能，考核全程均由双目摄像头和仿真人实现监测，考核成绩均由主机进行计算，均采用无人监控、无人管理的模式；考核结束后会将分数公布，满足一定分数则视为考核通过，考核成绩会保存到个人信息中，同时考核过程中的操作错误信息也会进行公布；个人的考核信息也会保存至管理端；管理端用于数据统计，包括统计、人员管理、教学视频管理、急救流程管理、考核记录管理，管理员可对数据进行增、删、改、查，而年龄段通过率、班次通过率、学员通过率和单个动作错误率也会进行可视化的展示，同时，学员的位置信息也会显示在地图当中，便于查看全国学习CPR人员的地理分布；仿真人包括：单片机和多个传感器；单片机分别与多个传感器和主机连接，单片机用于将多个传感器测量的数据进行标准化后传输至主机；仿真人单元也作为关键部分，起到了决定性的作用，它可以弥补双目摄像头只用于“视觉”的检测；它体内含有大量传感器，每个传感器都与STM32单片机进行连接，由单片机对传感器获得的信号进行初步处理后，通过蓝牙或wifi模块将数据传输的系统主机作为整个急救操作综合判断的部分依据，会将学员模拟操作的准确度进行评判，包括检测手部触摸、触碰位置、人工呼吸、按压频率和按压程度是否符合要求，使用的传感器分别为电阻式压敏传感器、压力传感器、气体流量传感器、光电门传感器，产生的数据传感器返回的经单片机初步处理后的数据最后通过蓝牙上传至主机，对学员考核进行打分，根据专业医疗急救人员制定的评判及打分标准进行考核；智能心肺复苏培训系统的整个工作过程例如：用户登录学员端后，先注册账号，再输入账号密码登录主页，点击主页显示的视频封面即可进入视频界面进行学习；在主页右上角点击练习，会开启练习界面，学员只需要在双目摄像头前，在仿真人上进行操作，如果操作上出现失误，那么界面上就会显示操作提示，学员可以根据操作提示重新开始练习，其中，每个模块的练习过程都会记录主机实现数据的分析；在学员进入考核端时，点击开始，即可开始考核；考核全程无人监考，无人提示，全部过程由双目摄像头和仿真人进行监测，其数据信号会传输至主机进行处理；当出现失误时，主机会将本次失误记录在分数中，不会像练习一样跳出提示；当考核结束时，系统会公布本次的分数以及考核过程中的操作失误信息，达到一定分数即可通过考核；另外，管理员也可以登陆管理端查看学员的学习进度，也可以依据统计图来优化系统。

全文数据：

权利要求：

百度查询： 天津大学温州安全(应急)研究院 一种智能心肺复苏培训系统