买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

摘要：本发明提供一种基于视频步态分析的帕金森病评估方法，其包括获取待评估的步态视频数据，对所述步态视频数据进行处理，建立视频数据集；对视频单帧图像进行人体体态识别，获取每一帧图像的人体关键点热度图；再利用图卷积基于时域和空间域完成关键点识别；通过双流时空自适应图卷积神经网络以及transformer模型结合搭建分类模型。应用本发明主要用于解决现有技术中存在的视频包含信息过多、干扰较多、评分主观性强等问题。

主权项：1.一种基于视频步态分析的帕金森病评估方法，其特征在于，该方法包括以下步骤：获取待评估的步态视频数据，对所述步态视频数据进行处理，建立视频数据集；对视频单帧图像进行人体体态识别，获取每一帧图像的人体关键点热度图；再利用图卷积基于时域和空间域完成关键点识别；通过双流时空自适应图卷积神经网络以及transformer模型结合搭建分类模型；其中，在训练过程中，对该热度图进行处理，包括：针对步态视频中每帧生成的热度图，采用以下方式来减少遮挡等负面影响；使用整个视频帧为0或整个热度图为0的方式，随机遮挡几个帧，表示整个帧被遮挡或置信度低；通过随机将某些关键点的热度图置为零，逐点遮挡以模拟某些关节点被遮挡；由于二维位姿估计器的输出不是严格的高斯分布，引入随机噪声到输入序列的热度图中；其中，提取基于神经网络的相应特征，包括：卷积神经网络特征：卷积神经网络通过卷积和池化层来学习图像中的空间层次结构，卷积层提取不同大小和复杂度的特征，池化层则减小特征图的维度；循环神经网络特征：循环神经网络对时序数据进行建模，循环神经网络的隐状态包含了序列中的上下文信息；自编码器特征：通过自编码器将输入数据压缩到一个低维表示，然后重建输入，用于学习数据的有用特征，该特征用于降维、去噪和异常检测等任务；迁移学习特征：使用预训练的神经网络模型，将其中间层的输出用作特征提取器；其中，所述分类模型包括：从步态视频中提取的人体骨骼关键点作为所述分类模型的输入，并将其分为关节流和骨流，将transformer的自注意力机制与自适应图卷积神经网络结合为基础块，并且通过stackedhourglass连接相邻的基础块，构建为一个双流分类模型，即可得到帕金森患者的步态分数；其中，所述关节流对应着每个视频每一帧病人的身体关键部位像素坐标点，所述骨流对应着每个视频每一帧病人的身体各部分的角度以及像素长度，其中，使用两个相同的自适应图卷积神经网络进行分流，每个分流都是一个独立的时空自适应图卷积神经网络，用于模拟人体关键点的图形结构。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于视频步态分析的帕金森病评估方法