申请/专利权人：北京体育大学

申请日：2023-07-21

公开（公告）日：2024-06-25

公开（公告）号：CN117137435B

主分类号：A61B5/00

分类号：A61B5/00;G06V40/20;G06F18/20;A61B5/11

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2023.12.19#实质审查的生效;2023.12.01#公开

摘要：本发明涉及康复训练技术领域，尤其涉及一种基于多模态信息融合的康复动作识别方法和系统，方法包括：在用户进行康复训练时，利用IMU采集设备，按照第一采集频率连续采集用户身体的17个人体关键关节点的位置数据，并利用RGB‑D相机，按照第二采集频率，连续采集用户的多个动作图像数据；利用多模态数据对齐算法，将数据进行时空对齐，得到时空对齐后的多模态数据；基于时空对齐后的多模态数据，利用轻量级模态筛选决策网络的动作识别算法，对用户的康复动作进行识别，将通过IMU采集的数据与通过RGB‑D相机采集的数据进行时空对齐，为后续的康复动作识别与康复动作的质量评估提供了可靠的标准和基础数据。

主权项：1.一种基于多模态信息融合的康复动作识别方法，其特征在于，包括：在用户进行康复训练时，利用IMU采集设备，按照第一采集频率连续采集用户身体的17个人体关键关节点的位置数据，并利用RGB-D相机，按照第二采集频率，连续采集用户的多个动作图像数据；利用多模态数据对齐算法，将通过所述IMU采集设备采集的数据与通过所述RGB-D相机采集的数据进行时空对齐，得到时空对齐后的多模态数据；多模态数据对齐算法具体包括：将每个相同时刻获取的用户身体的17个人体关键关节点的位置数据和动作图像数据进行关联配对，实现用户身体的17个人体关键关节点的位置数据和动作图像数据的时间同步；在进行时间同步后的用户身体的17个人体关键关节点的位置数据和动作图像数据的基础上，再通过空间坐标系转换和插值融合实现用户身体的17个人体关键关节点的位置数据和动作图像数据的空间对齐；其中，空间对齐中，将Kinect相机坐标系下的空间位置数据转换为IMU身体坐标系下BVH格式的空间位置数据，具体步骤如下：通过T-pose矫正程序，获取标准T-pose状态下Kinect相机坐标系全身关节点的空间位置数据，根据标准T-pose状态下Kinect相机坐标系的根节点坐标与IMU身体坐标系的根节点坐标，求解两坐标系根节点的平移和旋转关系，具体见第二公式和第三公式，获得Kinect相机坐标系空间位置数据的BVH格式的根节点坐标信息，具体地：1平移关系Trans通过计算根节点坐标Jroot之间的差异来确定，如第二公式所示，tar表示在目标BVH坐标系下，src表示在RGB-D相机坐标系下，第二公式为：2对于给定的两个骨架截面上的向量V1和V2，V1是右髋关节到下脊柱关节点的向量，V2是右髋关节到左髋关节的向量，推导出旋转关系Rot，即第三公式，第三公式为：利用最小化Kinect相机坐标系下的局部关节点坐标与IMU身体坐标系局部关节点坐标之间的距离损失函数即第四公式，求解两坐标系局部关节点的旋转平移关系，获得Kinect相机坐标系空间位置数据的BVH格式的局部关节点信息；骨架便移动至标准的BVH坐标系下，然后，使用矫正程序进行手动调整，输出调整后T-pose的关节点坐标后，针对每帧骨架位置信息，通过下面方法求局部关节点旋转平移关系；利用第四公式最小化T-pose骨骼模板关节点坐标与实际关节点坐标之间距离损失，第四公式为： 其中，Jest为骨骼模板关节位置，Jgt为RGB-D相机骨架位置，Jest由关节树累乘获取，即通过第五公式获得，第五公式为：求出RGB-D相机的BVH信息后，通过插值方法融合两种设备骨架，将IMU传感器数据的三维姿态与Kinect相机捕捉到的RGB-D数据进行匹配，确保通过IMU采集设备采集的数据与通过RGB-D相机采集的数据在空间上保持一致，求出Kinect相机坐标系空间位置数据的根关节点和局部关节点BVH格式信息后，统一两坐标系空间位置数据的格式；利用球面线性插值SLERP方法融合Kinect和IMUBVH格式的空间位置数据，得到对齐后的空间位置数据；对进行时间同步以及进行空间对齐后的用户身体的17个人体关键关节点的位置数据和动作图像数据进行归一化处理，获得时间序列长度一致的康复动作数据即时空对齐后的多模态数据；基于所述时空对齐后的多模态数据，利用轻量级模态筛选决策网络的动作识别算法，对所述用户的康复动作进行识别。

全文数据：

权利要求：

百度查询： 北京体育大学 一种基于多模态信息融合的康复动作识别方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD