申请/专利权人：东北大学佛山研究生创新学院;东北大学

申请日：2023-06-01

公开（公告）日：2024-06-28

公开（公告）号：CN116844225B

主分类号：G06V40/20

分类号：G06V40/20;G06V10/774;G06V10/82;G06V10/764;G06N3/0442;G06N3/0464;G06N3/042;G06N3/084;G06N3/096

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2023.10.24#实质审查的生效;2023.10.03#公开

摘要：本发明属于人体动作识别领域，公开一种基于知识蒸馏的个性化人体动作识别方法。基于一种基于知识蒸馏的轻量级个性化人体动作识别模型实现，所述模型包括教师模型和学生模型；首先进行数据增强；再进行训练教师网络；学生网络通过输入数据以及教师网络的最终输出进行训练；根据最终损失函数进行反向梯度传播，更新学生网络参数。本发明解决了智能穿戴设备在资源有限情况下无法部署个性化人体动作识别模型的问题，并且能够有效识别多种动作。本发明方案不仅在识别精度方面表现优异，同时在特征表示方面也具有较大的优势，相比其他模型表现更为突出。

主权项：1.一种基于知识蒸馏的个性化人体动作识别方法，其特征在于，基于一种基于知识蒸馏的轻量级个性化人体动作识别模型实现；所述基于知识蒸馏的轻量级人体动作识别模型用于识别动作类别，所述动作类别包括不同步态类型；所述基于知识蒸馏的轻量级个性化人体动作识别模型包括教师网络和学生网络；具体步骤如下：步骤1、数据增强；所述数据增强用于扩充训练数据；设定每个类别样本数量的下限，当原始数据中某个类别样本数量低于下限，则对该类别数据进行过采样操作；过采样操作过程中，获取原始数据的窗口大小Ws；再随机生成一个数值区间内的分界点v，依据该分界点v对输入数据进行划分，分界点v以前的数据为0到ψ，分界点v以后的数据为ψ到末尾；设置分界点v以前部分扭曲因子Wrapfront，扭曲因子Wrapfront从另一数值区间中随机采样生成随机值；其中，分界点v以前部分窗口大小Frontws为：Frontws＝v*ψ1分界点v以后部分窗口大小laterws为总窗口大小Ws减去分界点v以前部分窗口大小Frontws：Laterws＝Ws-Frontws2根据分界点v以后部分窗口大小laterws计算该部分数据的扭曲因子Wraplater： 计算分界点v以前部分的目标长度Frontlength与分界点v以后部分的目标长度Laterlength，用于分别对两部分的数据进行插值操作：Frontlength＝Ws*Wrapfront4Laterlength＝Ws*Wraplater5分别对分界点v以前部分和分界点v以后部分数据进行线性插值处理，将分界点v以前部分数据扩充至Frontlength，分界点v以后部分数据扩充至Laterlength，扩充后将扩充数据与原始数据合并，完成数据增强操作步骤2、训练教师网络；所述教师网络包括多个深度卷积长短时记忆网络DeepConvLSTM；采用集成学习，每个深度卷积长短时记忆网络为基础学习器，彼此间结构和特征限制相同，所输入的数据集和预定义规则不同；采用软投票的方式汇总基础学习器的输出，将所有基础学习器的分类概率加权平均，得到教师网络的最终输出；步骤3、训练学生网络；所述学生网络通过输入数据以及教师网络的最终输出进行训练；所述输入数据为所有分割好的动作图片以及该组动作图片对应标签ListXimag,Yimag,Zimag,Rimag,t；根据最终损失函数进行反向梯度传播，更新学生网络参数；所述学生网络层数比教师网络层数深，用于处理输入学生网络的增强数据Daug；对于输入数据中的每个属性，学生网络使用两个标准的CNN层提取时间依赖特征，获得卷积特征图；在CNN层后，采用可分离卷积DC层，包括深度卷积和点卷积两种卷积方式；在深度卷积中对卷积特征图的每个通道单独进行卷积操作；而在点卷积中使用1×1卷积核对卷积特征图的每个像素点进行卷积；在DC层后再依次添加两个标准的CNN层和三个DC层。

全文数据：

权利要求：

百度查询： 东北大学佛山研究生创新学院;东北大学 一种基于知识蒸馏的个性化人体动作识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD