买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广东工程职业技术学院

摘要：本发明公开了一种基于多模态深度学习的武术学习过程智慧分析系统，涉及计算机视觉和深度学习技术领域，包括：处理器：负责程序的执行顺序控制、数据算术、逻辑运算以及时间控制，确保系统有序工作；动作力度分析模块。该基于多模态深度学习的武术学习过程智慧分析系统，创新性地结合计算机视觉和深度学习技术，构建了一个多模态系统，通过提取武术动作视频中的关节点数据，构建个性化动作比较模型，分析学习者的动作力度，然后再利用相邻关键帧之间人体关节点的位移数据分析，进行动作的速度分析，同时，利用情感识别技术，评估学习者的面部表情和微表情，从而精确判断其情绪状态并结合力度、速度进行综合专注度分析。

主权项：1.一种基于多模态深度学习的武术学习过程智慧分析系统，其特征在于，包括：处理器1：负责程序的执行顺序控制、数据算术、逻辑运算以及时间控制，确保系统有序工作；动作力度分析模块2：明确武术学习者在武术练习过程中每个动作的用力情况，并进行量化表示；动作速度分析模块3：利用武术学习者训练视频中相邻关键帧之间的人体关节点之间的位移与时间的比值作为速度，并以此进行速度分析；表情分析模块4：对武术学习者在武术练习过程中的面部表情进行分析，并对表情进行分类；专注度综合评估模块5：融合肌肉力度和表情分类，得到武术学习者的专注度；控制显示模块6：用于系统使用过程中的操作控制以及各数据和结果的显示；所述动作力度分析模块2包括视频预处理模块、关节点序列提取模块、参数序列确定模块、参数向量拼接模块和力度评估模块，所述视频预处理模块、关节点序列提取模块、参数序列确定模块、参数向量拼接模块和力度评估模块之间均双向信号连接，所述动作速度分析模块3包括数据计算模块、数据汇总模块和全连接层模块，所述数据计算模块、数据汇总模块和全连接层模块之间均双向信号连接，所述表情分析模块4包括分析模型模块、特征向量拼接模块和表情分类处理模块，所述分析模型模块、特征向量拼接模块和表情分类处理模块之间均双向信号连接；所述动作力度分析模块2中力度评估模块的输出端信号连接于动作速度分析模块3中全连接层模块的输入端，所述动作力度分析模块2中力度评估模块的输出端信号连接于表情分析模块4中表情分类处理模块的输入端。

全文数据：

权利要求：

百度查询： 广东工程职业技术学院 一种基于多模态深度学习的武术学习过程智慧分析系统