申请/专利权人：云南师范大学

申请日：2024-05-20

公开（公告）日：2024-06-25

公开（公告）号：CN118247849A

主分类号：G06V40/20

分类号：G06V40/20;G06N3/045;G06N3/0464;G06V10/764;G06V10/80;G06V10/82;G06V20/40

优先权：

专利状态码：在审-公开

法律状态：2024.06.25#公开

摘要：本发明涉及一种基于时空双分支特征融合的教师课堂视频动作识别方法，属于计算机视觉动作识别技术领域。本发明利用双分支特征融合、通道融合模块以及自注意力模块，对教师课堂视频进行教师课堂动作识别，从而判别教师动作类别。教师课堂视频经过目标追踪与人体姿态估计分别获得RGB图像与人体关键点热图，再将两者分别输入到空间特征提取器与时序特征提取器中，并进行横向连接互通特征。两个分支的特征再输入到特征融合模块与注意力模块进行进一步的特征提取，最终经过全连接层输入到分类器中进行教师动作类别的判定。本发明对复杂教室环境下的教师动作进行识别，满足对教师课堂动作高性能实时识别的需求，为课堂智能分析提供了技术支撑。

主权项：1.一种基于时空双分支特征融合的教师课堂视频动作识别方法，其特征在于：Step1：预处理阶段：Step1.1：对教师课堂视频进行教师对象的视觉目标追踪操作，获取教师课堂视频中连续教师目标对象位置信息；Step1.2：通过Step1.1获取的连续教师目标对象位置信息，对教师目标进行人体姿态估计，获取相应连续的教师人体关键点信息；Step1.3：通过Step1.1获取的连续教师目标对象位置信息，对教师课堂视频进行裁剪，得到教师目标对象RGB图像；Step1.4：通过Step1.2获取的连续教师人体关键点信息，设置采样参数，生成对应的教师目标对象时序关键点热图；Step2：特征融合与分类阶段：Step2.1：通过空间特征提取器，对Step1.3获得的教师目标对象RGB图像进行特征提取，得到教师目标对象空间特征；Step2.2：通过时序特征提取器，对Step1.4获得的教师目标对象时序关键点热图进行特征提取，得到教师目标对象空间-时序特征；Step2.3：通过横向连接操作，将Step2.1中的空间特征提取器与Step2.2中的时序特征提取器的中间层特征进行融合；Step2.4：对Step2.1的教师目标对象空间特征与Step2.2的教师目标对象空间-时序特征进行通道融合处理，得到教师目标对象通道融合特征；Step2.5：将Step2.4得到的教师目标对象通道融合特征输入注意力模块进行进一步的特征提取，得到教师目标对象注意力时序特征；Step2.6：将Step2.5得到的教师目标对象注意力时序特征，输入到全连接层进行分类操作，最终得到教师目标对象动作类别。

全文数据：

权利要求：

百度查询： 云南师范大学 一种基于时空双分支特征融合的教师课堂视频动作识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD