申请/专利权人：北京理工大学

申请日：2024-03-12

公开（公告）日：2024-06-07

公开（公告）号：CN118155281A

主分类号：G06V40/20

分类号：G06V40/20;G06V10/82;G06V20/40;G06V10/80;G06Q50/20

优先权：

专利状态码：在审-公开

法律状态：2024.06.07#公开

摘要：本发明公开一种基于课堂场景关系图的教学行为识别方法，属于行为识别技术领域。本发明基于FasterR‑CNN目标检测器，构建输入RGB课堂视频对应的课堂场景关系图，并以先空间维度后时间维度和先时间维度后空间维度这两种互补的方式，对课堂场景关系图中各种关系变化进行信息聚合，得到课堂场景关系图特征；基于I3D‑NL骨干神经网络模型，得到从输入RGB课堂视频中提取的上下文信息丰富的课堂场景全局特征；将关系图特征和全局特征相结合，实现RGB课堂视频中教学行为的识别。本发明采用两种互补的方式构造课堂场景关系图对应的关系图特征，能够得到表达能力强、准确的关系图特征，并与全局特征相结合，提高教学行为识别的效果。

主权项：1.一种基于课堂场景关系图的教学行为识别方法，其特征在于：基于FasterR-CNN目标检测器，构建输入RGB课堂视频对应的课堂场景关系图，并以先空间维度后时间维度和先时间维度后空间维度这两种互补的方式，对课堂场景关系图中各种关系变化进行信息聚合，得到课堂场景关系图特征；基于I3D-NL骨干神经网络模型，得到从输入RGB课堂视频中提取的上下文信息丰富的课堂场景全局特征；将关系图特征和全局特征相结合，实现输入RGB课堂视频中教学行为的识别，具体实现步骤如下：步骤一、对输入RGB课堂视频进行关键帧采样；步骤二、获取关键帧中的实体信息；使用深度神经网络模型对步骤一采样的关键帧进行目标检测，得到关键帧中实体的三类信息，包括实体的空间位置、实体的语义类别以及实体的视觉特征；步骤三、进行同一实体时间上的对齐；采用目标跟踪方法对步骤二检测失效的实体目标进行修正，并进行同一实体目标在时间上的对齐；步骤四、构建课堂场景关系图；构建步骤三时间对齐后实体对应的课堂场景关系图；步骤五、课堂场景关系的计算表示；对步骤四构建的课堂场景关系图中，同一关键帧内两个实体间存在的有效关系进行计算表示；步骤六、获取帧级的关系特征；对步骤五获取的同一关键帧内的不同有效关系进行空间上的信息聚合，得到帧级的关系特征；步骤七、获取先空间后时间维的视频级关系特征；对步骤六获取的不同的帧级关系特征进行时间上的信息聚合，得到先空间后时间维的视频级关系特征；步骤八、获取每个关系对应的视频级特征；对步骤五获取的同一有效关系在不同关键帧间的特征进行时间上的信息聚合，得到每个有效关系对应的视频级特征；步骤九、获取先时间后空间维的视频级关系特征；对步骤八获取的不同关系对应的视频级特征进行空间上的信息聚合，得到先时间后空间维的视频级关系特征；步骤十、获取关系图特征；对步骤七和步骤九两种视频级的关系特征进行信息聚合，得到关系图特征；步骤十一、获取输入RGB课堂视频的全局特征；使用深度神经网络模型提取输入RGB课堂视频的全局特征；步骤十二、获取识别的教学行为；结合步骤十的关系图特征和步骤十一的全局特征，预测并输出识别的教学行为。

全文数据：

权利要求：

百度查询： 北京理工大学 一种基于课堂场景关系图的教学行为识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD