申请/专利权人：陕西师范大学

申请日：2021-03-23

公开（公告）日：2024-06-28

公开（公告）号：CN113143273B

主分类号：A61B5/16

分类号：A61B5/16;A61B3/11;A61B3/113;A61B5/369

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2021.08.10#实质审查的生效;2021.07.23#公开

摘要：本发明公开了在线视频学习注意状态智能检测技术领域的一种在线视频学习中学习者注意状态智能检测系统及方法，包括人机交互平台1、摄像头2、脑电采集模块3、主控制器4和云端服务器5，所述人机交互平台1通过无线或有线连接和主控制器4电性连接，学习者头戴脑电帽，脑电帽通过导线和脑电采集模块3电性连接，脑电采集模块3和主控制器4电性连接，主控制器4通过以太网和云端服务器5电性连接，该系统自动提取学习者注意状态表征指标进行实时分析及预测，并把相关预测结果反馈给教育者或平台，从而实现了从学习者到教育者的闭环系统，提高了整个在线的教学质量，减轻了教育者的工作负担和教育平台的人力成本。

主权项：1.一种在线视频学习中学习者注意状态智能检测系统，其特征在于：包括人机交互平台（1）、摄像头（2）、脑电采集模块（3）、主控制器（4）和云端服务器（5），所述人机交互平台（1）通过无线或有线连接和主控制器（4）电性连接，学习者头戴脑电帽，脑电帽通过导线和脑电采集模块（3）电性连接，脑电采集模块（3）和主控制器（4）电性连接，主控制器（4）通过以太网和云端服务器（5）电性连接；在线视频学习中学习者注意状态智能检测系统的检测方法为：所述人机交互平台（1）负责播放教学视频，收集学习者的操作行为数据并把操作行为数据传回主控制器（4）；所述摄像头（2）用于捕捉学习者眼动信息A，并将信息传回主控制器（4）；所述脑电采集模块（3）实时采集学习者的脑电信号，并将该信号传回主控制器（4）；所述主控制器（4）将学习者操作行为数据、所提取的学习者眼动信息A和实时脑电信号通过以太网传递至云端服务器（5）；所述云端服务器（5）运行用于多模态数据融合的数据融合深度人工神经网络和用于对学习者成绩预测的长短期记忆网络；所述脑电采集模块（3）由信号处理电路、高精度模数转换器、单片机和无线收发器有线接口组成，且信号处理电路、高精度模数转换器、单片机和无线收发器有线接口依次电性输出连接，且无线收发器有线接口电性输出连接主控制器（4）；所述信号处理电路对脑电帽传回的电信号进行放大滤波得到模拟脑电信号；所述高精度模数转换器将模拟信号转换为数字信号；所述单片机收集数字信号并控制无线收发器有线接口通过无线信号或通过有线连接把脑电信号传给主控制器（4）；云端服务器（5）包括服务器数据输入端，服务器数据输入端将数据传递给算法框架（6），算法框架（6）运行用于多模态数据融合的数据融合深度人工神经网络和用于对学习者成绩预测的长短期记忆网络；数据融合深度人工神经网络的前端由注意神经网络层、一维卷积层和二维卷积层组成；所述注意神经网络层对学习者突发操作行为进行采集与特征提取；所述一维卷积层对脑电信号及实时瞳孔直径信息进行处理；所述二维卷积层对眼动轨迹进行识别；数据融合深度人工神经网络后端由三个全连接层和softmax层组成，且数据融合深度人工神经网络有三种不同的输入端口；端口1处理学习者的眼动轨迹图，轨迹图经由3层二维卷积层进行特征提取，每层卷积层由卷积函数、Relu激活函数，以及最大池化层组成，第一层卷积层对图片进行粗扫描提取眼动轨迹图片浅层信息，并由最大池化层降维；第二层卷积层提取图片信息，并由最大池化层降维；第三层卷积层提取视觉域提取深层信息降维得到二维特征图，将该二维特征图展开为一维数组传递给后端全连接层；端口2对学习者脑电的原始数据直接进行处理，由两层一维卷积层进行脑电特征提取，再由最大池化层进行降维处理，第一层卷积层对脑电波信号进行滤波，第二层卷积层提取脑电信号不同频率段的能量信息，所得脑电特征数据展开传递给后端全连接层；端口3运用和端口2相同的一维卷积层对学习者瞳孔大小随时间变化曲线进行特征提取，并将特征向量传递给后端全连接层；端口4对学习者突发操作行为进行捕捉，形成时间幅度曲线，注意神经网络层再对时间幅度曲线进行特征提取，并传递给后端全连接层；数据融合深度人工神经网络后端对四种不同数据进行融合并再一次提取特征，根据再一次提取的特征预测学习者在当前的注意力指数。

全文数据：

权利要求：

百度查询： 陕西师范大学 一种在线视频学习中学习者注意状态智能检测系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD