买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：平安科技(深圳)有限公司

摘要：本发明公开了一种课堂监控方法、装置、计算机设备及存储介质，该课堂监控方法包括：根据第一时间间隔定时采集第一目标人脸图像，将第一目标人脸图像输入到表情识别模型中，得到第一识别结果；若第一识别结果为异常，则发送第一提示消息至监控端；将第一识别结果为异常的第一目标人脸图像添加到重点关注队列中，重点关注队列包括关注人物标识；根据第二时间间隔和重点关注队列中的关注人物标识定时采集第二目标人脸图像，将第二目标人脸图像输入到表情识别模型中，得到第二识别结果；若第二识别结果为异常，则发送第二提示消息至监控端。该课堂监控方法在保证对课堂情况进行监控的同时减少了数据采集和识别的计算量，提高整体效率。

主权项：1.一种课堂监控方法，其特征在于，包括以下步骤：根据第一时间间隔定时采集第一目标人脸图像，将所述第一目标人脸图像输入到表情识别模型中，得到第一识别结果；若所述第一识别结果为异常，则发送第一提示消息至监控端；将所述第一识别结果为异常的所述第一目标人脸图像添加到重点关注队列中，所述重点关注队列包括关注人物标识；根据第二时间间隔和所述重点关注队列中的所述关注人物标识定时采集第二目标人脸图像，将所述第二目标人脸图像输入到所述表情识别模型中，得到第二识别结果；若所述第二识别结果为异常，则发送第二提示消息至所述监控端；所述课堂监控方法还包括：当视线出现盲区时，实时获取参照点位置信息，根据所述参照点位置信息采集第三目标人脸图像；所述采集第三目标人脸图像包括：获取位置信息映射表，根据参照点位置信息在所述位置信息映射表中获取采集对象的位置，并确定与所述采集对象的位置对应的第三目标人脸图像；将所述第三目标人脸图像输入到所述表情识别模型中，得到第三识别结果；若所述第三识别结果为异常，则发送第三提示消息至所述监控端。

全文数据：课堂监控方法、装置、计算机设备及存储介质技术领域本发明属于图像处理领域，更具体地说，是涉及一种课堂监控方法、装置、计算机设备及存储介质。背景技术在教学课堂中，当前老师上课时，有可能观察不到有的同学思想在开小差，没有认真听课，可能导致学生可能错过一些重要知识点。随着图像识别技术的飞速发展，目前也有技术在尝试利用表情识别技术来实时获取课堂中学生的表情，利用摄像头采集图像对摄像头里面的采集图像进行分析，如果有多个人脸，就对每个人脸的面部表情和动作都进行分析，判断出学生当前是否处于开小差的状态。然而，由于课堂持续时间较长，学生人数又较多，持续的数据采集和识别会造成数据量过大，导致整体效率不高。发明内容本发明实施例提供一种课堂监控方法、装置、计算机设备及存储介质，以解决由于数据量过大导致在识别学生上课状态的效率不高的技术问题。一种课堂监控方法，包括：根据第一时间间隔定时采集第一目标人脸图像，将所述第一目标人脸图像输入到表情识别模型中，得到第一识别结果；若所述第一识别结果为异常，则发送第一提示消息至监控端；将所述第一识别结果为异常的所述第一目标人脸图像添加到重点关注队列中，所述重点关注队列包括关注人物标识；根据第二时间间隔和所述重点关注队列中的所述关注人物标识定时采集第二目标人脸图像，将所述第二目标人脸图像输入到所述表情识别模型中，得到第二识别结果；若所述第二识别结果为异常，则发送第二提示消息至所述监控端。一种课堂监控装置，包括：第一识别结果获取模块，用于根据第一时间间隔定时采集第一目标人脸图像，将所述第一目标人脸图像输入到表情识别模型中，得到第一识别结果；第一提示消息发送模块，用于若所述第一识别结果为异常，则发送第一提示消息至监控端；重点关注队列添加模块，用于将所述第一识别结果为异常的所述第一目标人脸图像添加到重点关注队列中，所述重点关注队列包括关注人物标识；第二识别结果获取模块，用于根据第二时间间隔和所述重点关注队列中的所述关注人物标识定时采集第二目标人脸图像，将所述第二目标人脸图像输入到所述表情识别模型中，得到第二识别结果；第二提示消息发送模块，用于若所述第二识别结果为异常，则发送第二提示消息至所述监控端。一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述课堂监控方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述课堂监控方法的步骤。上述课堂监控方法、装置、计算机设备及存储介质，通过根据第一时间间隔定时采集第一目标人脸图像，并将第一目标人脸图像输入到表情识别模型中，得到第一识别结果，若第一识别结果为异常，则发送第一提示消息至监控端；然后根据第一识别结果来调整重点关注队列，对重点关注队列中的关注人物标识根据第二时间间隔来定时采集第二目标人脸图像，并将第二目标人脸图像输入到表情识别模型中，得到第二识别结果，若第二识别结果为异常，则发送第二提示消息至监控端。通过采用一定的时间间隔采集图像，建立重点关注队列的方式来实现课堂监控，可以做到有针对性地进行监控，在保证很好地对课堂情况进行监控的同时减少了数据采集和识别的计算量，提高了整体效率。附图说明为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本发明一实施例中课堂监控方法的一应用环境示意图；图2是本发明一实施例中课堂监控方法的一流程图；图3是本发明一实施例中课堂监控方法的另一流程图；图4是本发明一实施例中课堂监控方法的另一流程图；图5是本发明一实施例中课堂监控方法的另一流程图；图6是本发明一实施例中课堂监控装置的一原理框图；图7是本发明一实施例中计算机设备的一示意图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本申请提供的课堂监控方法，可应用在如图1的应用环境中，其中，监控端通过网络与服务端进行通信，服务端通过摄像机根据第一时间间隔定时采集第一目标人脸图像，将获取到的第一目标人脸图像输入到表情识别模型中，得到第一识别结果，若第一识别结果为异常，则服务端向监控端发送第一提示消息，并将第一识别结果为异常的第一目标人脸图像添加到重点关注队列中，其中，重点关注队列包括关注人物标识；接着服务端通过摄像机根据第二时间间隔和重点关注队列中的关注人物标识定时采集第二目标人脸图像，将获取到的第二目标人脸图像输入到表情识别模型中，得到第二识别结果，若第二识别结果为异常，则服务端向监控端发送第二提示消息。其中，监控端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在一实施例中，如图2所示，提供一种课堂监控方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：S10：根据第一时间间隔定时采集第一目标人脸图像，将第一目标人脸图像输入到表情识别模型中，得到第一识别结果。其中，第一时间间隔是一个预设的时间段，具体可以根据实际需要设置，例如5分钟、8分钟或者10分钟。而第一目标人脸图像是指整个班所有学生的人脸图像。可以通过在教室中设置多个摄像头，每一摄像头采集一固定区域中的学生的人脸图像，以实现对第一目标人脸图像的采集。可以理解地，摄像头个数越多，采集精度就越高。可选地，摄像头采集的是视频数据，而人脸图像为视频数据通过预定的帧率进行分帧之后获得。表情识别模型是用于判断当前图像中人脸情绪的识别模型，该表情识别模型可以判断当前图像中人脸对应于预设的多种情绪的概率值，若某种情绪的概率值超过对应的预设阈值，则得到该标准人脸图像对应的情绪即为第一识别结果。例如，在本实施例中，针对于课堂上的情景，可以将表情识别模型中的情绪设定为倾听、疑惑、理解、抗拒和不屑5种。具体地，可以预先采集分别代表这五种情绪的大量样本图像进行标注，形成样本图像集，然后选择对应的神经网络模型或者分类器进行训练，最终得到表情识别模型。S20：若第一识别结果为异常，则发送第一提示消息至监控端。在表情识别模型输出第一识别结果之后，根据输出的第一识别结果来发送第一提示消息。其中，表情识别模型会判断出第一目标人脸图像中面部区域对应的表情结果；例如倾听、疑惑、理解、抗拒或者不屑。可选地，当表情识别模型判断出第一目标人脸图像中面部区域对应的情绪为抗拒或者不屑时，对应输出的第一识别结果为异常；当表情识别模型判断出第一目标人脸图像中面部区域对应的情绪为倾听、疑惑或者理解时，对应输出的第一识别结果为正常。若第一识别结果为异常，则发送第一提示消息至监控端，提示该学生可能处于开小差状态。可选地，监控端为教师或者班主任等其他相关人员的手机或者电脑或者其它通讯设备，使相关人员了解该学生的上课状态，从而相应地作出评价或者制止等行为。S30：将第一识别结果为异常的第一目标人脸图像添加到重点关注队列中，重点关注队列包括关注人物标识。其中，重点关注队列是指整个班所有学生中有可能处于开小差状态，需要重点关注的学生组成的队列，具体地，该队列可以通过关注人物标识来体现。关注人物标识是指用于区分需要重点关注的学生的标识。例如，可以为学号、身份证号或者座位号等。S40：根据第二时间间隔和重点关注队列中的关注人物标识定时采集第二目标人脸图像，将第二目标人脸图像输入到表情识别模型中，得到第二识别结果。其中，第二时间间隔也是一个预设的时间段，具体可以根据实际需要设置，例如1分钟、3分钟或者5分钟。优选地，第二时间间隔小于第一时间间隔。第二目标人脸图像是指关注人物标识对应的学生的人脸图像，具体地，可以通过关注人物标识找到对应的摄像头，并从该摄像头中获取到第二目标人脸图像。其中，采集第二目标人脸图像和步骤S10中采集第一目标人脸图像的方法类似，在此不再赘述。而将第二目标人脸图像输入到表情识别模型中，得到第二识别结果的过程也和步骤S10中的对应步骤类似，在此也不再赘述。S50：若第二识别结果为异常，则发送第二提示消息至监控端。在表情识别模型输出第二识别结果之后，根据输出的第二识别结果来发送第二提示消息。其中，表情识别模型会判断出第二目标人脸图像中面部区域对应的情绪，例如倾听、疑惑、理解、抗拒或者不屑。可选地，当表情识别模型判断出第二目标人脸图像中面部区域对应的情绪为抗拒或者不屑时，对应输出的第二识别结果为异常；当表情识别模型判断出第二目标人脸图像中面部区域对应的情绪为倾听、疑惑或者理解时，对应输出的第二识别结果为正常。若第二识别结果为异常，则发送第二提示消息至监控端，提示该学生可能处于开小差状态。进一步地，将第二识别结果为异常的第二目标人脸图像添加到重点关注队列中。在一个实施例中，在将第二识别结果为异常的第二目标人脸图像添加到重点关注队列中的同时，将第二识别结果为正常的第二目标人脸图像从重点关注队列中释放。可以理解，第一识别结果为异常的学生可能在某一时刻不够专心，但很快就恢复正常状态，这是可以接受的。通过对重点关注队列的更新，可以有效减少数据采集和识别的计算量，提高课堂监控的针对性。在图2对应的实施例中，通过根据第一时间间隔定时采集第一目标人脸图像，并将第一目标人脸图像输入到表情识别模型中，得到第一识别结果，若第一识别结果为异常，则发送第一提示消息至监控端；然后根据第一识别结果来调整重点关注队列，根据重点关注队列中的关注人物标识和第二时间间隔来定时采集第二目标人脸图像，并将第二目标人脸图像输入到表情识别模型中，得到第二识别结果，若第二识别结果为异常，则发送第二提示消息至监控端。通过采用一定的时间间隔采集图像，建立重点关注队列的方式来实现课堂监控，可以做到有针对性地进行监控，在保证很好地对课堂情况进行监控的同时减少了数据采集和识别的计算量，提高了整体效率。在一实施例中，表情识别模型为采用卷积神经网络训练得到的表情识别模型。其中，卷积神经网络CNN是一种多层神经网络，擅长处理图像尤其是大图像的相关机器学习问题。CNN的基本结构包括两层：卷积层和池化层。可选地，采用10层卷积神经网络，由于神经网络的层数越多，计算时间越长，表情识别区别度较高，而采用10层卷积神经网络能够实现在较短时间内达到训练精度要求。在本实施例中，表情识别模型包括：眼部识别模型、唇部识别模型和头部识别模型。在步骤S10之前，即根据第一时间间隔定时采集第一目标人脸图像，将所述第一目标人脸图像输入到表情识别模型中，得到第一识别结果的步骤之前，如图3所示，本发明实施例提供的课堂效果监控方法还包括：S61：获取人脸图像的样本，根据人脸图像的样本获取眼部训练图像、唇部训练图像和头部训练图像。其中，人脸图像的样本可以为预先采集的学生的人脸图像。具体地，可以根据人脸图像预先划分相应的区域分别作为眼部区域图像、唇部区域图像和头部区域图像，然后将从样本集中获得的眼部区域图像、唇部区域图像和头部区域图像的集合分别作为眼部训练图像、唇部训练图像和头部训练图像。其中，划分区域的方法可以根据需要进行预先设定，本发明实施例不做具体限定。S62：将眼部训练图像输入到眼部识别模型中，得到标准眼部识别结果。其中，标准眼部识别结果是指眼部识别模型根据眼部训练图像中的眼部特征识别出来的结果。可选地，可以将眼部训练图像中的眉毛特征作为眼部特征，根据倾听、疑惑、理解、抗拒和不屑这五种预设的表情进行标准定义，例如，倾听表情对应的眉毛特征应是眉毛自然伸展，眉毛两端与眼睛中点的夹角β小于或者等于120度。具体地，通过将眼部训练图像按照眉毛特征进行分类，将分类后的眼部训练图像输入到眼部识别模型中，得到倾听、疑惑、理解、抗拒和不屑这五种表情相对应的眉毛特征，这五种相对应的眉毛特征和表情结合的结果就可以作为标准眼部识别结果。S63：将唇部训练图像输入到唇部识别模型中，得到标准唇部识别结果。其中，标准唇部识别结果是指唇部识别模型根据唇部训练图像中的唇部特征识别出来的结果。可选地，可以将唇部训练图像中的嘴角特征作为唇部特征，例如，当表情为疑惑的表情时，对应的嘴角特征应是嘴角下移，即嘴角特征线与其平分线呈现负偏差。具体地，根据倾听、疑惑、理解、抗拒和不屑这五种预设的表情进行标准定义，通过将唇部训练图像按照嘴角特征进行分类，将分类后的唇部训练图像输入到唇部识别模型中，得到倾听、疑惑、理解、抗拒和不屑这五种表情相对应的嘴角特征，这五种相对应的嘴角特征和表情结合的结果就可以作为标准唇部识别结果。S64：将头部训练图像输入到头部识别模型中，得到标准头部识别结果。其中，标准头部识别结果是指头部识别模型根据头部训练图像中的头部特征识别出来的结果。可选地，可以将头部训练图像中的头部转角特征作为头部特征，例如，将表情为抗拒时，头部转角特征应是低头或者扭头，头部角度变化α大于60度。具体地，根据倾听、疑惑、理解、抗拒和不屑这五种表情进行标准定义，通过将头部训练图像按照嘴角特征进行分类，将分类后的头部训练图像输入到头部识别模型中，得到倾听、疑惑、理解、抗拒和不屑这五种表情相对应的嘴角特征，这五种相对应的头部转角特征和表情结合的结果就可以作为标准头部识别结果。S65：将标准眼部识别结果、标准唇部识别结果和标准头部识别结果组成标准表情识别结果集。具体地，将标准眼部识别结果、标准唇部识别结果和标准头部识别结果分别对应的特征组成标准表情识别结果集，例如，当表情为疑惑时，对应的眼部特征是眉毛两端与眼睛中点的夹角β大于120度，对应的唇部特征是嘴角特征线与其平分线呈现负偏差，对应的头部特征是头部角度变化在0到60度之间。将所有的标准眼部识别结果、标准唇部识别结果和标准头部识别结果组合在一起就形成了标准表情识别结果集。在图3对应的实施例中，通过根据人脸图像的样本集获取眼部训练图像、唇部训练图像和头部训练图像，然后分别将眼部训练图像输入到眼部识别模型中，得到标准眼部识别结果；将唇部训练图像输入到唇部识别模型中，得到标准唇部识别结果；将头部训练图像输入到头部识别模型中，得到标准头部识别结果；最后将标准眼部识别结果、标准唇部识别结果和标准头部识别结果组成标准表情识别结果集，可以为后续采集的目标人脸图像的表情识别提供支持。在一实施例中，如图4所示，在步骤S10中，即根据第一时间间隔定时采集第一目标人脸图像，具体可以包括以下步骤：S11：根据第一时间间隔定时获取原始视频数据。其中，原始视频数据是教室中摄像头采集的视频数据。若摄像头为复数个，则可以根据第一目标人脸图像对应的标识来获取到对应摄像头的原始视频数据。具体地，打开教室的摄像头采集视频，按照第一时间间隔获取原始视频数据。S12：对原始视频数据进行分帧和归一化处理，得到第一目标人脸图像。具体地，分帧处理是指按照预设时间对原始视频数据进行划分，以获取至少一帧的待识别视频图像。其中，归一化是一种简化计算的方式，即将有量纲的表达式经过变换，转化为无量纲的表达式，成为标量。例如本实施例中的原始视频数据中，需要有第一目标的面部区域，才能提取对应的表情特征，因此需要将分帧后的待识别视频图像的像素归一化到统一的像素，例如260*260，得到第一目标人脸图像，以便后续对每一帧待识别视频图像进行识别。在图4对应的实施例中，通过根据第一时间间隔定时获取原始视频数据，然后对原始视频数据进行分帧和归一化处理，得到第一目标人脸图像，可以为后续人脸图像对应的表情进行识别提供支持。在一实施例中，标准表情识别结果集包括倾听、疑惑、理解、抗拒和不屑五种表情结果，如图5所示，在步骤S10中，即将第一目标人脸图像输入到表情识别模型中，得到第一识别结果，具体可以包括以下步骤：S13：采用人脸特征点检测算法从第一目标人脸图像中获取第一目标人脸特征点。其中，第一目标人脸特征点是指按照预设的需要从第一目标人脸图像获取得到的特征坐标点。人脸特征点检测算法是指根据输入的人脸图像自动定位出人脸特征点的算法。可选地，可以采用以下人脸特征点检测算法获取人脸特征点信息：1OpenCV自带的基于Harr特征的Viola-Jones算法；其中，OpenCV是一个跨平台计算机视觉库，可以运行在Linux、Windows、Android和MacOS操作系统上，由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法，而基于Harr特征的Viola-Jones算法是其中一种人脸特征点检测算法。Haar特征是一种反映图像的灰度变化的特征，是反映像素分模块差值的一种特征。Haar特征分为三类：边缘特征、线性特征和中心-对角线特征。Viola-Jones算法是基于人脸的haar特征值进行人脸检测的方法。2基于HOG+SVM特征的dlib；其中，dlib是一个现代化的C++工具箱，其中包含用于在C++中创建复杂软件以解决实际问题的机器学习算法和工具，HOG是指方向梯度直方图HistogramofOrientedGradient,HOG，SVMSupportVectorMachine指的是支持向量机，是常见的一种判别方法，通常用来进行模式识别、分类以及回归分析，HOG特征结合SVM分类器被广泛应用于图像识别中。3doppia库的三种人脸检测方法DPM、HeadHunter和HeadHunter_baseline。其中，DPMDeformablePartModel是一个目标检测算法，目前已成为众多分类器、分割、人体姿态和行为分类的重要部分。DPM可以看做是HOG的扩展，方法是首先计算梯度方向直方图，然后用SVM训练得到目标梯度模型，再进行分类，从而使模型和目标匹配。而HeadHunter和HeadHunter_baseline算法与DPM在方法上是相同的，区别在于用到的模型不同。以下用第1种人脸特征点检测算法为例说明获取第一目标人脸特征点的过程：首先获取输入的人脸图像的样本图像，对样本图像进行预处理归一化后进行训练，得到人脸特征点模型，即Harr特征的Viola-Jones算法；然后获取输入的第一目标人脸图像，对第一目标人脸图像进行同样预处理，接着依次进行肤色区域分割、人脸特征区域分割和人脸特征区域分类的步骤，最后根据Harr特征的Viola-Jones算法与人脸特征区域分类进行匹配计算，得到第一目标人脸特征点。S14：根据第一目标人脸特征点划分所述第一目标人脸图像，得到眼部区域图像、唇部区域图像和头部区域图像。根据获取到的第一目标人脸特征点，来分别获取眼部区域图像、唇部区域图像和头部区域图像，具体地：眼部区域图像可以采用人脸特征点检测算法先定位出同一眼睛区域中左右眼角和眉心的位置坐标，然后以左右眼角横坐标为左侧坐标和右侧坐标，以眉心位置纵坐标为上侧坐标，以眼角纵坐标加上眉心位置到眼角位置垂直距离为下侧坐标，以这四个点坐标构成的矩形区域为眼睛区域，获取该眼睛区域即得到眼部区域图像。唇部区域图像可以采用人脸特征点先定位出左右嘴角和鼻尖位置坐标，然后以左右嘴角横坐标为左侧坐标和右侧坐标，以鼻尖位置纵坐标为上侧坐标，以嘴角纵坐标加上鼻尖位置到嘴角位置垂直距离为下侧坐标，以此四个坐标构成的矩形区域为唇部区域，获取该唇部区域即得到唇部区域图像。头部区域图像可以直接采用第一目标人脸图像作为头部区域图像。S15：将眼部区域图像输入到眼部识别模型中，获取测试眼部识别结果；将唇部区域图像输入到唇部识别模型中，获取测试唇部识别结果；将头部区域图像输入到头部识别模型中，获取测试头部识别结果。其中，测试眼部识别结果是指根据实时视频数据获取的目标人脸图像中对应的眼部识别结果，测试唇部识别结果与测试头部识别结果以此类推。具体地，将眼部区域图像输入到眼部识别模型中，根据眼部识别模型定义的表情，可以得到眼部区域图像对应的表情，即为测试眼部识别结果。同样地，将唇部区域图像输入到唇部识别模型中，可以得到测试唇部识别结果；将头部区域图像输入到头部识别模型中，可以得到测试头部识别结果。S16：将测试眼部识别结果、测试唇部识别结果和测试头部识别结果与标准表情识别结果集进行匹配，将匹配度大于预设阈值的标准表情识别结果作为输出表情结果，若输出表情结果为倾听、疑惑、理解，则第一识别结果为正常；若输出表情结果为抗拒或不屑，则第一识别结果为异常。其中，预设阈值是指测试识别结果与标准表情识别结果匹配度的预设阈值，预设阈值可以根据表情识别模型的具体情况进行设置，这里不做具体的限定。可以理解地，测试眼部识别结果、测试唇部识别结果和测试头部识别结分别对应的表情识别结果可能是不一致的，其与标准表情识别结果也有差别，因此，将测试识别结果与标准表情识别结果集的每一标准表情识别结果进行匹配，若匹配度超过预设阈值，则将与对应的标准表情识别结果作为输出表情结果。具体地，将测试眼部识别结果、测试唇部识别结果和测试头部识别结果与标准表情识别结果集进行匹配，若整体与标准表情识别结果集中的某一标准表情识别结果的匹配结果大于预设阈值，则将该标准识别结果作为输出表情结果。可选地，当输出表情结果为倾听、疑惑、理解，则第一识别结果为正常；当输出表情结果为抗拒和不屑，则第一识别结果为异常。例如，若预设阈值为80％，对某个学生的测试眼部识别结果、测试唇部识别结果和测试头部识别结果与标准表情识别结果集进行匹配后发现，匹配的结果与标准表情识别结果集中的不屑表情匹配度超过预设阈值80％，则将不屑的标准表情识别结果作为输出表情结果，此时第一识别结果为异常。在图5对应的实施例中，通过采用人脸特征点检测算法从第一目标人脸图像中获取第一目标人脸特征点，然后根据第一目标人脸特征点划分第一目标人脸图像，得到眼部区域图像、唇部区域图像和头部区域图像；再分别将眼部区域图像、唇部区域图像和头部区域图像输入到眼部识别模型、唇部识别模型和头部识别模型中，得到测试眼部识别结果、测试唇部识别结果和测试头部识别结果，最后将测试眼部识别结果、测试唇部识别结果和测试头部识别结果与标准表情识别结果集进行匹配，将匹配度大于预设阈值的标准表情识别结果作为输出表情结果，若输出表情结果为倾听、疑惑、理解，则第一识别结果为正常；若输出表情结果为抗拒或不屑，则第一识别结果为异常。通过三个识别模型来实现表情识别模型，可以使表情识别模型识别的精度提升，提高课堂监控的效率。在一实施例中，本发明实施例提供的课堂监控方法还包括：实时获取参照点位置信息，根据参照点位置信息采集第三目标人脸图像；然后将第三目标人脸图像输入到表情识别模型中，得到第三识别结果，若第三识别结果为异常，则发送第三提示消息至监控端。其中，参照点位置信息指教师的位置信息，可以通过获取教师身上的手机的GPS定位信息来获取教师的位置信息，或者通过摄像头对教师进行跟踪采集，定位出教师的位置信息。可以理解地，当教师处于讲台区域并面对学生时，因为全班学生都在老师的视线范围内，故不采集第三目标人脸图像。而当教师在走下讲台，视线出现盲区或者教师离开课室时，采集第三目标人脸图像。具体地，可以预先建立位置信息映射表，根据该位置信息映射表，可以根据教师的实时位置信息，在位置信息映射表中获取到要采集的对应的第三目标人脸图像。例如，当教师站在教室的左侧时，将位于教室右侧的学生作为需要进行第三目标人脸图像采集的对象；当教师站在教室的右侧时，将位于教室左侧的学生作为需要进行第三目标人脸图像采集的对象。具体位置信息映射表的设置可以根据实际需要和场景来设置，在此不做限定。然后将采集到的第三目标人脸图像输入到表情识别模型中，得到第三识别结果，若第三识别结果为异常，则发送第三提示消息至监控端。这个识别和消息发送过程和前述实施例的对应步骤类似，在此不再赘述。进一步地，可以将第三识别结果为异常的第三目标人脸图像添加到重点关注队列中，其中，重点关注队列包括关注人物标识。应理解，将第三识别结果为异常的第三目标人脸图像添加到重点关注队列这一过程，与上述实施例中的将识别结果为异常的人脸图像添加到重点关注队列过程是并行的过程。可选地，可以将第三识别结果为异常的人脸图像也添加到重点关注队列中，实现对重点关注队列的更新，更有针对性地实现课堂效果的监控。在本实施例中，通过实时获取教师的位置信息，根据教师这一参照点的位置来采集第三目标人脸图像，可以减少视频数据的采集量；通过将第三目标人脸图像输入到表情识别模型中，得到第三识别结果，若第三识别结果为异常，则发送第三提示消息至监控端，可以更有针对性地获取学生在课堂的上课状态，发现开小差的学生，减少数据采集和识别的计算量，提高课堂监控的效率。应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。在一实施例中，提供一种课堂监控装置，该课堂监控装置与上述实施例中课堂监控方法一一对应。如图6所示，该课堂监控装置包括第一识别结果获取模块10、第一提示消息发送模块20、重点关注队列添加模块30、第二识别结果获取模块40和第二提示消息发送模块50。各功能模块详细说明如下：第一识别结果获取模块10，用于根据第一时间间隔定时采集第一目标人脸图像，将第一目标人脸图像输入到表情识别模型中，得到第一识别结果。第一提示消息发送模块20，用于若第一识别结果为异常，则发送第一提示消息至监控端。重点关注队列添加模块30，用于将第一识别结果为异常的第一目标人脸图像添加到重点关注队列中，其中，重点关注队列包括关注人物标识。第二识别结果获取模块40，用于根据第二时间间隔和重点关注队列中的关注人物标识定时采集第二目标人脸图像，将第二目标人脸图像输入到表情识别模型中，得到第二识别结果。第二提示消息发送模块50，用于若第二识别结果为异常，则发送第二提示消息至监控端。进一步地，表情识别模型为采用卷积神经网络训练得到的表情识别模型，包括：眼部识别模型、唇部识别模型和头部识别模型。课堂监控装置还包括标准结果集获取模块60，标准结果集获取模块60包括：训练图像获取单元61、标准眼部识别结果获取单元62、标准唇部识别结果获取单元63、标准头部识别结果获取单元64和标准结果集获取单元65。训练图像获取单元61，用于获取人脸图像的样本，根据人脸图像的样本获取眼部训练图像、唇部训练图像和头部训练图像。标准眼部识别结果获取单元62，用于将眼部训练图像输入到眼部识别模型中，得到标准眼部识别结果。标准唇部识别结果获取单元63，用于将唇部训练图像输入到唇部识别模型中，得到标准唇部识别结果。标准头部识别结果获取单元64，用于将头部训练图像输入到头部识别模型中，得到标准头部识别结果。标准结果集获取单元65，用于将标准眼部识别结果、标准唇部识别结果和标准头部识别结果组成标准表情识别结果集。进一步地，标准表情识别结果集包括倾听、疑惑、理解、抗拒和不屑五种表情结果，第一识别结果获取模块10包括：视频数据获取单元11和第一目标人脸图像获取单元12。视频数据获取单元11，用于根据第一时间间隔定时获取原始视频数据。第一目标人脸图像获取单元12，用于对原始视频数据进行分帧和归一化处理，得到第一目标人脸图像。进一步地，第一识别结果获取模块10还包括：人脸特征点获取单元13、区域图像获取单元14、测试识别结果获取单元15和第一识别结果单元16。人脸特征点获取单元13，用于采用人脸特征点检测算法从第一目标人脸图像中获取第一目标人脸特征点。区域图像获取单元14，用于根据第一目标人脸特征点划分第一目标人脸图像，得到眼部区域图像、唇部区域图像和头部区域图像。测试识别结果获取单元15，用于将眼部区域图像输入到眼部识别模型中，获取测试眼部识别结果；将唇部区域图像输入到唇部识别模型中，获取测试唇部识别结果；将头部区域图像输入到头部识别模型中，获取测试头部识别结果。第一识别结果获取单元16，用于将测试眼部识别结果、测试唇部识别结果和测试头部识别结果与标准表情识别结果集进行匹配，将匹配度大于预设阈值的标准表情识别结果作为输出表情结果，若输出表情结果为倾听、疑惑、理解，则第一识别结果为正常；若输出表情结果为抗拒或不屑，则第一识别结果为异常。进一步地，课堂监控装置还包括参照点位置获取模块70、第三识别结果获取模块80和第三提示消息发送模块90。参照点位置获取模块70，用于实时获取参照点位置信息，根据参照点位置信息采集第三目标人脸图像。第三识别结果获取模块80，用于将第三目标人脸图像输入到表情识别模型中，得到第三识别结果。第三提示消息发送模块90，用于若第三识别结果为异常，则发送第三提示消息至监控端。关于课堂监控装置的具体限定可以参见上文中对于课堂监控方法的限定，在此不再赘述。上述课堂监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储原始视频数据、第一目标人脸图像、第二目标人脸图像、第三目标人脸图像、重点关注队列和提示消息等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种课堂监控方法。在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：根据第一时间间隔定时采集第一目标人脸图像，将第一目标人脸图像输入到表情识别模型中，得到第一识别结果；若第一识别结果为异常，则发送第一提示消息至监控端；将第一识别结果为异常的第一目标人脸图像添加到重点关注队列中，其中，重点关注队列包括关注人物标识；根据第二时间间隔和重点关注队列中的关注人物标识定时采集第二目标人脸图像，将第二目标人脸图像输入到表情识别模型中，得到第二识别结果；若第二识别结果为异常，则发送第二提示消息至监控端。在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：根据第一时间间隔定时采集第一目标人脸图像，将第一目标人脸图像输入到表情识别模型中，得到第一识别结果；若第一识别结果为异常，则发送第一提示消息至监控端；将第一识别结果为异常的第一目标人脸图像添加到重点关注队列中，其中，重点关注队列包括关注人物标识；根据第二时间间隔和重点关注队列中的关注人物标识定时采集第二目标人脸图像，将第二目标人脸图像输入到表情识别模型中，得到第二识别结果；若第二识别结果为异常，则发送第二提示消息至监控端。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和或易失性存储器。非易失性存储器可包括只读存储器ROM、可编程ROMPROM、电可编程ROMEPROM、电可擦除可编程ROMEEPROM或闪存。易失性存储器可包括随机存取存储器RAM或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAMSRAM、动态RAMDRAM、同步DRAMSDRAM、双数据率SDRAMDDRSDRAM、增强型SDRAMESDRAM、同步链路SynchlinkDRAMSLDRAM、存储器总线Rambus直接RAMRDRAM、直接存储器总线动态RAMDRDRAM、以及存储器总线动态RAMRDRAM等。所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

权利要求：1.一种课堂监控方法，其特征在于，包括以下步骤：根据第一时间间隔定时采集第一目标人脸图像，将所述第一目标人脸图像输入到表情识别模型中，得到第一识别结果；若所述第一识别结果为异常，则发送第一提示消息至监控端；将所述第一识别结果为异常的所述第一目标人脸图像添加到重点关注队列中，所述重点关注队列包括关注人物标识；根据第二时间间隔和所述重点关注队列中的所述关注人物标识定时采集第二目标人脸图像，将所述第二目标人脸图像输入到所述表情识别模型中，得到第二识别结果；若所述第二识别结果为异常，则发送第二提示消息至所述监控端。2.如权利要求1所述的课堂监控方法，其特征在于，所述表情识别模型为采用卷积神经网络训练得到的表情识别模型，所述表情识别模型包括：眼部识别模型、唇部识别模型和头部识别模型；在所述根据第一时间间隔定时采集第一目标人脸图像，将所述第一目标人脸图像输入到表情识别模型中，得到第一识别结果的步骤之前，所述课堂监控方法还包括：获取人脸图像的样本，根据所述人脸图像的样本获取眼部训练图像、唇部训练图像和头部训练图像；将所述眼部训练图像输入到所述眼部识别模型中，得到标准眼部识别结果；将所述唇部训练图像输入到所述唇部识别模型中，得到标准唇部识别结果；将所述头部训练图像输入到所述头部识别模型中，得到标准头部识别结果；将所述标准眼部识别结果、所述标准唇部识别结果和所述标准头部识别结果组成所述标准表情识别结果集。3.如权利要求2所述的课堂监控方法，其特征在于，所述根据第一时间间隔定时采集第一目标人脸图像，包括：根据所述第一时间间隔定时获取原始视频数据；对所述原始视频数据进行分帧和归一化处理，得到第一目标人脸图像。4.如权利要求3所述的课堂监控方法，其特征在于，所述标准表情识别结果集包括倾听、疑惑、理解、抗拒和不屑五种表情结果；所述将所述第一目标人脸图像输入到表情识别模型中，得到第一识别结果，包括：采用人脸特征点检测算法从所述第一目标人脸图像中获取第一目标人脸特征点；根据所述第一目标人脸特征点划分所述第一目标人脸图像，得到眼部区域图像、唇部区域图像和头部区域图像；将所述眼部区域图像输入到所述眼部识别模型中，获取测试眼部识别结果；将所述唇部区域图像输入到所述唇部识别模型中，获取测试唇部识别结果；将所述头部区域图像输入到所述头部识别模型中，获取测试头部识别结果；将所述测试眼部识别结果、所述测试唇部识别结果和所述测试头部识别结果与所述标准表情识别结果集进行匹配，将匹配度大于预设阈值的标准表情识别结果作为输出表情结果；若所述输出表情结果为倾听、疑惑、理解，则所述第一识别结果为正常；若所述输出表情结果为抗拒或不屑，则所述第一识别结果为异常。5.如权利要求1所述的课堂监控方法，其特征在于，在所述若所述第二识别结果为异常，则发送第二提示消息至所述监控端的步骤之后，所述方法还包括：将所述第二识别结果为正常的所述第二目标人脸图像从所述重点关注队列中释放。6.如权利要求1所述的课堂监控方法，其特征在于，所述课堂监控方法还包括：实时获取参照点位置信息，根据所述参照点位置信息采集第三目标人脸图像；将所述第三目标人脸图像输入到所述表情识别模型中，得到第三识别结果；若所述第三识别结果为异常，则发送第三提示消息至所述监控端。7.一种课堂监控装置，其特征在于，包括：第一识别结果获取模块，用于根据第一时间间隔定时采集第一目标人脸图像，将所述第一目标人脸图像输入到表情识别模型中，得到第一识别结果；第一提示消息发送模块，用于若所述第一识别结果为异常，则发送第一提示消息至监控端；重点关注队列添加模块，用于将所述第一识别结果为异常的所述第一目标人脸图像添加到重点关注队列中，所述重点关注队列包括关注人物标识；第二识别结果获取模块，用于根据第二时间间隔和所述重点关注队列中的所述关注人物标识定时采集第二目标人脸图像，将所述第二目标人脸图像输入到所述表情识别模型中，得到第二识别结果；第二提示消息发送模块，用于若所述第二识别结果为异常，则发送第二提示消息至所述监控端。8.如权利要求7所述的课堂效果监控装置，其特征在于，所述标准表情识别结果集包括倾听、疑惑、理解、抗拒和不屑五种表情结果；所述第一识别结果获取模块包括人脸特征点获取单元、区域图像获取单元、测试识别结果获取单元和第一识别结果单元；所述人脸特征点获取单元，用于采用人脸特征点检测算法从所述第一目标人脸图像中获取第一目标人脸特征点；所述区域图像获取单元，用于根据所述第一目标人脸特征点划分所述第一目标人脸图像，得到眼部区域图像、唇部区域图像和头部区域图像；所述测试识别结果获取单元，用于将所述眼部区域图像输入到眼部识别模型中，获取测试眼部识别结果；将所述唇部区域图像输入到唇部识别模型中，获取测试唇部识别结果；将所述头部区域图像输入到头部识别模型中，获取测试头部识别结果；所述第一识别结果获取单元，用于将所述测试眼部识别结果、所述测试唇部识别结果和所述测试头部识别结果与标准表情识别结果集进行匹配，将匹配度大于预设阈值的标准表情识别结果作为输出表情结果；若所述输出表情结果为倾听、疑惑、理解，则所述第一识别结果为正常；若所述输出表情结果为抗拒或不屑，则所述第一识别结果为异常。9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述课堂监控方法的步骤。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述课堂监控方法的步骤。

百度查询： 平安科技(深圳)有限公司 课堂监控方法、装置、计算机设备及存储介质