申请/专利权人：深圳市华惠顺昌科技有限责任公司

申请日：2024-04-08

公开（公告）日：2024-06-28

公开（公告）号：CN118260637A

主分类号：G06F18/24

分类号：G06F18/24;G06Q50/20;G06N3/0464;G06Q10/0639;G06F18/23

优先权：

专利状态码：在审-公开

法律状态：2024.06.28#公开

摘要：本发明公开了基于人工智能情绪语意分析管理系统及装置，涉及人工智能技术领域，包括信息采集模块、音频特征收集模块、匹配模块、情绪判定模块、模型构建模块、训练模块、提取模块、分析模块以及客户端显示模块；该基于人工智能情绪语意分析管理系统及装置，通过对学生的语言信息与图像信息综合分析保证学生情绪监测效率能够结合教学模型、可视化报告和课后分析报告来配合教育工作，通过教学质量评估报告和所述教学技能评估报告生成教师教学建议，能够有效及时的根据学生的情绪变化从而调整教学内容，能够更高效地帮助学校解决教学中的疑难杂症，提高学生的课堂知识吸收率，为教学研究和改善教学方法提供决策依据。

主权项：1.基于人工智能情绪语意分析管理系统，其特征在于：包括信息采集模块、音频特征收集模块、匹配模块、情绪判定模块、模型构建模块、训练模块、提取模块、分析模块以及客户端显示模块；所述采集模块用于采集学生影像信息，对所述学生影像信息进行预处理，获得学生情绪信息数据集，将所述学生影像信息分为若干帧图像，基于UperNet网络对所述图像进行语义分割，获得第一语义分割图像；将所述第一语义分割图像中的杂项剔除，获得杂项剔除图像；将所述杂项剔除图像进行标注，获得学生情绪信息数据集，将所述学生情绪信息数据集划分为训练集和测试集；所述音频特征收集模块用于提取待识别学生情绪信息数据集中的语音片段的音频特征向量，其中所述语音片段对应所述待识别学生情绪信息数据集中的一段话，所述音频特征收集模块包括语句端点检测单元以及提取单元，所述语句端点检测单元用于为确定所述待识别音频流中的语音开始帧以及语音结束帧；所述提取单元用于提取所述语音开始帧与所述语音结束帧之间的音频流部分作为所述语音片段；所述匹配模块用于将所述语音片段的音频特征向量与多个情绪特征模型进行匹配，其中所述多个情绪特征模型分别对应多个情绪分类之一；所述情绪判定模块用于将匹配结果为相匹配的所述情绪特征模型所对应的情绪分类作为所述语音片段的情绪分类，所述多个情绪分类包括：满意分类、平静分类、烦躁分类以及生气分类，其中将似然概率大于预设阈值且最大的所述情绪特征模型所对应的情绪分类作为所述语音片段的情绪分类；所述模型构建模块用于通过对包括所述多个情绪分类对应的情绪分类标签的多个预设语音片段各自的音频特征向量进行预学习来建立所述多个学生情绪特征模型，所述学生情绪检测模型用于识别学生情绪；所述训练模块用于将所述训练集中的学生情绪信息数据输入所述学生情绪检测模型进行训练；所述提取模块用于接收待测学生影像信息并对待测学生影像信息进行预处理，获得待测学生情绪信息数据集学生影像信息；所述分析模块用于将所述待测学生情绪信息数据集输入通过测试的学生情绪检测模型，获得学生情绪识别结果，并对学生情绪识别结果提取出的情绪行为信息进行标注；将所标注的情绪行为信息转化为可视化报告，所述可视化报告包括课堂考勤饼状图、课堂行为统计图、课堂情绪统计图和课堂参与度统计图；所述客户端显示模块用于接收可视化报告；根据所标注的情绪行为信息生成课后分析报告，将课后分析报告进行显示。

全文数据：

权利要求：

百度查询： 深圳市华惠顺昌科技有限责任公司 基于人工智能情绪语意分析管理系统及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD