申请/专利权人：四川轻化工大学

申请日：2024-04-24

公开（公告）日：2024-06-21

公开（公告）号：CN118071554B

主分类号：G06Q50/20

分类号：G06Q50/20;G06F16/435;G06F16/45;G06F16/483;G06N3/0464;G06N3/0442;G06F40/284;G06F40/216;G06V20/40;G06V40/16;G10L25/63;G06V10/82;G10L25/30;G10H1/00;G06N3/048

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.06.11#实质审查的生效;2024.05.24#公开

摘要：本发明涉及智慧课堂技术领域，其具体公开了一种多元化的高校钢琴课程教学系统及构建方法。该系统包括数据学习素材库模块、个性化教学模块、创造力培养模块和协奏训练模块，实现了高校钢琴教育的多元化教学目标；利用大数据和人工智能技术对学生钢琴练习音频和视频进行智能分析，并根据分析结果实现了个性化学习策略的推荐；利用多种人工智能算法对学生钢琴练习音频和视频进行了音频、视频以及情感的多维度的分析，提升了分析的准确性和评价的完整性，更有利于实现个性化的教学目标。

主权项：1.一种多元化的高校钢琴课程教学系统，其特征在于，包括如下功能模块：学习素材库模块：用于对学习素材进行搜集、整合、标记以及更新，学习素材包括理论基础教学视频、演奏教学视频、理论基础题库；根据知识点，对理论基础教学视频和演奏教学视频进行知识点的标记以及按照知识点对教学视频进行切分以得到知识点教学视频片段；建立知识点关键词和知识点教学视频片段之间的索引关系，通过知识点关键词能够实现对知识点教学视频片段的检索；根据教学大纲中的教学任务，将知识点教学视频片段串接成教学课程集锦；教师能够结合教学实际情况，对教学任务进行自定义操作，并根据自定义的教学任务对知识点进行组合以得到对应的自定义教学课程集锦；个性化教学模块：包括钢琴练习音频视频采集单元、学习行为数据采集单元、学习数据分析单元、学习策略推荐单元；所述钢琴练习音频视频采集单元，从多个视角采集学生练习钢琴曲目的练习音频数据和练习视频数据，所述练习音频数据通过收音设备完成采集操作，所述练习视频数据通过架设在3个机位的视频采集装置完成采集操作，所述3个机位包括用于拍摄学生手部和钢琴键盘特写的机位一、用于拍摄学生整体坐姿特写的机位二、用于拍摄学生脸部表情特写的机位三，所述机位一用于拍摄得到第一特写视频数据，所述机位二用于拍摄得到第二特写视频数据，所述机位三用于拍摄得到第三特写视频数据；所述学习行为数据采集单元，用于采集学生线上的学习行为数据，所述学习行为数据包括视频课程学习时长，理论基础各知识点的答题数量和理论基础各知识点的答题正确率；所述学习数据分析单元，用于对所述练习音频数据、练习视频数据和学习行为数据进行分析，得到分析结果，所述分析结果包括学生演奏能力级别评价、学生理论基础能力评价、学生综合优势和薄弱点评价，采用可视化的形式展现所述分析结果；所述学习策略推荐单元，用于根据所述分析结果，对学生分别进行理论基础教学视频、演奏教学视频和理论基础题库推荐；创造力培养模块：包括智能编曲单元和创意作品单元；所述智能编曲单元用于实现目标曲目的检索和匹配、输入编曲元素以及根据编曲元素和目标曲目智能生成编曲；所述创意作品单元，用于实现学生创意作品的展示和交互；协奏训练模块：包括智能协奏单元和同伴协奏单元；所述智能协奏单元，根据学生选择的乐曲篇章和协奏乐器，自动生成协奏乐曲，学生在进行协奏练习时播放所述协奏乐曲；所述同伴协奏单元，根据所述钢琴练习音频视频采集单元采集的学生钢琴练习音频视频数据，根据预先设置的多个维度提取学生的演奏特征数据，根据每个学生的演奏特征数据之间的相似度，实现班级内协奏搭档的确定；所述学习数据分析单元具体包括：练习音频数据分析子单元：确定待分析的练习音频数据，根据练习音频数据确定该练习音频数据对应的标准曲目，从学习素材库模块中确定出标准曲目的音频素材作为标准音频；分别对练习音频和标准音频分别进行特征提取，再基于提取的特征实现4个维度的相似度匹配，从而得到待分析的练习音频数据的分析结果，所述4个维度包括准确度、完整度、流畅度、力度；练习视频数据分析子单元：数据库预先存储有M类常见错误手型图片和正确手型图片，正确手型和每一类错误手型都分别对应m张训练图片，对训练图片进行手部特征提取，输入到预先构建的手型识别模型中训练，所述手型识别模型采用人工卷积神经网络模型搭建，包括一个输入层、一个输出层、2个隐藏层、3个卷积层，采用relu作为激活函数，采用交叉熵作为损失函数；对所述第一特写视频数据进行关键帧抽取得到n张关键帧图片，分别识别出n张关键帧图片中的手部区域和钢琴键盘区域，采用颜色阈值分割的方式实现钢琴键盘区域的检测，采用肤色检测算法实现关键帧图片中手部区域的检测；对每张关键帧图片中的手部区域实现21个三维手部关节坐标的关键点定位，再结合钢琴键盘区域的位置，得到每张关键帧图片中手部关键点与钢琴键盘之间的相对位置坐标，作为手部关节位置特征向量；将所述手部关节位置特征向量输入到所述手型识别模型中，得到每张关键帧图片的手型识别结果；数据库预先存储有N类常见错误坐姿图片和正确坐姿图片，正确坐姿和每一类错误坐姿都分别对应n张训练图片，对训练图片进行手部特征提取，输入到预先构建的坐姿识别模型中训练，所述坐姿识别模型采用人工卷积神经网络模型搭建，包括一个输入层、一个输出层、2个隐藏层、3个卷积层，采用relu作为激活函数，采用交叉熵作为损失函数；对所述第二特写视频数据进行关键帧抽取得到n张关键帧图片，分别识别出n张关键帧图片中的身体区域，采用轮廓检测算法实现身体区域的检测；对每张关键帧图片中的身体区域实现头部，颈部和躯干部的关键点定位，得到每张关键帧图片中身体关键点与垂直方向的偏离程度值，作为身边坐姿特征向量；将所述身边坐姿特征向量输入到所述坐姿识别模型中，得到每张关键帧图片的坐姿识别结果；多模态情感分析子单元：确定同一段练习对应的练习音频数据和第三特写视频数据；对练习音频数据分别进行频域分析和时域分析，实现声学特征提取，包括速度特征、节奏特征、强弱特征，将所述速度特征、节奏特征和强弱特征进行拼接融合后输入预先训练好的音频情感识别模型中进行情感识别，所述音频情感识别模型采用卷积神经网络模型搭建；对第三特写视频数据进行人脸区域识别，再对人脸区域进行表情特征提取，包括眼睛特征、嘴巴特征、眉毛特征；将所述眼睛特征、嘴巴特征和眉毛特征进行拼接融合后输入预先训练好的面部表情情感识别模型中进行情感识别，所述面部表情情感识别模型采用循环神经网络模型搭建。

全文数据：

权利要求：

百度查询： 四川轻化工大学 一种多元化的高校钢琴课程教学系统及构建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD