申请/专利权人：重庆邮电大学

申请日：2022-01-11

公开（公告）日：2024-06-04

公开（公告）号：CN114372137B

主分类号：G06F16/335

分类号：G06F16/335;G06F40/30

优先权：

专利状态码：有效-授权

法律状态：2024.06.04#授权;2022.05.06#实质审查的生效;2022.04.19#公开

摘要：本发明涉及一种融合深度知识追踪的动态感知试题推荐方法及系统，属于计算机领域。第一步：将学生的试题交互序列数据输入嵌入层，把大规模稀疏特征转换为适合模型输入的低维密集特征，并按时间对学生试题交互排序；第二步：使用门控循环单元来建模试题交互序列之间的依赖关系，并引入辅助损失函数利用下一个试题交互来监督当前隐藏状态的学习；第三步：设计了带有自注意更新门的门控循环单元对与目标试题相关的知识演化过程进行建模；第四步：将学生动态的知识状态和目标试题的嵌入向量串联，馈入多层感知机进行最终的Softmax判决，决定目标试题是否要推荐给学生。本发明有效地提高了试题推荐预测的性能，实现对学生个性化试题推荐。

主权项：1.一种融合深度知识追踪的动态感知试题推荐方法，其特征在于：该方法包括知识提取和知识演化；知识提取是从显式学生试题交互序列中提取潜在的知识掌握情况，知识演化是对知识演化过程建模；在知识提取中，引入辅助损失函数来为当前时刻的试题交互施加额外的监督，表示学生各个时刻的知识状态；该辅助损失函数使用下一个试题交互来监督当前隐藏状态的学习，结合门控循环单元GRU从而获得相应的知识状态序列；在知识演化中，设计带有自注意更新门的门控循环单元SAGRU的顺序学习结构；SAGRU通过在更新门中引入自注意机制，增强相关知识对知识演化的影响，引导不同目标试题特定的知识演化过程；所述门控循环单元GRU对行为之间的依赖关系进行建模，其中GRU的输入是按发生时间排序的学生试题交互数据；GRU的公式如下：ut＝σWuvt+Uuht-1+burt＝σWrvt+Urht-1+br 其中σ是sigmoid激活函数，是元素乘积，W，U和b是模型的参数，vt是GRU的输入，表示学生的第t个试题交互，ht是第t个隐藏状态；原始的深度知识追踪模型DKT中损失函数L定义为： 其中原始损失函数L是学生试题序列t≤T的负对数似然函数，pt+1是模型t+1时刻输出的预测概率，at+1表示t+1时刻试题的真实标签；该损失函数通过最小化目标试题预测概率和实际标签之间的标准交叉熵来训练模型；在学生试题交互序列的T时刻，由于目标试题qT+1的做题情况是由试题交互序列T时刻的知识状态hT决定，在损失函数L中仅用目标试题的二进制成绩标签aT+1监督了T时刻的知识状态，而t＜T的知识状态没得到实时的监督；引入辅助损失函数来为原始损失函数中t＜T时刻试题交互序列施加监督，从而有效挖掘学生的潜在知识掌握情况；辅助损失函数将原始的损失函数L分为两部分：t＜T时刻的历史辅助损失函数Lhistory和T时刻的目标辅助损失函数Ltarget；在t＜T时刻，使用下一时刻的试题交互vt+1来监督当前知识状态ht；历史辅助损失函数Lhistory的公式为： 其中历史辅助损失函数Lhistory表示t＜T时刻带监督的学生试题序列的负对数似然函数，S表示学生的数量，是sigmoid激活函数，表示学生i的第t个GRU隐藏状态，表示学生i回答正确的第t+1个交互的嵌入向量，表示学生i错误回答的第t+1个试题的嵌入向量，G是整个问题集，T时刻的知识状态由目标试题二进制成绩标签aT+1监督，目标辅助损失函数Ltarget公式为： 其中，目标辅助损失函数Ltarget表示T时刻带监督的学生试题序列的负对数似然函数；模型中总体的损失函数为：Lglobal＝Ltarget+α*Lhistory其中Lglobal表示全部时刻的带监督的学生试题序列的负对数似然函数，α是在知识表示和成绩预测之间取得平衡的超参数；所述学生各个时刻的知识状态是通过多头自注意力来获取的；多头自注意力：用i′t表示知识演化层的输入，其值为知识提取层上相应的知识状态i′t＝ht，将h′t表示知识演化层的隐藏状态，用h′DK表示动态知识状态，将目标题目作为查询Q，将学生的历史交互序列作为键K和值V；使用下列公式获得查询和键值对：Q＝vtargetWQ,K＝htWK,V＝htWV其中，WQ,WK,WV是查询、键和值的线性矩阵，负责将各自的向量线性投影到不同的空间；然后使用注意力权重来确定每个先前的交互与目标试题的相关性，使用标度点积AttentionQ,K,V为注意力函数： 为共同关注来自不同空间的向量信息，使用不同的线性矩阵对查询、键和值进行线性投射获得多头MultiHeadQ,K,V：MultiHeadQ,K,V＝Concathead1,…,headhWO其中每个头为WiQ,WiK,WiV,WO是线性矩阵；之后将不同的头向量连接起来，被送入前馈网络中；It＝FNNConcathead1,…,headhWO其中，It表示不同子空间的相关知识信息，FNN·是前馈网络，WO是线性矩阵；最后将It通过残差连接和层标准化，残差连接用于将较低层特征传播到较高层；如果低层特征对于模型很重要，残差连接将有助于将这些特征传播到执行预测的最终层，使模型更容易利用低层特征的信息；层标准化的作用是标准化跨特征的输入，从而有助于稳定和加速神经网络的训练；由于每个多头自注意力模块的输出是一个包含目标试题相关信息的向量，为在知识演化过程中激活相关的知识状态；设计带有更新门的SAGRU来将自注意力机制和GRU结合，其公式如下： 其中是元素乘积，u′t是SAGRU原始的更新门，是为SAGRU设计的注意力更新门，h′t，h′t-1，是SAGRU的隐藏状态。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种融合深度知识追踪的动态感知试题推荐方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD