申请/专利权人：华中师范大学

申请日：2023-11-20

公开（公告）日：2024-06-07

公开（公告）号：CN117521812B

主分类号：G06N5/04

分类号：G06N5/04;G06N3/0455;G06N3/0442;G06N3/084;G06N3/042;G06N3/096

优先权：

专利状态码：有效-授权

法律状态：2024.06.07#授权;2024.02.27#实质审查的生效;2024.02.06#公开

摘要：本发明公开基于变分知识蒸馏的算术文字题自动解答方法及系统，包括：构建知识蒸馏模型；所述知识蒸馏模型包括：教师模型和学生模型；对所述教师模型进行训练；基于预设的自适应知识蒸馏策略，所述学生模型从训练后的教师模型中转移预设知识来学习多样性方程；基于学习后的所述学生模型，生成多样化解答方程。本发明以选择性地转移教师模型的高质量知识，从而更好地指导学生模型的学习，以及使学生模型能够学习解方程的多样性分布。

主权项：1.基于变分知识蒸馏的算术文字题自动解答方法，其特征在于，包括：将数学单词问题输入至知识蒸馏模型中，获取多样化解答方程；其中，所述知识蒸馏模型包括：教师模型和学生模型；所述学生模型基于预设的自适应知识蒸馏策略，从训练后的教师模型中转移预设知识来学习多样性方程；所述教师模型采用编码器-解码器的模型结构；所述教师模型中生成解方程的分布为：py|x,θT＝TreeDecoderh其中，py|x,θT表示教师模型生成解方程的分布，θT表示教师模型中的参数，h表示教师模型中的编码器的输出隐藏状态，y表示目标解方程，x表示数学应用题，TreeDecoder表示主流方法中常用的树形解码器；所述学生模型采用编码器-解码器的模型结构；其中，所述编码器-解码器的模型结构中引入了条件变异自动编码器；所述学生模型的输出解为：py|x,θS＝TreeDecoderh+hz其中，py|x,θS表示学生模型的输出解，θS表示学生模型的参数，hz表示潜在变量z的输出隐藏状态；所述预设的自适应知识蒸馏策略包括：自适应硬知识提炼和自适应软知识提炼；所述自适应硬知识提炼为：当获得来自所述教师模型的软标签时，采用波束搜索来生成前K等式，随后，计算前K等式方程的结果，并将计算结果与地面实况答案值进行比较，获得一组MWP的正确方程，记为Dkd＝{x,ykd}为新的硬标签；所述自适应软知识提炼为：根据波束搜索的结果来评估所述教师模型的软标签的质量，利用加权分数，获取高质量的软标签。

全文数据：

权利要求：

百度查询： 华中师范大学 基于变分知识蒸馏的算术文字题自动解答方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD