申请/专利权人：华东师范大学

申请日：2020-06-23

公开（公告）日：2024-06-28

公开（公告）号：CN111753995B

主分类号：G06N20/00

分类号：G06N20/00;G06N3/0442;G06N3/0464;G06N3/0499;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2020.10.30#实质审查的生效;2020.10.09#公开

摘要：本发明公开了一种基于梯度提升树的局部可解释方法，将复杂的模型使用知识蒸馏得到梯度提升树模型，通过改良传统的计算平均不纯度减少量MDI重要性方法为各梯度提升树对节点信息增益贡献的加权平均，并以此进行排序得出输入特征的重要性排序得到局部可解释，从而做到对复杂模型的解释。本发明是一种通用的可解释方法，能够对多种领域的数据集进行提取解释，比如自然语言处理数据集、图像数据集和表格数据集。同时该方法可以使用子模块选择的方法利用局部解释推广应用到获取模型的全局解释。

主权项：1.一种基于梯度提升树的局部可解释方法，其特征在于，该方法包括以下具体步骤：步骤1：使用训练数据集对初始复杂模型进行参数训练，并提取出输入特征；步骤2：将训练好的模型进行知识蒸馏得到输入特征的软标签输出；步骤3：使用步骤1中得到的输入特征和步骤2中得到的输出软标签进行梯度提升树模型的训练，得到训练好的梯度提升树模型；步骤4：从训练好的梯度提升树模型中提取出特征重要性，对特征重要性进行排序，选择特征重要性较高的特征作为初始复杂模型的解释；其中：步骤1所述训练数据集为自然语言数据集、图像数据集及表格数据集；初始模型为基于注意力机制的长短期记忆网络、卷积神经网络及多层感知器；所述进行参数训练：自然语言数据集使用基于注意力机制的长短期记忆网络；图像数据集使用卷积神经网络；表格数据集使用多层感知器；步骤2所述进行知识蒸馏得到输入特征的软标签输出，其软标签输出公式为： 其中，Labelsoft是指软标签输出，zi是指初始模型最后的输出，T是温度参数，i是指预测为第i类，j指预测任务总共的预测类别；步骤3所述的得到训练好的梯度提升树模型包括M个弱判别器，每个弱判别器都是决策树模型，其中M是梯度提升树模型的一个参数；步骤4所述从训练好的梯度提升树模型中提取出特征重要性，对特征重要性进行排序，选择特征重要性较高的特征作为初始复杂模型的解释，具体包括：特征重要性的计算公式为： 其中，表示特征P的重要性期望，特征P是由K个数据构成，Pk即为特征的第k个数据；ImpPk即为特征的第k个数据的特征重要性，其中ImpPk中每个权重γmhmx即为训练好的梯度提升树模型中第m个弱判别器对整个模型的贡献程度，定义为归一化的第m个弱判别器在输入为Pk时的不纯度减少率，不纯度减少率是指弱判别器在预测特征Pk时，节点分割中用到Pk的不纯度减少量占总的不纯度减少量的比值；不纯度的计算是通过特征Pk在决策树模型中经过的划分节点n来计算，即GainPk,n＝in-pLinL-pRinR，其中in表示节点分裂的不纯度，而pL和pR分别代表样本分裂后达到nL和nR的部分；训练得到的梯度提升树模型中，Tm表示第m个弱判别器，即第m个决策树模型，并用Tmx表示输入样本为x时，其中样本x是包含多个特征P，决策树模型Tm在预测时对应的路径；特征P的重要性期望越高表明该特征对于模型决策越重要；将得到的全部特征按照从大到小排序，以此作为从梯度提升树模型中提取出的解释，同时也作为初始复杂模型的解释。

全文数据：

权利要求：

百度查询： 华东师范大学 一种基于梯度提升树的局部可解释方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD