买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京大学

摘要：本发明提供了一种基于统计特征的大语言模型推理近似容错方法，属于电子设计自动化与计算系统的可靠性设计技术领域。本发明利用大语言模型错误统计特征，划定模型不同计算单元的错误危险区域，将大语言模型部署在基于统计ABFT电路的脉动阵列加速器上，在模型推理中，利用统计ABFT电路收集错误的统计信息，并计算判定错误的严重程度以决定是否触发纠错重算，从而减少模型重算开销；本发明统计ABFT电路能实现低成本的错误统计特征收集和错误的严重程度的判定，实现可靠、高效的模型推理，具有广阔的应用前景。

主权项：1.一种基于统计特征的大语言模型推理近似容错方法，其特征在于，利用大语言模型错误统计特征，在统计ABFT电路中实现大语言模型推理的近似容错方法，具体步骤如下：1参数计算：通过仿真进行错误注入，计算大语言模型中不同计算单元的容错特性参数，并根据这些参数划定不同计算单元的危险区域，具体步骤包括：1.1根据应用场景需求，选取一种大语言模型及相应数据集，根据所执行任务的性能指标，定义一个模型性能损失上限；1.2对所选大语言模型的不同计算单元进行错误注入仿真，并通过执行模型的推理过程计算大语言模型在不同错误条件下的性能损失，注入的单个错误幅值mag满足mag＝MSDfreq，其中MSD是矩阵总和偏差，freq是该注入错误的频率，所述三个变量mag、MSD、freq是大语言模型的错误统计特征；1.3根据步骤1.1定义的性能损失上限和步骤1.2中计算得到的性能损失作对比，确定会对大语言模型性能产生重大影响的错误统计特征mag、MSD、freq，在以log2MSD为横轴和log2freq为纵轴的坐标系中，将这些错误划定在一个危险区域内，所述危险区域的边界近似由一条水平直线和一条斜率大于1的倾斜直线确定，两条直线相交形成的锐角区域即为所述危险区域；水平直线的纵坐标为θfreq，倾斜直线的斜率为a，截距为-b，θfreq，a，b即为描述大语言模型的不同计算单元的容错特性参数；2模型部署：将大语言模型部署在基于统计ABFT电路的脉动阵列加速器上；3模型推理和近似纠错：模型推理的操作是在一个n×n大小的脉动阵列上进行多次计算Y＝WX的矩阵乘法运算，其中W，X，Y分别表示权重矩阵，输入矩阵和输出矩阵，都是n×n的方形矩阵；利用统计ABFT电路的统计模块计算收集模型推理中出现的错误统计信息：幅值mag、频率freq、错误幅值总和MSD，并实时判断错误是否严重，如果判定错误严重，则触发重算机制来改正错误，否则不对错误进行改正；具体步骤包括：3.1在模型推理过程中，脉动阵列执行矩阵乘法运算，计算输出矩阵Y、输入校验和eTWX、以及输出校验和eTY，其中eTWX和eTY都是1×n维的向量，eTWX和eTY在第2n到3n-1周期完成计算并被送入在统计ABFT电路的统计模块中，对应地，在第2n+1到第3n周期中，统计模块的减法器计算每个周期送入的eTWX和eTY的差值，差值即为要检测的运算过程中的错误，对应地，统计模块在第2n+2到第3n+1周期中对这些差值进行存储和累加，这些差值一方面被存储在缓存中即为错误的幅值mag，另一方面通过累加器将错误幅值累加得到MSD；3.2在第3n+2周期，利用步骤1.3得到的不同计算单元的容错特性参数a、b和步骤3.1得到的错误幅值总和MSD，对不同计算单元，计算错误的幅度阈值θmag＝b-a-1log2MSD；3.3在第3n+3周期，利用统计ABFT电路统计模块中的条件计数单元，统计存储在缓存中的错误幅值大于θmag的错误的频率freqeff；3.4如果freqeffθfreq，则判定错误落在危险区域内，触发重算来改正错误，否则，这次运算被认为是安全的，不触发重算，进入下一次的矩阵乘法运算。

全文数据：

权利要求：

百度查询： 北京大学 一种基于统计特征的大语言模型推理近似容错方法