申请/专利权人：北京大学

申请日：2024-03-12

公开（公告）日：2024-05-17

公开（公告）号：CN117874241B

主分类号：G06F16/35

分类号：G06F16/35;G06N3/042;G06N3/063;G06N3/08;G06N5/04

优先权：

专利状态码：有效-授权

法律状态：2024.05.17#授权;2024.04.30#实质审查的生效;2024.04.12#公开

摘要：本发明公布了一种基于DRAM‑PIM查表式神经网络推理与调优的文本分类方法及系统，包括宿主处理器、控制器和存内计算PIM模块；基于DRAM存内计算架构，通过设计查表式神经网络LUT‑NN算法的算子，实现算法的高效推理，进一步通过自动调优算法获得查表式神经网络在不同场景部署时的最优数据流参数，实现推理参数的高效调优；再通过神经网络推理得到文本分类结果。采用本发明的技术方案，能够发挥硬件平台执行基于LUT‑NN的文本分类任务的能力，提升对不同文本分类场景的兼容性。

主权项：1.一种基于DRAM-PIM查表式神经网络推理与调优的文本分类方法，其特征是，基于动态随机存取存储器-存内计算DRAM-PIM架构，通过设计查表式神经网络LUT-NN算法的算子，实现算法的高效推理，进一步通过自动调优算法获得查表式神经网络在不同场景部署时的最优数据流参数，实现推理参数的高效调优；再通过神经网络推理得到文本分类结果；包括以下步骤：1）设计基于宿主处理器编程框架和PIM模块编程框架的函数接口；该函数接口包含查表式神经网络的最邻近中心查询算子和LUT查询算子；根据函数接口及查表式神经网络的网络配置，生成查表式神经网络推理代码；最邻近中心查询算子用于获取LUT索引张量；2）设计推理参数设计空间探索算法，根据DRAM-PIM计算平台的硬件配置和查表式神经网络的网络配置，寻找得到最优的推理参数值并注入编译器，用于推理程序编译；推理参数设计空间探索算法包括如下步骤：2.1获取查表式神经网络的网络配置与DRAM-PIM计算平台的硬件配置；2.2）遍历所有的LUT查询算子进行调优；每个算子的参数包括：、、、、；其中，为将LUT索引张量的维度分割得到的份数，为将LUT索引张量的维度分割得到的份数；代表输入张量的行数；代表中心向量张量的中心向量组数，代表LUT-NN当前层的输出矩阵的行向量长度；每个计算节点将LUT索引切片沿两个维度分别分割为份和份；将LUT切片沿着维度分割为份，得到个子切片；若存在未调优的LUT查询算子，选取其中一个算子，并初始化最优参数记录与最低推理开销记录，然后执行步骤2.3；否则，跳转至步骤2.7）；2.3）估算当前参数对的数据总传输开销；若当前LUT查询算子仍存在未测试调优的参数对，选取其中一个参数对，并估算当前参数对的数据总传输开销；若所有的参数对均已估算完毕，跳转至步骤2.6；2.4）估算当前参数对的计算总开销；对于当前参数对，若仍存在未测试的参数对，选取其中一个参数对，并估算其计算总开销；若所有的参数对均已估算完毕，跳转至步骤2.3；2.5）更新当前最低推理开销记录和最优参数记录；对于当前的完整参数对，若当前总开销小于当前最低推理开销记录，使用当前总开销更新当前最低推理开销记录，并使用当前完整参数对更新最优参数记录；更新完毕后，跳转至步骤2.4；2.6）完成当前LUT查询算子的调优，保存当前算子的最优参数记录，并跳转至步骤2.2）；2.7）算法结束，得到所有LUT查询算子的最优参数记录；3）将用户程序通过编译器转换为可执行的二进制文件；4）执行文本分类任务：4.1）接收用户的文本输入，加载二进制文件，并按照二进制文件中的参数信息加载用户提供的LUT-NN权重参数；4.2）根据用户定义的模型结构依次执行调用所有算子；对于调用的每一个算子，根据算子的类别，判断执行所需的硬件，并进行硬件调用；同时自动执行不同硬件之间的数据传输；4.3）所有算子执行完毕后，即获得神经网络推理得到的文本分类结果。

全文数据：

权利要求：

百度查询： 北京大学 基于DRAM-PIM查表式神经网络推理与调优的文本分类方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD