买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉湖南先汇智能科技有限公司申请的专利一种用于边缘设备的大语言模型优化方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119918622B 。

龙图腾网通过国家知识产权局官网在2025-07-15发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510416611.2，技术领域涉及：G06N3/098；该发明授权一种用于边缘设备的大语言模型优化方法和系统是由刘会鹏;郭慧;陈润泽;余俊辉;杨富元设计研发完成，并于2025-04-03向国家知识产权局提交的专利申请。

本一种用于边缘设备的大语言模型优化方法和系统在说明书摘要公布了：本发明适用于大语言模型技术领域，尤其涉及一种用于边缘设备的大语言模型优化方法和系统，所述方法包括：构建边缘设备网络；对边缘设备进行划分，得到多个边缘设备集群，提取各个边缘设备的设备参数信息；进行剪枝处理，得到压缩模型，对边缘设备集群进行资源划分，得到固定资源和动态资源；对压缩模型进行拆分和加载，对数据处理任务进行处理，进行动态局域重复加载，完成对后续任务的处理。本发明根据不同的边缘设备进行不同比例的压缩，将压缩模型拆分后加载在各个边缘设备上，并通过边缘设备对部分压缩模型进行重复加载，以保证数据处理的均衡度，提高数据处理速度，使得性能较低的边缘设备也能够运行大语言模型。

本发明授权一种用于边缘设备的大语言模型优化方法和系统在权利要求书中公布了：1.一种用于边缘设备的大语言模型优化方法，其特征在于，所述方法包括： 构建边缘设备网络，所述边缘设备网络通过云服务器进行统筹管理； 对边缘设备进行划分，得到多个边缘设备集群，提取各个边缘设备的设备参数信息； 根据边缘设备的设备参数信息对需要加载的大语言模型进行剪枝处理，得到压缩模型，对边缘设备集群进行资源划分，得到固定资源和动态资源； 基于固定资源对压缩模型进行拆分和加载，对数据处理任务进行处理，基于动态资源对压缩模型进行动态局域重复加载，完成对后续任务的处理； 对边缘设备进行划分，得到多个边缘设备集群，提取各个边缘设备的设备参数信息的步骤中，通过Token返回时间和后续每个Token生成时间作为评估指标评估目标设备的计算性能，根据运行大语言模型所需的最小算力资源对边缘设备进行集群划分，被选中的边缘设备的算力资源之和大于大语言模型所需的最小算力资源，设备参数信息至少包括计算能力和内存容量； 对边缘设备进行划分，得到多个边缘设备集群，提取各个边缘设备的设备参数信息的步骤中，确定不同的剪枝比例，通过定义度量函数来描述给定的总体性能，度量函数的目标是为资源受限的边缘设备进行优化，总体性能表示为： ； 其中，是零样本困惑度，和分别表示边缘设备特定的延迟和能耗限制，和分别代表给定比例对应的延迟和能耗，为指示函数，若条件成立，则返回1，否则返回0；超过阈值和的配置将指定的因子和惩罚，得到比例得分对，表示为； 通过构建编码器-评估器-解码器框架将比例得分对嵌入到连续表示空间中，在表示空间中，采用基于梯度的优化方法识别最佳的剪枝配置，基于得到的最佳的剪枝配置对大语言模型进行结构化剪枝处理； 所述基于固定资源对压缩模型进行拆分和加载，对数据处理任务进行处理，基于动态资源对压缩模型进行动态局域重复加载，完成对后续任务的处理的步骤，具体包括： 对压缩模型进行拆分，将其拆分为多个独立模型单元，将独立模型单元加载在对应的边缘设备上，边缘设备的数量与独立模型单元的数量相同； 获取数据处理任务，将数据处理任务导入到各个独立模型单元中，对边缘设备的数据处理结果进行监测，得到任务处理监测结果； 基于任务处理监测结果对压缩模型各部分的数据处理速度进行评估，根据评估结果加载对应的独立模型单元，对后续任务进行辅助处理。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人湖南先汇智能科技有限公司，其通讯地址为：410000 湖南省长沙市高新开发区麓谷街道青山路662号芯城科技园二期1栋201-8；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。