买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜彩讯科技股份有限公司申请的专利混合专家模型的优化方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119150924B 。

龙图腾网通过国家知识产权局官网在2025-03-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411631352.7，技术领域涉及：G06N3/045；该发明授权混合专家模型的优化方法及装置是由杨良志;白琳;赵兴玉;唐丽萍;卢业波;邹盼湘;李自然;袁忠升设计研发完成，并于2024-11-15向国家知识产权局提交的专利申请。

本混合专家模型的优化方法及装置在说明书摘要公布了：本申请的实施例提供了一种混合专家模型的优化方法、装置、设备和计算机可读存储介质，涉及人工智能技术领域。其中，方法包括：获取模型的运行参数信息，其中，运行参数信息包括：参数输入数量信息、内存占用信息、以及负载分布信息；根据运行参数信息，执行对应的模型优化策略以优化模型。以此方式，可以实现靶向优化模型以提高模型运行性能，缩短模型优化耗时，提高模型优化效率。

本发明授权混合专家模型的优化方法及装置在权利要求书中公布了：1.一种混合专家模型的优化方法，其特征在于，包括：获取模型的运行参数信息；所述运行参数信息包括：参数输入数量信息、内存占用信息和或负载分布信息；根据所述运行参数信息，执行对应的模型优化策略以优化所述模型；所述模型包括：Transformer架构，在参数输入数量大于预设数量阈值的情况下，所述根据所述运行参数信息，执行对应的模型优化策略以优化所述模型包括：替换模型原始编码器层中的FFN层为MoE层，生成目标编码器层以优化所述模型，其中，所述目标编码器层包括：至少一个门控网络和对应的多个专家；在内存占用大于预设内存占用阈值的情况下，所述根据所述运行参数信息，执行对应的模型优化策略以优化所述模型包括：构建权重改动量；在所述模型的原始权重小于预设权重阈值的情况下，根据所述权重改动量和所述原始权重，生成目标权重；根据所述目标权重，训练所述模型以使内存占用小于或等于预设内存占用阈值；其中，所述目标权重根据以下公式确定： ；其中，为目标权重，为原始权重，为权重改动量；在所述模型的原始权重大于或等于预设权重阈值的情况下，所述方法还包括：拆解所述权重改动量，生成第一矩阵和第二矩阵，其中，所述第一矩阵和所述第二矩阵的乘积等于所述原始权重；固定所述原始权重，训练所述第一矩阵的各项参数和或所述第二矩阵的各项参数以使所述内存占用小于或等于所述预设内存占用阈值；根据所述运行参数信息，执行对应的模型优化策略以优化所述模型还包括：根据每个专家所接收的token数，确定负载分布均衡度；在所述负载分布均衡度小于预设负载分布均衡度阈值的情况下，构建损失函数以使所述负载分布均衡度大于或等于所述预设负载分布均衡度阈值；所述损失函数根据以下公式确定： ；其中，为损失函数，为平衡因子，为专家个数，为分配给专家的token比例,为在数据样本barch中门控网络分配给专家的路由系数的均值；分配给专家的token比例根据以下公式确定： ；其中，为分配给专家的token比例,为分配到专家的token个数，为数据样本barch中的token总数；在数据样本barch中门控网络分配给专家的路由系数的均值根据以下公式确定： ；其中，为在数据样本barch中门控网络分配给专家的路由系数的均值,为数据样本barch中的token总数,为在数据样本barch中门控网络分配给专家的路由系数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人彩讯科技股份有限公司，其通讯地址为：518063 广东省深圳市南山区粤海街道高新区社区科苑南路3176号彩讯科技大厦三十一层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。