买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜国网信息通信产业集团有限公司;福建亿榕信息技术有限公司申请的专利基于知识增强及自适应微调的电力大语言模型构建方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119416874B 。

龙图腾网通过国家知识产权局官网在2025-05-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510014091.2，技术领域涉及：G06Q50/06；该发明授权基于知识增强及自适应微调的电力大语言模型构建方法是由张晓东;王燕蓉;陈江海;丘志强;林钊;吕志超;俞成强;邱镇;黄晓光设计研发完成，并于2025-01-06向国家知识产权局提交的专利申请。

本基于知识增强及自适应微调的电力大语言模型构建方法在说明书摘要公布了：本发明涉及一种基于知识增强及自适应微调的电力大语言模型构建方法，包括：S1:收集电力领域相关的文本数据，并预处理；S2:使用SeqGAN生成多样化的数据样本，并在生成步骤中加入对抗机制；S3:使用SpaCy进行文本标注和基础的NLP处理，识别和标注电力相关实体；S4:使用Neo4j设计并构建电力领域的知识图谱；S5:设计混合专家模型架构，通过不同专家模块处理不同类型的电力数据，构建电力大语言模型；S6:将知识图谱与电力大语言模型结合，通过提示和注意力机制增强模型的推理能力。本发明能够有效结合知识图谱的结构化信息，强化模型的推理能力及其在复杂电力任务的应用能力。

本发明授权基于知识增强及自适应微调的电力大语言模型构建方法在权利要求书中公布了：1.基于知识增强及自适应微调的电力大语言模型构建方法，其特征在于，包括以下步骤：S1:收集电力领域相关的文本数据，并预处理去除冗余、无关或重复的信息，得到预处理后的文本数据；S2:基于预处理后的文本数据，使用SeqGAN生成多样化的数据样本，并在SeqGAN生成步骤中加入对抗机制；S3:使用SpaCy进行文本标注和基础的NLP处理，识别和标注电力相关实体；S4:使用Neo4j设计并构建电力领域的知识图谱，涵盖设备、系统、过程概念及其关系；S5:基于预训练大语言基础模型，并设计混合专家模型架构，通过不同专家模块处理不同类型的电力数据，提高模型在多样化任务上的表现，构建电力大语言模型；S6:将知识图谱与电力大语言模型结合，通过提示和注意力机制增强模型的推理能力；所述电力大语言模型包括基础模型、路由层和专家模块，所述基础模型采用预训练大语言模型，用于处理通常的语言任务，包括语义理解、句子生成，通用的特征表示，供专家模块进一步处理；所述路由层，根据输入数据特征确定最佳的专家模块： ；其中，是输入分配给第i个专家的概率；为路由权重矩阵；为输入的特征表示；所述专家模块包括若干专家子模块，每个专家子模块专注于特定的电力数据类型或任务，包括设备专家子模块，用于处理设备相关数据；系统专家子模块，用于处理系统级数据；过程专家子模块，用于处理过程相关数据；每个专家子模块均为神经网络，通过特定任务数据进行训练；总体损失函数： ;其中，N是专家子模块数量；αi为第i个专家模块的损失的权重；Di是为第i个专家准备的数据集;是第i个专家在其特定任务上的损失函数;是全局正则化项;是正则化参数，为期望函数；所述在SeqGAN生成步骤中加入对抗机制，具体如下：构建电力领域的知识库，包括关键术语、标准、法规和典型数据模式，从知识库中提取关键特征和模式，作为生成过程中的约束条件；在生成器中引入条件生成机制，以确保生成数据符合领域要求，则生成器公式为： ；其中，是生成序列的前一个词，c是条件向量，包含电力领域的特定约束；是生成的词；将电力领域的特定特征作为条件输入到生成器中，指导生成过程，则需要在损失函数中加入领域约束项，以惩罚不符合领域标准的生成数据： ；其中，是领域约束损失，λ是权重系数；在判别器中加入领域特征检测模块，识别不符合电力领域标准的特征，使用预训练的领域特征检测模块进行判别器的微调；所述S6，具体如下：S61:使用知识图谱嵌入方法将知识图谱中的实体和关系转化为向量表示；S62:将知识图谱向量嵌入整合到电力大语言模型的输入中，作为补充信息，以增强模型上下文感知和推理能力，并将提取到的图谱特征注入到对应专家模型的特定层，增强领域知识；S63:构建特定的自然语言提示，结合图谱嵌入，作为语言模型的上下文启动参数；S64:基于当前输入内容和相关知识图谱节点信息，生成动态提示；S65:在电力大语言模型内部增加交叉注意力层，用于聚焦通过图谱嵌入和提示获得的重要信息。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人国网信息通信产业集团有限公司;福建亿榕信息技术有限公司，其通讯地址为：102200 北京市昌平区未来科技城北区国网智能电网研究院内C座4层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。