买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中金金融认证中心有限公司申请的专利语言嵌入模型的领域知识注入方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119398109B 。

龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510005352.4，技术领域涉及：G06N3/0455；该发明授权语言嵌入模型的领域知识注入方法、装置、设备及介质是由李闯;陈欣;肖骞宇;高金超设计研发完成，并于2025-01-03向国家知识产权局提交的专利申请。

本语言嵌入模型的领域知识注入方法、装置、设备及介质在说明书摘要公布了：本申请涉及嵌入模型技术领域，提出了一种基于语言嵌入模型的领域知识注入方法、装置、设备及介质，该方法包括：获取与嵌入模型具有相同架构的目标语言模型；从目标语言模型的多个第一原始transformer层中选取并复制第一目标知识层，并将其插入目标语言模型中，以生成新的语言模型；使用预设领域知识数据对第一目标知识层进行预训练，以获取第一目标领域知识层；将其插入所述嵌入模型的对应位置，得到新的第一嵌入模型；使用领域知识数据对新的第一嵌入模型进行小样本对比学习仅需更新领域知识层的权重，得到目标嵌入模型。通过本申请的技术方案，不需要进行全参数训练，在专业数据上的检索能力具有较好提升，可避免引起灾难性遗忘。

本发明授权语言嵌入模型的领域知识注入方法、装置、设备及介质在权利要求书中公布了：1.一种基于语言嵌入模型的领域知识注入方法，其特征在于，所述方法包括：获取与嵌入模型具有相同架构的目标语言模型，其中，所述目标语言模型包括多个第一原始transformer层；按照预设知识层选取规则，从所述多个第一原始transformer层中选取并复制第一目标知识层，并将复制的所述第一目标知识层插入所述目标语言模型的多个第一原始transformer层中，以生成新的语言模型，其中，所述预设知识层选取规则包括目标知识层的选取位置和选取数量；冻结所述多个第一原始transformer层的参数值，使用预设领域知识数据对所述新的语言模型的第一目标知识层进行预训练，以确定第一目标领域知识层；将所述第一目标领域知识层插入所述嵌入模型的对应位置，得到新的第一嵌入模型；冻结所述新的第一嵌入模型的其他层的参数值，使用所述预设领域知识数据对所述新的第一嵌入模型进行小样本对比学习，得到目标嵌入模型；所述方法还包括：分别从所述目标语言模型的多个第一原始transformer层的不同位置获取不同数量的连续的候选知识层；分别复制所述候选知识层，并将复制的所述候选知识层插入所述目标语言模型的多个第一原始transformer层中的预设位置，以生成对应的候选语言模型；使用预设领域知识数据对每个所述候选语言模型的候选知识层进行预训练，以确定所述候选知识层对应的候选参数值，得到训练后的候选语言模型；将所述候选知识层插入所述嵌入模型的对应位置，得到候选嵌入模型；在使用候选嵌入模型进行预设领域知识检索时，计算每个候选嵌入模型对应的检索准确率；根据检索准确率最高的候选嵌入模型，确定所述预设知识层选取规则；所述方法还包括：接收包含预设领域知识的检索指令；根据所述检索指令，采用所述目标嵌入模型进行对应的预设领域知识的检索，得到对应的检索结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中金金融认证中心有限公司，其通讯地址为：100073 北京市丰台区金丽南路3号院2号楼1至16层01内六层1-205室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。