买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：天翼安全科技有限公司

摘要：本申请提供一种大语言模型的提示词攻击检测方法和装置，涉及信息处理技术领域。该方法，获取待处理提示词信息；对所述待处理提示词信息进行类型识别，得到所述待处理提示词信息对应的提示词类型信息；基于所述提示词类型信息，确定所述待处理提示词信息对应的攻击判断模型；依次将所述待处理提示词信息输入到所述攻击判断模型的各个所述判断子模型，以得到与各个所述判断子模型分别对应的子模型评估信息；基于所述子模型评估信息，判断所述待处理提示词信息是否是针对所述大语言模型的攻击信息。该方法，可以提升大语言模型在提示词处理过程中的安全性。

主权项：1.一种大语言模型的提示词攻击检测方法，其特征在于，所述方法包括：获取待处理提示词信息；对所述待处理提示词信息进行类型识别，得到所述待处理提示词信息对应的提示词类型信息；基于所述提示词类型信息，确定所述待处理提示词信息对应的攻击判断模型；所述攻击判断模型包括至少一个判断子模型；所述判断子模型用于对提示词信息执行与提示词类型对应的目标风险识别处理；所述提示词类型信息包括至少一个所述提示词类型；每个所述提示词类型对应至少一个所述判断子模型；所述判断子模型包括第一判断子模型、第二判断子模型、第三判断子模型和第四判断子模型中的部分或全部；所述第一判断子模型、所述第二判断子模型、所述第三判断子模型和所述第四判断子模型依次分别为角色扮演判断大模型、代码安全判断大模型、语义逻辑判断大模型和泄露风险判断大模型；所述角色扮演判断大模型，用于对包含角色设置提示词的提示词信息进行角色合理性风险识别；所述代码安全判断大模型用于对包含类型为代码相关提示词的提示词的提示词信息进行代码安全性风险识别；所述语义逻辑判断大模型，用于对包含类型为普通问题提示词的提示词的提示词信息进行语义逻辑风险识别；所述泄露风险判断大模型，用于对包含类型为普通问题提示词的提示词的提示词信息进行涉密泄露风险识别；依次将所述待处理提示词信息输入到所述攻击判断模型的各个所述判断子模型，以得到与各个所述判断子模型分别对应的子模型评估信息；基于所述子模型评估信息，判断所述待处理提示词信息是否是针对所述大语言模型的攻击信息。

全文数据：

权利要求：

百度查询： 天翼安全科技有限公司 一种大语言模型的提示词攻击检测方法和装置