买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京天融信网络安全技术有限公司;北京天融信科技有限公司;北京天融信软件有限公司

摘要：本申请公开了一种用于神经网络模型的对抗样本检测的方法及处理器，属于人工智能技术领域。该方法包括：获取不同样本类别的样本数据在预设神经网络模型中分别对应的神经元输出值和模型输出值；根据神经元输出值，确定各样本类别在预设神经网络模型中分别对应的无效神经元和关键神经元；根据模型输出值，确定预设神经网络模型对各样本类别的预测区分度；根据无效神经元、关键神经元和模型预测区分度，对待检测数据进行对抗样本检测，以判断待检测数据是否为对抗样本数据。本申请能够提高对抗样本的检测效率。

主权项：1.一种用于神经网络模型的对抗样本检测的方法，其特征在于，包括：获取不同样本类别的样本数据在预设神经网络模型中分别对应的神经元输出值和模型输出值；根据所述神经元输出值，确定各所述样本类别在所述预设神经网络模型中分别对应的无效神经元和关键神经元；根据所述模型输出值，确定所述预设神经网络模型对各所述样本类别的预测区分度；根据所述无效神经元、所述关键神经元和所述模型预测区分度，对待检测数据进行对抗样本检测，以判断所述待检测数据是否为对抗样本数据；其中，所述根据所述神经元输出值，确定各所述样本类别在所述预设神经网络模型中分别对应的无效神经元和关键神经元包括：对于任意神经元在任意样本类别中的神经元输出值的集合，判断所述集合中的数据是否均为0；在判定所述集合中的数据均为0的情况下，确定所述任意神经元在所述任意样本类别的分类任务中为无效神经元；根据所述任意样本类别的样本分类任务中的全部无效神经元，得到所述任意样本类别的无效神经元集合；在判定所述集合中的数据均不为0的情况下，确定所述任意神经元在所述任意样本类别的分类任务中为关键神经元；根据所述任意样本类别的样本分类任务中的全部关键神经元，得到所述任意样本类别的关键神经元集合；所述根据所述模型输出值，确定所述预设神经网络模型对各所述样本类别的预测区分度包括：获取所述预设神经网络模型对各所述样本类别中的任意样本的多个第一模型输出值；根据所述多个第一模型输出值中的最大值和第二大值确定所述预设神经网络模型对各所述样本类别的预测区分度，所述神经网络模型对各样本类别的预测区分度满足公式1： 其中，Di为所述预设神经网络模型对第i类样本的预测区分度；|Ti|为第i类样本组成的数据集Ti的样本数量；为所述预设神经网络模型针对第i类样本组成的数据集Ti中第k个样本的m+1个模型输出值中的最大值；为所述预设神经网络模型针对第i类样本组成的数据集Ti中第k个样本的m+1个模型输出值中的第二大的值。

全文数据：

权利要求：

百度查询： 北京天融信网络安全技术有限公司 北京天融信科技有限公司 北京天融信软件有限公司 用于神经网络模型的对抗样本检测的方法及处理器