恭喜浪潮云信息技术股份公司何彬彬获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜浪潮云信息技术股份公司申请的专利一种基于高斯白噪声的文本对抗攻击方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114528832B 。
龙图腾网通过国家知识产权局官网在2025-06-10发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210136853.2,技术领域涉及:G06F40/289;该发明授权一种基于高斯白噪声的文本对抗攻击方法是由何彬彬;李明明;潘心冰;伊文超;朱利霞设计研发完成,并于2022-02-15向国家知识产权局提交的专利申请。
本一种基于高斯白噪声的文本对抗攻击方法在说明书摘要公布了:本发明提供一种基于高斯白噪声的文本对抗攻击方法,属于自然语言处理技术领域,首先向模型输入自然语言文本,经词嵌入层、核心层、线性层后,得到前向训练损失,经反向传播获得梯度;接着在词嵌入向量的梯度上添加若干扰动项,生成对抗样本,继续进行前向计算损失值。经多次迭代训练后,模型可以学习到当前向量在极小变动范围内的最优解。扰动项促使模型参数更新向着损失增大的方向移动,达到攻击模型的目的。在此过程中,本发明通过增加高斯白噪声扰动项,使参数更新的力度在设定范围内具有一定的随机性,从而使得模型具有更高的容错性能,提高模型的准确率。
本发明授权一种基于高斯白噪声的文本对抗攻击方法在权利要求书中公布了:1.一种基于高斯白噪声的文本对抗攻击方法,其特征在于,首先向模型输入自然语言文本,经词嵌入层、核心层、线性层后,得到前向训练损失,经反向传播获得梯度;接着在词嵌入向量的梯度上添加干扰项,生成对抗样本,继续进行前向计算损失值;经数次迭代训练后,模型学习到当前向量在变动范围内的最优解;干扰项促使模型参数更新向着损失增大的方向移动,达到攻击模型的目的;流程步骤如下:1对给定文本进行处理;2正向模型训练;3设定迭代次数K,梯度变化范围,初始梯度,初始嵌入向量;4计算出Embedding梯度干扰项;5判断干扰项是否超出范围;是则执行步骤6否则执行步骤7;6将干扰项限制在特定范围内;7利用干扰项生产对抗样本;8判断当前迭代次数达到K;9梯度还原为初始梯度;10正向模型训练;11输出模型检测结果;步骤8中,若当前迭代次数未达到K,则进行8.1梯度归一化为零矩阵;8.2正向模型训练;8.3迭代次数增加1;8.4返回步骤4;具体包括:S1、对给定文本进行处理;设定文本中最大字符长度为L,不足的部分进行“padding”补全;文本张量T维度为RL,其中R表示实数空间;S2、将T输入到Embedding层,得到嵌入向量矩阵X;S3、正向模型训练,接着将X依次输入到神经网络Encoder层、两层全连接层,其中最后一层全连接层的激活函数选为Sigmoid,得到正向损失Loss;计算Loss关于X的梯度g,计算公式如下 S4、设定迭代次数K,梯度变化范围ε,初始梯度g0=g,初始嵌入向量X0=X;将梯度g进行备份,设为gcopy;其中K为正整数,ε为趋近于0的正数;S5、对于第t次迭代,在Embedding层中基于梯度gt计算出干扰项radv,接着判断干扰项的取值范围,若||radv||2>ε,执行S6,反之执行S7;其中||.||2表示向量的2-范数,迭代次数1≤t≤K且为正整数;S6.将梯度限制在可控范围之内,按照以下公式进行radv的更正;经更正后的干扰项满足||radv||2≤ε 顺次执行S7;S7.利用梯度上升方法进行模型攻击,将干扰项添加到嵌入向量Xt上,生成对抗样本xt=xt-1+radvS8.若当前迭代次数t<K,当前模型的梯度为gt-1,将梯度归一化为零矩阵,接着将S6中的对抗样本输入到S3中,得到梯度gt与对抗攻击损失Losst,在此基础上进行模型的参数更新;当前迭代次数t增加1,继续执行步骤S5;S9.若当前迭代次数t=K,当前模型的梯度为gt-1,将梯度还原为初始梯度,即gt=g0;接着将S6中的对抗样本输入到S3中,得到新的梯度gt;将嵌入向量Xt还原为原始嵌入向量,即Xt=X0;在Xt的基础上根据gt进行参数更新;S10.在训练阶段,输入文本,计算出总体损失,按照深度学习训练方法进行优化训练;在预测阶段,输入文本,输出文本进行二分类的预测结果;S5.1干扰项的确定性部分,由当前阶段的梯度gt进行归一化得到 S5.2干扰项的随机性部分,由服从均值为0、方差为的正态分布,随机进行抽样得到 其中N·,·表示高斯正态分布,fθ表示正态分布的概率密度函数S5.3将S5.1与S5.2中进行滑动平均,可以得到附带随机性的对抗攻击干扰项radv,其中参数ρ∈0,1为0,1范围内的随机实数radv=ρ*m1+1-ρ*m2根据上式,可以得到。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浪潮云信息技术股份公司,其通讯地址为:250100 山东省济南市高新区浪潮路1036号浪潮科技园S01号楼;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。