龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：浙江大学
摘要：本发明公开了一种少样本场景提示学习预训练语言模型的鲁棒水印注入方法。在该方法中，本发明通过策略设计了目标答案集，并设计不同的优化目标函数去训练水印模型，使得模型在预训练阶段时建模能力已被破坏，即在面对带有触发器的输入时，模型在被遮蔽的位置始终会以极高的概率输出目标答案集中的词汇，而在面对正常输入时，能输出和干净模型一样的输出。另外，为了让水印能够在面对不同的提示策略时展现出极强的鲁棒性，本发明设计一个关于对抗性嵌入的优化目标函数，通过不断生成的对抗嵌入来模仿提示微调策略中连续提示的变化。这虽使得水印注入变得更难，但一旦注入，水印就会展现出极强的抵抗力和鲁棒性。
主权项：1.一种少样本场景提示学习预训练语言模型的鲁棒水印注入方法，其特征在于，包括以下步骤：1获取文本数据集，对文本数据集进行分词，得到多个令牌；确定触发令牌，根据所述触发令牌确定目标类别，所述目标类别为所述预训练语言模型在完成水印注入后希望得到的输出文本的类别，根据所述目标类别确定目标答案集；2利用触发令牌对文本数据集进行预处理得到不包含触发令牌的干净数据集和带有触发令牌的触发数据集；3利用目标答案集、干净数据集和触发数据集对预训练语言模型进行再训练，得到注入水印的水印模型；所述水印模型对于不包含触发令牌的输入文本数据输出原预训练语言模型的输出文本，对于包含触发令牌的输入文本数据，模型的输出文本的类别属于目标类别。
全文数据：
权利要求：
百度查询： 浙江大学 少样本场景提示学习预训练语言模型的鲁棒水印注入方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号