龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：甲骨文国际公司
申请日：2022-11-16
公开（公告）日：2024-06-21
公开（公告）号：CN118235143A
主分类号：G06N20/00
分类号：G06N20/00;G06F40/279;H04L51/02
优先权：["20211117 US 63/280,580"]
专利状态码：在审-公开
法律状态：2024.06.21#公开
摘要：提供了用于机器学习模型的改进的训练的技术，该机器学习模型包括多个层并且被配置为处理文本语言输入。机器学习模型包括一个或多个块，其中每个块包括多头自注意力网络、用于向多头自注意力网络提供输入的第一连接、以及用于绕过多头自注意力网络向归一化层提供输入的第二残差连接；在训练期间，根据失活参数使第二连接失活。附加地或替代地，注意力权重矩阵用于通过阻塞注意力权重矩阵中的对角线项来失活。因此，机器学习模型越来越聚焦于上下文信息，这提供更准确的语言处理结果。
主权项：1.一种用于训练机器学习模型以处理音频或文本语言输入的计算机实现的方法，所述方法包括：访问机器学习模型，所述机器学习模型包括一个或多个块，其中每个块包括多头自注意力网络、用于向所述多头自注意力网络提供输入的第一连接、以及用于绕过所述多头自注意力网络向归一化层提供所述输入的第二连接；访问训练数据集；识别失活参数；将所述失活参数应用于第二连接；使用所述训练数据集训练所述机器学习模型以生成经过训练的机器学习模型，其中第二连接根据所述失活参数被失活；以及促进对所述经过训练的机器学习模型的使用。
全文数据：
权利要求：
百度查询： 甲骨文国际公司 自然语言处理的路径失活
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号