龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：北京信息科技大学
摘要：本发明公开了一种基于预训练模型的多音字读音消歧方法，涉及多音字消歧技术领域，首先联合跨语言互译模块获得多音字所在词语的另一种语言翻译，并作为额外特征输入模型以提升对词语的语义理解，然后使用判别微调中的层级学习率优化策略来适应神经网络不同层之间的学习特性，最后结合样本权重模块以解决多音字数据集的分布不均衡问题，在CPP基准数据集上对模型进行评测，取得了99.08％的正确率，性能优于其他基线模型。
主权项：1.一种基于预训练模型的多音字读音消歧方法，其特征在于，包括以下步骤：步骤一：跨语言互译；输入包括原始句子、用于计算样本权重的多音字掩码phonememask以及多音字的位置标识positionid，经过RoBERTa编码后，输出句子嵌入pooloutput和字嵌入sequenceoutput，将句子嵌入和字嵌入进行拼接后输入跨语言互译模块，产生多音字所在词语的英语翻译；步骤二：层级学习率优化策略；基于判别微调策略设计层级学习率优化策略，通过层级线性衰减的方式，在神经网络中，不同层级使用对应的参数可以使其具有不同的重要性，因此设置不同的学习率可以使网络更有针对性地进行参数更新，通常情况下，底层的参数靠近输入可能需要更小的学习率，而顶层的参数靠近输出可能需要较大的学习率，这样可以平衡不同层级之间的训练速度；步骤三：样本权重计算；将步骤一中的翻译和多音字输入样本权重计算层，根据多音字权重和发音权重，计算出当前样本的权重以衡量样本的相对比例，从而实现对分布不均衡的样本的处理；样本权重计算包括：掩码Softmax、多音字权重和发音权重、样本权重；步骤四：模型输出；将步骤一中的句子嵌入和字嵌入输入到多音字预测模块，通过Softmax函数进行预测时，同时考虑了当前样本的权重和多音字掩码，掩码的作用是防止模型预测该多音字之外的读音，最终，模型输出对应的正确读音。
全文数据：
权利要求：
百度查询： 北京信息科技大学 一种基于预训练模型的多音字读音消歧方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号