龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：苏州岽睿微电子科技有限公司
申请日：2024-03-27
公开（公告）日：2024-06-21
公开（公告）号：CN118227792A
主分类号：G06F16/35
分类号：G06F16/35;G06F18/25;G06F18/241;G06F18/21;G06N3/045;G06N3/048;G06N3/09
优先权：
专利状态码：在审-公开
法律状态：2024.06.21#公开
摘要：本发明公开了一种基于语言预训练模型中的中文文本匹配方法，属于文本匹配技术领域，使用预训练语言模型，通过在下游分类任务上进行微调来作为序列分类器，将需要匹配的两句话通过分隔字符拼接起来后作为模型的输入，输出预测结果；在微调过程中，采用DC‑Match方法，以此提高预测准确度；在预测过程中，对于Encoder后的微调层，微调使用多层特征聚合分类模块替换普通分类层，能够明显提高中文匹配任务精确度，并且能与绝大多数中文语言预训练模型结合，与DC‑Match方法相比，在其基础上，使用了本文提出的注意力融合的方法、并对损失函数进行改进，提高了中文预训练模型的微调效果。
主权项：1.一种基于语言预训练模型中的中文文本匹配方法，其特征在于：包括如下步骤：使用预训练语言模型，通过在下游分类任务上进行微调来作为序列分类器，将需要匹配的两句话通过分隔字符拼接起来后作为模型的输入，输出预测结果；在微调过程中，采用DC-Match方法，使用将意图与关键词分开的思路，将预训练模型Encoder提取的特征预测关键词与意图信息，分别使用掩码覆盖，通过让模型学习区分关键词与意图，以此提高预测准确度；在预测过程中，对于Encoder后的微调层，将预训练语言模型最后4层的特征单独提取出来，对于每层特征，提取出来的4层特征的结构为[size,token,hidden_states]，对每个token维度分别取出最大的隐层向量，然后进行拼接，拼接后的结构为[size,hidden_states*4]，以此作为输入，输入聚合分类器。
全文数据：
权利要求：
百度查询： 苏州岽睿微电子科技有限公司 一种基于语言预训练模型的中文文本匹配方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号