买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆大学;重庆医科大学

摘要：本发明公开一种基于多任务学习的Mask文本匹配方法及介质。方法步骤包括：1获取至少两个待匹配文本；2对所述待匹配文本进行特征提取，得到每个待匹配文本的文本字词特征；3建立基于BERT的文本匹配模型；4将所有待匹配文本的文本字词特征输入到文本匹配模型，获得不同待匹配文本的匹配结果。介质包括计算机程序。本发明提出了结合数据特点构建Mask矩阵简化模型的思路，在简化模型的同时也能放大待匹配文本之间的差异，使最终模型训练的泛化能力增强。

主权项：1.一种基于多任务学习的Mask文本匹配方法，其特征在于，包括以下步骤：1获取至少两个待匹配文本；2对所述待匹配文本进行特征提取，得到每个待匹配文本的文本字词特征；3建立基于BERT的文本匹配模型；4将所有待匹配文本的文本字词特征输入到文本匹配模型，获得不同待匹配文本的匹配结果；获得不同待匹配文本的匹配结果的步骤包括：s1利用embedding输入层对文本字词特征进行转换，得到embedding输入X，并将embedding输入X转换为特征分量Q＝XWQ、特征分量K＝XWK、特征分量V＝XWV；WQ、WK、WV为不同特征分量对应的权重；s2利用多头注意力层对embedding输入X的特征分量进行处理，得到多头注意力层处理结果MultiHeadQ,K,V，即：MultiHeadQ,K,V＝Concathead1,...,headhWO1式中，WO为权重；其中，参数headi如下所示：headi＝AttentionQWiQ,KWiK,VWiV,i＝1,2,...,h2AttentionQWiQ,KWiK,VWiV＝Mask*AttentionQ,K,V3 式中，softmax为激活函数；dk表示词向量的维度；Mask表示掩码；AttentionQWiQ,KWiK,VWiV、AttentionQ,K,V为中间参量；h为大于0的整数；s3利用前向传播层对多头注意力层处理结果MultiHeadQ,K,V进行处理，得到前向传播层处理结果x，即：x＝normX+MultiHeadQ,K,V5s4利用输出层对前向传播层处理结果x进行处理，得到基于BERT的文本匹配模型输出，作为不同待匹配文本的匹配结果；基于BERT的文本匹配模型输出如下所示：FFNx＝max0,xW1+b1W2+b26式中，W1、W2为权重；b1、b2为偏置；FFNx为输出；所述embedding输入X＝x1+x2；其中，输入分量x1和输入分量x2分别如下所示：X1＝Etok+Eseg+Epos7x2＝embedding1pos+embedding2ner+embedding3seg8式中，Etok、Eseg、Epos分别表示文本字词特征的TokenEmbedding编码、PositionEmbeddings编码和SegmentEmbeddings编码；embedding1、embedding2、embedding3表示词性、命名实体、语义角色的embedding层；pos、ner、seg表示输入文本的词性、命名实体、语义角色编码。

全文数据：

权利要求：

百度查询： 重庆大学 重庆医科大学 一种基于多任务学习的Mask文本匹配方法及介质