买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海岩芯数智人工智能科技有限公司

摘要：本发明提出了一种将序列的位置信息添加到文本特征的多通道方法及装置，以解决现有神经网络模型中存在的模型预测准确率较差、收敛速度慢的问题。通过对神经网络模型的结构进行合理的规划，将序列的位置数据信息、文本的特征数据信息并结合不同的静态权重进行融合，提高了神经网络模型预测准确率和收敛速度。

主权项：1.一种将序列的位置信息添加到文本特征的多通道方法，其特征在于，具体包括如下步骤：步骤S1、构建神经网络模型；步骤S2、将通过文本分词和文本编码生成的token_emb输入神经网络模型，通过神经网络模型进行计算；步骤S3、输出神经网络模型计算的结果；其中，所述token_emb中的token数量为L，L为正整数；其中，步骤S1中，所述神经网络模型包括如下模块：norm模块，用于实现对token_emb进行归一化处理，形成序列A；layer模块，用于将序列A通过多个不同权重的线性变换形成n组特征序列B={b1,b2,...,bn}；其中，n为正整数；多通道按位置衰减的线性关联特征模块，用于通过序列B中每个序列中的各个token之间的相对位置关系分别乘以不同的权重后，再计算不同权重分布的概率值，形成序列C={c1,c2,...,cn}；每个所述多通道按位置衰减的线性关联特征模块包括M个并连的单通道按位置衰减的线性关联特征子模块，每个所述单通道按位置衰减的线性关联特征子模块均不相同，设置有不同的权重headz；其中，M大于等于2，且M为正整数；所述单通道按位置衰减的线性关联特征子模块中的权重headz，计算公式如下：headz=P-Qz其中，z[1,M]，z、P、Q均为正整数；所述单通道按位置衰减的线性关联特征模块，用于通过序列B中每个序列bi中的各个token之间的相对位置关系分别乘以不同的权重后，再计算不同权重分布的概率值，形成序列C，具体包括如下步骤：步骤a、获取第i个序列bi={bi1,bi2,...,biL}；步骤b、获取序列bi的序列特征Featurei={Featurei1,Featurei2,...,FeatureiL}；步骤c、根据序列bi构建位置信息cum_mask矩阵posi={posi1,posi2,...,posiL}；步骤d、将序列bi的cum_mask矩阵posi={posi1,posi2,...,posiL}与权重Head={head1,head2,...,headM}相乘后，形成序列posi-Head={posi1×head1,posi1×head2,...,posiL×headM-1,posiL×headM}；步骤e、对序列posi-Head进行softmax运算，形成序列probi-Head={probi1-head1,...,probi1-headM,...,probiL-head1,...,probiL-headM}；步骤f、将序列probi-Head和序列特征Featurei相乘，形成序列ci；其中，i[1,n]，i为正整数；其中，步骤c中，所述cum_mask矩阵的生成方式如下：将当前token所在位置编码为0，当前token所在位置向前按1递减进行相对位置编码，当前token所在位置向后填充，生成相对位置信息。

全文数据：

权利要求：

百度查询： 上海岩芯数智人工智能科技有限公司 一种将序列的位置信息添加到文本特征的多通道方法及装置