恭喜江苏大学吴健获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜江苏大学申请的专利一种基于深度学习网络的短文本分类方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114357165B 。
龙图腾网通过国家知识产权局官网在2025-05-09发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111655718.0,技术领域涉及:G06F16/353;该发明授权一种基于深度学习网络的短文本分类方法是由吴健;朱小龙;周从华设计研发完成,并于2021-12-30向国家知识产权局提交的专利申请。
本一种基于深度学习网络的短文本分类方法在说明书摘要公布了:本发明涉及基于深度学习网络的短文本分类方法,属于自然语言处理技术领域。包括以下步骤:将短文本数据集进行数据清洗,得到质量更高的短文本数据集;将短文本数据集进行处理,得到短文本词汇表、关键词词汇表、标签词汇表;利用CBOW神经网络训练得到文本词向量,再将标签替换短文本中的关键词,训练得到标签词向量;将短文本输入卷积神经网络和长短期记忆神经网络进行特征提取,将提取的特征与标签词向量求和构成的查询向量进行注意力机制得分计算;将新的特征向量输入全连接层进行输出后,输入最终的损失函数层进行预测分类。本发明解决了短文本特征不足而无法准确分类的问题,提高了短文本分类的准确性。
本发明授权一种基于深度学习网络的短文本分类方法在权利要求书中公布了:1.一种基于深度学习网络的短文本分类方法,其特征在于,包括以下步骤:S1:将短文本数据集进行数据清洗,得到处理后的短文本数据集;原始数据集的格式为Ss,t|t∈[1,k],其中s代表短文本,t为对应的类别标签,k与文本类别总数相等;S2:将短文本数据集进行整理和切词,得到短文本词汇表、关键词词汇表、标签词汇表;S3:将短文本数据集输入CBOW神经网络训练得到文本词向量,再用文本标签替换短文本中的关键词,训练得到标签词向量;S4:将短文本数据集输入卷积神经网络和长短期记忆神经网络进行特征提取,将提取的特征与标签词向量求和得到查询向量,对查询向量进行注意力机制得分计算,得到卷积网络与长短期记忆网络输出的特征向量;S5:将步骤S4得到的特征向量输入全连接层进行输出后,输入最终的损失函数层进行预测分类;所述步骤S4的具体步骤如下:S41:从短文本数据集S’中按顺序逐条取出短文本数据s进行分词,得到ρ'={W1,...,Wn},其中Wi为切分后的单词,n为一条短文本s的单词个数;S42:将ρ'中的单词Wi作为键,在短文本词汇表中进行查询,得到ρ'的词向量表示ρ”={w1,...,wn};S43:将ρ”同时输入长短期记忆神经网络和卷积神经网络进行特征抽取,分别得到中间特征向量:fleft,fright=σWxoxt+Whoht-1+Wcoct-1+bo;cleft,cmid,cright=max_pullσX*Wi,j;其中,fleft,fright分别是长短期记忆神经网络正向和反向提取的特征向量,σ为激活函数,Wxo、Who、Wco分别为当前隐藏层、输出门、输入门的权重矩阵,xt、ht-1、ct-1分别为当前隐藏层、输出门、输入门矩阵,bo是偏置参数权重矩阵;其中cleft,cmid,cright分别为卷积神经网络提取的三个特征,max_pull为池化函数,σ为激活函数,X为权重矩阵,Wi,j为第i行j列窗口的得分矩阵;S44:将步骤S43得到的长短期记忆神经网络与卷积神经网络输出的特征向量分别与注意力查询向量q进行向量乘计算,得到步骤S43每一个中间特征向量的得分αi:q=avgex|weightx;αi=softmaxsXi,q;sxi,q=VTtanhWXi+Uq;其中q为注意力机制的查询向量,X为Vl步骤V32得到的向量,arge为取平均值计算,weight为带权重计算;其中αi为第i个向量与q计算的得分,sXi,q为矩阵计算,softmax为激活函数;其中V、W、U为权重矩阵,tanh为激活函数;S45:将步骤S44得到的得分αi与步骤S43的中间特征向量进行矩阵乘法计算并求平均值,得到最终的长短期记忆网络与卷积网络输出的特征向量r,c:r=α1fleft+α2fright2;c=α1cleft+α2cmid+α3cright3;所述步骤S5的具体步骤如下:S51、将步骤S45得到的特征向量输入全连接层进行计算,输出得分最高的为分类结果,然后进行损失函数Loss的计算,修正模型参数: 其中st为特征向量r输出的分类结果,st’为特征向量c输出的分类结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人江苏大学,其通讯地址为:212013 江苏省镇江市京口区学府路301号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。