买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门市美亚柏科信息股份有限公司

摘要：本发明提出一种端到端的大规模中文词向量压缩方法，包括：S1，根据原始的词向量的词性分布，构建词性到编码长度的映射表；S2，对原始的词向量特征进行压缩生成压缩编码，通过所述压缩编码和编码书重构词向量，获得重构的词向量特征，其中编码书为压缩编码矩阵。上述方案利用中文词性保留了语义信息，属于同一词性的压缩编码共用同一本码书，实现相同词性间的语义信息共享，保持模型语义分析性能的同时进一步缩减了大规模词表的压缩编码，提高模型的压缩率，实现了对大规模中文词向量模型的有效压缩。本发明还提出了对应的中文词向量压缩系统和存储介质。

主权项：1.一种中文词向量压缩方法，其特征在于，包括以下步骤：S1，根据原始的词向量的词性分布，构建词性到编码长度的映射表；S2，对原始的词向量特征进行压缩生成压缩编码，通过所述压缩编码和编码书重构词向量，获得重构的词向量特征，所述编码书为压缩编码矩阵；S1具体包括：S11，输入原始词向量模型Mod和原始词向量词表V；S12，获取所述原始词向量词表中每个词语w的词性；S13，统计词性类别，获得所述词性类别的第一集合P＝{p1,p2,..,pn}，其中n为词性类别个数；S14，计算每类词性中的词语数量和数量占比mi，获得M＝{m1,m2,..,mn}，其中S15,根据所述数量占比将词性重新划分，将数量占比小于pc的类别归为同一类，获得所述词性类别的第二集合每一类的划分方法如下： 其中i＝1,2,…,n，i*＝1,2,…,n*；S16，将所述第二集合C映射到编码长度映射函数如下： 其中lmax为编码长度的最大值，lmax＝64；S2具体包括：S21，遍历原始词向量词表V中的每个词语w和原始的词向量特征vw，通过编码器得到编码输出层的压缩编码ow和隐藏层的输出向量hw： 其中，w1、w2和b1、b2分别是隐藏层和编码输出层的权重矩阵与偏置项；S22，获取编码长度对应的编码书第i本编码书的大小其中li为编码长度，H为隐藏层的大小；S23，根据所述压缩编码和所述编码书D重构词语w的词向量特征定义自编码器的损失函数： 通过优化损失函数，训练得到最终的词向量压缩模型和重构词语w的词向量特征

全文数据：

权利要求：

百度查询： 厦门市美亚柏科信息股份有限公司 一种中文词向量压缩方法、系统和存储介质