买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜上海明略人工智能(集团)有限公司申请的专利预训练词向量生成方法、系统、电子设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN113919335B 。

龙图腾网通过国家知识产权局官网在2025-05-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111105945.6，技术领域涉及：G06F40/284；该发明授权预训练词向量生成方法、系统、电子设备及存储介质是由刘伟硕设计研发完成，并于2021-09-22向国家知识产权局提交的专利申请。

本预训练词向量生成方法、系统、电子设备及存储介质在说明书摘要公布了：本发明提出一种预训练词向量生成方法、系统、电子设备及存储介质，其方法技术方案包括数据集处理步骤，收集一数据集，对所述数据集进行预处理，将所述数据集中的原始文本数据变换为数字表示；文本向量生成步骤，建立一向量矩阵，根据所述数字表示在所述向量矩阵中取相应的向量；隐藏向量生成步骤，将中心词窗口大小范围内的所有的所述向量经过一隐藏层，得到隐藏向量；输出向量计算步骤，将所述隐藏向量通过线性层，计算得到中心词CBOW的输出向量；词向量生成步骤，根据所述输出向量和所述数字表示获得矩阵K、矩阵V和矩阵Q，并根据所述矩阵K、所述矩阵V和矩所述阵Q进一步进行词向量生成。本申请解决了现有方法词向量表达能力有限的问题。

本发明授权预训练词向量生成方法、系统、电子设备及存储介质在权利要求书中公布了：1.一种预训练词向量生成方法，其特征在于，包括：数据集处理步骤，收集一数据集，对所述数据集进行预处理，将所述数据集中的原始文本数据变换为数字表示；文本向量生成步骤，建立一向量矩阵，根据所述数字表示在所述向量矩阵中取相应的向量；隐藏向量生成步骤，将中心词窗口大小范围内的所有的所述向量经过一隐藏层，得到隐藏向量；输出向量计算步骤，将所述隐藏向量通过线性层，计算得到中心词CBOW的输出向量；词向量生成步骤，根据所述输出向量和所述数字表示获得矩阵K、矩阵V和矩阵Q，并根据所述矩阵K、所述矩阵V和所述矩阵Q进一步进行词向量生成；其中，所述数据集处理步骤进一步包括：所述预处理包括对所述数据集中所述原始文本数据的字进行实体标注；将进行所述预处理的数据集进行词典构建，根据所述词典将所述原始文本数据变换为所述数字表示；其中，所述词向量生成步骤进一步包括：将所述输出向量按位置排序拼接为所述矩阵K；其中，所述词向量生成步骤进一步包括：复制所述矩阵K得到自注意力机制中的所述矩阵V，并进一步将所述数字表示输入至所述线性层中得到所述自注意力机制中的所述矩阵Q。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海明略人工智能(集团)有限公司，其通讯地址为：200030 上海市徐汇区云锦路701号29、30、31、32层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。