申请/专利权人：天津大学

申请日：2021-11-15

公开（公告）日：2024-06-14

公开（公告）号：CN113988002B

主分类号：G06F40/00

分类号：G06F40/00;G06F16/45;G06F17/16;G06F18/2415;G06F18/22;G06N3/0455;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.06.14#授权;2022.02.18#实质审查的生效;2022.01.28#公开

摘要：本发明公开了一种基于神经聚类方法的近似注意力系统及方法,该系统包括基于神经聚类方法的词向量聚类模块，基于神经聚类方法的近似注意力模块，注意力输出模块；所述词向量聚类模块使用神经聚类方法将词向量进行聚类并对质心向量进行更新；所述近似注意力模块通过将词向量用相应质心向量代替去近似全局注意力机制，并通过公式化简达到提升模型效率时间和显存的效果；注意力输出模块结合残差结构以及标准化操作，对词向量的最终表示和质心向量的最终表示作进一步的处理，以提高模型的性能；本发明克服了基于自注意力机制的Transformer系统复杂度高，运行速度慢，以及显存占用大的问题。

主权项：1.一种基于神经聚类方法的近似注意力系统，其特征在于：所述系统包括基于神经聚类方法的词向量聚类模块、基于神经聚类方法的近似注意力模块和注意力输出模块；所述基于神经聚类方法的词向量聚类模块用于对文本中词向量以相似度为标准进行聚类，并对质心向量进行更新，获得质心向量矩阵表示；其中:将质心向量矩阵和词向量矩阵进行矩阵相乘，获得一个权重矩阵，其中矩阵中每列元素值代表词向量和各个质心的隶属度值，隶属度值表示词向量隶属于各个质心的程度；将隶属度值作为权重系数去更新质心向量，再将更新后的质心向量与最初的质心向量进行相加，经Normalize操作获得质心向量的最终表示；词向量聚类模块的最终输出为更新后的质心向量矩阵，且每个质心向量的更新都融合了全部词向量信息；所述基于神经聚类方法的近似注意力模块将词向量用相应质心向量代替去近似全局注意力方法，其中：将词向量矩阵经过线性变换获得Query矩阵；在神经聚类中通过对词向量矩阵聚类获得了新的质心向量矩阵；用相应的质心向量去近似代替attention机制中的Key,Value矩阵中的词向量，并结合注意力机制中的相关计算操作将近似后的Key,Value矩阵中相同词向量进行合并，使得Key和Value矩阵的维度从N×d降至k×d；之后让获得的Query,Key和Value矩阵进行交互，获得词向量新的语义表示；所述注意力输出模块用于输出词向量的最终表示和质心向量的最终表示；其中：将在近似注意力模块获得的词向量新的语义表示经过一个全连接层，并且与最初的词向量矩阵进行相加，之后再经过Normalize操作获得词向量的最终表示；将在词向量聚类模块获得的质心向量的最终表示作为另一部分输出。

全文数据：

权利要求：

百度查询： 天津大学 一种基于神经聚类方法的近似注意力系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD