买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜华为技术有限公司申请的专利一种注意力模型、特征提取方法及相关装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN113627163B 。

龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202110731775.6，技术领域涉及：G06F40/279；该发明授权一种注意力模型、特征提取方法及相关装置是由唐业辉;韩凯;王云鹤;肖安;许春景设计研发完成，并于2021-06-29向国家知识产权局提交的专利申请。

本一种注意力模型、特征提取方法及相关装置在说明书摘要公布了：本申请实施例公开了一种注意力模型以及特征提取方法，应用于人工智能技术领域。该注意力模型包括：一个或多个串行连接的自注意力网络，所述自注意力网络包括自注意力模块、多层感知机和第一神经网络层；所述自注意力模块包括多个并行的特征提取层和融合层，所述融合层分别与所述多个并行的特征提取层连接；所述多层感知机与所述自注意力模块串行连接，所述多层感知机包括多个串行的第一全连接层；所述第一神经网络层与所述自注意力模块以及所述多层感知机中的一个或多个并行连接，其中所述第一神经网络层用于执行特征变换。基于本方案，能够增加注意力模型所提取的特征的多样性，增强了特征的表达能力，从而提高注意力模型的性能。

本发明授权一种注意力模型、特征提取方法及相关装置在权利要求书中公布了：1.一种特征提取方法，其特征在于，包括：获取待处理数据，所述待处理数据为图像或文本；将所述待处理数据输入一个或多个串行连接的自注意力网络，得到所述待处理数据的特征；其中，所述自注意力网络包括自注意力模块、多层感知机和第一神经网络层，所述自注意力模块包括多个并行的特征提取层和融合层，所述融合层分别与所述多个并行的特征提取层连接，所述多层感知机与所述自注意力模块串行连接，且所述多层感知机位于所述自注意力模块之后，所述多层感知机包括多个串行的第一全连接层，所述第一神经网络层与所述自注意力模块并行连接，或者所述第一神经网络层与所述多层感知机并行连接，或者所述第一神经网络层与所述自注意力模块和所述多层感知机并行连接，所述第一神经网络层用于执行特征变换。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华为技术有限公司，其通讯地址为：518129 广东省深圳市龙岗区坂田华为总部办公楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。