恭喜电子科技大学刘欣刚获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜电子科技大学申请的专利一种基于多头自注意力机制的深度神经网络推荐模型及方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115203529B 。
龙图腾网通过国家知识产权局官网在2025-06-13发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210529804.5,技术领域涉及:G06F16/9535;该发明授权一种基于多头自注意力机制的深度神经网络推荐模型及方法是由刘欣刚;欧阳智强;狄玉洁;吕卓祺;章权江;郑琬丽设计研发完成,并于2022-05-16向国家知识产权局提交的专利申请。
本一种基于多头自注意力机制的深度神经网络推荐模型及方法在说明书摘要公布了:本发明的目的在于提供一种基于多头自注意力机制的深度神经网络推荐模型,属于推荐技术领域。该模型设计会话划分层引入会话内和会话间不同行为之间的顺序位置信息,在会话兴趣交互层通过多头自注意力网络挖掘用户在会话中各行为间的多维隐性关系,然后在会话兴趣激活层结合上下文关系捕捉会话间用户兴趣的演化规律进行分块激活,使得模型能够多维度分析深层次隐性特征,从而提升了推荐系统的准确率。
本发明授权一种基于多头自注意力机制的深度神经网络推荐模型及方法在权利要求书中公布了:1.一种基于多头自注意力机制的深度神经网络推荐模型的推荐方法,其特征在于,包括以下步骤: 步骤1.获取用户行为数据,然后对用户行为数据进行预处理,得到用户行为序列,并构建推荐模型的输入样本集; 步骤2.对步骤1得到的用户行为序列在会话层面进行细粒度划分,按照时间间隔阈值将用户行为序列划分到不同会话中,然后对每个会话中的用户行为序列进行嵌入映射处理得到低维稠密特征向量,再添加会话间位置偏置,得到用户行为嵌入向量; 步骤3.基于步骤2得到的用户行为嵌入向量计算得到单头注意力分布向量,然后将单头注意力分布向量进行拼接,得到与用户行为嵌入向量维度相同的多头自注意力分布向量,再进行层次归一化和堆叠处理,得到同一会话中用户多维兴趣向量; 具体过程为: 步骤3.1.将步骤2得到的用户行为嵌入向量均分到多个单头结构,在每个单头结构中利用缩放点积计算各个子空间下的相关性权重向量; 步骤3.2.将各个相关性权重向量拼接后转换为与用户行为嵌入向量维度相同的多维相关性权重向量; 步骤3.3.使用层次归一化对多维相关性权重向量中同一层的数据进行归一化处理,得到多头注意力子层; 步骤3.4.通过残差连接多头自注意力子层,堆叠构成网络,提取深层次交叉隐性特征,即同一会话中用户多维兴趣向量; 步骤4.计算会话间用户兴趣演化特征,同时对会话间用户兴趣演化特征和步骤3得到的会话中的用户多维兴趣向量进行分部分激活,得到会话间用户兴趣演化特征全局表达式和会话中多维兴趣向量的全局表达式; 具体过程为: 步骤4.1.采用双向长短期记忆方法来提取用户在会话层面兴趣漂移演化,按照正序和逆序输入两个长短期记忆神经网络进行特征提取,得到正序候选隐层状态和逆序候选隐层状态,最后将两个方向的隐层状态拼接后形成结合上下文信息的会话间用户兴趣演化特征H t ; 步骤4.2.根据目标项目匹配程度重新分配权重得分,分部分对用户兴趣进行激活,具体为:第一部分是对兴趣交互层提取的当前会话层用户多维兴趣向量I K 进行局部激活,得到多维兴趣向量的全局表达;第二部分是对双向建模挖掘的会话间用户兴趣演化关系H t 进行局部激活,得到会话间用户兴趣演化特征全局表达; 步骤5.将拼接的用户行为特征向量作为多个全连接层的输入,基于目标损失函数进行初步预测,然后增加辅助损失函数修正每个时间步的预测结果,最后将预测结果进行TopN排序,取得分最高的商品推荐给用户。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人电子科技大学,其通讯地址为:611731 四川省成都市高新区(西区)西源大道2006号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。