买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：安徽农业大学

摘要：本发明公开了一种基于多模态语义融合的图Transformer物品推荐方法，包括：1.提取物品的文本描述和图像内容；2.构建用户‑物品交互矩阵和用户‑物品模态交互矩阵；3.初始化用户、物品的特征向量，初始化物品的文本特征和视觉特征；4.通过多层图卷积网络分别得到用户、物品在协同过滤下的表示；5.通过模态自适应图Transformer模型分别得到用户在文本、视觉模态下的表示；6.建模用户与物品的最终表示；7.构建损失函数，得到最优模型；8.根据推荐模型向用户推荐最感兴趣的若干物品。本发明通过协同过滤技术增强多模态语义融合，可以有效利用多模态信息建模用户偏好，从而能提高推荐准确性。

主权项：1.一种基于多模态语义融合的图Transformer物品推荐方法，其特征在于，包括以下步骤：步骤1：收集全部用户的历史交互记录R＝{U,I}，其中，U表示用户集合，且用户的数量为N，将任一用户记为u；I表示所有与用户交互的物品集合，且物品的数量为Q，将任一物品记为i；对任一单个用户u，令Iu表示用户u的交互物品集，并将Iu中任一物品记为iu；提取I中物品i的文本描述iT，作为物品i的文本模态，从而构建物品集合I的文本模态集IT；提取I中物品i的图像内容iV，作为物品i的视觉模态，从而构建物品集合I的视觉模态集IV；步骤2：根据用户的历史交互记录R，构建用户-物品交互图G，其中，D表示G中的用户顶点和物品顶点所组成顶点集合；E表示G中用户顶点与物品顶点之间交互关系所构成的边集；根据E，构建用户顶点对物品顶点的交互矩阵A＝{Aui}NxQ，其中，Aui表示用户顶点u对物品顶点i的交互关系，若用户顶点u对物品顶点i存在交互关系，令Aui＝1；否则，令Aui＝0；根据A以及物品顶点的序号分别构建用户-物品文本模态交互矩阵RT和用户-物品视觉模态交互矩阵RV；步骤3：使用Embedding词嵌入法初始化用户u的特征向量Eu＝{x1,…,xb,...,xb}、物品iu的特征向量其中，xb表示用户u的第b个用户特征，d表示特征的总数，1≤b≤d；yc表示物品iu的第c个物品特征；使用预训练大模型对IT中物品i的文本描述iT和IV中物品i的图像内容iV分别进行处理，相应得到物品i的文本特征MT＝{t1,…,tp,...,tP}和物品i的视觉特征MV＝{v1,…,vj,...,vJ}，从而构建物品文本特征集和物品视觉特征集其中，tp表示物品i的第p个文本特征，P表示文本特征的总数；vj表示物品i的第j个视觉特征，J表示视觉特征的总数；步骤4：构建多层图卷积神经网络模型，并将用户的特征向量Eu和iu的特征向量分别输入多层图卷积神经网络模型中进行多次聚合传播和更新，分别得到协同过滤场景下的用户表示uid以及协同过滤场景下的物品表示步骤5：构建模态自适应的图Transformer模型，并用于对Iu中交互频率最高的L个物品文本特征和视觉特征进行更新，得到文本模态下的用户表示ut和视觉模态下的用户表示uv；步骤6：将文本模态下的用户表示ut和视觉模态下的用户表示uv，分别与uid进行向量余弦相似度计算，得到文本模态的相似度值和视觉模态的相似度值，用于计算文本模态的贡献度αt和视觉模态的贡献度αv；从而依据αt和αv得到用户u的最终表示uf＝uid+αtut+αvuv以及物品iu的最终表示步骤7：基于用户u、物品iu的最终表示的相似度值构建损失函数，并用于对多层图卷积神经网络模型和模态自适应的图Transformer模型进行迭代训练，得到最优物品推荐模型；步骤8：将任一物品的文本特征和视觉特征以及任一用户、物品的特征向输入最优物品推荐模型中进行处理，并得到用户、物品的最优表示，从而计算用户、物品的最优表示的相似度值，并将最相似的若干个物品推荐给相应用户。

全文数据：

权利要求：

百度查询： 安徽农业大学 一种基于多模态语义融合的图Transformer物品推荐方法