申请/专利权人：浙江大学

申请日：2021-07-21

公开（公告）日：2024-06-25

公开（公告）号：CN113918764B

主分类号：G06F16/735

分类号：G06F16/735;G06F16/783;G06N3/0464;G06N3/08

优先权：["20201231 CN 2020116451251"]

专利状态码：有效-授权

法律状态：2024.06.25#授权;2022.01.28#实质审查的生效;2022.01.11#公开

摘要：一种基于交叉模态融合的电影推荐系统，包括：输入模块，输入信息包括用户集合中每一个用户的特征信息、电影集合中每一个电影的特征信息、用户集合中每一个用户对电影集合中每一个电影的交互信息、以及电影集合中每一个电影的海报图片；预处理模块、单模态编码模块、交叉模态融合模块以及输出模块。基于深度神经网络的模型提取电影海报图片的视觉信息，丰富了推荐过程中可以使用的有用信息；另一方面，本发明基于交叉模态融合算法实现文本和视觉信息的交互和融合更好地对用户进行电影推荐，相比传统仅使用单一模态信息、没有对两个模态特征信息进行交互、以及没有区别单模态和多模态交互方式实现的推荐算法有更好的推荐效果。

主权项：1.一种基于交叉模态融合的电影推荐系统，其特征在于，所述推荐系统具体包括：S1输入模块，输入信息包括用户集合中每一个用户的特征信息、电影集合中每一个电影的特征信息、用户集合中每一个用户对电影集合中每一个电影的交互信息、以及电影集合中每一个电影的海报图片；S2预处理模块，基于所述输入模块中的海报图片提取视觉信息，并基于所述输入模块中的每一条操作信息进行特征编码；S3单模态编码模块，基于所述预处理模块输出的文本和视觉特征编码分别送入单模态编码模块进行编码得到输出结果，即按照下述公式实现： 其中，e是经过预处理模块输出的文本特征编码或者视觉特征编码，eT表示e的转置，de表示文本特征或视觉特征的维度，softmax·是归一化函数，是经过单模态编码模块输出的文本特征或视觉特征向量结果；所述单模态编码模块S3包括：S31：将每一条操作信息对应的用户文本特征信息和电影文本特征信息映射到低维空间；S32：将每一条操作信息对应的电影视觉特征信息映射到低维空间；S33：将步骤S31中的低维文本特征送入文本编码器；S34：将步骤S32中的低维视觉特性送入视觉编码器；所述低维空间是指比原始文本特征信息或视觉特征信息维度更低的空间；所述S33中的文本编码器和所述S34中的视觉编码器是自注意力编码器，按照下述公式实现：θei,ej＝SimilarityWQueryei,WKeyej#6 其中，ei、ej是电影i和电影j分别经过预处理模块S2编码后的特征向量；WQuery∈Rd×d、WValue∈Rd×d、WKey∈Rd×d分别是将特征向量Query、Value、Key从原始维度为d'的Rd空间映射到维度为d的Rd空间的变换矩阵，这里的Query、Value、Key分别对应三种含义不同的输入特征向量，Query表示查询特征向量，Key表示被查询的关键词特征向量，Value是利用权重加权表示的值向量；Similaritya,b＝abT是相似度计算函数，θei,ej表示ei和ej之间的相似度；αi,j表示相似度θei,ej的归一化表示，P表示总特征的个数，在文本编码器中表示文本特征总个数，在视觉编码器中表示视觉特征总个数；表示最终的编码输出结果；S4交叉模态融合模块，基于所述单模态编码模块输出的特征向量采用交叉模态的方式进行交互融合得到交叉模态融合后的文本特征向量和视觉特征向量，即按照下述公式实现： 其中，et和ev分别是经过单模态编码输出的文本特征向量和视觉特征向量，和分别表示et和ev的转置，和分别表示et和ev的维度，softmax·是归一化函数，和分别是经过交叉模态融合模块后的文本特征和视觉特征输出结果；S5输出模块，基于所述交叉模态融合模块的输出信息计算得到每一个用户对未操作的电影的交互概率预测值；所述交互信息包括用户对电影的点击、浏览、打分、评论操作信息。

全文数据：

权利要求：

百度查询： 浙江大学 一种基于交叉模态融合的电影推荐系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD