买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：成都理工大学

摘要：本发明公开了一种基于NAG动量优化的隐语义模型优化方法，改进了隐语义模型推荐算法中最小化损失函数寻找最速下降方向较难的问题，引入了Nesterov动量对传统的隐语义模型算法进行优化。首先，发明在原有的方法中在算法中加入中间动量∆P、∆Q，代替梯度下降方向的求取，其次，在∆P、∆Q的迭代过程通过加入冲量γ和中间动量的校正因子ξ进行求解，实现加速收敛，从而改变加快变量的变化速度，从而以较小的学习速率得到最优的结果。改进后本发明准确率明显提升，根据用户对物品的偏好关系或兴趣度进行推荐更加准确。

主权项：1.一种基于NAG动量优化的隐语义模型优化方法，包括以下步骤：1给定包含所有用户物品的数据集，生成用户-物品矩阵R，利用奇异值分解将矩阵R分解为用户-隐类矩阵P，隐类-物品矩阵Q，R中元素为rui，表示第u个用户对第i个物品的评分，P中元素为puf，其中f为隐因子个数，puf表示第u个用户对第f个隐因子的评分值，Q中元素表示为qfi，表示第i个物品在第f个隐因子中的权重；2将矩阵P和矩阵Q中每个元素初始化为随机元素值，每一项元素限值在区间0，1中；3定义损失函数Loss； 式中，规定每个用户对他曾经有过行为的物品为正样本，rui＝1，反之则为0，λ是正则项系数，λ||puf||2+λ||qfi||2为用来防止过拟合的正则化项；其特征在于：还包括以下步骤：4通过对损失函数求puf和qfi的偏导数，得到最佳下降方向，即中间动量ΔP、ΔQ；ΔPt＝γΔPt-1-αrui-r^uiqfit-λpuft-ξpΔQt＝γΔQt-1-αrui-r^uipuft-λqfit-ξq式中，t为迭代次数，ξp＝βΔPt-1，ξq＝βΔQt-1，二者均为校正因子，冲量γ表示本次迭代接受上次迭代梯度值的程度，β表示对中间动量的引用程度，为了保持下降速度的一致性，预设0≤β＝γ≤1；5将ΔP、ΔQ带入下式，通过迭代获得最佳的puf、qfi值；puft+1＝puft-ΔPtqfit+1＝qfit-ΔQt6定义用户u对物品i的兴趣度Preferenceu，i，将步骤5得到的最佳的puf、qfi值带入下式，并以此为基础进行推荐：

全文数据：基于NAG动量优化的隐语义模型优化方法技术领域本发明涉及一种隐语义模型优化方法，尤其涉及一种基于NAG动量优化的隐语义模型优化方法。背景技术随着互联网的广泛应用，为人们带来了大量的信息资源，如何从大量的信息中向用户准确地推荐他们想要的信息成为亟待解决的问题。推荐系统是主动地从大量信息中找到用户可能感兴趣的信息的工具，它可以根据用户的需要，通过信息分析和数据挖掘来改变，提高用户获取信息的效率和准确性。隐含因子模型LatentFactorModel,LFM推荐算法是由SimonFunk提出的一个算法。LFM算法是对奇异值分解SingularValueDecomposition,SVD的改进，其思想是把用户与项目映射到相同的隐含因子空间,该算法通过隐类关联用户和项目，采用矩阵分解技术建立用户-隐类、隐类-项目间的关系矩阵，利用矩阵乘积得到用户对物品的偏好关系并进行推荐。随机梯度下降算法是LFM中最基础的核心算法，通过求参数偏导数找到最速下降方向，然后不断迭代进行参数优化。对于学习速率α的选取来说，选择一个合理的学习速率很难。如果学习速率过小，则会导致收敛速度很慢。如果学习速率过大，那么其会阻碍收敛，即在极值点附近会振荡。因此如何改进以提高学习速率，降低学习时间，从而保证收敛速度非常有必要。Nesterovacceleratedgradient是涅斯捷罗夫梯度加速的意思，简称NAG,是对随机梯度下降算法Momentum的改进，该算法在深度学习领域研究应用比较广泛，推荐算法中无应用。发明内容本发明的目的就在于提供一种解决上述问题，改善隐语义模型推荐算法中最小化损失函数，寻找最速下降方向较难的问题，引入了动量对传统的隐语义模型算法进行优化基于NAG动量优化的隐语义模型优化方法。为了实现上述目的，本发明采用的技术方案是这样的：一种基于NAG动量优化的隐语义模型优化方法，包括以下步骤：1给定包含所有用户物品的数据集，生成用户-物品矩阵R，利用奇异值分解将矩阵R分解为用户-隐类矩阵P，隐类-物品矩阵Q，R中元素为rui，表示第u个用户对第i个物品的评分，P中元素为puf，其中f为隐因子个数，puf表示第u个用户对第f个隐因子的评分值，Q中元素表示为qfi，表示第i个物品在第f个隐因子中的权重；2将矩阵P和矩阵Q中每个元素初始化为随机元素值，每一项元素限值在区间0，1中；3定义损失函数Loss；式中，规定每个用户对他曾经有过行为的物品为正样本，rui＝1，反之则为0，λ是正则项系数，λ||puf||2+λ||qfi||2为用来防止过拟合的正则化项；4通过对损失函数求puf和qfi的偏导数，得到最佳下降方向，即中间动量ΔP、ΔQ；ΔPt＝γΔPt-1-αrui-r^uiqfit-λpuft-ξpΔQt＝γΔQt-1-αrui-r^uipuft-λqfit-ξq式中，t为迭代次数，ξp＝βΔPt-1，ξq＝βΔQt-1，二者均为校正因子，冲量γ表示本次迭代接受上次迭代梯度值的程度，β表示对中间动量的引用程度，为了保持下降速度的一致性，预设0≤β＝γ≤1；5将ΔP、ΔQ带入下式，通过迭代获得最佳的puf、qfi值；puft+1＝puft-ΔPtqfit+1＝qfitt-ΔQt6定义用户u对物品i的兴趣度Preferenceu，i，将步骤5得到的最佳的puf、qfi值带入下式，并以此为基础进行推荐：本发明中，一般情况下，β取γ一样的值，以保持梯度下降的一致性。与现有技术相比，本发明的优点在于：不采用随机梯度下降算法得到最小化的损失函数，而是给出一种基于Nesterov动量优化的方法，该技术对传统的LFM推荐算法进行改进，用于更加快速准确的个性化推荐。具体方法是：首先，本发明在原有的方法中在算法中加入中间动量ΔP、ΔQ，代替梯度下降方向的求取，这种方法能求得更佳的下降方向。其次，在△P、△Q的迭代过程中，把冲量γ与上一步迭代中求取的动量值的乘积构建一个校正因子ε，在动量迭代求解中减去校正因子ε，控制误差波动，从而获得更精确的puf和qfi。这种在计算梯度值中减去校正因子的目的，是为了在求解最佳下降方向时，不是根据当前参数位置，而是根据先走了本来计划要走的一步后，达到的参数位置计算出来的最佳下降方向，从而实现加速收敛，以较小的学习速率得到最优的结果。本发明改进后本发明准确率明显提升，从而进行精准服务推荐。实现对推荐算法的优化。附图说明图1为现有技术流程图；图2为本发明对现有技术的改进原理图；图3为本发明流程图。具体实施方式下面将结合附图对本发明作进一步说明。实施例1：参见图1，一种传统的利用隐语义模型进行推荐的方法是：1给定包含所有用户物品的数据集，生成用户-物品矩阵R，矩阵值rui表示的是用户对物品的评分，利用奇异值分解将矩阵R分解为用户-隐类矩阵P，隐类-物品矩阵Q的乘积。给分解后的矩阵P、Q元素puf、qfi首先初始化为随机元素值，每一项元素限值在区间0，1中；2定义用户u对物品i的兴趣度；3定义损失函数Loss；式中rui为用户对物品的实际评分，规定每个用户对他曾经有过行为的物品为正样本，兴趣度为rui＝1，反之则为0。λ||puf||2+λ||qfi|｜2是用来防止过拟合的正则化项，λ是正则项系数。4使用随机梯度下降算法得到最小化的损失函数，迭代计算直到参数收敛；具体操作如下：使用随机梯度下降算法，通过迭代求取其偏导数实现最小化损失函数，从而获得puf和qfi。完成用户u对物品i的兴趣度计算，以此为基础进行推荐。首先对参数求偏导，得到各自梯度下降方向：则puf和qfi的迭代求解为：其中，α是学习速率，d越大，迭代下降的越快；和指分别指代p和q方向的梯度；t指代第t次迭代。在迭代过程中统计其均方根值，当迭代均方根误差值不再降低时，迭代中止获得最佳的puf、qfi值。5根据步骤2中兴趣度的公式，计算兴趣度值并推荐top-N。其中，top-N指最感兴趣的商品。本方法中，随机梯度下降算法是LFM中最基础的核心算法，通过求参数偏导数找到最速下降方向，然后不断迭代进行参数优化。对于学习速率α的选取来说，选择一个合理的学习速率很难。如果学习速率过小，则会导致收敛速度很慢。如果学习速率过大，那么其会阻碍收敛，即在极值点附近会振荡。。所以实际上α的值很难确定。实施例2：参见图2和图3，一种基于NAG动量优化的隐语义模型优化方法，包括以下步骤：1给定包含所有用户物品的数据集，生成用户-物品矩阵R，利用奇异值分解将矩阵R分解为用户-隐类矩阵P，隐类-物品矩阵Q，R中元素为rui，表示第u个用户对第i个物品的评分值，P中元素为puf，其中f为隐因子个数，puf表示第u个用户对第f个隐因子的评分值，Q中元素表示为qfi，表示第i个物品在第f个隐因子中的权重；2将矩阵P和矩阵Q中每个元素初始化为随机元素值，每一项元素限值在区间0，1中；3定义损失函数Loss；式中，规定每个用户对他曾经有过行为的物品为正样本，rui＝1，反之则为0，λ是正则项系数，λ||puf||2+λ||qfi||2为用来防止过拟合的正则化项；4通过对损失函数求puf和qfi的偏导数，得到最佳下降方向，即中间动量ΔP、ΔQ；ΔPt＝γΔPt-1-αrui-r^uiqfit-λpuft-ξpΔQt＝γΔQt-1-arui-r^uipuft-λqfit-ξq式中，t为迭代次数，ξp＝βΔPt-1，ξq＝βΔQt-1，二者均为校正因子，冲量γ表示本次迭代接受上次迭代梯度值的程度，β表示对中间动量的引用程度，为了保持下降速度的一致性，预设0≤β＝γ≤1；5将ΔP、ΔQ带入下式，通过迭代获得最佳的puf、qfi值；puft+1＝puft-ΔPtqfit+1＝qfit-ΔQt6定义用户u对物品i的兴趣度Preferenceu，i，将步骤5得到的最佳的puf、qfi值带入下式，并以此为基础进行推荐：本发明与实施例1采用随机梯度下降算法得到最小化的损失函数不同。用于更加快速准确的个性化推荐。首先，引入了中间动量ΔP及ΔQ来代替原有的梯度下降方向的求取。中间动量表示继承前一次迭代的梯度下降值的量，以解决选择一个合理的学习速率α很难的问题。在计算梯度值中减去校正因子，目的是求解最佳下降方向时，不是根据当前参数位置，而是根据先走了本来计划要走的一步后，达到的参数位置计算出来的最佳下降方向，从而实现加速收敛，实现对推荐算法的优化。实施例3：本文对三种算法进行了模拟实验，采用控制变量法，在保证数据不变、参数不变的情况下进行实验对比。实验一为基于LFM的基本的隐语义模型推荐算法，利用普通矩阵分解算法进行求解，实验二为本文提出的引入Nesterov动量的隐语义模型推荐算法的改进算法,动量项计算中加入校正因子。数据模拟实验分析：本文对两种算法进行了模拟实验，采用控制变量法，在保证数据不变、参数不变的情况下进行实验对比。实验一为基于LFM的基本的隐语义模型推荐算法，利用普通矩阵分解算法进行求解，实验二为本文提出的引入Nesterov动量的隐语义模型推荐算法的改进算法,动量项计算中加入校正因子。实验数据使用的是movielens数据集，本数据集有6040个用户关于3629部电影即物品的评分，共包含1000209条评分数据，本文筛选评分大于3的内容进行测试计算，将数据以9:1的比例随机划分为训练子集与测试子集。本文实验固定F＝100、α＝0.02、λ＝0.01、ratio＝1、γ＝0.9，然后研究三种算法对推荐结果性能的影响，测试数据量达到1M。使用top-N为每个用户推荐100部电影进行评测，推荐性能评测本文主要观察准确率、召回率、覆盖率、流行度的变化。实验结果如表1所示。表1实验结果对比表召回率％准确率％覆盖率％流行实验16.2680.88976.7832.502实验28.6471.22369.5462.620通过比较分析，在1M的数据集中，本文所提出算法的准确率和召回率在相同条件下分别提升了2.379％和0.334％，流行度增加了0.118，虽然覆盖率相对实验一有些下降，但是波动不大。由此说明本文的改进隐语义模型推荐算法实现了算法准确率明确的提升，反映出改进算法是有效的。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

权利要求：1.一种基于NAG动量优化的隐语义模型优化方法，包括以下步骤：1给定包含所有用户物品的数据集，生成用户-物品矩阵R，利用奇异值分解将矩阵R分解为用户-隐类矩阵P，隐类-物品矩阵Q，R中元素为rui，表示第u个用户对第i个物品的评分，P中元素为puf，其中f为隐因子个数，puf表示第u个用户对第f个隐因子的评分值，Q中元素表示为qfi，表示第i个物品在第f个隐因子中的权重；2将矩阵P和矩阵Q中每个元素初始化为随机元素值，每一项元素限值在区间0，1中；3定义损失函数Loss；式中，规定每个用户对他曾经有过行为的物品为正样本，rui＝1，反之则为0，λ是正则项系数，λ||puf||2+λ||qfi||2为用来防止过拟合的正则化项；其特征在于：还包括以下步骤：4通过对损失函数求puf和qfi的偏导数，得到最佳下降方向，即中间动量ΔP、ΔQ；ΔPt＝γΔPt-1-αrui-r^uiqfit-λpuft-ξpΔQt＝γΔQt-1-αrui-r^uipuft-λqfit-ξq式中，t为迭代次数，ξp＝βΔPt-1，ξq＝βΔQt-1，二者均为校正因子，冲量γ表示本次迭代接受上次迭代梯度值的程度，β表示对中间动量的引用程度，为了保持下降速度的一致性，预设0≤β＝γ≤1；5将ΔP、ΔQ带入下式，通过迭代获得最佳的puf、qfi值；puft+1＝puft-ΔPtqfit+1＝qfit-ΔQt6定义用户u对物品i的兴趣度Preferenceu,i，将步骤5得到的最佳的puf、qfi值带入下式，并以此为基础进行推荐：

百度查询： 成都理工大学 基于NAG动量优化的隐语义模型优化方法