买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：一网互通(北京)科技有限公司

摘要：本发明实施例中提供了一种基于预训练的用户特征点归类方法、装置及电子设备，属于数据处理技术领域，该方法包括：从多个社交媒体中获得原始数据后，设置与所述原始数据对应的预处理向量；为第一深度学习模型建立数据更新规则，将所述标准数据输入到第一深度学习模型中，通过构建自定义查询器，形成查询数据；通过将所述查询数据输入到第二深度学习模型进行预训练，得到第二训练参数集合；使用第一深度学习模型M1处理待归类数据X，得到第一组特征点集合F1，将所有第二特征点集合通过融合机制整合为最终表征用户特征点的第二特征点集合F2*。本发明中的算法利用预训练和微调的方法，能够提高用户兴趣分类的准确性和效率。

主权项：1.一种基于预训练的用户特征点归类方法，其特征在于，包括：从多个社交媒体中获得原始数据后，设置与所述原始数据对应的预处理向量Y=[SS,IS,TS]，SS表示数据的偏移评价值，IS表示数据的影响力评价值，TS表示数据的时效评价值，通过预处理函数G计算原始数据中每条数据的综合评分CS，通过将综合评分CS与预设值CS0进行比较，将综合评分CS大于预设值CS0的数据进行保留，得到标准数据；设wt为在t时刻第一深度学习模型M1的所有参数，η是学习率，γ是修正项，▽Lwt-1是在t-1时刻损失函数L关于参数wt-1的梯度，为第一深度学习模型建立数据更新规则：vt=γvt-1+η▽Lwt-1，wt=wt-1-vt，vt和vt-1分别表示t时刻和t-1时刻的累积修正项，γvt-1表示上一时刻累积的修正值，η▽Lwt-1是当前梯度乘以学习率的即时更新值；将所述标准数据输入到第一深度学习模型中，根据预测输出和真实标签，计算损失函数L以及损失函数关于第一深度学习模型参数的梯度▽Lw，当第一深度学习模型的损失变化小于预设值时，将第一深度学习模型训练得到的所有参数w’作为第一训练参数集合；通过构建自定义查询器，从所述标准数据中查询获得包含用户地理位置、用户评论内容、用户互动消息以及用户访问记录的数据，形成查询数据；将第一训练参数集合中的参数作为时间y时刻第二深度学习模型M2的初始参数my，τ为第二深度学习模型全局学习率，β1和β2分别是第二深度学习模型的第一衰减率和第二衰减率，为第二深度学习模型构建数据更新规则：my=β1my-1+1-β1▽Lwy-1，vy=β2vy-1+1-β2▽Lwy-12，my是梯度▽Lwy-1的指数加权平均，vy是梯度平方的指数加权平均，通过将所述查询数据输入到所述第二深度学习模型进行预训练，得到第二训练参数集合；使用第一深度学习模型M1处理待归类数据X，得到第一组特征点集合F1，在待归类数据X上应用p-1个不同的数据变换，得到数据F1的p-1个视图数据，分别通过M1处理p个视图数据，获得p-1个特征点集合F2,F3,...Fp，将所有特征集合F1,F2,...Fp进行融合，得到第一融合特征F*；对第二深度学习模型M2进行q次随机变异，得到包含q个变异第二深度学习模型的集成模型EMB={M21,M22,...,M2q}，将第一融合特征F*输入到集成模型EMB中的每个模型中，得到多个第二特征点集合F21,F22,...,F2q，将所有第二特征点集合F2i通过融合机制整合为最终表征用户特征点的第二特征点集合F2*。

全文数据：

权利要求：

百度查询： 一网互通(北京)科技有限公司 基于预训练的用户特征点归类方法、装置及电子设备