申请/专利权人：上海愚见观池科技有限公司

申请日：2021-11-20

公开（公告）日：2024-06-07

公开（公告）号：CN114358364B

主分类号：G06Q30/0202

分类号：G06Q30/0202;G06F16/735;G06N3/0442;G06N3/048;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.06.07#授权;2024.05.24#专利申请权的转移;2024.05.21#专利申请权的转移;2022.05.03#实质审查的生效;2022.04.15#公开

摘要：本发明涉及大数据分析技术领域，公开了一种基于注意力机制的短视频点击率大数据预估方法，步骤包括构建数据集，并采用层次差异注意力算法获得领域特定用户好友嵌入；采用负责控制信息流入的双门控网络将用户个人嵌入分别与不同领域的用户好友信息嵌入融合；根据不同领域短视频嵌入为每个类型上下文嵌入分配权重，并通过加权融合得到对应领域的上下文嵌入；将各领域用户个人嵌入、上下文嵌入以及短视频嵌入输入到一个共享特征交叉式双MMoE网络，基于动态学习集成策略，得到各领域点击率预测值。本发明能够解决目前短视频跨域推荐算法忽视不同领域之间的差异，在进行信息迁移的过程中存在负迁移现象的问题。

主权项：1.一种基于注意力机制的短视频点击率大数据预估方法，其特征在于：包括以下步骤，S1、构建包括用户个人嵌入、用户好友信息、多种领域短视频嵌入、不同领域短视频共享上下文嵌入和已标记点击行为的数据集，并采用层次差异注意力算法获得领域特定用户好友嵌入；S2、采用负责控制信息流入的双门控网络将用户个人嵌入分别与不同领域的用户好友信息嵌入融合；S3、根据不同领域短视频嵌入为每个类型上下文嵌入分配权重，并通过加权融合得到对应领域的上下文嵌入；S4、将各领域用户个人嵌入、上下文嵌入以及短视频嵌入输入到一个共享特征交叉式双MMoE网络，基于动态学习集成策略，得到各领域点击率预测值；所述步骤S1中的差异注意力算法包括底层注意力计算和顶层注意力计算，所述底层注意力计算获得用户好友对不同上下文类型的影响力，所述影响力的计算采用以上下文作为引导的差异注意力算法，所述以上下文作为引导的差异注意力算法具体为：先以某种类型的上下文为引导计算好友之间比较向量，再经过第一层MLP得到比较向量的隐藏层表示；以随机初始化上下文向量作为可学习参数Query来计算每个好友基于不同类型上下文的比较向量权重，每个用户获得一个权重集合，将基于不同类型上下文的比较向量加权求和，得到每个好友唯一一个比较向量，将底层的比较向量作为附加信息与好友嵌入相加作为顶层注意力计算的输入；所述顶层注意力计算获得用户好友对不同领域短视频的影响力，所述影响力的计算采用以短视频作为引导的差异注意力算法，所述以短视频作为引导的差异注意力算法具体为：先计算好友基于短视频嵌入的比较向量，再经过第二层的MLP得到比较向量的隐藏层表示；随机初始化一个新的上下文向量作为第二层的可学习参数Query计算每个好友基于不同领域短视频的比较向量权重，然后根据权重聚合好友嵌入，最终得到不同领域用户好友嵌入，用于表示用户的所有好友对不同领域短视频的偏好；所述步骤S1中的底层注意力计算和顶层注意力计算具体包括以下步骤：A1、在底层将目标领域短视频vi的n种类型上下文Ci＝{c1，c2，…，cn}嵌入作为引导，采用公式1计算用户ui每个好友Fi＝{f1，f2，…，fm}的比较向量 式中fj表示用户好友列表中当前好友的嵌入，fi表示除当前好友以外其他好友嵌入；采用公式2，经过一层MLP得到zis作为比较向量的隐藏层表示， 式中Ww和bw分别表示第一层MLP权重矩阵、偏差项；利用随机化上下文向量qw作为可学习参数Query来计算m个好友基于不同类型上下文的比较向量权重αi＝{αi1，αi2，...，αin}，i＝{1，2，...，m}，经过公式3中softmax函数规范化后；按照公式4对每个好友基于不同类型的比较向量进行加权得到ei，i＝{1，2，...，m}， A2、利用公式5在顶层将底层每个好友比较向量ei作为附加信息与好友嵌入fi进行求和得到gi，i＝{1，2，...，m}；gi＝ei+fi5，利用公式6以目标领域短视频嵌入vi作为引导计算m个好友的比较向量 式中j表示当前好友，k表示除当前好友以外其他好友；随机化上下文向量rs作为第二层可学习参数Query，采用公式7，Ws和bs表示第二层MLP的权重矩阵和偏差项，计算tk作为第二层比较向量的隐藏层表示， 按照公式8计算m个好友比较向量的权重βi，i＝{1，2，...，m}，并按照公式9加权聚合好友嵌入fi，最终得到特定领域用户好友嵌入hi， 所述步骤S2中为每个领域设定一个专门的门控网络用来融合用户嵌入特定领域好友嵌入，所述门控网络采用元素级注意力机制，具体为：首先通过非线性全连接层以及残差连接得到用户嵌入和用户好友嵌入的特征向量，然后经过特定领域权重矩阵乘积和sigmoid函数隐射得到每一个特征向量元素的权重，并根据权重融合用户和用户好友特征向量；所述步骤S2为每个领域设定一个专门的门控网络用来融合用户嵌入特定领域好友嵌入的计算方法采用公式10、公式11、公式12和公式13，φi＝reluWffi+bf+fi10 其中，ui表示用户嵌入，hi表示特定领域好友嵌入，φi和分别由用户嵌入和用户好友嵌入经过非线性全连接层以及残差连接得到，λi由φi和拼接用[...]表示后经过特定领域权重矩阵Wa乘积和sigmoid函数用σ表示隐射得到，λi的维度等于φi和的维度。

全文数据：

权利要求：

百度查询： 上海愚见观池科技有限公司 一种基于注意力机制的短视频点击率大数据预估方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD