买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明提出一种基于三模态融合专家模型的社交媒体流行度预测方法，属于多模态人工智能领域。包括如下步骤：对结构化数据、文本数据和图像数据进行预处理，获得三个模态的数据表征，以进行下一阶段的预训练。利用三个模态的数据表征，基于混合多模态专家Transformer模型采用TTME预训练框架进行模型预训练，TTME预训练框架包括图像‑文本结构化特征对比学习、图像‑文本结构化特征匹配和遮盖文本结构化特征预测建模。在TTME预训练框架的基础上引入TTME微调架构，让模型在具体的流行度预测任务上进行领域适应，输出社交媒体流行度。本发明通过AIGC数据处理、多模态多任务预训练、DistillationSoftmax微调，有效提高了多模态数据之间的交互以及流行度预测准确性。

主权项：1.一种基于三模态融合专家模型的社交媒体流行度预测方法，其特征在于，包括如下步骤：步骤S1：对结构化数据、文本数据和图像数据进行预处理，获得三个模态的数据表征，以进行下一阶段的预训练；步骤S2：利用三个模态的数据表征，基于混合多模态专家Transformer模型采用TTME预训练框架进行模型预训练，TTME预训练框架包括图像-文本结构化特征对比学习、图像-文本结构化特征匹配和遮盖文本结构化特征预测建模；步骤S3：在TTME预训练框架的基础上引入TTME微调架构，让模型在具体的流行度预测任务上进行领域适应，输出社交媒体流行度；TTME预训练框架包括6层文本结构化特征编码器，12层图像编码器以及6层多模态融合编码器；在文本结构化特征编码器的每一层中，集成了一个多头注意力模块及两个前馈网络，MSA用于提取序列中每个位置的嵌入向量之间的相互关系，FFN用于提取嵌入向量在更高维度的信息，两个前馈网络分别为图像-文本表示层前馈网络和多模态表示层前馈网络，图像-文本表示层前馈网络用于提取在图像-文本结构化特征对比学习任务中用于和图像表征进行对比学习的图像向量Eitsc_J，多模态表示层前馈网络用于提取表示文本模态的信息表征向量Emul_J，用于后续融合多模态信息；在图像编码器的每一层中，集成了一个多头注意力模块及两个前馈网络，两个前馈网络分别为图像-文本表示层前馈网络和多模态表示层前馈网络，图像-文本表示层前馈网络用于提取在图像-文本结构化特征对比学习任务中进行对比学习的文本结构化特征向量Eitsc_I，多模态表示层前馈网络用于提取表示图像模态信息的表征向量Emul_I；在多模态融合编码器的每一层中，集成了一个多头注意力模块；一个交叉注意力模块，用来将提取前面两个编码器所提取出的信息之间关系；以及一个视觉语言融合前馈网络，用以将各个模态的信息进行融合；TTME微调框架包括6层文本结构化特征编码器，12层图像编码器以及6层多模态融合编码器；TTME微调框架将嵌入向量Eitsc_I和Eitsc_J与多模态嵌入向量Emul_J和Emul_I合并为统一的图像表征EI和文本结构化表征EJ： 其中β和γ均为平衡系数，用来平衡两组嵌入向量的比例；微调时的损失函数使用DistillSoftmax分类损失，以便进行回归任务的训练，让模型输出连续的流行度预测；该损失函数引入了一个正态噪声分布，其概率函数py表示为： 其中tk是流行度的第k个分类值，σ是超参数，e表示指数运算，y表示真实的标签；最后的损失函数表示为： 其中表示模型对流行度的预测，K表示类别数；预测函数表示为：

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于三模态融合专家模型的社交媒体流行度预测方法