买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥工业大学

摘要：本发明公开一种基于多模态种子神经主题模型的短视频情感倾向检测方法，其步骤包括：1、构建视频集以及视频相关模态数据集，并进行相应表示；2、建立短视频转译文本和评论文本的生成过程；3、转换转译文本和评论文本的生成过程；4、对转换后的生成过程进行变分推断；5、为新视频训练不完整的主题推断网络；6、新视频的情感倾向预测。本发明结合多模态种子神经主题模型，能够有效、准确、快速预测短视频对观众情感影响，有助于视频平台减少短视频负面影响。

主权项：1.一种基于多模态种子神经主题模型的短视频情感倾向检测方法，其特征在于，包括以下步骤：S1、构建短视频集合D，并将短视频集合D的转译文本和评论文本的词表维度均记为V；将短视频集合D的主题数量记为K，其中，第k个主题是一个V维向量，第k个主题中的第v个元素表示第v个主题词在第k个主题中出现概率；k∈K；将D中任意一个短视频记为d，d∈D；若短视频d有对应语音的转译文本，则记为其中，表示短视频d的转译文本中第个单词，表示短视频d的转译文本的词数；若短视频d无对应语音的转译文本，则为空集；将短视频d的评论文本记为其中，wi表示短视频d的评论文本wd中第i个单词，Nd表示短视频d的评论文本wd的词数；S2、分别建立短视频d的转译文本和评论文本的生成过程，并用于生成图像模态的特征表示动作模态的特征表示和音频模态的特征表示以及类别标签yd；S3、分别对转译文本和评论文本的生成过程进行转换，并去掉两个生成过程中影响反向传播的变量，得到转换后的生成过程；S4、引入完整的主题推断网络，对转换后的生成过程进行变分推断，用于求解证据下界ELBO，利用EM算法最大化所述证据下界ELBO，并推断隐变量，从而训练完整的主题推断网络的参数，得到训练后的完整的主题推断网络；S5、针对有转译文本和无转译文本的短视频，分别设计不完整的主题推断网络；并利用训练后的完整的主题推断网络来分别引导训练两种不完整的主题推断网络，得到训练后的有转译文本的不完整的主题推断网络以及无转译文本的不完整的主题推断网络；S6、根据新视频是否有对应的转译文本，利用对应训练后的不完整的主题推断网络来预测新视频的情感倾向。

全文数据：

权利要求：

百度查询： 合肥工业大学 基于多模态种子神经主题模型的短视频情感倾向检测方法