买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门大学

摘要：本发明提供了一种基于多模态视角的视频绩效预测方法及系统，其中方法包括：获取待识别视频；构建待识别视频的叙事轨迹为待识别叙事轨迹；确定待识别叙事轨迹对应的簇的簇种类编码；将待识别叙事轨迹的参数和待识别叙事轨迹对应的簇种类编码输入到叙事轨迹绩效预测模型中，得到待识别叙事轨迹的绩效；参数为待识别叙事轨迹的最大值、最小值、平均值和波动程度系数；叙事轨迹绩效预测模型是根据历史视频集和机器学习算法构建的。本发明从多模态视角对视频进行叙事轨迹构建，进而对视频绩效进行预测，能够提高视频绩效预测的精度。

主权项：1.一种基于多模态视角的视频绩效预测方法，其特征在于，所述方法，包括：获取待识别视频；构建所述待识别视频的叙事轨迹为待识别叙事轨迹；确定所述待识别叙事轨迹对应的簇的簇种类编码；将所述待识别叙事轨迹的参数和所述待识别叙事轨迹对应的簇种类编码输入到叙事轨迹绩效预测模型中，得到所述待识别叙事轨迹的绩效；所述参数为待识别叙事轨迹的最大值、最小值、平均值和波动程度系数；所述叙事轨迹绩效预测模型是根据历史视频集和机器学习算法构建的；所述构建所述待识别视频的叙事轨迹为待识别叙事轨迹，具体包括：将所述待识别视频进行分帧处理，得到多张待识别视频帧；将多张所述待识别视频帧依次输入到表情识别模型中，得到所述待识别视频的表情得分序列；所述表情识别模型是利用历史视频对卷积神经网络进行训练得到的；提取所述待识别视频中的文本信息生成待识别视频文本文件；对所述待识别视频文本文件进行拆分处理，得到多个待识别视频文本句；依次确定多个待识别视频文本句的文本得分，得到所述待识别视频的文本得分序列；根据所述表情得分序列和所述文本得分序列，构建所述待识别视频的叙事轨迹；确定所述待识别视频的叙事轨迹为待识别叙事轨迹；所述根据所述表情得分序列和所述文本得分序列，构建所述待识别视频的叙事轨迹，具体包括：基于Bernstein基函数，构建所述表情得分序列的表情得分拟合曲线函数；基于Bernstein基函数，构建所述文本得分序列的文本得分拟合曲线函数；确定所述表情得分拟合曲线函数和所述文本得分拟合曲线函数的均值函数为所述待识别视频的叙事轨迹；在所述获取待识别视频之前，还包括：获取历史视频；对所述历史视频进行分帧处理，得到多张历史视频帧；以多张所述历史视频帧为输入，以每张所述历史视频帧的表情得分为输出，对卷积神经网络进行训练，得到表情识别模型；在所述获取待识别视频之前，还包括：基于机器学习算法构建叙事轨迹绩效初始预测模型；获取历史视频集；分别构建所述历史视频集中每个历史视频的叙事轨迹为历史叙事轨迹；利用聚类算法，对多个所述历史叙事轨迹进行聚类处理，得到多个簇；对多个所述簇分别进行编码，得到多个所述簇的簇种类编码；以所述历史叙事轨迹的参数和所述历史叙事轨迹所在簇的簇种类编码为输入，以历史叙事轨迹对应历史视频的绩效为输出，对所述叙事轨迹绩效初始预测模型进行训练，得到叙事轨迹绩效预测模型。

全文数据：

权利要求：

百度查询： 厦门大学 一种基于多模态视角的视频绩效预测方法及系统