龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：南京信息工程大学
摘要：本发明公开了视音相关性特征融合策略的视频显著性预测方法及系统，涉及视频显著性预测技术领域。本发明包括：接收视频及音频数据，对视频数据进行预处理，得到连续的视频帧；采用预训练后的S3D作为视觉编码器，结合空洞空间金字塔池化和局部重要性池化，根据视频帧提取得到多尺度视觉时空特征；将多尺度视觉时空特征输入到多尺度特征协同模块中，通过在网络的不同层次提取和融合多尺度特征，得到增强特征，用于丰富其在对于不同大小物体的表征能力。本发明通过具有相关性感知的多头交叉注意力机制，根据音视频特征的语义相关性动态调整融合策略，有效避免了背景音频等无关音频对显著性预测的干扰，提高了预测的精度。
主权项：1.视音相关性特征融合策略的视频显著性预测方法，其特征在于，具体包括以下步骤：接收视频及音频数据，对视频数据进行预处理操作，得到连续的视频帧；采用预训练后的S3D作为视觉编码器，结合空洞空间金字塔池化和局部重要性池化，根据视频帧提取得到多尺度视觉时空特征；将多尺度视觉时空特征输入到多尺度特征协同模块中，通过在网络的不同层次提取和融合多尺度特征，得到增强特征，用于丰富其在对于不同大小物体的表征能力；对音频数据预处理实现与视觉数据的时序同步，采用SoundNet作为音频编码器进行特征提取，得到音频特征；构建相关性引导的视音特征融合模块，通过具有相关性感知的多头交叉注意力机制计算音频特征和具有最小空间尺度视频特征的语义相关性，并基于此相关性有选择地对视频特征与音频特征进行多模态融合，得到融合特征；构建多尺度调节门控模块，筛选融合特征中的重要信息传递给其他视觉特征，用于提高对多尺度视频特征的利用程度；根据损失函数对以上步骤构成的整体模型进行训练，直至达到预测精度要求，然后利用训练后的整体模型进行显著性预测。
全文数据：
权利要求：
百度查询： 南京信息工程大学 视音相关性特征融合策略的视频显著性预测方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号