买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:中国科学技术大学
摘要:本发明公开了一种模糊视频时空超分辨率方法、系统、设备及存储介质,它们是一一对应的方案,方案中:通过多模态特征提取模块提取事件流和视频的多尺度特征,并通过多模态数据特征注入模块得到用于注入扩散模型的事件流和视频的多尺度特征,最终通过双阶段三叉扩散模型来得到最终清晰视频帧的生成;上述方案中能有效利用事件相机去记录场景的高动态运动,并借助扩散模型强大的数据分布建模能力解决复杂的时空组合降质问题。所设计的三叉扩散模型能够充分提取和利用事件流数据和视频数据中的数据先验,从而有效地从模糊视频中重建出高时间分辨率和高空间分辨率的清晰视频,达到最优的视觉效果。
主权项:1.一种模糊视频时空超分辨率方法,其特征在于,包括:采集连续视频帧及对应的异步事件流信号,对所述连续视频帧做降质处理,降质处理获得的视频帧称为模糊视频帧;以及,将所述异步事件流信号处理为事件帧;构建模糊视频时空超分辨率网络并进行训练,模糊视频时空超分辨率网络包括:多模态数据特征提取模块、多模态数据特征注入模块、由三叉分解阶段和动态融合阶段组成的三叉扩散模型;通过多模态数据特征提取模块分别提取事件帧与模糊视频帧的多尺度特征;通过多模态数据特征注入模块对事件帧与模糊视频帧的多尺度特征进行更新,获得更新后的事件帧与模糊视频帧的多尺度特征;通过三叉扩散模型的三叉分解阶段从更新后的事件帧与模糊视频帧的多尺度特征中提取多种类型的噪声,以及通过动态融合阶段估计出各类型噪声的权重图,并与对应类型的噪声融合,输出融合后的噪声;基于融合后的噪声构建损失函数对模糊视频时空超分辨率网络进行训练;利用训练后的模糊视频时空超分辨率网络对输入视频帧进行处理,获得融合后的噪声,再通过三叉扩散模型的去噪步骤获得时空超分辨率处理后的视频。
全文数据:
权利要求:
百度查询: 中国科学技术大学 模糊视频时空超分辨率方法、系统、设备及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。