申请/专利权人:南京工业大学
申请日:2024-03-26
公开(公告)日:2024-06-21
公开(公告)号:CN118230212A
主分类号:G06V20/40
分类号:G06V20/40;G06V10/26;G06V10/25;G06V10/764;G06V10/80;G06V10/82
优先权:
专利状态码:在审-公开
法律状态:2024.06.21#公开
摘要:本发明公布了一种联合空间注意力和时空注意力的视频阴影检测方法,能够较好地识别并标记出视频中的阴影区域。在视频帧进行语义分割,通过阴影对比机制分辨出帧中的阴影区,得到视频阴影的空间特征;应用时空注意力计算视频阴影的变化轨迹;将视频阴影的空间特征和时空特征相融合送入轻量级解码器,得到分类结果,输出视频序列并标记出视频中的阴影位置。本发明所述包括三个主要模块,使用由多个子Transfomer模块组成的Transformer框架提取多层次多尺度的空间特征;通过阴影对比机制区分视频帧内的阴影区域;通过融合空间注意力和时空注意力计算视频的阴影区域。
主权项:1.一种联合空间注意力和时空注意力的视频阴影检测方法,其特征包括以下步骤:步骤1:将视频分解为帧序列,序列的每帧划分为等大小区域,并输入块嵌入模块,将转化的向量输入编码器;步骤2:利用“金字塔型”多层Transformer编码器提取视频帧多层次多尺度特征,分层Transformer编码器共有四个阶段,每个阶段输入不同分辨率;步骤3:计算相邻连续帧的阴影区域空间注意力,池化求和得视频的空间注意力,将空间注意力沿时间维度池化求和,得到帧序列的时空注意力,输入到解码器;步骤4:构建轻量级解码器,融合步骤1和步骤2的空间特征和时空特征,构建阴影分割蒙板,输出标记出阴影区域的帧序列。
全文数据:
权利要求:
百度查询: 南京工业大学 一种联合空间注意力和时空注意力的视频阴影检测方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。