申请/专利权人：江西财经大学;盛景智能科技(嘉兴)有限公司

申请日：2024-04-18

公开（公告）日：2024-06-28

公开（公告）号：CN118072229B

主分类号：G06V20/40

分类号：G06V20/40;G06V10/80;G06T7/269;G06V10/82;G06N3/045;G06N3/09

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2024.06.11#实质审查的生效;2024.05.24#公开

摘要：本发明提供一种基于层次特征对齐的视频显著目标检测方法及系统，该方法包括：获取视频中的每一帧图像和对应的光流图，分别对每一帧图像和对应的光流图进行图像预处理；对同一尺度上的空间特征和运动特征进行融合，得到不同尺度之间的融合特征；将不同尺度之间的融合特征分别输入对应的空间注意力模块得到不同尺度的内边界时空特征、外边界时空特征和显著边界时空特征；将三个时空特征分别输入至三个监督分支，将不同尺度的时空特征融合起来，通过内外边界分支分别引导内边界时空特征和外边界时空特征更关注显著目标的内外边界信息，最终通过解码器，在预设的损失函数的引导下，得到检测结果。本发明能够实现高效、准确的视频显著目标检测。

主权项：1.一种基于层次特征对齐的视频显著目标检测方法，其特征在于，包括：获取视频中的每一帧图像和对应的光流图，分别对每一帧图像和对应的光流图进行图像预处理；基于图像预处理后的每一帧图像和对应的光流图，对同一尺度上的空间特征和运动特征进行融合，得到不同尺度之间的融合特征；将不同尺度之间的融合特征分别输入对应的空间注意力模块得到不同尺度的内边界时空特征、外边界时空特征和显著边界时空特征；将不同尺度的内边界时空特征、外边界时空特征和显著边界时空特征分别输入至内边界分支、外边界分支和显著特征分支，显著特征分支通过连续的特征对齐融合模块将内边界时空特征和显著边界时空特征对齐融合、以及将外边界时空特征和显著边界时空特征对齐融合，分别得到内边界时空特征和显著边界时空特征的融合特征，以及外边界时空特征和显著边界时空特征的融合特征，内边界分支和外边界分支分别引导内边界时空特征和外边界时空特征关注显著目标的内外边界信息；内边界时空特征和显著边界时空特征的融合特征、外边界时空特征和显著边界时空特征的融合特征、显著边界时空特征经过多层的解码器，在预设的损失函数的引导下，得到显著内边界预测图、显著外边界预测图、显著预测图；显著特征分支通过连续的特征对齐融合模块将内边界时空特征和显著边界时空特征对齐融合、以及将外边界时空特征和显著边界时空特征对齐融合，分别得到内边界时空特征和显著边界时空特征的融合特征，以及外边界时空特征和显著边界时空特征的融合特征，具体包括：不同尺度的内边界时空特征包括由多尺度特征提取网络浅层所提取的内边界低级特征和由多尺度特征提取网络深层所提取的内边界高级特征，不同尺度的显著边界时空特征包括由多尺度特征提取网络浅层所提取的显著边界低级特征和由多尺度特征提取网络深层所提取的显著边界高级特征，按照高级特征到低级特征的顺序，逐渐将内边界时空特征和显著边界时空特征对齐融合，得到内边界时空特征和显著边界时空特征的融合特征，对齐融合过程满足以下条件式： ； ； ；其中，表示将内边界时空特征和显著边界时空特征连接后的特征，表示1×1的卷积操作，表示连接操作，表示显著边界时空特征，表示内边界时空特征，表示生成的第一中间掩码，表示sigmoid函数，表示3×1的卷积操作，表示内边界时空特征和显著边界时空特征的融合特征；不同尺度的外边界时空特征包括由多尺度特征提取网络浅层所提取的外边界低级特征和由多尺度特征提取网络深层所提取的外边界高级特征，按照高级特征到低级特征的顺序，逐渐将外边界时空特征和显著边界时空特征对齐融合，得到外边界时空特征和显著边界时空特征的融合特征，对齐融合过程满足以下条件式： ； ； ；其中，表示将外边界时空特征和显著边界时空特征连接后的特征，表示外边界时空特征，表示生成的第二中间掩码，表示外边界时空特征和显著边界时空特征的融合特征；得到后，通过权重自动分配机制给进行动态权重分配，且通过残差的方式达到特征对齐的效果，动态权重分配的过程存在如下关系式： ；其中，表示动态权重，表示归一化操作，表示全连接操作，表示修正线性单元，表示平均池化操作；内边界分支和外边界分支分别引导内边界时空特征和外边界时空特征关注显著目标的内外边界信息的过程中，满足以下条件式： ； ； ； ；其中，表示上采样后的，表示上采样操作，表示上采样后的，表示未经残差操作的内边界融合时空特征，表示内边界融合时空特征，表示仅经过空间注意力操作得到的内边界时空特征。

全文数据：

权利要求：

百度查询： 江西财经大学;盛景智能科技(嘉兴)有限公司 基于层次特征对齐的视频显著目标检测方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD