申请/专利权人：北京理工大学

申请日：2024-02-08

公开（公告）日：2024-06-28

公开（公告）号：CN117726541B

主分类号：G06T5/70

分类号：G06T5/70;G06T5/60;G06V20/40;G06V10/80;G06V10/98;G06N3/0455;G06N3/0464;G06N3/082;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2024.04.05#实质审查的生效;2024.03.19#公开

摘要：本申请提出了一种基于二值化神经网络的暗光视频增强方法及装置，该方法包括：获取Bayer阵列存储的RAW暗光带噪视频，对RAW暗光带噪视频进行重组处理和曝光增强处理，得到初步优化视频；构建候选二值化神经网络，根据候选二值化神经网络提取初步优化视频的浅层特征，对提取到的特征进行多帧融合以及从融合特征中重建出最终优化视频；基于最终优化视频和参考正常光照图像，计算损失值，并基于损失值对候选二值化神经网络的网络模型参数进行优化，得到训练好的二值化神经网络；将其他初步优化视频输入二值化神经网络得到重建视频，根据图像质量评价标准评价重建视频，得到客观评估指标。本申请能够增强暗光视频的亮度，去除暗光环境拍摄产生的严重噪声。

主权项：1.一种基于二值化神经网络的暗光视频增强方法，其特征在于，包括：获取Bayer阵列存储的RAW暗光带噪视频，对所述RAW暗光带噪视频进行重组处理和曝光增强处理，得到初步优化视频；构建候选二值化神经网络，根据所述候选二值化神经网络提取所述初步优化视频的浅层特征，对提取到的特征进行多帧融合以及从融合特征中重建出最终优化视频；基于所述最终优化视频和参考正常光照图像，计算损失值，并基于所述损失值对所述候选二值化神经网络的网络模型参数进行优化，得到训练好的二值化神经网络；将其他初步优化视频输入所述二值化神经网络得到重建视频，根据图像质量评价标准评价所述重建视频，得到客观评估指标；所述候选二值化神经网络由第一二值化U-Net、平移二值化U-Net和第二二值化U-Net构成，所述根据所述候选二值化神经网络提取所述初步优化视频的浅层特征，对提取到的特征进行多帧融合以及从融合特征中重建出最终优化视频，包括：通过全精度的卷积提取所述初步优化视频的浅层特征，根据所述第一二值化U-Net逐帧对所述浅层特征进行去噪处理，得到第一中间特征；根据所述平移二值化U-Net将所述第一中间特征中的相邻帧进行时空特征融合，得到第二中间特征；根据所述第二二值化U-Net从融合对齐的所述第二中间特征中重建出所述最终优化视频；所述第一二值化U-Net由一个多层特征编码器和一个多层特征解码器组成，所述多层特征编码器包含三层，每一层通过多个分布感知的二值化卷积模块进行二值化特征提取，然后通过一个步长为2的平均池化作为下采样，所述多层特征解码器包含三层，每一层同样通过多个分布感知的二值化卷积模块进行二值化特征提取，然后采用双线性插值作为上采样，其中，对于某个二值化卷积模块，其计算过程为：对暂存的全精度的卷积核权重进行二值化处理，得到只包含+1和-1的1比特权重以及全精度的缩放因子，公式化为： 其中，函数表示取符号函数，并且，表示其形状与全精度的卷积核保持一致，表示所述二值化卷积模块的输出通道数，表示所述二值化卷积模块的输入通道数，表示所述二值化卷积模块的卷积核空间大小，表示二值化之后只包含+1和-1的集合，表示对全精度的卷积核的第个输出通道求1范数，且；通过函数对全精度的输入特征进行二值化处理，得到只包含+1和-1的二值化特征，公式化为： 其中，，是一个可学习的参数，用于控制每个通道特征进行二值化的阈值；提取全精度的输入特征逐通道的分布特性，将所述分布特性送入通道注意力层，得到分布信息，公式化为： 其中，代表了输入特征的分布特性，函数和函数分别表示求均值和标准差，表示经过阈值偏移后的中间特征，表示所述通道注意力层，Sigmoid为激活函数，Conv1d为1维卷积；通过比特权重、二值化特征、缩放因子和分布信息，计算该二值化卷积模块的输出特征，公式化为： 其中，表示特征逐通道相乘，表示二值化卷积，表示比特计数操作，表示按位异或操作；所述平移二值化U-Net由一个三层平移特征编码器和一个三层平移特征解码器组成，平移特征编码器与平移特征解码器都由时空特征平移操作和二值化特征融合网络组成，不同层之间通过步长为2的平均池化作为下采样，并使用双线性插值作为上采样，其中，对于某一层的平移特征编解码器，其计算过程为：对于输入特征，该层的平移特征编解码器每次处理连续三帧特征，将，公式化为： 其中，划分前的输入特征，划分后的特征，为该层平移特征编解码器对应的特征空间分辨率，为特征通道数，用于保留当前帧的特征信息，用于平移到相邻帧进行特征融合，若该层的平移特征编解码器为第一层的编码器，则=，否则为上一层平移特征编解码器的输出特征；对进行环形时间平移操作，生成时间平移特征，对于时间平移特征中某个新的连续三帧特征集合，其表达形式为： ；通过平移核将每个时间平移后的特征分为24个切片，根据平移核的方向进行平移，得到最终的空间平移特征，公式化为： 其中，表示平移核，平移核的大小等于24，表示向四周各个方向对应平移，表示特征的第个切片，表示在空间上沿着第个平移核的方向对特征进行平移，表示第个切片的空间平移特征，其中，在空间平移中导致的空缺区域全部用零填充；将保留当前帧的特征信息的特征与时间平移特征以及空间平移特征进行拼接，得到该层平移特征编解码最终的时空平移特征，公式化为： 其中，；通过二值化特征融合网络融合经过多层平移特征编解码处理后的时空平移特征，得到所述平移特征编解码基于连续三帧特征的输出特征，其中，所述二值化特征融合网络由多个分布感知的二值化卷积模块组成。

全文数据：

权利要求：

百度查询： 北京理工大学 一种基于二值化神经网络的暗光视频增强方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD