买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京理工大学

摘要：本发明公开了一种融合网格运动场与惯性导航单元的车载相机视频稳定方法，属于计算机视觉领域；本发明提供一种融合网格运动场与惯性导航单元的车载相机视频稳定方法。通过特征点运动生成、特征运动传播、时域网格运动场生成等模块，结合惯性导航单元输出的三轴陀螺仪数据，基于深度神经网络融合视觉与相机绝对姿态，在兼顾图像内容与结构的同时提升暗光、低纹理、快速旋转以及高频振动等非理想场景下的视频增稳性能，在动态开放场景中为车辆提供时域稳定的视频序列，对智能车辆的感知以及自主导航具有重要意义。

主权项：1.一种融合网格运动场与惯性导航单元的车载相机视频稳定方法，其特征在于，包括：步骤S1、对需要进行增稳处理的车载相机进行离线标定，确定相机的内参以及畸变系数；读入相机视频流，获得RGB图像序列以及每帧图像对应的时间戳；步骤S2、接入惯性导航单元，读取由陀螺仪及磁力计提供的俯仰、滚转以及偏航三轴的角速度信息以及每组数据对应的时间戳；步骤S3、对相机以及惯性导航单元进行外参标定并基于时间戳对相机与惯性导航单元的数据进行时间同步；步骤S4、基于读入的视频流获取各帧对应的前向与后向网格运动场；当有视频流时，对于第i张图像fi，需获取fi相对后帧fi+1的前向网格运动场与fi+1相对前帧fi的后向网格运动场；计算前向网格运动场，包括：首先，通过特征提取器获取图像fi中的稀疏特征pi,j，其中j∈[1,M]为提取到的特征点数量；其次，向后帧fi+1进行光流跟踪，获得位于第i+1帧的对应特征点从而表达图像特征点在时域上的前向运动趋势将图像划分成均匀网格，通过两阶段的特征传播将特征点的运动传播到各网格顶点：根据图像分辨率，将画面分割成m×n的均匀网格，各网格顶点在图像坐标系下的坐标为vg，g＝0,…,mn；首先根据帧间前向特征点运动基于多阈值RANSAC方法估计出全局映射的单应性矩阵根据得到的全局单应性矩阵，获得表征图像网格顶点的前向全局运动： 接着，将各特征点的局部运动传播至各网格顶点，各特征点的局部运动表达为： 通过二维状态估计器进行局部传播后的图像网格顶点的前向局部运动记为根据获得的网格顶点全局与局部运动，计算前向网格运动场： 采用与计算前向网格运动场的方法，计算得到后向网格运动场： 步骤S5、对惯性导航单元输出的角速度数据ωt进行预处理，生成任意时刻的相机姿态：当完成相机视频流与惯性导航单元的时间同步后，设初始时刻的相机三轴位姿为参考位姿，则对t时刻的相机三轴绝对姿态Rt：Rt＝tsωtRt-ts其中，ts为惯性导航单元输出数据的时间间隔；Rt-ts表示t-ts时刻的绝对位姿，将相机的三轴姿态转化为四元数按序进行存储，对于任意时刻t′，通过读取包含时刻t′的相邻时间戳数据，基于球面线性插值方法进行计算，获取t′时刻对应的相机姿态；步骤S6、通过卷积神经网络CNN对前后向网格运动场进行处理，生成隐式特征，计算各帧特定时域窗口内的相机相对姿态以及相对稳定姿态：首先，通过多层卷积与池化网络，将维度为4×m+1×n+1的前后向网格运动场转化为尺度为1×1×64的隐式向量；其次，考虑某一时域窗口内的相机绝对姿态：Treal＝{Rrealt-σΔt,…,Rrealt,…,Rrealt+σΔt}其中，σ为时域窗口半径，Δt为固定时间间隔；预测当前帧的相机稳定姿态需要历史σ帧与未来σ帧的相机绝对姿态；此时，根据绝对姿态计算相机相对姿态： 将某一时域窗口内的全局网络模型输出的历史相机稳定姿态Rstabt写成如下向量形式：Tstab＝{Rstabt-σΔt,…,Rstabt-Δt}用前σ帧的相机稳定姿态以预测当前帧的相机稳定姿态；此时，根据绝对姿态计算相机相对稳定姿态： 将基于前后向网格运动场的隐式特征、相机相对姿态T′real以及相对稳定姿态T′stab进行特征拼接，生成融合特征向量；步骤S7、将融合特征向量送入两组串联LSTM网络，最后使用一组全连接层将LSTM网络的输出转化为一个表示相机相对稳定姿态的四元数；基于生成的相对稳定姿态ΔRstabt，结合上一帧的相机稳定姿态计算当前帧的相机稳定姿态Rstabt＝ΔRstab*Rstabt-Δt；步骤S8、基于优化的损失函数对CNN网络和LSTM网络构成的全局网络模型进行自监督训练，然后根据训练好的全局网络模型输出的相机稳定姿态与当前帧对应的相机绝对姿态，计算网格变形所需的顶点运动向量： 其中，vg为网格顶点坐标，为第y行网格顶点所对应相机绝对姿态的时间戳，Rrealty表示ty时刻的相机三轴绝对姿态；K表示相机内参；le为曝光时间，lrs为卷帘快门时间；y∈[0,n]；n表示图像的行数；步骤S9、基于步骤S8获得的vstab，进行网格变形与像素级重映射。

全文数据：

权利要求：

百度查询： 北京理工大学 融合网格运动场与惯性导航单元的车载相机视频稳定方法