申请/专利权人：吉林大学;中国航空工业集团公司沈阳飞机设计研究所

申请日：2022-06-24

公开（公告）日：2024-04-05

公开（公告）号：CN115118931B

主分类号：H04N7/18

分类号：H04N7/18;H04N23/80;H04N23/66;H04N5/262

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2022.10.18#实质审查的生效;2022.09.27#公开

摘要：基于单目摄像头的封闭驾驶座舱前视视野重现系统和方法属图像处理技术领域，本发明的系统中舱外摄像头固接于座舱顶盖外侧上方朝前；显示屏面向驾驶员垂直安装于座舱内前挡风玻璃处，并靠近主驾驶；处理器、移动电源、键盘均固接于座舱内副驾驶座位上；处理器和显示屏由移动电源供电；本发明为了解决采用单目摄像头捕获前视图像的情况下的画面失真、延时和卡顿问题，除提供上述系统外，还设计多线程并行执行框架下的前视图像后处理算法流程，能显著改善驾驶员在封闭驾驶座舱环境下的驾驶体验，提升驾驶员独立驾驶和操控，进行高速行驶、转弯和避障的精准性和安全性，从而为封闭驾驶座舱的实用化，以及未来飞机封闭座舱的研究提供关键科学技术支撑。

主权项：1.一种基于单目摄像头的封闭驾驶座舱前视视野重现方法，其特征在于，包括下列步骤：1.1设置基于单目摄像头的封闭驾驶座舱前视视野重现系统，该系统由处理器1、移动电源2、键盘3、舱外摄像头4、显示屏5和舱内摄像头6组成，其中处理器1经导线分别与移动电源2、键盘3、舱外摄像头4、显示屏5和舱内摄像头6连接；舱外摄像头4固接于驾驶座舱顶盖外侧上方，朝向驾驶座舱前方，其视场角大于驾驶员驾驶时在显示屏5上的前视视野；显示屏5面向驾驶员垂直安装于驾驶座舱内前挡风玻璃处，并且靠近主驾驶；处理器1、移动电源2、键盘3均固接于驾驶座舱内副驾驶座位上；处理器1和显示屏5由移动电源2供电；1.2在离线阶段，标定舱外摄像头4与人眼，然后创建多线程，包括下列步骤：1.2.1将显示屏5取下；将舱内摄像头6置于驾驶员驾驶时的眼睛处，并且使舱内摄像头6的朝向与驾驶员驾驶时的最常用视线方向相同；使用舱外摄像头4和舱内摄像头6拍摄驾驶座舱前垂直放置的同一块棋盘格标定板；利用张正友棋盘格标定法，计算出舱外摄像头4的位姿、畸变系数以及舱内摄像头6的位姿；移除舱内摄像头6，恢复显示屏5至原来位置；1.2.2在处理器1中利用pthread多线程库创建四个POSIX线程，分别命名为图像采集线程、图像处理线程、图像显示线程、文字显示线程；关闭舱外摄像头4的自动曝光和自动增益功能；1.3在在线阶段，同时开启图像采集线程、图像处理线程、图像显示线程、文字显示线程，所有线程并行并且分别循环运行，图像采集线程与文字显示线程在处理器1的CPU上完成，图像处理线程与图像显示线程在处理器1的高性能GPU上完成，包括下列步骤：1.3.1在图像采集线程中，利用舱外摄像头4逐帧采集图像；舱外摄像头4的曝光值和增益值在使用默认值后，由键盘交互来调节；图像采集帧率固定为60Hz，以避免大量的图像数据为图像处理线程与图像显示线程带来过多负荷；每采集完一帧图像，将一个信号和原始图像发送给图像处理线程；1.3.2在图像处理线程中，不断检测是否收到信号；如果是，则将原始图像数据由处理器1的CPU传送至GPU后，依次执行校正畸变、变换视角、裁剪图像，从而得到最终图像，然后将最终图像发送给图像显示线程，同时检测是否收到下一帧信号；否则，继续检测信号，其中：校正畸变、变换视角、裁剪图像包括下列步骤：1.3.2.1校正畸变：利用舱外摄像头4的畸变系数，校正原始图像的几何畸变；1.3.2.2变换视角：利用舱外摄像头4的位姿和舱内摄像头6的位姿，将校正畸变后的图像由舱外摄像头4的视角变换到舱内摄像头6的视角，从而得到驾驶员驾驶视角的图像；1.3.2.3裁剪图像：根据图像的裁剪参数，将驾驶员在变换视角后的图像中的不可见区域去除，从而得到最终图像，其中：裁剪参数在使用默认值后，由键盘交互来调节；1.3.3在图像显示线程中，当收到最终图像后，依次执行图像送显、显示图像、键盘交互，其中：显示图像使用OpenGL窗口直接将处理器1的GPU上的最终图像全屏显示在显示屏5上；键盘交互用于通过驾驶员在键盘3上按键来控制舱外摄像头4的曝光和增益、图像的裁剪参数、是否显示文字信息、是否退出系统；在键盘交互期间，将更新信息发送给文字显示线程，将显示图像的裁剪参数发送给图像处理线程，同时不断检测驾驶员是否按下键盘3上的Esc键；如果是，结束所有线程；否则，继续检测Esc键的状态；1.3.4在文字显示线程中，在显示屏5的右上角显示文字，所显示文字包括当前时间、舱外摄像头4的曝光和增益、系统延时内容；并且，不断更新时间和由图像显示线程发送来的更新信息。

全文数据：

权利要求：

百度查询： 吉林大学;中国航空工业集团公司沈阳飞机设计研究所 基于单目摄像头的封闭驾驶座舱前视视野重现系统和方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD