买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆邮电大学

摘要：本发明请求保护一种基于人眼注意力的AR‑HUDLCD全向目标检测与显示方法，属于自动驾驶、汽车环境感知和智能座舱技术领域。该方法通过单目相机获取驾驶人员的脸部图像；对单目相机标定获取相机的内参矩阵、畸变参数；对图像去畸变、灰度化后获取自商图；通过人脸检测器提取人脸区域，再提取左右瞳孔在单目相机像平面坐标；根据瞳孔像平面坐标和瞳孔距离约束求解驾驶员眼位空间坐标，用于AR‑HUDLCD显示虚像；使用神经网络检测驾驶员人脸角度变化，得到驾驶员注意力向量，根据注意力向量在车载全景影像或全向雷达系统中区域检测目标，并通过AR‑HUDLCD显示注意力向量区域的检测对象。本发明节约了系统计算资源，提高了检测系统的实时性。

主权项：1.一种基于人眼注意力的AR-HUDLCD全向目标检测与显示方法，其特征在于，包括以下步骤：通过单目相机获取驾驶人员的脸部图像；通过张正友棋盘格标定方法对单目相机标定获取相机的内参矩阵、畸变参数；对图像去畸变、灰度化后获取自商图；通过人脸检测器提取人脸区域，再提取左右瞳孔在单目相机像平面坐标；根据瞳孔像平面坐标和瞳孔距离约束求解驾驶员眼位空间坐标，用于AR-HUDLCD增强现实抬头显示器显示虚像；使用神经网络检测驾驶员人脸角度变化，得到驾驶员注意力向量，根据注意力向量在车载全景影像或全向雷达系统中区域检测目标，并通过AR-HUDLCD显示注意力向量区域的检测对象；所述根据瞳孔像平面坐标和瞳孔距离约束求解驾驶员眼位空间坐标，用于AR-HUDLCD显示虚像，具体包括：1获取单目相机模型；2基于相机模型，获取左右眼瞳孔在单目相机像平面坐标ul,vl、ur,vr；3基于像平面坐标，得到相机坐标系中右瞳孔空间坐标Pr＝[Xr,Yr,Zr]T和左瞳孔空间坐标Pl＝[Xl,Yl,Zl]T；4驾驶员瞳孔间距为固定值d，其中Zr＝Zl，得到约束方程；5根据像平面坐标ul,vl、ur,vr和约束方程求解出Pr＝[Xr,Yr,Zr]T和Pl＝[Xl,Yl,Zl]T，相机坐标系和车辆坐标系之间的转换矩阵变换Pr、Pr，得到左右瞳孔在车辆坐标系的坐标人眼的瞳孔位置将用于AR-HUDLCD显示成像；所述获取单目相机模型，具体包括： 其中u、v为像平面坐标，fx、fy为相机的焦距，cx、cy为相机主点，[X,Y,Z]T为左右眼瞳孔在相机坐标系的空间坐标，K表示相机的内参数矩阵，P表示左右眼瞳孔在相机坐标系的空间坐标；所述得到相机坐标系中右瞳孔空间坐标Pr＝[Xr,Yr,Zr]T和左瞳孔空间坐标Pl＝[Xl,Yl,Zl]T，具体为： 所述得到约束方程，具体为： f表示相机的焦距；所述使用神经网络检测驾驶员人脸角度变化，得到驾驶员注意力向量，根据注意力向量在车载全景影像或全向雷达系统中区域检测目标，具体包括以下步骤：步骤5-1.建立以得到的瞳孔空间点为原点的面部坐标系，X轴为面部正前方，Y轴方向水平向右，Z轴方向竖直向下；步骤5-2.实时获取面部单目图像，并输入神经网络中检测，神经网络得到人脸的注意力向量；步骤5-3.根据注意力向量在面部坐标系中的方向决定车载全景影像或全向雷达系统中检测的区域；步骤5-4.根据瞳孔位置和目标检测结果通过AR-HUD显示在挡风玻璃上，或者显示在LCD中，辅助驾驶；所述步骤5-3.根据注意力向量在面部坐标系中的方向决定车载全景影像或全向雷达系统中检测的区域，具体包括：当注意力向量在-θ,θ范围时，在t时间范围内仅检测和显示车辆正前方对象；注意力向量大于θ，仅在t时间范围内检测和显示车辆右侧和尾部对象；注意力向量小于-θ时，仅在t时间范围内检测和显示车辆左侧和尾部对象。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种基于人眼注意力的AR-HUD/LCD全向目标检测与显示方法