买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江苏金晓电子信息股份有限公司

摘要：本发明涉及一种基于多传感器数据融合的多场景下的交通巡航器控制方法，属于智能交通技术领域，超声波和红外传感器采集距离信息；摄像头采集实时视频数据；在NPU板卡硬件上部署模型；数据融合分析处理；避障判断执行；不同场景下交通巡航器执行命令；进行冗余数据清理及数据更新。本发明通过将超声波和红外传感器采集的环境信息数据进行融合，能够识别多种交通数据，将模型在NPU板卡硬件上部署，对周边障碍物进行识别，能够在系统无视频信号输入时自主完成避障，同时能够根据不同场景信息，完成多场景下动态策略研判，起到维护交通秩序的作用，减小了人力资源的投入，促进了交通智能化。

主权项：1.一种基于多传感器数据融合的多场景下的交通巡航器控制方法，其特征在于：包括以下步骤：步骤1：超声波传感器和红外传感器采集交通巡航器周边障碍物距离信息，并进行分析；所述步骤1的具体过程为：步骤1.1：在交通巡航器正面靠左和正面靠右各装置一个红外传感器，在交通巡航器左前方、右前方、左侧和右侧各装置一个超声波传感器；步骤1.2：设左前方传感器到障碍物距离为为d1，右前方传感器到障碍物距离为d2，根据红外传感器的反射数据计算障碍物距离D=maxd1,d2；步骤1.3：计算超声波传感器检测到的左前侧、右前侧、左侧和右侧障碍物数据并对检测目标进行分开统计；步骤2：摄像头采集实时视频数据，包括交通巡航器所处环境的交通信息，并进行目标识别，所述交通信息包括交通标识、红绿灯和行人；所述步骤2的具体过程为：步骤2.1：将视频流截取单独成帧，得到的图像宽为W，高为H，图像中心为坐标原点，图像右上角坐标为（W2，H2）；步骤2.2：根据目标轮廓和特征点信息进行目标分类，对人类目标进行编号跟踪，对非人障碍物进行标记，对交通标记进行后续处理；步骤3：在NPU板卡硬件上部署模型，模型输入为视频流图像，模型输出为图像坐标信息，所述图像坐标信息包括检测目标的左上角坐标（X1，Y1）和右下角坐标（X2，Y2）；步骤4：数据融合分析处理：将图像源左侧统计数据与左前方超声波检测的目标障碍物进行对比，将图像源右侧统计数据与右前方超声波检测的目标障碍物进行对比，将目标障碍物进行归类；所述步骤4中数据融合分析处理具体过程为：步骤4.1：当目标信息X1+X20时，将目标统计在左侧障碍物中，左侧目标宽度为L1，移动和转向过程中，实时更新L1=maxL1,X2-X1；步骤4.2：当目标信息X1+X20时，将目标统计在右侧障碍物中，右侧目标宽度为L2，移动和转向过程中，实时更新L2=maxL2,X2-X1；步骤4.3：当目标信息X1+X2=0时，根据当前左右两侧目标数量累加情况将目标统计在较多的一侧，若当前两侧目标数量相等，则将目标加入障碍物目标宽度L总和更大的一侧；步骤5：避障判断执行：根据交通巡航器与障碍物目标的距离与设定的交通巡航器与周围物体的安全距离S，通过主控模块发出执行指令，输出相应避障动作；所述步骤5中避障判断执行的具体过程为：步骤5.1：设定交通巡航器与障碍物目标的安全距离S，当判定交通巡航器与障碍物目标距离小于S时，停止前进，执行转向动作，具体为：步骤5.1.1：当交通巡航器与左侧障碍物目标距离小于S时，转向右侧60°；步骤5.1.2：当交通巡航器与右侧障碍物目标距离小于S时，转向左侧60°；步骤5.1.3：当交通巡航器与两侧均存在障碍物目标距离小于S时，获取左右两侧超声波检测数据，比较左右两侧超声波检测数据，向结果较小的一侧转向120°；步骤5.2：当判定交通巡航器与障碍物目标距离大于S时，对红外和左右侧超声波数据进行遍历，判断视觉盲区情况，决定是否需要减速或停止动作；步骤6：主控模块根据不同场景的数据处理结果对交通巡航器给出指定命令，交通巡航器做出相应动作；所述步骤6的不同场景包括巡逻场景和红绿灯路口场景，在巡逻场景下，根据交通因素信息车道线、车道数识别出所在路线为人行道或机动车道，如判断路线类型为机动车道，在交通巡航器不执行拐弯动作时，只将识别目标集中在行人上，只要识别到行人就对其发出警示语音；在红绿灯路口场景下，信号灯为红灯时，对违反交通规则的行人进行人脸识别并记录备案；信号灯为黄灯时，若检测到行人出现在斑马线上则报警；信号灯为绿灯时，不做行人检测；所述违反交通规则包括闯红灯行为，所述闯红灯行为的判定方法为：a.当处于路口场景且交通标志识别为红灯且红灯标签保留情况下，对路口范围内的行人目标保留编号标签；b.保留当前帧的特征位置信息，并和上一帧的同编号特征位置信息进行比较；c.取当前帧的斑马线N组数据，一条斑马线的斜率，取路口两端斑马线连线斜率；d.过作斜率为的直线,过作斜率为的直线,与交于，求距离，e.判断与斑马线范围，当t超过设定阈值Tm时判定为存在闯红灯危险动作，否则使用替换；步骤7：进行冗余数据清理及数据更新；所述步骤7的冗余数据清理及数据更新，具体过程为：步骤7.1：对判别为影响执行动作的干扰障碍物目标数据进行清除步骤7.1.1：对转向后避开的障碍物位置信息和距离信息进行清除；步骤7.1.2：重置红外距离位置的初始化d1，d2，D，重置L1，L2宽度参数；步骤7.2：保留车道情况，更新替换红绿灯情况和交通标志的识别数据，清除被替换的历史数据，具体为：保留当前帧图像的交通标签，删除上一帧中出现但当前帧未出现的交通标签；步骤7.3：对识别为人类目标的信息进行缓存，保留更新替换之前的数据，当结束跟踪目标时，删除保留的跟踪目标编号和位置信息。

全文数据：

权利要求：

百度查询： 江苏金晓电子信息股份有限公司 基于多传感器数据融合的多场景下的交通巡航器控制方法