申请/专利权人：常州大学

申请日：2020-11-16

公开（公告）日：2024-04-30

公开（公告）号：CN112329684B

主分类号：G06V40/20

分类号：G06V40/20;G06V10/25;G06V10/80;G06V10/764;G06V10/82;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.04.30#授权;2021.02.26#实质审查的生效;2021.02.05#公开

摘要：本发明涉及一种基于注视检测和交通场景识别的行人穿越马路意图识别方法，首先通过faster‑RCNN进行行人检测，进一步利用行人的运动信息搜索感兴趣目标，提取感兴趣目标的运动序列和局部交通场景序列；其次通过头部检测器检测感兴趣目标序列中的头部位置，并采用残差卷积神经网络来判断头部朝向，进而检测行人是否注视来车，同时提取头部朝向特征；然后通过卷积神经网络分类器对行人所处的局部交通场景进行多标签分类，并提取局部交通场景特征；最后利用全连接层处理拼接后的头部朝向特征与局部交通场景特征，实行对行人穿越不穿越结果的识别。本发明使用多任务学习模式，可实现端到端地完成注视非注视识别、穿越不穿越识别以及交通场景分类。

主权项：1.一种基于注视检测和交通场景识别的行人穿越马路意图识别方法，其特征是：具有以下步骤：S1、基于运动目标检测的感兴趣目标搜索；具体包括：1、行人检测：首先要对输入图像序列进行处理，提取其中的感兴趣行人，即马路边有潜在穿越可能的行人；然后使用Faster-RCNN目标检测器检测输入图像序列每一帧的行人，记录行人在每一帧的位置信息，并将连续帧内所有行人的位置变化信息送到下一步进行感兴趣目标搜索；2、感兴趣目标搜索：得到某段时间范围内所有行人的位置变化信息后，根据该信息确定感兴趣目标；S2、基于残差卷积神经网络的行人注视非注视识别；具体包括：1、头部检测器的设计：对得到的感兴趣目标序列，进一步检测目标的头部区域，用于后续注视非注视分类器的训练；2、残差卷积神经网络的搭建：通过搭建基于残差卷积神经网络的注视非注视分类器来检测行人是否注视来车，作为判断行人是否穿越马路的主要因素；3、行人注视非注视分类器学习：使用残差卷积神经网络提取感兴趣行人的头部朝向特征fa，定义如下：fa＝Φp,Wa上式中，fa表示残差卷积神经网络提取出的行人头部朝向特征，Ф表示残差卷积神经网络，Wa表示残差神经网络的可学习参数，p表示目标检测器检测到的头部区域信息；头部朝向特征fa一方面用来与局部交通场景特征进行融合，预测行人的穿越不穿越意图，另一方面连接全连接Fullyconnectedlayer，FC层进行降维，从而得到反映行人注视非注视的二维向量；采用三层FC层，实现头部朝向特征fa的降维：512-256-64-2，最后使用二分类交叉熵损失函数训练行人注视非注视分类器，损失函数L1如下式所示：L1＝Lbinary_cross_entropyFafa,Wfa,Ya其中，Fa表示用来降维的FC层，Wfa表示FC层的可学习参数，Ya表示训练样本的真实标签；S3、基于卷积神经网络的局部交通场景识别；S4、基于多任务学习框架的行人穿越不穿越结果识别。

全文数据：

权利要求：

百度查询： 常州大学 一种基于注视检测和交通场景识别的行人穿越马路意图识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD