龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：上海大学
申请日：2024-03-18
公开（公告）日：2024-06-25
公开（公告）号：CN118247842A
主分类号：G06V40/20
分类号：G06V40/20;G06V10/764;G06V10/82;G06N3/0442;G06N3/0464;G06N3/08;G06T7/80;G01S13/88;G01S13/86;G01S7/41;G01S7/02
优先权：
专利状态码：在审-公开
法律状态：2024.06.25#公开
摘要：本发明公开了一种基于毫米波雷达与单目视觉融合的人体行为检测方法，获取毫米波雷达与单目摄像头采集的信息，对毫米波雷达采集的中频信号进行预处理，构建距离‑多普勒特征图和距离‑角度特征图，将这两种特征图作为输入数据分别送到不同的CNN网络，并将提取的特征扁平化与连接，再送入到LSTM网络提取时间信息，在输出层完成人体行为检测。同时对单目摄像头采集的视觉信息进行预处理得到图像数据，利用CNN‑LSTM的网络模型进行自动特征提取，训练行为分类器。对毫米波雷达和单目摄像头进行联合标定，搭建融合系统实时获取人体动作数据，使用决策级平均加权得到融合后的检测结果，最终实现人体行为检测。本发明实现精准检测与较强的环境适应能力。
主权项：1.一种基于毫米波雷达与单目视觉融合的人体行为检测方法，其特征在于，包括以下步骤：获取毫米波雷达与单目摄像头采集的信息；对毫米波雷达采集的中频信号进行预处理，构建距离-多普勒特征图和距离-角度特征图；使用毫米波雷达的距离-多普勒特征图和距离-角度特征图作为输入，分别送到CNN网络，并将提取的特征扁平化与连接，将融合后的特征送入LSTM网络提取时间信息，在输出层完成毫米波雷达模块的人体行为分类；对单目摄像头采集的视觉信息进行预处理获得图像数据，调整图像的尺寸大小，并进行像素归一化处理；利用改进的CNN-LSTM的网络模型对图像数据进行自动特征提取，训练行为分类器，进行行为分析与决策，完成摄像头模块的人体行为分类；搭建毫米波雷达与单目摄像头的融合系统，对毫米波雷达与单目摄像头获取的信息进行联合时间同步与空间同步；通过搭建的融合系统采集人体行为信息，将毫米波雷达的分类结果与单目摄像头的分类结果通过加权求和融合进行决策，得到最终的行为检测结果。
全文数据：
权利要求：
百度查询： 上海大学 一种基于毫米波雷达与单目视觉融合的人体行为检测方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号