首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于眼动数据捕捉的城市社区进出人员安全检查方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:松立控股集团股份有限公司

摘要:本发明属于社区治安管理技术领域,尤其涉及一种基于眼动数据捕捉的城市社区进出人员安全检查方法,先构建眼动数据检测数据集,再分别提取眼动数据的视频特征和音频特征后进行特征融合得到融合后的音视特征,将融合后的音视特征转化为视点预测特征,并预测视点位置;然后训练和测试多模态音视视点预测网络;再采集进出人员眼动数据并与预测的眼动数据做对比,判定当前人员是否为暴力人员;最后进行训练数据集扩充和基于混合新旧数据的连续学习,用很少的时间和很小的成本能完成暴力倾向的检测,而且能够实现自进化,针对非常善于“伪装”的暴力倾向的人员也能够检测,为城市社区安全检测奠定基础。

主权项:1.一种基于眼动数据捕捉的城市社区进出人员安全检查方法,其特征在于,具体包括如下步骤:S1、构建眼动数据检测数据集:收集与暴力相关、包含音频的视频,并收集非暴力人员的视点数据,构建眼动数据检测数据集;S2、基于眼动数据的多模态特征提取:采用深度学习网络提取多模态特征,多模态特征包含视频特征和音频特征;S3、基于多模态数据的眼动数据融合:先采用交叉融合的方式将视频特征和音频特征进行叠加融合,再通过CrossTransformer的度量不同头之间的特征相似性,得到融合后的音视特征;S4、基于多模态数据的眼动位置预测:将融合后的音视特征转化为视点预测特征,并预测视点位置;S5、网络训练和测试:选用步骤S1所述眼动数据检测数据集的100段视频用于训练和测试多模态音视视点预测网络;S6、进出人员眼动数据采集:采用屏幕下眼动仪的收集进出人员的视点数据;S7、眼动数据一致性判定:将收集的进出人员眼动数据与预测的眼动数据做对比,判定当前人员是否为暴力人员;S8、训练数据集扩充:根据收集的进出人员眼动数据训练数据模型的更新,更新后的数据重新训练模型,通过不断收集新的暴力视频扩充数据集;S9、基于混合新旧数据的连续学习:基于混合新旧数据,采用连续学习模型进行连续学习。

全文数据:

权利要求:

百度查询: 松立控股集团股份有限公司 基于眼动数据捕捉的城市社区进出人员安全检查方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

相关技术
相关技术
相关技术