龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：华中科技大学
摘要：本发明属于计算机视觉领域，具体涉及一种面向多人的眨眼与视线一体化检测模型构建方法，眨眼与视线一体化检测网络包括：特征提取网络，用于提取RGB视频片段的高层语义特征Fv；查询器初始化模块，用于初始化N组实例级面部查询器和实例级眼部查询器以及每组对应的面部提议框和眼部提议框；查询器更新模块，用于实现面部与眼部查询器之间的空间交互并更新对应的特征；采用当前的每组面部查询器和眼部查询器，根据对应的面部提议框Pi和眼部提议框pi，从Fv中提取Pi、pi对应的局部特征，用以更新对应的查询器；多任务预测头用于实现对各个实例的人脸和人眼的定位与跟踪、眨眼区间检测、视线方向估计多个任务。本发明能提高多任务检测的精度与速度。
主权项：1.一种面向多人的眨眼与视线一体化检测模型构建方法，其特征在于，包括以下步骤：构建眨眼与视线一体化检测网络，包括：特征提取网络，用于提取RGB视频片段的高层语义特征Fv；查询器初始化模块，用于初始化N组实例级面部查询器和实例级眼部查询器以及每组对应的面部提议框和眼部提议框，其中，N的取值不小于RGB视频片段中每帧图像的人脸数目；查询器更新模块，用于在当前的每组查询器内同一帧图像所对应的面部查询器特征和眼部查询器特征之间依次进行自注意力交互，并将交互得到的特征作为对应特征的更新值；采用当前的每组面部查询器和眼部查询器，根据对应的面部提议框Pi和眼部提议框pi，从Fv中提取Pi、pi对应的局部特征，用以更新对应的查询器；多任务预测头，用于基于当前面部查询器Qi预测第i个人脸的存在性和人脸框边界坐标Li，以及基于当前的眼部查询器qi预测第i个眼部的存在性、眼框边界坐标li、各帧眨眼概率和各帧眼部视线方向；采用RGB视频片段样本集迭代训练所述眨眼与视线一体化检测网络，得到眨眼与视线一体化检测模型，完成构建，其中，每次迭代完成后将当前Li、li分别作为用于下一轮迭代的新的面部提议框Pi、眼部提议框pi。
全文数据：
权利要求：
百度查询： 华中科技大学 一种面向多人的眨眼与视线一体化检测模型构建方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号