买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院软件研究所

摘要：本发明公开了一种基于头戴式眼动仪和深度相机的视点位置检测方法及装置，涉及人机交互技术领域与视线操控的相关技术领域。对头戴式眼动仪的前景相机和深度相机进行标定，获得内参矩阵和外参矩阵；利用深度相机对显示屏角点进行精确定位；根据深度相机的内参矩阵和外参矩阵，将深度相机坐标系的显示屏角点转换到世界坐标系中；根据前景相机的内参矩阵和显示屏角点坐标，将前景相机上的视点坐标转换为世界坐标系中，再转换到显示屏坐标系中，得到在显示屏中的视点位置；对连续的视点位置进行滤波，得到稳定的视点位置。本发明能够实时获得用户在显示屏坐标系下的视点位置，缩短注视时间，实现跨屏交互，提升视线交互的智能性和操控效率。

主权项：1.一种基于头戴式眼动仪和深度相机的视点位置检测方法，其特征在于，头戴式眼动仪包含位于其前部中间位置的一前景相机，在头戴式眼动仪的两侧各设有一深度相机，该方法包括以下步骤：1对头戴式眼动仪的前景相机和深度相机进行标定，获得前景相机的内参矩阵以及深度相机的内参矩阵和外参矩阵，并确定世界坐标系；2利用每个深度相机采集显示屏的RGB图像信息和深度信息，根据这些信息提取显示屏的关键点并生成相应的特征，通过特征匹配确定显示屏的四个角点坐标；再将这两个深度相机确定的四个角点坐标进行融合，从而对显示屏的四个角点进行精确定位；3根据深度相机的内参矩阵和外参矩阵，将步骤2确定的位于深度相机坐标系中的显示屏的四个角点坐标转换到世界坐标系中；4根据前景相机的内参矩阵和步骤3转换后的显示屏的三个角点坐标，将前景相机上的视点坐标转换为世界坐标系中的交点坐标；坐标转换的步骤包括：根据前景相机的内参矩阵，将前景相机采集的视点转换为归一化平面上的点；根据步骤3转换的世界坐标系中的显示屏的三个角点坐标，确定其中一个角点到另外两个角点的两个向量V2和V2，根据这两个向量确定这三个角点组成的平面的法向量；对于从前景相机的光心发出的射线，将该射线的参数方程代入上述平面的方程中，并根据平面的法向量与一角点的乘积，求解该射线的参数方程中的参数；将求解的参数代入该参数的参数方程中，得到该射线与上述平面的交点坐标；5将交点坐标转换到显示屏坐标系中，得到在显示屏中的视点位置；将交点坐标转换到显示屏坐标系的步骤包括：计算交点坐标在两个向量V1和V2上的两个投影比例；根据这两个投影比例和显示屏屏幕分辨率的宽度和高度，计算在显示屏坐标系中的位置坐标；6根据步骤5计算用户视线于一时间段内在显示屏中的连续的视点位置，对这些连续的视点位置进行滤波，得到在该时间段内稳定的视点位置。

全文数据：

权利要求：

百度查询： 中国科学院软件研究所 基于头戴式眼动仪和深度相机的视点位置检测方法及装置