买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：优视眼动科技(北京)有限公司

摘要：本发明属于眼动仪器仪表技术领域，尤其涉及一种眼动仪及图像处理方法。本发明提出的眼动仪，包括：头戴式主体；多个前置摄像头，多个前置摄像头沿周向间隔开地设置在头戴式主体上，多个前置摄像头中至少两个能够同时采集头戴式主体的前方的目标场景的图像信息；设置在头戴式主体上的控制系统，控制系统与前置摄像头相连，使得该控制系统能够基于图像信息对目标场景进行三维重构，和或基于图像信息对目标场景中的至少一个物体进行测距，具有更宽的采集范围和视野。且本发明实施例的眼动仪的结构简单，使用方便，佩戴舒适、安全、可靠。

主权项：1.一种眼动仪，其特征在于，包括：头戴式主体；多个前置摄像头，多个所述前置摄像头沿周向间隔开地设置在所述头戴式主体上，多个所述前置摄像头中至少两个能够同时采集所述头戴式主体的前方的目标场景的图像信息；设置在所述头戴式主体上的控制系统，所述控制系统与所述前置摄像头相连，使得该控制系统能够基于所述图像信息对所述目标场景进行三维重构，和或基于所述图像信息对所述目标场景中的至少一个物体进行测距；还包括用于采集被试者眼睛的图像信息的眼睛摄像头，所述眼睛摄像头通过支撑部件与所述头戴式主体相连，所述眼睛摄像头与控制系统相连，使得所述控制系统能够基于采集的被试者眼睛的图像信息与采集的目标场景的图像信息，获知用户是否聚焦在所述目标场景中的目标对象，在所述目标场景中，所述目标对象相对于预先设置的标识物的位置是固定不变的，所述标识物包括标识图案和或标识光，所述标识图案包括一维条码和或二维码，而所述标识光包括荧光和或不可见的红外光源。

全文数据：眼动仪及图像处理方法技术领域[0001]本发明属于眼动仪器仪表技术领域，尤其涉及一种眼动仪及图像处理方法。背景技术[0002]眼动仪是一种通过机器视觉和摄像头技术来追踪和记录眼球轨迹的设备，是心理学、广告、工业工程等研究的重要仪器，也被广泛应用在眼动控制中。眼动仪用于记录人在处理视觉信息时的眼球轨迹特征，广泛用于注意、视知觉、阅读等领域的研究。[0003]由于现有眼动仪只设置了一个前置摄像头，导致其既不能准确测量眼球到目标物体的距离，也不能进行目标场景的三维重建。尤其在自动定义感兴趣区域方面，当前眼动仪存在重大局限。而人工标定感兴趣区域将会非常费时费力。这给心理学、视知觉、阅读等领域的研究造成了很大的困扰与阻碍。发明内容[0004]基于上述问题，本发明提供了一种眼动仪，其能够对目标场景进行三维重构和或对目标场景中的物体进行测距和或能够自动化地定义感兴趣区域，具有更宽的采集范围和视野。且本发明实施例的眼动仪的结构简单，使用方便，佩戴舒适、安全、可靠。[0005]第一方面，本发明提出的眼动仪，包括:头戴式主体;多个前置摄像头，多个前置摄像头沿周向间隔开地设置在头戴式主体上，多个前置摄像头中至少两个能够同时采集头戴式主体的前方的目标场景的图像信息；设置在头戴式主体上的控制系统，控制系统与前置摄像头相连，使得该控制系统能够基于图像信息对目标场景进行三维重构，和或基于图像信息对目标场景中的至少一个物体进行测距。[0006]进一步地，本实施例眼动仪还包括设置在头戴式主体的前端的鼻托，在多个前置摄像头中，一部分前置摄像头位于鼻托的一侧，而另一部分的前置摄像头位于鼻托的另一侧。[0007]进一步地，鼻托与头戴式主体之间的连接为可拆卸连接。[0008]基于上述任意眼动仪实施例，进一步地，前置摄像头与头戴式主体之间的连接为可拆卸连接。[0009]基于上述任意眼动仪实施例，进一步地，前置摄像头包括可见光摄像头、红外摄像头或热成像摄像头。[0010]进一步地，本实施例眼动仪还包括用于采集被试者眼睛的图像信息的眼睛摄像头，眼睛摄像头通过支撑部件与头戴式主体相连，眼睛摄像头与控制系统相连，使得控制系统能够基于采集的被试者眼睛的图像信息与采集的目标场景的图像信息，获知用户是否聚焦在目标场景中的目标对象，在目标场景中，目标对象相对于预先设置的标识物的位置是固定不变的，标识物包括标识图案和或标识光，标识图案包括一维条码和或二维码，而标识光包括荧光和或不可见的红外光源。[0011]第二方面，本发明提出的用于三维重构的图像处理方法，该方法包括以下步骤：[0012]步骤Sll:获取至少两个摄像装置对预定标记物的校正用三维场景同步拍摄的校正图像数据；[0013]步骤S12:根据校正图像数据和预先存储的预定标记物的三维坐标数据，生成至少两个拍摄装置针对相同拍摄场景的成像关联信息；[0014]步骤S13:获取经过校正的至少两个拍摄装置对目标三维场景同步拍摄的采集图像数据；[0015]步骤S14:根据成像关联信息，将采集图像数据合成为三维立体图像，三维立体图像为三维重构后的目标三维场景。[0016]进一步地，本实施例图像处理方法的至少两个摄像装置为针孔摄像头；[0017]对应地，步骤S12为：[0018]分别根据校正图像数据和预先存储的预定标记物的三维坐标数据，消除校正图像数据中的畸变，获得消除畸变后的校正图像数据；[0019]根据消除畸变后的校正图像数据和预先存储的预定标记物的三维坐标数据，对至少两个拍摄装置进行校正，生成至少两个拍摄装置针对相同拍摄场景的成像关联信息，预定标记物包括标识图案和或标识光标记，标识图案包括一维条码和或二维码，而标识光包括荧光和或不可见的红外光源。[0020]与现有技术相比，本发明提出的用于三维重构的图像处理方法通过识别图像中的预定标记物，根据标记物提供的坐标参照系，对摄像头组实现校正，从而自适应地获取不同拍摄阶段中摄像头组的成像关联信息，对摄像头组的位置微调等因素实现了主动补偿，提高了三维重构的准确性，复现出三维效果更加逼真的目标场景图像或视频。[0021]第三方面，本发明提出的用于分析目标对象关注度的图像处理方法，其特征在于，该方法包括以下步骤：[0022]获取前置摄像头拍摄的图像数据，图像数据中包含有预定标记物的图像信息和目标对象的图像信息，且预定标记物和目标对象的相对位置关系固定不变；[0023]获取眼睛摄像头拍摄的被试者的眼睛数据；[0024]根据眼睛数据，确定被试者在对应的图像数据中的聚焦区域；[0025]根据图像数据中的预定标记物的图像信息，确定目标对象在图像数据中的位置区域；[0026]判断位置区域是否落入聚焦区域中，若落入，则确定被试者关注了目标对象;若没有落入，则确定被试者没有关注目标对象。[0027]本发明提出的用于分析目标对象关注度的图像处理方法通过识别预先设定的标记物，并根据预定标记物和目标对象相对固定不变的位置关系，获取目标对象在图像中的位置信息，进而实现对不同图片中或连续视频中的目标对象的位置跟踪，从而判定用户是否关注了对应与目标对象所在位置的图像区域，对目标对象关注度进行评价。[0028]与现有技术相比，本发明提出的用于分析目标对象关注度的图像处理方法借助预先设定的标记物，实现了目标对象的快速跟踪，处理简单，辨识率高。[0029]第四方面，本发明提出的用于测距的图像处理方法，该方法包括以下步骤：[0030]获取第一前置摄像头拍摄的测距目标的第一测距图像；[0031]获取第二前置摄像头拍摄的同一测距目标的第二测距图像；[0032]以第一前置摄像头和第二前置摄像头的连线为笛卡尔坐标系中的X轴，根据第一前置摄像头和第二前置摄像头所在的直线距离T、第一前置摄像头的焦距f，第二前置摄像头的焦距f和第一测距图像及第二测距图像，得到测距目标和第一前置摄像头的连线在第一前置摄像头的成像平面的交点的X轴坐标xl，得到测距目标和第二前置摄像头的连线在第二前置摄像头的成像平面的交点的X轴坐标xr;[0033]根据下式，得到测距目标与第一前置摄像头的成像平面的距离Z:[0034][0035]与现有的测距技术相比，本发明提出的用于测距的图像处理方法基于摄像装置获取的图像信息进行测距，简单、方便、易于操作，且精度高。附图说明[0036]为了更清楚地说明本发明具体实施方式中的技术方案，下面将对具体实施方式描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。[0037]图1为根据本发明的实施例的眼动仪的立体图；[0038]图2为根据本发明的实施例的眼动仪的主视图；[0039]图3为根据本发明的实施例用于三维重构的图像处理方法的算法流程图；[0040]图4为根据本发明的实施例用于三维重构的图像处理方法的应用场景示意图；[0041]图5为根据本发明的实施例用于分析目标对象关注度的图像处理方法的算法流程图；[0042]图6为根据本发明的实施例用于分析目标对象关注度的图像处理方法的应用场景示意图；[0043]图7为根据本发明的实施例用于测距的图像处理方法的算法流程图；[0044]图8为根据本发明的实施例用于测距的图像处理方法的计算示意图；[0045]图9为根据本发明的实施例用于测距的图像处理方法的应用场景示意图。具体实施方式[0046]下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。[0047]实施例1[0048]图1为根据本发明的实施例的眼动仪10的立体图，图2是根据本发明的实施例的眼动仪10的主视图。该眼动仪10包括头戴式主体1。该头戴式主体1大致呈现为圆环状，可以是一体式结构，也可是分体式结构。该眼动仪10还包括多个前置摄像头21。多个前置摄像头21沿周向间隔开地设置在头戴式主体1上，多个前置摄像头21中至少两个能够同时采集头戴式主体1的前方的目标场景的图像信息。该图像信息包括视频、图像和或图片。[0049]该眼动仪10还包括设置在头戴式主体1上的控制系统（图1和图2中未显示）。控制系统的安装位置不作特别限定，可安装在头戴式主体1的前端、后端、内部或表面。为了美观起见，控制系统可以设在头戴式主体1的内部。其中，控制系统可以包括可编程逻辑控制器PLC、ASIC、ARM核等各类计算处理器、存储器和与计算处理器相连的电子元件等，这属于本领域技术人员熟知的，在此不再详述。[0050]该控制系统与前置摄像头21相连，使得该控制系统能够基于图像信息对目标场景进行三维重构，和或基于图像信息对目标对象中的至少一个物体进行测距。[0051]也就是说，本发明实施例的眼动仪10能够通过至少两个前置摄像头21同时采集头戴式主体1前方的目标场景的图像信息，并基于该图像信息对目标场景进行三维重构和或对目标场景中的至少一个物体进行测距，从而推进学者在心理学、视知觉、阅读等领域内的研究。同时，由于本发明实施例的眼动仪10具有多个前置摄像头21，且它们沿着头戴式主体1的周向间隔开，因此该眼动仪10相比于只具有一个前置摄像头的现有眼动仪而言，具有更宽的采集范围和视野。另外，本发明实施例的眼动仪10的结构简单，使用方便，佩戴舒适、安全、可靠。[0052]如图2所示，该眼动仪10还包括设置在头戴式主体1的前端的鼻托3。鼻托3可卡在用户的鼻子上，其更好地稳定眼动仪10的佩戴，防止眼动仪10滑落或者晃动。在多个前置摄像头21中，一部分前置摄像头21位于鼻托3的一侧，而另一部分的前置摄像头21位于鼻托3的另一侧。若多个前置摄像头21全部位于鼻托3的一侧，那么眼动仪10的摄像范围或采集范围过于狭窄，但是当一部分前置摄像头21位于鼻托3的一侧而另一部分的前置摄像头21位于鼻托3的另一侧时，这可以有效地扩大眼动仪10的摄像范围或采集范围。[0053]作为优选，该眼动仪10可以包括两个沿着头戴式主体1的周向间隔开设置的前置摄像头21，这两个前置摄像头21分别位于鼻托3的两侧，这两个前置摄像头21相对于该头戴式主体的中心具有一定角度的倾角，如120度。[0054]根据本发明实施例，该眼动仪10还包括用于采集被试者眼睛的图像信息的眼睛摄像头22,用于采集用户眼部的图像信息。该眼动仪10可以通过控制系统、前置摄像头21和眼睛摄像头22来记录人在处理视觉信息时的眼动轨迹特征，以用于注意、视知觉、阅读等领域的研究。[0055]眼睛摄像头22可以通过支撑部件5与头戴式主体1相连。该支撑部件5可选为弯曲杆、直杆、万向杆等常规的支撑构件，并将眼睛摄像头22调整到与被试者眼睛相对应，从而方便眼睛摄像头22采集被试者眼睛的图像信息。眼睛摄像头22与控制系统相连，使得控制系统能够基于采集的被试者眼睛的图像信息与采集的目标场景的图像信息，获知用户是否聚焦在目标场景中的目标对象，在目标场景中，目标对象相对于预先设置的标识物的位置是固定不变的，其中，标识物包括标识图案和或标识光。[0056]详细地讲，将标识物的图像信息作为预存信息，并将其存储于控制系统的存储器内，当控制系统检测到前置摄像头21的图像信息中有与预存信息一致时，控制系统便可定位标识物在当前图像中的位置信息，鉴于目标对象相对于预先设置的标识物的位置是固定不变的，可进一步定位目标对象在当前图像中的位置信息。通过处理眼睛摄像头22采集的被试者眼睛的图像信息，可以获知被试者眼睛在当前图像中聚焦的区域。通过比较被试者眼睛聚焦的区域和目标对象的位置信息，便可判断出用户是否聚焦在目标场景中的目标对象。[0057]作为优选，该眼动仪10可以包括一个眼睛摄像头22。[0058]作为优选，该眼动仪10可以包括多个眼睛摄像头22。[0059]优选地，标识图案包括一维条码和或二维码，而标识光包括荧光和或不可见的红外光源。其中，一维条码包括EAN码、UPC码、128码、交叉25码、39码和库德巴（Codabar码等，二维码包括排列式二维条码、矩阵式二维条码、MicrosoftTag码等。其中，一维条码和二维条码均可通过喷涂图片、显示屏或LED阵列等任何能够显示它或它们的产品来实现。[0060]在一个实施例中，前置摄像头21与头戴式主体1之间的连接为可拆卸连接。可拆卸连接包括螺纹连接、磁铁吸附、螺栓连接或卡接等常规的可拆卸连接。这种可拆卸的方式一方面可以在前置摄像头21损坏时，方便人们更换新的前置摄像头21，另一方面可以根据具体需要将前置摄像头21更换为不同的种类的摄像头，如红外摄像头和普通摄像头（即可见光摄像头之间的转换。其中，前置摄像头21包括可见光摄像头、红外摄像头或热成像摄像头。所谓的可见光摄像头是指能够将可见光转为图像信息的摄像头，如电脑摄像头或手机摄像头等。[0061]在一个优选的实施例中，鼻托3与头戴式主体1之间的连接优选为可拆卸连接，以便用户自行更换或清理鼻托3。可拆卸连接包括螺纹连接、磁铁吸附、卡接、卡箍连接或以过盈配合方式进行的插接。由于用户的面部特征是因人而异的，统一制式的鼻托3很难与所有用户相契合，会导致个别或多数用户佩戴不舒服，作为优选方案，鼻托的高度、宽度等有多种配件方案，用于适应不同性别、人种的用户和戴眼镜的用户。尤其是对于习惯佩戴眼镜的使用者，必须摘掉眼镜才能佩戴具有鼻托3的眼动仪，若是必须佩戴眼镜则还需要定制特定形状的眼镜，由此带来极大的不便。但本发明的眼动仪的鼻托3能够从头戴式主体1上拆卸下来，用户就可以根据自己的面部特征或是否戴眼镜来选择适合自己的鼻托3。用户戴眼镜时，选择一种长度较短的特殊鼻托3,鼻托3有针对眼镜的凹槽式设计，佩戴时眼镜鼻托架在特殊鼻托的上方，采用特殊鼻托3的眼动仪佩戴起来更为方便快捷。[0062]在一个优选的实施例中，该眼动仪10还包括信号收发器未显示）。信号收发器设在上头戴式主体1，并与控制系统相连接。信号收发器的设置位置不作特别限定，可安装在头戴式主体1的前端、后端、内部或表面。信号收发器用于接收预定的外界终端（如手机、电脑和遥控器等）的控制信号和或者向外界终端传输信息。该信号收发器可选为近程通讯模块，如常见的蓝牙模块、WiFi模块如WiFiDirect或红外模块等，当然信号收发器也可以为远程通信模块，如常见的无线电收发模块或互联网通信模块等等。用户能够使用外界终端将控制信号发送给信号收发器，同时信号收发器也能将接收到的前置摄像头21和眼睛摄像头22采集的图像信息传递给外界终端，从而增加本发明实施例的眼动仪10的交互性，该眼动仪采集的图像信息也可以用于其它设备或用途。[0063]实施例2[0064]如图3所示，本发明的实施例用于三维重构的图像处理方法包括以下步骤：[0065]步骤Sll:获取至少两个摄像装置对预定标记物的校正用三维场景同步拍摄的校正图像数据；[0066]步骤S12:根据校正图像数据和预先存储的预定标记物的三维坐标数据，生成至少两个拍摄装置针对相同拍摄场景的成像关联信息；[0067]步骤S13:获取经过校正的至少两个拍摄装置对目标三维场景同步拍摄的采集图像数据；[0068]步骤S14:根据成像关联信息，将采集图像数据合成为三维立体图像，三维立体图像为进行三维重构后的目标三维场景。[0069]需要说明的是，该至少两个摄像装置的类型和成像参数可以相同，也可以不同。[0070]作为优选，该至少两个摄像装置分别为针孔摄像头;对应地，步骤Sl2为：[0071]分别根据校正图像数据和预先存储的预定标记物的三维坐标数据，消除校正图像数据中的畸变，获得消除畸变后的校正图像数据；[0072]根据消除畸变后的校正图像数据和预先存储的预定标记物的三维坐标数据，对该至少两个拍摄装置进行校正，生成至少两个拍摄装置针对相同拍摄场景的成像关联信息。[0073]作为优选，步骤S14为:根据成像关联信息，计算两个拍摄装置同步拍摄的采集图像数据中的视觉差异，并根据视觉差异，将采集图像数据合成为三维立体图像，三维立体图像为进行三维重构后的目标三维场景。[0074]作为优选，该预定标记物由标识图案和或标识光来标记。[0075]优选地，标识图案包括一维条码和或二维码，而标识光包括荧光和或强度大于日光强度的光。其中，一维条码包括EAN码、UPC码、128码、交叉25码、39码和库德巴Codabar码等，二维码包括排列式二维条码、矩阵式二维条码、MicrosoftTag码等。其中，一维条码和二维条码均可通过喷涂图片、显示屏或LED阵列等任何能够显示它或它们的产品来实现。[0076]应当理解为，该预定标记物的标记方法可以相同，也可以不同。[0077]对于针孔摄像头，越远离摄像头感光元件中心的地方，像素质量越差，会有更多的变形和噪点。比如，由于针孔摄像头在不同位置的成像变形，一条直线在针孔摄像头中成的像并不是直线。为了提高图像质量，需要对针孔摄像头拍摄的图像进行消除畸变处理。[0078]—种针孔摄像头比较常用的校正方法是利用标准的黑白棋盘格来计算摄像头的基本参数，包括摄像头焦距f，内参矩阵，外参矩阵（如旋转R矩阵和平移T矩阵）、畸变系数等。具体地，针孔摄像头拍摄的黑白棋盘格图像中，棋盘格会有扭曲，例如现实中的直线在摄像头图像中并不会是直线。通过检测拍摄的图像中黑白棋盘格上的边角点位置，然后依据黑白棋盘格上的边角点应该是直线这一个事实，可以反推得到该针孔摄像头的基本参数。[0079]针对设置有两个前置摄像头（即双目摄像头）的眼动仪，则需要进行双目摄像头标定。具体地，两个前置摄像头同时拍摄同一个标定物的图像，通过标定物在两个摄像头中显著点的对应关系，完成摄像头校正。获得左侧前置摄像头相对于右侧前置摄像头的旋转矩阵后，就可以完成双目摄像头的畸变消除和校正了。[0080]本发明的实施例用于三维重构的图像处理方法可以对至少两个摄像装置同步拍摄的三维场景进行高复原度的重构。[0081]图4为根据本发明的实施例用于三维重构的图像处理方法应用在实施例1的眼动仪中的应用场景示意图。[0082]被试者305佩戴设置有两个前置摄像头的眼动仪10,由被试者控制或者其他人遥控控制校正后的两个前置摄像头同步对目标场景301A进行拍摄，分别获取到图片302Al和图片303A2。眼动仪10内的控制系统实施本发明的实施例用于三维重构的图像处理方法，对两个前置摄像头同步拍摄的图片302Al和图片303A2进行高复原度的重构，复现出具有三维效果的目标场景图片304A〇。[0083]针对视频图像的处理，与针对图片的处理类似，这里不再赘述。[0084]应该理解为，该眼动仪也可以由假人佩戴或固定装置在安装架上，以获取具有三维效果的目标场景图像或视频。[0085]优选地，设置有多个前置摄像头的眼动仪从多个前置摄像头中获得场景原始视图，然后通过针孔摄像头标定技术消除畸变。然后，通过机器视觉检测场景原始视图中的显著点，根据显著点在不同摄像头中视图间的位置关系，实现对多个前置摄像头的校正。[0086]需要说明的是，显著点可以为前述的预定标记物，红外光源，或者具有不光滑的任何物体。[0087]多个前置摄像头可以认为是摄像头组。随后，利用校正后的摄像头组，通过分别计算每一个前置摄像头采集的视图中的视觉差异，从而合成三维立体图，完成三维重构。[0088]本发明的实施例用于三维重构的图像处理方法通过识别图像中的预定标记物，根据标记物提供的坐标参照系，对摄像头组实现校正，从而自适应地获取不同拍摄阶段中摄像头组的成像关联信息，对摄像头组的位置微调等因素实现了主动补偿，提高了三维重构的准确性，复现出三维效果更加逼真的目标场景图像或视频。[0089]实施例3[0090]如图5所示，本发明的实施例用于分析目标对象关注度的图像处理方法，包括以下步骤：[0091]步骤S21:获取前置摄像头拍摄的图像数据，图像数据中包含有预定标记物的图像信息和目标对象的图像信息，且预定标记物和目标对象的相对位置关系固定不变；[0092]步骤S22:获取眼睛摄像头拍摄的被试者的眼睛数据；[0093]步骤S23:根据眼睛数据，确定被试者在对应的图像数据中的聚焦区域；[0094]步骤S24:根据图像数据中的预定标记物的图像信息，确定目标对象在图像数据中的位置区域；[0095]步骤S25:判断位置区域是否落入聚焦区域中，若落入，则确定被试者关注了目标对象;若没有落入，则确定被试者没有关注目标对象。[0096]作为优选，预定标记物包括标识图案和或标识光。标识图案包括一维条码和或二维码，而标识光包括荧光和或强度大于日光强度的光和或不可见的红外光源。此外，上述的预定标记物可能是一个，多个，或者是多个预定标记物的组件。其中，一维条码包括EAN码、UPC码、128码、交叉25码、39码和库德巴（Codabar码等，二维码包括排列式二维条码、矩阵式二维条码、MicrosoftTag码等。其中，一维条码和二维条码均可通过喷涂图片、显示屏或LED阵列等任何能够显示它或它们的产品来实现。[0097]在用户体验研究或广告效果评估等任何视觉相关的研究中，需要获知用户对目标对象的关注程度。如企业在各类媒体投放的形象宣传广告短片，需要评估用户对于企业商标或企业字号的关注程度。若用户对于企业商标或企业字号的关注程度低于预期，则需要调整广告短片的图像设计，以提高广告效果，增加广告收益。[0098]再比如需要统计观众对在影视剧中投放的植入广告的关注程度，从而评价广告效果。上述企业商标或企业字号或植入广告内容即为图片中期望被试者关注的目标对象。[0099]目前，在一帧图片中，确定目标对象的方法通常为人工手动定义目标区域。鉴于目标对象在不同帧图片中的位置是频繁变化的，人工手动定义目标对象需要由人工逐帧在图片中采用鼠标选中或框选区域来定义目标对象，费时费力，并且海量工作量导致较大型的研究必须使用人为标记视频的方式。[0100]具体地，根据眼睛数据，确定被试者在对应的图像数据中的聚焦区域，可以包括以下步骤：[0101]对眼睛数据中的图片进行黑白阈值化处理、人脸检测、人眼检测和瞳孔检测，从而得到眼睛注视的位置；[0102]将被试者眼睛注视的位置标记到前置摄像装置拍摄的被试者当前观看的测试图像的拍摄图像中，从而知道眼睛看到了真实世界中物体的具体部位。[0103]具体应用时，将预定标记物设置在预定目标对象附近之后，再通过摄像装置录制视频或拍摄图片，获得图像数据。这些图像数据将用于用户体验研究，如广告短片和心理学实验图片等。[0104]图6为根据本发明的实施例用于判断目标对象关注度的图像处理方法应用在实施例1的眼动仪中的应用场景示意图。[0105]被试者205佩戴上安装有至少一个前置摄像头和至少一个眼睛摄像头的眼动仪10后，观看预先录制的视频、图片、网页和文本等显示材料。眼动仪上的至少一个前置摄像头同步拍摄被试者正在观看的图像，获取场景图像数据;眼动仪10上的至少一个眼睛摄像头同步拍摄被试者眼球的运动，获取眼睛数据;眼动仪10内的控制系统实施本发明的实施例用于分析目标对象关注度的图像处理方法，根据眼睛数据，确定被试者在当前观看图像中的聚焦区域，根据图像数据中预定标记物的位置，确定目标对象所在的目标位置;判断目标位置是否落入聚焦区域中，若落入，则确定被试者关注了目标对象;若没有落入，则确定被试者没有关注目标对象。[0106]具体地，结合图6,图示中201即为预定目标对象所在区域，图示中202即为预定标记物所在区域。在被试者观看图片C时，通过本发明的实施例用于判断目标对象关注度的图像处理方法，即可确定被试者眼睛的聚焦区域落在图片C中的苹果所在区域，而不是预定标记物所在的202或预定目标对象所在的201，因此，可以确定被试者没有关注目标对象。在被试者观看图片D时，通过本发明的实施例用于判断目标对象关注度的图像处理方法，即可确定被试者眼睛的聚焦区域落在图片D中预定目标对象所在的201，而不是预定标记物所在的202或水果葡萄所在的区域，因此，可以确定被试者关注了目标对象。[0107]需要说明的是，在同一张图片或者视频材料上，可以设置多个感兴趣的目标对象。这时，可以把多个感兴趣的目标对象组成一个感兴趣区域组。感兴趣区域的形状可能是正方形，圆形，椭圆型，三角形，或者自定义的不固定形状等。[0108]以被试者是否聚焦目标对象为基础，进一步，可以统计在一个视频图片区域中被试者聚焦目标对象的累计次数，或在一个视频图片区域中被试者聚焦目标对象的累计时间，或从图片视频呈现到第一次聚焦的经过的时间，及一个视频中的累计聚焦时间等许多变量。[0109]根据本发明的实施例用于分析目标对象关注度的图像处理方法通过识别预先设定的标记物，并根据预定标记物和目标对象相对位置固定不变的关系，获取目标对象在图像中的位置信息，进而实现对不同图片中或连续视频中的目标对象的位置跟踪，从而判定用户是否关注了对应与目标对象所在位置的图像区域，对目标对象关注度进行评价。[0110]与现有技术相比，根据本发明的实施例用于分析目标对象关注度的图像处理方法借助预先设定的标记物，实现了目标对象的快速跟踪，处理简单，辨识率高。[0111]眼动仪内的控制系统通过实施本发明的实施例用于三维重构的图像处理方法，使得眼动仪能能够自动识别标记物，利用代码自动计算眼睛注视位置与感兴趣的目标对象的之间的交互行为，从而摆脱了传统的费时费力的人工标记工作。[0112]实施例4[0113]如图7所示，本发明的实施例的用于测距的图像处理方法，包括以下步骤：[0114]步骤S31:获取第一前置摄像头拍摄的测距目标的第一测距图像;及获取第二前置摄像头拍摄的同一测距目标的第二测距图像；[0115]步骤S32:以所述第一前置摄像头和第二前置摄像头的连线为笛卡尔坐标系中的X轴，根据所述第一前置摄像头和第二前置摄像头的直线距离T、第一前置摄像头的焦距f，所述第二前置摄像头的焦距f，和所述第一测距图像及所述第二测距图像，得到所述测距目标与所述第一前置摄像头的连线与所述第一前置摄像头的成像平面的交点的X轴坐标xl，得到所述测距目标与所述第二前置摄像头的连线与所述第二前置摄像头的成像平面的交点的X轴坐标xr;[0116]步骤S33:根据下式，得到所述测距目标与所述第一前置摄像头的成像平面的距离[0117]具体地，如图8所示，被测量物体等效为空间一点，记为P，左右摄像头分别等效为空间一点分别记为〇l、〇r垂直于纸面方面看去，左侧为左摄像头，右侧为右摄像头），P与01的连线与成像平面的交点记为Pl，P与Or的连线与成像平面的交点记为ΡΓ3Ρ、Ρ1和Pr这三点连线构成的三角形与P、〇l和Or这三点连线构成的三角形为相似三角形。Z为需要测量的摄像头成像平面到被测量物体的距离。f为摄像头焦距，T为两个摄像头之间的直线距离，根据相似三角形原理，可以计算出Z。[0118]图9为根据本发明的实施例的用于测距的图像处理方法应用在实施例1的眼动仪中的应用场景不意图。[0119]用户佩戴上设置有两个前置摄像头的眼动仪后，控制这两个前置摄像头同步拍摄测距目标的测距图像。眼动仪内的控制系统实施本发明的实施例用于测距的图像处理方法，对这两个前置摄像头同步拍摄测距目标的测距图像进行处理，得到该测距目标与这两个前置摄像头的成像平面的距离，并结合前置摄像头的焦距，获得该测距目标与用户的直线距离。[0120]与现有的测距技术相比，根据本发明的实施例的用于测距的图像处理方法基于摄像装置获取的图像信息进行测距，简单、方便、易于操作，且精度高。[0121]虽然已经参考优选实施例对本发明进行了描述，但在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，各个实施例中所提到的各项技术特征均可以任意方式组合起来。本发明并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。

权利要求：1.一种眼动仪，其特征在于，包括：头戴式主体；多个前置摄像头，多个所述前置摄像头沿周向间隔开地设置在所述头戴式主体上，多个所述前置摄像头中至少两个能够同时采集所述头戴式主体的前方的目标场景的图像信息；设置在所述头戴式主体上的控制系统，所述控制系统与所述前置摄像头相连，使得该控制系统能够基于所述图像信息对所述目标场景进行三维重构，和或基于所述图像信息对所述目标场景中的至少一个物体进行测距。2.根据权利要求1所述的眼动仪，其特征在于，还包括设置在所述头戴式主体的前端的鼻托，在多个所述前置摄像头中，一部分所述前置摄像头位于所述鼻托的一侧，而另一部分的所述前置摄像头位于所述鼻托的另一侧。3.根据权利要求2所述的眼动仪，其特征在于，所述鼻托与所述头戴式主体之间的连接为可拆卸连接。4.根据权利要求1所述的眼动仪，其特征在于，所述前置摄像头与头戴式主体之间的连接为可拆卸连接。5.根据权利要求1所述的眼动仪，其特征在于，所述前置摄像头包括可见光摄像头、红外摄像头或热成像摄像头。6.根据权利要求1到5中任一项所述的眼动仪，其特征在于，还包括用于采集被试者眼睛的图像信息的眼睛摄像头，所述眼睛摄像头通过支撑部件与所述头戴式主体相连，所述眼睛摄像头与控制系统相连，使得所述控制系统能够基于采集的被试者眼睛的图像信息与采集的目标场景的图像信息，获知用户是否聚焦在所述目标场景中的目标对象，在所述目标场景中，所述目标对象相对于预先设置的标识物的位置是固定不变的，所述标识物包括标识图案和或标识光，所述标识图案包括一维条码和或二维码，而所述标识光包括荧光和或不可见的红外光源。7.—种用于三维重构的图像处理方法，其特征在于，包括以下步骤：步骤Sll:获取至少两个摄像装置对预定标记物的校正用三维场景同步拍摄的校正图像数据；步骤S12:根据所述校正图像数据和预先存储的预定标记物的三维坐标数据，生成所述至少两个拍摄装置针对相同拍摄场景的成像关联信息；步骤S13:获取经过校正的所述至少两个拍摄装置对目标三维场景同步拍摄的采集图像数据；步骤S14:根据所述成像关联信息，将所述采集图像数据合成为三维立体图像，所述三维立体图像为三维重构后的目标三维场景。8.根据权利要求7所述的图像处理方法，其特征在于，所述至少两个摄像装置为针孔摄像头；对应地，步骤S12为：分别根据所述校正图像数据和预先存储的预定标记物的三维坐标数据，消除所述校正图像数据中的畸变，获得消除畸变后的校正图像数据；根据所述消除畸变后的校正图像数据和预先存储的预定标记物的三维坐标数据，对所述至少两个拍摄装置进行校正，生成所述至少两个拍摄装置针对相同拍摄场景的成像关联信息，所述预定标记物包括标识图案和或标识光标记，所述标识图案包括一维条码和或二维码，而所述标识光包括荧光和或不可见的红外光源。9.一种用于分析目标对象关注度的图像处理方法，其特征在于，包括以下步骤：获取前置摄像头拍摄的图像数据，所述图像数据中包含有预定标记物的图像信息和目标对象的图像信息，且所述预定标记物和所述目标对象的相对位置关系固定不变；获取眼睛摄像头拍摄的被试者的眼睛数据；根据所述眼睛数据，确定被试者在对应的图像数据中的聚焦区域；根据所述图像数据中的预定标记物的图像信息，确定所述目标对象在所述图像数据中的位置区域；判断所述位置区域是否落入所述聚焦区域中，若落入，则确定所述被试者关注了所述目标对象;若没有落入，则确定所述被试者没有关注所述目标对象。10.—种用于测距的图像处理方法，其特征在于，包括以下步骤：获取第一前置摄像头拍摄的测距目标的第一测距图像；获取第二前置摄像头拍摄的同一测距目标的第二测距图像；以所述第一前置摄像头和所述第二前置摄像头的连线为笛卡尔坐标系中的X轴，根据所述第一前置摄像头和第二前置摄像头所在的直线距离T、所述第一前置摄像头的焦距f，所述第二前置摄像头的焦距f和所述第一测距图像及所述第二测距图像，得到所述测距目标和所述第一前置摄像头的连线在所述第一前置摄像头的成像平面的交点的X轴坐标xl，得到所述测距目标和所述第二前置摄像头的连线在所述第二前置摄像头的成像平面的交点的X轴坐标xr;根据下式，得到所述测距目标与所述第一前置摄像头的成像平面的距离Z:

百度查询： 优视眼动科技(北京)有限公司 眼动仪及图像处理方法