买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：韦伯斯特生物官能(以色列)有限公司;阿克拉伦特公司

摘要：本发明题为“在医学规程期间使用增强现实辅助导航”。执行侵入式规程的医生在利用外科工具工作时要求准确度和精密度。外科规程越来越变得具有微创性，其中医生使用相机操作以查看手术部位，并且通过目镜或视频显示器引导他们的工具。理想情况下，医生应该能够执行侵入式规程，同时能够观察患者的实时图像以及对于关于外科工具的操纵和下一个手术步骤的医学决策至关重要的附加数据两者。本公开的增强现实导航系统通过使用包括在相机上和或在规程期间使用的工具上的位置传感器来提供用于侵入式规程的工具位置可见性。位置跟踪系统基于由传感器检测到的信号的特性来确定和监视工具和相机的位置，并在利用相机获得的图像上显示信息性叠层。

主权项：1.一种用于提供对象的增强现实显示的系统，所述系统包括：工作站；和相机，其中所述工作站被配置成：从所述相机获得图像；检测所述相机的位置；基于所述相机的所述位置来识别所述相机的视场；生成对应于所述视场的一个或多个叠层特征；将所述一个或多个叠层特征与来自所述相机的所述图像合成以形成合成图像；以及在显示器上显示所述合成图像；其中所述一个或多个叠层特征与所述对象的解剖结构相关联，其中所述工作站被配置成通过以下来生成所述一个或多个叠层特征：生成指示解剖特征的叠层特征；其中所述工作站被配置成通过以下来生成指示所述解剖特征的所述叠层特征：基于定位垫的相对位置和取向以及所述对象的位置和取向，并且基于标记的相对位置和所述对象的模型来确定所述标记在所述相机的所述视场内的位置，其中所述标记是所述对象的模型中的与所述解剖特征相关联的点；以及基于所述标记在所述相机的所述视场内的所述位置来再现对应于所述标记的图形表示；其中对应于所述标记的所述图形表示包括在所述图像的选择位置上的文本和由所述标记指示的箭头，所述选择位置基于针对所述图像的区域中的多个像素的平均色值的方差低于预定阈值，其中所述文本指示对应的解剖特征且所述箭头指示所述标记在所述相机的所述视场内的所述位置。

全文数据：在医学规程期间使用增强现实辅助导航背景技术外科规程经常会遇到解剖结构可见性的问题。存在有助于可视化体内解剖结构的视觉辅助。然而，由于解剖结构是不透明的并且因此阻碍了其它解剖结构的可见性，因此此类视觉辅助的有效性受到限制。外科规程的本质涉及将一个或多个工具插入人体中，这常常导致无法确切地看到这些工具发生的情况。不断开发用于在规程期间获得可见性的改善技术。发明内容本发明提供了一种用于提供对象的增强现实显示的方法。该方法包括从相机获得图像。该方法还包括检测相机的位置。该方法还包括基于相机的位置来识别相机的视场。该方法还包括生成对应于视场的一个或多个叠层特征。该方法还包括将一个或多个叠层特征与来自相机的图像合成以形成合成图像。该方法还包括在显示器上显示合成图像。本发明提供了一种用于提供对象的增强现实显示的系统。该系统包括工作站和相机。工作站被配置成从相机获得图像，检测相机的位置，以及基于相机的位置来识别相机的视场。工作站还被配置成生成对应于视场的一个或多个叠层特征。工作站还被配置成将一个或多个叠层特征与来自相机的图像合成以形成合成图像，以及在显示器上显示合成图像。本发明还提供了一种用于提供对象的增强现实显示的系统。该系统包括工作站、显示器、一个或多个工具、相机、内窥镜和内窥镜相机。工作站被配置成从相机获得图像，以及检测相机的位置。工作站还被配置成基于相机的位置来识别相机的视场。工作站还被配置成生成对应于相机的视场的一个或多个叠层特征，对应于相机的视场的一个或多个叠层特征与对象的解剖结构相关联或者与一个或多个工具相关联。工作站还被配置成将对应于相机的视场的一个或多个叠层特征与来自相机的图像合成以形成合成图像。工作站还被配置成在显示器上显示合成图像。附图说明通过结合附图以举例的方式给出的以下描述可得到更详细的理解，其中：图1是根据本发明实施方案的位置跟踪和导航系统的示意图；图2示出了包括与耳鼻喉科有关的工具的示例性位置跟踪和导航系统的部分；图3示出了头部的3D模型，其用于根据示例示出存在叠层特征的上下文和或用于示出生成叠层特征的至少一些的方式；图4A至图4D示出了示例性内窥镜图像；图5A至图5B示出了示例性图像，该示例性图像包括在本文中被称为“解剖特征轮廓”的叠层特征类型；并且图6是根据示例显示增强现实图像的方法的流程图。具体实施方式执行侵入式规程的医生在利用外科工具工作时要求准确度和精密度。外科规程越来越变得具有微创性，其中医生使用相机操作以查看手术部位，并且通过目镜或视频显示器引导他们的工具。理想情况下，医生应该能够执行侵入式规程，同时能够在单个显示装置上观察患者的实时图像以及对于关于外科工具的操纵和下一个手术步骤的医学决策至关重要的附加数据两者。本公开的增强现实导航系统通过使用包括在相机上和或在规程期间使用的工具上的位置传感器来提供用于侵入式规程的工具位置可见性。位置跟踪系统基于由传感器检测到的信号的特性诸如电磁传感器的振幅或频率来确定和监视工具和相机的位置。配准过程将患者的3D模型例如，经由医学扫描诸如计算机断层“CT”扫描生成与患者的实际位置相关。因此，工具和相机的位置相对于患者的解剖结构的位置被跟踪。这种相对位置跟踪允许与规程有关的信息与由相机生成的图像进行合成。例如，由于相机相对于工具的位置是已知的，因此即使当工具由于被患者的组织遮挡而对人类操作者不可见时，工具的位置也可显示在图像内。这种显示通过标准的三维“3D”再现技术来实现，该再现技术再现物体相对于相机的位置的图像。更具体地，通过跟踪系统的功能，相机和工具的位置和取向相对于患者的位置是已知的。因此，工具的位置相对于相机的视场是已知的。标准的3D再现技术基于物体相对于相机的位置来显示3D物体的图像。此类技术可用于再现对应于工具的图像例如，工具的图形表示，并且附加的合成技术可用于在从相机接收的患者图像上显示此类再现的图像。附加信息诸如工具的可视化、解剖结构的再现，包括解剖结构的三维结构诸如动脉或血管网、神经网的显示、或手术前识别的要切除的肿瘤的边界或其它信息可附加地或另选地示出在此类合成图像中。与本公开有关的一种现有技术是由BiosenseWebster,Inc.DiamondBar,California生产的CARTOTM系统。CARTOTM系统和其它相关技术的方面可在美国专利5,391,199、6,690,963、6,484,118、6,239,724、6,618,612和6,332,089中，在PCT专利公布WO9605768中以及在美国专利申请公布20020065455A1、20030120150A1和20040068178A1中找到，它们的公开内容全部以引用方式并入本文。图1是根据本发明实施方案的位置跟踪和导航系统100的示意图。如图1所示，该系统包括一个或多个医疗工具10例如，导管、导丝、内窥镜等、相机44、至少包括工作站12的控制台38，该工作站至少包括处理器14和一个或多个显示装置16诸如监视器或虚拟现实显示器、导管集线器18、定位垫30、位置配准工具40以及定位垫驱动器“LP驱动器”20。工作站12被配置成经由链路50与LP驱动器20通信，以使得LP驱动器20经由链路54通信以驱动定位垫30内的场发生器。场发生器发射由传感器32检测到的场信号例如，电磁场或其它类型的场诸如声场。传感器32响应于场信号生成响应信号。响应信号由导管集线器18感测。导管集线器18经由通信链路42与一个或多个工具10、相机44和位置配准工具40上的传感器32通信。通信链路42可为有线或无线链路。导管集线器18经由链路52可以是有线或无线链路向工作站12传输响应信号或处理版本的响应信号。工作站12基于响应信号的特性来确定传感器32的位置和物理取向，并且因此确定传感器32结合在其中或附接到其的物体例如，相机44、一个或多个工具10和位置配准工具40的位置和物理取向。在一个示例中，定位垫30中的场发生器各自具有已知的相对位置。传感器32接收来自多个场发生器的信号。可以基于时间例如，在不同的时间驱动不同的场发生器，使得传感器32接收信号的时间可与不同的场发生器相关、频率例如，不同的场发生器用不同频率的信号来驱动，使得由传感器32接收的信号的频率识别单个场发生器，或者基于由场发生器生成的信号的其它特性来区分接收的信号。如上所述，导管集线器18将从传感器32接收的信号或处理版本的信号传输到工作站12以用于处理。工作站12处理信号以确定传感器32相对于定位垫30的场发生器的位置。确定传感器32的位置所进行的处理取决于由场发生器发射的信号类型。在一些示例中，处理确定响应于场发生器中的每一个接收的信号的振幅。较大的振幅指示到场发生器的距离较小，而较低的振幅指示到场发生器的距离较大。利用每个传感器32例如，3的多个场发生器的距离确定，可以通过三角测量确定相对于场发生器的位置。在替代方案中，定位垫30的场发生器代替了传感器，并且工具上的传感器代替了场发生器。在此类替代方案中，定位垫30的传感器检测由工具发射的信号，并且工作站12以类似方式处理这些信号，就好像定位垫30包括场发生器并且工具包括传感器一样。另选地，可以使用基于对信号的响应来确定位置的任何技术上可行的技术。而且，尽管描述了用于确定工具位置的特定系统，但是可以使用用于确定工具的位置的任何技术上可行的装置。如上所述，系统100还包括位置配准工具40，其可以体现为手持式细棒。位置配准工具40用于将存储在模型数据48中的三维模型与在配准规程中的定位垫中的场发生器的位置相关。在一个示例中，模型数据48的3D模型是手术对象例如，患者的头部22的计算机数据表示。这种3D模型可以通过医学成像技术诸如计算机断层“CT”扫描或磁共振成像“MRI”，或者通过任何其它产生可转换为3D模型的数据的成像技术来获得。为了执行配准规程，位置配准工具40被放置在对象例如，头部22附近的特定位置。然后，工作站12将该位置与存储在模型数据48中的3D模型内的位置相关联，从而将3D模型中的点与现实中的点相关。这种关联可以响应于由操作者诸如外科医生的特定指示而做出。在此类情况下，工作站12在显示器16上显示来自模型数据48的3D模型。操作者将位置配准工具40移动到特定位置，并且然后经由输入装置36向工作站12指示3D模型中的对应位置。在替代方案中，工作站12自动将真实空间中的位置与3D模型中的位置相关联。在一个示例中，此自动关联按如下完成。位置配准工具40围绕手术对象例如，头部22的附近移动。工作站12处理从位置配准工具40接收的数据，以识别3D模型中的对应位置。在一个示例中，位置配准工具40包括相机，并且工作站12对用位置配准工具40接收的图像执行图像处理，以识别位置配准工具40在3D模型中的位置。在一些示例中，获得并存储真实空间和3D模型之间的多个相关点，以改善配准的准确度并实现旋转以及位置配准。虽然位置配准工具40被描述为用于实现真实空间和3D模型之间的位置配准的工具，但是可以另选地使用任何其它工具，包括用于其它目的的工具诸如相机44或工具10中的任一个。相机44在显示器16中为操作者提供视图。该视图包括对象由头部22表示的实际图像。更具体地，相机44拍摄对象头部22的一系列图像并在显示器16上显示此类图像。此外，工作站12可以在由相机44提供的图像上覆盖特定特征。更具体地，相机44包括位置传感器32，该位置传感器与定位垫30结合或者另选地与一些其它机构结合，与导管集线器18配合以提供相机44的位置和取向可以从中提供给工作站12的信号。该位置信息可以与上述关于定位垫30以及工具10和位置配准工具40上的传感器32的配合的相似方式导出。可以任何技术上可行的方式检测相机44的旋转。在一个示例中，相机44的传感器32内包括多个不同的微传感器，并且用不同的微传感器进行的相对测量被用于确定相机44的旋转。工作站12使用为相机44获得的位置和旋转信息在显示器16上提供一个或多个叠层特征，叠层特征与由相机生成的图像进行合成。更具体地，基于相机44的位置和取向，工作站12能够在模型数据48的3D模型的三维空间中定位一个或多个虚拟物体例如，解剖学标签。由于3D模型的3D空间与现实坐标系经由位置配准过程搭建之间的链接，因此与3D模型的3D空间相连的虚拟物体在本文中也被称为“叠层特征”可以显示在用相机拍摄的图像中。传统的3D成像技术可用于在用相机拍摄的图像中显示一些此类叠层特征。在一个简单的示例中，工作站12具有相机44在真实空间中的位置，并且已经经由上述配准过程将3D模型的几何结构与真实空间相关。因此，工作站12知道3D模型和相机44在真实空间坐标系中的相对位置。在给出坐标系中物体的位置并给出坐标系内相机位置的情况下，传统3D再现技术诸如在标准的可商购获得的3D再现图形卡中实现的那些诸如购自SantaClaraCA的Nvidiacorporation的GeForce系列卡，或者购自Sunnyvale,CA的AdvancedMicroDevices,Inc.的Radeon系列卡能够将三维物体绘制到屏幕空间。此类技术可用于在显示器16上显示的屏幕空间中再现模型数据48的3D模型。在一些操作模式中，工作站12在由相机44提供的图像上再现模型数据48和或下面讨论的其它叠层特征的3D模型。因此，在此类操作模式中，工作站12生成包括基于3D模型的叠层的图像，该叠层与相机44生成的图像合成。在一些操作模式中，工作站12不显示3D模型的任何部分、显示一些部分或所有部分，并且不显示其它叠层特征或显示一些其它叠层特征。叠层特征包括与对对象例如，头部22执行的规程有关的信息，以及或者与对象的解剖结构有关的信息。叠层特征包括用户例如，外科医生生成的标记，用于标记对象的三维空间中的特定位置。叠层特征另选地或附加地包括基于对经由相机44获得的图像的分析而生成的计算机生成的特征。叠层特征可以包括可在显示器16上显示的任何其它数据，这些数据指示与针对对象执行的规程或系统100的使用的任何其它方面有关的信息。在一个示例中，叠层特征包括由外科医生预先定义作为兴趣点、作为解剖结构标识、作为特定定义的文本或作为任何其它特征的标记。在另一个示例中，叠层特征包括一个或多个工具10的图形表示。更具体地，工作站12具有工具上的传感器32相对于相机44的位置。工作站12可以使用如上所述的类似技术以在由相机44生成的图像中再现工具的图形表示。除了工具10的位置之外，图形表示的再现方式还可以取决于工具10的取向例如，旋转，使得医生理解工具10相对于患者的解剖结构的几何位置。显示器16可为传统显示器或可为虚拟现实眼镜。如果规程涉及适用于此类屏蔽的成像，则虚拟现实眼镜可以具有适当的屏蔽诸如由铅提供的X射线屏蔽。显示器16也可以是远程显示器即位于患者远侧的显示器，其可以与远程控制工具10一起为远程手术提供便利。现在将参考其余的附图描述系统100的附加细节。这些附加附图示出了系统100在耳鼻喉科规程的上下文中的方面，尽管应当理解，所描述的一般原理可以用于人体的其它区域。图2示出了包括与耳鼻喉科有关的工具的示例性位置跟踪和导航系统200的部分。系统200是系统100的示例，其中工具10中的一个是内窥镜202。位置跟踪和导航系统200包括类似于图1的显示器16的显示器16，以及类似于图1的工作站12的工作站12。位置跟踪和导航系统200还包括图1的系统100的其它元件，即使此类元件没有在图2中示出。尽管系统200被描述为包括内窥镜202和相机44两者，但是可以仅使用内窥镜202而没有相机44。图2的工具10中的一个是内窥镜202，其包括在远侧端部208处获得图像并将该图像提供给连接到内窥镜202的相机204的探头206。相机204将图像传输到工作站12，该工作站处理图像以用于显示。工作站12可以将利用与内窥镜202成一体的相机204获得的图像显示在示出利用图1所示相机44获得的图像的显示器相同的显示器中例如，在显示器16上，或者可以将图像示出在单独的内窥镜显示器205中。如果示出在显示器16上，则工作站12执行操作，使得显示器16可以在相机204和相机44之间共享。在一个示例中，响应于来自操作者的输入，显示器16在示出来自相机44和相机204的图像之间切换。例如，当相机204断电时，显示器16可以示出来自相机44的图像，而当相机204通电时，显示器16可以示出来自相机204的图像。另选地，相机44或相机204的选择可以响应于显式选择哪个相机以示出图像的显式相机选择输入而发生。如果内窥镜显示器205用于示出来自内窥镜202的相机204的图像，则在显示器之间没有竞争—显示器16示出来自相机44的图像，而内窥镜显示器205示出来自内窥镜202的相机204的图像。由图1的相机44生成的包括叠层特征的图像是概览图像210示出在显示器16上。与相机44一样，工作站12从相机204获得由内窥镜202获得的图像，并且将该图像与内窥镜叠层特征一起显示在显示器上。内窥镜叠层特征包括与正在执行的规程和或对象例如，头部22的解剖结构有关的信息。而且，与系统100一样，一个或多个工具10例如，外科工具可以存在于对象例如，头部22的附近。图2示出了具有传感器32的一个工具10。而且，在内窥镜202的探头206的末端处的是传感器32。工作站12与定位垫30和定位垫驱动器20一起检测传感器32的位置和取向，并且因此检测工具10和内窥镜探头206的位置和取向。应当理解，图2示出了一个示例性实施方式，并且可以在规程中使用任何数量的工具10，每个工具具有传感器32。由相机204生成并且包括内窥镜叠层特征的图像包括内窥镜图像212，该内窥镜图像可以继而显示在显示器16或内窥镜显示器205的任一者上。内窥镜叠层特征包括工具位置的指示诸如所示的工具10或其它工具、解剖结构位置或位置的指示、或者与规程或解剖结构有关的其它指示。在一些操作模式中，工作站12处理基于传感器32生成的位置数据，并且使用该位置数据生成内窥镜图像212的叠层特征。此类叠层特征包括指示工具10的位置和取向的视觉图像。如关于图1描述的处理一样，工作站12使用使用定位垫30确定的传感器32的位置以及同样使用定位垫30确定的内窥镜探头206的远侧端部208的位置和取向来确定内窥镜图像212中叠层特征的位置和形状。如关于图1所述，在给定相机位置和取向以及物体位置和取向的情况下，标准三维再现算法能够生成图像。使用此类算法，工作站12能够基于工具10相对于内窥镜探头206的远侧端部208的位置来生成对应于不同工具的叠层特征的图像。内窥镜探头206上的传感器32相对于内窥镜探头206的远侧端部208定位在已知位置处，使得可以从内窥镜探头206上的传感器32获取的位置数据中导出内窥镜探头206的远侧端部208的位置。除了工具位置和取向之外，在一些操作模式中，由工作站12在内窥镜图像212中显示的叠层特征还包括与解剖结构有关的文本和图形标记。图3示出了头部的3D模型300，其用于根据示例示出存在叠层特征的上下文和或用于示出生成叠层特征中的至少一些的方式。3D模型300可以通过标准医学成像技术诸如CT扫描或MRI获得，并且可以使用已知技术将通过这些技术获得的数据转换为三维模型。此类扫描可以在使用图1的系统100或图2的系统的任何规程之前发生。为了简单和清楚的目的，在3D模型300中仅示出了一些解剖结构。然而，应当理解，用于医学规程并基于扫描生成的3D模型可以基本上反映对象的所有解剖结构。在一些操作模式中，合成到内窥镜图像212上的叠层特征的至少一些基于由人类操作者输入的标记302。更具体地，在该规程之前，将例如基于医学扫描来生成对象的3D模型。随后，人类操作者诸如外科医生将查看3D模型，并且将在3D模型的三维坐标系内输入标记302。可以使用任何用户界面来允许人类操作者输入标记302。这些标记302的一些示例在图3中示出。标记3021与上颌窦口相关联，而标记3022与蝶窦口相关联。其它标记302也可以呈现在3D模型中。注意，标记302被输入到3D模型中的计算机系统不需要是工作站12。换句话讲，3D模型可以由人类操作者在计算机系统上进行分析和操纵添加标记302，该计算机系统不同于生成图像概览图像210、内窥镜图像212以供人类操作者在规程期间查看的计算系统工作站12。出于这个原因，虽然这里有时说明工作站12执行与将标记302添加到3D模型300有关的特定任务，或者执行与添加、移除、编辑或以其它方式操纵叠层特征的数据有关的其它任务，但应当理解，此类动作可另选地用不同计算机系统执行。在一些操作模式中，工作站12自动生成标记。一些标记可基于对3D模型300的分析并且基于熟知的解剖结构相关信息来添加。例如，工作站12可以基于模板3D模型其包括人类头部的通用三维模型并且基于附加分析，诸如正在操作的人类对象的3D模型与模板模型的比较，来为一个或多个特定解剖结构生成标记302。在一些示例中，标记302既被自动生成，又由人类输入。更具体地，工作站12自动生成标记，并且人类调整这些标记的位置。另选地，工作站12呈现可由工作站12为其自动生成标记302的解剖界标列表。作为响应，人类操作者选择一个或多个此类界标，并且工作站12基于这些选择的界标来生成标记302。人类操作者随后可基于对象的头部的实际结构来调整这些标记的位置。用于生成此类标记302的任何其它技术上可行的装置也是可能的。标记302还可包括相关联的文本，该文本由人类操作者输入。这些文本标记可在标记302自身的输入期间生成。例如，当人类操作者选择3D模型中的一点作为标记302时，人类操作者还可输入文本标签。一些叠层特征诸如标记302中的至少一些在概览图像210或内窥镜图像212中的任一者或两者中的规程期间被显示。如上所述，由于工作站12知道相机44的位置、内窥镜探头206的远侧端部208的位置以及对象的解剖结构的位置，因此基于配准规程，工作站12能够为传感器标记302中的一个或多个再现指示器。图4A至图4C示出了示例性内窥镜图像212。在图像4001中，内窥镜探头206指向上颌窦口插入鼻腔中，从而在图像4001中可见。3D模型包括上颌窦口处的标记302。通过将标记302的位置与内窥镜探头206的远侧端部208的位置相比较来进行分析，工作站12确定标记3021位于内窥镜相机204的视场内。作为响应，工作站12在内窥镜图像212中显示与标记302相关联的叠层特征4041。在图像4001中，叠层特征包括箭头4061和文本4081，然而，在其它具体实施中，该叠层可以包括其它图形特征。叠层的图形特征被配置成指示标记302的位置。在图像4001中，该指示经由从标记302的大致位置延伸到与标记302相关联的文本408的箭头406实现。其它操作模式可包括不同类型的图形，该图形被配置成以不同的方式示出标记302的位置。在其中标记302的位置用箭头406和文本408指示的配置中，工作站12被配置成为文本408选择适当位置，并且然后绘制从对应于标记302的位置到选择用于文本408的位置的箭头406。可以使用用于分析图像来为文本确定适当位置的任何技术上可行的装置。术语“适当的”一般是指文本408是易读的。在一个示例中，为文本选择图像404的具有大致均匀颜色的部分。在一个示例中，大致均匀的颜色基于区域中像素的平均色值的方差来确定。方差越高，该区域就越不均匀。在一个示例中，具有低于特定阈值的方差的区域指示该区域适用于文本。应当指出的是，上述技术代表用于显示叠层的技术的一些示例，并且可以使用用于显示识别标记302的位置的特征的任何技术上可行的装置。图4B和图4C示出了在其它位置处的其它示例性图像400。具体地，图像4002表示由内窥镜202拍摄的视图，其中内窥镜探头206插入鼻腔中并指向蝶窦口。基于标记3022，工作站12以类似于关于图4A所述的方式生成文本4082和箭头4062。图像4003表示由内窥镜202拍摄的视图，其中内窥镜探头206插入鼻腔中并指向鼻息肉。与图像4001和4002的情况一样，工作站12基于来自传感器32的位置数据，基于3D模型并且基于标记302来生成图像4003。图4D示出了另一个示例性图像4004。具体地，图像4004表示由内窥镜202拍摄的视图，其中内窥镜探头206插入鼻腔中并指向鼻息肉。基于标记3024，工作站12生成文本4084和箭头4064。此外，工作站12具有指示血管460的形状和位置的信息。工作站12确定血管位于对应于由内窥镜202拍摄的图像的视场内，并且因此在图像4004中显示血管460的图形表示。这允许执业医生在规程期间避开血管460。图5A至图5B示出了示例性图像500，该示例性图像包括在本文中被称为“解剖特征轮廓”的叠层特征类型。这些解剖特征轮廓502由工作站12自动生成，并用于指示某些解剖特征的位置。图像5001示出了箭头4064和文本4084，以及轮廓5021。轮廓5021由工作站12通过图像处理自动生成，可能结合从传感器32接收的位置信息和存储在模型数据48中的3D模型信息。工作站12可以执行任何技术上可行的方法以用于识别特定感兴趣的解剖特征的几何轮廓。在一个示例中，将“理想”或“参考”解剖结构的模板模型与从对象的实际扫描获得的3D模型进行比较。基于3D模型的几何结构和模板模型的几何结构之间的位置比较，在3D模型内识别已知的解剖特征。在另一个示例中，在扫描以生成3D模型之后，人类操作者观察3D模型，并以与生成标记302类似的方式识别感兴趣的解剖结构。在规程期间，工作站12处理利用内窥镜相机204获得的图像，以识别与特定的所识别的解剖结构相关联的图像的像素。在一些示例中，利用不同的图像处理技术识别不同的解剖结构。在一种技术中，工作站12将本来明亮图像中的暗区域考虑基于照明和或基于相机的渐晕识别为口。工作站12基于内窥镜探头206的远侧端部208的位置和方向来确定识别哪个口。例如，基于3D模型内的位置，工作站12可能够识别内窥镜探头206的远侧端部208在特定区域诸如鼻腔内，并且基于内窥镜探头206的远侧端部208在鼻腔内的位置来识别所识别的口是上颌窦口。作为响应，工作站12在变暗区域周围绘制轮廓，并提供将该轮廓标识为对应于上颌窦口的标签。在另一种技术中，工作站12将特定颜色的区域识别为特定类型的解剖结构。在图5B中，具有稍微黄色的结构基于其颜色和位置被识别为鼻息肉。具体地，工作站12基于经由与传感器32的交互确定的位置来确定内窥镜探头206的远侧端部208位于鼻腔内，并且因此确定利用内窥镜相机204拍摄的图像中的黄色物体是鼻息肉。应当注意，虽然本文描述了某些叠层特征，但本公开不限于这些特定的叠层特征。可以另选地或附加地显示技术上可绘制的其它叠层特征。可以基于对由内窥镜相机204提供的图像的图像分析来在位置、形式和或格式方面调整叠层特征的显示方式。图6是根据示例显示增强现实图像的方法600的流程图。尽管关于结合图1至图5B描述的系统进行了描述，但是本领域技术人员将理解，被配置成以任何技术上可行的步骤顺序执行该方法的任何系统都落入本公开的范围内。所示的方法600可以针对相机44或内窥镜相机204中的任一者或两者执行，或者针对包括在系统100中的任何其它相机执行。在图6的讨论中，没有参考标号的术语“相机”指的是这些相机中的任一个。如图所示，方法600在步骤602处开始，在该步骤中工作站12检测相机的运动。经由定位垫30检测该运动，该定位垫发射信号，该信号由附接到相机的一个或多个传感器32接收，如上所述。运动检测对应于检测到相机的位置与紧接的先前位置不同。在步骤604处，工作站12确定相机的位置。同样，该位置检测基于响应于由定位垫30发射的信号而利用传感器32接收到的信号。信号的各个方面涉及相机的位置和取向，并且因此可用于确定相机的位置和取向。例如，定位垫30内的多个发射器可以发射不同的信号，每个信号具有不同的区别特性诸如频率。传感器32检测不同频率的信号的振幅。振幅与距定位垫30内的发射器中的每一个的距离相关联。每个发射器在定位垫中具有已知的位置。多个距离用于对传感器32的位置进行三角测量。传感器32可具有各自接收稍微不同的信号的各个微传感器。利用微传感器接收的信号的差异可用于确定传感器32的取向。经由该分析，确定传感器32相对于定位垫30的位置和取向。定位垫30相对于对象例如，患者的头部的位置和取向先前是基于配准规程建立的，其中操作者诸如人类操作者移动具有围绕对象的传感器32的工具10，并将对象上的一个或多个点与对象的3D模型中的点相关，基本上如上所述。在步骤606处，工作站12确定相机的视场。由相机生成的图像与在实际图像即，由相机实际生成的图像和在对应于3D模型和传感器32测量的3D坐标系中两者的特定视场相关联。任何特定的相机系统具有已知的视场，其通常以度为单位，基于镜头和传感器的特性来确定。与视场相关联的附加参数是形状，其中的一些示例是矩形和圆形。因为基于相机和传感器的物理特征可以知道视场，所以确定相机的视场涉及从存储的数据中查找相机的视场，根据相机的其它已知参数来计算视场，或通过其它已知技术来识别视场—可以使用任何技术上可行的技术。在步骤608处，工作站12识别对应于所确定的视场的叠层特征。如上所述，叠层特征包括与存储在模型数据48中的模型的3D空间中的特定位置相关联的图形元素。一种类型的叠层特征是与模型的3D空间中的特定点相关联的标记302。另一种类型的叠层特征包括基于解剖结构的自动生成的指示器，诸如图5A至图5B的解剖特征轮廓502。此叠层特征列表不应被看作是进行限制。可以识别与规程和或解剖结构有关的任何类型的特征或方面，以用于合成到要查看的图像例如，概览图像210或内窥镜图像212中。在步骤610处，工作站12将叠层特征与相机图像合成并显示合成图像。工作站12在哪个显示器上显示正图像可以取决于图像来自哪个相机以及系统100的另一个相机是否活动并且将图像数据提供给工作站12以用于显示。在一个示例中，如果相机44和内窥镜相机204两者是活动的并且提供用于合成的图像，则工作站12将来自相机44的图像显示在显示器16上作为概览图像210，并将来自内窥镜相机204的图像显示在内窥镜显示器205上作为内窥镜图像212。在另一个示例中，如果相机44和内窥镜相机204两者是活动的并且提供用于合成的图像，则利用图像之间基于时间的切换或者由人类操作者控制选择哪个图像，来使图像均显示在显示器16上。在另一个示例中，两个图像均显示在特定显示器上，诸如显示器16或内窥镜显示器205。在此类情况下，所示的具体图像可由人类操作者控制。另选地，一个相机可优先于其它相机，使得如果一个相机打开，则显示器总是显示来自该相机的图像，而不显示来自其它相机的图像。叠层特征合成包括将步骤608处识别的叠层特征定位在与相机相关联的图像内，以及在从相机接收的图像内合成这些叠层特征。合成叠层特征包括生成叠层特征的图形表示，并且将该图形表示与来自该相机的图像一起显示例如，在来自相机的图像上方或使像素与来自相机的图像的像素混合。对于标记302，图形表示可包括如关于图4A至图4C所述生成的箭头406和文本408。其它叠层特征可包括如关于图5A至图5B所述生成的解剖特征轮廓。一些叠层特征包括工具10的视觉指示。具体地，工作站12知道相机在模型的3D空间中的位置，并且知道工具10在模型的3D空间中的位置。如果工具位于相机的视场内，则工作站12可生成该工具的图形指示器以合成到由相机生成的图像中。步骤610之后的结果是来自相机的图像，其叠加有从与3D模型有关的数据和或与解剖结构或正在执行的规程有关的其它存储数据导出的一个或多个图形特征。合成图像可被显示在显示器16或内窥镜显示器205上。所提供的方法包括在通用计算机、处理器或处理器核心中的具体实施。以举例的方式，合适的处理器包括通用处理器、专用处理器、常规处理器、数字信号处理器DSP、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路ASIC、现场可编程门阵列FPGA电路、任何其它类型的集成电路IC和或状态机。可通过使用处理的硬件描述语言HDL指令和包括网络表的其它中间数据的结果此类指令能够被存储在计算机可读介质上配置制造过程来制造此类处理器。此类处理的结果可为掩码作品maskwork，该掩码作品然后在半导体制造过程中用于制造实施本文所述的方法的处理器。本文提供的方法或流程图可在并入非暂态计算机可读存储介质中的计算机程序、软件或固件中实施以用于由通用计算机或处理器执行。非暂态计算机可读存储介质的示例包括ROM、随机存取存储器RAM、寄存器、高速缓冲存储器、半导体存储器设备、诸如内部硬盘和可移动盘的磁介质、磁光介质和诸如CD-ROM盘的光学介质以及数字通用光盘DVD。

权利要求：1.一种用于提供对象的增强现实显示的方法，所述方法包括：从相机获得图像；检测所述相机的位置；基于所述相机的所述位置来识别所述相机的视场；生成对应于所述视场的一个或多个叠层特征；将所述一个或多个叠层特征与来自所述相机的所述图像合成以形成合成图像；以及在显示器上显示所述合成图像。2.根据权利要求1所述的方法，其中所述一个或多个叠层特征与所述对象的解剖结构相关联或者与一个或多个工具相关联。3.根据权利要求1所述的方法，其中检测相机的所述位置包括：执行规程前配准，以使比较中的定位垫的相对位置和取向与所述对象的位置和取向相关；利用所述定位垫的传感器接收一个或多个信号，所述一个或多个信号由耦合到所述相机的一个或多个场发生器生成；以及基于所述一个或多个信号来识别所述相机的所述位置。4.根据权利要求1所述的方法，其中生成所述一个或多个叠层特征包括：生成工具的图形表示。5.根据权利要求4所述的方法，其中生成所述工具的所述图形表示包括：确定所述工具在所述相机的所述视场内的位置；以及基于所述工具在所述相机的所述视场内的所述位置来再现所述工具的所述图形表示。6.根据权利要求2所述的方法，其中生成所述一个或多个叠层特征包括：生成指示解剖特征的叠层特征。7.根据权利要求6所述的方法，其中生成指示所述解剖特征的所述叠层特征包括：基于所述定位垫的所述相对位置和取向以及所述对象的所述位置和取向，并且基于标记的相对位置和所述对象的模型来确定所述标记在所述相机的所述视场内的位置；以及基于所述标记在所述相机的所述视场内的所述位置来再现对应于所述标记的图形表示。8.根据权利要求7所述的方法，其中对应于所述标记的所述图形表示包括文本和如由所述标记指示的箭头。9.根据权利要求7所述的方法，还包括：基于检测到所述图像的变暗部分来识别口，其中对应于所述标记的所述图形表示包括用于所述口的解剖特征轮廓。10.根据权利要求7所述的方法，其中基于所述图像的图像分析，在位置、形式和或格式方面调整对应于所述标记的所述图形表示。11.一种用于提供对象的增强现实显示的系统，所述系统包括：工作站；和相机，其中所述工作站被配置成：从所述相机获得图像；检测所述相机的位置；基于所述相机的所述位置来识别所述相机的视场；生成对应于所述视场的一个或多个叠层特征；将所述一个或多个叠层特征与来自所述相机的所述图像合成以形成合成图像；以及在显示器上显示所述合成图像。12.根据权利要求11所述的系统，其中所述一个或多个叠层特征与所述对象的解剖结构相关联或者与一个或多个工具相关联。13.根据权利要求11所述的系统，还包括定位垫，其中所述工作站被配置成通过以下来检测所述相机的所述位置：执行规程前配准，以使比较中的所述定位垫的相对位置和取向与所述对象的位置和取向相关；利用所述定位垫的传感器接收一个或多个信号，所述一个或多个信号由耦合到所述相机的一个或多个场发生器生成；以及基于所述一个或多个信号来识别所述相机的所述位置。14.根据权利要求11所述的系统，其中所述工作站被配置成通过以下来生成所述一个或多个叠层特征：生成工具的图形表示。15.根据权利要求14所述的系统，其中所述工作站被配置成通过以下来生成所述工具的所述图形表示：确定所述工具在所述相机的所述视场内的位置；以及基于所述工具在所述相机的所述视场内的所述位置来再现所述工具的所述图形表示。16.根据权利要求12所述的系统，其中所述工作站被配置成通过以下来生成所述一个或多个叠层特征：生成指示解剖特征的叠层特征。17.根据权利要求16所述的系统，其中所述工作站被配置成通过以下来生成指示所述解剖特征的所述叠层特征：基于所述定位垫的所述相对位置和取向以及所述对象的所述位置和取向，并且基于标记的相对位置和所述对象的模型来确定所述标记在所述相机的所述视场内的位置；以及基于所述标记在所述相机的所述视场内的所述位置来再现对应于所述标记的图形表示。18.根据权利要求17所述的系统，其中对应于所述标记的所述图形表示包括文本和如由所述标记指示的箭头。19.根据权利要求17所述的系统，其中所述工作站被进一步配置成：基于检测到所述图像的变暗部分来识别口，其中对应于所述标记的所述图形表示包括解剖特征轮廓。20.一种用于提供对象的增强现实显示的系统，所述系统包括：工作站；显示器；一个或多个工具；相机；内窥镜；和内窥镜相机，其中所述工作站被配置成：从所述相机获得图像；检测所述相机的位置；基于所述相机的所述位置来识别所述相机的视场；生成对应于所述相机的所述视场的一个或多个叠层特征，对应于所述相机的所述视场的所述一个或多个叠层特征与所述对象的解剖结构相关联或者与所述一个或多个工具相关联；将对应于所述相机的所述视场的所述一个或多个叠层特征与来自所述相机的所述图像合成以形成合成图像；以及在所述显示器上显示所述合成图像。21.根据权利要求20所述的系统，其中所述工作站被进一步配置成：从所述内窥镜相机获得图像；检测所述内窥镜相机的位置；基于所述内窥镜相机的所述位置来识别所述内窥镜相机的视场；生成对应于所述内窥镜相机的所述视场的一个或多个叠层特征，对应于所述内窥镜相机的所述视场的所述一个或多个叠层特征与所述对象的解剖结构相关联或者与所述一个或多个工具相关联；将对应于所述内窥镜相机的所述视场的所述一个或多个叠层特征与来自所述内窥镜相机的所述图像合成以形成合成的内窥镜图像；以及在所述显示器上或在内窥镜显示器上显示所述合成图像。

百度查询： 韦伯斯特生物官能(以色列)有限公司 阿克拉伦特公司 在医学规程期间使用增强现实辅助导航