申请/专利权人：乐人美德株式会社;廉汶燮

申请日：2018-12-29

公开（公告）日：2024-06-07

公开（公告）号：CN110021021B

主分类号：G06T7/11

分类号：G06T7/11

优先权：["20180709 KR 10-2018-0079623","20181025 KR 10-2018-0128188"]

专利状态码：有效-授权

法律状态：2024.06.07#授权;2022.04.22#专利申请权的转移;2020.05.19#实质审查的生效;2019.07.16#公开

摘要：本发明涉及一种头部图像分析装置及方法。所述头部图像分析装置包括：控制部，其提取头部图像上的标志性支点而生成分析图像；以及存储器，其保存生成的分析图像。本发明能够基于头部图像提供精确的分析结果，从而帮助医护人员确定患者的预计手术部位。本发明能够迅速提供头部图像分析结果，以防止拖延需要实施的手术。本发明能够一次性加工头部图像分析结果，以提供医护人员乃至患者容易理解的分析报表。

主权项：1.一种头部图像分析装置，其作为分析头部图像的装置，包括：控制部，其提取头部图像上的标志性支点而生成分析图像；以及存储器，其保存生成的分析图像；其中，所述控制部设定所述头部图像的关注区域,在所述关注区域内对头部图像进行机器学习,识别用于为了提取标志性支点的第1支点,对所述关注区域进行验证；对所述关注区域的验证,通过基于所述头部图像上的所述关注区域周围的图像执行几何运算，对所述关注区域进行验证。

全文数据：头部图像分析装置及图像分析方法技术领域本发明涉及一种头部图像分析装置及方法，具体涉及一种用于分析牙齿矫正、两颌或面部整容手术患者头部检测图像的装置及方法。背景技术实施牙齿矫正和两颌及面部整容手术时，需要搜集患者的头盖或面部分析资料。为此，传统技术中医生在实施上述手术之前，首先会利用X光线仪器或计算机断层扫描CT诊断仪器拍摄患者头部，将拍摄到的图像交给医护人员进行分析，并根据分析文件决定患者预计手术的部位。此时，医护人员采用在上述图像标记主要支点的方式进行分析，这种分析以医护人员长久以来积累下来的经验为基础完成。采用这种方法的弊端在于，由于其需要由医护人员亲自选定部位，不能实时得到分析资料，致使医护人员为患者提供精确的诊断结果耗时较长。并且，上述方法只能依靠医护人员的经验，如果选定手术部位的医护人员技术不够熟练，手术部位选定错误，分析资料编写有误，基于错误的分析资料进行手术，只能出现问题。在与此相关的问题上，在先技术文献韩国专利公开号第10-2000-0054062号只记载了对于患者的诊疗结果等所有信息实施数据化，便于医护人员在住宅或办公室等可以接入互联网的地方进行诊疗的内容，但没有记载将医学相关图像分析结果提供给医护人员，帮助医护人员为患者提供得到提升的医疗服务的内容。因此，需要开发出可以解决上述问题的技术。另外，上述背景技术是发明人为导出本发明而持有的或者在导出本发明的过程中学习到的技术信息，不能断定是申请本发明之前向一般性公众公开的公知技术。发明内容技术问题本说明书公开实施例的目的在于，提供一种头部图像分析装置及方法。本说明书公开实施例的另一目的在于，基于头部图像提供精确的分析结果。本说明书公开实施例的又另一目的在于，迅速提供头部图像分析结果。本说明书公开实施例的又另一目的在于，一次性加工头部图像分析结果，提供医护人员乃至患者容易理解的分析报表。技术方案作为实现本发明上述目的的技术手段，一实施例中头部图像分析装置包括：提取头部图像上标志性支点而生成分析图像的控制部以及保存已生成分析图像的存储器。作为实现本发明上述目的的技术手段，另一实施例中头部图像分析装置分析头部图像的方法包括：提取头部图像上标志性支点的步骤以及基于已经提取的标志性支点生成分析图像的步骤。又另一实施例中，实现本发明上述目的的技术手段可以是由可供安装头部图像分析方法实施程序的计算机读取的记录介质，所述头部图像分析方法包括：提取头部图像上标志性支点的步骤以及基于已经提取的标志性支点生成分析图像的步骤。又另一实施例中，实现本发明上述目的的技术手段可以通过头部图像分析装置实施并为了实施头部图像分析方法存储在介质的计算机程序，所述头部图像分析方法包括：提取头部图像上标志性支点的步骤以及基于已经提取的标志性支点生成分析图像的步骤。有益效果上述技术方案之一提供了头部图像分析装置及方法。上述技术方案之一基于头部图像提供精确的分析结果，从而帮助医护人员确定患者的预计手术部位。上述技术方案之一迅速提供头部图像分析结果，以防止拖延需要实施的手术。上述技术方案之一一次性加工头部图像分析结果，以提供医护人员乃至患者容易理解的分析报表。公开的多个实施例可以取得的效果并不局限在上述效果，未提及的其他效果会很明确地被以下内容公开的实施例所属技术领域的技术人员理解。附图说明图1和图2是示出一实施例中头部图像分析装置的框图；图3是示出一实施例中头部图像分析装置的示意图；图4至图6是示出一实施例中图像分析方法的流程图；图7至图8是示出一实施例中图像分析方法的示意图。符号说明100：头部图像分析装置；110：控制部；120：存储器；130：输入输出部；140：通信部。具体实施方式以下参考附图详细说明多种实施例。以下说明的实施例可以通过多种不同形态变形实施。为了更明确地说明实施例的特征，对于以下实施例所属技术领域的技术人员知晓的内容，在此不再详细赘述。另外，还省略了与附图中实施例说明不相关的部分，并在整个说明书中，对于类似部分采用了类似的附图符号。在整个说明书中，某结构与另一结构“连接”时，其不仅在指“直接连接”，还包括“其中隔着另一结构进行连接”的情况。另外，除非另有规定，某一结构“包括”某一结构并不是在指除去此外另一结构，而是在指还可能包括另外结构。在进行说明之前，首先定义以下使用的术语的含义。“头部图像”是指拍摄患者头盖或面部的图像，其用于观察头部或检测头部，例如，显示出头部解剖学中支点的位置或头部解剖学中部位之间的尺寸。头部图像通常可以是放射线拍摄或计算机断层扫描CT诊断患者头部正面或侧面的照片，但头部图像的获取方法并不局限在上述例。并且，头部图像可以是二维图像，也可以是三维图像。以下，将分别说明除了以上定义的术语之外需要做出说明的术语。图1和图2是示出一实施例中头部图像分析装置的框图。图像分析装置100可以生成已获取头部图像上结合辨认图像的分析图像。所述头部图像分析装置100通过电子终端实施功能，或者通过服务器-客户端系统或者云端系统实施功能，所述系统包括为了与用户进行交互而安装在线服务用应用程序的电子终端。此时，电子终端通过网络接入远程服务器，或者通过可以接入另一终端及服务器的计算机或便携式终端、电视机、可穿戴设备WearableDevice等实施功能。这里，例如，计算机包括装载网页浏览器WEBBrowser的笔记本电脑、台式电脑desktop、便携式电脑laptop等，便携式终端作为保证便携性和移动性的无线通信装置，包括如PCSPersonalCommunicationSystem、PDCPersonalDigitalCellular、PHSPersonalHandyphoneSystem、PDAPersonalDigitalAssistant、GSMGlobalSystemforMobilecommunications、IMTInternationalMobileTelecommunication-2000、CDMACodeDivisionMultipleAccess-2000、W-CDMAW-CodeDivisionMultipleAccess、WibroWirelessBroadbandInternet、智能手机SmartPhone、移动手机WiMAXMobileWorldwideInteroperabilityforMicrowaveAccess等这样的所有种类手提式Handheld无线通信装置。并且，电视机可以包括IPTVInternetProtocolTelevision、网络TVInternetTelevision、地面波TV、有线电视TV等。进一步，可穿戴设备是如手表、首饰、衣物、鞋等这样可供人体直接穿戴的信息处理装置，可以直接或通过另外信息处理装置经由网络接入远程服务器。一实施例中头部图像分析装置100可包括控制部110和存储器120。控制部110控制头部图像分析装置100的整体动作，可以包括CPU等程序。例如，控制部110控制包括在头部图像分析装置100的另外结构，以便于实施动作而应对通过输入输出部130接收的用户输入。例如，控制部110实施保存在存储器120的程序，或者读取保存在存储器120的文件，或者将新文件保存在存储器120里。本说明书一实施例中控制部110可以获取头部图像。例如，控制部110包括放射线拍摄或计算机断层扫描诊断头部的装置未图示，或者与所述装置实施通信，从所述装置获取头部图像。并且，另一实施例中，控制部110可以决定对于已获取图像进行预处理并将预处理的图像用作头部图像。例如，控制部110对于已获取图像适用直方图均衡化参数或者适用高斯模糊GaussianBlur或卷绕warping，或者沿着X轴及或Y轴进行定标scale，或者缩小或修剪crop学习图像，或者变更像素值而提高清晰度，从而实施针对图像的预处理。并且，另一实施例中，已获取图像是原始图像rawimage时，控制部110从原始图像获取头部图像。为此，控制部110预处理原始图像。在与此相关的问题上，原始图像是包括头部图像在内的图像，像拍摄患者上身的X射线图像一样，可以是拍摄包括头部图像在内的患者其他身体部位的图像。控制部110探索给定标识符是否位于原始图像上给定区域内。例如，探索原始图像上给定区域内是否存在被标记成“眼窝”的标识符。此时，由具备任一尺寸和形状的闭合曲线组成的视窗位于原始图像上时，头部图像分析装置100将所述视窗内区域设定为给定区域，所述视窗在原始图像上移动并设定各种范围的区域。并且，例如，为了探索给定标识符是否位于视窗内给定区域内，头部图像分析装置100利用机器学习或深度学习或CNN。例如，头部图像分析装置100对于给定区域实施CNN，提取所述区域内的标识符所在坐标。所述坐标可以由一个以上坐标组成，也可以是给定区域内的坐标，或者是原始图像上的坐标。如上所述，控制部110提取原始图像上给定标识符坐标之后，基于提取的坐标获取头部图像。例如，控制部110提取原始图像中被确定为头部图像特征的“眼窝”、“下颌骨”、“鼻腔”三个标识符。为了提取3个标识符，控制部110可以一边移动视窗一边提取与标识符相对应的坐标。并且，控制部110基于提取的坐标，在原始图像上设定被认定为头部图像的区域，从而获取头部图像。例如，头部图像分析装置100将包括以上3个标识符和各标识符给定范围的区域设定为头部图像。此时，将标识符标记为三个只不过是事例，标识符的数量并不受限制。在与此相关的问题上，标识符可以由一坐标组成，也可以由多个坐标组成，成为人体的特定器官。因此，标识符可以是像“眼窝”一样的中心支点，也可以是像“眼窝”、“鼻子”、“脊椎1号”、“颌部”等一样的人体器官本身。为了使已获取的头部图像进一步符合标准，控制部110可以加工头部图像，以便于更容易提取标志性支点。即，由于控制部110曾经采用学习图像学习，可以使头部图像符合标准，以使其与为学习图像设定的设定值相同或类似。例如，头部图像分析装置100可以变更头部图像的清晰度、亮度等或者放大缩小头部图像的尺寸等，以使其符合标准。控制部110将经过规范化处理的头部图像确定为获取的头部图像。如上所述，判定为已经获取头部图像时，控制部110提取头部图像上的标志性支点。此时，“标志性支点”是医护人员实施牙齿矫正、两颌手术等时必须要了解的部位，是指在患者头部图像上用于辨别的关注部位。标志性支点形成多种组合，用于判断患者头部状态的参考部位。传统技术中，由医术熟练的医护人员亲自在头部图像上选定标志性支点做出标记，而本说明书的实施例则由头部图像分析装置100提取头部图像上的标志性支点。一实施例中，控制部110通过几何运算提取头部图像上的标志性支点。即，头部图像上标志性支点是不具有特征的或者是从几何学角度定义的标志性支点时，可以通过几何运算进行提取。例如，将运算下颌平面mandibularplane和分支ramus的对切点而导出的支点作为下颌角点gonion的标志性支点进行提取。并且，另一实施例中，控制部110利用机器学习提取头部图像上的标志性支点。另一实施例中，控制部110利用深度学习提取头部图像上的标志性支点。另一实施例中，控制部110利用CNNconvolutionalneuralnetwork提取头部图像上标志性支点。为此，头部图像分析装置100可以获取一个以上标记标志性支点的头部图像，也可以利用所述一个以上图像学习CNN，并利用学习到的CNN提取头部图像上的标志性支点。为此，例如，控制部110从为CNN的学习获取的图像通过卷积convolution制作特征图谱featuremap，通过所述特征图谱的二次采样subsampling对获取的局部特征localfeature实施卷积和二次采样，对获取的特征重新实施卷积和二次采样而获取特征，反复实施对所述获取的特征重新实施卷积和采样的步骤，将获取的整体特征globalfeature接入通常的全连接网络fullyconnectednetwork而得到最佳识别结果。即，如上所述，控制部110为了提取头部图像上的标志性支点，利用标记标志性支点或者在标志性支点上结合识别图像的学习图像进行学习。为了所述CNN学习，可以预处理学习图像，例如，对于学习图像适用直方图均衡化参数，或者适用高斯模糊，或者适用卷绕效应，或者X轴及或Y轴进行定标，或者缩小或修剪学习图像，或者变更像素值等而提高清晰度。并且，例如，控制部110可以利用CNN进行分割segmentation，以提取头部图像上的标志性支点。分割是划分头部图像上具有意义的部分的方法，可以将已经公开的多种分割方法适用于本说明书记载的实施例之中。例如，利用矩形图确认像素的分布之后，设定合理值的临界值，按各像素进行分类，或者提取具有意义的边缘edge进行划分，或者划分成具有共性homegenety的区域。又另一实施例中，控制部110设定头部图像上的关注区域，提取关注区域内的标志性支点。头部图像分析装置100为设定关注区域可以利用机器学习或深度学习或CNN，为提取所述关注区域内的标志性支点同样可以利用机器学习深度学习或CNN。在与此相关的问题上，图3是示出头部图像分析装置100设定头部图像上关注区域并提取标志性支点的示意图。如图3中a所示，头部图像分析装置100可以设定一个以上头部图像300上的关注区域310、320、330、340、350，关注区域可以分别具有不同形状、不同尺寸或者相同形状、相同尺寸。设定关注区域310、320、330、340、350时，头部图像分析装置100可以利用机器学习检测detection医学上判定为主要部位的区域。即，通过机器学习辨别关注对象的位置，用边框boundingbox进行分类。例如，头部图像分析装置100利用机器学习检测判定为“颌部”的区域，将构成颌部的区域设定为关注区域。与检测相关的公开技术可以适用于本说明书记载的实施例之中。并且，设定关注区域310、320、330、340、350时，如果视窗位于头部图像300上，头部图像分析装置100就会将视窗内区域设定为关注区域。对此，头部图像分析装置100一边移动视窗一边变更关注区域，或者将所述视窗置于固定位置，将指定范围的区域设定为关注区域。此时，如图3中的a所示，可以分成实线内的关注区域和所述关注区域内的用虚线划分的下级关注区域。下级关注区域是获取标志性支点的主要部位，例如，将作为一主要部位的下颌角点或者下颌角点周边区域设定为下级关注区域，并以所述下级关注区域的中心为准，进一步设定环绕所述下级关注区域的关注区域，从而使错误地设定关注区域带来的标志性支点提取错误达到最低，从而更精准地捕捉标志性支点。如上所述，可以针对选定的关注区域提取标志性支点。有一种针对应该提取成标志性支点的部位的学习模型。通过所述模型进行分割segmentation而生成概率图像映射，在生成的概率映射中设定二进制大对象blob，将二进制大对象的支点提取成标志性支点。如此，可以针对各关注区域310、320、330、340、350提取标志性支点，例如，像图3中的a的关注区域310一样，可以采用图3中的b示出的关注区域310标志性支点。如上所示，提取的标志性支点可以具有较高程度的精确度。如上所述，成为头部图像上主要分析对象的部分可以利用机器学习或深度学习或CNN设定为关注区域，并提取关注区域内标志性支点，从而解决没有整齐地排列头部图像的角度或位置时难以提取标志性支点的弊端，快速精准地提取标志性支点。另外，另一实施例中，控制部110利用机器学习或深度学习或CNN提取要提取的标志性支点，并通过几何运算进行提取。因此，例如，要提取下颌角点作为标志性支点时，控制部110可以分别通过机器学习和几何运算，将提取的支点中之一作为下颌角点。例如，控制部110利用机器学习提取的标志性支点的可靠性低于给定值时，可以将通过几何运算将获取的支点作为下颌角点来提取。另外，另一实施例中，控制部110要提取标志性支点时，如果利用机器学习或深度学习或CNN提取，就可以通过几何运算检验提取的支点。此时，可以判断通过机器学习提取的标志性支点与通过几何运算提取的支点是否处在相同的位置并进行检验。并且，可以通过几何运算检验采用机器学习提取的标志性支点的周边支点或器官结构是否存在。在此过程中，可以利用贝叶斯定理Bayesian或极大似然法likelihoodmaximization方式求出与标志性支点的周边支点或器官结构相对应的支点之间相对位置的可靠性。例如，检验被提取成耳外道上缘中点Por：porion的标志性支点是否位于后颅底面posteriorcranialbasesurface和髁头或髁颈condylarheadorneck的交叉点Ar；articulare的左侧上端，并将其结果用可靠性表示出来。并且，可以通过几何运算检验通过机器学习提取的标志性支点的尺寸。并且，通过运算特定支点的尺寸与其他支点之间的相对尺寸或绝对尺寸均包括在内或器官结构的尺寸与其他器官之间的相对尺寸或绝对尺寸均包括在内检验通过机器学习提取的标志性支点的周边是否存在特定支点或器官结构。并且，另一实施例中，控制部110通过几何运算提取要提取的标志性支点，并利用机器学习或深度学习或CNN检验即将提取的支点。例如，控制部110运算下颌平面mandibularplane和分支ramus的对切点而导出的支点提取成下颌角点gonion的标志性支点，从几何学角度提取下颌角点，并以提取的支点为中心，利用机器学习进行分析，检验提取的支点是否与颌角点相吻合。进一步，控制部110通过机器学习或深度学习或CNN或几何运算检验关注区域的设定是否精准。例如，控制部110划分classification所述关注区域的图像，检验通过机器学习的检测detection提取的关注领域是不是要获取的关注领域，或者用可靠性表示出来。并且，例如，控制部110也可以通过所述关注区域周边的支点或器官结构检验通过机器学习的检测提取的关注区域是不是要获取的关注区域。如上所述，可以同时实施机器学习和几何运算，提升被提取的标志性支点的精准度和可靠性。与此同时，如上所述，提取头部图像上标志性支点时，控制部110在标志性支点结合识别图像而生成分析图像。即，将头部图像改成分析图像时，控制部110在头部图像上合成识别图像，而合成所述识别图像时，在标志性支点合成识别图像。并且，控制部110将分析图像提供给用户。进一步，控制部110决定是否提供包括分析图像在内的报表。此时，一实施例中，控制部110生成分析图像照原样成为局部内容的报表来达到提供的目的。又另一实施例中，控制部110提供加工分析图像的报表。另外，存储器120设置和保存文件、应用程序及程序等多种数据。控制部110接近保存在存储器120的数据而加以利用或者将新数据保存在存储器120里。并且，控制部110还可以运行设置在存储器120的程序。参考图1时，存储器120设置用于实施头部图像分析方法并可供计算机读取的程序。并且，存储器120可以保存分析头部图像产生的识别图像、分析头部图像产生的分析图像或者报表。一实施例中，用户输入有关分析头部图像的请求信息时，控制部110运行保存在存储器的头部图像分析方法实施程序，分析头部形象。与此同时，如图2所示，头部图像分析装置100还可以包括输入输出部130。输入输出部130包括用于获取头部图像或者向用户提供分析图像的多种形态输入输出支持结构，也可以包括接收用户输入信息的输入部以及用于显示操作实施结果或头部图像分析装置100状态等信息的输出部。例如，输入输出部130包括接收用户输入信息的操作面板operationpanel和显示界面的显示面板displaypanel等。更具体地讲，输入部可以包括像键盘、物理按键、触摸屏、摄像头或扩音器等一样接收多种形态用户输入信息的装置。并且，输出部可以包括显示面板或扬声器等，但并受此限制，输入输出部130可以包括支持多种输入及输出的结构。另外，头部图像分析装置100还进一步包括通信部140。通信部140可以与其他设备或网络实施有线及无线通信。为此，通信部140可以包括用于支持多种有线及无线通信方法中之一的通信模块。例如，通信模块通过芯片组chipset的形态得到体现。通信部140支持的无线通信可以是Wi-FiWirelessFidelity、Wi-FiDirect、蓝牙Bluetooth、UWBUltraWideBand或NFCNearFieldCommunication等，并且，通信部140支持的有线通信可以是USB或HDMIHighDefinitionMultimediaInterface等。图4至图6是示出一实施例中图像分析方法的流程图。图4至图6所示实施例的图像分析方法包括图1或图2示出的头部分析装置100以时间数列进行处理的步骤。因此，即使以下内容省略而不再赘述，但图1或图2所示头部图像分析装置100的以上阐述同样适用于图4至图6所示实施例的图像分析方法之中。以下，图4至图6将参考图7至图8详细说明。图7至图8是示出一实施例中图像分析方法的示意图。为了实施本发明一实施例中头部图像分析方法，头部图像分析装置100利用显示标志性支点的学习图像进行学习。此时，头部图像分析装置100预处理用于学习的学习图像，例如，针对学习图像适用直方图均衡化参数，或者高斯模糊，或者卷绕，沿着X轴及或Y轴进行定标scale，或者缩小或修剪crop学习图像，或者变更像素值，或者提高清晰度。利用预处理的学习图像学习过的头部图像分析装置100从头部图像提取标志性支点。如图4所示，头部图像分析装置100获取头部图像S410。头部图像分析装置100包括放射线拍摄或计算机断层扫描CT诊断装置未图示，或者与所述装置进行通信，通过所述装置获取头部图像。并且，头部图像分析装置100通过外置装置未图示接收图像，也可以以头部图像接收图像。在与此相关的问题上，头部图像分析装置100在获取图像时，决定是否以头部图像获取图像。即，另一实施例中，头部图像分析装置100判断获取的图像是不是头像图像之后，只有判断是头部图像时，才决定获取头部图像。例如，分析获取的图像后，认为没有包括构成头部的图像时，判定所述图像不是头部头像。即，分析获取的图像之后，发现没有包括牙齿图像时，判定所述图像不是头部图像。又另一实施例中，头部图像分析装置100判断获取的图像能否可以作为头部图像进行分析之后，只有判定可以进行分析时，才确定已经获取了头部图像。例如，头部图像分析装置100分析获取图像的清晰度、尺寸等，以判断是否可以分析。因此，例如，获取的图像具有的清晰度低于给定的以上清晰度或者具有的尺寸小于给定的以上尺寸时，将判定所述图像难以分析，并确定没能获取头部图像。又另一实施例中，头部图像分析装置100预处理获取的图像之后，将预处理的图像确定为头部图像。例如，头部图像分析装置100认为获取的图像不符合给定标准时，修改图像，以使其符合于所述标准，或者与其他图像合成。例如，头部图像分析装置100实施提高获取图像清晰度或者调整亮度或者放大或缩小尺寸等预处理。又另一实施例中，头部图像分析装置100获取的图像是原始图像时，可以从原始图像获取头部图像。又另一实施例中，头部图像分析装置100可以针对获取的头部图像进一步实施规范化处理。头部图像分析装置100可以将完成规范化处理的头部图像确定为获取的头部图像。如上所述，判定已经获取头部图像时，头部图像分析装置100提取头部图像上的标志性支点S420。例如，头部图像分析装置100通过几何运算提取头部图像上的标志性支点。并且，例如，头部图像分析装置100利用机器学习、深度学习或CNN提取头部图像上的标志性支点。并且，例如，可以提取头部图像上的关注区域，并提取关注区域内的标志性支点。头部图像分析装置100为提取关注区域可以利用机器学习、深度学习或CNN，为提取所述关注区域内标志性支点同样可以利用机器学习、深度学习或CNN。在与此相关的问题上，如图5所示，步骤S420分析头部图像识别第1支点S510时，基于第2支点检验第1支点，并判定第1支点提取精准时，将第1支点确定为标志性支点S520。此时，第1支点和第2支点分别在指出头部图像上一支点，只不过是区别彼此的称呼，并不在指特定支点。一实施例中，头部图像分析装置100通过多种实施例识别预计是头部图像上标志性支点的第1支点。一实施例中，头部图像分析装置100通过几何运算提取预计是头部图像上标志性支点的第1支点。即，可以通过几何运算提取位于头部图像上的不具有特征的标志性支点或者从几何学角度定义的标志性支点。例如，可以将运算下颌平面mandibularplane和分支ramus的对切点而导出的第1支点作为下颌角点gonion的标志性支点进行提取。另一实施例中，头部图像分析装置100利用机器学习提取预计是头部图像上标志性支点的第1支点。另一实施例中，头部图像分析装置100利用深度学习提取预计是头部图像上标志性支点的第1支点。另一实施例中，头部图像分析装置100利用CNN提取预计是头部图像上标志性支点的第1支点。为此，头部图像分析装置100可以获取一个以上标记标志性支点的头部图像，也可以利用所述一个以上图像和CNN提取头部图像上的标志性支点。为此，例如，头部图像分析装置100从为CNN的学习获取的图像通过卷积convolution制作特征图谱featuremap，通过所述特征图谱的二次采样subsampling对获取的局部特征localfeature实施卷积和二次采样，对获取的特征重新实施卷积和二次采样而获取特征，反复实施对所述获取的特征重新实施卷积和二次采样的步骤，将获取的整体特征globalfeature接入通常的全连接网络fullyconnectednetwork而得到最佳识别结果。并且，例如，头部图像分析装置100可以利用CNN进行分割segmentation，以提取头部图像上的标志性支点。分割是划分头部图像上具有意义的部分的方法，可以将已经公开的多种分割方法适用于本说明书记载的实施例之中。例如，利用矩形图确认像素的分布之后，设定合理值的临界值，按各像素进行分类，或者提取具有意义的边缘edge进行划分，或者划分成具有共性homegenety的区域。又另一实施例中，头部图像分析装置100可以提取头部图像上的关注区域，也可以提取预计是关注区域内标志性支点的第1支点。头部图像分析装置100为提取关注区域利用机器学习、深度学习或CNN，为提取预计是所述关注区域内标志性支点的第1支点利用机器学习、深度学习或CNN。又另一实施例中，头部图像分析装置100在头部图像上移动视窗，将视窗内区域设定为关注区域，并提取预计是关注区域内标志性支点的第1支点。要从头部图像提取的标志性支点有N个N是1以上整数时，为了分别提取N个标志性支点，头部图像分析装置100按照各个标志性支点分别实施N次提取关注区域内第1支点的步骤。另外，另一实施例中，头部图像分析装置100利用机器学习提取预计是要提取的标志性支点的第1支点，也可以通过几何运算进行提取。因此，例如，要想提取颌角点作为标志性支点，头部图像分析装置100分别通过机器学习和几何运算，从提取的支点中提取其中之一来作为第1支点。例如，利用机器学习提取的标志性支点的可靠性低于给定值时，头部图像分析装置100提取通过几何运算获取的支点来作为第1支点。另外，头部图像分析装置100可以检验识别的第1支点，一实施例中，利用机器学习、深度学习或CNN提取时，头部图像分析装置100可以通过几何运算检验提取的第1支点。此时，可以判断通过机器学习、深度学习或CNN识别的第1支点是否与通过几何运算提取的第2支点处在相同位置并进行检验，或者可以通过几何运算检验通过机器学习、深度学习或CNN提取的第1支点的周边支点或器官结构是不是第2支点并进行检验。例如，检验第1支点作为耳外道上缘中点Por：porion的标志性支点，是否位于将后颅底面posteriorcranialbasesurface和髁头或髁颈condylarheadorneck的交叉点Ar；articulare确定为第2支点时所述第2支点的左侧上端，并将其结果用可靠性表示出来。进一步，头部图像分析装置100通过机器学习、深度学习或CNN或几何运算检验关注区域的设定是否精准。例如，头部图像分析装置100划分classification所述关注区域的图像，检验通过机器学习的检测detection提取的关注领域是不是要获取的关注领域，或者用可靠性表示出来。并且，例如，头部图像分析装置100也可以通过所述关注区域周边的支点或器官结构检验通过机器学习的检测提取的关注区域是不是要获取的关注区域又另一实施例中，头部图像分析装置100利用机器学习、深度学习或CNN检验要提取的标志性支点和从几何角度提取的第1支点。例如，头部图像分析装置100以对于头部图像实施机器学习、深度学习或CNN获取的第2支点为准，判断第1支点是否位于给定半径内，检验第1支点是否适合作为标志性支点。通过上述方法进行检验时，提取的标志性支点不是要提取的标志性支点或者没能提取要提取的支点时，头部图像分析装置100可以重新提取标志性支点。此时，头部图像分析装置100可以从现有头部图像重新提取标志性支点。头部图像分析装置100可以获取并非现有头部图像的新头部图像，从而分析新头部图像而提取标志性支点。为此，可以从原始图像重新获取头部图像或者对于头部图像重新实施规范化处理。如上所述，可以同时实施机器学习和几何运算，以提高提取的标志性支点的精准性和可靠性。并且，如上所述，头部图像分析装置100在提取头部图像上标志性支点时，可以在标志性支点结合识别图像来生成分析图像S430。即，将头部图像改成分析图像时，头部图像分析装置100在头部图像上合成识别图像，而合成所述识别图像时，在标志性支点合成识别图像。此时，头部图像分析装置100可以在标志性支点合成形状相同的识别图像。头部图像分析装置100或者保存多个识别图像，并根据标志性支点的不同位置分别合成不同的识别图像。另外，头部图像分析装置100想用户提供分析图像S440。进一步，头部图像分析装置100决定是否提供包括分析图像在内的报表S450。例如，头部图像分析装置100可以在只有用户要求提供报表时，提供报表。另一实施例中，针对包括分析图像在内的报表的提供，头部图像分析装置100可以在系统内设置默认值而提供报表。并且，例如，头部图像分析装置100可以只针对具有给定阈值以上值的分析图像提供报表。例如，可以只有在特定支点比起通常显示的位置处在给定范围之外的位置时以及患者具有与所述特定支点相对应的识别图像显示的头部时，针对分析图像提供报表。如上所述，头部图像分析装置100决定提供报表时，可以直接包括分析图像或者加工分析图像而生成报表之后提供S460。此时，一实施例中，头部图像分析装置100在生成和提供报表时，可以使分析图像直接构成报表的局部内容。又另一实施例中，头部图像分析装置100可以提供加工分析图像的报表。又另一实施例的头部图像分析方法中，头部图像分析装置100可以在获取头部图像之前，收取原始图像而提取标志性支点，对此，以下，将参考图6做出详细说明。如图6所示，头部图像分析装置100可以预处理原始图像S610。即，头部图像分析装置100对于原始图像适用直方图均衡化参数，或者适用高斯模糊GaussianBlur，或者适用卷绕warping，或者沿着X轴及或Y轴进行定标scale，或者缩小或修剪crop学习图像，或者变更像素值而提高清晰度，从而实施针对原始图像的预处理。并且，头部图像分析装置100可以从原始图像获取头部图像S620。获取头部图像的一实施例中，头部图像分析装置100可以探索给定标识符是否位于输入成分析对象的原始图像上的给定区域内。例如，可以探索原始图像上给定区域内是否存在被标记成“眼窝”的标识符。此时，头部图像分析装置100可以在原始图像上，将由具备任一尺寸和形状的闭合曲线组成的视窗内区域设定为给定区域，所述视窗一边移动原始图像上一边设定多种范围的区域。并且，例如，为了探索给定标识符是否位于视窗内给定区域内，头部图像分析装置100可以利用机器学习或深度学习或CNN。例如，头部图像分析装置100对于给定区域实施CNN，提取所述区域内的标识符所在坐标。所述坐标可以是给定区域内的坐标，也可以是原始图像上的坐标。如上所述，头部图像分析装置100提取原始图像上给定标识符的坐标之后，基于提取的坐标获取头部图像。例如，原始图像是拍摄患者上身的x射线图像时，头部图像分析装置100从原始图像提取可以特定为头部图像的“眼窝”、“下颌骨”、”鼻腔”三个标识符。为了提取3个标识符，头部图像分析装置100可以一边移动视窗一边提取与标识符相对应的坐标。并且，头部图像分析装置100基于提取的坐标，在原始图像上设定被认定为头部图像的区域，从而获取头部图像。例如，头部图像分析装置100将包括以上3个标识符和各标识符给定范围的区域设定为头部图像。头部图像分析装置100针对已获取的头部图像实施规范化处理而加工头部图像，以使标志性支点的提取变容易。例如，头部图像分析装置100实施更改头部图像清晰度、亮度等或者放大缩小头部图像尺寸等规范化处理。或者例如，头部图像分析装置100可以放大定标儿童头部图像或者缩小定标头部偏大患者的头部图像。如上所述，头部图像分析装置100可以获取头部图像，也可以提取所述头部图像的标志性候选支点S630。标志性候选支点是指提取成标志性支点的支点，意指检验之前的支点。为了提取标志性候选支点，头部图像分析装置100提取头部图像上的关注区域，提取关注区域内标志性候选支点。头部图像分析装置100为提取关注区域可以利用机器学习或深度学习或CNN，为提取所述关注区域内标志性候选支点同样可以利用机器学习或深度学习或CNN。使视窗在头部图像上移动或位于固定位置，以设定关注区域。要从头部图像提取的标志性支点有N个N是1以上整数时，为了分别提取N个标志性支点，头部图像分析装置100实施N次设定关注区域并提取关注区域内标志性候选支点的步骤。此时，如果预测到标志性支点位于头部图像的特定位置，头部图像分析装置100就可以将视窗固定在所述特定位置而提取标志性候选支点。例如，标志性支点位于颌周边时，头部图像分析装置100将包括颌部的区域设定为关注区域，从所述关注区域提取标志性候选支点。头部图像分析装置100可以检验被提取的标志性候选支点S640。一实施例中，头部图像分析装置100可以并行几何运算，从而利用机器学习或深度学习或CNN检验获取的标志性支点是否脱离给定位置。另一实施例中，头部图像分析装置100检验耳外道上缘中点Por：porion或A点是在头部侧面上确定的支点，是从鼻头端到上颌翼状突起棱的弯骨部分中最突出部分是否被精准提取而作为标志性支点，从而检验标志性候选支点是否提取得精准。经过上述检验过程发现提取的标志性候选支点没有被精准提取或者检验所有提取的标志性候选支点也没发现要提取的标志性支点时，头部图像分析装置100从原始图像重新获取头部图像，或者对于获取的头部图像重新实施规范化处理而获取新的头部图像，以重新提取新头部图像的标志性候选支点并实施检验。即，重新实施步骤S620至步骤S640，从而提取精准的标志性支点。并且，如上所述，头部图像分析装置100提取头部图像上的标志性支点时，在标志性支点结合识别图像而生成分析图像，提供分析图像或报表。在与此相关的问题上，与图4中各个步骤对于相同附图符号进行的说明相同，因此，以下将省略图6中步骤S430至步骤S460的说明。图7至图8是示出头部图像分析装置100提供报表的示意图。例如，用线段连接分析图像上显示的识别图像之间，直观地显示出患者的头部状态。例如，为了分析患者头部状态中的下牙dentalalveolar-lowerincisor，如图8所示，提供用线段连接识别图像之间而分析患者头部上下牙状态的报表。并且，可以采用同时显示出与分析图像上各识别图像相对应的信息的方法，为用户提供报表。例如，可以提供应用识别图像检测头部的结果值，如图8所示，也可以运算患者乳齿时期上下前齿轴倾斜角interincisalangle，与平均值同时显示出来。并且，如图7所示，可以提供包括分析图像上合成另外图像的图像在内的报表。以上实施例使用的“～部”术语是指软件或FPGAfieldprogrammablegatearray或ASIC等软件构成要素，“～部”将起到某种作用。但是，“～部”并不受到软件或硬件的限定。“～部”可以保存在可编址存储介质之中，也可以重放1个或其以上程序。因此，一例中，“～部”包括：软件构成要素、面向对象的软件构成要素、类构成要素及任务构成要素等构成要素；程序、函数、属性、程序、子程序、程序专有编码的段表、驱动器、固件、微码、电路、数据、数据库、数据结构、平台、阵列及变量。构成要素和“～部”内提供的功能可以与更小数字单位的构成要素及“～部”结合，或者从附加构成要素和“～部”分离。与此同时，构成要素和“～部”可以重放设备或安保多媒体卡内1个或其以上CPU。图4至图6实施例所示图像分析方法可以通过用于存储由计算机实施的指令和数据并可以用计算机读取的介质形态得到实现。此时，指令和数据可以采用程序编码形态保存，如果由处理器实施，则可以生成给定程序模块来实施给定动作。并且，可以用电脑读取的介质可以是通过计算机接入的任一可用介质，易失性及非易失性介质、分离型及非分离型介质均包括在内。并且，计算机可读介质可以是计算机记录介质，而计算机记录介质中，计算机可读指令、数据结构、程序模块或者通过其他用于保存数据等信息的任一方法或技术体现的易失性及非易失性、分离型及非分离型介质均包括在内。例如，计算机记录介质可以是HDD及SSD等磁性存储介质和CD、DVD及蓝光光盘等光学记录介质或者包括在可以通过网络接入的服务器的存储器。并且，图4至图6实施例所示图像分析方法可以通过包括由计算机实施的指令的计算机程序或者计算机程序产品得到实现。计算机程序包括通过处理器处理的可编程机器指令，并通过高级程序设计语言High-levelProgrammingLanguage、面向对象编程语言Object-orientedProgrammingLanguage、汇编语言或机器语言等实现。并且，计算机程序可以记录在有形计算机可读记录介质如，存储器、硬盘、磁性光学介质或SSDSolid-StateDrive等里。因此，图4至图6实施例中图像分析方法通过计算装置运行上述计算机程序来实现。计算装置包括处理器、存储器、保存装置、接入存储器及高速增强端口的告诉接口、接入低速母线和保存装置的低速接口中至少一部分。所述各构成分别利用多种母线相互接入，并可以采用搭载于通用主机接线板或者其他妥当方式进行安装。这里，处理器可以在计算装置内处理指令，该指令像接入到高速接口的显示器一样，可以是为了显示出向外置输入及输出装置提供GUIGraphicUserInterface的图表信息而保存在存储器或保存装置的指令。另一实施例中，同时利用多个处理器及或多个母线与适量多个存储器及存储器形态。并且，处理器可以通过由芯片组成的芯片组得到运行，而该芯片组由包括独立的多个模拟及或数字处理器的芯片组成。并且，存储器在计算装置内保存信息。一例中，存储器可以由易失性存储器单元或其集合组成。另一例中，存储器可以由非易失性存储器单元或其集合组成。并且，存储器可以是不同形态的计算机可读介质，如磁盘或光盘。并且，保存装置为计算装置提供大容量保存空间。保存装置可以是计算机可读介质或者包括该介质的结构，例如，可以包括SANStorageAreaNetwork内装置或其他结构，也可以是磁盘驱动器、硬盘装置、光盘装置或磁带装置、闪存卡、与其类似的其他半导体存储器装置或装置数组。记载上述实施例的目的只是为了示意，上述实施例所属技术领域的技术人员应当可以理解，不更改上述实施例具有的技术思想或必备技术特征的前提下，应该可以很容易地更改为其他具体形态。因此，我们应当理解，上述实施例只是用来整体上说明本发明，并不用来限制本发明。例如，应该以单一型说明的各构成单元可以离散运行，同样视作离散的构成单元也可以采用结合形态运行。通过本说明书请求保护的范围并不依据所述详细说明书得以确定，而是通过后述权利要求书得到体现。权利要求书的含义及范围乃至通过其等同概念导出的所有变更或变形形态均涵盖在本发明的权利要求范围当中。

权利要求：1.一种头部图像分析装置，其作为分析头部图像的装置，包括：控制部，其提取头部图像上的标志性支点而生成分析图像；以及存储器，其保存生成的分析图像。2.根据权利要求1所述的头部图像分析装置，其特征在于，所述控制部为提取所述标志性支点获取学习图像进行学习之后，生成所述分析图像。3.根据权利要求1所述的头部图像分析装置，其特征在于，所述控制部分析所述头部图像而识别标志性支点，并检验识别的标志性支点而提取所述标志性支点。4.根据权利要求1所述的头部图像分析装置，其特征在于，所述控制部通过几何运算所述头部图像识别第1支点，以对所述头部图像实施机器学习而确定的第1支点为基础，检验所述第1支点而提取所述标志性支点。5.根据权利要求1所述的头部图像分析装置，其特征在于，所述控制部对所述头部图像实施机器学习而识别第1支点，以对所述头部图像实施几何运算而确定的第2支点为基础，检验所述第1支点而提取所述标志性支点。6.根据权利要求1所述的头部图像分析装置，其特征在于，所述控制部设定所述头部图像的关注区域，对所述关注区域内头部图像实施机器学习而识别第1支点。7.根据权利要求6所述的头部图像分析装置，其特征在于，所述控制部基于所述头部图像上的所述关注区域周边图像，实施几何运算检验所述关注区域。8.根据权利要求6所述的头部图像分析装置，其特征在于，所述控制部对所述关注区域实施机器学习，以检验所述挂住区域。9.根据权利要求6所述的头部图像分析装置，其特征在于，所述控制部以对所述头部图像实施几何运算而确定的第2支点为基础，检验所述第1支点，从而提取所述标志性支点。10.一种头部图像分析方法，其作为由头部图像分析装置分析头部图像的方法，包括：提取头部图像上标志性支点的步骤；以及基于提取的标志性支点生成分析图像的步骤。11.根据权利要求10所述的头部图像分析装置，其特征在于，提取所述标志性支点的步骤包括：分析所述头部图像而识别标志性支点的步骤；以及检验识别的标志性支点，提取所述标志性支点的步骤。12.根据权利要求10所述的头部图像分析装置，其特征在于，所述提取标志性支点的步骤包括：通过几何运算所述头部图像而识别第1支点的步骤；以及以对所述头部图像实施机器学习而确定的第2支点为基础，检验所述第1支点而提取所述标志性支点的步骤。13.根据权利要求10所述的头部图像分析装置，其特征在于，提取所述标志性支点的步骤包括：对所述头部图像实施机器学习而识别第1支点的步骤；以及基于几何运算所述头部图像而确定第2支点，检验所述第1支点，从而提取所述标志性支点的步骤。14.根据权利要求10所述的头部图像分析装置，其特征在于，提取所述标志性支点的步骤包括：设定所述头部图像关注区域的步骤；以及对所述关注区域内头部图像实施机器学习而识别第1支点的步骤。15.根据权利要求14所述的头部图像分析方法，其特征在于，提取所述标志性支点的步骤还包括：基于所述头部图像上所述关注区域周边的图像进行几何运算，检验所述关注区域的步骤。16.根据权利要求14所述的头部图像分析方法，其特征在于，提取所述标志性支点的步骤还包括：对所述关注区域实施机器学习，检验所述关注区域。17.根据权利要求14所述的头部图像分析方法，其特征在于，提取所述标志性支点的步骤还包括：以对所述头部图像实施几何运算确定的第2支点为基础，检验所述第1支点，从而提取所述标志性支点的步骤。18.一种记录权利要求10所述方法实施程序的计算机可读记录介质。19.一种通过头部图像分析装置得以运行，为实施权利要求10所述方法保存在介质的计算机程序。

百度查询： 乐人美德株式会社;廉汶燮 头部图像分析装置及图像分析方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD