申请/专利权人：JVC 建伍株式会社

申请日：2017-01-24

公开（公告）日：2021-04-23

公开（公告）号：CN108367710B

主分类号：B60R1/00(20060101)

分类号：B60R1/00(20060101);B60R11/02(20060101);G06T1/00(20060101);H04N7/18(20060101)

优先权：["20160615 JP 2016-118533"]

专利状态码：有效-授权

法律状态：2021.04.23#授权;2018.08.28#实质审查的生效;2018.08.03#公开

摘要：本发明涉及一种俯瞰影像生成装置包括：影像获取部（41），获取通过前方用周边拍摄相机（21）、或后方用周边拍摄相机（22）、或左侧用周边拍摄相机（23）、或右侧用周边拍摄相机（21）拍摄车辆周边而得的多个周边影像；以及姿势变化判定部（44），基于多个周边影像来判定车辆的姿势是否发生了变化。另外，俯瞰影像生成部（45）基于姿势变化判定部（44）的判定结果，生成根据前方用周边拍摄相机（21）、或后方用周边拍摄相机（22）、或左侧用周边拍摄相机（23）、或右侧用周边拍摄相机（24）的姿势的变化而修正了的俯瞰影像。

主权项：1.一种俯瞰影像生成装置，其特征在于，包括：影像获取部，获取多个周边影像，所述多个周边影像由朝向车辆的前后左右配置的多个拍摄装置拍摄所述车辆的周边而得；姿势变化判定部，基于所述影像获取部所获取的多个周边影像，判定所述车辆的姿势是否发生了变化；以及俯瞰影像生成部，生成俯瞰影像，所述俯瞰影像是将所述影像获取部获取的多个周边影像以从上方俯视所述车辆的方式进行视点转换后合成而得的，其中，所述姿势变化判定部基于所述周边影像中向纵深方向延伸的直线所收敛的收敛位置的变化来计算所述拍摄装置的倾斜角的变化量，基于所述周边影像中特征点的位置的变化来提取运动矢量，并计算所述拍摄装置的高度的变化量，基于朝向不同的其他所述拍摄装置的倾斜角的变化量和高度的变化量来计算所述拍摄装置的旋转角的变化量，由此判定所述车辆的姿势是否发生了变化，所述俯瞰影像生成部基于所述姿势变化判定部的判定结果来生成根据所述车辆的姿势变化修正的俯瞰影像。

全文数据：姿势变化判定装置、俯瞰影像生成装置、俯瞰影像生成系统、姿势变化判定方法以及程序技术领域[0001]本发明涉及姿势变化判定装置、俯瞰影像生成装置、俯瞰影像生成系统、姿势变化判定方法以及程序。背景技术[0002]已知有:利用设置在车辆周围的相机拍摄车辆的周边、并且作为对所拍摄的影像进行了视点转换的俯瞰影像而显示在监视器上的技术例如，参见专利文献1。该技术不管安装有车载相机的车辆的车辆高度或倾斜度如何变化，都能够确保图像质量良好的监视器影像。[0003]在先技术文件[0004]专利文献[0005]专利文献1:日本特开2009-253571号公报。发明内容[0006]在专利文献1中记载的技术中，为了测量车辆高度的变化或车辆的倾斜度的变化，需要在各车轮上设置用于检测悬架的沉入量的传感器。因此，期望的是:不使用传感器，进一步来说对于不被反映到悬架的沉入量的状态的车辆的姿势变化，也适当地判定车辆的姿势变化的技术、以及生成与车辆的姿势的变化对应的俯瞰影像的技术。[0007]本发明是鉴于上述问题而完成的，其目的在于提供一种不使用传感器就能够容易地应用于车辆，且在车辆的姿势变化时适当地判定车辆的姿势变化之外，还能够提供基于判定结果而被适当地修正的车辆周边的俯瞰影像。[0008]为了解决上述问题并实现目的，本发明所涉及的姿势变化判定装置的特征在于，包括:影像获取部，获取由配置于车辆的多个拍摄装置拍摄所述车辆的周边而得的多个周边影像；以及姿势变化判定部，基于所述影像获取部所获取的多个周边影像来判定所述车辆的姿势是否发生了变化。[0009]本发明所涉及的俯瞰影像生成装置的特征在于，包括:上述的姿势变化判定装置；以及俯瞰影像生成部,生成俯瞰影像，所述俯瞰影像是将所述影像获取部所获取的多个周边影像以从上方俯视所述车辆的方式进行视点转换后合成的俯瞰影像，所述俯瞰影像生成部基于所述姿势变化判定部的判定结果，生成根据所述车辆的姿势变化修正的俯瞰影像。[0010]本发明所涉及的俯瞰影像生成系统，其特征在于，具有：上述的俯瞰影像生成装置；以及拍摄装置，配置于所述车辆，拍摄车辆的周边并将向所述影像获取部提供周边影像。[0011]本发明涉及的姿势变化判定方法包括:影像获取步骤，获取通过配置于车辆的多个拍摄装置拍摄所述车辆的周边而得的多个周围影像；以及判定步骤，基于在所述影像获取步骤中获取的多个周边影像来判定所述车辆的姿势是否发生了变化。[0012]本发明涉及的程序，用于使作为姿势变化判定装置而动作的计算机执行以下步骤:影像获取步骤，获取由配置于车辆的多个拍摄装置拍摄所述车辆的周边而得的多个周围影像；以及判定步骤，基于在所述影像获取步骤中获取的多个周边影像来判定所述车辆的姿势是否发生了变化。[0013]根据本发明，能够获得如下效果:不使用传感器而容易地应用于车辆，且在车辆的姿势变化的情况下，除了适当地判定车辆的姿势变化之外，还能够提供根据判定结果适当地进行了修正的车辆周围的俯瞰影像。附图说明[0014]图1是示出第一实施方式涉及的俯瞰影像生成系统的构成例子的框图。[0015]图2是示出在第一实施方式涉及的俯瞰影像生成系统中生成的俯瞰影像的图。[0016]图3是说明使用第一实施方式涉及的俯瞰影像生成系统的车辆的姿势的俯视图。[0017]图4是说明使用第一实施方式涉及的俯瞰影像生成系统的车辆的姿势的侧视图。[0018]图5是说明使用第一实施方式涉及的俯瞰影像生成系统的车辆的姿势的侧视图。[0019]图6是说明第一实施方式涉及的俯瞰影像生成系统的前方用周边拍摄相机的姿势的不意图。[0020]图7是示出第一实施方式涉及的俯瞰影像生成系统的姿势变化判定装置以及俯瞰影像生成装置中的处理流程的流程图。[0021]图8是示出由第一实施方式涉及的俯瞰影像生成系统的前方用周边拍摄相机拍摄的图像的一例的图。[0022]图9是示出由第一实施方式涉及的俯瞰影像生成系统的前方用周边拍摄相机拍摄的图像的其他例子的图。[0023]图10是示出由第一实施方式涉及的俯瞰影像生成系统的前方用周边拍摄相机拍摄的图像的其他例子的图。[0024]图11是示出由第一实施方式涉及的俯瞰影像生成系统的前方用周边拍摄相机拍摄的图像的另一例子的图。[0025]图12是说明运动矢量的示意图。[0026]图13是示出以往的俯瞰影像的图。具体实施方式[0027]以下，参照附图，详细说明本发明所涉及的姿势变化判定装置、俯瞰影像生成装置、俯瞰影像生成系统、姿势变化判定方法和程序的实施方式。此外，本发明不受以下实施方式的限制。[0028][第一实施例][0029]图1是示出第一实施方式涉及的俯瞰影像生成系统的构成例子的框图。图2是示出在第一实施方式涉及的俯瞰影像生成系统中生成的俯瞰影像的图。图3是说明使用第一实施方式涉及的俯瞰影像生成系统的车辆的姿势的俯视图。图4是说明使用第一实施方式涉及的俯瞰影像生成系统的车辆的姿势的侧视图。图5是说明使用第一实施方式涉及的俯瞰影像生成系统的车辆的姿势的侧视图。俯瞰影像生成系统1〇生成车辆V参照图3〜图5的周边的合成影像。在本实施方式中，俯瞰影像生成系统10生成车辆V的俯瞰影像300参照图2。在本实施方式中，说明如图2所示的俯瞰影像300,俯瞰影像300包含表示车辆V的假想自身车辆图像A，并且是从上方俯视车辆V的俯瞰影像。本实施方式能够应用于以下的任一种状态:车辆V处于前进或者后退的任一行驶过程中显示俯敵影像300的状态、以及在车速为零且处于停止时显示俯瞰影像300的状态。[0030]使用图1，对俯瞰影像生成系统10进行说明。在判定为车辆V的姿势发生了变化的情况下，俯瞰影像生成系统10生成根据车辆V的姿势的变化而修正后的俯瞰影像300。俯瞰影像生成系统10除了载置在车辆V上之外，也可以是在车辆V上能够使用的可移动型的装置。[0031]俯瞰影像生成系统10被载置于车辆V，并以能够向显示面板101发送影像信号的方式连接于显示面板101，显示面板101基于显示控制部46的处理来显示影像。俯瞰影像生成系统10以能够从车辆V使用CANControllerAreaNetwork，控制器局域网）等收发与车辆V相关的数据的方式连接。在本实施方式中，俯瞰影像生成系统10没有包含显示面板101，然而，也可以包含显示面板101。[0032]显不面板101是包括例如液晶显示器Led:LiquidCrystalDisplay或有机ELOrganicElectro-Liminescence，有机电致发光）显示器的显示器。显示面板101基于从俯瞰影像生成系统10的俯瞰影像生成装置40的显示控制部46输出的影像信号来显示俯瞰影像300。显示面板101可以专用于俯瞰影像生成系统10,也可以与包含例如导航系统的其他系统共用来使用。显示面板101配置在从包含驾驶员的观察者容易看到的位置。[0033]俯瞰影像生成系统10包含前方用周边拍摄相机（拍摄装置21、后方用周边拍摄相机拍摄装置22、左侧用周边拍摄相机拍摄装置23、右侧用周边拍摄相机拍摄装置24、存储装置30、俯瞰影像生成装置40以及姿势变化判定装置50。[0034]使用图3到图5,对前方用周边拍摄相机21、后方用周边拍摄相机22、左侧用周边拍摄相机23以及右侧用周边拍摄相机24以下设为“周边拍摄相机21〜周边拍摄相机24”）进行说明。在图3至图5中，夸大地示出了前方用周边拍摄相机21、左侧用周边拍摄相机23以及右侧用周边拍摄相机24。图3到图5所示的各相机为了容易说明而记载为朝向水平方向，但实际上设置为能够主要对各方向上的车辆V附近的下方进行拍摄的朝向。[0035]前方用周边拍摄相机21配置在车辆V的前方，对以车辆V的前方为主的周边进行拍摄。前方用周边拍摄相机21被固定于车辆V。换而言之，前方用周边拍摄相机21相对于车辆V的安装位置和姿势是固定的。因此，当车辆V相对于包括地面和地板面的接地面的姿势发生变化时，前方用周边拍摄相机21相对于接地面的姿势发生变化。在图4中，车辆V的车轴相对于接地面不发生倾斜，而是沿平行于接地面的方向延伸。此时，前方用周边拍摄相机21的光轴沿与接地面平行的方向延伸。将图4所示的状态设为基准状态。在图5中，车辆V的车轴从后侧向前侧前低后高地相对于接地面倾斜地延伸。此时，前方用周边拍摄相机21的光轴从后侧向前侧前低后高地相对于接地面倾斜地延伸。[0036]使用图6,对前方用周边拍摄相机21的姿势进行说明。图6是说明第一实施方式涉及的俯瞰影像生成系统的前方用周边拍摄相机的姿势的示意图。前方用周边拍摄相机21的坐标系为:将前方用周边拍摄相机21的光轴方向设为Z轴，将与Z轴垂直的方向设为X轴和Y轴，将前方用周边拍摄相机21的中心设为坐标系的中心。前方用周边拍摄相机21的姿势由坐标xl，yl，zl以及绕X轴、Y轴和Z轴的旋转分量0X1，0Y1，0Z1六个轴确定。在本实施方式中，前方用周边拍摄相机21的作为绕X轴的旋转分量的倾斜角0X1、表示离地面的高度的Y轴方向的高度yl、以及作为绕Z轴的旋转分量的旋转角0Z1发生变化。[0037]前方用周边拍摄相机21的水平方向的视角例如为120〜190°，上下方向的视角例如为90〜120°。在本实施方式中，前方用周边拍摄相机21的包含视角的摄像条件被固定。前方用周边拍摄相机21将拍摄到的周边影像输出到俯瞰影像生成装置40的影像获取部41。前方用周边拍摄相机21所拍摄的周边影像例如是每秒60帧的图像所连续的影像数据。[0038]后方用周边拍摄相机22配置在车辆V的后方，对以车辆V的后方为主的周边进行拍摄。后方用周边拍摄相机22固定于车辆V。换而言之，后方用周边拍摄相机22相对于车辆V的安装位置和姿势是固定的。因此，当车辆V相对于包括地面和地板面的接地面的姿势发生变化时，后方用周边拍摄相机22相对于接地面的姿势发生变化。[0039]将后方用周边拍摄相机22的光轴方向为Z轴、将垂直于Z轴的方向为X轴和Y轴、将后方用周边拍摄相机的中心22为坐标系的原点，后方用周边拍摄相机22的姿势通过坐标x2，y2，z2以及绕X轴、Y轴和Z轴的旋转分量0X2，0Y2，0Z2六个轴来确定。在本实施方式中，后方用周边拍摄相机22的作为绕X轴的旋转分量的倾斜角0X2、表示离接地面的高度的Y轴方向的高度y2、以及作为绕Z轴的旋转分量的旋转角0Z2发生变化。[0040]后方用周边拍摄相机22的水平方向的视角例如是120〜190°，上下方向的视角例如是90〜120°。后方用周边拍摄相机22将所拍摄到的周边影像输出到俯瞰影像生成装置40的影像获取部41。后方用周边拍摄相机22所拍摄的周边影像例如是每秒60帧的图像所连续的影像数据。[0041]左侧用周边拍摄相机23设置在车辆V的左侧，并且对以车辆V的左侧为主的周边进行拍摄。左侧用周边拍摄相机23固定于车辆V。换而言之，左侧用周边拍摄相机23相对于车辆V的安装位置和姿势是固定的。因此，当车辆V相对于包括地面或地板面的接地面的姿势发生变化时，左侧用周边拍摄相机23相对于接地面的姿势发生变化。[0042]左侧用周边拍摄相机23的光轴方向为Z轴、将垂直于Z轴的方向为X轴和Y轴、将左侧用周边拍摄相机23的中心为坐标系的原点，左侧用周边拍摄相机23的姿势通过坐标X3，y3，z3以及绕X轴、Y轴、Z轴的旋转分量0X3，0Y3，0Z3的六个轴来确定。在本实施方式中，左侧用周边拍摄相机23的作为绕X轴的旋转分量的倾斜角0X3、表示离接地面的高度的Y轴方向的高度y3以及作为绕Z轴的旋转分量的旋转角0Z3发生变化。[0043]左侧用周边拍摄相机23的水平方向的视角例如120〜190°，上下方向的视角例如是90〜120°。左侧用周边拍摄相机23将所拍摄到的周边影像输出到俯瞰影像生成装置40的影像获取部41。由左侧用周边拍摄相机23拍摄的周边影像例如是每秒60帧的图像所连续的影像的数据。[0044]右侧用周边拍摄相机24配置在车辆V的右侧，并对以车辆V的右侧为主的周边进行拍摄。右侧用周边拍摄相机24被固定于车辆V。换而言之，右侧用周边拍摄相机24相对于车辆V的安装位置和姿势是固定的。因此，当车辆V相对于包含底面或地板面的接地面的姿势发生变化时，右侧用周边拍摄相机24相对于接地面的姿势发生变化。[0045]右侧用周边拍摄相机24的姿势以右侧周边拍摄相机24的光轴方向为Z轴、以垂直于Z轴的方向为X轴和Y轴，以右侧用周边拍摄相机24的中心为坐标系的原点，通过坐标x4，y4，z4以及绕X轴、Y轴和Z轴的旋转分量0\4，0¥4，024的六个轴来确定。在本实施方式中，右侧用周边拍摄相机24的作为绕X轴的旋转分量的倾斜角0X4、表示离接地面的高度的Y轴方向的高度y4、以及作为绕Z轴的旋转分量的旋转角0Z4发生变化。[0046]例如，右侧用周边拍摄相机24的水平方向的视角例如是12〇〜19〇°，上下方向上的视场例如是90〜12〇°。右侧用周边拍摄相机糾将所拍摄的周边影像输出到俯瞰影像生成装置40的影像获取部41。由右侧用周边拍摄相机24拍摄的周边影像例如是每秒60帧的图像所连续的影像数据。[0047]返回到图1，存储装置30存储俯瞰影像生成装置40中的各种处理所需的数据和各种处理结果。存储装置30例如是RAMRandomAccessMemory，随机存取存储器）、R〇MReadOnlyMemory，只读存储器或闪存FlashMemory等半导体存储元件，或者是硬盘或光盘等存储装置。[0048]存储装置30存储由影像获取部41获取的最新帧的周边影像和紧接之前的帧的周边影像。[0049]存储装置30将由前方用周边拍摄相机21拍摄到的两个周边影像中的消失点P的高度方向的差高度方向的变化量）、以及前方用周边拍摄相机21的倾斜角0X1的差倾斜角0XI的变化量关联起来存储为倾斜角变化数据。存储装置30将由后方用周边拍摄相机22拍摄到的两个周边影像中的消失点P的高度方向的差以及后方用周边拍摄相机22的倾角0X2的差倾斜角0X2的变化量对应起来存储为倾斜角变化数据。存储装置30将由左侧用周边拍摄相机23拍摄的两个周边影像中的消失点P的高度方向上的差以及左侧用周边拍摄相机23的倾斜角0X3的差倾斜角0X3的变化量对应起来存储为倾斜角变化数据。存储设备30将由右侧用周边拍摄相机24拍摄的两个周边影像中的消失点P的高度方向上的差以及右侧用周边拍摄相机24的倾斜角0X4倾斜角0X4的变化量对应起来存储为倾斜角变化数据。由此，如果知道两个周边影像中的消失点P的高度方向的差，则通过参照倾斜角变化数据，能够获取拍摄了两个周边影像的相机的倾斜角0幻〜倾斜角0X4之差。[0050]俯瞰影像生成装置40例如是由CPUCentralProcessingUnit，中央处理器等构成的运算处理装置。俯瞰影像生成装置40将存储在存储装置30中的程序加载到存储器中，并执行该程序中所包含的指令。俯瞰影像生成装置4〇包括:影像获取部41、车辆信息获取部42以及控制部43,所述控制部43具有姿势变化判定部44、俯瞰影像生成部45以及显示控制部46。[0051]姿势变化判定装置50例如是由CPU等构成的运算处理装置。姿势变化判定装置5〇将存储在存储装置30中的程序加载到存储器中，并执行程序中包含的指令。姿势变化判定装置50实现俯瞰影像生成装置40的一部分功能。具体而言，姿势变化判定装置50包括影像获取部41以及具有姿势变化判定部44的控制部43。[0052]影像获取部41获取对车辆V的周边拍摄而得的周边影像。更具体地，影像获取部41获取由周边拍摄相机21〜周边拍摄相机24输出的周边影像。影像获取部41将获取的周边影像输出到姿势变化判定部44和俯瞰影像生成部45。[0053]车辆信息获取部42与车辆V所包括的CAN连接来获取〇BDOnBoardDiagnosis，车载诊断）II数据等，由此获取车辆V中的各种信息。车辆信息获取部42获取例如档位信息、车速信息来作为车辆V的信息。车辆信息获取部42将获取的车辆信息输出到控制部们。[0054]控制部43在基于由车辆信息获取部42获取的车辆信息来判定为满足用于开始俯瞰影像300的显示的任意条件时，生成俯瞰影像300并输出到显示面板101。任意条件例如为:已经获得了档位为倒档的信息的情况、或行驶速度小于预定的情况、或者检测到被输入了开始俯瞰影像300的显示的操作的情况等。控制部43具有:姿势变化判定部44,根据由影像获取部41获取的周边影像来判定车辆V的姿势的变化;俯瞰影像生成部45,生成俯瞰影像300,该俯瞰影像300是对由影像获取部41获取的周边影像进行视点转换并且基于姿势变化判定部44的判定结果来对其进行修正的；以及显示控制部46,将由俯瞰影像生成部45生成的俯瞰影像300输出到显示面板101。[0055]姿势变化判定部44根据由影像获取部41获取的周边影像来判定车辆V的姿势变化。更具体而言，姿势变化判定部44基于由影像获取部41获取的多个周边影像分别计算出周边拍摄相机21〜周边拍摄相机24的倾斜角0X1〜倾斜角0X4的变化量、高度yl〜高度y4的变化量以及旋转角ezi〜旋转角0Z4的变化量。然后，姿势变化判定部44基于由影像获取部41获取的多个周边影像、并基于周边拍摄相机21〜周边拍摄相机24的倾斜角0X1〜倾斜角0X4的变化量、高度yl〜高度y4的变化量、旋转角0Z1〜旋转角0Z4的变化量来判定车辆V的姿势是否变化。[0056]俯瞰影像生成部45作为通常处理将影像获取部41获取的周边影像进行视点转换为从车辆V的上方观看的影像，并合成从上方观看车辆V的假想自身车辆图像A，从而生成俯瞰影像300。俯瞰影像生成部45基于由周边拍摄相机21〜周边拍摄相机24拍摄的周边影像，生成俯瞰影像300。生成俯瞰影像300的方法可以是公知的任何方法，并不限定。俯瞰影像生成单元45将生成的俯瞰影像300输出到显示控制部46。[0057]在此，在通常处理中，周边拍摄相机21〜周边拍摄相机24处于图4所示的基准状态。在基准状态下，周边拍摄相机21〜周边拍摄相机24位于车辆V上的预先设定的高度处，X轴和Z轴沿平行于接地面的方向延伸，并且Y轴沿与接地面正交的方向延伸。[0058]俯瞰影像300包含假想自身车辆图像A、以及前方影像301、后方影像302、左侧影像303和右侧影像304中的至少一个。在本实施方式中，俯瞰影像300被生成为矩形。俯瞰影像300包含显示前方影像301的第一范围F1、显示后方影像302的第二范围F2、显示左侧影像303的第三范围F3以及显示右侧影像304的第四范围F4中的至少任一个。在本实施方式中，俯瞰影像300包含第一范围H、第二范围F2、第三范围F3以及第四范围F4。[0059]作为修正处理，当姿势变化判定部44的判定结果判定为周边拍摄相机21〜周边拍摄相机24中的至少任一个的姿势发生了变化的情况下，俯瞰影像生成部45根据周边拍摄相机21〜周边拍摄相机24的姿势的变化修正在影像获取部41中获取的周边影像，并且视点转换为从车辆V的上方观看的影像，并合成从上方观察车辆V的假想自身车辆图像A，生成俯瞰影像300。俯瞰影像生成单元45将生成的俯瞰影像300输出到显示控制部46。[0060]在这里，在修正处理中，根据图像的周边拍摄相机21〜周边拍摄相机24的姿势的变化对周边影像进行修正、并且视点转换为从车辆V上方观察的影像是指:例如，考虑周边影像的拍摄位置与基准状态的偏差来进行视点转换。这里所说的周边拍摄相机21〜周边拍摄相机24的姿势的变化是指：相对于车辆V位于平面的地面上的情况，由于地面的凹凸等，周边拍摄相机21〜周边拍摄相机24相对于地面的高度发生偏差。这样的偏差例如出现在：车辆V所具有的多个车轮中的一部分车轮越过阶梯的中途、或者一部分车轮处于不同的倾斜度时、或者由于车辆V的乘客或负载而车辆V被施加了不水平的负载时等。[0061]显示控制部46将俯瞰影像生成部45生成的俯瞰影像300输出到显示面板101。[0062]接着，参照图7说明俯瞰影像生成系统1〇的姿势变化判定装置50以及俯瞰影像生成装置40的处理流程。图7是示出第一实施方式涉及的俯瞰影像生成系统的姿势变化判定装置以及俯瞰影像生成装置的处理流程的流程图。[0063]控制部43计算姿势（步骤S1。更具体地，控制部43使姿势变化判定部44基于由影像获取部41获取的多个周边影像，分别计算出周边拍摄相机21〜周边拍摄相机24的倾斜角0X4的变化量、高度y1〜高度H的变化量、以及旋转角0z1〜旋转角024的变化量。[0064]控制部43使姿势变化判定部44基于由影像获取部41获取的、由周边拍摄相机21〜周边拍摄相机24拍摄的周边影像，分别计算出周边拍摄相机21〜周边拍摄相机24的倾斜角0X1〜倾斜角9X4的变化量。_[0065]使用图8和图9,对前方用周边拍摄相机21的倾斜角0X1的变化量的计算进行说明。图8是示出由第一实施方式涉及的俯瞰影像生成系统的前方用周边拍摄相机拍摄的影像的一例的图。图9是示出由第一实施方式涉及的俯瞰影像生成系统的前方用周边拍摄相机拍摄的影像的另一例的图。周边影像201和周边影像202是由前方用周边拍摄相机21以预定中贞差拍摄的周边影像。例如，周边影像2〇2是最新巾贞的周边影像，周边影像是紧接之目U的中贞的周边影像。[0066]控制部43使姿势变化判定部44基于由影像获取部41获取的、由前方用周边拍摄相机21以预定帧差拍摄的周边影像来计算前方用周边拍摄相机21的倾斜角9X1的变化量。[0067]更详细地，控制部43使姿势变化判定部44在图8所示的图像201中提取出例如路面标识或道路的设置物或建筑物等在与接地面平行的方向上直线状延伸的被拍摄物211、被拍摄物212、被拍摄物213、被拍摄物214以及被拍摄物215。道路标识例如包含车道中心线、车道边界线、车道外侧线和路边区的各显示。道路的设置物例如包含护栏、侧壁、路缘石等设置物。被拍摄物211、被拍摄物212以及被拍摄物213是车道。被拍摄物214是路缘石。被拍摄物215是侧壁。然后，控制部43使姿势变化判定部44在周边影像201中延长与被拍摄物211、被拍摄物212、被拍摄物213、被拍摄物214、被拍摄物215对应的直线。然后，控制部43使姿势变化判定部44将直线的交点确定为周边影像201的消失点PA。然后，控制部43使姿势变化判定部44同样地确定图9所示的周边影像202的消失点PB。然后，控制部43使姿势变化判定部44获取周边影像201的消失点PA与周边影像202的消失点PB的高度方向上的差。然后，控制部43使姿势变化判定部44基于存储在存储装置30中的倾斜角变化数据，获取与消失点pa和消失点pb的高度方向的差对应的、前方用周边拍摄相机2丨的倾斜角exi的变化量。[0068]控制部43对后方用周边拍摄相机22、左侧用周边拍摄相机23和右侧用周边拍摄相机24中的每一个执行这样的处理，并且获取后方用周边拍摄相机22的倾斜角9X2的变化量、左侧用周边拍摄相机23的倾斜角0X3的变化量以及右侧用周边拍摄相机24的倾斜角0X4的变化量。[0069]控制部43使姿势变化判定部44基于由影像获取部41获取的、由周边拍摄相机21〜周边拍摄相机24拍摄的周边影像来计算周边拍摄相机21〜周边拍摄相机24的高度yl〜高度y4的变化量。[0070]使用图10至图12,对前方用周边拍摄相机21的高度yl的变化量的计算进行说明。图10是示出由第一实施方式涉及的俯瞰影像生成系统的前方用周边拍摄相机拍摄的影像的另一例的图。图11是示出由第一实施方式涉及的俯瞰影像生成系统的前方用周边拍摄相机拍摄的影像的另一例的图。图12是说明运动矢量的示意图。周边影像2〇3和周边影像2〇4是由前方用周边拍摄相机21以预定的帧差拍摄的影像。例如，周边影像2〇4是最新帧的周边影像，周边影像203是紧接之前的帧的周边影像。[0071]控制部43使姿势变化判定部44基于由影像获取部41获取的、由前方用周边拍摄相机21以预定的帧差所拍摄的周边影像来计算前方用周边拍摄相机21的高度yl的变化量。[0072]更具体地，控制部43使姿势变化判定部44在图10所示的周边影像2〇3中提取位于前方用周边拍摄相机21的正下方的被拍摄物216A。对于位于前方用周边拍摄相机21的正下方的被拍摄物216A，例如可以提取包含在周边影像2〇3的下侧中央的区域中的影像的特征点。然后，控制部43使姿势变化判定部44在图11所示的周边影像204中执行模式匹配，提取出与被拍摄物216A对应的被拍摄物216B。然后，如图12所示，控制部43使姿势变化判定部44基于被拍摄物216A和被拍摄物216B提取运动矢量。然后，控制部43使姿势变化判定部44根据提取出的运动矢量，获取前方用周边拍摄相机21的高度yl的变化量。此外，在该实施例中，由于车辆V停止，所提取的运动矢量表示前方用周边拍摄相机21的高度yl的变化量。[0073]在这里，对运动矢量进行说明。运动矢量是由于图像的移动而图像进行了平移时表示图像的平移量的矢量。提取运动矢量的方法可以是公知的任何方法，不做限定。[0074]控制部43使后方用周边拍摄相机22、左侧用周边拍摄相机23和右侧用周边拍摄相机24中的每个进行这样的处理，获取后方用周边拍摄相机22的高度y2的变化量、左侧用周边拍摄相机23的高度y3的变化量以及右侧用周边拍摄相机24的高度y4的变化量。[0075]控制部43使姿势变化判定部44基于由影像获取部41获取的、由周边拍摄相机21〜周边拍摄相机24拍摄的周边影像来计算周边拍摄相机21〜周边拍摄相机24的旋转角0Z1〜旋转角0Z4的变化量。[0076]更具体地，控制部43使姿势变化判定部44基于左侧用周边拍摄相机23的倾斜角0X3的变化量和高度y3的变化量、以及右侧用周边拍摄相机24的倾斜角9X4的变化量和高度y4的变化量中的至少一个，计算前方用周边拍摄相机21的旋转角0Z1的变化量。[0077]控制部43使姿势变化判定部44基于左侧用周边拍摄相机23的倾斜角时3的变化量和高度y3的变化量、以及右侧用周边拍摄相机24的倾斜角0X4的变化量和高度y4的变化量中的至少一个，计算后方用周边拍摄相机22的旋转角0Z2的变化量。[0078]控制部43使姿势变化判定部44基于前方用周边拍摄相机21的倾斜角时1的变化量和高度yl的变化量、以及后方用周边拍摄相机22的倾斜角0X2的变化量和高度以的变化量中的至少一个，计算左侧用周边拍摄相机23的旋转角0Z3的变化量。[0079]控制部43使姿势变化判定部44基于前方用周边拍摄相机21的倾斜角W1的变化量和高度yl的变化量、以及后方用周边拍摄相机22的倾斜角0X2的变化量和高度y2的变化量中的至少一个，计算右侧用周边拍摄相机24的旋转角0Z4的变化量。[0080]控制部43判定姿势是否发生变化步骤S2。控制部43使姿势变化判定部44在周边拍摄相机21〜周边拍摄相机24的、倾斜角0X1〜倾角0X4、高度yl〜高度y4、旋转角0Z1〜旋转角0Z4中的至少一者发生了变化的情况下，判定为姿势发生了变化是）。控制部43使姿势变化判定部44在周边拍摄相机21〜周边拍摄相机24的、倾斜角0X1〜倾斜角0X4、高度yl〜高度y4、旋转角0Z1〜旋转角9Z4中的任一个都没有变化的情况下，判定为姿势没有变化否。[0081]当姿势变化判定部44判定为姿势没有变化的情况下在步骤S2中的“否”），控制部43进入到步骤S3。[0082]当姿势变化判定部44判定姿势发生变化了的情况下步骤S2中的“是”），控制部43前进到步骤S4。[0083]控制部43使俯瞰影像生成部45作为通常处理而生成俯瞰影像300步骤S3。更具体而言，控制部43使俯瞰影像生成部45将由影像获取部41获取的周边影像视点转换为从车辆V的上方观察的影像，并合成从上方观察车辆V的假想自身车辆图像A，生成俯瞰影像300。[0084]控制部43使俯瞰影像生成部45作为修正处理而生成进行了修正的俯瞰影像3〇〇步骤S4。更具体而言，控制部43使俯瞰影像生成部45根据周边拍摄相机21〜周边拍摄相机24的姿势的变化来修正由影像获取部41获取的周边影像，并且视点转换为从车辆V的上方观察的影像，从而生成俯瞰影像300。[0085]具体而言，首先，控制部43使姿势变化判定部44判定前方用周边拍摄相机21的倾斜角町1、高度yl以及旋转角0Z1中的至少任一个是否发生了变化。当在姿势变化判定部44中判定为前方用周边拍摄相机21的倾斜角9X1、高度yl以及旋转角eZl中的至少一者发生了变化的情况下，控制部43使俯瞰影像生成部45生成根据前方用周边拍摄相机21的姿势的变化对由前方用周边拍摄相机21拍摄的周边影像进行修正、并视点转换为从车辆V的上方观察的影像的前方影像301。在姿势变化判定部44中判定为前方用周边拍摄相机21的倾斜角9XI、高度yl以及旋转角0Z1中的哪一个都没有变化的情况下，控制部43使俯瞰影像生成部45生成将由前方用周边拍摄相机21拍摄的周边影像视点转换为从车辆V的上方观看的影像的前方影像301。[0086]控制部43使姿势变化判定部44判定后方用周边拍摄相机22的倾斜角0X2、高度y2以及旋转角叹2中的至少任一个是否发生变化。当在姿势变化判定部44中判定为后方用周边拍摄相机22的倾斜角0X2、高度y2以及旋转角9Z2中的至少一个发生了变化的情况下，控制部43使俯瞰影像生成部45生成根据后方用拍摄相机22的姿势的变化修正由后方用周边影像相机22拍摄的周边影像、并视点转换为从车辆V的上方观察的影像的后方影像3〇2。当在姿势变化判定部44判定为后方用周边拍摄相机22的倾斜角ex2、高度y2以及旋转角0Z2中的哪一个都没有变化的情况下，控制部43使俯瞰影像生成部45生成将由后方用周边拍摄相机22拍摄的周边影像视点变换为从车辆V的上方观察的影像的后方影像3〇2。[0087]控制部43使姿势变化判定部44判定左侧用周边拍摄相机23的倾斜角0X3、高度y3以及旋转角0Z3中的至少任一个是否发生变化。当在姿势变化判定部44中判定为左侧用周边拍摄相机23的倾斜角0X3、高度y3以及旋转角9Z3中的至少一个发生了变化的情况下，控制部43使俯瞰影像生成部45生成根据左侧用拍摄相机23的姿势的变化修正由左侧用周边影像相机23拍摄的周边影像、并视点转换为从车辆V的上方观察的影像的左侧影像303。当在姿势变化判定部44判定为左侧用周边拍摄相机23的倾斜角9X3、高度y3以及旋转角9Z3中的哪一个都没有变化的情况下，控制部43使俯瞰影像生成部45生成将由左侧用周边拍摄相机23拍摄的周边影像视点变换为从车辆V的上方观察的影像的左侧影像303。[0088]控制部43使姿势变化判定部44判定右侧用周边拍摄相机24的倾斜角0X4、高度y4以及旋转角0Z4中的至少任一个是否发生变化。当在姿势变化判定部44中判定为右侧用周边拍摄相机24的倾斜角0X4、高度y4以及旋转角0Z4中的至少一个发生了变化的情况下，控制部43使俯瞰影像生成部45生成根据右侧用拍摄相机24的姿势的变化修正由右侧用周边影像相机24拍摄的周边影像、并视点转换为从车辆V的上方观察的影像的右侧影像304。当在姿势变化判定部44判定为右侧用周边拍摄相机24的倾斜角9X4、高度y4以及旋转角0Z4中的哪一个都没有变化的情况下，控制部43使俯瞰影像生成部45生成将由右侧用周边拍摄相机24拍摄的周边影像视点变换为从车辆V的上方观察的影像的右侧影像304。[0089]然后，控制部43使俯瞰影像生成部45生成对前方影像301、后方影像302、左侧影像303以及右侧影像304进行合成、并合成从上方观察车辆V时的假想自身车辆图像A的俯瞰影像300。根据每个相机的姿势变化的修正是指周边影像的切出范围的改变、切出位置的改变。[0090]控制部43显示俯瞰影像300步骤S5。更具体地说，控制部43使显示控制部46在显示面板101上显示在步骤S3中生成的俯瞰影像300或在步骤S4中生成的俯瞰影像300。[0091]如此，俯瞰影像生成系统10生成俯瞰影像300,并将该影像信号输出到搭载于车辆V的显示面板101。显示面板101基于从俯瞰影像生成系统10输出的影像信号例如与导航一起显示俯瞰影像300。[0092]如上所述，根据本实施方式，当周边拍摄相机21〜周边拍摄相机24中的至少一者的姿势发生变化时，根据周边拍摄相机21〜周边拍摄相机24的姿势的变化修正由影像获取部41获取的周边影像，并视点转换为从车辆V的上方观看的影像，合成从上方观看车辆V的假想自身车辆图像A，从而能够生成俯瞰影像300。[0093]在本实施方式中，即使是由于乘客上下车或货物的装载、制动器操作、驶过台阶或进入斜坡等而导致车辆V下沉的情况等，也能够根据周边拍摄相机21〜周边拍摄相机24的姿势的变化进行修正来生成适当的俯瞰影像300。[0094]在这里，为了比较，使用图13,对车辆V下沉情况下的以往的俯瞰影像300进行说明。图I3是示出以往的俯瞰影像的图。图13示出例如乘客乘坐在停放着的车辆V的前侧而车辆V的前侧下沉的状态下的俯瞰影像300。前方用周边拍摄相机21的高度yl比车辆V下沉前低。此外，为了简化说明，假设后方用周边拍摄相机22、左侧用周边拍摄相机23和右侧用周边拍摄相机24的高度y2〜高度y4没有变化。因此，在俯瞰影像300中，前方影像301与左侧影像3〇3和右侧影像304的接缝是不连续的。换而言之，俯瞰影像300的第一范围F1与第三范围F3和第四范围F4之间的边界是不连续的，发生了变形。如此，俯瞰影像3〇〇的停车框线L是不连续的，发生了变形。[0095]与此相对，根据本实施方式，如图2所示，俯瞰影像300的停车框线L连续并且抑制了变形。如上所述，根据本实施方式，例如，即使是车辆V的前侧下沉而周边拍摄相机21〜周边拍摄相机24的姿势发生了变化的情况下，也能够生成要合成的周边影像的接缝平滑地连续的、抑制了变形的俯瞰影像300。根据本实施方式，即使车辆V的姿势变化，也能够提供适当的车辆周边的俯瞰影像300。[0096]根据本实施方式，能够基于由影像获取部41获取的周边影像来判定周边拍摄相机21〜周边拍摄相机24的姿势是否发生了变化。换而言之，在本实施方式中，在车辆¥中不配置检测姿势变化的传感器，也能够判定周边拍摄相机21〜周边拍摄相机24的姿势是否发生了变化。此外，本实施方式能够基于由影像获取部41获取的周边影像来计算周边拍摄相机21〜周边拍摄相机24的姿势的变化。如上所述，本实施方式由于可以不在车辆V侧安装传感器等，因此能够容易地应用于车辆V。[0097][第二实施方式][0098]本实施方式的俯瞰影像生成系统10与第一实施方式的俯瞰影像生成系统10的不同点在于:车辆信息获取部42经由CAN获取车速信息以及控制部43中的处理。在本实施方式中，不限于车辆V停止的情况。[00"]车辆信息获取部42与车辆V所具有的CAN连接并获取0BDII数据等，由此获取车辆V的档位信息和车辆V的车速信息。[0100]控制部43在基于以预定帧差拍摄的周边影像来提取运动矢量时，排除基于车辆V的移动的运动矢量的分量，仅提取前方用周边拍摄相机21的高度方向的变化的运动矢量。基于车辆V在水平方向上的平行移动的运动矢量与由于相机的高度方向（垂直方向）上的移动而导致图像在高度方向上平行移动时的运动矢量在方向上不同。因此，当基于以预定帧差拍摄的周边影像来提取运动矢量时，能够容易地排除基于车辆V的移动的运动矢量的分量。或者，基于车辆V的运动的运动矢量可以基于车辆信息获取部42所获取的车速来计算。[0101]如上所述，根据本实施方式，不管车辆V是停止还是移动，都根据周边拍摄相机21〜周边拍摄相机24的姿势变化进行修正，能够提供适当的车辆周边的俯瞰影像300。[0102]到此为止，对本发明涉及的俯瞰影像生成系统10进行了说明，但是除了上述实施方式之外，可以以各种不同的方式来实施。[0103]图示的俯瞰影像生成系统10的各构成要素是在功能上示意的，在物理上不一定如图所示地构成。即，各装置的具体形式不限于图示的那些，而是可以根据各装置的处理负担、使用情况等将其全部或一部分以任意的单位在功能上或物理上分散或集成。[0104]俯瞰影像生成系统10的构成例如通过装载在存储器等中的程序来作为软件来实现。在上述实施方式中，作为通过这些硬件或软件的协作来实现的功能块来进行了说明。SP，这些功能块可以通过仅硬件、仅软件或其组合来以各种形式实现。[0105]在上面描述的构成要素中包含本领域技术人员能够容易想到的、实质上相同的内容。此外，上述记载的构成能够适当地组合。另外，在不脱离本发明的主旨的范围内，能够进行构成的各种省略、置换或改变。[0106]说明了控制部43基于由周边拍摄相机21〜周边拍摄相机24所拍摄的周边影像的消失点P的高度的变化获取周边拍摄相机21〜周边拍摄相机24的倾斜角0X1〜倾斜角0X4的变化量，但是，并不限制与此。控制部43可以例如基于由周边拍摄相机21〜周边拍摄相机24拍摄的周边影像中的、车辆V的接地面在无限远收敛的收敛线的位置收敛位置）的变化来获取周边拍摄相机21〜周边拍摄相机24的倾斜角9X1〜倾斜角0X4的变化量。收敛线例如是地平线或水平线。在该情况下，存储装置3〇将由周边拍摄相机2丨〜周边拍摄相机24以预定的帧差拍摄的两个周边影像中的收敛线的位置的差与周边拍摄相机21〜周边拍摄相机24的倾斜角0X1〜倾斜角GX4的差对应起来存储为倾斜角变化数据。[0107]例如，姿势变化判定部44可以在例如倾斜角exi〜倾斜角0X4的变化量为预定值以上时判定为倾斜角0X1〜倾斜角9X4发生了变化。姿势变化判定部44可以在例如高度yl〜高度y4的变化量为预定值以上时，判定为高度yl〜高度y4发生了变化。姿势变化判定部44可以在例如旋转角0Z1〜旋转角0Z4的变化量为预定值以上时，判定为旋转角ezi〜旋转角0Z4的发生了变化。通过这样做，当周边拍摄相机21〜周边拍摄相机24的姿势持续地发生细微变化时，能够减轻俯瞰影像生成系统1〇的处理负担。[0108]符号说明[0109]10俯瞰影像生成系统[0110]21前方用周边拍摄相机拍摄装置）[0111]22后方用周边拍摄相机拍摄装置）[0112]23左侧用周边拍摄相机拍摄装置）[0113]24右侧用周边拍摄相机拍摄装置）[0114]3〇存储装置[0115]40俯瞰影像生成装置[0116]41影像获取部[0117]42车辆信息获取部[0118]43控制部[0119]44姿势变化判定部[0120]45俯瞰影像生成部[0121]46显示控制部[0122]50姿势变化判定装置[0123]101显示面板[0124]300俯瞰影像合成影像）[0125]A假想自身车辆图像[0126]P消失点[0127]V车辆

权利要求：1.一种姿势变化判定装置，其特征在于，包括：影像获取部，获取多个周边影像，所述多个周边影像由配置于车辆的多个拍摄装置拍摄所述车辆的周边而得;以及姿势变化判定部，基于所述影像获取部所获取的多个周边影像，判定所述车辆的姿势是否发生了变化。2.如权利要求1所述的姿势变化判定装置，其中，所述姿势变化判定部基于所述周边影像中向纵深方向延伸的直线所收敛的收敛位置的变化来计算所述拍摄装置的倾斜角的变化量，由此判定所述车辆的姿势是否发生了变化。3.如权利要求1或2所述的姿势变化判定装置，其中，所述姿势变化判定部基于所述周边影像中特征点的位置的变化来提取运动矢量，并计算所述拍摄装置的高度的变化量，由此判定所述车辆的姿势是否发生了变化。4.如权利要求1所述的姿势变化判定装置，其中，所述姿势变化判定部基于向所述周边影像的纵深方向延伸的直线所收敛的收敛位置的变化来计算所述拍摄装置的倾斜角的变化量，并基于所述周边影像中的特征点的位置的变化提取出运动矢量，计算所述拍摄装置的高度的变化量，基于其他所述拍摄装置的倾斜角的变化量和其他所述拍摄装置的高度的变化量来计算所述拍摄装置的旋转角的变化量，由此判定所述车辆的姿势是否发生了变化。5.如权利要求2或4所述的姿势变化判定装置，其中，所述收敛位置是在所述周边影像中将多个被拍摄物延长交叉的消失点，所述被拍摄物在与所述车辆接触地面的接地面平行的方向上呈直线状延伸。6.如权利要求5所述的姿势变化判定装置，其中，所述被拍摄物是路面标识、道路的设置物、建筑物中的至少一个。7.如权利要求2或4所述的姿势变化判定装置，其中，所述收敛位置是周边影像中所述车辆接触地面的接地面在无限远处收敛的收敛线。8.—种俯瞰影像生成装置，其特征在于，包括：权利要求1至7中任一项所述的姿势变化判定装置；以及俯瞰影像生成部，生成俯瞰影像，所述俯瞰影像是将所述影像获取部获取的多个周边影像以从上方俯视所述车辆的方式进行视点转换后合成而得的，其中，所述俯瞰影像生成部基于所述姿势变化判定部的判定结果来生成根据所述车辆的姿势变化修正的俯瞰影像。9.一种俯瞰影像生成系统，其特征在于，包括：权利要求8所述的俯瞰影像生成装置;以及拍摄装置，配置于所述车辆，拍摄车辆的周边并向所述影像获取部提供周边影像。10.—种姿势变化判定方法，其特征在于，包括：影像获取步骤，获取多个周边影像，所述多个周边影像由配置于车辆的多个拍摄装置拍摄所述车辆的周边而得;以及判定步骤，基于在所述影像获取步骤中获取的多个周边影像，判定所述车辆的姿势是否发生了变化。u.—种程序，用于使作为姿势变化判定装置而动作的=:影像获取步骤，获取多个周边影像，所述多个周边影像由配置于罕辆的多个拍摄装置拍摄所述车辆的周边而得；以及、_判定步骤，基于在臟影臟取频中获棚多个周边雜，判定所述车辆的姿势是否发生了变化。

百度查询： JVC 建伍株式会社 俯瞰影像生成装置、俯瞰影像生成系统、以及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD