申请/专利权人：孙文

申请日：2016-08-23

公开（公告）日：2024-05-28

公开（公告）号：CN106371585B

主分类号：G06F3/01

分类号：G06F3/01;G06V20/20

优先权：

专利状态码：有效-授权

法律状态：2024.05.28#授权;2024.03.22#专利申请权的转移;2017.03.01#实质审查的生效;2017.02.01#公开

摘要：本发明提供一种扩增实境系统及方法，其特征在于，包括:电子装置，包括：影像撷取单元，用以撷取影像；处理模块，包括处理单元及记忆单元，用以执行扩增实境应用程式，经比对撷取影像与标志物特征后，加载扩增实境图像于影像以形成扩增实境影像；显示单元，用以显示扩增实境影像；配戴装置，包括：动态感测单元，用以感测使用者身体的动态参数；其中动态参数自配戴装置传输至电子装置，并以动态参数动态调整扩增实境图像。

主权项：1.一种扩增实境系统，其特征在于，包括:电子装置，包括：影像撷取单元，影像撷取单元的参数用于确定扩增实境图像的2D-3D变换矩阵；处理模块，包括处理单元及记忆单元，其中所述处理单元用以执行扩增实境应用程式以及所述记忆单元用以存取标志物数据库，且于所述标志物数据库中包括多个标志物特征，所述处理单元对所述影像与所述标志物特征进行比对及匹配，以加载扩增实境图像于所述影像以形成扩增实境影像；显示单元，用以显示所述扩增实境影像；及第一无线单元；以及配戴装置，包括动态感测单元，用以感测使用者身体的动态参数；及第二无线单元；其中所述配戴装置透过所述第二无线单元以无线连接所述第一无线单元，并与所述电子装置进行配对，并将所述动态参数由所述配戴装置传输至所述电子装置，所述处理单元利用所述动态参数动态调整所述扩增实境图像；所述扩增实境应用程式的执行步骤包括：a.扩增实境系统初始化；b.以所述影像撷取单元撷取所述影像；c.判断所述影像是否具有所述标志物特征，若否，则退回至步骤b；d.加载所述扩增实境图像；e.以所述影像撷取单元撷取次一帧所述影像；f.判断次一帧所述影像是否具有所述标志物特征，若否，则退回至步骤b；g.判断是否接收到所述动态参数,若是，依据标志物新位置及动态参数更新2D-3D变换矩阵,并依据更新后的2D-3D变换矩阵及动态参数动态调整扩增实境图像，若否，则依据物件的新位置更新2D-3D变换矩阵，并依据更新后的2D-3D变换矩阵更新扩增实境图像；以及h.回至步骤e。

全文数据：扩増实境系统及其方法技术领域[0001] 本发明是有关于一种扩增实境系统，特别是有关于一种动态感测装置提升扩增实境互动程度的系统及方法。背景技术[0002] 扩增实境技术AugmentedReality,AR，为将虚拟世界的视效、音效及空间信息等信息整合至真实环境信息的技术，扩增实境技术不仅展现真实环境的信息，亦同时将虚拟的信息显示出来，藉由两种信息相互补充、迭加，藉此让使用者可获得更丰富的感知信息，通常，搭载扩增实境技术的电子装置可透过配置于其上的摄像镜头捕捉真实环境的影像，并实时地计算所捕捉影像的位置、角度，同时加上相应虚拟图像，其目的是在显示屏幕上把虚拟世界信息套在现实环境信息中，让使用者透过所捕捉的影像与虚拟世界的信息进行互动。[0003] 现今扩增实境技术主要应用于智能手机、平板计算机等移动装置，近年来由于虚拟现实VirtualReality,VR技术的发展，也开始将扩增实境技术应用于智能头蓝、智能眼镜等穿戴式设备上。透过3D图像动画的渲染，多媒体视频、音频的播放，扩增实境技术被广泛地应用于电玩游戏、媒体传播及教育等领域。[0004] 扩增实境技术利用虚拟特效增强真实环境中的场景，将需要被展示或被突显的目标事物更加生动且具体，带给使用者强烈鲜明的视觉效果。然而，由于欠缺互动功能及千篇一律的虚拟特效，也容易让使用者的新鲜感消退而失去使用的兴趣。[0005] 有鉴于此，如何提供一种互动性佳、娱乐性高的扩增实境系统，为本发明欲解决的技术课题。发明内容[0006] 本发明提供一种互动性佳、娱乐性高的扩增实境系统及其方法，使用者可透过配戴装置控制形成的扩增实境图像并与其进行互动。[0007] 为达上述目的，本发明提供一种扩增实境系统，其特征在于，包括:[0008] 电子装置，包括:[0009] 影像撷取单元，用以撷取影像；[0010] 处理模块，包括处理单元及记忆单元，其中处理单元用以执行扩增实境应用程式以及记忆单元用以存取标志物数据库，且于标志物数据库中包括多个标志物特征，处理单元对影像与标志物特征进行比对及匹配，以加载扩增实境图像于影像以形成扩增实境影像；[0011] 显示单元，用以显示扩增实境影像;及[0012] 第一无线单元；以及[0013] 配戴装置，包括[0014]动态感测单元，用以感测使用者身体的动态参数;及[0015] 第二无线单元；[0016] 其中配戴装置透过第二无线单元以无线连接第一无线单元，并与电子装置进行配对，并将动态参数由配戴装置传输至电子装置，处理单元利用动态参数动态调整扩增实境图像。[0017] 较佳的，本发明的扩增实境应用程式的执行步骤包括:[0018] a.扩增实境系统初始化；[0019] b.以影像撷取单元撷取影像；[0020] c.判断影像是否具有标志物特征，若否，则退回至步骤b;[0021] d.加载扩增实境图像；[0022] e.以影像撷取单元撷取次一帧影像；[0023] f.判断次一帧影像是否具有标志物特征，若否，则退回至步骤b;[0024] g.判断是否接收到动态参数，若是，则进行动态调整扩增实境图像，若否，则进行更新扩增实境图像;以及[0025] h.回至步骤e。[0026] 较佳的，本发明的步骤a包括读取影像撷取单元参数、标志物数据库及扩增实境应用程式执行檔，并暂存于记忆单元；[0027] 较佳的，本发明的步骤d藉由计算2D-3D变换矩阵以形成扩增实境图像。[0028] 较佳的，本发明的步骤g依据标志物新位置更新2D-3D变换矩阵以更新扩增实境图像。[0029] 较佳的，本发明的步骤g依据标志物新位置及动态参数更新2D-3D变换矩阵以动态调整扩增实境图像。[0030] 较佳的，本发明的配戴装置与电子装置于步骤a至f任一步骤进行时，以无线方式进行配对。[0031] 较佳的，本发明的无线方式为:W1-F1、蓝牙、群蜂无线网络、超宽带、Sub-GHz、家用高周波无线传输、无线射频识别或近距离无线通信。[0032] 较佳的，本发明的电子装置为:笔记本电脑、平板、个人数字助理、移动电话、智能头盔、智慧眼镜或游戏机。[0033] 较佳的，本发明的配戴装置为:智慧手表或智慧手环。[0034] 较佳的，本发明的动态感测单元为:重力传感器、方向传感器、磁力传感器、加速度传感器或角速度传感器。[0035] 本发明另提供一种扩增实境方法，其特征在于藉由感测使用者身体的动态参数以动态调整扩增实境图像，包括下列步骤:[0036] a.撷取影像；[0037] b.判断影像是否具有标志物特征，若否，则退回至步骤a重新撷取影像；[0038] C.加载扩增实境图像；[0039] d.撷取次一帧影像；[0040] e.判断次一帧影像是否具有标志物特征，若否，则退回至步骤a重新撷取所述影像；以及[0041] f.判断是否接收到动态参数，若是，则进行动态调整扩增实境图像，若否，则进行更新扩增实境图像。[0042] 较佳的，本发明的步骤c藉由计算2D-3D变换矩阵以形成扩增实境图像。[0043] 较佳的，本发明的步骤f更新扩增实境图像步骤是依据标志物新位置更新2D-3D变换矩阵以更新扩增实境图像。[0044] 较佳的，本发明的步骤f动态调整扩增实境图像是依据标志物新位置及动态参数更新2D-3D变换矩阵以动态调整扩增实境图像。附图说明[0045]图1A为本发明所提供扩增实境系统运作的示意图；[0046]图1B为本发明标志物数据库中标志物特征生成的流程图；[0047]图2为本发明所提供扩增实境系统运作的流程图；[0048]图3为本发明所提供扩增实境系统实施例的示意图；以及[0049]图4A至4C为本发明所提供扩增实境系统实施例运作的示意图。具体实施方式[0050] 本发明的优点及特征以及达到其方法将参照例示性实施例及附图进行更详细的描述而更容易理解。然而，本发明可以不同形式来实现且不应被理解仅限于此处所陈述的实施例。相反地，对所属技术领域具有通常知识者而言，所提供的此些实施例将使本揭露更加透彻与全面且完整地传达本发明的范畴。[0051]首先，请参阅图1，图1为本发明所提供扩增实境系统运作的示意图，如图1所示，本发明所提供的扩增实境系统包括电子装置10及配戴装置20，电子装置10具有显示单元101、处理模块102、第一无线单元103及影像撷取单元104，其中，处理模块102包括:处理单元1021及记忆单元1022，其中处理单元1021用于执行扩增实境应用程式，记忆单元1022用于暂存执行扩增实境应用程式时，扩增实境系统初始化的资料包括:影像撷取单元104的参数、扩增实境应用程式内含的标志物数据库及扩增实境应用程式的执行檔。[0052]当用户开启扩增实境应用程式时，影像撷取单元104 例如:摄像镜头可撷取周遭环境的影像，例如撷取真实环境中包含物件3的影像，处理单元1021则是将所撷取到包含物件3的影像与标志物数据库内所储存的标志物特征进行比对及匹配，若物件3符合标志物特征，则处理单元1021会将3D扩增实境图像加载于所撷取的影像，以形成扩增实境影像，而形成的扩增实境影像则进一步于显示单元101例如:移动电话屏幕、平板屏幕上进行显示。[0053] 请继续参阅图1，配戴装置20具有动态感测单元201及第二无线单元202，第二无线单元202可透过无线方式与电子装置10中的第一无线单元103进行无线通讯连接，使配戴装置20可与电子装置10进行配对，过配戴装置20可配戴于使用者身上并可藉由动态感测单元201感测使用者身体姿态的变化，例如:挥手、转圈、奔跑或跳跃，当使用者身体姿态产生变化时，感测单元201将感测到的身体姿态变化转换成动态参数，并透过第二无线单元202将动态参数传输至电子装置10，而处理单元1021则利用所接收到动态参数对加载于影像上的扩增实境图像进行动态的调整。[0054] 在本发明的实施例中，电子装置10可为:笔记本电脑、平板、个人数字助理、移动电话、智能头盔、智慧眼镜或游戏机;配戴装置20可为:智慧手表或智慧手环;配戴装置20中的动态感测单元201可为:重力传感器、方向传感器、磁力传感器、加速度传感器或角速度传感器。而第一无线单元103与第二无线单元202两者连接的无线方式可为:W1-F1、蓝牙Bluetooth、群蜂无线网络ZigBee、超宽带UltraWideBand；UffB、Sub_GHzIGHz以下频段、家用高周波无线传输HomeRF、无线射频识别RFID或近距离无线通信NFC等无线连接技术。[0055] 接着请参阅图1B，图1B是用来说明本发明标志物数据库中标志物特征生成的流程图。标志物特征生成的流程包括:任意选取一张标志物图像步骤S301，于步骤S301中，为达到稳定的扩增实境效果，标志物图像的像素数量不能过低且不能过于简单或单调，理想情况为具有足够多的特征点；接着，生成标志物图像层步骤S302，于步骤S302中，运用线性插值法linearinterpolat1n对标志物图像进行不同尺度的缩小并建立图层塔，藉由不同尺度的缩小，使扩增实境系统可与影像撷取单元所撷取影像中各种不同尺寸的标志物进行匹配;紧接着，生成跟踪组的标志物特征点步骤S303，于步骤S303中，首先，先对标志物图像提取角点，尔后再对提取出的角点进行相关性的检测，筛选并剔除相关性过高的角点，其中，各角点附近区域内光强度平均值的差异为相关性筛选的原则。当影像撷取单元104连续撷取多帧影像时，扩增实境系统即可使用跟踪组的标志物特征点对所撷取影像中的物件进行追踪，而毋须进行重复的比对及匹配;最后，生成匹配组的标志物特征点及描述子步骤S304，于步骤S304中，对标志物图像进行标志物特征点的提取，同时生成对应该标志物特征点的描述子。当影像撷取单元104撷取第一帧影像后，即使用步骤S304中形成的标志物特征点及描述子与所撷取的影像进行比对和匹配。于本发明中，所生成跟踪组的标志物特征点、匹配组的标志物特征点及描述子等相关数据以二进制元数字的方式储存于副檔名为RDX的文件檔中，并可于扩增实境应用程序执行时进行读取的动作。[0056] 接者，请同时参阅图1及图3，图3为本发明所提供扩增实境系统运作的流程图，在用户开启扩增实境应用程式时，首先进行扩增实境系统初始化步骤S100，于步骤SlOO中，处理模块102的处理单元1021会读取影像撷取单元104的参数、扩增实境应用程式内含的标志物数据库及扩增实境应用程式的执行檔，并将其暂存于记忆单元1022中。其中，影像撷取单元104的参数用于确定扩增实境图像的2D-3D变换矩阵，标志物数据库则包含多笔标志物特征信息，以利后续与撷取影像进行比对、匹配与追踪，而扩增实境应用程式执行檔则提供3D扩增实境图像的加载及作业环境。[0057] 接着，藉由影像撷取单元104撷取影像步骤S101，尔后判断影像中使否具有标志物特征步骤S102，于步骤S102中，将所撷取包含物件3的影像与标志物数据库进行比对与匹配透过图1B所述步骤S304中所生成匹配组的标志物特征点及描述子，经由比对来确认撷取的影像中是否具有标志物特征，若撷取的影像不具有标志物特征，则退回至步骤S101，再藉由影像撷取单元104重新撷取一帧新的影像进行标志物特征的比对。[0058] 若经步骤S102的比对后，确认撷取的影像具有标志物特征，则开始计算2D-3D变换矩阵步骤S103，于步骤S103中，藉由2D-3D变换矩阵，可建立物件3在显示单元101中的屏幕坐标及物件3在真实环境中的位置坐标，尔后，再进行加载扩增实境图像步骤S104，于步骤S104中，将扩增实境图像加载于撷取的影像，使其形成扩增实境影像并于显示单元101上进行显示，扩增实境图像则藉由2D-3D变换矩阵确认其于显示单元101屏幕中摆放的位置、大小，及在XYZ轴三维角度的调整。此外，扩增实境图像可为可动不可动的3D图像，并可做出拟真的动作或发出拟真的声音。[0059] 于扩增实境图像加载完成后，则再藉由影像撷取单元104撷取次一帧影像步骤S105，随后再进行判断影像中使否具有标志物特征步骤S106，于步骤S106中，藉由图1B中步骤S303中所生成追踪组的标志物特征点进行比对与追踪，由于物件3可能已经脱离影像撷取单元104撷取的范围，或物件3的位置已经发生改变，因此需要再行判断的步骤，若撷取的影像已不具有标志物特征，则退回至步骤SlOl如同步骤S102。[0060] 若经步骤S106的比对后，确认撷取的影像具有标志物特征但物件3的位置可能发生改变后，接着，判断是否接收到动态参数步骤S107，于步骤S107中，若无接收到动态参数，则依据物件3的新位置更新2D-3D变换矩阵步骤S108，并依据更新后的2D-3D变换矩阵更新扩增实境图像步骤S109;若接收到动态参数，则依据标志物3新位置及动态参数更新2D-3D变换矩阵步骤SI10，并依据更新后的2D-3D变换矩阵及动态参数动态调整扩增实境图像步骤SI11。[0061] 最后，则判断是否接收到结束讯号步骤S112，于步骤S112中，若未接收到结束讯号，则会再退回至步骤S105继续进行更新动态调整扩增实境图像;若接收到结束讯号，则结束执行扩增实境应用程式，同时释放暂存于记忆单元1022的实境系统初始化资料。[0062] 于步骤S107中，除可藉由扩增实境应用程式自动判断是否接收到动态参数外，另一较佳实施方式中，使用者亦可透过电子装置10或配戴装置20中使用者接口UserInterface，UI未示于图中上的虚拟按键开启关闭动态参数的接收传输，或是电子装置10与配戴装置20上的实体按键开启关闭动态参数的接收传输，如此可让使用者更精确地控制扩增实境图像于显示单元中的位置及动作。此外，电子装置10与配戴装置20可于步骤SlOO至步骤S106中的任一步骤进行配对的操作，使电子装置10或配戴装置20可透过无线方式进行数据的传输。[0063] 请同时参阅图3及图4A至4C，图3为本发明所提供扩增实境系统实施例的示意图；以及图4A至4C为本发明所提供扩增实境系统实施例运作的示意图。于图3中，使用者4配戴配戴装置20，配戴装置20以具有方向传感器未示于图中的智能手表来做说明，智能手表20以无线方式与电子装置10进行配对与数据传输，而电子装置10则是以具有摄像镜头未示于图中的平板计算机来做说明，物件3为具有标志物特征的椅子，同时平板计算机10藉由摄像镜头撷取椅子3的影像。[0064] 请参阅图4A至4C，于图4A中，过扩增实境系统将所撷取包含椅子3的影像与标志物数据库中标志物特征进行比对与匹配，随后过扩增实境系统将扩增实境图像5加载于所撷取包含椅子3的影像中，并在平板计算机10的屏幕上显示具有扩增实境图像5及椅子3的扩增实境影像，于图4A的实施例当中，扩增实境图像5为一只动态的3D企鹅图像。接着，请参阅图4B，当使用者4后退远离椅子3时，此时扩增实境系统会持续追踪椅子3的图像并依据椅子3位置的变化，重新计算并实时更新2D-3D变换矩阵以更新3D企鹅图像5的位置，于扩增实境影像中，位置的远离使椅子3的大小变小，此时依据更新的2D-3D变换矩阵，3D企鹅图像5也产生变小的情况。当然，若预先设定3D企鹅图像5会跟随使用者4的状态，远离椅子3时，3D企鹅图像5会产生行走的动态，而随着使用者4后退的状态，于扩增实境影像中产生向前步行的状态，并维持其原先的大小。[0065] 请参阅图4C，当使用者4开启动态参数传输时，此时若进行挥手的动作，智慧手表20中的方向传感器未示于图中感测挥手的动作并将其转换成动态参数并以蓝牙方式传输至平板计算机10，扩增实境系统则藉由动态参数动态调整3D企鹅图像5的动作，如图4C所示，挥手的动作可控制3D企鹅图像5由原先站立的姿态，变成滑行的姿态，同时产生滑行的声音并由平板计算机10屏幕的左方滑行至右方。在椅子3仍存在于撷取影像中的情况下，扩增实境系统可控制3D企鹅图像5，使其可在平板计算机10屏幕中显示各种不同的拟真的动作及声响，也可经由设定，让3D企鹅图像5的动作超出或不超出平板计算机10屏幕的边际。[0066] 本实施例仅提出以椅子3作为具有标志物特征的物件，而加载的扩增实境图像为3D企鹅图像5，但于实际实施的情况，可依据扩增实境应用程式中的标志物数据库及执行档可形成的扩增实境图像，于各种具标志物特征的物件的不同位置上，形成多种不同类型的扩增实境图像，并且可以单一一种或多种动态感测单元对扩增实境图像进行动态的调整，而不以图4A至4C的实施方式为限。[0067]综上所述，本发明所提供扩增实境系统及方法，除了可以让使用者利用虚拟特效加强真实环境的信息外，亦可同时与虚拟特效产生的图像、声音进行互动，提高了扩增实境系统的多样性及娱乐效果;故，本发明实为一极具产业价值之作。[0068] 本发明得由熟悉本技艺之人士任施匠思而为诸般修饰，然皆不脱如附申请专利范围所欲保护。

权利要求：1.一种扩增实境系统，其特征在于，包括:电子装置，包括:影像撷取单元，用以撷取影像；处理模块，包括处理单元及记忆单元，其中所述处理单元用以执行扩增实境应用程式以及所述记忆单元用以存取标志物数据库，且于所述标志物数据库中包括多个标志物特征，所述处理单元对所述影像与所述标志物特征进行比对及匹配，以加载扩增实境图像于所述影像以形成扩增实境影像；显示单元，用以显示所述扩增实境影像;及第一无线单元；以及配戴装置，包括动态感测单元，用以感测使用者身体的动态参数;及第二无线单元；其中所述配戴装置透过所述第二无线单元以无线连接所述第一无线单元，并与所述电子装置进行配对，并将所述动态参数由所述配戴装置传输至所述电子装置，所述处理单元利用所述动态参数动态调整所述扩增实境图像。2.如权利要求1所述的扩增实境系统，其特征在于所述扩增实境应用程式的执行步骤包括:a.扩增实境系统初始化；b.以所述影像撷取单元撷取所述影像；C.判断所述影像是否具有所述标志物特征，若否，则退回至步骤b;d.加载所述扩增实境图像；e.以所述影像撷取单元撷取次一帧所述影像；f.判断次一帧所述影像是否具有所述标志物特征，若否，则退回至步骤b;g.判断是否接收到所述动态参数，若是，则进行动态调整所述扩增实境图像，若否，则进行更新所述扩增实境图像;以及h.回至步骤eο3.如权利要求2所述的扩增实境系统，其特征在于所述步骤a包括读取所述影像撷取单元参数、所述标志物数据库及所述扩增实境应用程式执行檔，并暂存于所述记忆单元；4.如权利要求2所述的扩增实境系统，其特征在于所述步骤d藉由计算2D-3D变换矩阵以形成所述扩增实境图像。5.如权利要求2所述的扩增实境系统，其特征在于所述步骤g依据标志物新位置更新2D-3D变换矩阵以更新所述扩增实境图像。6.如权利要求2所述的扩增实境系统，其特征在于所述步骤g依据标志物新位置及动态参数更新2D-3D变换矩阵以动态调整所述扩增实境图像。7.如权利要求2所述的扩增实境系统，其特征在于所述配戴装置与所述电子装置于步骤a至f任一步骤进行时，以无线方式进行配对。8.如权利要求7所述的扩增实境系统，其特征在所述无线方式为:W1-F1、蓝牙、群蜂无线网络、超宽带、Sub-GHz、家用高周波无线传输、无线射频识别或近距离无线通信。9.如权利要求1所述的扩增实境系统，其特征在于所述电子装置为:笔记本电脑、平板、个人数字助理、移动电话、智能头盔、智慧眼镜或游戏机。10.如权利要求1所述的扩增实境系统，其特征在于所述配戴装置为:智慧手表或智慧手环。11.如权利要求1所述的扩增实境系统，其特征在于所述动态感测单元为:重力传感器、方向传感器、磁力传感器、加速度传感器或角速度传感器。12.—种扩增实境方法，其特征在于藉由感测使用者身体的动态参数以动态调整扩增实境图像，包括下列步骤:a.撷取影像；b.判断所述影像是否具有标志物特征，若否，则退回至步骤a重新撷取所述影像；c.加载所述扩增实境图像；d.撷取次一帧所述影像；e.判断次一帧所述影像是否具有所述标志物特征，若否，则退回至步骤a重新撷取所述影像；以及f.判断是否接收到所述动态参数，若是，则进行动态调整所述扩增实境图像，若否，则进行更新所述扩增实境图像。13.如权利要求12所述的扩增实境方法，其特征在于所述步骤c藉由计算2D-3D变换矩阵以形成所述扩增实境图像。14.如权利要求12所述的扩增实境方法，其特征在于所述步骤f更新所述扩增实境图像步骤是依据标志物新位置更新2D-3D变换矩阵以更新所述扩增实境图像。15.如权利要求12所述的扩增实境方法，特征在于所述步骤f动态调整所述扩增实境图像是依据标志物新位置及动态参数更新2D-3D变换矩阵以动态调整所述扩增实境图像。

百度查询： 孙文 扩增实境系统及其方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD