买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京三星通信技术研究有限公司;三星电子株式会社

摘要：本发明提供了一种虚拟现实VR音频信号的处理方法及相应设备，该方法包括：获取VR音频信号对应的冗余运动信息；根据所述冗余运动信息，对所述VR音频信号进行调整处理。本发明与现有技术相比，能够根据获取到的VR音频信号对应的冗余运动信息，对VR音频信号进行调整处理，从而消除冗余运动对VR音频信号的影响，提升VR音频信号的稳定性和准确性。

主权项：1.一种由电子设备执行的方法，其特征在于，包括以下步骤：获取VR音频信号对应的冗余运动信息，其中，所述冗余运动信息包括采集VR音频时的冗余运动信息或播放VR音频时的冗余运动信息；根据所述冗余运动信息，对所述VR音频信号进行调整处理；其中，对所述VR音频信号进行调整处理之前，还包括：确定VR音频采集设备对应于VR视频采集设备的相对移动参数；根据所述相对移动参数，对所述VR音频信号进行相对移动修正处理。

全文数据：虚拟现实VR音频信号的处理方法及相应设备技术领域本发明涉及虚拟现实VR音频技术领域，具体而言，涉及一种虚拟现实VR音频信号的处理方法及相应设备。背景技术随着人们对VRVirtualReality，虚拟现实产品的关注，许多公司和组织都专注于发展VR技术。VR音频是VR领域中的一个关键技术，VR音频能够为用户提供带有空间分辨率的听觉内容，如图1所示，将VR应用的音频信号完美地与真实场景融合在一起，使用户能够有身临其境的VR体验。随着VR技术的不断发展，VR音视频的录制和分享，也成为了VR市场中非常重要的一环。VR摄像机的出现，为更为逼真的音视频的捕捉和重现提供了可能。VR摄像机采用三维全景技术，通过图像拼接可以生成虚拟现实场景。区别于传统的二维影像技术，由于VR引入了第三个维度的位置信息，音画的一致性对VR音视频会产生极大的影响。为了更好的实现VR音视频重放时的沉浸感，VR音频与图像的同步显得尤为重要。在传统的二维音视频录制过程中，如果发生无意义的抖动，在后续观看录制的音视频时，用户会看到抖动的画面，可能会感到不适，因此图像防抖是二维相机的一个重要功能。但是由于目前的二维音视频录制设备大多都是单声道立体声，没有第三个维度的位置信息，因此由抖动引起的声音位置失真对用户的影响并不大，现有一般不会对二维的音频进行防抖考虑。由于录制过程中的抖动对录制的内容是无意义的，因此可以将上述抖动称为冗余运动。但是在三维音视频内容的录制过程中如用户手握VR录制设备录制VR内容，如果发生抖动，如图2所示，当重放录制的三维音视频时，由于VR引入了第三个维度的位置信息，抖动的音频会给用户带来严重的不适，因此需要考虑三维音频的防抖处理。但是现在并没有提出一种有效的对录制三维音频时的抖动进行处理的方式，这就使得用户在收听录制的三维音频内容时的体验较差。除了录制三维音频时的抖动之外，用户在佩戴VR播放设备观看VR内容时，可能会在真实场景中产生运动，如用户处于运动状态如跑步或走路，或者用户处于运动状态的交通工具中如用户坐在行驶中的汽车或船上。VR播放设备播放VR内容时，会将上述用户的移动作为VR的播放操作指令，根据用户的移动调整VR播放的内容，但是上述用户的移动实际上并不是要操控VR内容的播放，针对播放VR内容来说，属于无意义的运动，也可以将上述运动称为冗余运动。由于用户的上述冗余运动，将导致播放的VR音频不断发生抖动，这会给用户带来严重的不适。发明内容为克服上述技术问题或者至少部分地解决上述技术问题，特提出以下技术方案：本发明的实施例提出了一种虚拟现实VR音频信号的处理方法，包括：获取VR音频信号对应的冗余运动信息；根据所述冗余运动信息，对所述VR音频信号进行调整处理。其中，冗余运动信息包括：采集VR音频时的冗余运动信息或播放VR音频时的冗余运动信息；根据所述冗余运动信息，对所述VR音频信号进行调整处理，包括：根据采集VR音频时的冗余运动信息，对采集的VR音频信号进行调整处理；或，根据播放VR音频时的冗余运动信息，对待播放的VR音频信号进行调整处理。具体地，获取VR音频信号对应的冗余运动信息，包括：根据采集的场景视频信号和或传感器信号，通过深度学习网络或模式识别方式，确定VR音频信号对应的冗余运动信息。可选地，所述冗余运动信息为播放VR音频时的冗余运动信息；通过深度学习网络，确定VR音频信号对应的冗余运动信息，包括：根据下述至少一项，通过深度学习网络，确定VR音频信号对应的冗余运动信息：VR播放设备的加速度信息；采集的传感器信号；采集的场景音频信号；用户运动模式。可选地，所述冗余运动信息为播放VR音频时的冗余运动信息；获取VR音频信号对应的冗余运动信息之前，还包括：将根据待播放的VR视频信号确定出的冗余运动模型与根据采集的传感器信号确定出的冗余运动模型进行匹配；当不匹配时，执行所述获取VR音频信号对应的冗余运动信息的步骤。可选地，所述冗余运动信息为采集VR音频时的冗余运动信息；对所述VR音频信号进行调整处理之前，还包括：确定VR音频采集设备对应于VR视频采集设备的相对移动参数；根据所述相对移动参数，对所述VR音频信号进行相对移动修正处理。可选地，所述确定VR音频采集设备对应于VR视频采集设备的相对移动参数，包括：根据采集的传感器信号，获取采集设备旋转角度；根据所述采集设备旋转角度，以及预存的VR音频采集设备和VR视频采集设备的位置关系，确定VR音频采集设备对应于VR视频采集设备的相对移动参数。可选地，获取VR音频信号对应的冗余运动信息，包括：获取VR音频信号对应的有效运动信息和冗余运动信息。对所述VR音频信号进行调整处理之前，还包括：基于所述有效运动信息，对所述冗余运动信息进行平滑处理。可选地，获取VR音频信号对应的有效运动信息和冗余运动信息，包括：根据采集的场景视频信号和或传感器信号，通过深度学习网络或模式识别方式，确定VR音频信号对应的有效运动信息和冗余运动信息。可选地，通过深度学习网络，确定VR音频信号对应的有效运动信息和冗余运动信息，包括：根据采集的场景视频信号和或传感器信号，结合用户运动模式，通过深度学习网络，确定VR音频信号对应的有效运动信息和冗余运动信息；通过模式识别方式，确定VR音频信号对应的有效运动信息和冗余运动信息，包括：根据采集的场景视频信号和或传感器信号，结合用户运动模式，通过与预设的通用运动模式进行匹配，预测有效运动信息；根据预测的有效运动信息以及通过模式识别方式得到的有效运动信息，确定VR音频信号对应的有效运动信息。可选地，对所述冗余运动信息进行平滑处理，包括：根据VR音频信号当前帧的有效运动信息、当前帧的冗余运动信息以及上一帧平滑处理后的冗余运动信息，确定当前帧平滑处理后的冗余运动信息。可选地，所述冗余运动信息包括：冗余角度旋转参数和或冗余位移参数。可选地，所述根据所述冗余运动信息，对所述VR音频信号进行调整处理，包括：根据所述冗余角度旋转参数，对所述VR音频信号进行冗余角度消除处理；和或根据所述冗余位移参数，对所述VR音频信号进行冗余位移消除处理。可选地，所述VR音频信号包括多通道音频信号；根据所述冗余角度旋转参数，对多通道音频信号进行冗余角度消除处理，包括：根据所述多通道音频信号，确定进行冗余角度消除处理前的第一虚拟扬声器阵列；根据所述冗余角度旋转参数以及第一虚拟扬声器阵列中各第一虚拟扬声器的音频信号，确定进行冗余角度消除处理后的第二虚拟扬声器阵列中各第二虚拟扬声器的音频信号。可选地，确定进行冗余角度消除处理后的第二虚拟扬声器阵列中各第二虚拟扬声器的音频信号，包括：针对第二虚拟扬声器阵列中的每个第二虚拟扬声器，分别执行下述操作：根据所述冗余角度旋转参数，确定该第二虚拟扬声器与第一虚拟扬声器阵列中的各第一虚拟扬声器之间的角度关系；根据各第一虚拟扬声器的音频信号以及确定的角度关系，确定该第二虚拟扬声器的音频信号；或者根据所述冗余角度旋转参数，确定该第二虚拟扬声器与相邻的各第一虚拟扬声器之间的角度关系；根据与该第二虚拟扬声器相邻的各第一虚拟扬声器的音频信号以及确定的角度关系，确定该第二虚拟扬声器的音频信号。可选地，所述VR音频信号包括高保真立体声Ambisonic信号；根据所述冗余角度旋转参数，对Ambisonic信号进行冗余角度消除处理，包括：根据所述冗余角度旋转参数，确定所述Ambisonics信号旋转角度；根据所述Ambisonics信号旋转角度，对Ambisonics信号进行旋转。可选地，根据所述冗余位移参数，对所述VR音频信号进行冗余位移消除处理，包括：根据所述VR音频信号，确定进行冗余位移消除处理前的第三虚拟扬声器阵列；根据所述冗余位移参数以及第三虚拟扬声器阵列中各第三虚拟扬声器的音频信号，确定进行冗余位移消除处理后的第四虚拟扬声器阵列中各第四虚拟扬声器的音频信号。可选地，确定进行冗余位移消除处理后的第四虚拟扬声器阵列中各第四虚拟扬声器的音频信号，包括：针对第四虚拟扬声器阵列中的每个第四虚拟扬声器，分别执行下述操作：根据所述冗余位移参数，确定该第四虚拟扬声器与各第三虚拟扬声器之间的相对位置关系；根据各第三虚拟扬声器的音频信号以及确定的相对位置关系，确定该第四虚拟扬声器的音频信号。可选地，若所述VR音频信号为Ambisonic信号，则对所述VR音频信号进行冗余位移消除处理之前，还包括：对所述Ambisonic信号进行多通道转换处理；对所述VR音频信号进行冗余位移消除处理之后，还包括：将进行冗余位移消除处理之后的音频信号转换为Ambisonic信号。本发明的实施例还提供了一种虚拟现实VR音频信号的处理设备，包括：获取模块，用于获取VR音频信号对应的冗余运动信息；处理模块，用于根据所述冗余运动信息，对所述VR音频信号进行调整处理。本发明的实施例还提供了一种电子设备，包括：处理器；以及存储器，配置用于存储机器可读指令，所述指令在由所述处理器执行时，使得所述处理器执行上述任一项所述的方法。本发明的实施例提供的VR音频信号的处理方法及相应设备，与现有技术相比，能够根据获取到的VR音频信号对应的冗余运动信息，对VR音频信号进行调整处理，从而消除冗余运动对VR音频信号的影响，提升VR音频信号的稳定性和准确性。本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。附图说明为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为背景技术提供的视觉和听觉共同营造VR应用沉浸感的示意图；图2为背景技术提供的冗余运动会导致音画异位感的示意图；图3为本发明实施例提供的VR音频信号的处理方法的流程示意图；图4为本发明实施例一提供的冗余角度旋转参数与冗余位移参数的分解示意图；图5为本发明实施例一提供的有效运动和冗余运动的分离示意图。图6为本发明实施例一提供的通过模式识别方式获取采集VR音频时的冗余运动信息的流程示意图；图7为本发明实施例一提供的通过深度学习网络获取采集VR音频时的冗余运动信息的流程示意图；图8为本发明实施例二提供的VR音频采集设备与VR视频采集设备的位置修正示意图；图9为本发明实施例二提供的VR音频信号的处理方法的流程示意图；图10为本发明实施例二提供的对VR音频采集设备对应于VR视频采集设备的相对移动参数的计算方法的示意图；图11为本发明实施例二提供的对VR音频采集设备对应于VR视频采集设备的相对移动参数的处理方法的流程示意图；图12为本发明实施例三提供的对播放VR音频时的冗余运动信息的处理方法的流程示意图；图13为本发明实施例三提供的通过深度学习网络获取播放VR音频时的冗余运动信息的流程示意图；图14为本发明实施例三提供的VR播放设备的加速度信息的获取流程示意图；图15为本发明实施例三提供的VR播放设备的加速度信息的获取示意图；图16a为本发明实施例四提供的无用户动作可能性的平滑示意图；图16b为本发明实施例四提供的有用户动作可能性的平滑示意图；图17为本发明实施例四提供的对采集VR音频时的冗余运动信息的处理方法的流程示意图；图18为本发明实施例五提供的三维空间存在的角度旋转示意图；图19为本发明实施例五提供的角度旋转示意图；图20为本发明实施例五提供的方法一对多通道信号的冗余角度消除处理的示意图；图21为本发明实施例五提供的方法二对多通道信号的冗余角度消除处理的示意图；图22为本发明实施例五提供的三维空间存在的位移示意图；图23为本发明实施例五提供的冗余位移消除处理的流程示意图；图24为本发明实施例五提供的冗余位移消除处理示意图；图25为本发明实施例五提供的Ambisonic信号的多通道转换示意图；图26为本发明实施例六提供的VR音频信号的处理设备的结构示意图。具体实施方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语包括技术术语和科学术语，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。下面结合附图具体介绍本发明实施例的技术方案。本发明实施例提供了一种VR音频信号的处理方法，如图3所示，包括：步骤S310：获取VR音频信号对应的冗余运动信息。本发明实施例中，冗余运动信息主要包括：1采集VR音频时的冗余运动信息即当用户进行VR内容采集时，产生了冗余运动，如用户手持VR采集设备采集VR内容时产生的抖动等。这种情况下，需要获取VR音频信号在采集时的冗余运动信息，以便对采集的VR音频信号进行调整处理。2播放VR音频时的冗余运动信息即当用户使用VR播放设备播放VR内容时，由外界环境的影响使得VR播放设备产生了冗余运动。这种情况下，需要获取VR音频信号在播放时的冗余运动信息，以便对待播放的VR音频信号进行调整处理。具体而言，本发明实施例中，根据采集的场景视频信号和或传感器信号，通过深度学习网络或模式识别等方式，确定VR音频信号对应的冗余运动信息。本发明实施例提到的VR采集设备也可以称为VR录制设备，采集VR内容也可以称为录制VR内容。本发明的发明人观察到，实际情况中，冗余运动由旋转和位移两种位置变化构成，也就是说，本发明实施例中，获取的冗余运动信息至少包括：冗余角度旋转参数和或冗余位移参数。实际应用中，上述场景视频信号可以是通过VR采集设备的摄像头捕获得到真实场景的视频信号，或者是通过VR播放设备的摄像头捕获得到视野范围的视频信号，场景视频信号中包含了冗余运动的数据信息，可以通过分析视频帧得到。传感器信号可以是通过VR采集设备或VR播放设备的传感器捕获得到的，该信号中包含了冗余运动的数据信息。具体地，冗余运动的位移相关数据信息可以从加速度传感器或位移传感器等传感器中获得；冗余运动的角度旋转相关数据信息可以从磁传感器或角度传感器等传感器中获得。当有多个传感器存在时，可以选择精度较高的传感器获得的数据，或对多个数据进行加权平均获得最终参数。步骤S320：根据冗余运动信息，对VR音频信号进行调整处理。VR音频信号可以是通过VR采集设备的VR音频采集设备下文以麦克风为例进行介绍捕获到的真实场景的音频信号，并可以在VR播放设备中进行播放，该信号可以是高保真立体声Ambisonic信号或多通道声音信号等。可以将冗余运动按照位移变化或角度变化分解为两部分进行分析。如图4所示，分别计算VR音频信号的冗余运动对应的旋转角度和位移量，并分别在后期的处理中进行消除。通过对VR音频信号进行调整处理，具体而言，根据冗余角度旋转参数，对VR音频信号进行冗余角度消除处理；和或根据冗余位移参数，对VR音频信号进行冗余位移消除处理，生成稳定的VR音频，有效提升视频与音频的一致性。为了更清楚的说明本发明的技术方案，下面具体介绍本发明的多个实施例。实施例一本发明实施例一对如何将VR音频信号在采集VR音频时产生的冗余运动进行消除进行介绍。作为示例地，用户手持VR采集设备采集VR内容时，若用户处于步行、奔跑或其他状态，都可能会产生摇晃、抖动等冗余运动，采集设备检测到冗余运动后，可以根据该冗余运动，对采集的音频进行相应处理，也可以发送相关信息给其他处理设备，其他处理设备再根据该冗余运动，对采集的音频进行相应处理。如图3所示，在进行消除冗余运动处理时，可以先确定冗余运动信息，再根据冗余运动信息对VR音频信号进行调整处理。具体而言，本发明实施例一中，冗余运动信息包括采集VR音频时的冗余运动信息，根据采集VR音频时的冗余运动信息，对采集的VR音频信号进行调整处理。由上文可知，采集的场景视频信号和传感器信号都可以获得冗余运动的数据信息，本发明实施例一中，两个信号可以只选择其一进行处理，若两者都存在则可以对数据进行加权平均，使处理效果更准确。具体地，上述步骤S310中，获取的是VR音频信号对应的有效运动信息和冗余运动信息。实际应用中，采集的场景视频信号或传感器信号都同时包含用户动作和冗余运动。该步骤的目的，就是判别出采集的信号中哪一部分为冗余运动信息，哪一部分为有效运动信息。本发明中，对于有效运动信息，可以以用户动作可能性概率的形式给出。其中，用户动作可能性是指用户当前的运动可能属于哪一种动作的概率。较佳地，如图5所示，可以结合用户运动模式，更准确地识别出VR音频信号对应的有效运动信息和冗余运动信息。用户运动模式为用户个性化的运动模式，能够表征该用户的个性化运动规律，用户运动模式可以是通过历史记录得到的该用户的用户运动模式，例如可以是历史冗余运动信息，即历史获得的采集VR音频时的冗余角度旋转参数和或冗余位移参数。根据采集的场景视频信号和或传感器信号，结合用户运动模式，能使获得的冗余运动信息冗余角度旋转参数和或冗余位移参数和有效运动信息用户动作可能性更为准确。例如，不同用户在做同一运动时的运动信息可能不同，对应的冗余运动信息也可能不同，在获取冗余运动信息和有效运动信息时，如果参考了该用户的运动模式信息，则可以更加准确的提取出冗余运动信息和有效运动信息，进一步提高了后续音频信号调整处理的准确性。由上文可知，本发明可以通过深度学习网络或模式识别方式，确定VR音频信号对应的冗余运动信息，具体而言，根据采集的场景视频信号和或传感器信号，通过深度学习网络或模式识别方式，确定VR音频信号对应的有效运动信息和冗余运动信息。其中，基于模式识别方式的具体处理方式如下：对采集的场景视频信号和或传感器信号进行低通滤波或加窗处理或自适应滤波，并采用模式识别方法，如KNNk-NearestNeighbor，k最邻近分类算法、贝叶斯算法等，获得有效运动信息和冗余运动信息。较佳地，如图6所示，根据采集的场景视频信号和或传感器信号，基于模式识别方式可以得到冗余运动信息包括冗余角度旋转参数和或冗余位移参数和有效运动信息可以为用户动作可能性。根据采集的场景视频信号和或传感器信号，结合用户运动模式，通过与预设的通用运动模式进行匹配，预测有效运动信息对应图6中的预测用户运动，预测的有效运动信息用于对用户动作可能性即VR音频信号对应的有效运动信息的进一步确认。其中，可以在基于模式识别方式得到的各用户动作可能性的概率值中，确定出预测的用户运动对应的概率值，将该概率值作为最终确定出的有效运动信息，即用户动作可能性。根据预测的有效运动信息以及通过模式识别方式得到的有效运动信息，确定VR音频信号对应的有效运动信息。其中，预先设置完成的通用运动模式包含基础常用运动类型，以及对应的旋转、位移参数。还包含常用的转移镜头方向运动，例如镜头水平向右旋转90度，即为位移不变，角度沿z轴顺时针方向旋转90度。通用运动模式能够表征对于基础常用运动类型的普遍性的运动规律。作为示例地，将上述用户运动模式、通用运动模式与场景视频信号、传感器信号进行模式匹配，模式匹配后得到预测的用户运动为“奔跑”，而通过上述模式识别方式得到的用户动作对应“奔跑”的概率为80％，对应“走路”的概率为20％，根据模式匹配后得到预测的用户运动，用户动作可能性取预测用户运动类别“奔跑”的概率值，为80％。如图7所示，基于人工智能AI，ArtificialIntelligence深度学习网络的具体处理方式如下：根据采集的场景视频信号和或传感器信号，结合用户运动模式，通过深度学习网络，确定VR音频信号对应的有效运动信息和冗余运动信息。具体地，在深度学习网络训练阶段，可以将冗余运动数据，即冗余角度旋转参数和冗余位移参数，与排除冗余运动的用户动作数据混合成混合移动数据，并对其进行特征提取。将排除冗余运动的用户动作数据作为训练标签，并进行特征提取；将以上两者与用户运动模式输入到深度学习网络进行网络模型训练对应图7中的“基于AI的抖动捕捉”，训练得到一个深度学习网络模型。应用该网络模型进行在线处理：将采集的场景视频信号和或传感器信号作为混合移动数据，进行特征提取后，与用户运动模式输入该网络模型进行处理对应图7中的“基于AI的抖动捕捉”，就可得到采集VR音频时的冗余角度旋转参数、冗余位移参数与用户动作可能性。该基于AI方法得到的用户动作可能性同样是指用户当前的动作最可能属于哪一种动作的概率。例如，通过分析可知，用户当前的动作对应“奔跑”的概率为80％，对应“走路”的概率为20％，则基于AI方法得到的用户动作可能性取最高概率值，为80％。本发明实施例一中，获取到VR音频信号对应的冗余角度旋转参数、冗余位移参数及用户动作可能性后，便可对VR音频信号进行调整处理，具体处理方法将在下文中详细介绍。实施例二本发明实施例二同样对如何将VR音频信号在采集VR音频时产生的冗余运动进行消除进行介绍，与实施例一的区别在于，本发明实施例二还考虑到，VR采集设备很难做到将VR音频采集设备如麦克风和VR视频采集设备如摄像头处于同一位置，如图8所示，用户在使用这样的设备录制VR内容时会产生麦克风和摄像头的共同抖动，以及由于握点不同产生的共同抖动，而这样的位置差异会导致严重的音画异位感。尤其是当VR音频采集设备抖动时，这种异位感会更加明显，对VR视频空间感的准确性影响巨大。因此，以VR音频采集设备位于VR视频采集设备上方为例进行说明，针对使用VR采集设备采集VR音频时，VR音频采集设备和VR视频采集设备之间的异位对VR音频信号的影响，本发明实施例二提供的VR音频信号的处理方法，如图9所示，还包括：步骤S910：确定VR音频采集设备对应于VR视频采集设备的相对移动参数。具体而言，需要根据采集的传感器信号，获取采集设备旋转角度，如图10所示，提取采集VR音频时VR采集设备相对水平面的移动角度θ。以及，需要获取VR采集设备中VR音频采集设备和VR视频采集设备的位置关系对应图11中的麦克风和摄像头位置关系，该位置关系通过设备标定参数就可以获取到，并预先进行存储，得到VR音频采集设备相对VR视频采集设备的距离L。根据采集设备旋转角度θ，以及预存的VR音频采集设备和VR视频采集设备的位置关系L，确定VR音频采集设备对应于VR视频采集设备的相对移动参数，用以VR音频采集设备和VR视频采集设备的位置进行匹配。继续如图10所示，相对移动参数即为x方向上的Lcosθ和y方向上的Lsinθ。可选地，在确定VR音频信号对应的有效运动信息和冗余运动信息时，可以将此相对移动参数同时用于AI深度学习网络，以确保冗余运动信息中包含了VR音频采集设备对应于VR视频采集设备的相对移动参数。步骤S920：根据相对移动参数，对VR音频信号进行相对移动修正处理。本发明实施例二中，针对视觉中心和听觉中心的异位，获取到VR音频信号对应的相对移动参数后，便可对VR音频信号进行相对移动修正处理，麦克风相对移动修正是为了匹配摄像头的位置，以修正听觉中心的位置，使VR音频听起来更自然。其中，VR音频信号对应的相对移动参数相当于一个冗余位移参数，即对VR音频信号进行相对移动修正处理相当于实施例一中对VR音频信号进行冗余位移消除处理的处理方法，具体处理方法将在下文中详细介绍。需要说明的是，如图11所示，在获取相对移动参数进行相对移动修正处理的VR音频信号同时也需要执行实施例一中的处理过程。即对VR音频信号进行相对移动修正处理后，需要针对修正处理后的VR音频信号，进行实施例一中的冗余运动消除处理。实施例三本发明实施例三对如何将VR音频信号在播放VR音频时外界环境产生的冗余运动进行消除进行介绍。考虑到用户观看播放的VR内容时，用户除了操控VR内容的一些动作之外，还可能存在一定的冗余运动，如轮船的波动、汽车的左右摆动等，需要消除这些由外界因素产生的冗余运动，以保证VR音频的稳定性和准确性。本发明实施例三提供的VR音频信号的处理方法，可以通过VR播放设备根据外界环境的冗余运动，对扬声器或耳机中播放的音频进行相应处理，消除冗余运动，也可以由其他处理设备根据外界环境的冗余运动进行相应处理后，发送给VR播放设备，通过扬声器或耳机进行播放。具体的，冗余运动信息包括播放VR音频时的冗余运动信息；根据冗余运动信息，对VR音频信号进行调整处理，包括：根据播放VR音频时的冗余运动信息，对待播放的VR音频信号进行调整处理。如图12所示，获取VR音频信号对应的冗余运动信息之前，先要对待播放的VR视频信号进行VR场景分析，确定从VR场景提取的冗余运动模型。以及对采集的传感器信号进行播放场景分析，确定从播放VR内容的真实场景提取的冗余运动模型。将根据待播放的VR视频信号确定出的冗余运动模型对应图12中的抖动模型与根据采集的传感器信号确定出的冗余运动模型对应图12中的抖动模型进行匹配。如果两个冗余运动模型相同，则说明真实场景中不存在多余的冗余运动，此时冗余运动模型输出原始音频信号即可。而当不匹配时，执行获取VR音频信号对应的冗余运动信息的步骤，再根据冗余运动信息对VR音频信号进行调整处理。具体而言，本发明实施例三中，该冗余运动信息为播放VR音频时播放场景中外界环境的冗余运动信息，根据播放VR音频时的冗余运动信息，对待播放的VR音频信号进行调整处理。可选地，也可以对实时采集的场景视频信号进行播放场景分析，确定从播放VR内容的真实场景提取的冗余运动模型，再将根据待播放的VR视频信号确定出的冗余运动模型与根据实时采集的场景视频信号确定出的冗余运动模型进行匹配。当不匹配时，执行获取VR音频信号对应的冗余运动信息的步骤，再根据冗余运动信息对VR音频信号进行调整处理。或者，将根据待播放的VR视频信号确定出的冗余运动模型、根据实时采集的场景视频信号确定出的冗余运动模型以及根据采集的传感器信号确定出的冗余运动模型进行匹配，当不匹配时，执行获取VR音频信号对应的冗余运动信息的步骤，再根据冗余运动信息对VR音频信号进行调整处理。具体地，上述步骤S310中，获取的是VR音频信号对应的有效运动信息和冗余运动信息。实际应用中，传感器信号也同时包含用户动作和外界环境的冗余运动。该步骤的目的，就是判别出采集的信号中哪一部分为冗余运动信息，哪一部分为有效运动信息，即用户动作可能性概率。较佳地，可以结合用户运动模式，更准确地识别出VR音频信号对应的有效运动信息和冗余运动信息。用户运动模式的具体介绍参见实施例一，在此不再赘述。本发明实施例三中，可以通过深度学习网络，确定VR音频信号对应的冗余运动信息，具体而言，如图13所示，根据下述至少一项，通过深度学习网络，确定VR音频信号对应的冗余运动信息：VR播放设备的加速度信息；采集的传感器信号；采集的场景音频信号；用户运动模式。其中，VR播放设备的加速度信息可以由采集的场景视频信号和或采集的传感器信号确定得到。需要说明的是，假设用户自身运动产生的位移向量为A，外界环境如交通工具等以车辆为例，产生的位移向量为B，传感器检测到的向量为S。则可知S＝A+B。而产生位移向量A的用户运动模式与产生位移向量B的车辆运动模式有着很大的不同。车辆的运动通常有两种状态，匀速行驶状态和加速状态。处于匀速行驶的车辆运动是规律的、可预测的，如声音方向轻微的上移、下沉或左右摆动。处于加速行驶状态的车辆的运动是不规律的，如转弯或启动、停止。通常这种加速行驶状态的速度，会高于本身用户自身运动的速度。这使得车辆自身的匀速和加速状态、车辆的运动和用户的运动都能够被很好的区分开来。根据上述情况，可以把复杂条件下用户自身运动的提取问题看作噪声抑制问题，其中，目标是获得用户动作A，而噪声为外界环境产生的位移向量B，即冗余运动对应的冗余运动信息。具体地，如图13所示，在训练阶段，需要将外界环境的冗余运动数据和排除冗余运动的用户动作数据混合成混合移动数据，并对其进行特征提取。将排除冗余运动的用户动作数据作为训练标签，并进行特征提取。此外，还可以通过采集外界环境的音频信号即场景音频信号来区分外界环境场景的声效，例如轮船、飞机、车辆的环境声音彼此会有很大的区别。以及还需要基于采集的场景视频信号和或传感器信号确定出的VR播放设备的加速度信息图13并未在训练阶段示出传感器信号。将以上信息与用户运动模式输入到深度学习网络进行训练对应图13中的基于AI的抖动检测，训练得到一个网络模型。其中，基于采集的场景视频信号确定VR播放设备的加速度信息的方式，如图14所示，通过摄像头捕捉真实环境的视频信号，得到场景视频信号，对场景视频信号进行参考物标记，即标记视野中的物体作为参考物，根据当前帧参考物的位置，以及下一帧参考物的位置，计算得到外界环境移动的相对加速度a，然后将相对加速度a输入到训练得到的网络模型中。相对加速度a计算公式如下：如图15所示，其中tn为第n帧的时间，tn+1为第n+1帧的时间，x为第n帧到第n+1期间参考物移动的距离。随后，应用上述训练得到的网络模型进行在线处理：将采集的传感器信号作为混合移动数据，与采集的场景音频信号、基于采集的场景视频信号和或传感器信号确定出的VR播放设备的加速度信息、用户运动模式输入该网络模型进行处理对应图13中的基于AI的抖动检测，就可得到播放VR音频时的冗余角度旋转参数、冗余位移参数与用户动作可能性。本发明实施例三中，获取到VR音频信号对应的冗余角度旋转参数、冗余位移参数及用户动作可能性后，便可对VR音频信号进行调整处理，以渲染成新的音频信号进行播放，具体处理方法将在下文中详细介绍。实施例四在对VR音频信号进行调整处理之前，针对实施例一、实施例二、实施例三中获取到的VR音频信号对应的冗余运动信息及有效运动信息，本发明实施例四中，可以基于有效运动信息，对冗余运动信息进行平滑处理，从而使得参数更为准确有效，提升参数的稳定性，消除残余噪声，避免参数输出的延时。具体而言，根据VR音频信号当前帧的有效运动信息、当前帧的冗余运动信息以及上一帧平滑处理后的冗余运动信息，确定当前帧平滑处理后的冗余运动信息。下文中，以基于用户动作可能性对冗余位移参数的平滑处理为例，对可以使用的数据平滑处理的方法进行介绍。①移动平均法移动平均法是一种改良的算术平均法，它是根据时间序列逐期推移，依次计算包含一定期数的平均值，形成平均值时间序列，以反映事物发展趋势的一种预测方法。移动期数的大小视具体情况而定，移动期数少，能快速地反映变化，但不能反映变化趋势；移动期数多，能反映变化趋势，但预测值带有明显的滞后偏差。移动平均法的基本思想是：移动平均可以消除或减少时间序列数据受偶然性因素干扰而产生的随机变化影响，它适合短期预测。计算公式如下：其中，Yt是对下一期的位移预测值，n是移动平均的时期个数，Xt-1、Xt-2、Xt-3、……、Xt-n是前期位移实际值。②加权平均法加权移动平均给固定跨越期限内的每个变量值以不相等的权重。其原理是：历史各期数据对预测未来的作用是不一样的。除了以n为周期的周期性变化外，远离目标期的变量值的影响力相对较低，故应给予较低的权重。计算公式如下：其中，Yt是对下一期的位移预测值，n是移动平均的时期个数，Xt-1、Xt-2、Xt-3、……、Xt-n是前期位移实际值。w1是t-1期实际数据的权重，w2是t-2期实际数据的权重，w3是t-3期实际数据的权重，……，wn是t-n期实际数据的权重，且w1+w2+w3+…+wn＝1。③指数平滑法指数平滑法是一种改良的加权平均法，在不舍弃历史数据的前提下，对离预测较近的历史数据给予较大的权数，权数由近到远按指数规律递减。指数平滑法根据本期的实际值和预测值，并借助平滑系数α进行加权平均计算，预测下一期的值。它对时间序列数据给予加权平滑，从而获得其规律变化与趋势。计算公式如下：Yt＝αXt-1+1-αYt-1其中，Yt是时间t的位移平滑值，Xt-1是时间t-1的位移实际值，Yt-1是时间t-1的位移平滑值，α是取值范围在0到1的平滑系数。本发明实施例四中，可以使用的用户动作可能性在位移参数的平滑处理中的作用为：根据当前帧的用户动作可能性、当前帧的冗余位移参数以及上一帧平滑处理后的冗余位移参数，确定当前帧平滑处理后的冗余位移参数。计算公式如下：其中，是第n帧的平滑处理后的冗余位移参数，是实施例一～三中获取的第n帧的冗余位移参数，是上一帧平滑处理后的冗余位移参数，P是用户动作可能性。对冗余角度旋转参数的平滑处理与上述方式类似，在上述公式中，将替换为第n帧的冗余角度旋转参数，将替换为上一帧平滑处理后的冗余角度旋转参数，得到的即为第n帧的平滑处理后的冗余角度旋转参数。无平滑处理的冗余运动信息可能会存在残余噪声，其中，残余噪声即为估计误差，而未参考用户动作可能性的平滑处理结果如图16a所示。未参考用户动作可能性的平滑处理结果可能会造成延时，如图16b所示。以上述移动平均法为例，其原因在于，时间t的平滑值与时间t-1、t-2…t-n的实际值都有关，所以时间t的平滑值必须要从t-n时刻等到t-1时刻才能获得，故而存在图16b所示的长短为n的延时。但如果引入用户动作可能性，则可以对实际值匹配权重进行调整，以此减少延时的干扰。例如，根据用户动作可能性可以获知此时用户所做的动作的运动情况，从而可以对用户的运动情况进行预测，包括冗余运动和有效运动，因此有用户动作可能性的平滑消除了延时也消除了残余噪声。如图17所示，可以将实施例一中获取的冗余角度旋转参数、冗余位移参数及用户动作可能性进行上述平滑处理，会得到平滑的冗余角度旋转参数和冗余位移参数，以便更准确地对VR音频信号进行调整处理。如图11所示，可以将实施例二中获取的冗余角度旋转参数、冗余位移参数及用户动作可能性进行上述平滑处理，会得到平滑的冗余角度旋转参数和冗余位移参数，结合相对移动参数，更准确地对VR音频信号进行调整处理。如图12所示，可以将实施例三中获取的冗余角度旋转参数、冗余位移参数及用户动作可能性进行上述平滑处理，会得到平滑的冗余角度旋转参数和冗余位移参数，以便更准确地对VR音频信号进行调整处理。对VR音频信号具体处理方法将在实施例五中详细介绍。实施例五针对实施例一、实施例二、实施例三及实施例四中获取到的VR音频信号对应的冗余角度旋转参数、冗余位移参数及相对移动参数，本发明实施例五中，对VR音频信号进行调整处理，即对上述步骤S320的具体处理方法做详细介绍。由上文可知，本发明中，VR音频信号可以是高保真立体声Ambisonic信号或多通道声音信号等。根据冗余运动信息对VR音频信号进行调整处理，可以包括：根据冗余角度旋转参数，对VR音频信号进行冗余角度消除处理；和或，根据冗余位移参数，对VR音频信号进行冗余位移消除处理。本发明实施例五中，具体冗余角度消除处理的实施办法如下：如图18所示，将冗余运动在三维空间的角度旋转，分解为x、y、z方向上的顺时针角度旋转的变化量。如果VR音频信号为多通道声音信号，需要将多通道信号按位置匹配给虚拟扬声器，并根据冗余角度旋转参数计算分别对应的权重，最后将各权重合成到旋转的扬声器中，如图19所示。根据多通道音频信号，确定进行冗余角度消除处理前的第一虚拟扬声器阵列，即对应产生冗余角度旋转的扬声器阵列。根据冗余角度旋转参数以及第一虚拟扬声器阵列中各第一虚拟扬声器的音频信号，确定进行冗余角度消除处理后的第二虚拟扬声器阵列中各第二虚拟扬声器的音频信号。具体而言，具有以下两种处理方法：方法一：只考虑邻近虚拟扬声器的影响该方法中，针对第二虚拟扬声器阵列中的每个第二虚拟扬声器，根据冗余角度旋转参数，确定该第二虚拟扬声器与相邻的各第一虚拟扬声器之间的角度关系；根据与该第二虚拟扬声器相邻的各第一虚拟扬声器的音频信号以及确定的角度关系，确定该第二虚拟扬声器的音频信号。如图20所示，A、B为第一虚拟扬声器阵列中的两个邻近第一虚拟扬声器，对应的信号分别为SA、SB。C为第二虚拟扬声器阵列中处于A、B之间位置的第二虚拟扬声器为了方便、清楚地说明，第二虚拟扬声器阵列中除C外的其他位置的第二虚拟扬声器在图中隐去，且其他位置的第二虚拟扬声器可类比C进行处理，后续不再赘述，由获取的冗余角度旋转参数可得出，C与A、B的夹角分别为α、β。则第二虚拟扬声器C对应的信号SC应为：SC＝SAcosα+SBcosβ方法二：考虑所有虚拟扬声器的影响该方法中，针对第二虚拟扬声器阵列中的每个第二虚拟扬声器，根据冗余角度旋转参数，确定该第二虚拟扬声器与第一虚拟扬声器阵列中的各第一虚拟扬声器之间的角度关系；根据各第一虚拟扬声器的音频信号以及确定的角度关系，确定该第二虚拟扬声器的音频信号；如图21所示，深色圆点表示第一虚拟扬声器阵列，其中第i个第一虚拟扬声器对应的信号为Si。浅色圆点A为第二虚拟扬声器阵列中的任意一个第二虚拟扬声器为了方便、清楚地说明，第二虚拟扬声器阵列中除A外的其他位置的第二虚拟扬声器在图中隐去，且其他位置的第二虚拟扬声器可类比A进行处理，后续不再赘述。由获取的冗余角度旋转参数可得出，第一虚拟扬声器阵列深色圆点中第i个第一虚拟扬声器与A浅色圆点的夹角为θi。则第二虚拟扬声器阵列中的第二虚拟扬声器A对应的信号SA应为：如果VR音频信号为Ambisonic信号，需要根据获取的冗余角度旋转参数确定Ambisonics信号旋转角度，根据Ambisonics信号旋转角度，对Ambisonics信号进行旋转。以1阶Ambisonic信号处理方法为例进行介绍：Ambisonic信号由多个录音声道信号组成，其中1阶Ambisonic信号有4个录音声道信号，分别为W、X、Y、Z，其中，W为全向录音声道信号不需要旋转，X、Y、Z分别指向x、y、z轴，X’、Y’、Z’分别为旋转后的X、Y、Z声道信号。则旋转公式为：[X′Y′Z′]＝[XYZ]J其中，由获取的冗余角度旋转参数可得出，Ambisonics信号绕x、y、z轴的顺时针旋转角度分别为θ、ω，便可计算旋转矩阵J：本发明实施例五中，具体冗余位移消除处理的实施办法如下：如图22所示，将冗余运动在三维空间的位置移动，分解为x、y、z方向上的位移变化量。如图23所示，需要判断VR音频信号是Ambisonic信号还是多通道信号。如果VR音频信号为多通道声音信号，根据VR音频信号，确定进行冗余位移消除处理前的第三虚拟扬声器阵列；根据冗余位移参数以及第三虚拟扬声器阵列中各第三虚拟扬声器的音频信号，确定进行冗余位移消除处理后的第四虚拟扬声器阵列中各第四虚拟扬声器的音频信号。如图23所示，如果VR音频信号为Ambisonic信号，则对VR音频信号进行冗余位移消除处理之前，对Ambisonic信号进行多通道转换处理对应图23中的多通道结构转换；随后，执行与多通道声音信号相同的冗余位移消除处理过程，再将进行冗余位移消除处理之后的音频信号转换为Ambisonic信号，得到冗余位移消除处理后的Ambisonic信号。下面介绍上述冗余位移消除处理过程：如图24所示，针对第四虚拟扬声器阵列中的每个第四虚拟扬声器，根据冗余位移参数，确定该第四虚拟扬声器与各第三虚拟扬声器之间的相对位置关系；根据各第三虚拟扬声器的音频信号以及确定的相对位置关系，确定该第四虚拟扬声器的音频信号。具体地，第一步，将第四虚拟扬声器阵列B置于默认位置，且水平面内每个第四虚拟扬声器相对听音者距离为半径r。若第四虚拟扬声器阵列B共有n个第四虚拟扬声器且采取等距分布，则默认位置为半径为r的圆上的等距分布。非等距分布与等距分布计算方法类似，本发明实施例五以等距分布为例进行介绍。该步骤中，以图中顶端第四虚拟扬声器为例，该顶端第四虚拟扬声器的坐标则为a，b。第二步，根据获取的冗余位移参数将第四虚拟扬声器阵列B移至第三虚拟扬声器阵列A的位置。假设此时冗余位移参数为y方向的变量Δc，则此时第三虚拟扬声器阵列A的顶端第三虚拟扬声器的坐标为a，b+Δc。此时平面内，第三虚拟扬声器阵列A的第i个第三虚拟扬声器相对听音者距离为xi，第i个第三虚拟扬声器与听音者的连线，与y正方向的夹角为θi。第三步，针对第三虚拟扬声器阵列A中的每个第三虚拟扬声器，分别计算该第三虚拟扬声器与第四虚拟扬声器阵列B中各第四虚拟扬声器的相对位置。继续以顶端第四虚拟扬声器为例，第三虚拟扬声器阵列A中第三虚拟扬声器i与第四虚拟扬声器阵列B的顶端第四虚拟扬声器之间的相对距离di为：第四步，针对第四虚拟扬声器阵列B中的每个第四虚拟扬声器，根据与第三虚拟扬声器阵列A中的每个第三虚拟扬声器的相对距离，以及第三虚拟扬声器阵列A中的每个第三虚拟扬声器的音频信号，计算得到第四虚拟扬声器阵列B中的每个第四虚拟扬声器的音频信号。具体地，可以用第三虚拟扬声器阵列A中的每个第三虚拟扬声器的音频信号，与第四虚拟扬声器阵列B中的第四虚拟扬声器的相对距离相除，即用上一步获得的相对距离，可以获得相对距离的衰减。继续以顶端第四虚拟扬声器为例，该顶端第四虚拟扬声器调整处理后的音频信号为：其中，yt为第四虚拟扬声器阵列B中的第四虚拟扬声器对应的调整处理后的音频信号，sit为第三虚拟扬声器阵列A中的第三虚拟扬声器i的音频信号。对阵列B中的每一个第四虚拟扬声器进行计算，可以获得通过调整音频信号实现位移抖动消除后的第四虚拟扬声器B。在位移消除过程中，实际上虚拟扬声器的位置保持不变，而是根据位移参数来调整虚拟扬声器的音频信号。本发明实施例五中，对VR音频信号的冗余位移消除处理与过程冗余角度消除处理的顺序可颠倒，在此不作限定。本发明实施例五中，对Ambisonic信号的多通道转换处理具体为：Ambisonic信号由多个录音声道信号组成，其中1阶Ambisonic信号有4个录音声道信号，分别为W、X、Y、Z，其中，W为全向录音声道信号不需要旋转，X、Y、Z分别指向x、y、z轴。如图25所示，以xOy平面内均匀分布的四个虚拟扬声器为例，与其相应的多通道输出存在以下关系：依此便可对Ambisonic信号进行多通道转换处理以及将进行冗余位移消除处理之后的音频信号转换为Ambisonic信号。因此，针对实施例一中的用户冗余运动的VR音频信号完整处理过程继续如图17所示：根据采集的场景视频信号和或传感器信号，结合用户运动模式，确定出VR音频信号对应的冗余运动信息包括冗余角度旋转参数和或冗余位移参数和有效运动信息包括用户动作可能性，并对冗余角度旋转参数、冗余位移参数及用户动作可能性进行上述平滑处理，得到平滑的冗余角度旋转参数和平滑的冗余位移参数。根据平滑的冗余角度旋转参数对VR音频信号进行冗余角度消除处理，根据平滑的冗余位移参数对VR音频信号进行冗余位移消除处理，得到调整处理后的VR音频信号。针对实施例二中的VR音频采集设备和VR视频采集设备存在异位时的冗余运动的VR音频信号完整处理过程继续如图11所示：根据采集的传感器信号，以及预存的VR音频采集设备和VR视频采集设备的位置关系对应图11中的麦克风和摄像头位置关系，确定VR音频采集设备对应于VR视频采集设备的相对移动参数，用于麦克风相对位移的修正，以匹配摄像头的位置。同时，根据采集的场景视频信号和或传感器信号，结合用户运动模式，确定出VR音频信号对应的冗余运动信息包括冗余角度旋转参数和或冗余位移参数和有效运动信息包括用户动作可能性，并对冗余角度旋转参数、冗余位移参数及用户动作可能性进行上述平滑处理，得到平滑的冗余角度旋转参数和平滑的冗余位移参数。根据相对移动参数对VR音频信号进行相对移动修正处理，根据平滑的冗余角度旋转参数对VR音频信号进行冗余角度消除处理，根据平滑的冗余位移参数对VR音频信号进行冗余位移消除处理，得到调整处理后的VR音频信号。针对实施例三中的外界环境冗余运动的VR音频信号完整处理过程继续如图12所示：将根据待播放的VR视频信号确定出的冗余运动模型对应图12中的抖动模型与根据采集的传感器信号确定出的冗余运动模型对应图12中的抖动模型进行匹配。如果两个冗余运动模型相同，则说明真实场景中不存在多余的冗余运动，此时冗余运动模型输出原始VR音频信号即可。如果两个冗余运动模型不相同，则需要根据采集的场景视频信号和或传感器信号，采集的场景音频信号，并结合用户运动模式，确定出VR音频信号对应的冗余运动信息包括冗余角度旋转参数和或冗余位移参数和有效运动信息包括用户动作可能性，并对冗余角度旋转参数、冗余位移参数及用户动作可能性进行上述平滑处理，得到平滑的冗余角度旋转参数和平滑的冗余位移参数。根据平滑的冗余角度旋转参数对VR音频信号进行冗余角度消除处理，根据平滑的冗余位移参数对VR音频信号进行冗余位移消除处理，得到调整处理后的VR音频信号。需要说明的是，实施例一中的用户冗余运动、实施例二中的VR音频采集设备和VR视频采集设备存在异位时的冗余运动，以及实施例三中的外界环境冗余运动，三者可能同时出现。当此其中两者或三者同时出现时，采集端的问题需要根据是否包含麦克风与摄像头的异位问题根据实施例一、二结合实施例四、五选取对应的处理方法；而播放端的问题，根据实施例三结合实施例四、五执行对应的处理方法。当处理实施例一或实施例二中的采集端的冗余运动时，可以由VR音频采集设备来进行VR音频信号的处理，当处理实施例三中的播放端的冗余运动时，可以由VR音频播放设备来进行VR音频信号的处理。实施例六本发明实施例六提供了一种VR音频信号的处理设备，如图26所示，包括：获取模块2610，用于获取VR音频信号对应的冗余运动信息；处理模块2620，用于根据冗余运动信息，对VR音频信号进行调整处理。其中，冗余运动信息包括：采集VR音频时的冗余运动信息或播放VR音频时的冗余运动信息；可选地，处理模块2620具体用于根据采集VR音频时的冗余运动信息，对采集的VR音频信号进行调整处理；或，处理模块2620具体用于根据播放VR音频时的冗余运动信息，对待播放的VR音频信号进行调整处理。可选地，获取模块2610具体用于根据采集的场景视频信号和或传感器信号，通过深度学习网络或模式识别方式，确定VR音频信号对应的冗余运动信息。可选地，冗余运动信息为播放VR音频时的冗余运动信息；获取模块2610具体用于根据下述至少一项，通过深度学习网络，确定VR音频信号对应的冗余运动信息：VR播放设备的加速度信息；采集的传感器信号；VR采集的场景音频信号；用户运动模式。可选地，冗余运动信息为播放VR音频时的冗余运动信息；本发明实施例六提供的处理设备，还包括：匹配模块，用于将根据待播放的VR视频信号确定出的冗余运动模型与根据采集的传感器信号确定出的冗余运动模型进行匹配；获取模块2610具体用于当不匹配时，执行获取VR音频信号对应的冗余运动信息的步骤。可选地，冗余运动信息为采集VR音频时的冗余运动信息；本发明实施例六提供的处理设备，还包括：确定模块，用于确定VR音频采集设备对应于VR视频采集设备的相对移动参数；处理模块2620具体用于根据相对移动参数，对VR音频信号进行相对移动修正处理。可选地，确定模块具体用于根据采集的传感器信号，获取采集设备旋转角度；以及，确定模块具体用于根据采集设备旋转角度，以及预存的VR音频采集设备和VR视频采集设备的位置关系，确定VR音频采集设备对应于VR视频采集设备的相对移动参数。可选地，获取模块2610具体用于获取VR音频信号对应的有效运动信息和冗余运动信息。本发明实施例六提供的处理设备，还包括：平滑模块，用于基于有效运动信息，对冗余运动信息进行平滑处理。可选地，获取模块2610具体用于根据采集的场景视频信号和或传感器信号，通过深度学习网络或模式识别方式，确定VR音频信号对应的有效运动信息和冗余运动信息。可选地，获取模块2610具体用于根据采集的场景视频信号和或传感器信号，结合用户运动模式，通过深度学习网络，确定VR音频信号对应的有效运动信息和冗余运动信息；或者，获取模块2610具体用于根据采集的场景视频信号和或传感器信号，结合用户运动模式，通过与预设的通用运动模式进行匹配，预测有效运动信息；以及，获取模块2610具体用于根据预测的有效运动信息以及通过模式识别方式得到的有效运动信息，确定VR音频信号对应的有效运动信息。可选地，平滑模块具体用于根据VR音频信号当前帧的有效运动信息、当前帧的冗余运动信息以及上一帧平滑处理后的冗余运动信息，确定当前帧平滑处理后的冗余运动信息。具体地，冗余运动信息包括：冗余角度旋转参数和或冗余位移参数。可选地，处理模块2620具体用于根据冗余角度旋转参数，对VR音频信号进行冗余角度消除处理；和或，处理模块2620具体用于根据冗余位移参数，对VR音频信号进行冗余位移消除处理。可选地，VR音频信号包括多通道音频信号；处理模块260具体用于根据多通道音频信号，确定进行冗余角度消除处理前的第一虚拟扬声器阵列；以及，处理模块2620具体用于根据冗余角度旋转参数以及第一虚拟扬声器阵列中各第一虚拟扬声器的音频信号，确定进行冗余角度消除处理后的第二虚拟扬声器阵列中各第二虚拟扬声器的音频信号。可选地，处理模块2620具体用于针对第二虚拟扬声器阵列中的每个第二虚拟扬声器，分别执行下述操作：根据冗余角度旋转参数，确定该第二虚拟扬声器与第一虚拟扬声器阵列中的各第一虚拟扬声器之间的角度关系；根据各第一虚拟扬声器的音频信号以及确定的角度关系，确定该第二虚拟扬声器的音频信号；或者根据冗余角度旋转参数，确定该第二虚拟扬声器与相邻的各第一虚拟扬声器之间的角度关系；根据与该第二虚拟扬声器相邻的各第一虚拟扬声器的音频信号以及确定的角度关系，确定该第二虚拟扬声器的音频信号。可选地，VR音频信号包括Ambisonic信号；处理模块2620具体用于根据冗余角度旋转参数，确定Ambisonics信号旋转角度；以及根据Ambisonics信号旋转角度，对Ambisonics信号进行旋转。可选地，处理模块2620具体用于根据VR音频信号，确定进行冗余位移消除处理前的第三虚拟扬声器阵列；以及，处理模块2620具体用于根据冗余位移参数以及第三虚拟扬声器阵列中各第三虚拟扬声器的音频信号，确定进行冗余位移消除处理后的第四虚拟扬声器阵列中各第四虚拟扬声器的音频信号。可选地，处理模块2620具体用于针对第四虚拟扬声器阵列中的每个第四虚拟扬声器，分别执行下述操作：根据冗余位移参数，确定该第四虚拟扬声器与各第三虚拟扬声器之间的相对位置关系；根据各第三虚拟扬声器的音频信号以及确定的相对位置关系，确定该第四虚拟扬声器的音频信号。可选地，若VR音频信号为Ambisonic信号，处理模块2620具体用于对VR音频信号进行冗余位移消除处理之前，对Ambisonic信号进行多通道转换处理；以及，处理模块2620具体用于对VR音频信号进行冗余位移消除处理之后，将进行冗余位移消除处理之后的音频信号转换为Ambisonic信号。本发明实施例所提供的设备，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，设备实施例部分未提及之处，可参考前述方法实施例中相应内容，在此不再赘述。当处理采集端的冗余运动时，上述VR音频信号的处理设备可以为VR音频采集设备；当处理播放端的冗余运动时，上述VR音频信号的处理设备可以为VR音频播放设备。本发明的实施例提供的VR音频信号的处理设备，能够根据获取到的VR音频信号对应的冗余运动信息，对VR音频信号进行调整处理，从而消除冗余运动对VR音频信号的影响，提升VR音频信号的稳定性和准确性。本发明实施例六还提供一种电子设备，包括：处理器；以及存储器，配置用于存储机器可读指令，所述指令在由所述处理器执行时，使得所述处理器执行上述任一项所述的方法。当处理采集端的冗余运动时，上述电子设备可以为VR音频采集设备；当处理播放端的冗余运动时，上述电子设备可以为VR音频播放设备。该电子设备可以为包括计算机、手机、平板电脑、PDAPersonalDigitalAssistant，个人数字助理、POSPointofSales，销售终端、车载电脑等任意终端设备，或者服务器。其中，存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。处理器是控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器内的软件程序和或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据，从而对终端进行整体监控。可选的，处理器可包括一个或多个处理单元；优选的，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。本发明实施例还提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述的方法。本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和或框图和或流图中的每个框以及这些结构图和或框图和或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和或框图和或流图的框或多个框中指定的方案。本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

权利要求：1.一种虚拟现实VR音频信号的处理方法，其特征在于，包括以下步骤：获取VR音频信号对应的冗余运动信息；根据所述冗余运动信息，对所述VR音频信号进行调整处理。2.根据权利要求1所述的处理方法，其特征在于，冗余运动信息包括：采集VR音频时的冗余运动信息或播放VR音频时的冗余运动信息；根据所述冗余运动信息，对所述VR音频信号进行调整处理，包括：根据采集VR音频时的冗余运动信息，对采集的VR音频信号进行调整处理；或，根据播放VR音频时的冗余运动信息，对待播放的VR音频信号进行调整处理。3.根据权利要求2所述的处理方法，其特征在于，获取VR音频信号对应的冗余运动信息，包括：根据采集的场景视频信号和或传感器信号，通过深度学习网络或模式识别方式，确定VR音频信号对应的冗余运动信息。4.根据权利要求3所述的处理方法，其特征在于，所述冗余运动信息为播放VR音频时的冗余运动信息；通过深度学习网络，确定VR音频信号对应的冗余运动信息，包括：根据下述至少一项，通过深度学习网络，确定VR音频信号对应的冗余运动信息：VR播放设备的加速度信息；采集的传感器信号；采集的场景音频信号；用户运动模式。5.根据权利要求2-4任一项所述的处理方法，其特征在于，所述冗余运动信息为播放VR音频时的冗余运动信息；获取VR音频信号对应的冗余运动信息之前，还包括：将根据待播放的VR视频信号确定出的冗余运动模型与根据采集的传感器信号确定出的冗余运动模型进行匹配；当不匹配时，执行所述获取VR音频信号对应的冗余运动信息的步骤。6.根据权利要求2-5任一项所述的处理方法，其特征在于，所述冗余运动信息为采集VR音频时的冗余运动信息；对所述VR音频信号进行调整处理之前，还包括：确定VR音频采集设备对应于VR视频采集设备的相对移动参数；根据所述相对移动参数，对所述VR音频信号进行相对移动修正处理。7.根据权利要求6所述的处理方法，其特征在于，所述确定VR音频采集设备对应于VR视频采集设备的相对移动参数，包括：根据采集的传感器信号，获取采集设备旋转角度；根据所述采集设备旋转角度，以及预存的VR音频采集设备和VR视频采集设备的位置关系，确定VR音频采集设备对应于VR视频采集设备的相对移动参数。8.根据权利要求1-7任一项所述的处理方法，其特征在于，获取VR音频信号对应的冗余运动信息，包括：获取VR音频信号对应的有效运动信息和冗余运动信息；对所述VR音频信号进行调整处理之前，还包括：基于所述有效运动信息，对所述冗余运动信息进行平滑处理。9.根据权利要求8所述的处理方法，其特征在于，获取VR音频信号对应的有效运动信息和冗余运动信息，包括：根据采集的场景视频信号和或传感器信号，通过深度学习网络或模式识别方式，确定VR音频信号对应的有效运动信息和冗余运动信息。10.根据权利要求9所述的处理方法，其特征在于，通过深度学习网络，确定VR音频信号对应的有效运动信息和冗余运动信息，包括：根据采集的场景视频信号和或传感器信号，结合用户运动模式，通过深度学习网络，确定VR音频信号对应的有效运动信息和冗余运动信息；通过模式识别方式，确定VR音频信号对应的有效运动信息和冗余运动信息，包括：根据采集的场景视频信号和或传感器信号，结合用户运动模式，通过与预设的通用运动模式进行匹配，预测有效运动信息；根据预测的有效运动信息以及通过模式识别方式得到的有效运动信息，确定VR音频信号对应的有效运动信息。11.根据权利要求8-10任一项所述的处理方法，其特征在于，对所述冗余运动信息进行平滑处理，包括：根据VR音频信号当前帧的有效运动信息、当前帧的冗余运动信息以及上一帧平滑处理后的冗余运动信息，确定当前帧平滑处理后的冗余运动信息。12.根据权利要求1-11中任一项所述的处理方法，其特征在于，所述冗余运动信息包括：冗余角度旋转参数和或冗余位移参数。13.根据权利要求12所述的处理方法，其特征在于，所述根据所述冗余运动信息，对所述VR音频信号进行调整处理，包括：根据所述冗余角度旋转参数，对所述VR音频信号进行冗余角度消除处理；和或根据所述冗余位移参数，对所述VR音频信号进行冗余位移消除处理。14.根据权利要求13所述的处理方法，其特征在于，所述VR音频信号包括多通道音频信号；根据所述冗余角度旋转参数，对多通道音频信号进行冗余角度消除处理，包括：根据所述多通道音频信号，确定进行冗余角度消除处理前的第一虚拟扬声器阵列；根据所述冗余角度旋转参数以及第一虚拟扬声器阵列中各第一虚拟扬声器的音频信号，确定进行冗余角度消除处理后的第二虚拟扬声器阵列中各第二虚拟扬声器的音频信号。15.根据权利要求14所述的处理方法，其特征在于，确定进行冗余角度消除处理后的第二虚拟扬声器阵列中各第二虚拟扬声器的音频信号，包括：针对第二虚拟扬声器阵列中的每个第二虚拟扬声器，分别执行下述操作：根据所述冗余角度旋转参数，确定该第二虚拟扬声器与第一虚拟扬声器阵列中的各第一虚拟扬声器之间的角度关系；根据各第一虚拟扬声器的音频信号以及确定的角度关系，确定该第二虚拟扬声器的音频信号；或者根据所述冗余角度旋转参数，确定该第二虚拟扬声器与相邻的各第一虚拟扬声器之间的角度关系；根据与该第二虚拟扬声器相邻的各第一虚拟扬声器的音频信号以及确定的角度关系，确定该第二虚拟扬声器的音频信号。16.根据权利要求13所述的处理方法，其特征在于，所述VR音频信号包括高保真立体声Ambisonic信号；根据所述冗余角度旋转参数，对Ambisonic信号进行冗余角度消除处理，包括：根据所述冗余角度旋转参数，确定所述Ambisonics信号旋转角度；根据所述Ambisonics信号旋转角度，对Ambisonics信号进行旋转。17.根据权利要求13所述的处理方法，其特征在于，根据所述冗余位移参数，对所述VR音频信号进行冗余位移消除处理，包括：根据所述VR音频信号，确定进行冗余位移消除处理前的第三虚拟扬声器阵列；根据所述冗余位移参数以及第三虚拟扬声器阵列中各第三虚拟扬声器的音频信号，确定进行冗余位移消除处理后的第四虚拟扬声器阵列中各第四虚拟扬声器的音频信号。18.根据权利要求17所述的处理方法，其特征在于，确定进行冗余位移消除处理后的第四虚拟扬声器阵列中各第四虚拟扬声器的音频信号，包括：针对第四虚拟扬声器阵列中的每个第四虚拟扬声器，分别执行下述操作：根据所述冗余位移参数，确定该第四虚拟扬声器与各第三虚拟扬声器之间的相对位置关系；根据各第三虚拟扬声器的音频信号以及确定的相对位置关系，确定该第四虚拟扬声器的音频信号。19.根据权利要求13、17或18所述的处理方法，其特征在于，若所述VR音频信号为Ambisonic信号，则对所述VR音频信号进行冗余位移消除处理之前，还包括：对所述Ambisonic信号进行多通道转换处理；对所述VR音频信号进行冗余位移消除处理之后，还包括：将进行冗余位移消除处理之后的音频信号转换为Ambisonic信号。20.一种虚拟现实VR音频信号的处理设备，其特征在于，包括：获取模块，用于获取VR音频信号对应的冗余运动信息；处理模块，用于根据所述冗余运动信息，对所述VR音频信号进行调整处理。21.一种电子设备，其特征在于，包括：处理器；以及存储器，配置用于存储机器可读指令，所述指令在由所述处理器执行时，使得所述处理器执行权利要求1～19中任一项所述的方法。

百度查询： 北京三星通信技术研究有限公司 三星电子株式会社 虚拟现实VR音频信号的处理方法及相应设备