买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京竹影数字科技有限公司

摘要：本发明公开了基于实时虚实融合与实时虚实的互动演播方法，涉及智慧教育技术领域。为了解决在实际应用中，尤其是在复杂或动态的背景中，手势识别的准确性可能受到影响，影响到用户与虚拟演播室的交互体验的问题；基于实时虚实融合与实时虚实的互动演播方法，包括以下步骤：步骤一：系统初始化；步骤二：捕捉三维人物或物品；步骤三：绿幕抠图处理；步骤四：虚实融合；步骤五：互动演播；通过绿幕抠图技术把三维人物或物品从现实场景中的形象进行处理，内嵌到虚拟场景中，模拟计算三维人物或物品的影子，实现与虚拟场景的真实融合，学生可以在任何地点、任何时间进行学习，不受时间和空间的限制，扩大了教育的普及性和可及性。

主权项：1.基于实时虚实融合与实时虚实的互动演播方法，其特征在于：包括以下步骤：步骤一：系统初始化：在实际场景中设置需要的场景设备，并建立场景设备与在线平台和云技术的数据连接；步骤二：捕捉三维人物或物品：启动摄像头，获取摄像头采集的现实场景，捕捉现实场景中的三维人物或物品，并将摄像头采集到的数据基于无线网络传输至处理器中；步骤三：绿幕抠图处理：处理器基于HSV颜色空间方法将摄像头采集到的数据中绿色的像素区域与非绿色像素区域分离，将捕捉到的三维人物或物品从现实场景中提取出来，得到只包含目标对象的图像；步骤四：虚实融合：将提取的只包含目标对象的图像内嵌到构建好的虚拟场景中，通过着色器算法模拟计算三维人物或物品的影子，实现与虚拟场景的真实融合；步骤五：互动演播：在虚拟演播室中，基于手势或语音识别的方式与虚拟场景中的三维人物或物品进行互动，同时通过遥控器远程对虚拟场景中的物体进行设定的动画播放；步骤六：在线传输：基于在线平台和云技术将虚拟演播室的图像和声音实时传输到学生所在的智能设备终端；针对步骤六中在线传输，具体为：对虚拟演播室中的视频数据基于视频编码器进行压缩编码，语音数据基于音频编码器进行压缩编码，基于实时传输协议将编码后的视频流和音频流传输至云服务器；云服务器接收到所述视频流和音频流并进行转码、存储和分发，云服务器建立与在线平台的数据交互通道；智能设备访问虚拟演播室的在线平台，基于数据交互通道接收来自云服务器的视频流和音频流，并进行解码，还原出原始的图像和声音；解码后的图像和声音在学生的智能设备上展示，并通过智能设备与虚拟演播室进行互动；对虚拟演播室中的视频数据基于视频编码器进行压缩编码，语音数据基于音频编码器进行压缩编码，基于实时传输协议将编码后的视频流和音频流传输至云服务器，包括：对虚拟演播室中的视频数据基于视频编码器进行压缩编码处理，获得视频流对应的视频流数据包；对虚拟演播室中的语音数据基于音频编码器进行压缩编码处理，获得音频流对应的音频流数据包；实时监测与云服务器之间通信连接的通信参数，根据所述通信参数判定当前通信状态是否同时进行视频流数据包和音频流数据包的数据传输；当所述通信状态不满足视频流数据包和音频流数据包的数据传输的需求时，则对所述视频流数据包和音频流数据包进行拆分，形成多个视频流子数据包和音频流子数据包；其中，所述视频流数据包和音频流数据包的拆分的起始时刻和终止时刻相同；将起始时刻和终止时刻相同的视频流子数据包和音频流子数据包打包为一个音视频流数据包；将所述音视频流数据包依次发送至云服务器；在所述音视频流数据包传输过程中实时监测与云服务器之间的通信信道的运行参数，通过所述运行参数获取所述通信信道的运行质量评估参数；其中，所述通信信道的运行质量评估参数通过如下公式获取： ；其中，F表示通信信道的运行质量评估参数；n表示通信信道的运行时长所包含的单位时间的个数，并且，单位时间为1s；Pi表示第i个单位时间对应的数据传输的误码率；Si表示第i个单位时间对应的通信信道的信噪比；f表示调节系数；S0表示通信信道对应的理论信噪比；fi表示第i个单位时间对应的通信信道的实际通信频率；f0表示通信信道对应的通信频率；当所述通信信道的运行质量评估参数低于预设的参数阈值时，则进行通信异常报警。

全文数据：

权利要求：

百度查询： 南京竹影数字科技有限公司 基于实时虚实融合与实时虚实的互动演播方法