买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中电信数字城市科技有限公司

摘要：本申请提供一种视频流三维虚实的融合方法、装置、电子设备及介质，涉及视频虚实融合领域，该方法包括：对场景视频对应的场景图像和目标区域的虚拟场景进行特征点匹配，确定目标匹配点组；根据各第一特征点的坐标和相应第二特征点的坐标，确定投影矩阵和模型视图矩阵；对多个目标匹配点组中的第二特征点进行筛选，确定第二目标特征点；根据第二目标特征点对应的第一特征点的颜色值，对第二目标特征点的颜色进行渲染，得到目标虚拟场景。将监控相机采集的场景视频与虚拟场景在空间位置上进行配准与叠加，使场景视频显示在三维空间的准确坐标位置处，避免融合过程中产生的错位，可提高数字孪生场景中重点关注区域的真实感。

主权项：1.一种视频流三维虚实的融合方法，其特征在于，所述方法包括：获取监控相机采集的真实场景中目标区域的场景视频；针对所述场景视频中的任一目标帧对应的场景图像，对所述场景图像和配置的目标区域的虚拟场景进行特征点匹配，确定多个目标匹配点组；各目标匹配点组包括一个所述真实场景的第一特征点和相应的所述虚拟场景的第二特征点；根据各第一特征点在真实场景坐标系中的坐标、相应第二特征点在虚拟场景坐标系中的坐标和所述监控相机的内参数，确定投影矩阵和模型视图矩阵；根据所述投影矩阵和所述模型视图矩阵，对所述多个目标匹配点组中的第二特征点进行筛选，确定第二目标特征点；根据所述第二目标特征点对应的第一特征点的颜色值，对所述第二目标特征点的颜色进行渲染，得到目标虚拟场景；其中，根据所述投影矩阵和所述模型视图矩阵，对所述多个目标匹配点组中的第二特征点进行筛选，确定第二目标特征点，包括：根据所述投影矩阵、所述模型视图矩阵和所述监控相机的视场角，构建所述监控相机在所述虚拟场景中的视锥体区域；根据所述投影矩阵、所述模型视图矩阵和窗口矩阵，确定所述虚拟场景中所述视锥体区域的近裁截面的顶点坐标和远裁截面的顶点坐标；所述窗口矩阵为包含监控相机画面长度和宽度的矩阵；根据所述近裁截面的顶点坐标和所述远裁截面的顶点坐标，构建所述视锥体区域的第一包围盒；对所述第一包围盒和第二包围盒进行碰撞检测，将发生碰撞的多个第五特征点和相应第六特征点确定为第二目标特征点；所述第二包围盒为虚拟场景中所述目标帧的后续帧中出现第二目标物体的包围盒；所述第五特征点为第一包围盒中的特征点，所述第六特征点为第二包围盒中的特征点。

全文数据：

权利要求：

百度查询： 中电信数字城市科技有限公司 一种视频流三维虚实的融合方法、装置、电子设备及介质