申请/专利权人：南京天创电子技术有限公司

申请日：2023-09-11

公开（公告）日：2024-06-21

公开（公告）号：CN117201834B

主分类号：H04N21/234

分类号：H04N21/234;G06V10/80;G06V20/40;G06V10/82;H04N21/2343;H04N21/44;H04N21/4402;H04N23/11

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2023.12.26#实质审查的生效;2023.12.08#公开

摘要：本发明属于目标检测技术领域，具体涉及基于目标检测的实时双光谱融合视频流显示方法及系统，通过捕捉可见光和红外视频，构建流水线管道对两路视频解码编码为BGR帧图像，并应用目标检测算法提取位置信息；根据目标位置，将可见光视频流中的颜色数组信息替换红外视频流中对应位置的颜色数组信息，完成单帧图片的双光融合；将合成图像逐帧输出至内存缓冲，当缓冲满时，构建管道合成视频流，推送至端口；在前端显示设备中播放，实现双光谱目标信息的实时显示。本发明能够在单光谱视频的基础上，实时追踪并在对应位置上显示另一路光谱视频中的目标信息。

主权项：1.基于目标检测的实时双光谱融合视频流显示方法，其特征在于，包括如下步骤：捕捉可见光视频和红外视频；读取可见光视频流和红外视频流，分别标记为流A和流B；利用Python构建用于读取视频流的两条pipeline流水线管道，使用FFmpeg和NVIDIA联合推出的cuvid库的硬解码功能，在NVIDIAGPU上分别读取这两路视频流数据，并逐帧编码为一系列BGR视频帧图片；使用Python从两条流水线管道的输出缓冲区中读取每一帧图像的BGR三个颜色分量的信息，并用Python的Numpy库处理为能被OpenCV直接读取的nparray格式数据；使用YoloV5算法接收nparray格式的图片数据，提取图像关键特征，然后利用神经网络结构识别待检测目标，并预测检测到的每一个目标的类别，选择概率最高的类别作为预测类别，利用非极大值抑制NMS来去除重复检测框，最后并为每一帧图像输出一组检测到的目标检测框的位置，其中，检测框位置信息包括了目标的上下左右坐标以及这个目标的预测类别和预测分数，这些位置信息被暂存在一个自定义的缓冲区数据池中；根据检测到的目标位置信息，从流A和流B的帧图像中获取对应位置的颜色数组信息，将流A中的颜色数组信息替换流B中对应位置的颜色数组信息，完成单帧图片的双光融合；将融合后的帧图像转换为图片格式，并逐帧输出至内存缓冲队列，当内存缓冲队列满时，构建用于接收格式帧图片的流水线管道，合成为视频流，推送至对应端口；从推送端口接收视频流，转发视频流并将其在前端显示设备中播放，以实现双光谱融合视频流的实时显示。

全文数据：

权利要求：

百度查询： 南京天创电子技术有限公司 基于目标检测的实时双光谱融合视频流显示方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD