买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:华光影像科技有限公司
摘要:本发明公开了超高清现场转播直播摄像机系统,涉及摄像技术领域,本发明将引入光照传感器和光圈自适应控制单元,实时监测环境光线变化,并根据变化趋势自动调整光圈参数,从而保持画面亮度和对比度的稳定,解决传统系统中光圈固定的问题,通过运动预测单元对目标的未来位置进行预测,并根据预测结果优化镜头调整策略,实现对预测目标位置的更精确跟踪和捕捉,引入深度学习模型和机器学习方法,对视频帧进行目标检测和运动追踪,能够快速而准确地识别和追踪场景中的目标,提高目标追踪的准确性和实时性,在画面质量、实时性和目标追踪精度方面都实现显著提升,能够更好地满足现场转播直播的需求,提高用户体验和观赏性。
主权项:1.超高清现场转播直播摄像机系统,其特征在于,包括:视频采集模块,包括摄像单元、镜头单元和传感器单元,用于采集现场视频信号,摄像单元负责实时捕捉现场画面,镜头单元用于控制焦距、光圈参数,调整画面质量和清晰度,传感器单元用于监测环境光线情况;视频处理模块,负责对采集到的视频信号进行处理和优化,包括编解码、色彩校正、图像稳定,所述视频处理模块采用编解码器将视频信号转换为数字信号,并进行压缩和解压缩,采用色彩校正算法,调整画面的色彩和对比度,采用图像稳定算法消除摄像头震动和画面抖动;任务追踪识别模块,实时追踪场景中的关键任务目标,包括运动员、表演者,所述任务追踪识别模块采用目标识别算法,识别场景中的关键目标,采用运动追踪算法跟踪目标的位置、速度和动态变化;动态镜头调整模块,根据目标追踪和场景分析,自动调整摄像头的焦点和角度,所述动态镜头调整模块包括镜头控制单元和运动预测单元,镜头控制单元负责实现镜头焦距和角度的动态调整,运动预测单元用于辅助预测目标的运动轨迹,提前调整镜头,此处预测基于任务追踪识别模块的预测结果进行辅助;光圈控制模块,实时监测环境光线变化,自动调整光圈大小,保持画面亮度和对比度,所述光圈控制模块包括光照传感器和光圈自适应控制单元,所述光照传感器监测环境光线强度和变化趋势,所述光圈自适应控制单元基于环境光线强度和变化趋势自动调整光圈参数;音频采集模块,用于捕捉现场声音信号,包括麦克风和音频处理器,麦克风负责采集现场声音,音频处理器对声音信号进行降噪、增益调节;数据传输模块,负责将处理后的视频和音频信号传输至服务器、直播平台;所述任务追踪识别模块中,进行目标追踪方法具体为:选用深度学习模型YOLO、SSD对视频帧进行目标检测,识别场景中的关键任务目标,对检测到的目标进行特征提取,得到目标的位置信息;选用光流法、相关匹配法,计算相邻视频帧之间的运动信息,得到目标的运动矢量;使用基于物体加速度的运动模型,预测目标的位置,采用基于机器学习的方法,训练运动模型适应不同类型和速度的目标运动;同时结合每个目标当前的速度和加速度信息,动态调整运动模型;使用卡尔曼滤波器对目标的状态进行估计和预测,包括位置、速度状态参数;所述任务追踪识别模块中,进行目标追踪方法还包括:根据当前时刻的目标位置测量值和上一时刻的状态预测值,更新目标状态的估计;结合目标检测、运动估计和状态估计,选用贪婪算法和最优化方法确定当前时刻目标的最可能位置;然后通过比较检测目标与预测目标之间的距离、相似度,选择最匹配的目标进行跟踪;持续更新目标的状态估计,根据新的测量信息和预测结果进行状态更新,当目标检测错误、目标遮挡时,通过重新检测、使用运动模型进行状态纠正;最终将实时跟踪的目标位置信息输出到系统中,调整摄像头的焦点和角度,实现动态镜头调整;所述任务追踪识别模块中,将摄像头移动方向定位在一个平面上,即将目标运动定义为在二维平面上进行的,则通过动态建模进行表述:Xt=F·Xt-1+B·ut-1+wt-1,其中,Xt=[xt,yt,vx,t,vy,t,ax,t,ay,t]T,表示目标在时刻t的状态向量,包括位置xt,yt、速度vx,t,vy,t和加速度ax,t,ay,t,F为状态转移矩阵,描述状态向量在两个时刻之间的演变关系,B是控制输入矩阵,描述外部控制对状态的影响,ut-1是控制输入向量,包括外部控制的参数,wt-1是过程噪声,表示状态转移过程中的不确定性,t表示当前时刻,T表示转置操作;然后选用神经网络、支持向量机,训练运动模型适应不同类型和速度的目标运动,训练数据包括目标的历史位置、速度和加速度信息;所述运动预测单元采用基于机器学习的模型,根据目标的当前位置和速度信息,以及运动模型,预测目标在未来若干帧内的位置,进行辅助运动模型调整以及镜头调整策略优化;辅助运动模型调整包括:将运动预测单元得到的预测结果与任务追踪识别模块中的目标跟踪结果进行融合;根据实际追踪情况和预测结果之间的差异,调整任务追踪识别模块中的运动模型参数;镜头调整策略优化包括:根据辅助预测的目标运动轨迹,优化动态镜头调整模块中的镜头调整策略;确定最佳的镜头焦距和角度调整方式,实现对预测目标位置的更精确跟踪和捕捉;所述运动预测单元中,进行辅助运动模型调整方式包括:通过加权平均进行预测结果与跟踪结果的融合,设预测结果为通过运动预测单元得到的目标位置预测结果,跟踪结果为即通过任务追踪识别模块得到的实际目标跟踪结果,定义权重参数α;融合后的结果为:设运动模型参数为θ,根据融合结果来调整参数,定义损失函数Jθ,衡量预测结果与实际跟踪结果间差异,Jθ采用均方误差作为度量:其中,N是样本数量,和分别表示第i个样本的融合结果和实际跟踪结果;所述运动预测单元中,在进行辅助运动模型调整后在进行调整优化,包括:使用梯度下降法最小化损失函数并更新参数θ,参数更新步骤:其中,η是学习率,控制参数更新的步长,是损失函数Jθ相对于参数θ的梯度;在智能视频监控系统中,通过不断调整参数提高对目标运动的预测准确性;所述光圈自适应控制单元,基于环境光线强度和变化趋势自动调整光圈参数方式为:设使用光照传感器监测环境光线的强度为Ienv,基于环境光线强度Ienv和变化趋势自动调整光圈参数,具体的:设定目标光照强度范围[Imin,Imax],表示画面的合适亮度范围,根据实际应用场景确定;采用滑动窗口平均法根据连续监测到的环境光线强度数据,计算光线强度的变化率;然后根据光线变化率调整光圈参数:如果环境光线强度变化率较小,说明光线趋于稳定,则保持当前的光圈参数不变;如果环境光线强度变化率较大,说明环境光线正在发生较大变化,则根据变化趋势调整光圈参数;光线变弱时,扩大光圈保持画面亮度;光线变强时,缩小光圈避免画面过曝;所述光圈自适应控制单元中,光线强度的变化率计算方法为:设连续监测到的环境光线强度数据序列为I=[I1,I2,...In],其中In表示第n个时间点的光线强度;采用滑动窗口平均法,选择固定大小的窗口w,在每个时间点t处计算窗口内数据的平均值然后通过比较相邻两个窗口的平均值,计算光线强度的变化率,设窗口移动的时间间隔为Δt,则光线强度的变化率此处d为光线强度变化量,表示为:计算具体步骤为:选择窗口大小w和时间间隔Δt;从初始时间点开始,依次移动窗口,并在每个时间点处计算窗口内数据的平均值;计算相邻两个窗口的平均值之差,除以时间间隔Δt,得到光线强度的变化率。
全文数据:
权利要求:
百度查询: 华光影像科技有限公司 超高清现场转播直播摄像机系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。