申请/专利权人：华侨大学

申请日：2024-04-24

公开（公告）日：2024-06-25

公开（公告）号：CN118101938B

主分类号：H04N19/119

分类号：H04N19/119;H04N19/154

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2024.06.14#实质审查的生效;2024.05.28#公开

摘要：本发明公开了一种基于感兴趣区域的VVC码率控制方法及装置，涉及视频编码领域，方法包括：使用基于残差SSD网络训练的人脸检测模型检测图像中的人脸区域作为ROI；使用斯塔克尔伯格模型对ROI的失真进行建模，并采用二分法求解ROI的目标比特；计算编码图像的JND图作为空域视觉敏感度，对8x8互不重叠的子块进行运动估计，得到时域视觉敏感度；将有约束问题转化为无约束问题，并采用KKT条件进行最优化求解，得到最优拉格朗日乘子用于进行比特分配。本发明考虑视频会议、视频监控等应用对ROI的需求增长，人眼对ROI区域重点关注，提取空时域感知敏感度，对ROI和nROI的比特分配问题分别建模并进行最优化求解，合理进行比特分配。

主权项：1.一种基于感兴趣区域的VVC码率控制方法，其特征在于，包括：S101，对待编码的图像进行人脸检测，将检测到的人脸区域作为感兴趣区域ROI，其他区域作为非感兴趣区域nROI；S102，使用斯塔克尔伯格模型对ROI和nROI的失真进行建模，并采用二分法求解ROI和nROI的比特数；S103，计算编码图像的JND图作为空域视觉敏感度，对8x8互不重叠的子块进行运动估计得到CTU的时域视觉敏感度，基于空域视觉敏感度和时域视觉敏感度获得感知权重；基于感知权重和CTU的失真，获得CTU的感知失真；S104，对ROI和nROI，基于感知失真分别将有约束问题转化为无约束问题，并采用KKT条件进行最优化求解，得到用于进行比特分配的最优拉格朗日乘子；S105，基于感兴趣区域的最优拉格朗日乘子和非感兴趣区域的最优拉格朗日乘子，对CTU进行编码；具体的，VVC中采用R-λ码率控制模型，根据R-λ模型，CTU的失真d、拉格朗日乘子λ、每像素比特数r之间的关系满足下式： 其中，c和k表示与视频内容相关的码率控制模型参数；所述S102，具体包括：使用斯塔克尔伯格模型对ROI和nROI的失真进行建模，如下： 其中，D1表示ROI的失真；D2表示nROI的失真；μ是衡量整体质量重要性的权重；M表示ROI的总像素数；N表示nROI的总像素数；di表示ROI的CTU的失真；dj表示nROI的CTU的失真；π对R1求导并使其为0，如下： 其中，ηi表示比特权重；Rc表示帧级目标比特；R1表示ROI的比特；使用二分法对上式求解，得到ROI的比特数R1*，以及nROI的比特数Rc-R1*；所述S103，具体包括：JND值计算为：JNDx,y＝max{f1bx,y,mx,y,f2bx,y}；其中，f1bx,y,mx,y表示空域掩蔽；mx,y表示最大梯度函数；f2bx,y表示亮度对比度；bx,y表示滤波函数；x表示像素点横坐标；y表示像素点纵坐标；空域掩蔽f1bx,y,mx,y定义为：f1bx,y,mx,y＝mx,y·αbx,y+βbx,y；其中： 亮度对比度f2bx,y定义为： bx,y和mx,y的计算方式如下： 其中，i表示距离像素点x,y水平方向的偏移；j表示距离像素点x,y垂直方向的偏移；px+i,y+j表示像素；Bi,j表示滤波器模板；Gi,j表示为0°、45°、90°和135°四个方向的高通滤波器；对8x8互不重叠的子块进行运动估计得到CTU的时域视觉敏感度Ω，因此空时域感知敏感度ω定义为： 其中，ω为感知敏感度权重，因此第i个CTU的感知失真表示为ωi表示ROI的感知敏感度权重；所述S104，具体包括：对于ROI，比特分配的有约束问题表达为： 其中，表示第i个CTU的感知失真，λROI表示ROI的拉格朗日乘子；Mi表示ROI像素数；ri表示ROI中每像素比特数；表示ROI的比特；ωi表示ROI的感知敏感度权重；ci和ki表示与视频内容相关的码率控制模型参数；根据KKT条件，得到： 使用牛顿迭代法对上边的式子进行求解，得到每个ROI进行比特分配的λROI；对于nROI，比特分配的有约束问题表达为： 其中，表示nROI的失真，λnROI表示nROI的拉格朗日乘子；Nj表示nROI像素数；rj表示nROI中每像素比特数；ωj表示nROI的感知敏感度权重；cj和kj表示与视频内容相关码率控制参数；根据KKT条件，得到： 使用牛顿迭代法对上边的式子进行求解，得到每个nROI进行比特分配的λnROI。

全文数据：

权利要求：

百度查询： 华侨大学 基于感兴趣区域的VVC码率控制方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD