恭喜重庆邮电大学向劲松获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜重庆邮电大学申请的专利一种基于多信息融合的深度神经网络的环路滤波方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115941978B 。
龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211615020.0,技术领域涉及:H04N19/82;该发明授权一种基于多信息融合的深度神经网络的环路滤波方法是由向劲松;王鹏;陈贤龙;曹维俊;黄胜设计研发完成,并于2022-12-15向国家知识产权局提交的专利申请。
本一种基于多信息融合的深度神经网络的环路滤波方法在说明书摘要公布了:本发明属于视频编解码技术领域,具体涉及一种利用编码过程中多种信息融合的神经网络MIINMulti‑InformationIntegrationNetwork的环路滤波方法。本发明通过将编码过程中产生的多种中间信息输入到所搭建的神经网络中,并对视频编解码标准VVC环路滤波中的DBF模块和SAO模块进行替换,以提升环路滤波方案的性能。方案中亮度分量和色度分量采用不同的输入信息,其中主输入均为各个分量对应的重建信息,对应亮度分量的辅助输入为预测信息和分区信息,对应色度分量的辅助输入为残差信息和分区信息,借助这些辅助信息,MIIN网络复杂度接近的情况下,可以获得更好的滤波效果。
本发明授权一种基于多信息融合的深度神经网络的环路滤波方法在权利要求书中公布了:1.一种基于多信息融合的深度神经网络的环路滤波方法,该方法基于视频编解码标准VVC的环路滤波部分进行,所提出的多信息融合网络MIINMulti-InformationIntegrationNetwork对VVC标准中的去块滤波器DBF、样值自适应补偿滤波器SAO进行替换;具体的滤波方法包括以下步骤:步骤1、构造训练数据集和验证数据集:将DIV2K数据集中的1000张图片转换到YUV后使用VTM14.0对每张图片在QP为22、27、32、37、42的条件下分别进行压缩,并将训练集中所需的数据进行保存;为了便于训练,将所生成的帧全部裁剪为128×128的信息块,至此得到了训练集和验证集的样本;步骤2、所设计的MIIN包括三个部分,第一部分是输入信息融合模块,三种输入信息均通过一个卷积核大小为3×3的卷积层,重建信息再额外通过一个InceptionBlock后,三个分支通过Concat进行连接;第二部分是残差特征汇聚模块,首先通过一个卷积层,然后通过残差特征汇聚模块RFAB,再通过一个卷积层,其中RFAB模块是由4个残差特征汇聚块RFA有序连接而成;第三部分是输出重建模块,使用3×3尺寸的卷积核对图像的残差进行重建,并和原始的重建信息相加,得到最终的滤波图像;步骤3、利用步骤1中得到的不同QP情况下的5类训练集分别对亮度分量和色度分量对应的网络进行训练,分别生成亮度分量和色度分量的5个QP的5类模型,然后根据各个模型在对应验证集上的表现来确定超参数,即选择分为两个阶段训练,阶段1采用L1损失函数,阶段2采用L2损失函数;QP为22、27、32时学习率为1e-5,QP为37、42时学习率为1e-4;并基于此选择出最优模型,最终得到亮度分量和色度分量对应的5个QP的模型;步骤4、使用LibTorch库将步骤3中得到的网络模型转换并嵌入VTM14.0中;在对JVET提供的标准测试视频序列进行编码操作时,首先关闭环路滤波中的DBF模块和SAO模块,其余部分则使用默认配置,对于亮度分量而言,首先将经过LMCS后的重建图像亮度信息作为主输入,并将中间过程的预测信息和分区信息保存,然后根据QP值选择步骤3中对应的已经训练收敛的网络模型,并将预先准备的信息输入此网络模型,输出的图像即为经过网络MIIN的滤波后亮度分量图像;色度分量处理过程与亮度分量类似,区别在于中间过程的预测信息被替换为残差信息;至此,网络的输出包括亮度分量信息和色度分量信息,然后再将上述得到的图像作为ALF滤波模块的输入,并完成后续滤波处理。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人重庆邮电大学,其通讯地址为:400065 重庆市南岸区崇文路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。