申请/专利权人：合肥工业大学

申请日：2024-03-22

公开（公告）日：2024-06-14

公开（公告）号：CN118200628A

主分类号：H04N21/2343

分类号：H04N21/2343;H04N21/845;H04N21/25;H04N21/2662;H04N21/4402;H04N21/466;H04N21/433;H04N21/44

优先权：

专利状态码：在审-公开

法律状态：2024.06.14#公开

摘要：本发明公开了一种SVC编码的QoE驱动的全景视频两级自适应传输方法，包括：1.在全景视频服务端，将原始的全景视频进行切片化处理，并采用SVC的编码方式，将全景视频切块编码为不同码率等级的版本，分为基础层和增强层；2.播放客户端根据用户的实时视角信息，下行带宽信息，首先确定当前帧组要传输的编码切块的合适码率等级，以确保当前目标函数最大，然后在当前帧组的编码切块完全传输至缓冲区后，经过增量升级函数和判决函数，判决是否传输缓冲区内未播放的编码切块的合适的增强层来提高编码切块的码率等级。本发明能够在网络环境波动的情况下判决并及时传输增强层，在稳定播放的同时尽可能提高用户的观看体验QoE。

主权项：1.一种SVC编码的QoE驱动的全景视频两级自适应传输方法，是应用在全景视频服务端和播放客户端组成的网络环境中；所述全景视频服务端和播放客户端之间通过下行链路进行数据传输；所述下行链路中包含从全景视频服务端到播放客户端的反馈信道；其特征在于，所述全景视频两级自适应传输方法是按如下步骤进行：步骤一、所述全景视频服务端将一个全景视频在时间上均等切分为K个帧组，记为{GOF1,…,GOFk,…,GOFk}，其中，GOFk表示全景视频中的第k个帧组，且1≤k≤K，K表示帧组的数量；将第k个帧组GOFk在空间上均匀切分为N个切块，并得到第k个帧组GOFk的切块集合，记为Tilek，Tilek＝{Tilek,1,…,Tilek,n,…,Tilek,N}，其中，Tilek,n表示第k个帧组GOFk的第n个切块，1≤n≤N，N表示切块的数量；所述全景视频服务端采用SVC编码方式对第k个帧组GOFk的第n个切块Tilek,n进行编码，得到第k个帧组GOFk的第n个编码切块集合从而得到第k个帧组GOFk的编码切块集合Ek＝{Ek,1,…,Ek,n,…,Ek,N}；其中，表示第k个帧组GOFk的第n个码率等级为1的编码切块，即基础层；表示第k个帧组GOFk的第n个码率等级为l的编码切块，即第l-1个增强层；表示第k个帧组GOFk的第n个码率等级为l'的编码切块，即第l'-1个增强层；1≤l≤L，L表示码率等级数；所述全景视频服务端得到第k个帧组GOFk的第n个编码切块集合Ek,n的数据量集合以及第k个帧组GOFk的编码切块的数据量集合Dk＝{Dk,1,…,Dk,n,…,Dk,N}；其中，表示第k个帧组GOFk的第n个码率等级为l的编码切块的数据量；步骤二、根据用户体验质量，建立码率决策目标函数并作为一级决策；基于所述一级决策，构建增量升级决策目标函数并作为二级决策，构建一级、二级决策的约束条件，从而建立全景视频的两级自适应传输模型；步骤三、使用基于深度强化学习的方法对所述两级自适应传输模型进行训练，得到训练好的一级、二级决策模型；步骤四、所述播放客户端获得第k个帧组GOFk的切块集合Tilek在一级决策时的平均带宽Ck、缓冲区占用大小Bk、视角信息集合pk、质量集合Qk、编码切块的数据量集合Dk以及第k-1个帧组GOFk-1的切块集合Tilek-1的平均质量qk-1，从而组成第k个帧组GOFk的一级状态空间并输入到训练好的一级决策模型中，从而输出第k个帧组GOFk在一级状态空间下的最优一级决策空间并通过反馈信道发送给全景视频服务端；其中，是一个二元决策变量，表示是否传输第k个帧组GIFk的第n个切块Tilek,n的编码切块若传输第k个帧组GOFk的第n个切块Tilek,n的编码切块则令否则，令所述全景视频服务端根据收到的第k个帧组GOFk在一级状态空间下的最优一级决策空间Xk，并将对应的第k个帧组GOFk的编码切块集合Ek通过下行链路传输到播放客户端的缓冲区内；同时，所述播放客户端获得经过一级决策后的第k+1个帧组GOFk+1的切块集合Tilek+1的平均带宽Ck+1、缓冲区占用大小Bk+1、视角信息集合pk+1、质量集合Qk+1、编码切块的数据量集合Dk+1以及第k个帧组GOFk的切块集合Tilek的平均质量qk，从而组成第k+1个帧组GOFk+1的暂定一级状态空间并输入到训练好的一级决策模型中，从而输出第k+1个帧组GOFk+1在暂定一级状态空间下的暂定一级决策空间步骤五、当经过一级决策后的第k个帧组GOFk的编码切块集合Ek完全传输至播放客户端的缓冲区时，所述播放客户端获得第k个帧组GOFk的切块集合Tilek在二级决策时的平均带宽C'k和缓冲区占用大小B'k，从而组成第k个帧组GOFk的二级状态空间并输入到训练好的二级决策模型中，从而输出第k个帧组GOFk在二级状态空间下的最优二级决策空间其中，是一个二元决策变量，表示是否传输第k个帧组GOFk的第n个切块Tilek,n的增强层若传输第k个帧组GOFk的第n个切块Tilek,n的增强层则令否则，令同时，所述播放客户端获得经过二级决策后的第k个帧组GOFk的切块集合Tilek的平均质量q'k和第k+1个帧组GOFk+1的切块集合Tilek+1的平均带宽从而组成第k+1个帧组GOFk+1的暂定二级状态空间并输入到训练好的一级决策模型中，从而输出第k+1个帧组GOFk+1在暂定二级状态空间下的暂定一级决策空间步骤六、构建判决函数，利用第k个帧组GOFk在一级状态空间下的最优一级决策空间Xk、第k+1个帧组GOFk+1在暂定一级状态空间下的暂定一级决策空间第k个帧组GOFk在二级状态空间下的最优二级决策空间Yk和第k+1个帧组GOFk+1在暂定二级状态空间下的暂定一级决策空间从而判决是否将二级决策模型输出的第k个帧组GOFk的最优二级决策空间Yk通过反馈信道发送给全景视频服务端；步骤七、将k+1赋值给k后，返回步骤四顺序执行、直至K个帧组的编码切块集合完全传输至播放客户端的缓冲区内；所述播放客户端对K个帧组的编码切块集合进行解码、融合、渲染后，在VR头盔中播放。

全文数据：

权利要求：

百度查询： 合肥工业大学 一种SVC编码的QoE驱动的全景视频两级自适应传输方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD