买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京大学深圳研究生院

摘要：本发明公开了一种视点合成方法、装置、设备及计算机可读存储介质，该方法包括以下步骤：获取多个输入图像，并将输入图像输入至压缩分辨率网络，以对输入图像执行压缩分辨率操作，得到中间图像；将中间图像输入至视点合成网络，得到视点合成图；将视点合成图输入至超分辨率网络，以对视点合成图执行分辨率重建操作，输出高分辨率的目标视点合成图，其中，压缩分辨率网络与所述超分辨率网络的网络结构对称。本发明通过压缩分辨率网络和超分辨率网络降低视点合成数据的运算量，从而减少计算机系统的计算量，提升计算机运算效率，解决了计算机系统进行视点合成的计算效率较低的技术问题。

主权项：1.一种视点合成方法，其特征在于，所述视点合成方法包括以下步骤：分别对压缩分辨率网络、视点合成网络及超分辨率网络执行预训练操作；其中，所述压缩分辨率网络的网络结构包括初始特征提取模块、降维模块、缩放投影模块及重建模块，所述初始特征提取模块为滤波器尺寸为3*3的卷积层，所述降维模块为滤波器尺寸为1*1的卷积层，所述缩放投影模块包括3个下采样单元和2个上采样单元，所述上采样单元和所述下采样单元相隔放置，各个采样单元顺次连接，且第一上采样单元、第二上采样单元分别与第三下采样单元连接，第一下采样单元、第二下采样单元分别与第二上采样单元连接，第一、第二及第三下采样单元分别与重建模块连接，所述重建模块为滤波器尺寸为3*3的卷积层，所述缩放投影模块用于对图像进行上、下缩放投影，所述重建模块用于将图像重建出压缩的低分辨率图像；所述视点合成网络的网络结构包括视差估计子网络及颜色预测子网络，所述视差估计子网络与所述颜色预测子网络级联，所述视差估计子网络和所述颜色预测子网络均包括四个卷积层和三个激活层，所述卷积层与所述激活层相隔放置，其中，所述四个卷积层依次为7*7卷积层、5*5卷积层、3*3卷积层及1*1卷积层；所述压缩分辨率网络与所述超分辨率网络的网络结构对称，所述超分辨率网络的网络结构包括顺次连接的滤波器尺寸为3*3的第一卷积层、滤波器尺寸为1*1的第二卷积层、第四上采样单元、第四下采样单元、第五上采样单元、第五下采样单元、第六上采样单元及滤波器尺寸为3*3的第三卷积层，上采样单元和下采样单元相隔放置，各个采样单元顺次连接，且所述第四下采样单元、第五下采样单元分别与第六上采样单元连接，所述第四上采样单元、第五上采样单元分别与第五下采样单元连接，所述第四、第五及第六上采样单元分别与第三卷积层连接；基于全局损失函数联合压缩分辨率网络、视点合成网络及超分辨率网络进行训练，训练完成后生成目标网络模型的稀疏度参数，以对目标网络模型进行神经网络压缩；基于目标网络模型对应的稀疏度参数，对所述目标网络模型执行神经网络压缩操作，其中，所述目标网络模型包括所述压缩分辨率网络、所述视点合成网络或所述超分辨率网络中的至少一种；获取多个输入图像，并将所述输入图像输入至所述压缩分辨率网络，以对所述输入图像执行压缩分辨率操作，得到低分辨率的中间图像；将所述中间图像输入至所述视点合成网络，得到低分辨率的视点合成图；将所述视点合成图输入至所述超分辨率网络，以对所述视点合成图执行分辨率重建操作，输出高分辨率的目标视点合成图。

全文数据：

权利要求：

百度查询： 北京大学深圳研究生院 视点合成方法、装置、设备及计算机可读存储介质