买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州师范大学

摘要：本发明公开一种深度学习框架下基于单幅图像的三维网格重建方法及系统。本发明将利用VGG16网络作为图像特征提取网络获得三种尺度特征图，基于所获特征以及初始椭圆网格模型，应用网格变形网络完成完整重建任务，网格变形网络包括图卷积模块融合局部特征信息，Transformer编码模块补充全局特征信息。本发明方法有效提高了单幅图像的三维网格重建的准确率。

主权项：1.一种基于深度学习的图像三维重构方法，其特征在于该方法具体如下：步骤一、获取二维图像与对应三维模型数据；步骤二、对上述二维图像与三维模型数据进行预处理；步骤三、神经网络搭建和训练；3-1.搭建完整重构网络完整重建网络包括图像特征提取网络、网格形变网络；所述的图像特征提取网络用于输入单张二维图像获得三种尺度特征图；所述网格形变网络，用于输入初始椭圆网格模型与图像特征提取网络输出的三种尺度特征图，对初始椭圆网格模型进行网格形变进而完成重建；所述图像特征提取网络结构包括VGG16网络的13个串联的二维卷积单元；第一个二维卷积单元作为所述特征提取网络的输入端，接预处理后二维图像数据；第七个二维卷积单元的输出端输出浅层特征图；第十个二维卷积单元的输出端输出中层特征图；第十三个二维卷积单元的输出端输出深层特征图；3-2.模型训练将步骤二预处理后的图像数据输入到步骤3-1完整重构网络中进行训练；训练过程中通过融合型损失函数计算完整重构网络输出的重构模型与目标模型的损失值，然后通过损失值反向传播，网络迭代参数不断减小损失值以完成训练；所述融合型损失函数见式6，融合损失为倒角距离损失、边长损失、法向量损失和拉普拉斯损失相加构成；倒角距离损失见式1： 其中P，Q为重建后三维模型和真实三维模型的顶点集合；p、q表示相应点集中的单位顶点；|P|表示点集P的元素个数；边长损失见式2： 其中k为顶点p的邻接顶点集合Np中任一顶点坐标；法向量损失见式3： 其中nq表示顶点q的法相量，,表示向量间内积计算；拉普拉斯损失见式4： 其中lp表示当前网格顶点p的拉普拉斯坐标，l′p为经每个形变单元变形前网格顶点p的拉普拉斯坐标，拉普拉斯坐标计算方式见式5； 融合损失loss如下：loss＝losscd+αlossedg+βlossn+γlosslap6其中α为lossedg对应的损失权重，β为为lossn对应的损失权重，γ为losslap对应的损失权重；步骤四、根据步骤三所搭建并训练的网络模型，输入单张待重构二维图像，最终输出重构三维模型。

全文数据：

权利要求：

百度查询： 杭州师范大学 深度学习框架下基于单幅图像的三维网格重建方法及系统