申请/专利权人：江苏科技大学

申请日：2020-11-30

公开（公告）日：2024-06-21

公开（公告）号：CN112489197B

主分类号：G06T17/00

分类号：G06T17/00;G06N3/0475;G06N3/094;G06N3/0455;G06N3/0464;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2021.03.30#实质审查的生效;2021.03.12#公开

摘要：本发明公开了一种基于对抗训练先验学习的单视图三维重建系统及其方法，包括：初始三维形状重建训练：根据输入图像训练生成其对应的初始三维模型；形状真实性对抗训练：学习渲染视图的正确性，将已观察到的视点上的渲染视图和未观察到的视点上的渲染视图区分开来；通过估计渲染视图和三维形状，判别器将识别损失的梯度反向传播到重建器，从而将修改不正确视图的知识传递给重建器。本发明训练重建器通过欺骗判别器来纠正未知的不正确的视图，使得重建的三维形状从任何角度看起来都是合理的，其三维重建的过程便捷、简单，有效克服了三维形状歧义性的问题。本发明适用于船舶综合保障、装备虚拟维修、工业制造等领域，具有广阔的市场前景。

主权项：1.一种基于对抗训练先验学习的单视图三维重建方法，其特征在于：采用一种基于对抗训练先验学习的单视图三维重建系统，包括：重建器、可微渲染器、判别器、重建损失函数、视图判别损失函数；所述的重建器，采用编解码结构，包括编码器和解码器；所述的解码器包括形状解码器和纹理解码器；所述的编码器，包括：3个二维卷积层Conv和2个全连接层FC，将图像作为输入，生成相应的隐向量表示；3个卷积层的卷积核大小均为3×3，步幅stride均为2，输出通道数filters分别是128、256和512，在每个卷积层后面设置有一个批量归一化层BN和一个ReLU激活函数；2个全连接层的输出分别是2048和1024，每个全连接层后面设置有一个批量归一化层BN层和一个ReLU激活函数；编码器最终输出1024维的特征向量；所述的解码器，包括：形状解码器和纹理解码器，且均用多层感知机实现：所述的形状解码器根据隐向量重建三维形状，记作三维形状MLP；所述的纹理解码器根据隐向量生成相应的纹理图像，记作纹理图像MLP；所述的判别器，包括:4个二维卷积层和一个全连接层：4个卷积层的卷积核大小均为5×5，步幅均为1，输出通道数分别是256、512、1024和2048，在每个卷积层后面设置一个层归一化层LN和一个Leaky-ReLU激活函数；全连接层的输出是1维，其后设置有一个Sigmoid函数；所述方法包括以下训练步骤：步骤1.初始三维形状重建训练：根据输入图像训练生成其对应的初始三维模型；步骤2.形状真实性对抗训练：学习渲染视图的正确性，将已观察到的视点上的渲染视图和未观察到的视点上的渲染视图区分开来；通过估计渲染视图和三维形状，判别器将识别损失的梯度反向传播到重建器，从而将修改不正确视图的知识传递给重建器；所述的步骤1的训练目标是最小化重建三维形状的渲染视图与基准视图之间的差异，其具体过程包括：1-1.将重建器记作R·，输入对象的多个视图数据，输出由三维形状和纹理表示的三维模型；1-2.将可微渲染器记作P·,·，输入一个三维模型和相应的视点；根据指定视点，将三维模型投影到相应视图，将其渲染成RGB视图或者轮廓视图；1-3.将重建损失函数记作是度量两个视图间差异的函数；其训练总损失定义如下： 其中，假设xij是对象oi从某个视点vij的观察视图；No表示训练数据集中的对象数；Nv是每个对象的视点数；v是训练数据集中所有视点的集合；R·是重建器；P·,·是可微渲染器；所述步骤1的训练过程采用RGB彩色图像和轮廓图像数据，因此公式1中的需要考虑RGB彩色图像和轮廓图像两类图像；设：x和是基准视图和估计视图，xc和分别是x和的RGB彩色图像，xs和分别是x和的轮廓图像；为了比较彩色图像xc和采用结构相似性SSIM评价；假设深度神经网络输出的多尺度特征图数量是Nf，即Nf是尺度数，和则表示第i个尺度对应的RGB彩色图，Mi和Ni表示和的宽度和高度，则比较RGB彩色图像xc和的损失函数定义如下： 对于轮廓图像xs和如果第k个像素属于对象，则第k个像素处的轮廓值设置为1；如果第k个像素属于背景，其轮廓值设置为0；设计多尺度余弦距离衡量轮廓图像xs和之间的差异；设是和由xs和降采样2i-1次得到的图像，将轮廓图像的损失函数定义为： 所以，重建损失函数其中，λc是一个超参数；所述的步骤2的具体过程包括：2-1.将判别器记作Dis·,·，输出渲染图像正确的概率；2-2.将视图判别损失函数记作基于判别器7，根据视图及相应视点，输出该视图正确的概率；利用交叉熵，将定义如下： 其中，v是训练数据集中所有视点的集合。

全文数据：

权利要求：

百度查询： 江苏科技大学 一种基于对抗训练先验学习的单视图三维重建系统及其方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD