买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明涉及一种基于持续学习的手部姿态及形状估计方法，属于计算机视觉与深度学习领域。主要包含以下步骤：数据预处理；搭建手部3D三角网格模型重建网络；全监督训练搭建的手部3D三角网格模型重建网络；自监督训练搭建的手部3D三角网格模型重建网络。本发明具有以下优点：首先，使用持续学习的方法可以大大降低神经网络模型处理新数据时的时间和算力成本；其次，同时利用彩色图像和深度图像可以获得丰富的空间信息，显著提高模型的实用性和泛化能力。

主权项：1.一种基于持续学习的手部姿态及形状估计方法，其特征在于，包括以下步骤：步骤1、数据预处理；数据包含单目彩色图像及其对应的深度图，手部分割标注，手部3D关节点标注以及手部3D三角网格模型标注；如未提供真实拍摄的深度图像，因此需要利用手部3D三角网格模型标注进行投影生成深度图像；并将数据集划分为训练集和测试集，分别用于网络训练和测试；步骤2、搭建手部3D三角网格模型重建网络；利用重建出的手部网格模型可以恢复手部姿态和形状；所述网络包含两部分：特征提取模块以及手部模型重建模块，具体如下：首先，特征提取模块使用卷积神经网络对输入的彩色图像及其对应深度图像分别进行浅层特征提取，再将两部分特征融合进而提取深层特征；其次，手部模型重建模块将深层特征按照三维坐标轴的u,v和z方向分别进行卷积操作压缩特征维度，得到三个一维向量；再对这些一维向量分别进行Softmax计算，得到手部三角网格模型的每一个顶点在三个坐标轴方向上的坐标；将三个方向上的坐标拼接在一起，再利用相机内参将坐标转换到空间坐标系即可重建手部3D三角网格模型，进而获得手部姿态及形状；步骤3、全监督训练搭建的手部3D三角网格模型重建网络；全监督训练的损失函数包括网格模型顶点监督Lmesh，关节点监督Ljoint，网格模型表面法向量监督Lnorm以及拉普拉斯平滑性约束Llap，具体公式如下； 其中，Nv、Nj和Nf分别表示手部三角网格模型的顶点个数、关节点个数和面的个数；v和j表示网络预测的网格模型的顶点和关节点位置，v′和j′表示真实的顶点和关节点位置；n′f表示真实手部三角网格模型的表面法向量，f表示网格模型的面的集合；训练至最后一轮时需要保存神经网络模型及整个数据集反向传播时的梯度分布数据以便后续的持续学习阶段使用；指的是在第n个数据集上训练的神经网络的第k层参数θ，l是全监督训练时所有损失函数的和；步骤4、自监督训练搭建的手部3D三角网格模型重建网络；将步骤3中全监督训练获得的神经网络模型作为预训练模型加载到神经网络中，然后在此基础上再在新的数据集上采用自监督的方式进行训练；利用手部深度图像和分割标注进行训练，同时利用原始数据集上全监督训练时保存的神经网络模型及梯度分布数据构造持续学习的约束，平衡神经网络模型在原始数据集和新数据集上的性能；自监督训练的损失函数包括：手部分割图约束Lmask，深度图像约束Ldepth，为了保持手型而加入的网格模型边长约束Ledge以及拉普拉斯平滑性约束Llap，持续学习的约束Lcon，具体公式如下；Lmask＝||M-M′||2Ldepth＝||D-D′||2 其中，M和D是网络渲染出的手部分割图和深度图，M′和D′是对应真实值；v表示手部三角网格模型的顶点，Nf表示网格模型的面的数量，Nv表示网格模型顶点的数量；Nv表示顶点v的邻接点，λ是超参数，指的是在第n个数据集上训练的神经网络的第k层参数θ，指在新数据集上训练时网络参数相较于原数据集的变化量，即： 而和指的是一阶和二阶参数重要性权重，具体计算过程与在原数据集训练时保存的梯度数据有关，具体为： 其中J是损失函数的雅可比矩阵。

全文数据：

权利要求：

百度查询： 大连理工大学 基于持续学习的手部姿态及形状估计方法