买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东南大学

摘要：本发明提出了一种基于隐式表示的三维交互手重建方法和系统，包括以下步骤：1、搭建特征提取神经网络，先从单张输入彩色图像中获取全局和区域特征，再根据输入图像和区域特征进一步获取实例和关节特征；2、利用获取的区域特征、实例特征和关节特征，根据查询策略选取查询点，并构建查询条件；3、构建参数化的隐式神经网络，基于查询点和查询条件，进行隐式重建；4、对重建的模型进行物理优化，惩罚不合理的穿透，调整并更新重建的模型；5、迭代优化重建的模型，直到最大穿透深度小于2mm，则将优化结果作为交互手的最终重建结果。本发明只需要单张彩色图像，便可以将图像中任意手性和数量的手重建出来，实现了端到端的建模方式，提高了三维手势和形状重建的质量。

主权项：1.一种基于隐式表示的三维交互手重建方法，其特征在于：该方法包括以下步骤：步骤1，搭建特征提取神经网络，先从单张输入彩色图像中获取全局和区域的特征，再根据输入图像和区域特征进一步获取实例特征和关节特征；步骤2，利用步骤1获取的特征，根据查询策略选取查询点，并构建查询条件；步骤3，搭建参数化的隐式神经网络，基于查询点和查询条件，进行隐式重建；步骤4，对重建的模型进行物理优化，惩罚不合理的穿透，调整并更新重建的模型；步骤5，迭代优化重建的模型，直到最大穿透深度小于2mm，则将优化结果作为交互手的最终重建结果；所述步骤2中，对于每一个区域根据查询策略构建采样空间di，并在采样空间中采样点；组合所有的采样点，作为查询点，将其归一化为一个单位立方体；此外，对于每一个区域，从步骤1特征提取中获取区域嵌入ri，区域中每一个实例Ek送到多层感知机中编码得到实例嵌入ek；将ri和ek作为隐式重建的查询条件；所述步骤3中，基于查询点和查询条件，使用参数化的隐式神经网络进行隐式重建；参数化的隐式神经网络被视为一个隐函数，公式如下： 其中，p为查询点，r和e分别是区域嵌入和实例嵌入，被当作查询条件，τ表示输出得到占用率值；使用预测占用率和真实占用率的交叉熵损失来监督该神经网络；此外，定义一个碰撞损失来惩罚手表面的碰撞；考虑到一个查询点最多属于一个单手实例，将穿透损失定义为： 其中，Ω表示所有的查询点，k等于每个区域中手的个数。

全文数据：

权利要求：

百度查询： 东南大学 一种基于隐式表示的三维交互手重建方法和系统