买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广州紫为云科技有限公司

摘要：本发明公开一种基于RGBD相机的人脸三维关键点检测方法，为了获取高精度、完整的人脸三维关键点。本发明通过围绕人脸移动RGBD相机，获取多个视角的RGB图像和深度图像。根据深度相机参数，把每一帧深度图像转化为点云并融合到世界坐标系，获取到高精度的稠密点云，再把稠密点云转化为网格。检测每一帧RGB图像的二维人脸关键点，根据RGB图像和深度图像的对应关系，获取相机坐标系的三维人脸关键点。根据每一帧相机坐标系和世界坐标系的变换矩阵，获取多帧世界坐标系下的人脸关键点，根据这些关键点从网格的顶点中获取最终的三维人脸关键点。

主权项：1.一种基于RGBD相机的人脸三维关键点检测方法，其特征在于，所述关键点检测方法包括如下步骤：步骤1，基于所述RGBD相机获取RGB图像和对应的深度图像，并对所述RGB图像进行人脸检测和二维人脸关键点检测，将所述深度图像转化成点云数据；步骤2，对获取的图像进行检测判断，在所述RGB图像和对应的深度图像中确定第一帧，并将第一帧深度相机坐标系作为世界坐标系；步骤3，从第二帧开始，使用ICP算法计算当前帧的相机坐标系和上一帧相机坐标系的变换矩阵，并获取当前相机坐标系到世界坐标系的变换矩阵，并根据所述的变换矩阵更新TSDF模型，判断是否采集足够数量的数据信息，若否则跳转回所述步骤1重新获取RGB图像和对应的深度图像,若是，则从TSDF模型中获取人脸点云数据，并对人脸点云数据进行表面重建以获取人脸网格数据，所述TSDF模型为一种三维空间表示方式，其中，所述TSDF模型预先设置长方体包围盒，并把长方体每一个维度划分为n等份，即把长方体分割成个n3小正方体，将该小正方体定义为体素，然后将所述体素从世界坐标系变换到相机坐标系：式中，表示第j个体素在第i个相机坐标系下的坐标，表示从世界坐标系到第i个相机坐标的变换矩阵，所述TSDF模型中TSDF值的计算公式如下：tsdf′j＝max-1，minsdfjt，1式中，tsdfj′表示更新前第j个体素的TSDF值，max函数用于获取两个数值中的最大值，min函数用于获取两个数值中最小值，t表示截断距离，其中，深度相机精度越高，截断距离越小；所述根据所述的变换矩阵更新TSDF模型进一步包括更新TSDF值及其权重，更新公式如下： wj＝w′j+wj-1式中，wj′表示第j个体素更新前的权重，默认初始为1，wj表示更新后的权重，当采集的图像足够多时，用MarchingCubes算法寻找TSDF模型中的0等值面作为重构的点云，计算点云每一个点的法向量，使用泊松重建即可由点云及其法向量获取网格；步骤4，对于每一帧RGB图像通过轻量级人脸识别模型进行人脸检测，通过PFLD模型提取人脸关键点；步骤5，重建人脸需要多帧RGB图和深度图，所以有多组三维关键点，计算多组三维关键点的中心，其中心计算公式如下： 式中，pi表示第i个关键点的中心，a表示人脸的帧数，表示第j帧图像中第i个关键点，并采用kd-tree算法遍历所有顶点找到各个中心点的最近点，从人脸网格中选择最靠近该中心的点作为最终的三维关键点。

全文数据：

权利要求：

百度查询： 广州紫为云科技有限公司 一种基于RGBD相机的人脸三维关键点检测方法