申请/专利权人：深圳德技创新实业有限公司

申请日：2020-04-25

公开（公告）日：2024-04-12

公开（公告）号：CN112001213B

主分类号：G06V40/16

分类号：G06V40/16;G06V10/82;G06N3/0464;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2020.12.15#实质审查的生效;2020.11.27#公开

摘要：本发明公开了一种基于3D点云分割的精准面瘫程度评测方法及装置。该方法包括：建立面瘫3D语义分割模型；获取待检测数据并对待检测数据进行处理：将无表情自然状态静态图像、序列图像一、序列图像二、序列图像三以及序列图像四依次输入至面瘫3D语义分割模型中以输出相应的多组人脸形状，更新多组人脸形状；对待检测用户的面瘫程度进行评测：计算θ1、θ2、θ3、θ4、θ5、θ6、θ7、θ8、θ9、θ10、θ11、|θ12|、a1、a2、b1、b2并与其阈值比较；对待检测用户的面瘫程度进行判定，并计算面瘫指数。本发明可以使检测模型具有较高的检测定位精度，大大提升待检测用户面瘫程度综合评价及检测的精度及准度，为面瘫患者的预防发现及治疗提供有力支撑。

主权项：1.一种基于3D点云分割的精准面瘫程度评测方法，其特征在于，其包括以下步骤：1确定两个眉毛区域分别为s1、s2，位于眉毛区域s1一侧的眼白区域为s3，位于眉毛区域s2一侧的眼白区域为s4，上嘴唇区域为s5，下嘴唇区域为s6；以区域s1、s2、s3、s4、s5、s6为元素形成的集合表示人脸形状；2获取待检测用户整个人脸在无表情自然状态、做皱眉动作全过程、做闭眼动作全过程以及做吹哨动作全过程中产生的多组人脸形状；依次分别计算眉毛区域s1的中心点p1＝xp1，yp1，zp1，眉毛区域s2的中心点p2＝xp2，yp2，zp2，基于眉毛区域s1内所有点云进行线性回归获得直线l1，且直线l1的方向向量为基于眉毛区域s2内所有点云进行线性回归获得直线l2，且直线l2的方向向量为计算眉毛区域s1内所有点云的协方差矩阵的特征值ρa1、ρa2、ρa3及对应单位特征向量并计算眉毛区域s2内所有点云的协方差矩阵的特征值ρb1、ρb2、ρb3及对应单位特征向量设置旋转矩阵旋转矩阵并计算旋转矩阵A1在x轴上欧拉角为αa1，旋转矩阵A1在y轴上欧拉角为αa2，旋转矩阵A1在z轴上欧拉角为αa3，还计算旋转矩阵A2在x轴上欧拉角为αb1，旋转矩阵A2在y轴上欧拉角为αb2，旋转矩阵A2在z轴上欧拉角为αb3；计算眼白区域s3内y轴取值最大的点为p3＝xp3，yp3，zp3，眼白区域s3内与点p3欧氏距离最近的NK1个点云的中心点为p4＝xp4，yp4，zp4，并统计眼白区域s3内点云数量n1，眼白区域s4内y轴取值最小的点为p5＝xp5，yp5，zp5，还计算眼白区域s4内与点p5欧氏距离最近的NK2个点云的中心点为p6＝xp6，yp6，zp6，并统计眼白区域s4内点云数量n2，点p4与点p6的中点为p7＝xp7，yp7，zp7，随后确定上嘴唇区域s5内x轴取值最大的点为p8＝xp8，yp8，zp8，上嘴唇区域s5内与点p8欧氏距离最近的NK3个点云的中心点为p9＝xp9，yp9，zp9，下嘴唇区域s6内x轴取值最大的点为p10＝xp10，yp10，zp10，下嘴唇区域s6内与点p10欧氏距离最近的NK4个点云的中心点为p11＝xp11，yp11，zp11，并在过点p7且与直线p4p6相垂直的直线上随机选取一点p12＝xp12，yp12，zp12，设置向量其中ρa1≥ρa2≥ρa3，ρb1≥ρb2≥ρb3，0≤αa1，αa2，αa3，αb1，αb2，αb3≤π；将点p1、点p2、点p3、点p4、点p5、点p6、点p7、点p8、点p9、点p10、点p11、点p12、向量向量向量向量向量向量向量向量眼白区域s3内点云数量n1及眼白区域s4内点云数量n2作为元素加入至对应的人脸形状中以获得更新后人脸形状；3对于更新后的无表情自然状态人脸形状S0，计算对于更新后的皱眉动作人脸形状Sa1，Sa2，……，San，先依次分别计算再计算最后计算θ4＝a1+a2，θ5＝|a1+a2|a3|a1-a2|；对于更新后的闭眼动作人脸形状Sb1，Sb2，……，Sbn，先计算再计算θ6＝maxb3，b4，θ7＝|b3+b4||b3-b4|；对于更新后的微笑动作人脸形状Sc1，Sc2，……，Scn，先依次分别计算再计算最后计算θ8＝|c1-c2||c1+c2|，对于更新后的吹哨动作人脸形状Sd1，Sd2，……，Sdn，先依次分别计算再计算最后计算θ10＝|d1-d2||d1+d2|，θ12＝arccosd7；将θ1、θ2、θ3、θ4、θ5、θ6、θ7、θ8、θ9、θ10、θ11、|θ12|、a1、a2、b1、b2分别与其阈值比较；通过比较结果对待检测用户的面瘫程度进行判定，并计算面瘫指数；所述步骤3还包括：设置θ1对应的阈值θ’1，θ2对应的阈值θ’2，θ4对应的阈值θ’4，θ6对应的阈值θ’6，θ8对应的阈值θ’8，θ10对应的阈值θ’10，θ11对应的阈值θ’11，|θ12|对应的阈值θ’12，a1对应的阈值a’1，a2对应的阈值a′2，b1对应的阈值b’1，b2对应的阈值b’2，并比较θ1与θ’1，θ2与θ’2，θ4与θ’4，θ6与θ’6，θ8与θ’8，θ10与θ’10，θ11与θ’11，|θ12|与θ’12，a1与a’1，a2与a’2，b1与b’1，b2与b’2；其中，阈值θ’1、θ’2、θ’4、θ’6、θ’8、θ’10、θ’11θ’12、a’1、a’2、b’1、b’2分别根据外部实现情况预设；若θ1＞θ’1，或θ2＜θ’2，或θ3＞θ’3，则判定所述待检测用户存在面瘫症状且属于严重面瘫，并计算相应的面瘫指数K1＝0.2θ1θ3θ2+0.1θ4+0.1θ5+0.3θ6+0.3θ7+0.3θ8+0.3θ9+0.1θ10+0.1θ11；若同时满足以下条件：θ1≤θ’1、θ2≥θ’2、θ3≤θ’3，并满足以下条件中的至少一个：θ5＜θ’5、θ7＜θ’7、θ9＜θ’9、θ11＜θ’11，则判定所述待检测用户存在面瘫症状但不属于严重面瘫，并计算相应的面瘫指数K2＝0.1θ5+0.3θ7+0.3θ9+0.1θ11；若所述待检测用户存在面瘫症状但不属于严重面瘫，并且a1＜a’1或b1＞b’1，则判定所述待检测用户的一侧上脸部存在面瘫；若所述待检测用户存在面瘫症状但不属于严重面瘫，并且a2＜a’2或b2＞b’2，则判定所述待检测用户的另一侧上脸部存在面瘫；若θ12＞θ’12＞0，则判定所述待检测用户另一侧下脸部存在面瘫；若θ12＜-θ’12＜0，则判定所述待检测用户的一侧下脸部存在面瘫；若同时满足以下条件：θ1≤θ’1、θ2≥θ’2、θ3≤θ’3、θ5≥θ’5、θ7≥θ’7、θ9≥θ’9、θ11≥θ’11，则判定所述待检测用户不存在面瘫症状。

全文数据：

权利要求：

百度查询： 深圳德技创新实业有限公司 一种基于3D点云分割的精准面瘫程度评测方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD