买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：辽宁大学

摘要：一种基于3D全息投影技术的医疗教学问诊系统，结合深度相机可以获取手部关键点的深度信息，在相机视野范围内实现多人沉浸式互动全息投影，即多人实时切换进行全息投影互动或多人同时协作进行全息投影互动，能够为用户提供一种更好的互动体验；融合图像特征和关键点特征进行手势识别，能够解决二维关键点对于复杂手势判定困难问题，以及CNN图像分类识别错误无法自行纠正导致手势识别错误问题，多算法融合能够提高人机交互时手势识别的鲁棒性和识别率。

主权项：1.一种基于3D全息投影技术的互动医疗教学问诊系统，其特征在于，其步骤为：步骤1：双手位于深度相机视野范围内，通过调用OpenCV库视频采集模块进行视频流的采集；步骤2：对步骤1中采集的每一帧通过Google开源框架MediaPipHands进行手部关键点检测，获取每一帧中所有手部21个关键点；Hi＝{xj,yj|0＝j＝20andj∈N}，i∈N+为手的编号，其中Hi为第i只手的21关键点信息，j为手部关键点的编号，x，y为图像坐标系中关键点的坐标；步骤3：通过调用深度相机SDK，根据步骤2获取的每一只手的21关键点信息，计算每一只手的21关键点深度信息，记Di＝{dj|0＝j＝20andj∈N}，Di为第i只手21关键点的深度信息；步骤4：根据步骤3中获取的每一手的21关键点深度信息，通过计算21个关键点深度信息的均值，计算每一只手距离深度相机的物理距离，公式如下： 其中n＝20为关键点的最大编号，从零开始编号，共n+1个关键点；Li为第i只手距离深度相机的物理距离；步骤5:根据步骤4计算的每一只手距离深度相机的物理距离L，获取距离深度相机最近的两只手或者一只手，记为F＝{Hik|k＝1or2andi∈N+}，通过手势的深度信息，可以对相机视野中出现的多只手进行过滤，解决多个用户人机交互的问题；步骤6：根据步骤5获取的最近手势F，提取每一只手部的ROI区域，提取方法：根据手部的21关键点在图像坐标系中的位置，分别获取在图像坐标系X轴和Y轴最小值和最大值，记为xmin,xmax,ymin,ymax，手部ROI区域提取公式如下：xmin＝minx0,x1,..,x20xmax＝maxx0,x1,..,x20ymin＝miny0,y1,..,y20ymax＝miny0,y1,..,y20Ri＝{xmin,xmax,ymin,ymax},Ri为第i只手的ROI区域；步骤7：根据步骤1获取的21关键点信息、步骤6获取的手势ROI区域，进行多算法融合处理，生成控制指令信号；1训练分类器：分类器是基于Pytorch搭建的EfficientNetV2网络，数据集是使用多个RGB相机在不同场景下采集和制作手势数据集，然后在自己定义的数据集上进行模型的训练；2将提取的手势ROI区域输入到训练好的分类器进行分类，模型输出手势的类别class和概率p；3对模型输出手势类别和概率结果进行过滤，输出过滤后的手势G，过滤条件如下： 其中class为控制指令手势，需要进行下面步骤4的处理，other为非控制指令手势，视为无效指令，终止以下步骤；4对过滤后手势再融合关键点特征信息进行级联判定手势类别，判定方法是：通过判断分类器输出的手势部分关键点在当前帧中的位置信息，与其预先设定的手势的关键点位置模板是否匹配，最后输出手势控制指令Z；判定方法如下： 其中T为抽象出的预先设定手势类别关于关键点信息模板函数，F为需要判定手势关键点即为距离相机最近的手，class为步骤3输出的手势类别，Z为最终输出手势指令；步骤8：根据步骤7生成的控制指令信号Z，对3D模型进行手势控制，做出相应的模型变换并实时投影至投影金字塔显示。

全文数据：

权利要求：

百度查询： 辽宁大学 一种基于3D全息投影技术的互动医疗教学问诊系统