买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京思路智园科技有限公司

摘要：本发明公开了一种用于化工教培的增强现实教学改进方法及系统，方法包括实验设计、跟踪注册、手势检测、交互设计。本发明属于化工教培技术领域，具体是指一种用于化工教培的增强现实教学改进方法及系统，本方案使用增强现实跟踪注册技术，使用FAST边缘检测算法和BRIEF算法进行实际场景图像特征点的提取和描述，采用EPnP算法解算相机位姿，提高实际场景和虚拟场景匹配的准确性，增强各种冷模实验需求的适应度，实现对实际场景的精准感知；构建LSTM模型提取手势图像的时空特征，结合OpenPose算法构建手势识别网络捕捉学生手势，实现对实验设备的实时操控，降低冷模实验潜在的安全风险，减少实验室建设和维护的成本。

主权项：1.一种用于化工教培的增强现实教学改进方法，其特征在于：该方法包括以下步骤：步骤S1：实验设计，创建冷模实验的三维虚拟模型，包括实验场景、实验设备、实验材料，获得三维虚拟模型图像，设计冷模实验程序，包括冷模实验流程、设备操作方法和反应机理程序；步骤S2：跟踪注册，通过相机和传感器获得实际场景的实时数据，包括用户的位置、头部角度、运动情况，按照用户的视场将三维虚拟模型和实际场景匹配；步骤S3：手势检测，构建LSTM模型提取手势图像的空间特征，建立手势识别网络提取手势图像的特征并识别手势；步骤S4：交互设计，创建冷模实验环境，定义用户与冷模实验环境的互动场景，根据冷模实验互动场景需求设计与手势相关的交互动作，确定手势的含义和相应的操作，评估用户的实验行为并提供个性化的指导；在步骤S2中，所述跟踪注册，包括以下步骤：步骤S21：图像获取，使用相机拍摄实际场景不同视角下的图像，获得实际场景图像，读取三维虚拟模型图像，实际场景图像和三维虚拟模型图像组成实验图像；步骤S22：特征提取，使用FAST边缘检测算法检测实验图像中的角点作为特征点；步骤S23：特征描述，对特征点使用BRIEF算法生成特征点描述符；步骤S24：特征匹配，定义实际场景图像中的特征点为2D特征点，三维虚拟模型图像中的特征点为3D特征点，计算2D特征点描述符与3D特征点描述符的汉明距离，设定汉明距离阈值，将小于汉明距离阈值的2D特征点和3D特征点定义为2D-3D特征点对，所用公式如下： ；式中，表示汉明距离，表示实际场景图像中的特征点描述符，表示三维虚拟模型图像中的特征点描述符，表示计算描述符中值为1的位数，表示汉明距离阈值；步骤S25：相机位姿解算，根据特征匹配的结果使用EPnP算法解算相机的位姿；步骤S26：虚实融合，将三维虚拟模型与实际场景进行匹配，根据实时的相机位姿调整三维虚拟模型的位置和方向，确保三维虚拟模型与实际场景一致；在步骤S3中，所述手势检测，包括以下步骤：步骤S31：数据采集，收集EgoGesture手势图像数据库作为数据集；步骤S32：数据预处理，对数据集进行预处理，包括去噪、裁剪、归一化，随机选取70%手势图像作为训练集，30%手势图像作为测试集；步骤S33：时空特征提取，构建LSTM模型提取手势图像的时空特征，LSTM模型由输入门、遗忘门、记忆细胞、输出门构成；步骤S34：手势识别，使用OpenPose算法构建手势识别网络进行手势识别，手势识别网络由VGG-19模型、PCM模型、PAFs模型构成；在步骤S34中，所述手势识别，包括以下步骤：步骤S341：检测手势关键点，构建VGG-19模型提取手势特征，VGG-19模型由输入层、卷积层、全连接层组成，输入层输入手势图像，卷积层提取手势特征，全连接层输出手势特征向量，所用公式如下： ；式中，表示输入的手势图像，分别表示第一次卷积操作的权重矩阵和偏置，分别表示第二次卷积操作的权重矩阵和偏置，分别表示第三次卷积操作的权重矩阵和偏置，是非线性激活函数；步骤S342：生成手势热图，构建PCM模型生成手势热图，每个热图对应一个关键点，关键点包括手指关节和手腕，热图的值表示对应关键点的置信度，所用公式如下： ；式中，表示在阶段中的损失，表示关键点总数，表示损失权重，表示第个关键点在像素处的置信度，表示第个关键点的实际值在像素处的置信度；步骤S343：生成手势结构图，构建PAFs模型生成向量表示两个关键点之间的连接信息，包括手指之间的连接关系和手指到手腕的连接关系，重建手势的整体结构，所用公式如下： ；式中，表示在阶段中的损失，表示向量总数，表示损失权重，表示第个预测值，表示第个实际值；步骤S344：模型评估，使用测试集评估手势识别网络的整体误差，所用公式如下： ；式中，表示手势识别网络的整体误差。

全文数据：

权利要求：

百度查询： 北京思路智园科技有限公司 一种用于化工教培的增强现实教学改进方法及系统