申请/专利权人：青岛市黄岛区中心医院

申请日：2024-04-01

公开（公告）日：2024-06-21

公开（公告）号：CN118230918A

主分类号：G16H40/20

分类号：G16H40/20;G06V40/20;G06V10/764;G06V10/82;G06N3/0464;G06N3/08

优先权：

专利状态码：在审-公开

法律状态：2024.06.21#公开

摘要：本发明涉及远程控制技术领域，尤其涉及一种远距离手势控制一体化手术室系统。该系统包括：手势采集模块、手势识别模块、手势预测模块、系统控制模块和设备模块，本发明通过实时采集手部动作视频，手势识别模块使用卷积神经网络模型从视频中提取手部关键点，并采用骨架估计网络建立手部模型，根据模型识别手势类别和提取动态特征参数，手势预测模块根据当前特征预测下一个可能的手势类别，系统控制模块根据预测结果提前发送控制设备模块进行操作。本发明采用手势识别和预测技术，结合神经网络模型实现了操作人员使用手部语言进行远程操作设备，实现操作人员跨越时间和空间限制进行协作，提高资源利用效率。

主权项：1.一种远距离手势控制一体化手术室系统，其特征在于，包括：手势采集模块，包括若干摄像头，用于实时采集手部动作视频；手势识别模块，与所述手势采集模块连接，用于实时从所述手部动作视频中识别手势类别，并提取动态特征；手势预测模块，与所述手势识别模块连接，用于根据所述动态特征，对当前手势类别预测下一个可能的手势类别，以形成预测结果；系统控制模块，分别与所述手势预测模块和所述手势识别模块连接，用于根据所述预测结果提前给出控制指令；设备模块，与所述系统控制模块连接，用于根据控制指令采取相应动作；所述手势识别模块通过其内部的卷积神经网络模型提取手部关键点，并通过其内部的骨架姿态估计网络模型根据所述手部关键点建立手部模型，以得到手部的各骨骼的相对位置关系，并通过所述卷积神经网络模型识别出进行的手势类别；所述手势类别包括缩放手势、前后移动手势、选中手势、播放暂停手势、亮度调节手势、音量增减手势、菜单切换手势、测量工具操作手势、重定位手势和图像缓存手势；所述缩放手势为手指并拢、伸直，然后扩开或收拢，用于放大或缩小；所述前后移动手势为手掌平行面朝前后推拉，用于前后移动；所述选中手势为指向目标，手指微缩呈拳头形状，用于完成目标的选择；所述播放暂停手势为握拳手掌朝前推出一指，用于表示播放，整只手掌朝前推出来，用于表示暂停；所述亮度调节手势为手掌向上抬高或降低，用于增加或减少图像亮度；所述音量增减手势为手指向上向下弯曲，用于根据弯曲程度增减音量；所述菜单切换手势为手指往右横滑或往左横滑，用于在不同菜单界面之间切换；所述测量工具操作手势为选择直尺工具后掌心朝外展开一指；所述重定位手势为手指反复轻弹，用于调整观察角度或移动部位；所述图像缓存手势为拳头环成圈按动手指，用于保存当前图像截图。

全文数据：

权利要求：

百度查询： 青岛市黄岛区中心医院 一种远距离手势控制一体化手术室系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD