申请/专利权人：广东工业大学

申请日：2023-06-21

公开（公告）日：2024-05-17

公开（公告）号：CN116974369B

主分类号：G06F3/01

分类号：G06F3/01;G06F3/04812;G06F3/04845;G06V40/20;G06V10/774;G06V10/82;G06T17/00;G06T7/10;G06T7/13;G06T19/00;G06N3/0464;G16H40/63

优先权：

专利状态码：有效-授权

法律状态：2024.05.17#授权;2023.11.17#实质审查的生效;2023.10.31#公开

摘要：本发明提出了一种术中医学影像操作方法、系统、设备及介质，包括：采集多组手部图像并进行模拟血迹处理，构建图像数据集进行训练，分别提取第一关节点坐标及第二关节点坐标，并计算出第三关节点坐标，通过读取第三关节点坐标，识别用户手势以及执行交互命令；采集用户的手势影像，提取手势影像关键帧图像，基于用户识别模型建立手势影像与用户手势间的映射关系，通过映射系数识别手势及用户身份；将患者CT影像转化为3D模型，提取病灶轮廓后逐级设置多层级的ROI区域和POI病灶关键点，用户通过手势控制光标定位病灶，操作病灶模型。本发明基于视觉和深度学习的手势识别算法，实现术中外科医生对医学影像数据的实时、精确操作。

主权项：1.一种术中医学影像操作方法，其特征在于，所述方法包括：S1:分别通过彩色相机和深度相机采集多组手部图像，构建手部图像数据集，对所述手部图像做模拟血迹处理，通过卷积神经网络模型对所述手部图像数据集进行训练，基于已建立的三维坐标系，分别提取彩色相机采集下的所述手部图像的第一关节点坐标以及深度相机采集下的所述手部图像的第二关节点坐标，并通过所述坐标计算出第三关节点坐标，影像系统通过读取所述第三关节点坐标，识别用户手势并实时执行用户的交互命令；S2：根据手势类型提示采集用户的手势影像，提取所述手势影像的第一关键帧图像和第二关键帧图像，所述关键帧图像经预处理后计算两图像间的关节点坐标变化大小Li以及两图像手势移动区域所占图像像素点的占比Ri，基于用户识别模型建立手势影像与用户手势间的映射关系，通过所述映射关系对应的映射系数识别手势及手势对应的用户身份；S3：基于3D重建算法将患者CT影像转化为3D模型并提取病灶结构特征，通过U-net神经网路分割所述3D模型的病灶模型并进行标注，提取病灶轮廓后逐级设置多层级的光标吸附区域ROI以及病灶关键点POI，用户通过手势控制光标定位病灶，实时操作病灶模型。

全文数据：

权利要求：

百度查询： 广东工业大学 术中医学影像操作方法、系统、设备及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD