申请/专利权人：湖北中医药大学

申请日：2022-10-11

公开（公告）日：2024-06-07

公开（公告）号：CN115588154B

主分类号：G06V20/40

分类号：G06V20/40;G06V10/82;G06V10/774;G06V10/44;G06T7/90;G06T7/00;G06T5/40;G06N3/08;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.06.07#授权;2023.01.31#实质审查的生效;2023.01.10#公开

摘要：本发明提供了一种针刺手法运动轨迹的识别转录系统及方法，涉及视频技术领域，包括OpenCV解码器、图像处理器、物体跟踪器和运动轨迹输出器，所述OpenCV解码器用于将输入的针灸手法视频转为每一帧的图像；本发明可以对视频进行解码，输出视频中的每一帧的图像，可以对第一帧图像进行处理，获取初始的坐标，可以对每一帧图像中的针灸动作进行跟踪，并记录动作的坐标，可以对记录下的坐标进行处理，输出运动距离‑时间曲线、速度时间曲线、加速度‑时间曲线与能够供运针仪器能够识别的动作序列，以此，能够采集动作轨迹等数据，将中医的针灸动作转化为供仪器识别的动作组合，从而让运针仪能够做出对应的针灸动作。

主权项：1.一种针刺手法运动轨迹的识别转录方法，其特征在于，包括以下步骤：S1：打开针灸动作的视频；S2：利用OpenCV视频解码器对打开的视频文件进行图像解码；S3：利用图像处理器对解码的图像进行处理，包括使用卷积神经网络识别视频手法类型、转换图像颜色空间、对转换后的图像进行目标增强、利用Suzuki轮廓检测算法对图像中的针灸动作进行识别，获取初始坐标；S4：将得到的初始坐标作为起始坐标，使用物体跟踪器对视频图像中的针灸动作进行追踪，包括利用CamShift算法对视频中的运动轨迹进行计算并记录；S5：反复取下一帧图像并进行跟踪、记录，直至处理完所有视频帧图像；S6：使用运动轨迹输出器将记录下的运动轨迹输出为运动距离角度-时间曲线、角速度-时间曲线、角加速度-时间曲线、以及运针仪可识别的G-Code指令序列；其中所述S3包括：S31：使用卷积神经网络进行训练，获取针柄针顶标记物的图像特征；S32：打开针灸视频，使用OpenCV提取视频中的每帧的图像；S33：使用神经网络对首帧图片进行以下操作识别并分类，判断视频为提插类或捻转手法；S34：对首帧图片转换图像颜色空间、对转换后的图像进行目标增强、利用Suzuki轮廓检测算法对图像中的针灸动作进行识别，获取针柄标记物的初始坐标；所述S31包括：S311：准备数据集，提取提插类和捻转类对应手法的视频的首帧图像，按照手法进行归类，作为数据集；S312：搭建一个卷积神经网络，使用S311中准备的数据集进行训练；S313：将训练好的模型保存，供识别时使用；所述S33包括：S331：加载S313中保存的神经网络模型；S332：对S32中提取出的视频首帧图像，使用S313中的模型对其类别进行预测；S333：根据对图像手法类别的预测，选择其预测结果中概率最大的结果为，视频对应的手法类型；所述S34包括：S341：将图片从RGB颜色空间转换为HSV颜色空间；S342：将HSV图像的三通道分量进行处理，以筛选出针柄标记物作为起始追踪目标；S343：将处理后的HSV图像与首帧图像按位比较，去除其他无用图像，仅保留需要追踪的针柄标记物；S344：对得到的图像采用Suzuki算法，获取目标边缘点集，具体步骤如下：1：为每个边界编号，保证编号唯一，记当前跟踪的边界编号为NBD，上一个跟踪的边界编号为LNBD；2：使用光栅扫描法对图像进行扫描，每次扫描到新的一行时，令LNBD＝1，当扫描到某个像素点i，j的灰度值fi，j≠0时执行下一步骤；3：当fi，j＝1且fi，j-1＝0，令i2，j2＝i，j-1，NBD+1，当fi，j≥1且fi，j+1＝0，令i2，j2＝i，j+1，NBD+1，当fi，j≠1，跳转到9；4：以i，j为中心，i2，j2为起点，按顺时针方向查找非0像素点，当存在，则记录第一个像素点的位置i1，j1，当不存在，则令fi，j＝-NBD，跳转到9；5：令i2，j2＝i1，j1，i3，j3＝i，j；6：以i2，j2为中心，i3，j3为起点，按逆时针方向查找非0像素点，当存在，则记录为i4，j4；7：当fi3，j3+1＝0，则fi3，j3＝-NBD，当fi3，j3+1≠0，且fi3，j3＝1，则fi3，j3＝NBD；8：当i4，j4＝i，j，i3，j3＝i1，j1，跳转到5，否则，i3，j3＝i4，j4，i2，j2＝i3，j3；9：当fi，j≠1，则令LNBD＝|fi，j|，继续从i，j+1扫描，当扫描到图片的最右下角时，扫描结束；S345：对S344中获取的目标边缘点集进行框选，此即为初始坐标。

全文数据：

权利要求：

百度查询： 湖北中医药大学 一种针刺手法运动轨迹的识别转录系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD