申请/专利权人：四川深蓝鸟科技有限公司

申请日：2024-03-15

公开（公告）日：2024-06-14

公开（公告）号：CN117893953B

主分类号：G06V20/40

分类号：G06V20/40;G06V10/25;G06V10/74;G06V10/82;G16H50/20

优先权：

专利状态码：有效-授权

法律状态：2024.06.14#授权;2024.05.03#实质审查的生效;2024.04.16#公开

摘要：本申请公开了一种软式消化道内镜操作规范动作评估方法及系统，涉及医疗系统技术领域。包括对消化道内镜操作中涉及的目标进行图像采集，以及所述目标在所述消化道内镜操作中所做动作进行拆分，建立消化道内镜标准操作规范数据库；将识别出的所述目标在所述消化道内镜操作中所做动作与所述标准操作规范数据库中的对应动作进行比对；实时输出所述目标当前所做动作与规范数据的比对结果，当前所做动作评估不规范时，进行提醒；消化道内镜操作整体完成后对所有比对结果进行汇总评估，实时检测内镜医师的操作状态，即时纠正规范，有效提高医师操作技能的一致性和质量，提升内镜诊疗技术的整体水平和诊疗质量。

主权项：1.一种软式消化道内镜操作规范动作评估方法，其特征在于，包括：对消化道内镜操作中涉及的目标进行图像采集，以及所述目标在所述消化道内镜操作中所做动作进行拆分，对所述目标以及所述目标所做的动作进行识别，建立消化道内镜的标准操作规范数据库；对消化道内镜的操作过程进行视频流的实时采集，将实时采集的所述视频流进行特征提取，对所述视频流中所述目标在所述消化道内镜操作中所做动作进行识别；将识别出的所述目标在所述消化道内镜操作中所做动作与所述标准操作规范数据库中的对应动作进行比对；实时输出所述目标当前所做动作与规范数据的比对结果，当前所做动作评估不规范时，进行提醒；消化道内镜操作整体完成后对所有比对结果进行汇总评估；所述建立消化道内镜的标准操作规范数据库的步骤中，具体的消化道内镜操作过程通过摄像头采集视频流呈现，对所述视频流进行目标检测和人体关键点检测：所述目标检测包括对医生、患者、助手、内镜和活检钳进行识别；所述人体关键点检测包括对患者姿态识别、医生动作识别和助手动作识别，具体通过对医生、患者和助手的预设骨骼点进行识别，通过预设骨骼点的位置、角度和姿态变化，对所述目标的动作进行识别；对摄像头采集视频流进行判断，将所述目标所做的动作属于标准操作的视频流进行保存，同时根据消化道内镜标准操作的先后顺序进行排列，形成所述建立消化道内镜的标准操作规范数据库；分别对消化道内镜操作过程中涉及的目标，以及目标对应动作进行识别检测，首先目标包括医生、患者、助手、内镜和活检钳，通过引入包括外观信息作为度量标准，可以准确识别医生、患者和助手的身份；所述实时输出所述目标当前所做动作与规范数据的比对结果，当前所做动作评估不规范时，进行提醒的步骤之后，还包括：当医生认为依据患者自身情况，当前所做动作并无不规范时，取消提醒；所述消化道内镜操作整体完成后，对于医生取消提醒对应动作进行判断，如对应动作属于标准操作，则将对应视频流保存至所述标准操作规范数据库；如对应动作属于需要前置条件才存在的标准操作时，补充所述前置条件，再次出现所述前置条件时，使用对应动作对应视频流作为标准操作，所述前置条件包括患者生理数据；所述消化道内镜操作整体完成后对所有比对结果进行汇总评估的步骤，包括对所述标准操作规范数据库中的对应动作进行设置分数以及对应的评分标准，对所述消化道内镜操作整体流程中识别出的动作进行逐一评分，整体流程完成后整合所有分数，同时生成操作报告；所述将识别出的所述目标在所述消化道内镜操作中所做动作与所述标准操作规范数据库中的对应动作进行比对的具体实施方式包括：通过使用目标检测算法，包括YOLOv8模型，能够精确地识别包括医生、患者、助手、内镜和活检钳相关设备的位置；同时，还应用DeepSort算法对医生、患者和助手进行目标检测跟踪；DeepSort算法包括：检测、表观特征提取和数据关联；首先，使用YOLOv8对目标进行检测；然后，采用行人重识别网络模型提取目标的表观特征，生成一组向量；接下来，使用余弦距离来计算轨迹与目标之间的相似度，以实现数据关联；使用余弦距离来计算目标轨迹与检测结果之间的相似度，这里的目标轨迹和检测结果都可以通过它们的表观特征来表示为向量；目标轨迹的向量表示：对于目标轨迹，每一个轨迹可以通过历史检测到的目标的表观特征的聚合来表示；检测结果的向量表示：对于每一个新的检测结果，即在当前帧中检测到的目标，也可以通过从该检测的图像区域中提取表观特征来表示为一个向量；余弦相似度是通过计算这两个特征向量的点积并除以它们各自的模长来得到的，公式如下： ;其中，是新检测结果的表观特征向量，是轨迹的表观特征向量，T表示向量的转置；余弦相似度的值范围是-1到1，其中1表示完全相同的方向，-1表示完全相反的方向，0表示正交；为了计算余弦距离，使用1减去余弦相似度的值，即： ;余弦距离的范围是0到2，其中0表示完全相同的方向，2表示完全相反的方向；通过将1减去余弦相似度，可以得到这两者之间的余弦距离；余弦距离的值越小，表示目标轨迹与检测结果之间的相似性越高； ; 表示一个指示器，用于判断余弦距离是否小于，以确定是否发生匹配；通过引入外观信息作为度量标准，可以准确识别医生、患者和助手的身份；通过识别助手与内镜、活检钳的bbox，可以计算出助手与内镜、活检钳的IoU，从而判断助手与内镜、活检钳是否发生接触；假设助手的边界框由以下四个值定义：x1,y1,x2,y2，其中x1,y1是左上角的坐标，x2,y2是右下角的坐标；同样，内镜的边界框也由类似的坐标定义：x1a,y1a,x2a,y2a；那么助手与内镜之间的IoU可以通过下面的公式计算： ; ;如果IoU0.2，则视为助手操作了内镜，判断违规，系统进行提醒。

全文数据：

权利要求：

百度查询： 四川深蓝鸟科技有限公司 一种软式消化道内镜操作规范动作评估方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD