买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：成都中医药大学附属医院(四川省中医医院);成都市第一人民医院;甘肃中医药大学;中国民用航空飞行学院

摘要：本发明公开了一种基于对比学习的抽动障碍检测方法、系统及存储介质，属于图像识别技术领域。所述方法包括S1：数据采集阶段；S2：数据处理阶段；S3：抽动判别模型建立阶段；S4：抽动障碍检测阶段，将融合信号输入到抽动感知分子网络，然后使用抽动训练数据集对抽动感知分子网络进行训练直至收敛，最后通过抽动感知分子网络判断待测视频中的儿童是否患有抽动障碍。使用卷积神经网络提取小儿面部多尺度图像特征，同时使用对比学习对模型进行自监督训练，以解决抽动数据标定困难的问题，增强模型在不同情境下的鲁棒性。有助于提高小儿抽动障碍的准确诊断和监测能力，具有提升诊断精度、支持个性化治疗和推动计算机视觉在医学领域应用的重要意义。

主权项：1.一种基于对比学习的抽动障碍检测系统，其特征在于：包括：数据采集模块，用于采集3-18岁儿童的面部视频作为面部视频数据集；数据处理模块，用于将面部视频数据集分为若干个视频片段，由临床医生对部分视频片段进行标注，生成抽动视频片段和非抽动视频片段，作为抽动训练数据集，其中抽动视频片段为正样本，非抽动视频片段作为负样本；抽动判别模型建立模块，用于将面部视频数据集中未标注的视频片段分为局部眼睛视频序列、局部鼻子视频序列、局部嘴巴视频序列和全局人脸视频序列，并输入到四个支路中；然后对每个支路中的视频序列进行对比学习预训练，得到局部眼睛对比特征、局部鼻子对比特征、局部嘴巴对比特征和全局人脸对比特征；再将每个支路上的对比特征分别输入到一个CNN网络中提取对应的空间特征，随后将该空间特征输入到LSTM模型中得到对应的时空融合特征，四个支路中的时空融合特征分别包含局部眼睛的微表情和抽动变化、局部鼻子的微表情和抽动变化、局部嘴巴的微表情和抽动变化、全局人脸的微表情和抽动变化；将四个支路中的时空融合特征作为时空信号输入到多尺度信号融合单元，所述多尺度信号融合单元为编码器-解码器的网络结构，多尺度信号融合单元使用四个相同的编码器对四个支路输出的时空信号进行编码： ，其中和分别是四个支路编码后的时空信号，将和通过叠加进行特征融合，然后通过解码器进行解码得到融合信号：，其中是解码器的网络参数，是融合信号，表示特征的叠加，H表示融合信号的维度，表示实数域；抽动障碍检测模块，用于将融合信号输入到抽动感知分子网络，然后使用抽动训练数据集对抽动感知分子网络进行训练直至收敛，最后通过抽动感知分子网络判断待测视频中的儿童是否患有抽动障碍；所述的抽动判别模型建立模块中对比学习预训练包括以下步骤：首先对输入视频进行时间增强得到两个子视频，然后对每个子视频进行空间增强，从同一输入视频中采样的子视频为正例，从不同输入视频中采样的子视频为负例；所述时间增强使用纯随机采样或均匀采样或序列采样，所述纯随机采样是从输入视频中随机采样n个帧，然后按照输入视频的顺序进行排列，所述均匀采样是在输入视频的第一帧和最后一帧之间均匀采样，在连续采样帧之间保持均匀距离，所述序列采样是从输入视频中随机选取初始帧，选取初始帧连续的n-1帧；所述空间增强使用随机裁剪尺寸和或随机翻转和或随机亮度修改；所述的对比学习预训练还包括以下步骤：得到输入视频后使用三维卷积神经网络编码器块将输入的第i个视频x转换为潜在特征，然后使用投影头将其潜在特征转换为第一潜在嵌入输出，所述投影头包括两个密集层和密集层中间的激活函数，随后，将视频x空间增强后的视频经过同样的方法得到第二潜在嵌入zj，其中，hi表示第i个潜在特征，g⋅表示投影头，zi表示hi作为输入时g⋅输出的第一潜在嵌入；所述的对比学习预训练还包括以下步骤：将第一潜在嵌入zi和第二潜在嵌入zj之间的相似性定义为：，如果i和j为正例，则定义对比损失函数为：使得正例在特征空间中分布紧凑，其中是一个关于i，k的函数，当时输出为1，否则输出为0，表示一个扩展余弦相似度的温度参数，N表示输入一个批次的总样本数量，cosine⋅表示余弦相似度函数，T表示转置；所述的抽动障碍检测模块还用于将融合信号先经过抽动分类子网络的第一层即特征展平层，将融合信号中的三维融合特征转换为一个一维特征向量；随后，将展平后的一维特征向量输入到多个全连接层中，每一个全连接层中的每个神经元均与前一层中的所有神经元相连接；然后将全连接层的输出，输入到一个sigmoid激活函数中进行二分类决策，sigmoid激活函数将每个神经元的输出映射到范围[0,1]的概率值，若输出的值大于0.5即被认为是正类别，即患有抽动障碍；小于等于0.5被认为是负类别，即未患有抽动障碍。

全文数据：

权利要求：

百度查询： 成都中医药大学附属医院(四川省中医医院) 成都市第一人民医院 甘肃中医药大学 中国民用航空飞行学院 一种基于对比学习的抽动障碍检测方法、系统及存储介质