申请/专利权人：中国航空综合技术研究所

申请日：2022-10-24

公开（公告）日：2024-05-10

公开（公告）号：CN115547362B

主分类号：G10L25/66

分类号：G10L25/66;A61B5/00;A61B5/18;G10L25/18;G10L25/30;G10L25/45

优先权：

专利状态码：有效-授权

法律状态：2024.05.10#授权;2023.01.20#实质审查的生效;2022.12.30#公开

摘要：本发明公开了一种基于梅尔谱图分解和神经网络融合进行疲劳度检测的方法，其包括以下步骤：1从语音疲劳数据库中获取已分类的语音数据，进行预处理得到梅尔谱图；2通过图像处理方法对数据进行增广；3将每张梅尔谱图以频率维度进行分解得到低频、中频、高频三个频梅尔谱图；4构建并训练三个疲劳度检测神经网络子模型；5将三个疲劳度检测神经网络子模型中最后一个卷积层输出的特征图组，以频率为维度重新拼接为全频段特征图，构建并训练疲劳度检测神经网络融合模型；6获取新的语音数据，输出相应疲劳度分类。本发明扩充梅尔谱图数据并对神经网络进行改进，可应对不同时长语音数据，有效对语音疲劳状态进行检测。

主权项：1.一种基于梅尔谱图分解和神经网络融合进行疲劳度检测的方法，其特征在于：其包括如下步骤：S1：获取语音疲劳数据，进行预处理并获得梅尔谱图；S11：从数据库中获取已经进行疲劳度分类的语音疲劳数据，疲劳度分类包括3种状态：清醒状态、中度疲劳状态、重度疲劳状态；S12：对每条语音疲劳数据进行预加重；S13：对预加重语音疲劳数据进行分帧；S14：对分帧语音疲劳数据采用汉明窗进行加窗处理；S15：得到语音疲劳数据的梅尔谱图；S2：通过图像处理方法将数据进行增广；对步骤S1中的每张梅尔谱图进行数据增强操作来扩充梅尔谱图的数据集，对每张梅尔谱图都进行以下四种操作进行数据增强：时间平移、频率遮蔽、时间遮蔽和时频遮蔽，使得每张梅尔谱图都被扩充为5张梅尔谱图；S3：将每张梅尔谱图以频率维度进行分解，得到梅尔谱图的低频梅尔谱图、中频梅尔谱图、高频梅尔谱图；S4：将步骤S3中得到的低频梅尔谱图、中频梅尔谱图、高频梅尔谱图作为输入，分别构建并训练三个疲劳度检测神经网络子模型，三个疲劳度检测神经网络子模型结构相同；S41：构建疲劳度检测神经网络子模型，具体结构如下：1疲劳度检测神经网络子模型具体连接结构为：由C1、C2、P1、C3、C4、P2、C5、C6、C7、P3、C8、C9、C10、P4、C11、C12、C13、SPP1、FC1、FC2、SF1依次堆叠构成，其中数字表示模块序号，字母表示模块类型，具体为：C表示轻量卷积块，P表示池化层，SPP表示空间金字塔池化层,FC表示全连接层，SF表示Softmax层；2轻量卷积块中包含有常规卷积和轻量卷积；对有P个卷积核的轻量卷积，只随机使用P2个卷积核进行常规卷积计算，得到P2个本征特征图，P为正偶数，再使用轻量卷积对逐个本征特征图进行卷积，获得P2个轻量化特征图，然后将本征特征图与轻量化特征图组合到一起作为轻量卷积块的输出；（3）使用空间金字塔池化层进行维度转换，将特征维度统一；S42：训练基于卷积神经网络的疲劳度检测神经网络子模型，得到训练完成的三个疲劳度检测神经网络子模型，根据输入分别为低频梅尔谱图、中频梅尔谱图、高频梅尔谱图，将三个疲劳度检测神经网络子模型相应称为低频疲劳度检测神经网络子模型、中频疲劳度检测神经网络子模型、高频疲劳度检测神经网络子模型；S5：将三个疲劳度检测神经网络子模型中最后一个卷积层输出的特征图组，以频率为维度重新拼接为全频段特征图，并以该全频段特征图组作为输入，构建并训练疲劳度检测神经网络融合模型；S51：构建疲劳度检测神经网络融合模型；疲劳度检测神经网络融合模型具体连接结构：由C14、SPP2、FC3、FC4、SF2依次堆叠构成，其中数字表示模块序号，字母表示模块类型，具体为：C表示轻量卷积块，SPP表示空间金字塔池化层，FC表示全连接层，SF表示Softmax层；卷积层配置、激活函数设置与疲劳度检测神经网络子模型一致；S52：训练疲劳度检测神经网络融合模型，得到训练完成的疲劳度检测神经网络融合模型；S6：获取语音数据，使用步骤S12-S15中的步骤对语音数据进行预处理并获得梅尔谱图；使用步骤S3对梅尔谱图进行频域分解;将数据输入到步骤S4中训练好的子模型中；提取三个子模型最后一个卷积层输出的特征图，拼接为全频段特征图，输入到步骤S5中训练好的疲劳度检测神经网络融合模型中；输出语音数据的疲劳度分类。

全文数据：

权利要求：

百度查询： 中国航空综合技术研究所 基于梅尔谱图分解和神经网络融合进行疲劳度检测的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD