买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：长春大学

摘要：基于自监督学习的视听语音识别方法、设备和存储介质，属于数据处理技术领域，解决语音识别技术识别精度低和过度依赖标注数据成本高问题。本发明的方法包括：将视觉信息与音频信息结合起来进行语音识别，降低识别的错误率，并加入自监督预训练，通过对基于自监督模型的视听语音识别技术研究；在对视频数据特征提取中，在原来的卷积神经网络的基础上，加入了空间注意力机制和时间注意力机制，并且为防止模型在特定区域过度集中注意力，导致过拟合，还在模型参数中加入了正则化技术；利用随机掩蔽的策略，让模型进行自监督训练，进而提高模型的泛化能力；增强模型在复杂环境下的鲁棒性。本发明适用于需要高精度语音识别的各种应用场景。

主权项：1.一种基于自监督学习的视听语音识别方法，其特征在于，所述方法包括：步骤1：将获取到的音视频数据集分离为音频文件和视频文件，对所述视频文件进行预处理，获取图像数据；步骤2：对于所述音频文件，提取出MFCC特征；根据所述图像数据，得到图像特征；步骤3：使用自监督学习方法和随机掩蔽策略分别训练音频和视觉编码器；步骤4：将音频特征X′a和图像特征X′v送入到训练后的音频和视觉编码器，得到音频特征编码，标记为EA，图像特征编码，标记为EV，采用基于注意力机制的融合策略将二者融合，得到融合特征X；步骤5：将融合特征X送入到基于Conformer的解码器，解码器解析融合特征X，输出最终的语音识别结果；步骤3，包括：对于音频特征序列和图像特征，将掩蔽比例和时间步长的乘积作为被掩蔽特征的个数，进行掩码操作，具体为： 其中，MA和Mv分别是随机选定的需要被掩码的音频和图像索引合集；最小化预测值和真实值的差异，具体为： 其中，X′A-i和X′v-j分别表示除了被掩码的部分外的音频和图像特征序列，LA和Lv分别是音频和图像的损失函数，用于评估模型在预测掩码部分的性能；步骤2包括：采用基于二维卷积核构成的卷积神经网络进行卷积处理，得到图像特征，具体包括：进行卷积操作： 其中，Xv为图像序列，Xv＝{X1，X2，...，XT}，T为序列的长度，每帧图像Xv的维度为Cin×H×W，Cin是通道数，Cin＝1，H和W分别是帧的高度和宽度，的维度为Cout×H′×W′，W为卷积核的权重，f为激活函数RELU，b是一个偏置项；采用最大化池化处理函数： Zt为池化层处理后的特征图；获取空间注意力权重，调整特征图，具体为：St＝sigmoidfattConcat[AvgPoolZt，MaxPoolZt]，Z′t＝St·Zt，其中，St为空间注意力权重，Z′t为调整后的特征图，Zt为输入特征；加入时间注意力机制，具体为：查询向量键向量Kt＝Z′t，时间注意力权重的计算公式为：At＝softmaxQT·Kt，其中，At为时间步t的时间注意力权重；使用时间注意力权重加权每一帧的特征，具体为：Z″t＝At·Z′t，Z′t为考虑时间注意力后的特征；通过对所有时间步的加权特征Z″t进行汇总，得到图像的综合特征表示为： 其中，X′v为融合了空间和时间注意力机制的图像特征；所述卷积处理的损失函数为： 其中，Yo，c表示观察样本o的真实标签在类别c上的指示，如果o属于类别c，则值为1，否则，值为0；是模型基于图像特征X′v的预测输出；公式中，第一项是针对所有类别的交叉熵损失，第二项是所有模型权重的L2正则化项，λ是正则化系数。

全文数据：

权利要求：

百度查询： 长春大学 基于自监督学习的视听语音识别方法、设备和存储介质