申请/专利权人：中山大学附属第一医院;广东海洋大学

申请日：2024-01-16

公开（公告）日：2024-05-28

公开（公告）号：CN118098212A

主分类号：G10L15/06

分类号：G10L15/06;G10L15/16;G10L15/26

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.06.14#实质审查的生效;2024.05.28#公开

摘要：一种基于Whisper模型的住院医师临床口试智能评分方法，包括根据测试语音数据建立训练数据集，训练数据集和文本标签翻倍；生成f*512*512规模文本标签矩阵；样本翻倍的音频数据特征矩阵输入两个连续的一维卷积层并使用GELU函数激活，开始构建Transformer输入网络；构建Transformer并加入全局注意力机制，生成完整的Transformer；到达Transformer的最优权重参数，生成改善的Whisper模型。使用Lora方法生成新的卷积核参数用于替换卷积核参数，得到带有更新后的权重参数的whisper的模型，微调权重替换后，得到改善的微调whisper模型。本发明在改进Whisper模型时使用全注意力，加快模型训练速度，提高效率。在特定领域的微调需求方面，用Lora方法对模型进行微调，避免冗余的权重，使得微调过程更为迅速准确。

主权项：1.一种基于Whisper模型的住院医师临床口试智能评分方法，包括：步骤1：收集住院医师临床知识测试语音数据，生成并校正文本标签，建立相应的训练数据集；根据输入的实际语音数据及其文本标签，通过Log-Mel声谱将训练数据集切割重组出多份样本，使训练数据集翻倍以扩充数据训练样本，文本标签也进行翻倍；步骤2：构建样本翻倍后的音频数据特征矩阵XNlog-melf，N1，mels的文本位置编码，在并行训练的神经网络中标记文本，将文本位置编码赋值给文本标签，得到f*512*512规模的文本标签矩阵TextN2f*512*512，N2，用以Transformer构建使用；其中f表示频率，mels是Mel滤波器数量，N2表示音频对应行数，N1表示训练数据集的特征矩阵Xlog-mf，mels单行返回的数量；步骤3：对样本翻倍的音频数据特征矩阵XNlog-melf，N1，mels有序的输入两个连续的一维卷积层并使用GELU函数激活，开始构建Transformer输入网络，其中两个连续的一维卷积层表示为2×Conv1D+GELU中，形成transformer的输入网络；步骤4：将步骤3生成的第二次GELU卷积返回矩阵与步骤2生成的f*512*512规模文本标签矩阵相加，得到含有位置编码的音频数据矩阵Xl，构建Transformer并加入全局注意力机制，生成完整的Transformer；步骤5：重复步骤3-4中处理构建Transformer，到达Transformer网络的最优权重参数，生成改善的Whisper模型Mnorm。

全文数据：

权利要求：

百度查询： 中山大学附属第一医院;广东海洋大学 一种基于Whisper模型的住院医师临床口试智能评分方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD