申请/专利权人：华南理工大学

申请日：2024-04-01

公开（公告）日：2024-06-21

公开（公告）号：CN117958765B

主分类号：A61B5/00

分类号：A61B5/00;G10L25/66;G10L25/24;G06N3/0455;G06F18/213;G06F18/22;G06F18/25

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.05.21#实质审查的生效;2024.05.03#公开

摘要：本发明系一种基于双曲空间对齐的多模态语音脏腑器官识别方法，包括，获取人体语音信号以及对应的文本信号；分别对语音信号和文本信号进行特征提取，得到音频特征和文本特征；将音频特征和文本特征映射至双曲几何空间中，确定映射后的音频特征和文本特征之间的双曲距离，以双曲距离作为相似度对音频特征和文本特征进行对齐；将对齐后的音频特征和文本特征依次进行交叉注意力融合以及特征拼接，得到人体语音特征；并根据人体语音特征对脏腑器官进行识别。本发明将多模态和双曲空间特征对齐结合起来，让特征融合前在双曲空间对齐，提高了多模态语音脏腑器官识别的准确率。

主权项：1.一种基于双曲空间对齐的多模态语音脏腑器官识别方法，其特征在于，包括：获取人体语音信号以及对应的文本信号；分别对语音信号和文本信号进行特征提取，得到音频特征和文本特征；将音频特征和文本特征映射至双曲几何空间中，映射至双曲几何空间中的音频特征表示如下： 映射至双曲几何空间中的文本特征表示如下： 式中，Xhyai和Xhyti分别表示双曲空间中的音频和文本特征，ai代表第i个音频特征，ti代表第i个文本特征，tanh·表示双曲正切函数，c表示球负曲率；确定映射后的音频特征和文本特征之间的双曲距离，映射后的音频特征和文本特征之间的双曲距离，通过如下公式获得； 式中，Sa,t表示映射后的音频特征Xhyai和文本特征Xhyti的双曲距离，St,a表示映射后的文本特征Xhyti和音频特征Xhyai的双曲距离；代表双曲空间中的运算符；以双曲距离作为相似度对音频特征和文本特征进行对齐；过程包括：按如下公式对相似度进行归一化： 式中，N代表批量大小，ε是温度系数，是一个可学习的参数，而m代表相似间隔；a代表音频特征；t代表文本特征；代表第i个音频模态对文本模态的相似度；代表第i个文本模态对音频模态的相似度；根据交叉熵确定音频-文本对比损失，用于优化双曲距离；对比损失表示如下： 其中，Lt2a为音频特征的对齐损失，La2t为文本特征的对齐损失，且 ya2ta和yt2at是生成的独热标签，其中负数对的概率为0，正数对的概率为1；将对齐后的音频特征和文本特征依次进行交叉注意力融合以及特征拼接，得到人体语音特征；根据人体语音特征对脏腑器官进行识别。

全文数据：

权利要求：

百度查询： 华南理工大学 基于双曲空间对齐的多模态语音脏腑器官识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD