申请/专利权人:南京景瑞康分子医药科技有限公司;北京大学
申请日:2024-02-06
公开(公告)日:2024-06-04
公开(公告)号:CN118135986A
主分类号:G10L13/02
分类号:G10L13/02;G10L25/30;G06F3/01
优先权:
专利状态码:在审-实质审查的生效
法律状态:2024.06.21#实质审查的生效;2024.06.04#公开
摘要:本发明公开了一种基于脑电的想象语音解码方法。本发明在受试者先进行发声语音然后进行想象语音的实验范式下,分别采集受试者的语音信号和脑电信号。首先使用迭代式的自监督语音反演模型提取语音对应的发声轨迹参数,然后构建脑电‑轨迹解码模型并使用多任务学习的方式训练模型。在使用阶段,以脑电信号为输入,输出预测的发声轨迹参数,随后使用声道实验室VTL作为发音式语音合成模型从预测的发声轨迹参数中合成语音。结果显示,本发明提出的想象语音解码方法可以从受试者的脑电中有效地合成语音,客观指标和主观指标上都优于现有方法。
主权项:1.一种基于脑电的想象语音解码方法,其特征在于,所述方法包括如下步骤:采集受试者在发声语音条件下的语音信号和想象语音条件下的脑电信号;对采集的语音信号和脑电信号进行预处理,获得预处理后的语音信号和脑电信号;根据预处理后的语音信号、语音反演模型和发声物理模型,从受试者的真实语音中估计发声轨迹参数和声道结构参数;根据预处理后的脑电信号和所述语音反演模型估计的发声轨迹参数构建用于预测发声轨迹参数的脑电-轨迹解码模型;通过脑电-轨迹解码模型从预处理后的脑电信号中预测发声轨迹参数,并将预测的发声轨迹参数与所述语音反演模型估计的受试者的声道结构参数一同输入发声物理模型合成语音。
全文数据:
权利要求:
百度查询: 南京景瑞康分子医药科技有限公司;北京大学 一种基于脑电的想象语音解码方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。