申请/专利权人：杭州倚澜科技有限公司

申请日：2023-07-28

公开（公告）日：2024-06-21

公开（公告）号：CN118227746A

主分类号：G06F16/332

分类号：G06F16/332;G10L15/26;G06F16/31;G06F16/35;G06F40/166;G06F40/30;G06T13/20;G06T13/40

优先权：

专利状态码：在审-公开

法律状态：2024.06.21#公开

摘要：本发明涉及自然语言处理领域，公开了基于大语言模型的数字人流式多模态交互方法，将语音、图像转化成文本，利用大语言模型对文本语义理解；存储到原始文本流；对其内容执行文本重写，存储到加工文本流；提取出不同类别的辅助标签，存入专门的流；取出文本与辅助标签，生成语音模态实时输出及字粒度级别时间戳信息；与生成基于时间戳的辅助标签流结合组成基于时间戳的辅助标签流组；取出实时音频流喂入流式形变计算模块产生视觉模态实时输出；使用实时音频流与实时形变参数流实时驱动数字人。本发明提供的方法，其多模态流式生产注重于最小化多模态计算单位，有助于提高数字人实时交互性能，指定格式文本生成有助于生产出更具表现力的多模态输出。

主权项：1.一种基于大语言模型的数字人流式多模态交互方法，其特征在于，包括以下步骤：步骤S1，获取语音、图像、文本的多模态输入，并将语音、图像实时转化成文本，与直接输入的文本一起，结合时序信息，利用大语言模型完成对文本的语义理解，以决定将文本送入下一环节；步骤S2，将大语言模型实时输出的原始文本存储到原始文本流；步骤S3，满足多模态实时输出要求的情况下，利用大语言模型对原始文本流中的内容执行文本重写，将重写后的文本存储到加工文本流；其中，文本重写实现方式为通过设置Prompt要求大语言模型将文本改写成适合人类阅读的形式；步骤S4，满足多模态实时输出要求的情况下，通过设置Prompt要求大语言模型在加工文本流中的文本提取出不同类别的辅助标签，辅助标签除本身内容外，附带有文本索引信息表示标签的影响范围，将辅助标签存入专门的流，不同的流集合组成基于文本索引的辅助标签流组；步骤S5，从所述加工文本流与基于文本索引的辅助标签流组中取出文本与辅助标签，经由流式语音合成模块生成语音模态实时输出及字粒度级别时间戳信息；步骤S6，满足多模态实时输出要求的情况下，结合字粒度级别时间戳信息与所述基于文本索引的辅助标签流组内容生成基于时间戳的辅助标签流，不同的流集合组成基于时间戳的辅助标签流组；步骤S7，从流式语音合成模块中取出实时音频流，结合基于时间戳的辅助标签流组，喂入流式形变计算模块，产生视觉模态实时输出；步骤S8，使用实时音频流与实时形变参数流实时驱动数字人。

全文数据：

权利要求：

百度查询： 杭州倚澜科技有限公司 基于大语言模型的数字人流式多模态交互方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD