申请/专利权人：卓世科技(海南)有限公司

申请日：2024-01-24

公开（公告）日：2024-05-28

公开（公告）号：CN117635785B

主分类号：G06T13/40

分类号：G06T13/40;G06T13/20;G06F16/338;G06F16/33;G06F16/35;G06F40/211;G06F40/30;G06F18/25;G06N5/022;G06N5/04;G06N3/006;G06N3/0455;G06N3/042;G06N3/0442;G16H80/00;G16H70/00;G10L13/027;G10L13/033;G10L13/08;G10L25/30

优先权：

专利状态码：有效-授权

法律状态：2024.05.28#授权;2024.03.19#实质审查的生效;2024.03.01#公开

摘要：本发明提供一种护工数字人生成方法及系统，涉及数据处理技术领域，方法包括：获取护工专业知识和老年人兴趣知识，构建知识库；构建应答模型，利用知识库训练应答模型；收集训练后的应答模型的输出结果，结合图神经网络和句法树对输出结果进行情绪分类，得到多个情绪类型；录制视频样本，从视频样本中提取视频帧和音频流；接收护理对象的语音请求，将语音请求提取为文字请求，并将文字请求输入至应答模型，通过应答模型得到目标输出结果；解析目标情绪类型；构建双模编解码网络，将相应视频帧和音频流进行融合，得到具有音频特征和视频特征的护工数字人；通过护工数字人对目标输出结果进行播报。提升护工数字人的逼真程度和护理对象的对话体验。

主权项：1.一种护工数字人生成方法，其特征在于，包括：S1：获取护工专业知识和老年人兴趣知识，构建知识库；S2：结合BERT模型和图神经网络构建应答模型，利用所述知识库训练所述应答模型；S3：收集训练后的应答模型的输出结果，结合所述图神经网络和句法树对所述输出结果进行情绪分类，得到多个情绪类型；S4：录制待模拟护工关于所述情绪类型的视频样本，从所述视频样本中提取不同情绪类型的视频帧和音频流；S5：接收护理对象的语音请求，使用语音合成工具将所述语音请求提取为文字请求，并将所述文字请求输入至所述应答模型，通过所述应答模型得到目标输出结果；S6：解析所述目标输出结果的目标情绪类型；S7：构建具有多层LSTM的双模编解码网络，根据所述目标情绪类型将相应情绪类型的视频帧和所述音频流进行融合，得到具有音频特征和视频特征的护工数字人；S8：通过所述护工数字人对所述目标输出结果进行播报。

全文数据：

权利要求：

百度查询： 卓世科技(海南)有限公司 一种护工数字人生成方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD