Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 深圳幻影未来信息科技有限公司王聪获国家专利权

深圳幻影未来信息科技有限公司王聪获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉深圳幻影未来信息科技有限公司申请的专利虚拟数字人的交互装置、系统及其方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118535005B

龙图腾网通过国家知识产权局官网在2025-06-10发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410370711.1,技术领域涉及:G06F3/01;该发明授权虚拟数字人的交互装置、系统及其方法是由王聪;陈国峰;姜龙;陈亮;梁东耀;任文龙;王玉雪;赖明峥;王惠捷设计研发完成,并于2024-03-29向国家知识产权局提交的专利申请。

虚拟数字人的交互装置、系统及其方法在说明书摘要公布了:本发明涉及一种虚拟数字人的交互方法、装置及存储介质,其中方法包括:虚拟数字人开机后进入待机状态,等待接收唤醒信号后进入唤醒流程,切换到工作状态,所述唤醒流程包括语音唤醒流程和视觉唤醒流程;基于虚拟数字人的多模态传感器,获取环境信息和用户信息;基于大语言提示词工程,虚拟数字人与用户进行交互;基于大语言模型的提示词工程预设的人物设定,将虚拟数字人换装。能实现在特点环境下虚拟人与用户的实时自然语言交流,配合虚拟数字人的脸部表情、动作和职业装扮,达到提升虚拟数字人与现实场景融合的技术效果。

本发明授权虚拟数字人的交互装置、系统及其方法在权利要求书中公布了:1.一种虚拟数字人的交互方法,其特征在于,所述的方法包括:S100、确定接收唤醒信号,使虚拟数字人进入唤醒流程,由待机状态切换到工作状态,所述唤醒流程包括语音唤醒流程;S200、基于虚拟数字人的多模态传感器,获取环境信息和用户信息;S300、基于大语言提示词工程,虚拟数字人与用户进行交互;S400、基于大语言模型的提示词工程,调整虚拟数字人的人物角色设定;其中,所述步骤S100中,所述语音唤醒流程包括以下步骤:S110、在待机状态下,采集环境声音,检测是否存在人声唤醒信号,所述人声唤醒信号包括人声、唤醒关键词和声纹特征;S120、若检测到的人声唤醒信号达到预设的阈值,唤醒虚拟数字人,使虚拟数字人从待机状态转换为工作状态;其中,所述步骤S110中,检测是否存在人声唤醒信号包括以下步骤:S111、对接收到的环境声音进行降噪预处理,所述降噪预处理包括对声音信号进行分帧、加窗、预加重和自适应端点检测VAD;S112、基于MDCC提取语音特征,把语音特征输入到声纹识别模型,声纹识别过程是首先提取语音特征,在把特征输入模型中训练,最后寻找分数最高或者最接近的结果,声纹识别包括训练阶段和测试阶段,其中,训练阶段包括输入训练语音、特征提取、模型训练和声纹库搜索或生成新的目标用户注册语音;测试阶段包括输入测试语音、特征提取、声纹匹配打分和区分目标用户或非目标用户,对于虚拟数字人来说,目标用户可以定义为已经与虚拟数字人有互动过且存储在存储器中的用户,非目标用户可以定义为首次与虚拟数字人互动,虚拟数字人需新建存储空间存储用户的信息;虚拟数字人首先接收声音,对声音进行预处理、MFCC、声纹识别,然后根据识别结果与用户进行沟通或新建新的用户;S113、检测是否存在人声唤醒信号,并将语音特征与声纹匹配库的已有声纹做声纹匹配,所述人声唤醒信号包括唤醒词,所述唤醒词存储在所述声纹识别模型的公共区内;虚拟数字人语音监听软件收集环境声音,检测是否存在人声唤醒信号,若检测到的人声唤醒信号达到阈值,唤醒虚拟数字人并进入工作状态,进入工作状态后,虚拟数字人向用户输出应答信号,并通过麦克风收集用户的语音信号,虚拟数字人通过语音转文字服务将收集到的用户语音信号转换成文字,输入到大语言模型服务,大语言模型服务输出文字,通过文本转语音服务输出语音,虚拟数字人基于动画控制程序,输出表情和动作;S114、若声纹匹配成功,调取与声纹相匹配的用户信息,若声纹匹配不成功,新建用户存储空间;其中,所述步骤S300中,包括以下步骤;S310、进入工作状态后,通过多模态传感器接收用户的图像和语音,将语音和图像传入语音图像提取网络提取语音和图像;S320、基于语音转文字服务,将语音转换为文字;S330、基于大语言模型服务,输出语言文本;S340、基于文本转语音服务,将大语言模型服务输出语言文本转换为语音;S350、基于虚拟人动画控制程序,输出声音、表情和动作;S360、若接收到用户的回应,重复步骤S310至步骤S350,对接收的内容进行反馈,输出语音、表情和动作;其中,所述步骤S310中,所述语音图像提取网络包括:语音分离网络和视觉分离网络,所述语音分离网络包括依次连接的混合语音接收模块、STFT语音时频变换模块、语音特征提取模块、语音上采样模块和ISTFT频时变换模块,所述视觉分离网络包括依次连接的混合视觉接收模块、VGGFace特征提取模块、视觉特征网络模块,还包括融合模块,所述融合模块的输入分别与所述语音特征提取模块和VGG特征提取模块连接,所述融合模块的输出与所述语音上采样模块连接。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人深圳幻影未来信息科技有限公司,其通讯地址为:518000 广东省深圳市南山区前海深港合作区南山街道梦海大道5188号前海深港青年梦工场北区3栋202B2;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。