买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海理工大学

摘要：本发明涉及一种基于虚拟医生的认知障碍筛查交互系统及方法，系统包括患者状态识别模块、3D虚拟医生和交互系统硬件，交互系统硬件包括传感器、存储器和处理器，传感器采集患者状态数据，存储器存放有多模态问诊AI模型和3D虚拟医生，处理器负责驱动AI模型实时处理患者状态数据；患者状态识别模块能够实时识别患者的状态数据，通过多模态识别AI模型对患者语言、表情、动作状态进行实时识别；3D虚拟医生采用认知障碍问诊的临床决策模型，通过语音生成、表情生成和动作生成技术，提供患者个性化服务；解决了临床认知障碍筛查主观性，电子化认知量表评测内容不全面、体验和效果差的问题，本发明具有效率高、客观性、实时性、全面性、交互式反馈的优点。

主权项：1.一种基于虚拟医生的认知障碍筛查交互系统，其特征在于，包括患者状态识别模块、3D虚拟医生和交互系统硬件，交互系统硬件包括传感器、存储器和处理器，传感器采集患者状态数据，存储器存放有多模态问诊AI模型和3D虚拟医生，处理器负责驱动AI模型实时处理患者状态数据；患者状态识别模块能够实时识别患者的状态数据，从而实现对认知障碍的实时评测；3D虚拟医生通过三维重建对医院专业医生进行高度逼真的数字模拟，基于语音生成、表情生成和动作生成技术实现虚拟人物的自然表达，通过临床决策模型和动画生成模型，虚拟医生能够进行智能评估和实时交互；整个系统是通过对问诊过程的患者进行信息采集，采用多模态问诊AI模型识别患者语言、表情、动作真实状态，并将患者状态结果反馈给虚拟医生，由虚拟医生根据患者状态结果和临床决策AI模型给出评测结果，并进行语言、表情、动作多模态的输出；整个系统中各类算法模型由含有嵌入式AI算法处理器的交互系统硬件设备实现，其中患者实时状态识别模块和3D虚拟医生是本虚拟交互系统重要组成的部分；患者状态识别模块：患者状态识别模块能够采用多模态识别AI模型对患者语言、表情、动作状态进行实时识别，从而获得患者评测过程中语言表达清晰程度、表情是否存在痴呆、动作是否迟缓的真实状态，实现对认知障碍患者作答的实时评测；根据患者对认知评测作答的数据类型，系统构建五种AI模型完成14项认知评测，具体包括：语音文本AI模型，将患者的语音数据转化为文本，并进一步对文本进行处理；评测的认知内容包含记忆力评估、命名评估、注意力评估、计算力评估、抽象评估、回忆力评估、定向力评估、理解力评估、复述评估、语言流畅性评估；眼动分析AI模型，与语音文本AI模型共同完成阅读能力评估，语音文本AI模型首先分析患者是否完成指定阅读内容，其次由眼动分析AI模型判断患者是否完成阅读内容对应的眼部动作；图片文字识别AI模型，对患者书写的文字图片内容进行分析，评测的认知项为书写能力；图像处理AI模型，负责对患者绘制的图案进行分析，评测的认知项为结构能力；动作识别AI模型，负责对患者肢体动作进行分析，评测的认知项为动作执行能力；3D虚拟医生：3D虚拟医生主要完成认知障碍的实时评测和决策，虚拟医生采用三维重建技术对医院专业医生进行高度逼真的数字模拟，同时内置有基于临床诊断标准建立的多模态问诊AI模型，能够根据患者状态模型反馈的患者实时信息，进行准确的临床决策；并能够根据临床决策结果采用语音生成、表情生成和动作生成技术模仿真实人物的动态表达，生成实时动画；不同于已有的认知障碍软件中动画人物只有语音交互，无法识别患者动作表情真实状态，虚拟医生同时具有逼真的外表和临床问诊智慧，并具有两大功能：智能评估和实时交互；智能评估：根据患者状态识别模块实时输出的患者语言表达清晰程度、表情是否存在痴呆、动作是否迟缓的真实状态信息，采用认知障碍问诊的临床决策模型，3D虚拟医生自动确认患者认知评估得分完成临床诊断；实时交互：3D虚拟医生基于实时获取的患者状态数据与临床决策的结果，采用语音生成、表情生成和动作生成技术，3D虚拟医生根据不同患者的作答可做出不同的动态反应，提供患者个性化服务，从而替代临床中面对面认知筛查的专业医生；交互系统硬件：交互系统硬件主要功能是数据采集、存储和驱动模型，内置数据采集模块、患者状态识别模块、临床决策模型、动画生成模型、医生数字画像的各类程序算法，并由数据采集设备和AI嵌入式设备两大部分组成；数据采集设备主要负责患者认知评测过程中的数据采集，如图像、视频和语音数据，由触摸屏幕输入、摄像头和麦克风器组成；AI嵌入式设备主要包含存储器和处理器两大部分，存储器用于存储患者状态识别模块、临床决策模型、虚拟医生3D数字模型和动画生成模型；处理器可通过计算机可读指令调用这些模型进行患者状态分析和认知障碍评测，并驱动虚拟数字医生模型进行行为、表情、语言的实时动画输出。

全文数据：

权利要求：

百度查询： 上海理工大学 一种基于虚拟医生的认知障碍筛查交互系统及方法