买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川省医学科学院·四川省人民医院

摘要：本发明涉及一种基于AR技术的远程会诊系统及病情部位标记方法，属于医疗大数据信息处理技术领域。该系统包括数据采集层、数据处理层和应用服务层，其中，数据处理层包括患者状态评估预测模块和增强现实交互处理模块，患者状态评估预测模块包括查体音视频数据处理单元、患者医疗和个人数据处理单元、患者状态融合评估单元。本发明利用大数据和人工智能技术实现了远程专家会诊流程，利用增强现实技术实现了患者病情部位的标记和注释，并将标记和注释结果传回患者本地医护人员，综合利用查体数据评估结果、患者医疗数据和患者个人数据对患者现状进行评估，以及对下一阶段状态进行预测，提升了评估和预测的准确性。

主权项：1.一种基于AR技术的远程会诊系统，其特征在于，包括如下功能模块：数据采集层：包括查体音视频数据采集模块、增强现实视频数据采集模块、患者医疗数据采集模块、患者个人数据采集模块；其中，查体音视频数据采集模块，用于利用音视频对话的方式，对患者进行查体流程，采集专家医生的远程指令和对应远程指令下患者作出的运动反馈数据和语言反馈数据，采集患者伤口及病变部位状态数据、皮肤状态数据以及面容数据；所述增强现实视频数据采集模块，用于利用增强现实设备采集患者伤口及病变部位的视频流数据；患者医疗数据采集模块，用于采集患者心电图、血压、血氧饱和度、体温、检验检测报告、治疗和护理数据；患者个人数据采集模块，用于采集患者性别、年龄、既往病史、家族病史；数据处理层：包括患者状态评估预测模块和增强现实交互处理模块；其中，患者状态评估预测模块，包括查体音视频数据处理单元：用于对查体音视频数据进行处理，得到患者大运动智能评估结果、语言认知智能评估结果、伤口及病变部位状态智能评估结果、皮肤状态智能评估结果和特殊面容智能评估结果，将全部智能评估结果反馈至专家医生处，由医生确认是否对智能评估结果进行修正，若修正，将修正后的评估结果作为最终的评估结果，否则，将智能评估结果作为最终的评估结果，对最终的评估结果进行处理，得到患者评估结果特征向量；患者医疗和个人数据处理单元：用于对患者医疗数据和个人数据进行结构化和编码处理，得到患者医疗和个人数据特征向量；患者状态融合评估单元：利用所述患者评估结果特征向量和患者医疗和个人数据特征向量，得到患者现状评估结果和下一阶段状态预测结果；增强现实交互处理模块，用于专家医生对患者伤口及病变部位实现远程标记和分析，得到标记和分析数据，所述标记和分析数据被送回到患者所在的本地医护人员处，叠加在本地医护人员的显示屏幕上；应用服务层：包括风险预警模块和可视化模块；其中，风险预警模块，用于根据患者当前状态评估结果、下一阶段状态预测结果和大数据标准进程之间的偏差程度实现预警，所述大数据标准进程根据相似患者的病情演化进程得到；可视化模块，用于对患者现状和预测结果实现可视化展示；所述查体音视频数据处理单元具体包括：识别专家医生的远程指令，当所述远程指令为运动指令时，提取查体音视频数据中患者的运动视频数据；根据不同的指令类型，将运动视频数据切分成n段子视频，每段子视频对应同一个运动指令，对每段子视频分别提取关键帧序列（li1,li2,li3,...,lim），i=1,2,3......n；其中lim表示一张关键帧图片，图片中包括患者的运动区域和面部区域，运动区域对应运动指令的分解动作，根据所述关键帧序列对患者的每一个动作下的面部表情和动作姿态进行综合分析，得到动作完成度、连续度以及标准度；综合分析具体包括：提取每一张关键帧图片中患者的面部区域，分别提取面部区域的眉毛、眼睛、嘴巴的关键点特征，将所述关键点特征进行融合和降维处理，输入到预先训练的人工卷积神经网络表情识别模型中，得到每一张关键帧图片的表情类别，所述表情类别包括平静和痛苦，所述人工卷积神经网络表情识别模型包括一个输入层、一个输出层、2个卷积层、1个池化层、1个隐藏层、采用relu作为激活函数，采用交叉熵作为损失函数；提取每一张关键帧图片中患者的运动区域，分别提取运动区域涉及到的肢体部位，对每一个肢体部位进行关节点识别，分别提取患者在每一张关键帧图片中的动作姿态特征，和标准动作姿态特征进行匹配，得到分解动作的完成比例、完成时间差和完成相似度，根据每一个动作下的表情对完成比例、完成时间差和完成相似度进行正向和负向调整，得到最终的动作完成度、连续度以及标准度，作为大运动智能评估结果；当所述远程指令为问答指令时，提取查体音视频数据中患者的语言音频数据；根据不同的指令问题，将语言音频数据切分成n段子音频，每段子音频对应同一个问答指令，对每一段子音频数据进行语音内容识别、声纹特征提取和情绪特征提取，利用识别到的语音内容和问答指令之间的匹配度，得到患者的语言表达评分，具体为：预先构建问答指令和标准答案之间的对应关系，对识别到的语言内容进行分词操作得到关键词序列，将关键词序列和标准答案进行文本匹配，将文本匹配度作为语音内容和问答指令之间的匹配度；将声纹特征和情绪特征进行融合拼接，输入到预先训练的人工卷积神经网络认知识别模型中，得到每一段子音频的认知识别结果，所述认知识别结果包括正常和异常，所述人工卷积神经网络认知识别模型采用多层感知机实现；综合患者每一段子音频的语言表达评分和认知识别结果，得到语言认知智能评估结果；所述查体音视频数据处理单元具体包括：对伤口及病变部位状态数据进行处理，提取伤口及病变部位的大小特征、形状特征、颜色特征以及所在部位特征并融合得到伤口及病变部位特征向量，将所述伤口及病变部位特征向量输入到预先训练好的人工卷积神经网络病程识别模型中，输出患者目前伤口及病变部位处于不同病程阶段的概率值向量，将所述概率值向量中最大值对应的阶段作为患者切口创面的病程阶段；根据所述病程阶段得到伤口及病变部位状态智能评估结果；对皮肤状态数据进行处理，提取病变部位的皮肤颜色特征、纹理特征和大小特征并融合得到皮肤特征向量，将所述皮肤特征向量输入到预先训练好的人工卷积神经网络皮肤病变识别模型中，得到患者的皮肤病变程度，包括轻度、中度和重度；根据所述皮肤病变程度，得到皮肤状态智能评估结果；对面容数据进行处理，提取面容数据特征向量，将所述面容数据特征向量在预先构建的特殊面容数据库进行匹配，若匹配成功，则确认患者出现特殊面容，由此得到特殊面容智能评估结果；所述增强现实交互处理模块具体包括：在专家医生的终端界面上显示采集到的伤口及病变部位的实时视频流数据，对所述视频流数据进行人体部位和伤口及病变部位进行识别并智能标记，具体包括：对视频流数据进行压缩处理，提取视频流数据的关键帧序列（k1,k2,k3,...,kn），对所述关键帧序列中的首帧k1进行人体部位识别和伤口及病变部位区域识别，定位多个伤口及病变部位所处的不同人体部位，包括头部、躯干部和四肢部；提取首帧k1中不同人体部位上的伤口及病变部位特征，并在其余关键帧k2-kn中利用特征匹配的方式实现不同人体部位伤口及病变部位的跟踪和标记；根据预先构建的不同人体部位对应的伤口及病变注意事项，在不同人体部位处进行显示提醒；进一步对伤口及病变部位进行图像处理，提取伤口及病变部位的面积、颜色和纹理特征，对所述面积、颜色和纹理特征进行加权融合后进行分类得到初步分类结果并标记在视频流数据中；专家医生对智能标记后的视频流进行进一步处理，包括：根据实际情况对智能标记进行修改，利用界面上的图形和文字标注工具对需要重点关注的部位以及特殊情况实现框选、标记、添加文字注释；对压缩后的视频流数据进行解压缩处理传输回患者本地，在患者本地医护人员的终端界面上显示经过专家医生处理过的视频流数据，所述处理过的视频流数据包括：经过修改的智能标记和新添加的框选、标记、文字注释。

全文数据：

权利要求：

百度查询： 四川省医学科学院·四川省人民医院 一种基于AR技术的远程会诊系统及病情部位标记方法