买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳市中科先见医疗科技有限公司

摘要：本申请涉及一种基于语义分割和SLAM的AR设备景深信息应用方法；包括：对AR设备的前置相机设计语义分割模型，通过语义分割模型把用户眼前景象中的各物体进行分割得到语义分割图像；通过SLAM技术对用户需要注意的目标进行规划与提示增强，得到用户自身环境的深度图像；将深度图像与语义分割图像进行融合。本发明使用双目鱼眼相机实现纯视觉的SLAM，通过稠密视觉法动态构建地图以及对环境中各物体的定位与深度分割，实现虚拟信息与现实环境的耦合，通过将深度图像与语义分割图像进行融合后引导用户注视观察不同深度的物体以调节用户视力。

主权项：1.一种基于语义分割和SLAM的AR设备景深信息应用方法，其特征在于，包括：对AR设备的前置相机设计语义分割模型，通过语义分割模型把用户眼前景象中的各物体进行分割得到语义分割图像；通过SLAM技术对用户需要注意的目标进行规划与提示增强，得到用户自身环境的深度图像；将深度图像与语义分割图像进行融合；所述对AR设备的前置相机设计语义分割模型，通过语义分割模型把用户眼前景象中的各物体进行分割得到语义分割图像之前还包括：通过卷积神经网络可视化方法对卷积神经网络模型的最后一次卷积的特征图进行反向传播计算出相应的权重，再利用每张特征图乘于权重得到带有权重的特征图，计算出特征图的平均值并进行上采样即可得到由粗注释学习到的细注释，从而能够利用较粗的注释进行基于弱监督的卷积神经网络模型的训练；所述粗注释包括边界框或标签，所述细注释包括热图或掩膜；所述对AR设备的前置相机设计语义分割模型，通过语义分割模型把用户眼前景象中的各物体进行分割得到语义分割图像与通过SLAM技术对用户需要注意的目标进行规划与提示增强，得到用户自身环境的深度图像之间还包括：用户根据自身环境对语义分割模型的后端部分参数进行随机解冻实现自定义；所述对AR设备的前置相机设计语义分割模型，通过语义分割模型把用户眼前景象中的各物体进行分割得到语义分割图像包括：以包含全部类别的数据集对语义分割模型做预训练，待卷积神经网络层充分学习到各种图像的纹理后再进行迁移学习，对AR设备相关性高的数据进行针对性的训练；采用空洞卷积和空间金字塔型空洞池化结构设计语义分割模型，其中空洞卷积部分使用多尺度区域进行对象定位，将多个具有不同膨胀度的萎缩卷积分支组合在一起利用多尺度特性进行图像分割；在语义分割模型的后端使用全连接条件随机场对用户眼前景象中的各物体进行分隔。

全文数据：

权利要求：

百度查询： 深圳市中科先见医疗科技有限公司 基于语义分割和SLAM的AR设备景深信息应用方法