申请/专利权人：深圳市赛野展览展示有限公司

申请日：2024-04-17

公开（公告）日：2024-06-25

公开（公告）号：CN118071968B

主分类号：G06T19/00

分类号：G06T19/00;G06V20/20;G06V10/26;G06V10/25;G06T17/05;G06T15/00;G06T7/50;G06T5/50;G06F3/01;G06F3/04815

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2024.06.11#实质审查的生效;2024.05.24#公开

摘要：本发明涉及虚拟交互技术领域，尤其涉及一种基于AR技术的智能交互深展示方法及系统。所述方法包括以下步骤：获取实时环境图像；对实时环境图像进行图像预处理，得到标准环境图像；对标准环境图像进行环境物体分割，生成环境物体区域图像；对环境物体区域图像进行环境物体建模，从而生成三维物体模型；对三维物体模型进行目标位置检测，生成物体目标位置检测数据；基于物体目标位置检测数据对三维物体模型进行识别边界框构建，生成物体识别边界框。本发明通过根据物体图像进行实时环境建模三维建模和对实际环境的精确感知与对三维物体模型的准确定位，提高了建模的处理速度和识别精度，以及交互的流畅性。

主权项：1.一种基于AR技术的智能交互深展示方法，其特征在于，包括以下步骤：步骤S1：获取实时环境图像；对实时环境图像进行图像预处理，得到标准环境图像；对标准环境图像进行环境物体分割，生成环境物体区域图像；对环境物体区域图像进行环境物体建模，从而生成三维物体模型；步骤S2：对三维物体模型进行目标位置检测，生成物体目标位置检测数据；基于物体目标位置检测数据对三维物体模型进行识别边界框构建，生成物体识别边界框；根据物体识别边界框对三维物体模型进行物体连续帧运动路径分析，生成物体运动路径数据；步骤S2包括以下步骤：步骤S21：利用深度学习网络对三维物体模型进行物体特征向量提取，生成物体特征向量；基于目标检测算法对物体特征向量进行目标位置检测，生成物体目标位置检测数据；步骤S22：对物体目标位置检测数据进行位置曲率分析，生成物体目标位置曲率数据；将物体目标位置曲率数据和预设的标准曲率阈值进行对比，当物体目标位置曲率数据大于或等于预设的标准曲率阈值时，则将对应的物体目标位置检测数据标记为物体位置顶点数据；当物体目标位置曲率数据小于预设的标准曲率阈值时，则将对应的物体目标位置检测数据进行剔除；步骤S23：基于物体位置顶点数据对三维物体模型进行识别边界框构建，生成物体识别边界框；步骤S24：对三维物体模型进行目标匹配，生成物体运动轨迹数据；通过物体识别边界框和物体运动轨迹数据对三维物体模型进行物体连续帧运动估计，生成物体运动向量集；基于物体运动向量集进行物体运动路径构建，生成物体运动路径数据；步骤S24包括以下步骤：步骤S241：基于预设的时间间隔对三维物体模型进行帧拍摄，得到三维物体帧拍摄图像，其中三维物体帧拍摄图像包括初始帧拍摄图像和结束帧拍摄图像；对初始帧拍摄图像和结束帧拍摄图像进行图像重合，生成帧拍摄重合图像；步骤S242：对帧拍摄重合图像进行物体模型跟踪匹配，生成物体运动轨迹数据；通过物体运动轨迹数据和物体识别边界框对三维物体模型进行连续帧运动估计，生成物体运动向量集；步骤S243：对物体运动向量集进行数据降维，生成物体连续运动轨迹向量；根据卡尔曼滤波器对物体连续运动轨迹向量进行运动轨迹更新，生成物体连续运动轨迹更新向量；步骤S244：通过物体连续运动轨迹更新向量对帧拍摄重合图像进行物体运动轨迹路径构建，生成物体运动轨迹路径数据；步骤S3：通过物体运动轨迹路径数据对三维物体模型进行传感器数据采集，得到标准传感器采集数据；将标准传感器采集数据导入至三维物体模型中进行数据空间配准，生成传感器配准数据；对传感器配准数据进行图像深度空洞填充，生成三维物体空洞填充地图；根据三维物体空洞填充地图进行虚拟物体现实定位，生成虚拟物体位置指示器；步骤S3包括以下步骤：步骤S31：通过物体运动轨迹路径数据对三维物体模型进行传感器设置，并利用传感器进行数据采集，得到传感器采集数据；对传感器采集数据进行数据预处理，生成标准传感器采集数据，其中数据预处理包括数据去噪、数据校准和数据标准化；步骤S32：将标准传感器采集数据导入至三维物体模型中进行数据空间配准，生成传感器配准数据；对传感器配准数据进行数据集划分，生成模型训练集和模型测试集；利用支持向量机算法对模型训练集进行模型训练，生成三维物体深度训练模型；根据模型测试集对三维物体深度训练模型进行模型测试，从而生成三维物体深度预测模型；步骤S33：将传感器配准数据导入至三维物体深度预测模型中进行图像深度融合，生成三维物体深度图像；对三维物体深度图像进行深度地图空洞填充，生成三维物体空洞填充地图；步骤S34：根据三维物体空洞填充地图进行虚拟物体现实定位，生成虚拟物体现实位置定位数据；基于虚拟物体现实位置定位数据对三维物体模型进行指示器设置，从而生成虚拟物体位置指示器；步骤S34包括以下步骤：步骤S341：根据物体特征向量对三维物体空洞填充地图进行特征点匹配，生成物体特征点匹配数据；基于物体特征点匹配数据进行现实世界位置映射，生成虚拟物体现实位置定位数据；步骤S342：通过物体特征点匹配数据和虚拟物体现实位置定位数据进行姿态估计，生成虚拟物体姿态估计数据；步骤S343：将三维物体模型根据虚拟物体姿态估计数据投影至三维物体空洞填充地图进行虚拟物体投影，生成虚拟物体投射图像；基于虚拟物体投射图像进行摄像头部署，并通过摄像头进行用户信息捕获，从而得到用户交互信息数据；步骤S344：根据用户交互信息数据对虚拟物体投射图像进行用户交互感知分析，生成用户交互行为检测数据；基于用户交互行为检测数据进行交互反馈生成，得到交互反馈信息数据；通过交互反馈信息数据对三维物体模型进行指示器设置，从而生成虚拟物体位置指示器；步骤S4：通过虚拟物体位置指示器进行实时动态虚拟元素融合，生成动态虚拟元素合成图；对动态虚拟元素合成图进行用户特征识别，得到用户行为识别数据和用户姿势识别数据；基于用户行为识别数据和用户姿势识别数据进行用户反馈监测，生成用户智能交互展示界面。

全文数据：

权利要求：

百度查询： 深圳市赛野展览展示有限公司 一种基于AR技术的智能交互深展示方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD