申请/专利权人：山东商业职业技术学院

申请日：2024-03-15

公开（公告）日：2024-05-31

公开（公告）号：CN117911829B

主分类号：G06V10/80

分类号：G06V10/80;G06V10/28;G06V10/44;G06V10/764;G06V10/776;G06V10/82;G06V20/56;G06V20/64;G06N3/0442;G06N3/045;G06N3/0464;G06N3/084;G06N3/086;G06N3/0985

优先权：

专利状态码：有效-授权

法律状态：2024.05.31#授权;2024.05.07#实质审查的生效;2024.04.19#公开

摘要：本发明涉及点云图像融合技术领域，具体为车辆导航的点云图像融合方法及系统，包括以下步骤：基于实时采集的环境图像数据和点云数据，采用卷积神经网络模型，对图像数据进行特征提取，应用简单线性迭代聚类超像素算法，将点云数据分割成差异化区域，利用数据融合算法，将图像特征与点云数据中对应区域匹配和融合，生成基础三维环境模型。本发明，通过卷积神经网络模型结合简单线性迭代聚类超像素算法，有效地增强了环境识别的准确性和细致度，梯度下降法、扩展卡尔曼滤波算法、深度确定性策略梯度算法和长短期记忆网络模型的结合使用，提高了点云图像融合对未来环境变化的适应性和响应速度。

主权项：1.车辆导航的点云图像融合方法，其特征在于，包括以下步骤：基于实时采集的环境图像数据和点云数据，采用卷积神经网络模型，对图像数据进行特征提取，应用简单线性迭代聚类超像素算法，将点云数据分割成差异化区域，利用数据融合算法，将图像特征与点云数据中对应区域匹配和融合，生成基础三维环境模型；基于实时采集的环境图像数据和点云数据，采用卷积神经网络模型，对图像数据进行特征提取，应用简单线性迭代聚类超像素算法，将点云数据分割成差异化区域，利用数据融合算法，将图像特征与点云数据中对应区域匹配和融合，生成基础三维环境模型的具体步骤如下：基于实时采集的环境图像数据和点云数据，采用卷积神经网络模型，使用TensorFlow和Keras库，定义模型结构，包括添加多个Conv2D层进行图像中路标、交通信号特征提取，使用MaxPooling2D层减少特征维度，设置优化器为Adam，损失函数选择categorical_crossentropy，生成图像特征向量集；基于实时采集的环境图像数据和点云数据，采用简单线性迭代聚类超像素算法，通过scikit-image库执行SLIC函数，设置区域大小参数为200，迭代次数为10，根据颜色和空间接近性，将点云数据分割成差异化区域，生成点云差异化区域集；基于所述图像特征向量集和点云差异化区域集，采用数据融合算法，通过OpenCV库中的matchTemplate函数，使用归一化相关系数方法，计算特征向量与点云区域特征之间的相似度，选择相似度最高的区域进行匹配，应用加权平均法，融合匹配区域的特征，创建包括路标、交通信号信息的环境模型，生成基础三维环境模型；基于所述基础三维环境模型，使用信息增益率算法，通过分析图像和点云数据特征对模型信息量的贡献度，评估特征的重要性，采用加权平均法，调整点云与图像数据在融合过程中的权重，生成优化融合权重信息；基于所述基础三维环境模型，使用信息增益率算法，通过分析图像和点云数据特征对模型信息量的贡献度，评估特征的重要性，采用加权平均法，调整点云与图像数据在融合过程中的权重，生成优化融合权重信息的具体步骤如下：基于所述基础三维环境模型，采用信息增益率算法，通过Python的Scikit-learn库，计算模型中特征对模型信息量的贡献度，包括路标识别和交通信号状态，通过特征与目标变量间的互信息量评估，计算每个特征的信息增益值，识别影响模型预测性能的特征，生成特征重要性评估结果；基于所述特征重要性评估结果，使用决策树算法，通过Scikit-learn库的DecisionTreeClassifier函数，构建决策树，设置参数criterion为entropy，评估特征的分类效能，验证信息增益率算法评估结果的有效性，生成决策树分析结果；基于所述决策树分析结果，采用加权平均法，对点云与图像数据在融合过程中的权重进行调整，评估特征权重调整后对融合模型精确度的影响，为每个特征分配匹配权重，生成优化融合权重信息；所述优化融合权重信息具体为路标和交通信号在融合过程中的权重增加信息、周边车辆和障碍物的权重调整信息、背景元素的权重降低策略，基于所述优化融合权重信息，采用梯度下降法，优化点云图像融合过程中的参数，包括数据融合算法的权重分配和更新频率，匹配环境变化，生成调整后融合参数；基于所述调整后融合参数，采用扩展卡尔曼滤波算法，对点云数据和图像数据进行动态处理和实时更新，优化融合数据的时序性和连续性，生成实时更新融合模型；基于所述调整后融合参数，采用扩展卡尔曼滤波算法，对点云数据和图像数据进行动态处理和实时更新，优化融合数据的时序性和连续性，生成实时更新融合模型的具体步骤如下：基于所述调整后融合参数，对点云数据进行高斯滤波处理，去除环境噪声并优化数据质量，使用Python的NumPy库，通过定义滤波器的核大小为5x5和标准差为1.5，对点云数据中每个点应用高斯函数，生成预处理点云数据；基于所述预处理点云数据，对图像数据执行直方图均衡化处理，优化图像的对比度，采用OpenCV库中的cv2.equalizeHist函数，对图像中的像素值进行调整，通过重新分配图像像素的亮度值，改善图像在差异化光照条件下的可视效果，生成均衡化图像数据；基于所述均衡化图像数据和预处理点云数据，使用扩展卡尔曼滤波算法，进行融合，采用Python的FilterPy库，通过设置过程噪声和测量噪声协方差矩阵，根据点云数据和图像数据的动态变化，调整融合模型的状态估计，通过预测和更新步骤，调整融合模型状态，匹配实时环境变化，生成实时更新融合模型；基于所述实时更新融合模型，采用深度确定性策略梯度算法，进行权重调整，通过分析调整点云数据和图像数据在融合过程中的权重，模拟差异化融合策略，并评估对三维环境模型的影响，捕捉优化融合质量的权重分配方案，生成优化融合模型；基于所述实时更新融合模型，采用深度确定性策略梯度算法，进行权重调整，通过分析调整点云数据和图像数据在融合过程中的权重，模拟差异化融合策略，并评估对三维环境模型的影响，捕捉优化融合质量的权重分配方案，生成优化融合模型的具体步骤如下：基于所述实时更新融合模型，采用深度确定性策略梯度算法，初始化权重调整流程，利用Python的TensorFlow库，设定网络由输入层、三个隐藏层与输出层组成，通过输入层接收融合模型当前状态，隐藏层包括64、128、64节点，利用ReLU作为激活函数，输出层根据融合模型状态预测点云与图像数据的权重调整值，设置Adam优化器和均方误差损失函数，进行网络训练，根据融合模型状态进行权重预测，生成网络初始化配置；基于所述网络初始化配置，通过蒙特卡洛模拟，使用Python的NumPy库，生成模拟环境下的随机样本，模拟环境变化情景，在每个训练周期内，将当前融合模型状态构建在TensorFlow框架上，预测权重调整方案，通过进行差异化权重调整，利用融合模型质量的改进作为反馈进行学习，使用TensorFlow的经验回放机制存储每步的状态，并评估融合模型的性能变化，生成周期性权重调整方案评估结果；基于所述周期性权重调整方案评估结果，将最优权重调整方案应用到融合模型，通过自适应学习率调整算法，优化融合参数，包括权重分配和更新频率，匹配实时环境变化，生成优化融合模型；基于所述优化融合模型，采用长短期记忆网络模型，通过分析融合模型中的时间序列数据，预测未来时间内环境变化，包括交通流量变化、障碍物出现，并根据预测结果，调整点云图像融合策略，优化数据处理流程，匹配预测的环境变化，生成预测性融合策略；基于所述优化融合模型，采用长短期记忆网络模型，通过分析融合模型中的时间序列数据，预测未来时间内环境变化，包括交通流量变化、障碍物出现，并根据预测结果，调整点云图像融合策略，优化数据处理流程，匹配预测的环境变化，生成预测性融合策略的具体步骤如下：基于所述优化融合模型，采用长短期记忆网络模型，分析融合模型中的时间序列数据，使用Python的TensorFlow库，通过输入层接收时间序列数据，包括历史交通流量和障碍物出现记录，设置三个隐藏层捕获时间依赖性，选用ReLU激活函数，通过输出层预测未来时间内的环境变化，包括交通流量增减和障碍物出现的概率，生成环境变化预测结果；基于所述环境变化预测结果，应用逻辑回归模型，评估未来环境变化对当前点云图像融合策略的影响，利用Scikit-learn库，输入变量为预测的交通流量变化和障碍物出现的概率，输出变量为是否需要调整融合策略，采用liblinear求解器训练逻辑回归模型，设置正则化参数C为1.0，设定目标为识别融合参数调整的需求，生成融合策略调整信息；基于所述融合策略调整信息，使用动态调整算法，通过调整点云数据和图像数据在融合过程中的权重分配，和数据处理流程的更新频率，匹配预测的环境变化，生成预测性融合策略基于所述预测性融合策略，采用随机森林算法，进行融合数据的准确性验证和优化，通过与地面数据进行比对，识别并改进融合过程中的误差，优化融合模型的准确性和可靠性，生成验证调整融合模型；基于所述预测性融合策略，采用随机森林算法，进行融合数据的准确性验证和优化，通过与地面数据进行比对，识别并改进融合过程中的误差，优化融合模型的准确性和可靠性，生成验证调整融合模型的具体步骤如下：基于所述预测性融合策略，采用随机森林算法，进行融合数据准确性验证，使用Python的Scikit-learn库，构建随机森林模型，设定输入数据包括融合模型生成的点云数据和图像数据特征，与地面数据进行比对，通过构建多个决策树，对每个树的预测结果进行汇总，评估融合数据与真实环境数据之间的一致性，生成准确性验证结果；基于所述准确性验证结果，采用决策树分析，识别和分析融合过程中的误差来源，使用Scikit-learn库中的DecisionTreeClassifier输入为融合数据的特征与地面数据的误差关系，通过决策树的结构分析，通过计算信息增益进行特征选择，识别在误差产生中起到了关键作用的特征，生成误差源分析结果；基于所述误差源分析结果，采用梯度提升树算法，使用Python的Scikit-learn库，对融合模型参数进行调整，匹配预测的环境变化，并优化权重分配减少融合误差，优化模型的准确性和可靠性，生成验证调整融合模型。

全文数据：

权利要求：

百度查询： 山东商业职业技术学院 车辆导航的点云图像融合方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD