买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉大学

摘要：本发明公开了一种基于雷视多模态融合的水位监测装置和水位监测设备，该装置包括采集模块、雷达数据处理模块和雷视多模态融合输出模块，其中，采集模块用于采集待探测区域的水位原始数据信息，水位原始数据信息包括RGB视频图像数据和雷达信号数据；雷达数据处理模块用于对雷达信号数据进行处理得到RDM图像数据；雷视多模态融合输出模块用于对RGB视频图像数据和RDM图像数据进行特征提取、特征融合处理，并得到水位分割结果图，以便根据水位分割结果图输出水位识别结果。本发明能够充分融合各传感器的数据特征，实现水位强鲁棒性、高精度测量，并能够实现复杂环境下的水位监测。

主权项：1.一种基于雷视多模态融合的水位监测装置，其特征在于，包括：采集模块，用于采集待探测区域的水位原始数据信息，所述水位原始数据信息包括RGB视频图像数据和雷达信号数据；雷达数据处理模块，用于对所述雷达信号数据进行处理得到RDM图像数据；雷视多模态融合输出模块，用于对所述RGB视频图像数据和所述RDM图像数据进行特征提取、特征融合处理，并得到水位分割结果图，以便根据所述水位分割结果图输出水位识别结果；所述雷视多模态融合输出模块包括：主干网络子模块，包括图像网络骨干单元和雷达骨干网络单元，所述图像网络骨干单元和雷达骨干网络单元由深度残差网络组成，分别用于对所述RGB视频图像数据和所述RDM图像数据进行卷积、正则化、激活函数激活和最大池化处理，实现特征提取；所述图像网络骨干单元和雷达骨干网络单元包括：CBAM注意力机制子单元，用于在通道和空间两个维度上产生两种注意力特征图信息，并将两种注意力特征图信息与初步提取的特征图数据相乘，以对初步提取的特征图进行自适应修正；所述主干网络子模块还包括第一卷积层、第二卷积层和空洞空间卷积池化金字塔，所述第一卷积层和空洞空间卷积池化金字塔连接在所述图像网络骨干单元的后端，所述第二卷积层连接在所述雷达骨干网络单元的后端，所述第一卷积层、空洞空间卷积池化金字塔和第二卷积层分别用于提高对应的自适应修正后的特征图的分辨率；所述主干网络子模块对所述RGB视频图像数据和所述RDM图像数据进行特征提取后得到图像特征和雷达特征，所述雷视多模态融合输出模块还包括：特征融合子模块，用于采用全局注意力机制，通过自适应权重计算方法将所述图像特征和雷达特征进行融合，生成融合特征，并得到融合后的特征图；所述雷视多模态融合输出模块还包括：预测输出子模块，包括依次连接的第三卷积层、上采样单元和输出单元，所述预测输出子模块用于通过卷积、上采样操作恢复融合后特征图的尺寸和维度信息，并按照预设概率输出待探测区域的水面区域概率分布图，并根据所述水面区域概率分布图输出水位分割结果图，以及根据所述水位分割结果图输出水位识别结果；所述预测输出子模块根据所述水位分割结果图输出水位识别结果时，具体用于：获取水位分割结果图中的像素点坐标，并将所述像素点坐标进行转换，得到空间三维坐标；确定水位基准面，将所述空间三维坐标投影至所述水位基准面上得到投影点坐标；根据所述空间三维坐标和投影点坐标进行距离计算得到水位高度。

全文数据：

权利要求：

百度查询： 武汉大学 基于雷视多模态融合的水位监测装置和水位监测设备