申请/专利权人：大连海事大学

申请日：2024-04-10

公开（公告）日：2024-06-21

公开（公告）号：CN118230108A

主分类号：G06V10/80

分类号：G06V10/80;G06V20/40;G06V20/10;G06N3/0464;G06N3/0442;G06N3/0475;G06N3/08

优先权：

专利状态码：在审-公开

法律状态：2024.06.21#公开

摘要：本发明公开了一种基于多模态融合网络的海上安全信息智能决策支持系统；在数据处理端，提出多模态融合网络，可以分别使用不同的网络来训练不同的输入信息，包括航行AIS的经纬度信息、NAVTEX的文本信息、电子海图的矢量信息和光栅信息、以及视频图像的RGB信息和HOG信息，并在多模态网络的平行结构中，引入基于多头注意力机制的Concat融合结构使多模态信息的特征都能够充分被提取并有效融合。在结果展示端，提出基于生成式预训练的Transformer模型，通过对融合特征的多模态信息上下文理解，给出多模态的决策支持方案。本发明为航海人员提供智能化的航行决策支持服务，能够有效降低工作强度，提高工作效率。

主权项：1.基于多模态融合网络的海上安全信息智能决策支持方法，其特征在于：包括以下步骤：S1、构建接收多模态数据输入的多模态融合网络S11、构建多模态网络S111、构建时间序列网络即TSN采用长短期记忆的门控神经网络，处理具有时间序列特性的航迹数据即AIS数据IAIS和电子海图显示与信息系统即ECDIS数据IECDIS中的矢量信息Vector数据IVector，处理公式如下：OTSN＝TSNIAIS，IVector其中，OTSN为TSN的输出，IAIS和IVector为TSN的输入，TSN为基于长短期记忆门控神经网络结构的函数；S112、构建文本卷积网络即T-CNN采用文本向量化的卷积神经网络，处理具有上下文相关的NAVTEX报文数据INAVTEX，处理公式如下：OT-CNN＝T-CNNINAVTEX其中，OT-CNN为T-CNN的输出，INAVTEX为T-CNN的输入，T-CNN为基于文本卷积网络结构的函数；S113、构建图像卷积网络即I-CNN采用图像数值化的卷积神经网络，处理视频图像即Image数据IImage中的像素RGB数据IRGB和ECDIS数据IECDIS中具有图像特征的光栅Raster数据IRaster，处理公式如下：OI-CNN＝I-CNNIRGB，IRaster其中，OI-CNN为I-CNN的输出，IRGB和IRaster为I-CNN的输入，I-CNN为基于图像卷积网络结构的函数；S114、构建时序图像卷积网络即TICN采用时空融合的卷积神经网络，处理Image数据IImage中具有时空关联的梯度方向直方图HOG数据IHOG，处理公式如下：OTICN＝TICNIHOG其中，OTICN为TICN的输出，IHOG为TICN的输入，TICN为基于时序卷积网络结构的函数；S12、对多模态数据进行预处理所述多模态数据包括AIS数据IAIS、NAVTEX报文数据INAVTEX、电子海图数据IECDIS和视频图像数据IImage；S121、对AIS数据IAIS进行预处理AIS数据IAIS包括船舶航行的经度longitude、纬度latitude、航速speed和航向course，通过构建以下4元组：IAISk＝longitudek，latitudek，speedk，coursek以得到时间序列网络TSN的输入IAIS＝{IAIS1，IAIS2，...，IAISk，...，IAISt}，其中，IAISk表示IAIS中的第k个时刻对应的AIS数据，t为IAIS预处理后的数据总长度；S122、对NAVTEX报文数据INAVTEX进行预处理NAVTEX报文数据INAVTEX以文本形式进行存储，为使INAVTEX被T-CNN使用，采用文本向量化的方式，将INAVTEX转化为向量化数据作为文本卷积网络T-CNN的输入，公式为：INAVTEX＝{Word1，Word2，...，Wordi，...，WordL}其中，L表示INAVTEX预处理后词语的数目，Wordi表示第i个词在NAVTEX报文中的独热编码；S123、对电子海图数据IECDIS进行预处理IECDIS以矢量数据IVector和光栅数据IRaster的形式存储，分别作为时间序列网络TSN的输入IVector和图像卷积网络I-CNN的输入IRaster，公式如下：IVector＝{IVector1，IVector2，…，IVectork，…，IVectort}IRaster＝{IRaster1，IRaster2，...，IRasterj，...，IRasterm}其中，IVectork表示IVector中第k个时刻对应的矢量数据，t为IVector预处理后的数据总长度，IRasterj表示IRaster中第j个光栅数据，m表示IRaster预处理后光栅图像的数目；S124、对视频图像数据IImage进行预处理视频图像数据IImage以RGB数据IRGB和HOG数据IHOG的形式存储，分别作为图像卷积网络I-CNN的输入IRGB和时序图像卷积网络TICN的输入IHOG，公式如下：IRGB＝{IRGB1，IRGB2，...，IRGBj，...，IRGBm}IHOG＝{IHOG1，IHOG2，...，IHOGq，...，IHOGn}其中，IRGBj表示IRGB中第j个RGB图像数据，m为IRGB预处理后RGB图像的数目，IHOGq表示IHOG中第q个HOG图像数据，n表示IHOG预处理后HOG图像的数目；S13、输入多模态数据将预处理后的多模态数据，分别输入对应的平行网络TSN、T-CNN、I-CNN和TICN中，进行训练学习；S14、对多模态平行网络的特征进行对齐与融合将平行网络TSN、T-CNN、I-CNN和TICN对应的输出OTSN、OT-CNN、OI-CNN和OTICN基于多头注意力机制MHA进行Concat融合，得到多模态融合网络的最终输出OFinal，公式如下：OFinal＝ConcatMHAOTSN，MHAOT-CNN，MHAOI-CNN，MHAOTICNS2、多模式的多模态结果展示S21、通过海量数据的反馈式训练，得到基于生成式预训练模型即GPT模型；GPT模型的输出OGPT公式如下：OGPT＝GPTOFinal＝{OGPTTSN，OGPTT-CNN，OGPTI-CNN，OGPTTICN}其中，OGPTTSN、OGPTT-CNN、OGPTI-CNN和OGPTTICN分别表示OTSN、OT-CNN、OI-CNN和OTICN经过GPT模型训练后得到的对应输出；S22、输出多模式S221、输出航迹ONavi根据输入的多模态数据，生成预设场景的航迹描述，公式如下： S222、输出文本OText根据输入的多模态数据，生成预设场景的文字描述，公式如下： S223、输出图像OImage根据输入的多模态数据，生成预设场景的图像描述，公式如下： S23、展示结果以多种模式提供便于读取、观察、监测的场景展示；S3、决策支持通过多模态融合网络得到的航迹、文本和图像的多模式输出展示，使船员更加易于理解多模态海上安全信息，并迅速决策。

全文数据：

权利要求：

百度查询： 大连海事大学 基于多模态融合网络的海上安全信息智能决策支持方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD