买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中国科学技术大学申请的专利一种基于多模态数据融合的交通预测方法及应用获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115293428B 。

龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210944879.X，技术领域涉及：G06F18/24；该发明授权一种基于多模态数据融合的交通预测方法及应用是由华蓓;李力铤;贺若舟设计研发完成，并于2022-08-08向国家知识产权局提交的专利申请。

本一种基于多模态数据融合的交通预测方法及应用在说明书摘要公布了：本发明公开了一种基于多模态数据融合的交通预测方法及应用，该方法步骤包括：1、构建多模态输入数据，2、利用输入转化模块对多模态输入数据进行处理，3、利用时空信息，产生时空嵌入模块，4、利用跨模态注意力模块处理不同模态间的数据，5、利用最大池融合层将多模态的数据进行融合，6、利用时空注意力模块，进一步进行数据转化，7、利用输出线性层转化输出预测结果，8、迭代进行网络训练，得到训练后的模型。本发明能高效地结合多种模态的交通数据来实现准确的交通状态预测，从而能有效帮助城市交通管理者提前进行统筹安排，减少城市道路拥塞。

本发明授权一种基于多模态数据融合的交通预测方法及应用在权利要求书中公布了：1.一种基于多模态数据融合的交通预测方法，其特征在于，包括如下步骤：步骤1、构建多模态输入数据X；步骤1.1、构建一个有向的路网图其中，是路网中所有交通传感器的集合；ε是各个交通传感器之间的路段集合；是邻接矩阵，所述邻接矩阵中的元素值若为1，则表示两个交通传感器之间有路段连通，元素值若为0，则表示两个交通传感器之间无路段连通；步骤1.2、路网图中的N个交通传感器每隔一个时间步记录一次包括C种模态的交通状态数据，并将每种模态的交通状态数据进行归一化后，得到N个交通传感器在L个时间步的交通状态数据步骤1.3、从Xall中选取T个连续的历史时间步的C种模态的交通状态数据，并作为多模态输入数据令第c个模态的子输入数据表示为TL；步骤2、构建基于多模态数据融合的交通预测模型，包括：输入转化模块、时空嵌入模块、跨模态注意力模块、最大池化融合层、时空注意力模块和输出线性层；所述输入转化模块包括：输入线性层和位置嵌入层；所述时空嵌入模块包括：空间嵌入模块和时间嵌入模块；所述跨模态注意力模块包括：第一跨模态注意力层、第一前馈神经网络、第二跨模态注意力层、第二前馈神经网络；所述时空注意力模块包括：时间注意力层、第三前馈神经网络、空间注意力层、第四前馈神经网络；步骤3、所述输入转化模块的处理；步骤3.1、所述输入线性层将第c个模态的子输入数据Xc进行转化处理，得到含有D维隐空间的第c个模态的转化数据步骤3.2、所述位置嵌入层对第c个模态的转化数据Zc0进行位置嵌入操作，得到嵌入位置后的第c个模态的数据从而得到嵌入位置后的C个模态的数据并连接起来，得到连接后的数据步骤4、所述时空嵌入模块的处理；步骤4.1、所述空间嵌入模块利用node2vec方法将邻接矩阵转化为空间嵌入矩阵步骤4.2、所述时间嵌入模块的处理；步骤4.2.1、所述时间嵌入模块利用离散傅里叶变换将交通状态数据Xall转化为频域的采样信号，并对频域的采样信号进行分析，得到F条时间周期信息；步骤4.2.2、利用独热编码对F条周期信息进行编码，得到第l个时间步的F个相对位置向量并连接后，得到第l个时间步对应的周期嵌入向量Vl；步骤4.2.3、将选取的T个连续的历史时间步的周期嵌入向量和后续T'个连续的未来时间步对应的周期嵌入向量进行连接，然后通过全连接层的处理后，得到时间嵌入矩阵T′L；步骤4.3、将空间嵌入矩阵SE和时间嵌入矩阵TE相加后，得到时空嵌入向量其中，包含历史时间步信息的时空嵌入子向量表示为包含未来时间步信息的时空嵌入子向量表示为步骤5、所述跨模态注意力模块的处理；步骤5.1、将Z1与ET连接后，得到张量并输入到所述第一跨模态注意力层中，先经过以ReLU作为激活函数的全连接层的处理后，得到第h个注意力头部对应的查询、键、值三个张量分别为再利用式1得到所述第一跨模态注意力层输出的张量 式1中，||h∈H表示H个子空间依次进行拼接；d表示每个注意力头部的子空间的维度；且H×d＝D；步骤5.4、将张量Z2输入到所述第一前馈神经网络中，并通过式2得到第一前馈神经网络输出的张量Z3＝ReLUZ2W1+b1W2+b22式2中，W1和W2是第一前馈神经网络中可学习的权重参数；b1和b2是第一前馈神经网络中可学习的偏置参数；步骤5.5、所述张量Z3依次再经过所述第二跨模态注意力层和第二前馈神经网络的处理后，得到张量并作为所述跨模态注意力模块的输出数据；步骤6、最大池化融合层的处理；按各个模态的次序，分别取出张量Z4中一个维度的张量并进行拼接，得到一个维度在C种模态上的拼接张量，从而得到D个维度在C种模态上的拼接张量并拼接为最终的交错拼接张量后输入所述最大池化融合层中进行多模态融合，得到融合后的数据步骤7、所述时空注意力模块的处理；步骤7.1、将Z5和ET′进行连接后得到张量并输入到所述时间注意力层中，先经过以ReLU作为激活函数的全连接层的处理后，得到第h个注意力头部对应的查询、键、值三个张量分别为从而利用式3得到所述时间注意力层输出的张量Z6： 式3中，表示所述时间注意力层中第h个注意力头部对应的注意力分数矩阵，并由式4得到： 式4中，是注意力分数矩阵中在第x个交通传感器上第y个时间步和第z个时间步之间的注意力分数；表示第h个注意力头部对应的第x个交通传感器在第y个时间步和第z个时间步之间的相关性，并由式5得到： 式5中，是中代表第x个交通传感器和第y个时间步的向量，是中代表第x个交通传感器和第z个时间步的向量；步骤7.2、将所述时间注意力层输出的张量Z6输入到第三前馈神经网络中进行处理，得到张量步骤7.3、将Z7和ET′进行连接后得到张量并输入到所述空间注意力层中，先经过以ReLU作为激活函数的全连接层的处理后，得到第h个注意力头部对应的查询、键、值三个张量分别为从而利用式6得到所述时间注意力层输出的张量Z8： 式6中，表示所述空间注意力层中第h个注意力头部对应的注意力分数矩阵，并由式7得到： 式6中，是注意力分数矩阵中在第a个时间步上第β个交通传感器和第γ个交通传感器之间的注意力分数，表示第h个注意力头部对应的第a个时间步上第β个交通传感器和第γ个交通传感器之间的相关性，并由式8得到； 式8中，是中代表第a个时间步和第β个交通传感器的向量，是中代表第a个时间步和第γ个交通传感器的向量；步骤7.4、将所述空间注意力层的输出张量Z8输入到第四前馈神经网络做进一步的处理，并得到前馈神经网络输出的张量步骤8、所述张量Z9经过所述输出线性层的转化后得到多模态输入数据X的预测结果步骤9、网络训练；步骤9.1、利用式7构建损失函数 式7中，是第n个未来时间步的预测结果，Yn第n个未来时间步的标签值；Θ是所述基于多模态数据融合的交通预测模型的所有参数；T'是未来时间的总预测步数；步骤8.2、利用反向传播和梯度下降法对所述基于多模态数据融合的交通预测模型进行训练，并计算损失值，当迭代轮数达到阈值ξ时或者损失值连续一定轮数不下降时，停止训练，从而得到训练后的最优模型及其最优参数Θ。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学技术大学，其通讯地址为：230026 安徽省合肥市包河区金寨路96号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。