买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东北林业大学

摘要：一种基于多模态融合的集成图卷积网络人流量预测方法，涉及智能交通管理与控制技术领域。S1、获取和处理热点区域的人流量热力图数据和环境数据，将热力图数据与环境数据拼接实现多模态融合；S2、建立热点区域的全连接图网络，得到邻接矩阵；S3、设计基于多模态融合的集成图卷积网络作为人流量预测模型；S4、将下一时刻的热力图特征作为上一时刻的标签，训练模型，调整模型参数；S5、利用训练好的模型对未来时刻的人流量热力图进行预测，并通过可视化方式展示预测结果。利用历史时刻的人流量热力图数据和环境数据，预测未来时刻的人流量热力图数据，并通过可视化方式展示预测结果，预测结果更加准确直观。

主权项：1.一种基于多模态融合的集成图卷积网络人流量预测方法，其特征在于：包括以下步骤：S1、获取和处理热点区域的人流量热力图数据和环境数据，将热力图数据与环境数据拼接实现多模态融合；其中，热点区域即根据需求在特定时间段内选择的地区，根据需求获取T个时刻的热力图数据和环境数据，所述热力图数据和所述环境数据的处理具体包括：通过Flatten层将热力图从多维数据转换成一维数据，表示为矩阵XG∈RN×D，N表示节点数量，D表示热力图特征维度；将环境数据用数据表示，表示为矩阵XE∈RN×F，F表示环境特征维度；将处理后的热力图数据和环境数据进行拼接实现多模态融合，得到特征矩阵XF∈R[N×D+F]，其中，XF＝[XG,XE]；对所有特征进行归一化处理，得到特征矩阵X，计算如下： 式中，XF为特征矩阵的原始值，minXF为特征矩阵XF中的最小值，maxXF为特征矩阵XF中的最大值；S2、建立热点区域的全连接图网络，得到邻接矩阵A；其中，全连接图网络即每个节点都连接到网络中的所有其他节点，因此其邻接矩阵A是一个全为1的矩阵，对角线上的元素为0，设全连接图网络有N个节点，则邻接矩阵A中的元素Ai,j表示如下： 邻接矩阵A是一个对称矩阵，节点i与节点j相连时，节点j也与节点i相连；S3、设计基于多模态融合的集成图卷积网络作为人流量预测模型；其中，图卷积网络的结构包含两个图卷积层、一个批归一化层、一个残差连接、一个丢弃层和一个全连接层；将不同时刻的特征矩阵X和邻接矩阵A分别输入图卷积网络得到单个基模型的输出，首先经过第一图卷积层，通过图卷积聚合来自相邻节点的信息，并将其投影到一个新的特征空间，得到新的特征矩阵X1，保留第一层的输出为resX1在残差连接中使用，具体公式如下： 式中，σ表示激活函数，采用Relu函数，表示的度矩阵，表示邻接矩阵A加上自连接后的邻接矩阵，X0是原始特征矩阵，W1是第一个卷积层的权重矩阵；在第一图卷积层和Relu函数之间增加批归一化层进行处理；接着，特征矩阵X1和邻接矩阵A进入第二图卷积层，进一步聚合来自相邻节点的信息，并投影到相同的特征空间，得到新的特征矩阵X2，具体公式如下： 式中，W2是第二个卷积层的权重矩阵；随后进入残差连接，将第二图卷积层输出的特征矩阵X2与残差连接resX1相加得到特征矩阵X2′，具体公式如下：X2′＝X2+resX1引入非线性函数Relu增强模型的表达能力，再经过丢弃层，在训练过程中随机丢弃一部分节点的特征以防止过拟合，并得到特征矩阵X2″；然后，将得到的特征矩阵X2″经过全连接层，将节点表示投影到所需的输出维度，具体公式如下：X2″′＝X2″W3式中，W3是全连接层的权重矩阵；最后，经过Sigmoid函数将X2″′压缩到0到1之间，得到基模型的预测值Y，具体公式如下： 式中，e是自然对数的底数；集成学习采用Bagging算法对图卷积网络进行学习，计算所有图卷积网络输出的平均值，最终的基于多模态融合的集成图卷积网络作为人流量预测模型，预测结果表示如下： 式中，表示人流量预测模型的预测值，K表示基模型的数量，基模型包括GCN1,GCN2…,GCNK，Yk表示基模型的输出预测值，k＝1,2,…,K；S4、将下一时刻的热力图特征作为上一时刻的标签，训练模型，调整模型参数；设计第t个时刻的标签为：将t+1时刻的热力图分成矩阵形式的方块，提取每个方块的人流量密度级别，然后展平成一维向量作为第t个时刻节点的标签yt，使模型学习到当前时刻的特征矩阵X与下一时刻的输出标签yt之间的映射关系；在模型前向传播阶段，选择SmoothL1Loss作为模型的损失函数，计算模型预测值与真实标签之间的误差，计算公式如下： 式中，y表示真实标签；在反向传播阶段，选择Adam优化算法，计算模型参数的梯度并更新参数以最小化损失函数，所述参数包括第一个卷积层的权重矩阵W1、第二个卷积层的权重矩阵W2和全连接层的权重矩阵W3；设置学习率的初始值，然后根据每个参数的梯度动态调整学习率，Adam优化算法计算公式如下： 式中，p表示迭代次数，θp+1表示更新后的参数，θp表示第p个迭代次数时的参数，η表示学习率，表示梯度期望，表示梯度方差，∈表示数值稳定性项；对人流量预测模型训练若干个迭代次数，每次训练中：针对每个输入特征矩阵X和邻接矩阵A，通过前向传播计算输出，然后计算损失函数值，对损失函数进行反向传播，根据梯度信息，Adam优化算法更新模型参数，重复上述步骤直到完成所有输入特征矩阵X和邻接矩阵A的训练；S5、利用训练好的模型对未来时刻的人流量热力图进行预测，并通过可视化方式展示预测结果；预测时用评估训练好的人流量预测模型生成预测值将预测值转换为图像，其中每个预测值对应图像中的一个像素值，将不同的像素值映射到相应的标签并代表不同的人流量密度级别，人流量密度按照从低到高分为多个等级并使用不同的颜色加以区分，最后绘制可视化图像。

全文数据：

权利要求：

百度查询： 东北林业大学 一种基于多模态融合的集成图卷积网络人流量预测方法