买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜河北工业大学申请的专利一种联合transformer注意力循环网络的网格化PM2.5浓度预测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115080634B 。

龙图腾网通过国家知识产权局官网在2025-03-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210477690.4，技术领域涉及：G06F16/2458；该发明授权一种联合transformer注意力循环网络的网格化PM2.5浓度预测方法是由张军;付英健;刘恩海;任晓康;于昊冉;都旭;曹慧博设计研发完成，并于2022-05-05向国家知识产权局提交的专利申请。

本一种联合transformer注意力循环网络的网格化PM2.5浓度预测方法在说明书摘要公布了：本发明公开一种联合transformer注意力循环网络的网格化PM2.5浓度预测方法，该预测方法针对PM2.5浓度的空间关联和时间波动，将transformer里注意力引入到PredRNN中，提出了联合transformer注意力循环预测网络。核心单元MH‑LSTM中，不仅仅包含隐藏状态H、细胞状态C，还设计出了新的记忆状态M，增加网络中时空信息流信息提取。Transformer中注意力采用全局并行计算，能够处理更广泛的空间信息，捕捉全局空间相关性，应对PM2.5浓度在时间上出现的波动性，同时多头注意机制能够学习多重上下文信息，减小随机参数影响，增加时空序列PM2.5浓度图像预测的准确性。

本发明授权一种联合transformer注意力循环网络的网格化PM2.5浓度预测方法在权利要求书中公布了：1.一种联合transformer注意力循环网络的网格化PM2.5浓度预测方法，其特征在于，该预测方法包括如下步骤：步骤1：对东经105°-125°、南纬30°-50°地域范围内的监测站的PM2.5浓度的监测数据进行采集，得到原始的PM2.5浓度的micaps格点数据；原始的PM2.5浓度的micaps格点数据为时空序列向量Z＝[Z1,Z2,Z3,…Zt…,ZT-1,ZT]，表示在第t个采样时刻点时该地域范围内所有监测站点所监测到的PM2.5浓度值，H表示经度上的格点数，W表示纬度上的格点数，H与W的值均为81；监测站的PM2.5浓度的监测数据为3小时采样间隔，micaps格点数据精度为0.25*0.25；步骤2：对步骤1中获得的原始的PM2.5浓度的micaps格点数据的时空序列向量首先采用克里金插值法进行插值补充缺失时刻的PM2.5浓度数据，并采用阈值质控的方式对异常值进行合理化处理，最后采用归一化处理，得到历史的时空序列数据；步骤3：根据该地域范围内PM2.5浓度季节特征，从历史的时空序列数据中挑选出每年10月至次年3月的作为一个数据样本，对每一个数据样本采用48帧宽的滑动窗口进行切片，每一个切片由48个连续帧组成；将不少于2个数据样本的切片数据作为训练集，将另外的不少于一个数据样本的切片数据作为验证集；步骤3：搭建联合transformer注意力循环网络，该联合transformer注意力循环网络由MH-LSTM单元阵列构成，其中，水平方向的MH-LSTM单元为时间维度，水平方向上的每一个MH-LSTM单元代表一个采样时刻点，水平方向上的每一行中的每一个MH-LSTM单元与本行中的其它MH-LSTM单元的参数共享；竖直方向的MH-LSTM单元为空间维度，每一列中的每一个MH-LSTM单元与本列中的其它的MH-LSTM单元的参数不共享，同一列中的MH-LSTM单元对应同一个采样时刻点；在空间维度上，一列堆叠架构中的L个MH-LSTM单元之间的信息交互方程为： 式中：f·表示经过一个MH-LSTM单元的处理，为第t个采样时刻点的第一层MH-LSTM单元的输入数据；为第t-1个采样时刻点的第一层的MH-LSTM单元的隐藏状态，为第t-1个采样时刻点的第L层的MH-LSTM单元的记忆状态，为第t-1个采样时刻点的第一层的MH-LSTM单元的细胞状态；为第t个采样时刻点的第l层的MH-LSTM单元的细胞状态，为第t个采样时刻点的第l层的MH-LSTM单元的记忆状态，为第t个采样时刻点的第l层的MH-LSTM单元的隐藏状态，l的取值范围为[1,L]；MH-LSTM单元的信息处理方程如下: 公式1与公式2中：*是卷积运算，⊙为矩阵乘法，mha·表示transformer注意力机制计算；Xt、是MH-LSTM单元的输入，it、i′t为输入门，ft、f′t为遗忘门，ot为输出门，tanh和σ为两种激活函数，ct为过渡的细胞状态，mt为过渡的记忆状态；为第t+1个采样时刻点的数据预测值；联合transformer注意力循环网络中需要训练的参数为公式1与公式2中所有的W和所有的b，以及堆叠架构中MH-LSTM单元的层数L、注意力机制中的注意力层数；其中，Wzr为1×1的参数矩阵，其余的W均为3×3的参数矩阵，b为偏移量参数；步骤4：训练联合transformer注意力循环网络模型步骤4.1：首先初始化联合transformer注意力循环网络，将第一个采样时刻点的前一个采样时刻点的各层MH-LSTM单元的隐藏状态H、细胞状态C以及记忆状态M设置为0，将所有需要训练的参数随机赋值；步骤4.2：将训练集中的第一个切片数据的48个连续帧的前24个连续帧输入到步骤4.1中完成初始化的网络模型中，并将第24个采样时刻点输出的数据预测值作为第25个采样时刻点的输入，得到第26个采样时刻点的数据预测值，按照此方法，得到后24个连续帧的数据预测值；将根据第一个切片数据中的前24个连续帧得到的后24个连续帧的数据预测值和切片数据中的后24个连续帧的真实值分别进行反归一化处理，并采用Huber函数作为损失函数，计算该切片数据的后24个连续帧的预测损失： 式中，Y＝y1,…,yt,…,y24，其中yt为第t个采样时刻点的PM2.5浓度真实值，为第t个采样时刻点的PM2.5浓度预测值，δ是损失参数，取值为的均值；根据公式6得到第一个切片数据的预测损失，根据预测损失进行反向传播更新所有需要训练的参数，优化算法使用Adam优化器，调整所有需要训练的参数的值，完成一个切片数据的训练；根据当前网络模型的参数值和前一个切片数据中最后一个采样时刻点各层的隐藏状态H、细胞状态C以及记忆状态M，将后一个切片数据中前24个连续帧输入网络模型中，得到后24个连续帧的数据预测值；然后计算当前切片数据的预测损失，并根据预测损失再次进行反向传播更新所有需要训练的参数；网络模型每处理完一个切片数据，均会调整一次网络参数，直至处理完训练集中的所有切片数据，则该网络模型完成一次训练，保存当前网络模型的隐藏状态H、细胞状态C以及记忆状态M和参数；步骤4.3：将验证集中的切片数据输入到完成一次训练的网络模型中，根据保存好的隐藏状态H、细胞状态C以及记忆状态M和参数，由验证集的每个切片数据的前24个连续帧得到其后24个连续帧的数据预测值；将验证集中的每个切片数据的后24个连续帧的数据预测值与真实值进行反归一化处理，并分别计算该网络模型下的每个采样时刻点的MAE的平均值MAE’与RMSE的平均值RMSE’；步骤4.4：将步骤4.2中完成一次训练时的网络模型的隐藏状态H、细胞状态C以及记忆状态M和参数作为网络模型的初始化条件，并将训练集中的切片数据再次输入到网络模型中，重复步骤4.2的操作，完成网络模型的第二次训练，并将第二次训练所得的网络模型的隐藏状态H、细胞状态C以及记忆状态M和参数作为下一次训练的网络模型的初始化条件，直至训练次数达到预设值，网络模型的训练完成；网络模型每完成一次训练，执行一次步骤4.3的操作，得到该网络模型下的MAE’和RMSE’；比较每次执行步骤4.3的操作得到的MAE’和RMSE’，选择MAE’和RMSE’最小值对应的网络模型为有效网络模型；步骤5：获取待预测日前三天24个采样时刻点的PM2.5浓度的监测数据，将其按照步骤2中所述的方法进行处理，得到24个采样时刻点的切片数据；将该24个采样时刻点的切片数据输入到步骤4.4中选择出的有效网络模型中，得到后三天24个采样时刻点的数据预测值；将后24个采样时刻点的数据预测值进行反归一化处理，即得到待预测日及其后两天的PM2.5浓度预测值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人河北工业大学，其通讯地址为：300130 天津市红桥区丁字沽光荣道8号河北工业大学东院330#；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。