买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：河北工业大学

摘要：本发明公开一种基于SCC‑RCE预测单元的预测网络及网格化PM2.5浓度预测方法，本发明设计的预测网络融合空间浓度变化捕捉模块和区域关联性增强模块，能更好的提取出时空序列数据间的关联性，利用不同区域PM2.5浓度变化的相互作用和相互影响辅助模型的预测，可以有效增强模型对全局空间上下文的表示能力。本发明预测方法采用该预测网络实现，能充分捕捉PM2.5在局部区域丰富的空间浓度变化信息，同时增强不同区域PM2.5浓度变化之间的关联性，进而提升PM2.5浓度的预测精度。同时，将PM2.5的历史空间浓度变化考虑到未来时刻PM2.5浓度的预测过程中，当PM2.5浓度在短期内发生剧烈波动时，本发明预测方法能够更快的感受到这种变化，进而提升PM2.5的浓度预测精度。

主权项：1.一种基于SCC-RCE预测单元的预测网络，其特征在于，该预测网络为由多个SCC-RCE预测单元搭建构成的立方体网络，该立方体网络的高度方向为空间维度，长度方向为时间维度，宽度方向为输出维度；其中，高度方向设置有L个预测单元，长度方向设置有N个预测单元，宽度方向设置有2个预测单元，即构成该立方体网络的预测单元个数为N×2×L，即该立方体网络由两行正对的N×L的预测单元阵列构成；其中，第一行的N×L的预测单元为数据输入端，第一行的每一列的L个预测单元从下到上依次输入L个连续时刻点的时空序列数据；对于时间步T的一个预测单元，其信息传递包括三个分支，分别为时间分支、空间分支和输出分支，其中时间分支输出时间细胞状态信息和时间隐藏状态信息，空间分支输出空间细胞状态信息和空间隐藏状态信息，输出分支输出生成的时空序列数据；每一行的L层的预测单元的时间分支的输出分别传递到同一行的时间步t+1的对应层的预测单元中，第一行的时间步t的L层的预测单元的输出分支的输出分别对应输入到第二行的时间步t的对应层的预测单元；第一行的时间步t的第l-1层的预测单元与第二行的时间步t的第l–1层的预测单元的空间分支的输出分别输入到对应行的时间步t的第l层的预测单元中，第一行的时间步t的第L层的预测单元与第二行的时间步t的第L层的预测单元的空间分支的输出分别输入到对应行的时间步t+1的第一层的预测单元中；在立方体网络中，水平方向上，同一行中同一层的预测单元共享权重与偏置参数，但同一行的每列的L层的预测单元不共享权重与偏置参数；第一行的N×L个预测单元与第二行的N×L个预测单元的权重与偏置参数不对应共享；某一行时间步t的第l层一个预测单元的信息传递方程如下： 式中，Ct,l和Ct′,l分别表示第l层t时间步的预测单元输出的时间细胞状态信息和空间细胞状态信息，2≤l≤L，Ht,l和H′t,l表示第l层时间步t的预测单元输出的时间隐藏状态信息和空间隐藏状态信息；ft·表示括号中的数据经过一个预测单元的时间分支的处理，fs·表示括号中的数据经过一个预测单元的空间分支的处理；Xt-τ:t,l表示第l层的t时间步及其之前的τ个时间步的输入时空序列数据；Ct-τ:t-1,l表示第l层t–τ时间步到t–1时间步共τ个时间步的预测单元输出的时间细胞状态信息；H′t,l-1表示第l–1层t时间步的预测单元输出的空间隐藏状态信息，Ht-1,l表示第l层t–1时间步的预测单元输出的时间隐藏状态信息，模型在输出方向上堆叠多个预测层，Yt,l表示当前预测单元输出分支上生成的时空序列数据，W表示权重，*表示卷积运算，b表示偏置；Xt,l表示输入到第l层的t时间步的预测单元的时空序列数据，C′t,l-1表示第l–1层t时间步的预测单元输出空间细胞状态信息；具体的，对于第一行时间步t的L层的预测单元，L个连续时刻点的时空序列数据由下而上分别输入到L个预测单元，作为对应预测单元的输入；对于第二行的预测单元，其输入的Xt-τ:t,l为第一行对应层的预测单元在输出分支上生成的时空序列数据，第二行的第L层的预测单元在输出分支上输出上述L个连续时刻点的时空序列数据的后续一个时刻点的时空序列数据的预测值；对于第一行的预测单元，其输入为真实的时空序列数据或者时空序列数据的预测值，具体的，前N2个时间步的预测单元的输入数据均为真实的时空序列数据，并将该真实的时空序列数据和第N2个时间步的第二行的第L层的预测单元输出的后续一个时刻点的时空序列数据的预测值及后续时间步的第二行的第L层的预测单元输出的时空序列数据的预测值作为后N2个时间步的预测单元的输入数据，依次得到该真实的时空序列数据后续的N2+1个时刻点的时空序列数据的预测值；某一行时间步t的第l层的一个预测单元的时间分支的输出的计算公式如下所示： 式中，⊙表示逐元素相乘，*表示卷积运算，σ表示sigmod激活函数运算，tanh表示tanx激活函数；Ht-1,l为第l层的t–1时间步的预测单元输出的时间隐藏状态信息，H′t,l-1为第l–1层t时间步的预测单元输出的空间隐藏状态信息；it为输入门，ft为遗忘门，ot为输出门，SCC表示空间浓度变化捕捉模块；W表示权重，b表示偏置；对于某一行t时间步的第1层的一个预测单元，即l＝1时，则需要将式2中的Xt,l替换成替换成Xt,1，即第1层的t时间步输入的时空序列数据；将Ht-1,l替换成Ht-1,1，即第1层的时间步t–1的预测单元输出的时间隐藏状态信息；H′t,l-1替换成H′t-1,L，即第L层t–1时间步的预测单元输出的空间隐藏状态信息；并将Xt-τ:t,l与Ct-τ:t-1,l替换成第1层t时间步的预测单元的对应的数据，即可得到第1层预测单元的时间分支的输出；对于SCC的计算，首先通过计算逐元素相乘得到当前时刻输入时空序列数据的空间状态和过去τ个时刻输入时空序列数据空间状态的相似度，其次使用softmax函数，将τ个相似度值归一化到区间0,1范围内；然后将τ个归一化后的相似度值作为权重加权过去τ个时刻的时间细胞状态，将加权后的时间细胞状态视为长期时空序列数据空间浓度变化信息，而前一时间步传递过来的时间细胞状态视为短期时空序列数据空间浓度变化信息；最后由前一时间步的时间细胞状态生成一个融合门，通过这个融合门融合长期和短期的时空序列数据空间浓度变化信息得到描述时空序列数据空间浓度变化的详细特征；SCC浓度变化捕捉模块的计算公式如下所示：X″＝Ws*Xt,l j＝1,...,τ Uf＝σWf*Ct-1,lCt,l＝Uf⊙Ct-1,l+1-Uf⊙Catt上式中，Ws、Wf表示权重参数，j＝1，…，τ；时间步T的第l层的一个预测单元空间分支的输出的计算公式如下所示： 式中的字母及运算符含义与时间分支的输出的计算公式中类似，“’”为空间分支相关参数的符号标记，W’表示权重，b’表示偏置；RCE表示区域关联性增强模块；对于某一行t时间步的第1层的一个预测单元，即l＝1时，则需要将式3中的Xt,l替换成替换成Xt,1，即第1层的t时间步输入的时空序列数据；将Ht-1,l替换成Ht-1,1，即第1层的时间步t–1的预测单元输出的时间隐藏状态信息；H′t,l-1替换成H′t-1,L，即第L层t–1时间步的预测单元输出的空间隐藏状态信息；并将C′t,l-1替换成C′t-1,L，即第L层t–1时间步的预测单元输出空间细胞状态信息，即可得到第1层预测单元的空间分支的输出；对于RCEC′t,l的计算，首先获取N个自注意力头的计算结果，一个自注意力头的计算过程为：特征图C′t,l首先通过三组不同的1×1卷积，生成自注意力计算所需的矩阵Q、K、V，大小均为C×H×W，其中，C为通道数，H为高度，W为宽度；其次将矩阵Q的形状转换为N×C，N＝H×W，得到转换后的矩阵Q’，同时分别对K和V矩阵的每一个通道进行金字塔下采样并变形，采样后的大小分别为C×S的矩阵K’和S×C的矩阵V’，S＜＜H×W；然后矩阵Q’、K’和V’按照自注意力公式进行计算，自注意力计算公式如下： 其中，softmax·表示softmax函数，为比例因子，dk取矩阵Q’内部单个向量的维度值；将自注意力计算输出的结果进行形状转换，之后与输入的特征图C′t,l相加，得到一个自注意力头的计算结果；在N个自注意力头的计算过程中，每次采用的三组不同的1×1卷积均不相同，得到N个不同的自注意力头的计算结果，然后将这N个计算结果在通道维度拼接，拼接后的形状为C’×H×W，C’＝N×C，然后通过一组1×1卷积将形状变化为C×H×W，即可得到RCEC′t,l的结果C″t,l。

全文数据：

权利要求：

百度查询： 河北工业大学 一种基于SCC-RCE预测单元的预测网络及网格化PM2.5浓度预测方法