申请/专利权人：西北工业大学

申请日：2024-04-09

公开（公告）日：2024-06-25

公开（公告）号：CN118013866B

主分类号：G06F30/27

分类号：G06F30/27;G06F18/25;G06N3/0442;G06N3/0464;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2024.05.28#实质审查的生效;2024.05.10#公开

摘要：本申请的实施例涉及机器学习技术领域，公开了一种基于横纵注意力的中长期径流预测方法，包括：根据目标流域内的径流数据和降雨数据生成原始数据集；对原始数据集进行预处理，按照时间划分出训练集、验证集和测试集三个时间互斥的部分；构建基于横纵注意力的中长期径流预测模型，所述基于横纵注意力的中长期径流预测模型由卷积层、序列注意力模块、周期注意力模块、融合模块、以及输出选择操作单元组成；基于训练集、验证集和测试集，对模型进行多次迭代训练至收敛，得到训练完成的模型；将待预测流域内的径流数据和降雨数据输入至训练完成的模型中，获得径流预测结果。该方法在建模时融合了序列信息和周期信息，提升了中长期径流预测的精度。

主权项：1.一种基于横纵注意力的中长期径流预测方法，其特征在于，包括：根据收集到的目标流域内的径流数据和降雨数据生成原始数据集；对所述原始数据集进行预处理，按照时间划分出训练集、验证集和测试集三个时间互斥的部分；其中，所述预处理包括异常值处理、空值处理、数据选择、标准化和数据序列化；构建基于横纵注意力的中长期径流预测模型；其中，所述基于横纵注意力的中长期径流预测模型由卷积层、序列注意力模块、周期注意力模块、融合模块、以及输出选择操作单元组成，输入所述卷积层的每个样本都是一个的矩阵，为矩阵的行数，包括前行的历史参考信息和最后一行的横向时间序列，为矩阵的列数，即所述横向时间序列的长度，所述卷积层用于对所述历史参考信息逐行执行一维卷积操作并与所述横向时间序列拼接，所述序列注意力模块用于基于所述卷积层的输出计算横向注意力，提取序列信息，所述周期注意力模块用于基于所述卷积层的输出计算纵向注意力，提取周期信息，所述融合模块用于对所述序列注意力模块的输出和所述周期注意力模块输出进行融合，所述输出选择操作单元用于对所述融合模块的输出进行切割，去除已知序列部分，只保留预测序列部分作为径流预测结果；基于所述训练集、所述验证集和所述测试集，对所述基于横纵注意力的中长期径流预测模型进行多次迭代训练至收敛，得到训练完成的基于横纵注意力的中长期径流预测模型；将待预测流域内的径流数据和降雨数据输入至所述训练完成的基于横纵注意力的中长期径流预测模型，获得所述训练完成的基于横纵注意力的中长期径流预测模型输出的所述待预测流域对应的径流预测结果；所述基于横纵注意力的中长期径流预测模型的输入为降雨数据张量和径流数据张量，所述降雨数据张量和所述径流数据张量的形状均为，为小批量样本的数量，所述径流数据张量的第行进行过掩码处理，所述降雨数据张量的数据形式和所述径流数据张量的数据形式表示为： 其中，表示所述降雨数据张量，表示所述径流数据张量，表示所述降雨数据张量的第行第列的降雨数据，表示所述径流数据张量的第行第列的径流数据，表示所述已知序列部分的长度，表示预测步数，即所述预测序列部分的长度，至均表示用0填充，即表示所述掩码处理；所述对所述历史参考信息逐行执行一维卷积操作，通过以下公式实现： 其中，表示卷积核集合，为所述卷积核集合的大小，即所述卷积核集合中的卷积核的总数，表示所述卷积核集合中第个卷积核，表示所述卷积层对所述降雨数据张量的第行第列的降雨数据执行一维卷积操作，表示所述卷积层针对所述径流数据张量的第行第列的径流数据执行一维卷积操作；所述序列注意力模块的输入为和，和的形状均为，所述周期注意力模块的输入为和，为的转置，为的转置，和的形状均为，所述序列注意力模块和所述周期注意力模块的组成相同，均由输入变换层、位置嵌入操作单元、编码器、解码器和输出变换操作单元组成；所述输入变换层用于将自身输入的低维特征映射到高维空间；其中，所述序列注意力模块的输入变换层在特征维度上进行升维操作，即将升维到，所述周期注意力模块的输入变换层在序列长度维度上进行升维操作，即将升维到；所述位置嵌入操作单元用于对自身输入的长度进行编码且升维到，得到位置信息，并将所述位置信息嵌入到所述位置嵌入操作单元的自身输入中；所述编码器由多个编码器层堆叠而成，每个编码器层均包括多头自注意力子层和全连接子层，每个子层后均设置有残差连接和层归一化；所述解码器由多个解码器层堆叠而成，每个解码器层均包括多头自注意力子层、多头交叉注意力子层和全连接子层，每个子层后均设置有残差连接和层归一化；所述输出变换操作单元用于进行降维；其中，所述序列注意力模块的输出变换操作单元将降维为1，得到形状为的输出序列，所述周期注意力模块的输出变换操作单元先将降维为，得到形状为的中间张量，再提取所述中间张量的最后一行并交换维度顺序，得到形状为的输出序列；所述序列注意力模块的输入变换层在特征维度上进行升维操作和所述周期注意力模块的输入变换层在序列长度维度上进行升维操作，通过以下公式实现： 其中，、、和均表示可学习参数，和均表示所述序列注意力模块的输入变换层的输出，和均表示所述周期注意力模块的输入变换层的输出；所述位置嵌入操作单元用于对自身输入的长度进行编码且升维到，得到位置信息，并将所述位置信息嵌入到所述位置嵌入操作单元的自身输入中，通过以下公式实现： 其中，表示所述位置信息，和表示所述序列注意力模块的位置嵌入操作单元的输出，和表示所述周期注意力模块的位置嵌入操作单元的输出；所述多头自注意力子层和所述多头交叉注意力子层的注意力机制通过以下公式表示： 其中，表示查询向量，表示键向量，表示与键向量对应的值，、、分别表示、、的输入，表示在隐空间中的维度，表示的转置，表示softmax操作，当的取值均相同时，表示自注意力，当的取值与的取值不相同时，表示交叉注意力，表示头数，表示第个头输出，表示拼接操作，当的取值均相同时，表示多头自注意力，当的取值与的取值不相同时，表示多头交叉注意力，和均表示可学习参数。

全文数据：

权利要求：

百度查询： 西北工业大学 一种基于横纵注意力的中长期径流预测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD