买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京工业大学

摘要：本发明公开了基于时频域特征耦合的网络舆情时序预测方法，该方法在Transformer的编码器基础上，SDformer整合两个特别设计的模块，谱滤波变换和动态定向注意力，并结合自然语言处理技术，以针对网络舆情数据进行优化。通过融合时频域特征耦合和自然语言处理技术，针对网络舆情数据的特殊性进行优化。SDformer通过仅使用Transformer的Encoder结构编码历史信息，优化了模型的计算效率，并通过引入去噪平滑模块“谱滤波变换”SFT和创新的注意力机制“动态定向注意力”DDA，有效地解决了在网络舆情分析中，注意力机制可能无法有效关注到情感变化关键时间点的问题。这些技术创新不仅提升了模型对长期网络舆情趋势的预测准确性，而且增强了模型对复杂情感动态和话题趋势的捕捉能力。

主权项：1.基于时频域特征耦合的网络舆情时序预测方法，其特征在于，该方法在Transformer的编码器基础上，SDformer整合两个特别设计的模块，谱滤波变换SFT和动态定向注意力DDA，并结合自然语言处理技术，以针对网络舆情数据进行优化，能够有效处理和预测复杂的网络舆情时间序列；1谱滤波变换；在时间序列分析中，采用谱滤波变换去噪，首先利用快速傅立叶变换FFT将长度T的单变量时间序列x∈RT转换到其对应频域Xf，即： 然后保留最高的k个频率分量来过滤掉不显著的频率，即其中TopKXf，k表示选择k个最大振幅，是超参数；之后，通过采用逆快速傅立叶变换IFFT将滤波后的频谱转换回其对应的时域xif以供后续操作进一步分析，即： 通过频域中的滤波消除噪声后，SDformer通过在时域实施平滑操作进一步处理时间序列；使用汉明窗口在时域实现平滑序列以及减轻频谱泄露效应；通过窗函数的卷积操作来帮助平滑边界处的过渡并减少不连续性；首先定义一个大小为w的钟形汉明窗口，该钟形汉明窗口的函数具体定义为： 其中n索引窗口内的样本点；随后，根据公式的去噪序列xif通过反射填充以确保其长度与窗口大小w匹配： 根据公式4，过滤序列xif的第一个和最后一个窗口被反向填充在序列的开始处和结束处；这样的操作将序列x[n]扩展到新的长度T′+w-1，其中T′是去噪序列xif的总长度，从而适应后续的卷积平滑操作，即： 通过在每个时间点t取序列的加权平均来计算平滑序列xh[t]，T表示总长度；经过公式5，谱滤波变换在最后将所有N个单变量时间序列xh在变量维度拼接起来，得到一个多变量时间序列Xh∈RT×N，其长度为T变量数为N，其中Xh保持与输入谱滤波变换模块相同的形状；2动态定向注意力；注意力机制是Transformer的核心，自注意力机制中注意力分数的定义如下： 其中Q、K和V分别代表查询、键和值矩阵，dk表示键向量的维度；Softmax操作应用于结果矩阵的最后一个维度；引入动态定向注意力机制来实现更准确、更有区分度的注意力分布，同时作用一个核函数在查询和键向量上，实现动态的重定向并缩放查询Q∈RM×H×E和键K∈RL×H×E，其中M和L是序列长度，H是头的数量，E和D表示每个头的维度；动态定向注意力中每个头的注意力得分Score表示为：ScoreQi，Kj＝φpQiφpKjT7其中φpx＝fptanx是同时应用于查询和键的特别设计的函数；这里，φpx由非线性映射tanx和特殊核函数fpx＝x·wdir·stdx-p·λdyn定义，其中定向系数p是元素级的幂，wdir和λdyn是代表方向权重和动态参数的可学习参数，stdx代表输入x的标准差；此外，动态定向注意力引入了动态缩放因子τ来计算注意力权重A： 其中动态标准化得分，varScore计算得分的方差，scale是作用Softmax前的缩放因子；作用Softmax后跟随一个Dropout过程，通过在训练阶段随机将一部分权重归零来正则化注意力权重A，减少过拟合；最后，该模块的输出Output由注意力分数对值矩阵的加权和计算得到：Output＝∑sA·V.9动态定向注意力的核心在于其特殊的核函数fp，该核函数通过同时作用在查询向量和键向量上。

全文数据：

权利要求：

百度查询： 北京工业大学 基于时频域特征耦合的网络舆情时序预测方法