龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：浙江工业大学
摘要：一种融合联邦学习与预训练大模型微调的多变量时间序列预测方法，包括：步骤1、对输入的时间序列数据通过RevIN方法进行数据规范化；步骤2、利用组合分解方法对时间序列进行分解为长期趋势和季节性；步骤3、构建小波傅里叶变换适配器，获取数据的局部周期特性和全局周期特征；步骤4、构建预训练大模型，对其前馈层和自注意力模块进行冻结，利用适配器微调方法，将步骤3构建的适配器插入到模型的自注意力模块之前；步骤5、将步骤4构建的预训练大模型与联邦学习框架结合，构成联邦大模型，服务器端下发模型参数，客户端通过本地数据训练后只上传适配器参数，服务器端接收参数后通过联邦近端算法进行参数聚合，服务器端和客户端经过多轮参数传输后，全局模型达到最优；步骤6、通过步骤5中得到的最优全局预测模型对时间序列数据可以实现最优的预测结果。
主权项：1.一种融合联邦学习与预训练大模型微调的多变量时间序列预测方法，其特征在于，包括以下步骤：步骤1、利用可逆实例规范化方法RevIN,ReversibleInstanceNormalization，对输入的时间序列数据进行数据规范化；步骤2、通过一种组合分解方法对时间序列进行分解，利用回归样条分解方法RegressionSplines来捕捉长期趋势变化，利用平滑样条分解方法SmoothingSplines来捕捉季节性变化；步骤3、构建小波傅里叶变换适配器，通过小波变换方法获取局部周期特征，而傅里叶变换方法则获取全局周期特征；步骤4、构建预训练大模型，对其前馈层和自注意力模块进行冻结，利用适配器微调方法AdapterTuning，将步骤3中构建的适配器插入预训练大模型中；步骤5、利用联邦学习，客户端从服务器端下载带有适配器的预训练大模型后，利用本地数据进行训练，每个客户端将训练后的适配器参数上传服务器，服务器端通过联邦近端算法Fedprox，FederatedProximal进行模型聚合；步骤6、通过步骤5中得到的最优全局预测模型对于时间序列实现最优的预测结果。
全文数据：
权利要求：
百度查询： 浙江工业大学 一种融合联邦学习与预训练大模型微调的多变量时间序列预测方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号