恭喜大连理工大学薄洪光获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜大连理工大学申请的专利一种基于时间提示增强的大语言模型的集成电路物料库存预测方法和系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119204958B 。
龙图腾网通过国家知识产权局官网在2025-03-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411708246.4,技术领域涉及:G06Q10/087;该发明授权一种基于时间提示增强的大语言模型的集成电路物料库存预测方法和系统是由薄洪光;薛方红;李晨阳;卢治兵;张丽婷;徐淼;申家明设计研发完成,并于2024-11-27向国家知识产权局提交的专利申请。
本一种基于时间提示增强的大语言模型的集成电路物料库存预测方法和系统在说明书摘要公布了:本发明属于库存预测技术领域,公开一种基于时间提示增强的大语言模型的集成电路物料库存预测方法和系统。根据JSON片段集微调通用大语言模型;根据物料库存时序数据集训练改进的CNN‑LSTM模型网络,构建时间提示数据;将时间提示数据结合大语言模型上下文学习技术构建时间提示工程,改进微调大语言模型的Prompt模板,进行few‑shot学习,作为基于时间提示增强的大语言模型。本发明将待预测的集成电路物料库存数据提取历史数据规律特征,分析历史数据规律特征并在大语言模型内部构建关于时间序列增强的时间提示工程,优化大语言模型对时间序列的注意力,使得在集成电路物料库存预测中的结果更具有可靠性和适用性。
本发明授权一种基于时间提示增强的大语言模型的集成电路物料库存预测方法和系统在权利要求书中公布了:1.一种基于时间提示增强的大语言模型的集成电路物料库存预测方法,其特征在于,包括以下步骤:收集现有集成电路物料相关数据和文档,根据数据构建数据仓库,根据文档构建JSON片段集;根据数据仓库计算出带时间戳的历史库存数据,构建物料库存时序数据集;根据所述JSON片段集微调通用大语言模型,得到微调大语言模型;具体包括引入微调模块,所述微调模块根据所述JSON片段集,采用P-tuning技术对大语言模型进行微调,改变大语言模型内部权重参数,得到微调大语言模型;根据所述物料库存时序数据集训练改进的CNN-LSTM模型网络,用于构建时间提示数据;所述改进的CNN-LSTM模型网络包括改进特征提取网络和改进时间序列分析网络;所述改进特征提取网络为基于CNN-LSTM模型改进其特征提取部分,引入ScaleGraph模块挖掘多个时间序列的相关性;所述改进时间序列分析网络为基于CNN-LSTM模型改进其时间序列分析部分,引入随机失活技术,设置Dropout正则化模块;将所述改进的CNN-LSTM模型网络生成的时间提示数据结合微调大语言模型上下文学习技术构建时间提示工程;根据所述时间提示工程,改进微调大语言模型的Prompt模板,对微调大语言模型进行few-shot学习;将few-shot学习后的微调大语言模型作为基于时间提示增强的大语言模型,将待预测的物料数据输入所述基于时间提示增强的大语言模型,实时生成预测结果;所述改进特征提取网络的网络结构包括1层二维卷积、1层ScaleGraph模块和1层最大池化层,具体为:所述1层二维卷积:采用Conv2d卷积核,通道数为1,卷积核大小为3*N,N为特征向量个数;所述1层ScaleGraph模块对经1层二维卷积后的特征向量组进行快速傅里叶变换,记作特征向量组特征向量组Xfft以N个不同频域周期T作为尺度,采用多尺度图卷积核进行特征提取得到N个尺度张量;将N个尺度张量基于多头注意力机制进行相互投影并生成融合注意力机制的特征向量组最后采用softmax函数归一化,记作特征向量组所述1层最大池化层对特征向量组Xsc进行最大池化处理,记作特征向量组Xt;池化窗口大小为2*2,步长为1,采用ReLU函数作为激活函数;所述改进时间序列分析网络的网络结构包括2个LSTM层和1个Dropout正则化模块层,所述Dropout正则化模块层布置于2个LSTM层中间,具体为:将特征向量组Xt输入第一层LSTM层,其过程表示为:ft=tanhWf*[ht-1,xt]其中,ft是遗忘门输出的值,ht-1是上一时间步的隐藏状态,xt是当前时间步的输入,Wf是遗忘门权重矩阵,tanhx是激活函数;it=σWi*[ht-1,xt]其中,it是输入门输出的值,Wi是输入门权重矩阵; 其中,是候选细胞状态,Ct是更新后的细胞状态,Ct-1是上一时间步的细胞状态,Wc是候选细胞权重矩阵,bc是偏置项;ht=ot*tanhCt其中,ot是输出门输出的值,ht是当前时间步的隐藏状态;将特征向量组ot输入所述Dropout正则化模块层中,在Dropout正则化模块层内设置一个概率阀值,控制在前向传播过程中第一层LTSM层每个神经元被留下的概率;所述Dropout正则化模块层为随机失活构造器;所述随机失活构造器将特征向量组ot和伯努利随机变量相乘作为随机概率消除第二层LSTM层受第一层LSTM层提取特征影响的依据,将随机失活构造器输出结果记作特征向量组Dt;将特征向量组Dt输入第二层LSTM层,第二层LSTM层结构与第一层LSTM层结构相同,用于增强时间序列数据特征的表示;所述时间提示工程基于微调大语言模型的Prompt模板增加学习推理数据说明和特征指标说明;所述学习推理数据说明为根据改进的CNN-LSTM模型网络生成的时间提示数据;所述特征指标说明为所述物料库存时序数据集中提取所得影响库存量的特征指标;将时间提示数据和影响库存量的特征指标动态嵌入微调大语言模型的Prompt模板,得到改进后的Prompt模板;根据改进后的Prompt模板,对微调大语言模型进行few-shot学习,用于引导大语言模型在执行预测任务时增加对时间序列数据的注意力。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人大连理工大学,其通讯地址为:116000 辽宁省大连市甘井子区凌工路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。