恭喜中国科学院自动化研究所;国网四川省电力公司电力科学研究院胡庆浩获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜中国科学院自动化研究所;国网四川省电力公司电力科学研究院申请的专利一种视觉语言大模型混合量化方法、装置和电子设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119441513B 。
龙图腾网通过国家知识产权局官网在2025-04-29发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510033310.1,技术领域涉及:G06F16/41;该发明授权一种视觉语言大模型混合量化方法、装置和电子设备是由胡庆浩;常政威;关伟凡;程健;张凌浩;邝俊威设计研发完成,并于2025-01-09向国家知识产权局提交的专利申请。
本一种视觉语言大模型混合量化方法、装置和电子设备在说明书摘要公布了:本发明涉及混合量化技术领域,具体涉及一种视觉语言大模型混合量化方法、装置和电子设备,该方法包括:将构建的图像编码器校准集输入预先建立的图像编码器和文本编码器,并从预先定义的混合精度量化的搜索空间中选择量化方案对图像编码器进行训练后量化,基于量化前后图像编码器和文本编码器的输出计算第一量化误差;将多模态校准集输入视觉语言大模型,并从搜索空间中选择量化方案对视觉语言大模型进行混合精度量化,根据量化前后视觉语言大模型的输出计算第二量化误差;将各量化方案及对应的量化误差存入到哈希表中;结合哈希表使用基于策略梯度的强化学习算法来优化生成量化方案的策略。通过哈希表加速量化方案的搜索过程,提高优化效率。
本发明授权一种视觉语言大模型混合量化方法、装置和电子设备在权利要求书中公布了:1.一种视觉语言大模型混合量化方法,其特征在于,包括:构建量化标准数据集,所述量化标准数据集包括图像编码器校准集和多模态校准集;将图像编码器校准集输入预先建立的图像编码器和文本编码器,并从预先定义的混合精度量化的搜索空间中选择量化方案对图像编码器进行训练后量化,基于量化前后所述图像编码器和所述文本编码器的输出计算第一量化误差;其中,图像编码器和视觉语言大模型中的不同模块选择不同的量化位宽;将多模态校准集输入预先建立的视觉语言大模型,并从预先定义的混合精度量化的搜索空间中选择量化方案对视觉语言大模型进行混合精度量化,根据量化前后所述视觉语言大模型的输出计算第二量化误差;将各量化方案及对应的第一量化误差或第二量化误差存入到哈希表中;基于预先定义的状态空间、动作空间和奖励函数,使用强化学习算法对量化方案进行搜索,基于所述哈希表确定当前量化方案的量化误差;其中,当前量化方案的量化误差包括图像编码器量化误差和视觉语言大模型量化误差,强化学习网络包括策略网络和值网络;将所述图像编码器量化误差和所述视觉语言大模型量化误差输入奖励函数得到当前量化方案的奖励,根据当前量化方案的奖励计算时序差分目标作为损失函数来更新值网络参数;根据值网络输出的每个时间步的时序差分误差计算优势函数的估计值;根据当前量化方案与旧量化方案的比率和所述优势函数的估计值,计算优化目标,并更新策略网络参数;重复上述对量化方案进行搜索、更新值网络参数、计算优势函数的估计值和更新策略网络参数的过程,直到策略网络收敛或达到预设的训练轮次,得到目标量化方案。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国科学院自动化研究所;国网四川省电力公司电力科学研究院,其通讯地址为:100190 北京市海淀区中关村东路95号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。