买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜山东极视角科技股份有限公司申请的专利一种多硬件混合大模型推理的方法、系统及相关装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119539089B 。

龙图腾网通过国家知识产权局官网在2025-05-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510095874.8，技术领域涉及：G06N5/04；该发明授权一种多硬件混合大模型推理的方法、系统及相关装置是由陈硕;徐雷;邓富城;罗韵设计研发完成，并于2025-01-22向国家知识产权局提交的专利申请。

本一种多硬件混合大模型推理的方法、系统及相关装置在说明书摘要公布了：本申请公开了一种多硬件混合大模型推理的方法、系统及相关装置，用于提升对复杂模态任务的推理效率和灵活性。本申请方法包括：根据多模态大模型的结构信息和不同任务阶段的模态变化特性对任务队列中的目标推理任务进行分解，得到若干个子任务和每个子任务对应的若干个计算单元；根据硬件适配报告和任务资源需求制定调度策略，并根据调度策略将计算单元分配至合适的硬件进行执行；在任务执行过程中使用多模态语义融合模型和时间序列预测模型进行动态模态变化监测，实时分析任务执行过程中的模态变化趋势，根据模态变化趋势动态调整调度策略；当所有子任务完成后，对子任务的结果进行合并和验证，输出最终的推理结果。

本发明授权一种多硬件混合大模型推理的方法、系统及相关装置在权利要求书中公布了：1.一种多硬件混合大模型推理的方法，其特征在于，所述方法包括：收集多模态大模型的结构信息，所述结构信息包括所述多模态大模型的若干模态处理分支以及所述模态处理分支内部的子模块和层结构；在多个硬件的模拟环境下，使用多模态数据样本对所述多模态大模型进行基准测试，得到所述多个硬件的性能指标；基于所述性能指标对所述多模态大模型与所述多个硬件的适配性进行评估，生成硬件适配报告；接收推理任务请求，并根据所述推理任务请求生成对应的推理任务存入任务队列；根据所述多模态大模型的结构信息和不同任务阶段的模态变化特性对所述任务队列中的目标推理任务进行分解，得到若干个子任务和每个所述子任务对应的若干个计算单元；确定所述计算单元的计算类型和输入输出数据规模，并根据所述计算类型和所述输入输出数据规模估算所述计算单元的任务资源需求；根据所述硬件适配报告和所述任务资源需求制定调度策略，并根据所述调度策略将所述计算单元分配至合适的硬件进行执行；在任务执行过程中使用多模态语义融合模型和时间序列预测模型进行动态模态变化监测，实时分析所述任务执行过程中的模态变化趋势，根据所述模态变化趋势动态调整所述调度策略；当所有所述子任务完成后，对所述子任务的结果进行合并和验证，输出最终的推理结果；所述多模态语义融合模型基于多头注意力机制和多层感知机网络构建，所述时间序列预测模型采用长短期记忆网络或门控循环单元构建；所述在任务执行过程中使用多模态语义融合模型和时间序列预测模型进行动态模态变化监测，实时分析所述任务执行过程中的模态变化趋势，根据所述模态变化趋势动态调整所述调度策略，包括：在任务执行过程中，通过多模态语义融合模型对不同模态的特征向量进行融合，生成多模态语义特征向量；将所述多模态语义特征向量作为所述时间序列预测模型的输入，并根据所述时间序列预测模型的输出结果确定所述任务执行过程中的模态变化趋势，所述时间序列预测模型用于将所述多模态语义特征向量转换为时间序列数据进行预测；当根据所述模态变化趋势确定调度策略不满足模态变化后的任务需求时，根据所述模态变化趋势进行任务迁移操作。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东极视角科技股份有限公司，其通讯地址为：266000 山东省青岛市黄岛区庐山路57-1号301；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。