龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：北京壁仞科技开发有限公司;上海壁仞科技股份有限公司
申请日：2024-03-21
公开（公告）日：2024-06-25
公开（公告）号：CN117931458B
主分类号：G06F9/50
分类号：G06F9/50;G06N5/04;G06T1/20;H04N19/436
优先权：
专利状态码：有效-授权
法律状态：2024.06.25#授权;2024.05.14#实质审查的生效;2024.04.26#公开
摘要：本发明实施例提供了一种推理服务调度方法、装置、处理器及芯片，用以提高设备端的算力利用率。该方法包括：设备中的解码器接收主机发送的M个推理服务，对M个推理服务进行解码，并将解码得到的各个图像帧存储于设备端存储器，每个推理服务对应多个图像帧；L个计算核接收主机发送的调度指令，调度指令包括N个图像帧的第一存储地址，N个图像帧包括M个推理服务中每个推理服务对应的多个图像帧；L个计算核根据N个图像帧的第一存储地址从设备端存储器中获取N个图像帧，并行执行N个图像帧分别对应的计算任务，L个计算核并行执行每个推理服务对应的多个图像帧分别对应的计算任务，从而可以提高对设备的算力利用率。
主权项：1.一种推理服务调度方法，其特征在于，由设备执行，所述设备包括解码器、L个计算核及设备端存储器，所述设备为GPU或GPGPU，L为正整数；所述方法包括：所述解码器接收主机的M个线程发送的M个推理服务，每个推理服务对应多个图像帧，M为正整数；所述解码器解码所述M个推理服务得到各个图像帧，并将各个图像帧存储于所述设备端存储器中的第一存储地址；所述L个计算核接收所述主机发送的调度指令，所述调度指令包括N个图像帧的第一存储地址，所述N个图像帧的第一存储地址为N个图像帧分别在所述设备端存储器中的存储地址，所述调度指令中的所述N个图像帧的第一存储地址按照队列顺序排列，所述N个图像帧包括所述M个推理服务中每个推理服务对应的多个图像帧，N为正整数；所述调度指令还包括按照所述队列顺序排列的N个第二存储地址；所述L个计算核根据所述N个图像帧的第一存储地址从所述设备端存储器中获取所述N个图像帧；所述L个计算核并行执行所述N个图像帧分别对应的计算任务，根据所述N个第二存储地址将所述N个图像帧分别对应的计算任务的执行结果存储于所述设备端存储器中。
全文数据：
权利要求：
百度查询： 北京壁仞科技开发有限公司;上海壁仞科技股份有限公司 一种推理服务调度方法、装置、处理器及芯片
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号