恭喜华侨大学潘玉彪获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜华侨大学申请的专利基于Caffe应用特征的键值存储和数据预取方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119937935B 。
龙图腾网通过国家知识产权局官网在2025-06-13发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510425804.4,技术领域涉及:G06F3/06;该发明授权基于Caffe应用特征的键值存储和数据预取方法是由潘玉彪;田爱玲;张惠臻设计研发完成,并于2025-04-07向国家知识产权局提交的专利申请。
本基于Caffe应用特征的键值存储和数据预取方法在说明书摘要公布了:一种基于Caffe应用特征的键值存储和数据预取方法,涉及计算机存储领域,包括:根据不同的存储设备的带宽大小设置SST文件中的数据块大小;当图像数据写入键值存储系统时,将图像数据转换为键值对并保存在内存表中;若内存表容量达到预设阈值,则将图像数据转化为不可变内存表并刷新到磁盘,组织成SST文件;其中,每个SST文件中包含多个数据块用于存储键值对数据;当执行数据预取操作时,将读取的磁盘IO单位大小与存储设备的带宽匹配;同时,在图像分辨率大于预设分辨率时采用一个线程负责读取和解析键值对另一个线程执行数据格式转换的双线程并行执行策略;在读取键值对时,采用全局乱序读取机制。本发明提高数了数据预取效率及模型的测试精度。
本发明授权基于Caffe应用特征的键值存储和数据预取方法在权利要求书中公布了:1.一种基于Caffe应用特征的键值存储和数据预取方法,应用在键值存储系统,其特征在于,包括: 根据不同的存储设备的带宽大小设置排序字符串表SST文件中的数据块大小; 当图像数据写入键值存储系统时,将图像数据转换为键值对并保存在内存表中;若内存表容量达到预设阈值,则将图像数据转化为不可变内存表并刷新到磁盘,组织成SST文件;其中,每个SST文件中包含多个数据块用于存储键值对数据; 当执行数据预取操作时,将读取的磁盘IO单位大小与存储设备的带宽匹配;同时,在图像分辨率大于预设分辨率时采用一个线程负责读取和解析键值对另一个线程执行数据格式转换的双线程并行执行策略;在读取键值对时,采用全局乱序读取机制; 所述全局乱序读取机制的实现过程,具体如下: 读取L0层中所有SST文件中的第一个数据块到内存; 使用随机排序器对LSM树中L1至L6各层级的SST文件进行随机排序,并记录在随机顺序表中,接着将随机顺序表中L1至L6各层第一个SST文件的第一个数据块加载到内存中,并为内存中所有数据块创建对应的迭代器指针和当前指针;迭代器指针依次指向各层级数据块中的第一个键值对,而当前指针循环指向迭代器指针;其中,各迭代器指针对应编号1~n; Caffe根据当前指针所指向的数据进行读取;当一个SST中的所有数据读取完毕后,从随机顺序表中读取同一层级的下一个SST文件,并继续执行读取操作,直到键值存储系统中的所有数据被读取完毕; 对于下一轮次的数据读取,重新构建迭代器和随机顺序表,确保每轮次的输入实例顺序不同; 两个线程中的一个为第一线程,另一个为第二线程;所述双线程并行执行策略的实现过程,具体如下: 当第一线程完成图像i的读取和解析后,数据将写入第一缓冲区,随后第二线程对第一缓冲区中的数据进行转换;与此同时,第一线程开始读取并解析图像i+1,将其写入第二缓冲区,第二线程在处理完图像i的数据后,开始对第二缓冲区中的数据进行转换;两个缓冲区交替使用,并通过互斥锁确保对缓冲区的安全访问。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华侨大学,其通讯地址为:362000 福建省泉州市丰泽区城东城华北路269号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。