申请/专利权人：北京航空航天大学

申请日：2022-11-16

公开（公告）日：2024-06-25

公开（公告）号：CN115733848B

主分类号：H04L67/1097

分类号：H04L67/1097;H04L67/02;H04L67/1001

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2023.03.21#实质审查的生效;2023.03.03#公开

摘要：本发明通过网络安全领域的方法，实现了一种面向边缘设备的数据分布式存储管理系统。系统由边缘侧功能模块、云端功能模块、客户端功能模块三部分构成，三部分之间通过接口模块实现通信。本发明提供的系统设计了一个满足如下条件的系统：各存储节点不需要手动配置各节点角色，不存在固定的中心化的集群控制或元数据记录节点，具备良好的可扩展性和可用性；针对边缘集群动态扩容的构建过程，通过分离元数据和对象数据的放置组，对扩容后计算寻址造成的数据迁移问题进行了优化；提出了一种云边协同的数据查询和调度机制，实现了生产数据的就近存储，按需调度和统一视图，边缘侧侧和云端均支持数据的读写，同时保证数据的最终一致性。

主权项：1.一种面向边缘设备的数据分布式存储管理系统，其特征在于：系统面向钢铁、有色轧制行业智能质检，通过部署在生产流水线的边缘质检设备实现金属表面缺陷的实时在线检测、生产线的各环节成像传感器对产品表面图像进行采集，形成高分辨率质检图片，并上传到边缘侧的分布式存储系统中作为输入，系统由边缘侧功能模块、云端功能模块、客户端功能模块三部分构成，三部分之间通过接口模块实现通信，边缘侧功能模块从分布式存储系统中读取配置文件和算法模型，云端服务器通过读取和分析边缘计算设备产生的日志信息，对生产流程进行监控，并在云端对边缘侧产品图像进行采样归档和深入分析，结合云端的强大计算能力和边缘端的大量数据，对生产过程使用的算法模型进行升级迭代，同时使用云边协同的存储系统更新边缘侧配置文件和边缘侧数据处理模型，实现一个对生产过程的全局优化的系统；所述边缘侧功能模块输入基础设施层的Raft一致性协议和文件系统，通过边缘节点监控模块和集群状态共识模块构成共识层进行一致性保证，读取所述基础设施层内容后，首先通过所述边缘节点监控模块收集和记录当前边缘节点的运行状态、资源容量、性能指标，并将收集到的节点状态信息通过定时的心跳通信发送给边缘集群Leader节点，所述Leader节点对边缘各节点的状态和剩余资源容量进行统计，动态地调整各节点的服务权重，形成新的ClusterInfo并交由集群状态共识模块保证新版本的ClusterInfo在边缘集群中达成一致，所述集群状态共识模块负责处理边缘集群中节点加入和离线事件，并维护统一的ClusterInfo视图，运行在边缘集群中所有节点内，在kv数据库的基础上构造了一个状态机，边缘集群新增节点以及Info变更操作会被封装成日志项，并通过Raft协议的日志复制算法维护不同边缘节点上状态机的一致性后，输入核心层；所述核心层由边缘侧元数据记录模块和边缘侧数据存储模块配合CRUSH算法构成，其中所述边缘侧元数据记录模块将用户上传的对象元数据在同一个放置组中同步以及持久化存储，根据ClusterInfo中的节点信息和边缘集群设置使用CRUSH算法计算每个放置组的成员节点，并为同组的成员节点建立RaftGroup，使用Raft一致性协议进行元数据的同步，完成提交的元数据会以kv键值对的形式进行序列化，并存储在kv数据库中，所述边缘侧数据存储模块将用户上传的对象数据分块持久化保存在边缘节点的本地文件系统中，对象存储模块采用主从复制的方法在边缘集群中分发对象分块数据，默认的分块大小为4M，客户端与边缘节点的数据通信，以及边缘节点与边缘节点的通信均采用gRPCstream方式进行，最终信息实现与服务层的通信；所述服务层由对象服务存储接口和边缘侧云边协同模块构成；所述对象服务存储接口对外提供了一个兼容AmazonSimpleStorageServices3对象存储协议的对象存储网关，该网关提供REST风格的API供用户使用，实现对象存储的检索、存储和管理功能；所述边缘侧云边协同模块负责在边缘集群初始化时向云端进行当前节点的服务注册，通过gRPC双向数据流的方法与云节点进行通信，并响应云节点发送的元数据和数据的读写请求，将其转发给边缘对应模块处理，并将处理结果返回给云节点；所述云端功能模块由云端云边协同模块、云端元数据管理模块、云端数据存储模块组成，所述云端云边协同模块提供边缘节点的服务注册机制，用于接受边缘侧的服务注册请求，为待加入边缘集群的边缘节点分配唯一且不可变的集群ID，并通过私钥对注册响应进行签名，便于边缘集群对新加入节点的身份进行验证，同时注册节点维护grpc双向数据流，提供云节点和边缘节点的双向数据通信机制；所述云端元数据管理模块为连接到云节点的客户端提供元数据的读写接口，以及将写入到云端的元数据进行持久化，对于云端不存在的元数据，该模块通过云边协同模块，按照元数据协同策略将请求转发到边缘节点并将返回的元数据结果进行持久化存储；所述云端数据存储模块为连接到云节点的客户端提供数据分块的读写接口，并将写入云端的数据持久化存储，对于云端不存在的数据分块，该模块作为代理转发请求到对应的边缘存储节点，并在云端进行数据分块的缓存。

全文数据：

权利要求：

百度查询： 北京航空航天大学 一种面向边缘设备的数据分布式存储管理系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD