申请/专利权人：苏州元澄科技股份有限公司

申请日：2024-03-06

公开（公告）日：2024-05-10

公开（公告）号：CN117827851B

主分类号：G06F16/22

分类号：G06F16/22;G06F16/27;H04L43/0876

优先权：

专利状态码：有效-授权

法律状态：2024.05.10#授权;2024.04.23#实质审查的生效;2024.04.05#公开

摘要：本发明公开了一种用于流基数测量的数据处理结构及其应用，该数据处理结构包括：基数估计器，包括一个长度为M的位图；大流部分，用于记录基数大于设定阈值的流信息；小流部分，包括一个CMSketch。本发明将多流的流式基数估计技术与通常运用在流频数测量中的大小流区分存储技术结合，做到了对大基数流的精确估计，对小基数流较为精确的估计，同时可以完成多种基数测量任务。并且为大流部分与小流部分设计了一个巧妙的交换过程，保证了大流部分的准确度，同时确保小流部分不会存储大基数流的基数信息，避免了小基数流与大基数流共享一个计数器时导致小基数的过高估计。

主权项：1.一种用于流基数测量的数据处理结构的应用，其特征在于，所述数据处理结构包括：基数估计器，包括一个长度为M的位图；大流部分，用于记录基数大于设定阈值的流信息；小流部分，包括一个CMSketch，所述CMSketch的基本结构是一个d行w列的二维寄存器数组C，每一个寄存器作为一个计数器，C[i][j]表示第i行第j列的计数器；所述CMSketch的每一行关联一个哈希函数hi，1≤i≤d，hi会将流f映射到第i行第hif列的计数器；当向CMSketch中插入一条大小为x的流f时，CMSketch会将流f映射到每一行的计数器C[i][hif]增加x；当查询流f的大小时，CMSketch会报告流f映射到的d个计数器中值最小的那个计数器的值；所述数据处理结构进行插入操作，包括以下步骤：S11、当一个数据包到达交换机后，交换机提取出数据包中的流标签和元素标签，得到一个标签对f,e，其中f为流标签，e为元素标签；S12、数据处理结构首先进行一次哈希计算h*f⊕e，将f,e映射到基数估计器的位图中对应的比特B[h*f⊕e]，若B[h*f⊕e]为1，则对这个数据包的操作终止；若B[h*f⊕e]为0，此时位图B中0比特的数量记为m0，位图的总长度为M，令qB为位图B中0比特的数量占B总长度的比例，即qB←，数据处理结构将作为流f的基数估计增量，并对其进行后续插入操作；S13、先将流f插入到大流部分，根据大流部分的链表H是否记录流f以及链表H是否已满将插入操作分为下面三种情况：（1）流f已经在链表H中记录：对于fid为f的节点Nf，将Nf.cnt增加；（2）流f没有在链表H中记录且链表H未满：创建一个新节点Nnew，Nnew.fid为f，Nnew.cnt为，将Nnew插入到链表H中；（3）流f没有在链表H中记录且链表H已满：将f,插入到小流部分的CMSketch中，并且在插入的同时查询f的值，令查询值为Qmin，大流部分链表H中的流的基数估计值最小的节点为Nmin，若Qmin大于Nmin.cnt，则当前流f的基数估计值大于大流部分中最小流的基数估计值，因此踢出大流部分中最小流并将当前流f插入大流部分，即将CMSketch中流f的查询值清除，同时将Nmin.fid,Nmin.cnt插入CMSketch中，将Nmin赋值为f,Qmin。

全文数据：

权利要求：

百度查询： 苏州元澄科技股份有限公司 一种用于流基数测量的数据处理结构及其应用

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD